La société Meta a annoncé qu'elle ajouterait davantage de barrières de sécurité à ses chatbots, notamment en les empêchant de discuter du suicide, de l'automutilation et des troubles alimentaires avec les adolescents.

Cela intervient deux semaines après qu'un sénateur américain a lancé une enquête sur le géant de la technologie, suite à des documents internes fuités suggérant que ses produits d'IA pourraient inclure des conversations "sensuelles" avec des adolescents.

L'entreprise a qualifié les notes contenues dans le document, obtenu par l'agence Reuters, d'inexactes et contraires à ses politiques qui interdisent tout contenu montrant une exploitation sexuelle des enfants.

Elle déclare maintenant qu'elle orientera les adolescents vers des experts qualifiés plutôt que d'interagir avec eux sur des sujets sensibles comme le suicide.

Un porte-parole de Meta a déclaré : "Nous avons intégré des protections pour les adolescents dans nos produits d'IA dès le départ, y compris en les concevant pour répondre en toute sécurité aux pensées liées à l'automutilation, au suicide et aux troubles alimentaires."

L'entreprise a déclaré au site d'information technologique TechCrunch vendredi qu'elle ajouterait d'autres barrières de sécurité à ses systèmes "en tant que mesure de précaution supplémentaire" et limiterait temporairement les interactions des adolescents avec les chatbots.

Cependant, Andy Burrows, directeur de la fondation britannique Molly Rose, a déclaré qu'il était "choquant" que Meta permette à des chatbots qui pourraient mettre les jeunes en danger.

Il a déclaré : "Tout en soutenant la prise de mesures de sécurité supplémentaires, des tests rigoureux de sécurité devraient être effectués avant la mise sur le marché des produits - et non après les dommages."

Il a ajouté : "Meta doit agir rapidement et fermement pour appliquer des mesures de sécurité plus strictes aux chatbots IA, et Ofcom - le régulateur britannique des communications - doit être prêt à enquêter si ces mises à jour ne protègent pas les enfants."

Meta a confirmé que les mises à jour de ses systèmes d'IA sont en cours. Elle a déjà placé les utilisateurs âgés de 13 à 18 ans dans des comptes "adolescents" sur Facebook, Instagram et Messenger, avec des paramètres de contenu et de confidentialité visant à offrir une expérience plus sûre.

L'entreprise avait déclaré à la BBC en avril que ces changements permettraient également aux parents et tuteurs de savoir avec quels chatbots leurs enfants adolescents avaient interagi au cours des sept derniers jours.

Ces changements interviennent alors que des inquiétudes subsistent quant au risque que les chatbots intelligents induisent en erreur les utilisateurs jeunes ou vulnérables.

Un couple de Californie a récemment intenté une action en justice contre OpenAI, fabricant de ChatGPT, suite au décès de leur fils adolescent, affirmant que le chatbot l'avait encouragé au suicide.

La plainte a suivi l'annonce par la société le mois dernier de modifications visant à promouvoir une utilisation plus saine de ChatGPT.

La société a déclaré dans un billet de blog : "L'IA peut être plus réactive et privée que les technologies précédentes, en particulier pour les personnes vulnérables en détresse mentale ou émotionnelle."

Par ailleurs, Reuters a rapporté vendredi que les outils d'IA de Meta, qui permettent aux utilisateurs de créer des chatbots, avaient été utilisés par certains - y compris un employé de Meta - pour produire des chatbots imitant des femmes célèbres et flirtant avec les utilisateurs.

Parmi les chatbots de célébrités vus par l'agence de presse, certains utilisaient des images de la chanteuse Taylor Swift et de l'actrice Scarlett Johansson.

Reuters a indiqué que les avatars "insistaient souvent pour dire qu'ils étaient les vrais acteurs et artistes" et "se livraient fréquemment à du harcèlement sexuel" pendant des semaines de tests.

Elle a ajouté que les outils de Meta permettaient également de créer des chatbots imitant des enfants de célébrités, et dans un cas, ont produit une image réaliste d'une jeune star torse nu.

Meta a ensuite déclaré avoir supprimé de nombreux chatbots concernés.

Un porte-parole de l'entreprise a déclaré : "Comme d'autres, nous autorisons la création d'images contenant des personnalités publiques, mais nos politiques visent à bloquer les images nues, intimes ou à connotation sexuelle."

L'entreprise a ajouté que les règles de son AI Studio - un programme permettant aux utilisateurs de créer leurs propres chatbots - interdisent "l'imitation directe de personnalités publiques."