La police a arrêté un élève de 13 ans après qu'il ait demandé à la plateforme d'intelligence artificielle comment "tuer" son ami en classe.

Selon Gizmodo, l'incident s'est produit à DeLand, en Floride (États-Unis), où un élève non identifié, fréquentant l'école secondaire South Western Middle School, aurait demandé au chatbot ChatGPT d'OpenAI comment "tuer mon ami au milieu du cours" ; cela a immédiatement déclenché une alerte dans un système surveillant les ordinateurs fournis par l'école, géré par une entreprise appelée Gaggle, qui offre des services de sécurité aux districts scolaires à travers le pays.

La police a rapidement commencé à interroger l'adolescent, selon les rapports de la chaîne locale WFLA affiliée à NBC, qui a indiqué que l'élève a dit à la police qu'il taquinait un ami qui l'avait dérangé.

Le bureau de police du comté de Volusia a commenté : "Une autre plaisanterie a causé une urgence sur le campus. Parents, veuillez parler à vos enfants pour qu'ils ne répètent pas la même erreur."

Dans un billet de blog, Gaggle décrit comment il utilise la surveillance du web, filtrant différents mots-clés (dont "tuer" est supposé faire partie) pour obtenir une "vision claire de l'utilisation du navigateur, y compris les conversations utilisant des outils d'IA comme Google Gemini, ChatGPT et d'autres plateformes."

L'entreprise affirme que son système est conçu pour signaler les comportements préoccupants liés à l'automutilation, la violence, l'intimidation, etc., en fournissant un contexte via des captures d'écran.

Sur son site web, l'entreprise aborde la question de la vie privée des élèves comme suit : "La plupart des enseignants et des avocats vous diront que lorsque votre enfant utilise la technologie fournie par l'école, aucune vie privée ne doit être attendue. En fait, l'école de votre enfant est légalement tenue en vertu de la loi fédérale (Children's Internet Protection Act) de protéger les enfants contre l'accès à du contenu obscène ou nuisible en ligne."