Ce contenu, produit en grande quantité à l'aide d'outils d'IA de faible qualité, noie souvent les publications authentiques et brouille la frontière entre fiction et réalité.

Des vidéos circulent en ligne montrant des femmes en bikini réalisant des interviews dans la rue, suscitant des commentaires grossiers avec un réalisme élevé, mais en réalité, elles sont fausses et produites par l'IA pour inonder les réseaux sociaux de contenu sexuellement biaisé, selon l'AFP.

Ce contenu produit en masse avec des outils d'IA de faible qualité noie souvent les publications authentiques et efface la frontière entre fantasme et réalité.

Cette tendance a conduit à l'émergence d'influenceurs produisant de manière non professionnelle du contenu sexuel, encouragés par les incitations financières des plateformes récompensant les contenus largement diffusés sur les réseaux sociaux.

De nombreuses vidéos générées par l'IA, pleines d'humour grossier, montrent des interviews prétendument semi-nues dans les rues de l'Inde ou du Royaume-Uni.

L'équipe de vérification des faits de l'AFP a trouvé des centaines de ces vidéos sur Instagram, dont beaucoup en hindi, montrant des hommes interviewés lançant des commentaires misogynes et sexuellement biaisés, tentant parfois d'attraper des femmes, tandis qu'une foule d'hommes regarde ou rit en arrière-plan.

Ces vidéos ont cumulé des dizaines de millions de vues. Certains ont monétisé cette popularité en promouvant une application de messagerie pour adultes visant à "faire de nouvelles rencontres".

Ces clips ont été créés à l'aide du générateur d'IA "Veo 3" de Google, connu pour ses images très réalistes, selon la société américaine de cybersécurité Get Real Security.

La psychologue spécialisée en cyberpsychologie, basée en Inde, Nirali Bhatia, a déclaré : "La misogynie, auparavant confinée aux salons de discussion et groupes, est désormais déguisée en images générées par l'IA." Elle a ajouté : "C'est une partie des biais sexistes créés par l'IA qui alimente le sexisme."

Les réseaux sociaux sont de plus en plus inondés d'un grand volume de mèmes, vidéos et images générés par l'IA, qui rivalisent avec le contenu original pour attirer l'attention.

"Pas réel"

L'année dernière, Alexios Mantzarlis, directeur de l'initiative Sécurité, Confiance et Sécurité à Cornell Tech, a découvert 900 comptes Instagram de "mannequins" probablement générés par l'IA, la plupart semi-nus.

Ces faux comptes ont attiré 13 millions d'abonnés et publié plus de 200 000 images, monétisant généralement leur audience en les redirigeant vers des plateformes commerciales de partage de contenu.

Avec la prolifération du contenu faux généré par l'IA, Mantzarlis a déclaré à l'AFP que "les chiffres pourraient être bien plus élevés aujourd'hui." Il a ajouté : "Attendez-vous à voir plus de contenu ridicule exploitant des standards corporels totalement faux."

De nombreux créateurs de contenu sur YouTube et TikTok proposent des cours payants sur la monétisation du contenu viral généré par l'IA.

Certaines plateformes ont pris des mesures strictes contre les comptes promouvant du contenu de mauvaise qualité.

Récemment, YouTube a annoncé que les créateurs de contenu "faux" et "produits en masse" ne seront plus éligibles à la monétisation.

La consultante en IA Devindra Gadon a déclaré : "L'IA n'invente pas la misogynie. Elle reflète et amplifie ce qui existe déjà."

Elle a ajouté : "Si le public récompense ce type de contenu par des millions de likes, les algorithmes et les créateurs d'IA continueront à le produire. La bataille la plus importante n'est pas seulement technologique, mais aussi sociale et culturelle."