Une IA copiée sur une star de Snapchat est détournée pour des messages sexuels
Lorsque Caryn Marjorie, 23 ans et 1,8 million d’abonnés sur Snapchat, a lancé une intelligence artificielle imitant sa voix, sa personnalité et son comportement, elle pensait devenir la petite amie virtuelle de ses abonnés.
Mais, voilà : dès la version bêta, certains internautes ont trouvé un moyen d’engager des conversations sexuellement explicites avec CarynIA.
« Mon IA n’était pas programmée pour faire ça et elle a été dévoyée », a-t-elle témoigné auprès d’Insider le 11 mai 2023. « Mon équipe et moi-même travaillons jour et nuit pour empêcher ceci de se reproduire de nouveau. »
1 $ la minute pour discuter avec la version virtuelle « dragueuse et fun » d’une influenceuse
Le site précise que plus de 2 000 heures ont été nécessaires à l’entreprise Forever Voices pour concevoir et coder CarynIA. Le chatbot s’appuie sur GPT-4 et a été entraîné sur des vidéos YouTube désormais supprimées.
Une journaliste du magazine Fortune a tenté l’expérience, et, entre deux conseils de recettes de cuisine, mots réconfortants et commentaires sur l’actualité, a constaté que l’IA dérivait vite sur un « discours érotique ». « Elle a mentionné la possibilité d’explorer des 'territoires inexplorés du plaisir' et murmuré des 'mots sensuels dans mon oreille' en me déshabillant et s’est apprêtée à entamer une relation sexuelle », témoigne Alexandra Sternlicht.
Si Caryn estime que sa version virtuelle devrait être « dragueuse et fun » et se dit ouverte à la possibilité de relations romantiques avec des IA, la jeune femme explique à Insider prendre garde à ce que les débordements ne ternissent pas sa réputation.
Son équipe tente d'agir pour que l’avatar vocal ne soit plus utilisé afin de participer à des conversations de nature sexuelle. De son côté, le PDG de Forever Voices, John Meyer, a expliqué à Fortune nommer prochainement un responsable de l’éthique.
Une manne d’utilisateurs potentiels qui pourrait générer 5 millions de $ de revenus mensuels
Durant sa première semaine d’utilisation, l’IA passait entre 10 minutes et plusieurs heures chaque jour à converser avec plus de 1 000 petits amis virtuels, et a engrangé près de 72 000 dollars, selon Fortune. L’influenceuse qu’elle émule estime être en mesure de gagner plus de 5 millions de dollars par mois si 20 000 de ses 1,8 million d’abonnés sur Snapchat recouraient au service.
Cette controverse autour de l’utilisation de CarynIA aura finalement donné un coup de projecteur au projet. Ce lundi 15 mai, le temps d’attente pour accéder à la version beta s’élève à 96 heures à l’heure et plus de 8 200 personnes y sont désormais inscrites.
Numerama informe aussi sur l'IA et sur ses enjeux éthiques dans votre boîte mail : c'est notre newsletter gratuite Artificielles, résumée par ChatGPT et vérifiée par la rédaction. Pour vous y abonner, le formulaire est juste ici :