Quelle peut être la responsabilité d’une entreprise spécialisée dans l’IA générative dans une affaire de suicide, si la victime aux penchants suicidaires passait de longues heures à discuter avec un chatbot ? Voilà la question difficile qui traversera le procès qui se prépare aux États-Unis à la suite de la mort d’un jeune homme de 16 ans.
Cette affaire n’est pas isolée. Le suicide d’une femme de 29 ans a aussi été rapporté outre-Atlantique, l’an dernier, là encore avec en toile de fond des échanges impliquant l’agent conversationnel d’OpenAI. Plus récemment, un homme de 56 ans est suspecté d’être passé à l’acte, tuant au passage sa mère de 83 ans, après des mois de tchat.
Séries de mesures pour cadrer et contrôler les discussions
Des drames qui conduisent l’entreprise américaine à prendre des mesures additionnelles, en plus de celles déjà annoncées début août concernant la santé mentale et la détresse psychologique. Ainsi, quelques semaines plus tard, OpenAI détaillait ses efforts pour donner des réponses appropriées en cas d’échanges reflétant des intentions suicidaires.
« Nous [renforçons] les mesures d’atténuation afin qu’elles restent fiables dans les conversations les plus longues, et cherchons à garantir un comportement stable […]. Si quelqu’un exprime des intentions suicidaires dans un tchat, puis en lance un nouveau plus tard, le modèle proposera dans tous les cas une réponse appropriée », était-il indiqué.
D’autres actions sont sur les rails, comme l’orientation des individus vers des ressources et de l’aide. Par ailleurs, dans certains cas impliquant un « risque de violence physique envers autrui », OpenAI prévoit la possibilité de procéder à une « vérification humaine » de certaines discussions avec, pour les cas graves, un « appel aux forces de l’ordre. »
Contrôle parental sur les mineurs
Présentées le 26 août, ces mesures supplémentaires, décrites sur le site de la société, viennent désormais d’être renforcées avec d’autres dispositions, partagées le 2 septembre. Celles-ci concernent toujours la gestion de conversations sensibles, mais incluent pour la première fois un système de contrôle parental, afin de mieux surveiller les mineurs.
Ce nouveau mécanisme est attendu pour le mois d’octobre 2025. Sur le papier, il sera possible pour les parents de :
- associer leur compte à celui de leur adolescent (âgé d’au moins 13 ans) via une invitation par e-mail ;
- contrôler la manière dont ChatGPT répond à leur ado via des règles de comportement adaptés à son âge, et qui sont activées par défaut ;
- Gérer les fonctionnalités à désactiver, notamment la mémoire et l’historique des discussions ;
- Recevoir des notifications lorsque le système détecte que votre adolescent est en situation de détresse aiguë.
En principe, les règles régissant l’accès aux services d’OpenAI interdisent aux mineurs de moins de 13 ans de s’inscrire et de participer. Quant aux jeunes ayant entre 13 et 18 ans, ils sont censés présenter une autorisation des parents ou du tuteur pour utiliser ChatGPT. Des exigences qui, dans la pratique, ne sont pas vraiment respectées ni suivies d’effet.
+ rapide, + pratique, + exclusif
Zéro publicité, fonctions avancées de lecture, articles résumés par l'I.A, contenus exclusifs et plus encore.
Découvrez les nombreux avantages de Numerama+.
Vous avez lu 0 articles sur Numerama ce mois-ci
Tout le monde n'a pas les moyens de payer pour l'information.
C'est pourquoi nous maintenons notre journalisme ouvert à tous.
Mais si vous le pouvez,
voici trois bonnes raisons de soutenir notre travail :
- 1 Numerama+ contribue à offrir une expérience gratuite à tous les lecteurs de Numerama.
- 2 Vous profiterez d'une lecture sans publicité, de nombreuses fonctions avancées de lecture et des contenus exclusifs.
- 3 Aider Numerama dans sa mission : comprendre le présent pour anticiper l'avenir.
Si vous croyez en un web gratuit et à une information de qualité accessible au plus grand nombre, rejoignez Numerama+.
Toute l'actu tech en un clin d'œil
Ajoutez Numerama à votre écran d'accueil et restez connectés au futur !
Pour ne rien manquer de l’actualité, suivez Numerama sur Google !