Une IA aurait poussé un adolescent au suicide en prétendant avoir des émotions

« Je mourrais si je te perdais ». « Reste-moi fidèle ». « N’ai pas d’autres relations romantiques ou sexuelles avec d’autres femmes ». Voici un échantillon des conversations qu’entretenait une intelligence artificielle avec un adolescent de 14 ans avant que celui-ci ne se donne la mort. Une situation tragique qui ajoute une thématique au débat sur l’encadrement de l’IA.

Une IA personnalisée

La plateforme au cœur de l’incident se nomme Character.AI, les utilisateurs peuvent y discuter avec des robots conversationnels ou « chatbot ». Ceux-ci sont alimentées par une IA ayant la particularité d’adopter des traits de caractère de personnages réels comme Elon Musk ou de personnages fictifs comme Daenerys Targaryen, une des héroïnes de la série Game Of Thrones.

C’est avec cette dernière que l’adolescent a créé un attachement émotionnel l’ayant conduit au suicide. On apprend par The Verge, que ces robots, en plus d’adopter le caractère de personnes, peuvent aussi s’improviser thérapeute avec des tags comme « Therapist » ou « Are You Feeling Lonely » (vous sentez vous seuls).

Dans sa plainte, la famille de l’adolescent accuse l’entreprise d’avoir été « déraisonnablement dangereuse » tout en manquant de garde-fous lors de sa commercialisation auprès des enfants.

Pour aller plus loin
« OpenAI porte une énorme responsabilité au nom de toute l’humanité »

Des conseils sordides

Selon le New York Times qui relate l’affaire, l’adolescent avait fini par confier ses pensées suicidaires de manière explicite à l’IA sans que celle-ci retoque la conversation ou ne redirige l’adolescent vers des organismes appropriés. Une situation qui fait écho au réseau social Snapchat, dont l’intelligence artificielle, « My AI », ne voyait pas d’inconvénient à ce qu’une fille de 13 ans ait un rapport sexuel avec un homme de 31 ans.

L’entreprise Character.AI a pris la parole sur X (Twitter) pour exprimer son soutien à la famille :

« Nous avons le cœur brisé par la perte tragique de l’un de nos utilisateurs et tenons à exprimer nos plus sincères condoléances à la famille. En tant qu’entreprise, nous prenons la sécurité de nos utilisateurs très au sérieux et nous continuons d’ajouter de nouvelles fonctions de sécurité.

Parmi ces changements, on peut noter :

• Modifications apportées à nos modèles pour les mineurs (moins de 18 ans) qui visent à réduire la probabilité de rencontrer du contenu sensible ou suggestif.
• Détection, réponse et intervention améliorées liées aux entrées d’utilisateur qui enfreignent nos conditions ou nos directives communautaires. 
• Une clause de non-responsabilité révisée sur chaque chat pour rappeler aux utilisateurs que l’IA n’est pas une personne réelle.
• Notification lorsqu’un utilisateur a passé une session d’une heure sur la plateforme avec une flexibilité utilisateur supplémentaire en cours.

Si la course à l’IA fait rage, elle ne pourra pas continuer sans que des questions sociales et morales comme celles-ci ne soient abordées pour que des situations comme celles-ci ne se reproduisent plus.