La moitié des réponses générées par ces IA seraient fausses ou biaisées

 
Une étude menée par la BBC indique que les chatbots IA les plus populaires présenteraient des informations erronées ou biaisées dans leurs réponses.

S’il est facile de repérer les hallucinations grossières produites par des intelligences artificielles identifiées comme étant des slops invitant par exemple des utilisateurs à mettre de la pizza sur de la colle, il est plus difficile de les repérer dans le cadre de recherches d’informations. C’est cet aspect de l’hallucination d’IA qu’a mis en évidence une étude menée par la BBC publiée en février.

Une information distordue

Pour mener cette étude, la BBC a analysé, durant un mois, les réponses fournies par ChatGPT d’OpenAI, Gemini de Google, Copilot de Microsoft ou encore Perplexity de la société du même nom, en matière de recherches concernant l’actualité. Et les résultats sont inquiétants.

On apprend que la moitié des réponses de ces IA sur les questions d’actualité ont été « jugées comme présentant des problèmes importants d’une certaine forme ». Une réponse sur cinq citant le contenu de la BBC présentait des erreurs au niveau des déclarations ou des chiffres présentés. Enfin, 13 % des citations produites par ces IA ont été modifiées ou n’existeraient tout simplement pas.

Une vérification nécessaire

Si à leurs débuts, des chabots comme ChatGPT produisaient de l’information sans sources, l’arrivée de nouveau modèle de raisonnement comme DeepSeek ou Perplexity a changé la donne. Ces derniers, en affichant leur processus de raisonnement et en indiquant les sources de leurs informations, ont pu produire un sentiment de confiance important chez leurs utilisateurs.

Une confiance à modérer selon Pete Archer, directeur de programme pour l’IA générative à la BBC. Pour lui, si l’IA peut apporter de la plus-value d’un point de vue accessibilité en permettant la mise en place facilitée de sous-titrage ou de traduction, les chatbots devraient permettre aux éditeurs comme la BBC de garder « le contrôle sur l’utilisation de leur contenu et sur la manière dont il est utilisé ».

 L’utilisation des assistants IA va se développer, il est donc essentiel que les informations qu’ils fournissent au public soient exactes et dignes de confiance.

Pete Archer, directeur de programme pour l’IA générative à la BBC

La BBC cite par exemple une réponse de Perplexity sur « l’escalade du conflit au Moyen-Orient » pour appuyer son point. Le chatbot a prêté au média dans sa réponse des qualificatifs que ce dernier n’aurait pas tenus. Si ça ne semble rien, ces qualificatifs peuvent prêter des intentions contraires au média et orienter l’opinion de l’usager sur la base de « fausses » informations.

Il reste encore du chemin à parcourir pour créer une IA « digne de confiance », que ce soit dans les réponses qu’elles apportent que dans la manière dont elles se servent de nos données.

Pour aller plus loin
La start-up française Mistral (Le Chat) dans la tourmente pour entorse présumée au RGPD


Envie de rejoindre une communauté de passionnés ? Notre Discord vous accueille, c’est un lieu d’entraide et de passion autour de la tech.