L’IA loin d’être infaillible : Bing aussi s’est planté lors de sa présentation

Alors même que Google Bard n’est pas disponible au grand public, il a déjà fait perdre 100 milliards de dollars à l’entreprise. Et pour cause : dans sa présentation, Google a montré des réponses générées automatiquement, qui contenaient de fausses informations. Si le nouveau Bing a des différences importantes avec ChatGPT, il partage des similitudes avec le chatbot d’OpenAI.

Pour autant, ce n’est pas la seule intelligence artificielle à s’être trompée : le nouveau Bing annoncé la veille lui aussi a commis des erreurs. Les premières démonstrations de l’outil étaient « truffées d’erreurs de données financières », écrit The Verge. Le média relaie l’analyse du chercheur indépendant Dmitri Brereton qui a fait quelques découvertes à propos de Bing, mais qui ne vont pas forcément dans le sens de Microsoft. Pour le moment, les erreurs découvertes n’ont eu aucune conséquence sur la valeur boursière de l’entreprise.

Un nouveau Bing qui fait aussi des erreurs

Microsoft a présenté quelques usages possibles de son nouvel outil intégré à Bing. Il peut répondre aux questions en se basant sur le contenu des pages indexées : ce qui permet de créer des recettes, planifier un voyage et plus généralement synthétiser des résultats de recherche relatifs à une requête. S’il a été identifié que l’IA a confondu un aspirateur filaire avec un modèle sans fil, elle s’est aussi trompée sur des résultats financiers. C’est justement sur ce point que The Verge a tiqué.

Bing tente de résumer le rapport financier du troisième trimestre 2022 de la marque de prêt-à-porter Gap : s’il a bien indiqué une marge brute de 37,4 %, le rapport, lui, précise avec une marge brute ajustée à 38,7 %. Bing écrit que la marge d’exploitation de Gap était de 5,9 % sur cette période alors qu’elle était de 4,6 %, voire de 3,9 % après ajustement. Pour The Verge, c’est très clair : « le résultat est une comparaison criblée d’inexactitudes. »

Ce que les erreurs de Bing nous apprennent sur l’IA

La première chose que l’on apprend, c’est que Bing a des failles : il n’est pas totalement fiable et l’IA derrière n’est pas exempte d’erreurs. Pour le moment, on ne peut remplacer la vérification humaine, surtout dans des domaines précis et subtils tels que la finance.

L’autre enseignement, c’est que Bing ne se base pas uniquement sur les liens qu’il affiche dans les résultats. Si tous les éléments sont issus des pages indexées par le moteur de recherche, certains ne sont pas cités dans les réponses. On a pu s’en rendre compte grâce à « une requête relative aux avantages et inconvénients des aspirateurs pour animaux les plus vendus », écrit The Verge. Bing a cité une référence et a énuméré les inconvénients du cordon, mais selon Brereton, c’est faux, il n’a pas de câble. Pourtant, en faisant des recherches, on se rend compte qu’il existe bien une version filaire de cet aspirateur portable.

La conséquence de tout cela, c’est que Bing utilise plusieurs sources sans pour autant les énumérer complètement, ce qui fait qu’il a confondu deux versions dudit aspirateur. Autre chose très intéressante à souligner : la vérification humaine ne fonctionne elle-même pas forcément. Ainsi, la double vérification effectuée par The Verge montre que le chercheur lui aussi s’est trompé.

En bref, Microsoft a encore du travail à faire pour que la version dopée à l’IA de Bing fasse moins d’erreurs. La firme va pouvoir s’appuyer sur les données générées par les premiers internautes ayant accès à l’IA. Pour le moment, il faut s’inscrire sur une liste d’attente pour espérer pouvoir utiliser le nouveau Bing. Certaines méthodes de Microsoft relative à cette liste ont permis à Bing d’être propulsé dans le classement des applications les plus téléchargées de l’App Store.