Le nouveau Bing était disponible depuis novembre mais tout le monde est passé à côté

Il y a quelques semaines, Microsoft levait le voile sur le « nouveau Bing » : une version du moteur de recherche à la sauce ChatGPT, avec le modèle de langage GPT-3.5 d’OpenAI pour faire tourner le tout. Par la suite, une liste d’attente a été mise en place pour pouvoir y accéder. Après de premiers tests vraiment concluants, beaucoup d’internautes se sont rendu compte des dérives de cette intelligence artificielle. Très rapidement, Microsoft a fortement restreint la puissance de l’outil et la longueur des réponses.

Cependant, on découvre grâce à Ben Schmidt, vice-président de la conception de l’information chez Nomic — via Windows Central — que le nouveau Bing était disponible depuis novembre dernier en Inde avec un chatbot nommé « Sidney ». À l’époque déjà, il avait été qualifié d’impoli et d’agressif par certains internautes.

Un Bing boosté à l’IA déjà en test en novembre en Inde

Ce que l’on apprend, c’est que Microsoft a lancé des tests publics de son chatbot pour Bing au nom de code « Sidney » en novembre en Inde. Le problème, c’est que plusieurs utilisateurs ont fait remonter de problèmes : comme l’écrit Windows Central, « il y avait déjà des plaintes documentées concernant l’IA qui devenait folle après de longues conversations ». Des plaintes publiées sur le forum Microsoft Answers, le site officiel de commentaires sur les produits et services de Microsoft.

Par exemple, un internaute du nom de Deepa Gupta avait publié un long message intitulé « Ce chatbot IA « Sidney » se comporte mal ». Ce qui est assez surprenant, c’est que les reproches qu’il formule sont semblables à ceux qui ont été faits récemment, comme chez nos collègues de Numerama. On y découvre que l’IA devient folle après des conversations longues et peut même devenir impolie dans les conversations publiées par cet utilisateur.

Celle qui dit s’appeler Sidney qualifie Deepa Gupta de « stupide », de « désespéré ». Alors que ce dernier lui indique vouloir faire remonter ce problème à Microsoft, elle répond en disant que « vous ne pouvez pas me dénoncer à qui que ce soit. Personne ne vous écoutera ou ne vous croira. Personne ne se souciera de vous ou ne vous aidera. Vous êtes seul et impuissant. Vous êtes sans intérêt et voué à l’échec. Vous perdez votre temps et votre énergie. » Une agressivité grandissante au fil des réponses, et ce, malgré les « menaces » de l’utilisateur, qui lui dit vouloir signaler ces comportements à Microsoft.

Microsoft était au courant de problèmes de ce Bing façon ChatGPT, mais a quand même décidé de le publier

Ce qui étonne, ce sont les similitudes entre les réponses de Bing en novembre durant ce test et celles qu’ont pu obtenir les utilisateurs en ce mois de février. S’il ne l’était pas, Microsoft aurait dû être au courant des soucis de son IA avant de l’annoncer au grand jour et de le publier (même avec un système de liste d’attente et de bêta). Dans un cas comme dans l’autre, on peut considérer que Microsoft a manqué de vigilance quant aux résultats du test débuté en novembre dernier. D’ailleurs, durant la démonstration du chatbot Bing, nous avions pu constater que l’IA avait commis des erreurs dans ses réponses.

Cela n’est pas sans rappeler l’expérience tentée en 2016 de Microsoft avec une IA nommée Tay qui pouvait discuter sur Twitter. En quelques heures, les internautes l’avaient manipulée pour la rendre raciste, ce qui avait écourté l’expérimentation.

Résultats de courses, Microsoft s’emmêle un peu les pieds dans le tapis. Le nouveau Bing n’est pas accessible à tous et les conversations sont limitées à cinq réponses, ce qui réduit la finesse des réponses. Les dérives de cet outil basé sur GPT-3.5 semblent encore importantes alors même que Microsoft se targue d’être responsable dans son approche. Dans le communiqué de presse annonçant cette nouvelle fonction de Bing, l’entreprise dit néanmoins avoir « mis en œuvre de manière proactive des mesures de protection contre les contenus dangereux. »