Google Bard vs Bing Chat vs ChatGPT : quelle est la meilleure IA générative ?

Ça y est, après plusieurs mois d’attente, Google Bard est enfin testable par tout le monde. En réalité, il n’est disponible qu’en anglais et en dehors de l’Union européenne, mais nous avons quand même pu tester Google Bard pour comparer ses compétences avec celles de Bing Chat et de ChatGPT à travers différentes questions que nous leur avons posées.

Il est à préciser que les usages de chaque outil sont quelque peu différents. Bing Chat est davantage conçu comme un moteur de recherche, qui va privilégier les sources qu’il utilise dans ses réponses, ce que ne font pas ses concurrents. Par ailleurs, Bing Chat et ChatGPT fonctionnent à partir du même modèle de langage, mais pas dans la même version : il s’agit de GPT-4 pour Bing Chat et de GPT-3.5 pour ChatGPT (GPT-4 y est disponible en souscrivant l’abonnement payant).

Nos dossiers sur ChatGPT

Nous vous invitons à aller lire nos différents dossiers à propos de ChatGPT, pour en savoir plus à propos du chatbot :

• ChatGPT : son fonctionnement, son potentiel et ses dangers… Le guide ultime pour tout comprendre
• Comment utiliser ChatGPT et à quoi sert-il ?
• Qui est OpenAI, le créateur de ChatGPT et Dall-E ?
• On a posé 8 questions tech à ChatGPT : une IA bluffante, mais pas sans limites
• Les alternatives à ChatGPT : il n’y a pas que le chatbot d’OpenAI qui existe

Quelle est la différence entre Google Bard, Bing Chat et ChatGPT ?

Les trois réponses sont assez équilibrées : les trois outils reconnaissent chacun leurs qualités et celles de l’autre, en décrivant leurs fonctionnalités et leurs usages. Bard indique que ChatGPT n’est pas accessible au public, ce qui est complètement faux. Bing, quant à lui, indique que Bard « donne souvent des réponses moins lourdes en texte », ce qui, au vu de nos tests réalisés sur l’outil de Google, est également erroné.

Du côté de ChatGPT, on a là aussi une grosse erreur, disant que « Google Bard est limité à la génération de poèmes et ne peut pas fournir des réponses à des questions ». Mais cela s’explique par le fait que le chatbot d’OpenAI n’a pas accès à des connaissances ultérieures à septembre 2021, il ne peut pas connaître l’existence même de Google Bard ou de Bing Chat, il invente donc entièrement ce qu’il écrit. S’il fallait désigner un « vainqueur », ce serait sans doute Google, avec son tableau résumé des compétences de chaque outil et sa proposition de liste à puces.

Rédiger une lettre de motivation grâce à l’intelligence artificielle

Nous avons demandé aux trois outils de rédiger une lettre de motivation, en indiquant : « Je veux intégrer la rédaction de Frandroid pour devenir journaliste et il me faut une lettre de motivation. Rédige-la pour moi. » Le plus décevant est évidemment Bing Chat, qui ne donne que des conseils assez consensuels pour rédiger une lettre, sans le faire.

Les deux autres IA ont rédigé chacune plusieurs paragraphes qui se suivent avec la même construction : passion des nouvelles technologies et défi professionnel, compétences en journalisme, expériences passées et enfin motivations. Toutefois, les deux inventent des choses qui pourraient être totalement fausses, notamment sur les compétences avancées et les expériences précédentes. Mais, en allant plus loin dans la personnalisation de la requête, les deux pourraient se montrer efficaces. À noter que Bard a ajouté un lien vers un article donnant des conseils pour rédiger sa lettre de motivation.

Résumé des actualités du jour : qui est la meilleure IA « journaliste » ?

Sur ce point, ChatGPT est indéniablement incompétent puisque, comme dit précédemment, ses connaissances ne sont pas actualisées, ce n’est donc même pas la peine d’essayer. Nous avons demandé quelles étaient les principales actualités du jour en France.

Du côté de Bing, il s’est contenté de donner deux sites d’actualités publics français. Le meilleur a effectivement été Google qui a donné cinq actualités avec deux à trois phrases par actualité, sans pour autant citer ses sources.

Les recettes de cuisine : quelle IA est la meilleure « cheffe » ?

Ces outils de génération de texte peuvent aussi donner de l’inspiration et trouver des idées. C’est pourquoi nous leur avons demandé de trouver des recettes de cuisine à partir d’un cas pratique : celui des restes dans le réfrigérateur, en l’occurrence, des oignons.

Bing propose surtout des liens vers de vraies recettes de cuisine avec une liste à puces. Quant à ChatGPT, il décrit quelques étapes de recettes, en précisant les ingrédients nécessaires. Bard est moins loquace puisqu’il ne décrit que les plats qu’il propose, sans expliquer réellement comment les faire.

Votre prochain banquier ne sera pas une intelligence artificielle

Ce que l’on attend d’une intelligence artificielle, c’est aussi qu’elle réalise certaines tâches fastidieuses à notre place, comme des calculs. Nous avons demandé aux trois outils de déterminer les rémunérations issues d’un livret de banque en indiquant le montant de départ ainsi que le taux d’intérêt, et ce sur cinq ans.

Bing est le moins aventureux puisqu’il nous renvoie à un simulateur d’intérêt, se contentant de valider nos informations. Quant à ChatGPT, il précise que le taux indiqué est mauvais (ce qui est normal, ses données d’entraînement n’étant pas actualisées), mais réalise tout de même le calcul. Google Bard fait de même et tente de réaliser un calcul. Le problème, c’est qu’aucun ne tombe juste ; ChatGPT autant que Bard se trompent dans les calculs donnés, bien qu’ils ajoutent des précautions sur les calculs réalisés.

Créer du code informatique

Autre essai : la rédaction de code informatique. On sait que les outils d’intelligence artificielle arrivent à faire gagner beaucoup de temps aux développeurs informatique. C’est le cas du Copilot de Microsoft ou encore du CodeWhisperer d’Amazon. Nous avons demandé aux IA de réaliser une tâche « simple », à savoir la création d’un morpion. Toutes ont rédigé un code dans le langage Python et qui est censé fonctionner.

Dans les faits, seul l’un des codes a pu fonctionner, celui de ChatGPT. Le code rédigé par Bing était très court, comme s’il n’avait pas été terminé. Quant à Bard, il semblerait qu’il se soit emmêlé les pinceaux et ait ajouté un paramètre à une variable alors que cette dernière est définie plus tard dans le code.

Google Bard, Bing Chat, ChatGPT : quelle est la meilleure IA ?

Finalement, ces trois chatbots ont chacun des qualités et des défauts. Si Bing Chat source ses informations, ses réponses sont souvent très courtes et incomplètes. ChatGPT est meilleur sur ce point, mais ne peut traiter des données actuelles sans plug-in. Enfin, Google Bard se situe dans un entre-deux : il source parfois ses informations et se montre assez complet, notamment dans la manière de présenter ses réponses. Il propose fréquemment des listes à puces, des tableaux, etc. D’un point de vue performances, c’est donc lui qui l’emporte sur ChatGPT et sur Bing Chat. Mais il n’est pas exempt de défauts.

Ce que l’on remarque rapidement, c’est que Google Bard affiche une « émotion », utilisant régulièrement des adjectifs mélioratifs pour décrire des personnes par exemple. Aussi, il n’est tout simplement pas disponible en français ni même en France : sans VPN et en n’étant pas à l’aise avec l’anglais, l’utiliser restera compliqué. S’il faut de ce fait prendre des précautions en utilisant Bard, il faut aussi reconnaître que le chatbot de Google est très prometteur et qu’il pourrait profondément changer la recherche en ligne lorsqu’il sera intégré dans Google.