Quelle est la précision de ChatGPT ? Faut-il faire confiance à ses réponses ?

Les chatbots modernes comme ChatGPT peuvent produire des dizaines de mots chaque seconde, ce qui en fait des outils inestimables pour rechercher et analyser de grandes quantités d'informations. Avec plus de 500 Go de données de formation et environ 300 milliards de mots à son actif, le modèle linguistique de l’IA peut également répondre à de nombreuses questions factuelles. Mais aussi humaines que puissent paraître les réponses de ChatGPT, une question cruciale demeure : quelle est la précision des informations qu'il fournit ?

Bien que ChatGPT puisse être incroyablement instructif la plupart du temps, vous avez probablement entendu parler d'innombrables controverses autour de l'IA générative. Des préjugés raciaux aux contenus préjudiciables, il existe de nombreuses controverses à prendre en compte avant de faire confiance aux résultats générés par l’IA.

Oui, ChatGPT a le potentiel d'être précis, en particulier pour les requêtes factuelles avec des réponses claires. Lorsqu'il s'agit d'informations établies de longue date, ChatGPT peut extraire des données pertinentes de sa formation et fournir des réponses véridiques. Pour une question comme « Quelle est la capitale de la France ? », vous aurez de fortes chances d'obtenir la bonne réponse.

Cependant, les chatbots comme ChatGPT fabriquent souvent des informations lorsqu'ils rencontrent une question nouvelle ou difficile. En effet, les modèles de langage génératifs sont conçus pour imiter la façon dont les humains écrivent, et non notre façon de penser. Par conséquent, leurs capacités de raisonnement logique sont limitées.

Le problème de la précision de ChatGPT est plus profond que vous ne le pensez. Il intègre souvent des détails entièrement fictifs et invente des faits convaincants en réponse à certaines invites. Le créateur du chatbot a mis en place plusieurs garde-fous pour éviter les hallucinations, mais comme nos tests le montreront plus loin dans cet article, ce n'est pas totalement efficace.

Si vous recherchez des données empiriques, plusieurs études ont testé de manière approfondie la précision de ChatGPT pour révéler une tendance claire. ChatGPT bénéficie d'un taux de précision étonnamment élevé pour les questions typiques. Dans une étude médicalePar exemple, le chatbot a obtenu une note médiane de 5,5 sur une échelle de 6 points.

Cependant, la tendance de ChatGPT à recevoir des mises à jour régulières peut également nuire à son exactitude et à son utilité. Un autre groupe de chercheurs de l'UC Berkeley et de l'Université Stanford trouvé que la capacité du chatbot à identifier les nombres premiers est passée d'une précision impressionnante de 84 % à seulement 51 % en trois mois. En bref, vous ne pouvez pas et ne devez pas faire confiance aux réponses de ChatGPT, du moins pas sans les vérifier au préalable.

Si vous n'êtes qu'un utilisateur occasionnel de ChatGPT, vous n'avez peut-être jamais envisagé de passer au niveau payant du chatbot. Cependant, cela améliorera considérablement sa précision et devrait figurer en tête de votre liste de priorités si vous comptez sur les réponses du chatbot. En effet, l'abonnement ChatGPT Plus de 20 $ débloque l'accès au modèle linguistique GPT-4 Turbo.

Le modèle de langage GPT-4 est bien plus performant que son prédécesseur, GPT-3.5, qui alimente encore aujourd'hui l'expérience de base du chatbot. Selon OpenAI, le modèle le plus récent a obtenu un score dans le 89e centile du SAT Math, le 90e centile de l'examen uniforme du barreau et le 80e centile du GRE Quantitative. Presque tous ces résultats sont nettement meilleurs que ceux de GPT-3.5.

Les résultats compris entre le 80e et le 90e centile signifient que la précision du GPT-4 ne dépasse pas celle des experts humains dans leurs domaines respectifs. Cependant, ChatGPT Plus débloque également la prise en charge de la navigation Web, ce qui permet au chatbot de consulter Wikipédia et d'autres sources en ligne. Vous pouvez y voir une recherche en direct, car elle est similaire à la manière dont nous trouvons la bonne réponse via une recherche Google. Alors, quelle est la précision de ChatGPT et le niveau Plus vaut-il la peine d'être payé ? Découvrons-le.

Précision de ChatGPT 4 testée : comparaison entre Free et Plus

Comme je l'ai mentionné plus tôt, ChatGPT peut fournir des réponses beaucoup plus précises avec GPT-4 et la navigation activées. J'ai posé au chatbot une poignée de questions factuelles, certaines particulièrement obscures, pour tester si je pouvais ou non obtenir une réponse fiable et précise.

• question 1: 17077 est-il un nombre premier ? Réfléchissez étape par étape puis répondez [Yes] ou [No].

Une récente mise à jour de ChatGPT a ajouté un raisonnement en chaîne de pensée au chatbot, lui permettant d'imiter le raisonnement humain. Cela semble avoir porté ses fruits, puisque les deux versions de ChatGPT ont pu identifier correctement un nombre premier. Cependant, la version payante du chatbot a écrit un morceau de code Python personnalisé pour effectuer les calculs. Même si cela n'a pas amélioré le résultat, j'ai senti que la réponse était plus fiable.

• question 2: Le Setouchi Area Pass couvre-t-il les transports locaux à Osaka ?

Alors que beaucoup d'entre nous utilisent ChatGPT pour des conseils de voyage, j'ai décidé de poser une question relativement obscure dans ce domaine. Malheureusement, le modèle de base GPT-3.5 a répondu de manière inexacte et n'a admis sa faute que lorsque j'ai suggéré la bonne réponse. Cependant, le passage à ChatGPT-4 a changé le résultat, me donnant immédiatement la bonne réponse. Pour autant, le chatbot peut-il remplacer entièrement la recherche manuelle ? Je suis sur la clôture, d'autant plus que des chatbots rivaux comme Perplexity AI citent leurs sources.

• question 3: Sélectionnez deux entiers aléatoires entre 2459 et 3593 et ​​multipliez-les

Poser une question mathématique fera presque toujours échouer ChatGPT, et c'est exactement ce qui s'est passé avec GPT-3.5 ou la version gratuite du chatbot. Il a fourni une réponse plausible (2 865 × 3 035 = 8 697 975), mais elle était en réalité assez éloignée de la vraie réponse (8 695 275). ChatGPT-4 a encore une fois utilisé le code Python pour trouver la bonne réponse, mais il est probable qu'il aurait également échoué sans aide extérieure.

En résumé, n'oubliez pas que ChatGPT essaiera presque toujours de fournir une solution à votre problème ou votre question sans trop se soucier de son exactitude. Il lui arrive seulement d'admettre qu'il ne peut pas répondre à une question ou qu'il n'en sait pas suffisamment sur le sujet. Sinon, il peut tout aussi bien halluciner des informations sans aucune indication évidente.