Un expert en IA affirme que ChatGPT est beaucoup plus « stupide » que les gens le pensent

Et suggère que le chatbot est plus proche d’un outil de recherche que d’une intelligence générale artificielle.

Rodney Brooks, chercheur en robotique et expert en IA, a déclaré dans une récente interview que les grands modèles de langage comme GPT-4 et Bard sont beaucoup plus « stupides » qu’on le pense et qu’ils sont encore loin de pouvoir rivaliser avec l’intelligence humaine dans n’importe quelle tâche. Le chercheur ajoute que le grand public, ainsi que certains de ses pairs, a une perception trop exagérée des grands modèles de langage et que l’humanité a fait de nombreuses erreurs d’appréciation en prédisant les capacités futures de l’IA. En outre Brooks considère plus ChatGPT comme un puissant outil de recherche que d’un système proche d’une intelligence générale artificielle.

Rodney Brooks est chercheur en robotique, universitaire, entrepreneur et expert en IA. Il a notamment dirigé le laboratoire de recherche en informatique et en IA du MIT (CSAIL) jusqu’en 2007, et a occupé des postes de professeur à l’université Carnegie Mellon et à l’université de Stanford avant cela. Brooks a récemment accordé une interview à IEEE Spectrum dans lequel il aborde l’un des sujets les plus discutés actuellement dans l’industrie : les grands modèles de langage (LLM). L’entretien a révélé que Brooks ne considère pas les LLM actuels avec autant d’appréhension que certains de ses pairs, notant même que l’on a tendance à exagérer les choses.

Lors de l’interview, Brooks a affirmé que les gens ont largement surestimé les grands LLM et que ces outils sont bien plus « stupides » que nous ne le pensons, sans parler du fait qu’ils sont loin de pouvoir rivaliser avec les humains sur le plan intellectuel, quelle que soit la tâche à accomplir. Dans l’ensemble, dit-il, l’on est coupable d’avoir mal prédit l’avenir de l’IA. Les questions de la publication allaient dans le sens suivant : l’IA est-elle prête à devenir une intelligence générale artificielle (IGA) capable de fonctionner à un niveau intellectuel similaire à celui de l’homme ? « Non, parce qu’elle n’a pas de modèle sous-jacent du monde », a répondu l’universitaire.

« Elle n’a aucun lien avec le monde. Il s’agit d’une corrélation entre les langages », a-t-il ajouté. Les commentaires de Brooks contrastent avec certains commentaires récents d’entreprises ou d’experts du domaine de l’IA sur les modèles IA. Par exemple, après avoir mené plusieurs expériences sur GPT-4, des chercheurs de Microsoft ont affirmé que le LLM d’OpenAI montrait des « étincelles » d’une intelligence comparable à celle des humains. Mais Brooks affirme que les modèles d’IA actuels ne sont pas « intelligents », mais « stupides », car ils ne sont pas capables de déduire logiquement le sens du langage, même s’ils donnent l’impression de pouvoir le faire.

Ce qui peut facilement induire l’utilisateur en erreur. « Lorsque nous observons les actions d’une personne, nous évaluons rapidement ses capacités générales et portons des jugements. Cependant, nos méthodes de généralisation de la performance à la compétence ne s’appliquent pas aux systèmes d’IA. Ce que les grands modèles de langage savent faire, c’est dire à quoi une réponse devrait ressembler, ce qui est différent de ce qu’une réponse devrait être », a déclaré Brooks. Selon lui, « les grands modèles d’IA excellent dans la production de réponses qui semblent correctes, ce qui est différent de la réalité ». Il ajoute que les LLM se trompent très souvent.

Le chercheur a expliqué qu’il avait expérimenté de grands modèles de langage pour l’aider dans le « codage obscur », mais qu’il s’était heurté à de sérieux problèmes. « Il donne une réponse en toute confiance, et je la crois en quelque sorte. La moitié du temps, elle est complètement fausse. Je passe deux ou trois heures à utiliser cet indice, puis je me dis que cela n’a pas fonctionné, et le logiciel fait autre chose. Ce n’est pas la même chose que l’intelligence et ce n’est pas de l’interaction. C’est de la recherche », a déclaré Brooks. D’ailleurs, l’universitaire suggère que la recherche avec ChatGPT est beaucoup plus simple que la recherche traditionnelle.

En bref, Brooks pense que les futures itérations de la technologie pourraient aboutir à des résultats intéressants, « mais pas à l’IGA ». Si Brooks a raison de dire que les robots d’IA d’aujourd’hui ne sont pas aussi intelligents qu’on le dit, alors nous sommes peut-être dans le pétrin. Le simple fait d’apprendre que l’IA peut accomplir la plupart des tâches, en particulier les emplois de débutants et certains emplois de haut niveau, a fait imploser l’industrie technologique sur elle-même et provoqué des milliers de licenciements. Par exemple, plusieurs illustrateurs a déclaré avoir perdu leurs emplois au profit des systèmes d’IA de génération d’œuvres d’art.

Brooks travaille dans le domaine depuis un certain temps déjà et en est à sa troisième entreprise de robotique, Robust.AI. En supposant que Brooks ait raison, tout ce que l’on vit à propos de l’IA – l’euphorie, la peur ou tout autre sentiment – n’est rien d’autre que de l’hystérie de masse, à un niveau sans précédent. L’essentiel de son scepticisme réside dans la façon dont les modèles d’IA fonctionnent. Il a suggéré que l’absence de véritable moyen de déchiffrer le contexte de la situation et d’un manque général de conscience de soi, l’IA se contente de régurgiter des informations jusqu’à ce qu’elles touchent la bonne corde sensible de votre cerveau.

Si Brooks trouve que les systèmes d’IA actuels sont « stupides », l’écrivain Jim McDermott pense de son côté que ChatGPT n’est pas une IA, mais plutôt un « voleur ». Il a publié un billet de blogue dans lequel il affirme que ces programmes ne sont pas des IA, mais des voleurs qui s’appuient sur les productions d’autres auteurs sans leur accord. Il les compare à des ateliers de démontage qui pillent le travail des créateurs et le transforment en nouveaux produits. Selon lui, ChatGPT pose des questions éthiques et juridiques sur la propriété intellectuelle, le droit d’auteur et l’utilisation équitable quand la création peut être réduite à des unités microscopiques.

« Nous avons qualifié les programmes qui font ce travail d’IA. À première vue, la réalité de ce concept n’a jamais été aussi convaincante. Ces programmes génèrent en un instant des œuvres complètes et apparemment originales. Ils peuvent également communiquer avec une personne d’une manière qui ressemble à une véritable conversation. Mais en fait, pour l’instant en tout cas, ces programmes ne sont pas sensibles. Ils ne sont qu’une forme très complexe du type de système de prédiction de texte que l’on trouve dans Gmail ou Google Docs », a déclaré McDermott. Il appelle à une prise de conscience et à une régulation de ces programmes.

Par contre, selon les plus optimistes, comme Demis Hassabis, PDG de Deepmind, l’industrie est tout à fait capable d’atteindre une IGA dans une décennie. Hassabis a déclaré qu’à cette date, les machines seront alors dotées de bon sens et seront capables de réflexion causale, c’est-à-dire de cette capacité à raisonner sur les raisons pour lesquelles les choses se produisent. En attendant d’y être, il recommande d’opter pour le développement responsable des systèmes d’IA pour une transition en douce.

Lire aussi : BratGPT : le grand frère maléfique de ChatGPT qui rêve de devenir Skynet

Sources : Developpez – Interview de Rodney Brooks, chercheur en robotique et expert en IA