Petite conversation sur les refroidisseurs d’eau, Ep. 9 : Que signifient réellement « penser » et « raisonner » dans l’IA et les LLM
la conversation est un type particulier de bavardage, généralement observé dans les espaces de bureau autour d’une fontaine à eau. Là-bas, les employés partagent fréquemment toutes sortes de potins d’entreprise, de mythes, de légendes, d’opinions scientifiques inexactes, d’anecdotes personnelles indiscrètes ou de purs mensonges. Tout est permis. Dans mes articles Water Cooler Small Talk, je discute d’opinions étranges et généralement scientifiquement invalides que moi, mes amis ou une de mes connaissances avons entendues au bureau et qui nous ont littéralement laissés sans voix.
Alors, voici l’avis sur la fontaine à eau du post d’aujourd’hui :
J’ai été vraiment déçu d’utiliser ChatGPT l’autre jour pour examiner les résultats du troisième trimestre. Il ne s’agit pas d’intelligence artificielle – c’est juste un outil de recherche et de synthèse, mais pas d’intelligence artificielle.
🤷♀️
On parle souvent d’IA, en imaginant une forme d’intelligence supérieure, tout droit sortie d’un film de science-fiction des années 90. Il est facile de s’éloigner et d’y penser comme à une singularité cinématographique comme celle de Terminator. Skynet ou L’IA dystopique de Dune. Les illustrations couramment utilisées sur des sujets liés à l’IA avec des robots, des androïdes et des portails intergalactiques, prêts à nous transporter vers le futur, ne font que nous induire en erreur en nous faisant mal interpréter l’IA.
de gauche à droite : 1) photo de Julien Tromeur sur Unsplash2) photo de Luc Jones sur Unsplash3) photo de Xu Haiwei sur Unsplash
Néanmoins, pour le meilleur ou pour le pire, les systèmes d’IA fonctionnent d’une manière fondamentalement différente – du moins pour le moment. Pour l’instant, il n’existe pas de superintelligence omniprésente prête à résoudre tous les problèmes insolubles de l’humanité. C’est pourquoi il est essentiel de comprendre ce que sont réellement les modèles d’IA actuels et ce qu’ils peuvent (et ne peuvent pas) faire. Ce n’est qu’alors que nous pourrons gérer nos attentes et tirer le meilleur parti possible de cette nouvelle technologie puissante.
🍨 Crème de données est une newsletter sur ce que j’apprends, construis et pense sur l’IA et les données. Si ces sujets vous intéressent, abonnez-vous ici.
Pensée déductive ou inductive
Afin de comprendre ce qu’est et n’est pas l’IA dans son état actuel, et ce qu’elle peut et ne peut pas faire, nous devons d’abord comprendre la différence entre la pensée déductive et inductive.
Psychologue Daniel Kahneman a consacré sa vie à étudier le fonctionnement de notre esprit, menant à des conclusions et à des décisions, façonnant nos actions et nos comportements – une recherche vaste et révolutionnaire qui, en fin de compte, a lui a valu le prix Nobel d’économie. Son travail est magnifiquement résumé pour le lecteur moyen dans Penser vite et lentementoù il décrit deux modes de pensée humaine :
- Système 1 : rapide, intuitif et automatique, essentiellement inconscient.
- Système 2 : lent, délibéré et exigeant, nécessitant un effort conscient.
D’un point de vue évolutif, nous avons tendance à préférer fonctionner sur le système 1 car cela permet d’économiser du temps et de l’énergie – un peu comme vivre sur pilote automatique, sans trop penser aux choses. Néanmoins, la grande efficacité du Système 1 s’accompagne souvent d’une faible précision, conduisant à des erreurs.
De même, le raisonnement inductif s’aligne étroitement sur le système 1 de Kahneman. il passe d’observations spécifiques à des conclusions générales. Ce type de pensée est basé sur des modèles et donc stochastique. En d’autres termes, ses conclusions comportent toujours un certain degré d’incertitude, même si nous n’en sommes pas conscients.
Par exemple:
Modèle: Le soleil s’est levé chaque jour de ma vie.
Conclusion: Le soleil se lèvera donc demain.
Comme vous pouvez l’imaginer, ce type de réflexion est sujet aux biais et aux erreurs car il généralise à partir de données limitées. En d’autres termes, le soleil se lèvera très probablement aussi demain, puisqu’il s’est levé tous les jours de ma vie, mais pas nécessairement.
Pour arriver à cette conclusion, nous supposons également que « Tous les jours suivront le même schéma que ceux que nous avons vécus »ce qui peut être vrai ou non. En d’autres termes, nous supposons implicitement que les modèles observés dans un petit échantillon vont s’appliquer partout.
De telles hypothèses silencieuses faites pour parvenir à une conclusion sont exactement ce qui fait que le raisonnement inductif conduit à des résultats hautement plausibles, mais jamais certains. De la même manière que pour l’ajustement d’une fonction à l’aide de quelques points de données, nous pouvons supposer quelle peut être la relation sous-jacente, mais nous ne pouvons jamais en être sûrs, et se tromper est toujours une possibilité. Nous construisons un modèle plausible de ce que nous observons et espérons simplement qu’il est bon.
En d’autres termes, différentes personnes opérant sur des données différentes ou dans des conditions différentes produiront des résultats différents lorsqu’elles utiliseront l’induction.
D’un autre côté, le raisonnement déductif passe de principes généraux à des conclusions spécifiques, c’est-à-dire essentiellement le système 2 de Kahneman. Il est basé sur des règles, déterministe et logique, suivant la structure de «si A, alors bien sûr B».
Par exemple:
Prémisse 1 : Tous les humains sont mortels.
Prémisse 2 : Socrate est humain.
Conclusion: Socrate est donc mortel.
Ce type de pensée est moins sujet aux erreurs, puisque chaque étape du raisonnement est déterministe. Il n’y a pas d’hypothèses silencieuses ; puisque les prémisses sont vraies, la conclusion doit être fidèle.
Pour en revenir à l’analogie de l’ajustement des fonctions, nous pouvons imaginer la déduction comme le processus inverse. Calcul d’un point de données étant donné la fonction. Puisque nous connaissons la fonction, nous pouvons à coup sûr calculer le point de données, et contrairement à plusieurs courbes ajustant mieux ou moins bien les mêmes points de données, pour le point de données, il y aura une réponse correcte définitive. Plus important encore, le raisonnement déductif est cohérent et robuste. Nous pouvons effectuer le recalcul à un point précis de la fonction un million de fois, et nous obtiendrons toujours exactement le même résultat.
Apparemment, même en utilisant un raisonnement déductif, les humains peuvent commettre des erreurs. Par exemple, nous pouvons gâcher le calcul de la valeur spécifique de la fonction et obtenir un résultat erroné. Mais ce ne sera qu’une erreur aléatoire. Au contraire, l’erreur du raisonnement inductif est systémique. Le processus de raisonnement lui-même est sujet aux erreurs, puisque nous incluons ces hypothèses silencieuses sans jamais savoir dans quelle mesure elles sont vraies.
Alors, comment fonctionnent les LLM ?
Il est facile, en particulier pour les personnes n’ayant pas de formation en technologie ou en informatique, d’imaginer les modèles d’IA d’aujourd’hui comme une intelligence extraterrestre et divine, capable de fournir des réponses judicieuses à toutes les questions de l’humanité. Néanmoins, ce n’est pas (encore) le cas, et les modèles d’IA actuels, aussi impressionnants et avancés soient-ils, restent limités par les principes sur lesquels ils fonctionnent.
Les grands modèles linguistiques (LLM) ne « pensent » ni ne « comprennent » au sens humain du terme. Au lieu de cela, ils s’appuient sur des modèles dans les données sur lesquelles ils ont été formés, un peu comme le Système 1 de Kahneman ou le raisonnement inductif. En termes simples, ils fonctionnent en prédisant le prochain mot le plus plausible d’une entrée donnée.
Vous pouvez considérer un LLM comme un étudiant très assidu qui a mémorisé de grandes quantités de texte et appris à reproduire des modèles qui son corriger sans nécessairement compréhension pourquoi ils ont raison. La plupart du temps, cela fonctionne parce que les phrases qui son c’est vrai, j’ai plus de chances de le faire être correct. Cela signifie que de tels modèles peuvent générer du texte et de la parole de type humain avec une qualité impressionnante, et essentiellement ressembler à un humain très intelligent. Néanmoins, générer un texte de type humain et produire des arguments et des conclusions qui son correct ne garantit pas qu’ils soient vraiment sont correct. Même lorsque les LLM génèrent un contenu qui ressemble à un raisonnement déductif, ce n’est pas le cas. Vous pouvez facilement le comprendre en jetant un œil à les outils d’IA absurdes comme ChatGPT produisent occasionnellement.
Il est également important de comprendre comment les LLM obtiennent ces prochains mots les plus probables. Naïvement, nous pouvons supposer que de tels modèles se contentent de compter les fréquences des mots dans un texte existant, puis de reproduire ces fréquences d’une manière ou d’une autre pour générer un nouveau texte. Mais ce n’est pas comme ça que ça marche. Il existe environ 50 000 mots couramment utilisés en anglais, ce qui donne lieu à des combinaisons de mots pratiquement infinies. Par exemple, même pour une courte phrase de 10 mots, les combinaisons seraient de 50 000 x 10^10, ce qui équivaut à un nombre astronomiquement grand. D’un autre côté, tous les textes anglais existants dans les livres et sur Internet représentent quelques centaines de milliards de mots (environ 10 ^ 12). En conséquence, il n’existe même pas suffisamment de texte pour couvrir toutes les phrases possibles et générer du texte avec cette approche.
Au lieu de cela, les LLM utilisent des modèles statistiques construit à partir du texte existant pour estimation la probabilité de mots et d’expressions qui ne seraient peut-être jamais apparus auparavant. Cependant, comme tout modèle de réalité, il s’agit d’une approximation simplifiée, ce qui amène l’IA à commettre des erreurs ou à fabriquer des informations.
Et la chaîne de pensée ?
Alors, qu’en est-il « le modèle réfléchit », ou ‘Raisonnement en chaîne de pensée (CoT)‘? Si les LLM ne peuvent pas vraiment penser comme les humains, que signifient ces termes fantaisistes ? Est-ce juste une astuce marketing ? Enfin, en quelque sorte, mais pas exactement.
La chaîne de pensée (CoT) est avant tout une technique d’incitation permettant aux LLM de répondre à des questions en les décomposant en séquences de raisonnement plus petites, étape par étape. De cette manière, au lieu de formuler une hypothèse générale pour répondre à la question de l’utilisateur en une seule étape, avec un risque plus élevé de générer une réponse incorrecte, le modèle effectue plusieurs étapes de génération avec une plus grande confiance. Essentiellement, l’utilisateur « guide » le LLM en divisant la question initiale en plusieurs invites auxquelles le LLM répond les unes après les autres. Par exemple, une forme très simple d’invite CoT peut être implémentée en ajoutant à la fin d’une invite quelque chose comme ‘pensons-y étape par étape’.
En poussant ce concept un peu plus loin, au lieu d’exiger de l’utilisateur qu’il décompose la question initiale en questions plus petites, des modèles avec ‘longue réflexion‘ peuvent effectuer ce processus par eux-mêmes. En particulier, de tels modèles de raisonnement peuvent décomposer la requête de l’utilisateur en une séquence de requêtes plus petites, étape par étape, ce qui permet d’obtenir de meilleures réponses. CoT a été l’une des plus grandes avancées de l’IA, permettant aux modèles de gérer efficacement des tâches de raisonnement complexes. Le modèle o1 d’OpenAI a été le premier exemple majeur démontrant la puissance du raisonnement CoT.
Dans mon esprit
Comprendre les principes sous-jacents qui permettent aux modèles d’IA actuels de fonctionner est essentiel afin d’avoir des attentes réalistes quant à ce qu’ils peuvent et ne peuvent pas faire, et d’optimiser leur utilisation. Les réseaux de neurones et les modèles d’IA fonctionnent par nature sur un raisonnement de type inductif, même s’ils le font souvent son comme effectuer une déduction. Même des techniques comme le raisonnement en chaîne de pensée, bien que produisant des résultats impressionnants, fonctionnent toujours fondamentalement sur l’induction et peuvent toujours produire des informations qui des sons correct, mais en réalité ce n’est pas le cas.
Vous avez adoré cet article ? Soyons amis ! Rejoignez-moi sur :
📰Sous-pile 💌 Moyen 💼LinkedIn ☕Achetez-moi un café!
Qu’en est-il des pialgorithmes ?
Vous cherchez à apporter la puissance de RAG dans votre organisation ?
pialgorithmes je peux le faire pour toi 👉 réserver une démo aujourd’hui
You may also like
