Le piège de la confiance des modèles d’IA

un peu fantaisiste un samedi et a décidé de poser à ChatGPT une question assez simple : «Qui a remporté le prix Nobel de physique en 2025 ?»

ChatGPT a répondu immédiatement : «Le prix Nobel de physique 2025 a été décerné à…« Il a même fourni des noms, des domaines de recherche et une explication des recherches spécifiques qui leur ont valu le prix Nobel !

Il n’y avait qu’un seul problème – un très petit, en fait. Le prix Nobel n’avait pas encore été annoncé. Pourtant, le modèle n’a pas hésité ; il ne s’est pas arrêté ; il ne disait sûrement pas : «je n’ai pas assez d’informations» ou, mieux encore, «le lauréat du prix Nobel 2025 n’a pas encore été annoncé !»

Au lieu de cela, il est entré dans la pièce avec confiance, s’est assis et a livré une fiction avec l’énergie de quelqu’un défendant une thèse de doctorat. En tant que personne ayant déjà soutenu un doctorat, j’aurais aimé avoir la confiance de ChatGPT lorsqu’il invente des choses !

En tant qu’humains, nous avons tendance à faire quelque chose d’intéressant en toute confiance ; nous l’associons à l’exactitude, mais ce n’est pas toujours le cas. Si quelqu’un dit : « Je pense la réponse pourrait être 42 » et une autre personne dit : « La réponse est absolument 42″, la plupart d’entre nous font instinctivement davantage confiance à la deuxième personne, même si les deux sont également susceptibles de se tromper. Pour nous, la confiance agit parfois comme un signal utile d’exactitude. Pour les systèmes d’IA, cependant, la confiance peut être un narrateur étonnamment peu fiable.

Dans cet article, nous explorerons pourquoi.

La confiance ressemble à une probabilité

Disons que nous demandons à un LLM de prédire de quel animal il s’agit dans une image donnée. Il dit :

Cat: 0.97
Dog: 0.02
Bird: 0.01

La plupart interpréteront cela comme : »Le modèle est sûr à 97 % qu’il s’agit d’un chat.»

C’est une hypothèse raisonnable. Malheureusement, ce n’est souvent pas ce que signifient ces chiffres. Nous devons nous rappeler que de nombreux modèles d’IA utilisent une fonction appelée Softmax pour générer des prédictions.

La fonction Softmax convertit les sorties brutes (appelées logits) en valeurs dont la somme est égale à un et ressemblent à des probabilités. La chose importante à noter ici est le terme exponentiel, qui peut faire que de petites différences deviennent soudainement très importantes.

Donc, fondamentalement, le modèle ne dit pas : « J’ai des preuves accablantes qu’il s’agit d’un chat. » Il peut s’agir simplement de dire : « Parmi ces options, le chat a gagné avec une petite marge. » Ce sont des déclarations très différentes avec des significations complètement différentes.

Les humains et l’IA gèrent l’incertitude différemment

Même s’il peut être inconfortable de s’asseoir avec eux, les humains sont étonnamment doués pour exprimer et gérer l’incertitude.

On entend constamment : «Je me trompe peut-être…», «Je suis presque sûr… »« Peut être…« , ou « Je pense… » Notre confiance a tendance à exister sur un spectre. Les systèmes d’IA, cependant, se comportent souvent comme cette personne dans un projet de groupe qui explique avec confiance quelque chose qu’elle a appris il y a trois minutes (je suis sûr que nous avions tous ce camarade de classe…).

Ainsi, lorsque vous discutez avec un LLM, le fait de lui dire « Je pense que Paris est la capitale de la France » et de répondre « Paris est la capitale de la France avec 99,8 % de probabilité » donne la même énergie que de lui dire « Je pense que l’Atlantide est fictive » et qu’il répond « L’Atlantide est située à environ 400 miles à l’ouest du Portugal avec 98,7 % de confiance ».

Bien que les deux cas aient des issues très différentes, le LLM les traite de la même manière.

Le problème du fou confiant

Cela crée ce que je considère comme le problème du fou confiant. Où un système peut être spectaculairement faux tout en semblant spectaculairement certain. Et malheureusement, la confiance augmente souvent exactement au moment où nous préférerions plus de prudence.

Cela devient particulièrement visible lorsque les LLM rencontrent des situations en dehors de leur répartition de formation.

Supposons que nous formions un classificateur d’images pour identifier les chats et les chiens. Mais ensuite nous avons décidé de lui donner une image de grille-pain ! Idéalement, le modèle devrait dire : « Je n’ai absolument aucune idée de ce que c’est. » Quelle serait la réaction de la plupart des gens lorsqu’on leur montrerait quelque chose qu’ils n’ont jamais vu auparavant ? Au lieu de dire cela, le modèle pourrait répondre :

Dog: 98%
Cat: 2%

Or, à moins que votre grille-pain soit en forme de caniche, cette réponse est clairement fausse !

Pourquoi cela arrive-t-il ? La réponse est plus simple que la plupart des gens ne le pensent. Simplement, cela se produit parce que le modèle n’a jamais été entraîné à dire : «Aucune des réponses ci-dessus.» Ainsi, lorsqu’il rencontre quelque chose d’inhabituel, il choisit le score disponible le plus élevé parmi les options.

C’est comme forcer quelqu’un à répondre »De quel fruit s’agit-il ? » en désignant un vélo. Finalement, ils choisiront un fruit juste pour résoudre la situation et diront : « Banane?»

Simulons un modèle trop confiant.

Si le modèle indique « 90 % de confiance », nous espérons qu’il est correct environ 90 % du temps. Au lieu de cela, de nombreux systèmes ressemblent davantage à « 90 % de confiance, 65 % de précision ». Cet écart entre confiance et précision est la raison pour laquelle la manière dont nous choisissons de former ces LLM est si importante.

Des modèles pédagogiques pour être plus honnêtes

D’accord, nous savons pourquoi les modèles ont tendance à être si erronés, mais comment pouvons-nous surmonter cela pour avoir de meilleurs modèles avec une plus grande précision, ou une précision qui correspond à leur confiance ? C’est là que l’étalonnage entre en jeu.

L’étalonnage n’améliore pas nécessairement les prévisions. Au lieu de cela, cela améliore l’honnêteté ! Ainsi, si un modèle indique 90 % après calibrage, cela devrait signifier : « Historiquement, les prédictions à ce niveau de confiance étaient correctes environ 90 % du temps. »

Des méthodes telles que :

• Mise à l’échelle de Platt
• Échelle de température
• Régression isotonique

tenter d’aligner la confiance prévue avec les résultats observés.

Voyons à quoi cela ressemble :

Pourquoi c’est important

Il est facile de rire lorsqu’une IA pense qu’un grille-pain est un chien. Parce que c’est sans doute très drôle. Il existe cependant de nombreuses situations moins drôles. Non seulement moins drôle, mais critique, et peut-être même potentiellement mortel. L’utilisation des LLM dans les systèmes de diagnostic médical, les véhicules autonomes, la détection des fraudes et les prévisions financières nécessite une grande précision.

Si un mannequin dit à un médecin : «Probabilité de cancer : 99 % » ou « Probabilité de cancer : 62 %», la réponse du médecin variera considérablement !

Si les scores de confiance sont mal calibrés, les gens peuvent se fier à des prédictions qui ne méritent pas confiance. Et les humains sont ici particulièrement vulnérables parce que la confiance semble convaincante. Même quand nous savons mieux.

À mesure que les modèles continuent d’évoluer vers des flux de travail du monde réel, nous devrons peut-être arrêter de nous demander : «Quelle est la précision du modèle ?» et commencez à demander : « Quand le modèle dit 90 %, cela signifie-t-il réellement 90 % ? » Parce qu’il y a une différence entre un modèle intelligent et un modèle digne de confiance.

Les humains ne sont pas non plus parfaits face à l’incertitude. Nous devenons tout le temps trop confiants. Nous pensons pouvoir terminer un projet en deux jours. Nous pensons pouvoir assembler des meubles sans lire les instructions. Nous pensons que nous n’avons besoin que d’un seul trajet depuis la voiture pour faire les courses. Même si l’histoire suggère le contraire.

Peut-être que l’IA hérite simplement de certaines de nos mauvaises habitudes ? La différence est que lorsque les humains se trompent avec confiance, seules quelques personnes en souffrent. Lorsque l’IA se trompe avec confiance, l’erreur peut atteindre des millions, et la confiance à grande échelle est un problème très différent.

Pensées finales

Depuis des années, nous mesurons les progrès de l’IA en posant des questions de plus en plus impressionnantes :

Peut-il écrire du code ? Peut-il générer de l’art ? Peut-il réussir les examens ? Peut-il raisonner ?

Ces questions sont utiles, mais elles peuvent parfois nous détourner d’une question plus importante :

Peut-on lui faire confiance ?

Un modèle produisant la bonne réponse une fois est passionnant. Un modèle qui produit la bonne réponse à plusieurs reprises tout en sachant quand elle pourrait être fausse est quelque chose de complètement différent. La fiabilité fait rarement la une des journaux.

La confiance en elle-même n’est pas le problème. Le problème commence lorsque la confiance devient une performance plutôt qu’une mesure significative de certitude. Alors que les systèmes d’IA continuent d’évoluer dans les domaines de la santé, de l’éducation, de la finance, de la recherche et de la prise de décision, nous devrons peut-être cesser de traiter les scores de confiance comme des indicateurs de vérité et commencer à les traiter comme des estimations nécessitant une validation.

Parce qu’un modèle qui semble certain est facile, alors qu’un modèle qui sait quand il n’est pas certain peut être l’un des problèmes les plus difficiles qu’il nous reste à résoudre.