Le langage est-il visuel ? Une expérience avec les caractères chinois

largement discuté sur Douban – une plateforme sociale chinoise – à propos d’une imprimante cassée. Le propriétaire a fait remarquer que lorsque l’imprimante manquait d’encre, chaque caractère sortait avec seulement la moitié supérieure imprimée. Et pourtant, le texte était parfaitement lisible.

Regardez ces trois versions de 人工智能 (« intelligence artificielle ») :

Vous pouvez lire les trois instantanément : le personnage complet, retenu à 80 %, retenu à 50 %. Ce n’est pas une astuce – c’est probablement quelque chose de fondamentalement ancré dans le système chinois.

Une précision : les 80% et 50% font référence à la proportion des image lui-même conservé, et non des caractères individuels. Constatant que chaque caractère occupe un nombre différent de pixels dans l’image, on coupe simplement l’image horizontalement à une hauteur fixe.

Cela m’a fait réfléchir : la langue – du moins le chinois – est-elle fondamentalement visuelle ? J’ai passé quelques jours à réfléchir à cela dans mon cerveau et j’ai finalement décidé de le découvrir avec la façon dont je sais le faire : entraîner des modèles de langage et voir ce qui se passe réellement.

L’expérience : pixels entrants, jetons sortis

Chaque modèle de langage doit d’abord gérer la tokenisation. L’idée de base est la suivante : les ordinateurs ne comprennent pas le texte, nous attribuons donc à chaque mot ou caractère un identifiant, c’est-à-dire un numéro. Par exemple, le caractère 你 devient 100, 好 devient 3, etc. À partir de là, le LLM apprend tout à partir de zéro.

En ce sens, lorsque vous réduisez des caractères tels que 山 (montagne) et 水 (eau) à de simples entiers, vous jetez leurs formes. Et les caractères chinois ont beau formes – configurations de traits, composants radicaux, dispositions spatiales qui contiennent des informations réelles. Autre exemple : 打 (frapper), 拍 (tapoter) et 拉 (tirer) partagent tous le radical 扌 (main). Vous les réduisez aux ID 423, 1089 et 2341, et cette relation disparaît.

Ainsi, au lieu d’ID de jeton, j’ai rendu chaque caractère sous forme d’image en niveaux de gris et je l’ai transmis à un modèle de langage. Le travail du modèle consistait à prédire le prochain personnage.

Vous n’avez pas besoin d’une bonne vue

Si vous avez déjà enlevé vos lunettes pour lire, vous savez que les textes flous sont toujours lisibles. Le même principe se produit ici.

Jetez un œil à ces versions 8×8 pixels de 人工智能 (tenez votre écran à bout de bras) :

Chaque caractère fait 64 pixels. Et le modèle, formé sur des entrées à cette résolution, fonctionne aussi bien qu’un modèle formé sur des images 80 × 80.

En effet, nous avons testé des résolutions d’image allant de 4×4 jusqu’à 80×80, et avons constaté que : Passer de 8×8 à 80×80 – 100 fois plus de pixels – n’achète pratiquement rien.

Les résultats de recadrage sont encore plus frappants et excitants. Avec 50 % de chaque caractère supprimé, la précision diminue de moins de 2 %. Le modèle n’a pas besoin d’une image claire dans son ensemble. Il s’avère qu’il faut juste assez de structure pour savoir à quelle famille radicale appartient un personnage.

(Une note sur la méthodologie : dans les exemples ci-dessus, j’ai placé côte à côte les versions complètes et recadrées afin que vous puissiez comparer. Dans les expériences réelles, chaque condition d’entraînement est complètement indépendante – le modèle formé sur des personnages recadrés n’en a jamais vu un complet.)

L’effet de démarrage à chaud

Alors, le modèle visuel est-il mieux que celui basé sur du texte ?

Pas au final. Les deux convergent vers une précision finale essentiellement identique. Mais le voyage s’annonce très différent, surtout au début.

Après avoir vu seulement 0,4% des étapes de formationle modèle visuel est déjà deux fois plus précis que la référence textuelle.

C’est ce que nous appelons le effet de démarrage à chaud. Le modèle visuel arrive à l’entraînement en sachant déjà quelque chose d’utile : que 打, 拍 et 拉 se ressemblent et se comportent probablement de la même manière. Le modèle basé sur du texte commence par des intégrations aléatoires et doit les comprendre à partir de zéro.

Si vous regardez l’espace d’intégration lors de l’initialisation — avant toute formation — vous pouvez voir ceci directement :

Vous pouvez voir que les personnages partageant le même groupe radical se regroupent dès le tout début de la formation. Similitude cosinus pour les paires de partage de radicaux : ~0,27 pour les intégrations visuelles, ~0,002 pour les intégrations de jetons aléatoires.

Pourquoi la course se termine par une égalité

Voici l’élément clé : les encodages visuels antérieurs visuel similitude, mais pas linguistique cooccurrence. Cependant, la prédiction du prochain personnage dépend en fin de compte de ce dernier.

Oui, 打, 拍 et 拉 partagent tous 扌 et se ressemblent. Mais dans le texte réel, ils peuvent apparaître dans des contextes très différents : 打击犯罪 (combattre le crime), 拍摄照Photo (prendre des photos), 拉动经济 (stimuler l’économie), etc. Une fois que le modèle textuel a vu suffisamment de données pour apprendre ces modèles, les a priori visuels n’ont plus d’importance.

En d’autres termes, les entrées visuelles démarrent à chaud l’optimisation. Mais bon, cela ne change pas le plafond d’information.

Cela me rappelle toujours l’histoire de Ted Chiang Histoire de votre vie (la base du film Arrivée). Dans l’histoire, la langue écrite et la langue parlée sont deux systèmes indépendants. Mais ils servent finalement le même objectif : la communication. Deux chemins, même destination.

Là où cela compte réellement

Malgré la même destination, il existe des situations réelles où cela compte :

Paramètres à faibles ressources. Lorsque l’on dispose de peu de données d’entraînement, l’avance visuelle se traduit par un réel avantage pratique. Dans nos expériences, avec seulement 10 000 échantillons, les modèles visuels surpassent déjà un entièrement formé texte de référence sur les références chinoises en aval (C-eval).

Textes historiques endommagés. C’est une autre question passionnante. Un visuel peut aider à vérifier les manuscrits chinois classiques, les livres endommagés et les documents manuscrits où les traits sont manquants ou estompés.

Qu’en est-il du calcul ?

Bonne nouvelle : presque pas de frais généraux. L’encodeur visuel simplifié que j’ai utilisé a en fait moins paramètres que la référence du texte (12,6 M contre 19,0 M). Surcharge mémoire : +1,3%. Nous affirmons donc que l’a priori visuel est presque gratuit.

La réponse courte

La langue chinoise est-elle visuelle par nature ? La réponse semble être : au début, oui. Au final, cela n’a pas d’importance.

La structure visuelle donne aux modèles un bon départ. C’est similaire à ce que fait le lecteur humain lorsqu’il voit 扌 et sait immédiatement qu’il se trouve sur le territoire d’actions liées à la main. Mais les modèles de langage les plus profonds doivent être appris à partir des données. Les deux représentations les apprennent également bien.

L’article est sur arxiv : https://arxiv.org/abs/2601.09566