Darwinisme du silicium : pourquoi la rareté est la source de la véritable intelligence

dans une curieuse ère de l’intelligence artificielle où la taille est à tort assimilée à l’intelligence. Les modèles deviennent de plus en plus grands jusqu’à atteindre des milliards de paramètres, les centres de données deviennent à l’échelle industrielle et les progrès se mesurent aux mégawatts d’énergie utilisés. Cependant, certains des systèmes intelligents les plus ingénieux jamais créés – comme les vaisseaux spatiaux interstellaires et le cerveau humain – fonctionnent sous des contraintes extrêmement strictes. Ils ne comptent pas sur leur taille mais sur leur efficacité.

Au cœur de la science des données moderne, il existe une division. D’une part, l’apprentissage automatique est dans une course à l’échelle. D’un autre côté, et de manière moins bruyante, une révolution est en train de se produire dans le sens inverse : il s’agit de modèles quantifiés, d’inférence de périphérie, de TinyML et d’architectures qui survivront avec des ressources très limitées. Ce ne sont pas des limitations qui conduisent à une dégradation des performances. Ce sont les signes d’un changement révolutionnaire dans l’ingénierie du renseignement.

Cet article avance une notion modeste mais provocatrice : la rareté ne doit pas être considérée simplement comme une limitation de l’intelligence mais plutôt comme le facteur le plus important derrière son développement. Qu’il s’agisse de Voyager 1, de la compression neuronale ou de l’avenir même de la civilisation humaine, les systèmes qui survivent sont ceux qui parviennent à tirer le meilleur parti de moins. L’efficacité n’est pas quelque chose qui entrave le progrès. C’est sa forme ultime.

Le paradoxe du Voyageur

En 1977, l’humanité a lancé l’un des systèmes d’ingénierie autonomes les plus durables de l’histoire : Voyageur 1.

Il navigue à travers le système solaire depuis près de 50 ans, corrigeant automatiquement sa trajectoire et renvoyant des données scientifiques depuis l’espace situé en dehors de notre système solaire. Il a réussi à réaliser toutes ces prouesses avec seulement 69,63 kilo-octets de mémoire et un processeur fonctionnant environ 200 000 fois plus lentement que les smartphones actuels.

Une telle limitation n’a pas été considérée comme un défaut. C’était une approche du ​‍​‌‍​‍‌design.

Comparez​‍​‌‍​‍‌ cela avec le moment présent. En 2026, nous célébrons les grands modèles de langage qui ont besoin de gigaoctets de mémoire rien que pour écrire un limerick. Nous avons pris pour acquis ce qui ne peut être décrit que comme un gigantisme numérique. L’efficacité est presque oubliée ; les performances sont désormais mesurées par le nombre de paramètres, les clusters GPU et les mégawatts consommés.

Si le Voyager 1 avait été construit en utilisant la culture logicielle actuelle, il n’aurait pas dépassé l’orbite terrestre ​‍​‌‍​‍‌.

Cela mis à part, la nature reste impitoyablement efficace. Le cerveau humain – probablement l’intellect le plus intelligent du monde – ne consomme qu’environ 20 watts. Le Voyager utilise une source nucléaire qui produit encore moins d’énergie qu’un sèche-cheveux. Cependant, une partie importante de ce que nous appelons aujourd’hui l’IA nécessite des niveaux de consommation d’énergie comparables à ceux des industries lourdes.

En fait, nous fabriquons des dinosaures dans un environnement qui favorise progressivement les mammifères.

Les géants du numérique et leurs coûts cachés

Actuellement, les modèles de langage avancés possèdent des dizaines, voire des centaines de milliards de paramètres, par conséquent, seuls leurs poids peuvent occuper plusieurs centaines de gigaoctets rien que pour le stockage. Par exemple, GPT-3 en simple précision occuperait environ 700 Go. La consommation d’énergie nécessaire à la formation et au fonctionnement de ces systèmes est égale à celle d’une ​‍​‌‍​‍‌ville.

Ce type de conception​‍​‌‍​‍‌ conduit à différents types de fragilité structurelle :

• Fragilité économique : les coûts du cloud facturés par requête augmentent très rapidement
• Latence : l’inférence à distance entraîne des retards inévitables
• Risque de confidentialité : les informations confidentielles doivent quitter les appareils locaux
• Coût environnemental : les centres de données IA sont désormais presque à égalité avec des industries entières en termes d’empreinte carbone

Bien souvent, dans des situations réelles, ces compromis ne sont pas nécessaires. Les systèmes plus petits et plus spécialisés peuvent le plus souvent produire l’essentiel de la valeur fonctionnelle pour une petite fraction du coût. Utiliser un modèle avec un billion de paramètres pour un travail très spécifique revient de plus en plus à utiliser un superordinateur pour faire fonctionner une calculatrice.

Le problème n’est pas le manque de capacités. Le problème est ​‍​‌‍​‍‌exagération.

La contrainte comme fonction de forçage

L’ingénierie​‍​‌‍​‍‌ a tendance à s’accumuler lorsque les ressources sont abondantes. Toutefois, cela devient très précis lorsque les ressources sont rares. La limitation rend les systèmes délibérés.

Un bon exemple est la quantification – le processus consistant à réduire la précision numérique des poids du modèle.

import numpy as np

np.random.seed(42)
w = np.random.randn(4, 4).astype(np.float32)

qmin, qmax = -128, 127
xmin, xmax = w.min(), w.max()

scale = (xmax - xmin) / (qmax - qmin)
zp = qmin - round(xmin / scale)

q = np.clip(np.round(w / scale + zp), qmin, qmax).astype(np.int8)
w_rec = (q.astype(np.float32) - zp) * scale

print("original:", w[0, 0])
print("int8:", q[0, 0])
print("reconstructed:", w_rec[0, 0])
print("error:", abs(w[0, 0] - w_rec[0, 0]))

La​‍​‌‍​‍‌ diminution de 75 % de l’empreinte mémoire en elle-même n’est pas simplement un gain d’efficacité ; c’est un changement essentiel dans la nature du modèle. Après avoir supprimé le bruit décimal, la vitesse d’inférence augmente puisque le matériel fonctionne plus efficacement avec l’arithmétique entière qu’avec les opérations à virgule flottante. Les études industrielles ont toujours montré qu’une baisse de précision de 32 bits à 8 bits et même à 4 bits n’entraîne pratiquement aucune perte de précision. Il est donc clair qu’une solution « intelligente » limitée ne se transforme pas en une solution de bas niveau ; c’est une concentration. Le signal restant est plus fort, plus susceptible d’être déplacé et finalement plus ​‍​‌‍​‍‌développé.

Les Galápagos du calcul

Imaginez​‍​‌‍​‍‌ changer de position pour vous rendre dans les rues de Calcutta ou dans les terres agricoles du Bengale occidental. La vision « Cloud-First » de la Silicon Valley se heurte généralement à la réalité d’une 4G limitée et de données coûteuses dans une grande partie des pays du Sud. Dans ces lieux, l’IA ne devient « utile » que lorsqu’elle est locale.

Hors de telles situations, MinusculeML et IA de pointe est née, non pas comme de petites copies de la « vraie » IA, mais comme des conceptions spéciales qui peuvent fonctionner sur du matériel bon marché sans connexion réseau ​‍​‌‍​‍‌.

Prenons simplement l’exemple du déploiement de la détection des maladies des cultures avec l’ensemble de données PlantVillage. Un énorme Vision Transformer (ViT) peut atteindre une précision de 99 % sur un serveur en Virginie, mais il n’est d’aucune utilité pour un agriculteur d’un village isolé sans signal. En utilisant Distillation des connaissancesqui est essentiellement le grand modèle « Enseignant » formant un petit modèle « Étudiant » comme MobileNetV3nous pourrions effectuer une détection de la rouille des feuilles en temps réel sur un appareil Android à 100 $.

En pratique:

• Connectivité : l’inférence se produit sur l’appareil
• Énergie: la transmission sans fil est minimisée
• Confidentialité: les données brutes ne quittent jamais l’appareil

Exemple d’inférence de bord de style TinyML

Pour​‍​‌‍​‍‌ déployer ces modèles « étudiants », nous utilisons des frameworks tels que TensorFlow Lite pour transformer les modèles en un format de tampon plat optimisé pour les processeurs mobiles ​‍​‌‍​‍‌.

import tensorflow as tf
import numpy as np

interpreter = tf.lite.Interpreter(model_path="model.tflite")
interpreter.allocate_tensors()

input_details = interpreter.get_input_details()
output_details = interpreter.get_output_details()

data = np.array([[0.5, 0.2, 0.1]], dtype=np.float32)

interpreter.set_tensor(input_details[0]['index'], data)
interpreter.invoke()

output = interpreter.get_tensor(output_details[0]['index'])
print("Local inference:", output)

Ces​‍​‌‍​‍‌ ne sont pas des compromis, mais plutôt des avantages évolutifs. Un appareil de 50 $ peut désormais effectuer un travail qui nécessitait auparavant des batteries de serveurs. Ces systèmes ne recherchent pas des scores de référence mais se concentrent plutôt sur la vie. En termes d’évolution, la survie choisit l’efficacité, et l’efficacité se traduit par ​‍​‌‍​‍‌résilience.

Le silence est efficace

Il est tout à fait naturel que l’intelligence allant dans le sens de l’efficacité sur Terre soit également un principe qui s’applique à l’univers à grande échelle.

Le paradoxe de Fermi pose la question de savoir pourquoi l’univers semble dépourvu de tout signe de vie alors que statistiquement, il devrait y avoir des civilisations avancées. Nous sommes convaincus que l’intelligence doit se développer vers l’extérieur – les sphères de Dyson, les mégastructures et la diffusion interstellaire sont quelques exemples de la manière dont cela peut être réalisé.

Mais que se passerait-il si les pays matures étaient capables non pas de s’étendre mais de se stabiliser ?

Une civilisation qui parvient à effectuer ses calculs avec une production de déchets minimale, proche de zéro, ne laisserait pratiquement aucune trace détectable. Ce serait limiter la communication au niveau minimum possible. À mesure que son intelligence se développait, son empreinte deviendrait plus petite.

Dans ce cas, le silence n’est pas vide de vie. C’est très efficace.

Accepter la contrainte

À mesure que​‍​‌‍​‍‌ nous passons de Voyager 1 au cerveau humain et imaginons même des superintelligences, le même schéma ne cesse de se répéter : l’efficacité vient en premier, puis la sophistication.

Si nos machines les plus avancées ne peuvent effectuer que des tâches extrêmement restreintes et ont néanmoins besoin de l’énergie d’une ville entière, le problème n’est pas que nous soyons trop ambitieux, mais que notre architecture est défectueuse. L’avenir de l’IA ne sera pas une question de taille mais une question de grâce dans les limites.

Ce ne seront pas les systèmes les plus grands qui survivront, mais ceux qui seront les plus efficaces.

Plutôt que par la quantité de consommation d’une entité, l’intelligence est mesurée par le peu dont elle a besoin.

Conclusion

De​‍​‌‍​‍‌ Voyager 1 au cerveau humain en passant par l’IA moderne, une seule et même idée ne cesse de se répéter : l’intelligence ne se mesure pas par la quantité qu’elle consomme, mais par l’efficacité avec laquelle elle fonctionne. La pénurie n’est pas un méchant pour l’innovation : elle est le moteur même qui la façonne. Si seulement une poignée de ressources sont disponibles, les organismes vivants deviennent alors très intentionnels, précis et résilients.

La quantification, TinyML et l’inférence sur l’appareil ne sont plus considérées comme des solutions temporaires que les équipes d’ingénierie peuvent utiliser pour corriger les choses ; ce sont plutôt les premiers signes d’une évolution majeure de l’informatique.

L’avenir de l’IA ne sera pas déterminé par le modèle le plus grand ou l’infrastructure la plus bruyante. Cela sera décidé par les conceptions qui offrent des fonctionnalités significatives avec peu de ressources gaspillées. Une véritable intelligence naît lorsque l’énergie, la mémoire et la bande passante sont considérées comme des ressources rares plutôt que traitées comme des ressources inépuisables. Dans cette optique, être efficace n’est rien de moins que maturité.

Ceux qui seront là pour raconter l’histoire ne seront pas ceux qui évoluent simplement en continu, mais ceux qui continuent de se perfectionner jusqu’à un niveau où il ne reste plus rien de superflu. L’intelligence, à son meilleur, est une beauté limitée par des ​‍​‌‍​‍‌limitations.

Optimisons ensemble​‍​‌‍​‍‌

Si vous travaillez à rendre l’IA plus durable, plus efficace ou plus accessible à la périphérie, j’aimerais vous connecter. Vous pouvez trouver plus de mon travail et me contacter sur LinkedIn.

Références

• Laboratoire de propulsion à réaction de la NASA (JPL): Archives de la mission Voyager et documentation technique du vaisseau spatial
• Recherche IBM et littérature industrielle sur la quantification de l’IA et l’inférence efficace
• L’UNESCO rapporte sur TinyML et l’IA de pointe dans les régions en développement
• Analyses de la consommation d’énergie dans les systèmes d’IA et les centres de données à grande échelle
• Discussions scientifiques contemporaines sur le paradoxe de Fermi et l’intelligence économe en énergie