L’IA analogique est de retour, mais peut-elle survivre à son propre bruit ?

À l’heure actuelle, un GPU consacre la majeure partie de son énergie non pas aux mathématiques, mais au déplacement de chiffres. Récupérer les poids de la mémoire, les transférer vers une unité de calcul, effectuer une multiplication et renvoyer le résultat. Faites cela des milliards de fois par seconde, pendant des mois, au cours d’une formation, et vous commencerez à comprendre pourquoi la facture d’électricité d’IA est devenue un problème de conseil d’administration plutôt qu’une note de bas de page d’ingénierie.

Les chiffres le confirment. Gartner s’attend à ce que la demande mondiale en énergie des centres de données passe de 104 gigawatts en 2025 à 132 gigawatts en 2026, et atteigne environ 290 gigawatts d’ici 2030, les charges de travail d’IA générative étant désignées comme principal moteur. Les serveurs optimisés pour l’IA devraient à eux seuls représenter près d’un tiers de la consommation électrique des centres de données cette année.

C’est la toile de fond d’une résurgence tranquille d’une vieille idée : informatique analogique. De véritables circuits analogiques, utilisant des tensions et des courants continus au lieu de 1 et de 0, pour effectuer les multiplications matricielles qui dominent l’inférence des réseaux neuronaux. Le pitch est séduisant : au lieu de calculer à propos la physique numériquement, pourquoi ne pas laisser la physique calculer directement ?

Ce n’est bien sûr pas une idée nouvelle, les ordinateurs analogiques sont antérieurs aux ordinateurs numériques. Il a été abandonné il y a des décennies pour de bonnes raisons. Et cet article traite des deux moitiés de cette histoire : pourquoi le discours est vraiment convaincant et pourquoi ce qui a tué l’informatique analogique la première fois n’a pas réellement disparu. Je vais parcourir le mécanisme, puis exécuter quelques petites simulations honnêtes qui montrent exactement où il se brise et comment les chercheurs commencent à le corriger.

Comment fonctionne réellement l’informatique analogique en mémoire

Dans une puce conventionnelle, la mémoire et le calcul sont séparés. Chaque fois que vous multipliez un poids par une entrée, ce poids doit voyager depuis une matrice de mémoire, via un bus, vers une unité de calcul, et le résultat doit revenir en arrière. Les chercheurs estiment que ce mouvement peut coûter entre 3 et 10 000 fois plus d’énergie que l’arithmétique elle-même, c’est ce qu’on appelle le goulot d’étranglement de von Neumann.

L’informatique analogique en mémoire (AIMC) met fin à ce voyage. Les poids sont stockés sous forme de valeurs de conductance physique dans une grille de cellules mémoire, souvent construites à partir d’une mémoire à changement de phase ou d’une RAM résistive. Appliquez une entrée sous forme de tension aux bornes de cette grille, et deux lois de la physique font le reste : La loi d’Ohm (courant = tension × conductance) calcule chaque multiplication, et La loi actuelle de Kirchhoff (somme des courants lorsque les fils se rencontrent) calcule l’accumulation. Une multiplication matrice-vecteur complète, sur laquelle les réseaux de neurones passent la plupart de leur temps, se produit en une seule étape physique, aucun bus n’est requis.

Il y a cependant un piège caché dans cette phrase : la multiplication elle-même est essentiellement gratuite, mais l’entrée et la sortie doivent encore franchir la frontière entre les mondes analogique et numérique : les tensions d’entrée, les courants de sortie, les deux nécessitant une conversion. En pratique, les ADC et les DAC effectuant cette conversion sont souvent ceux où le réel le budget énergétique et superficiel est utilisé, pas le réseau de barres transversales lui-même. C’est un peu ironique au cœur du domaine : la physique fait le calcul gratuitement, puis une part significative de la puce est dépensée pour lui parler.

Ce n’est pas hypothétique. La puce du projet HERMES d’IBM Research est un exemple concret, une puce en mémoire analogique basée sur une mémoire à changement de phase qui a déjà été utilisée pour démontrer une précision quasi logicielle sur des charges de travail réelles. Un précédent prototype basé sur IBM PCM, rapporté en 2023, contenait 35 millions de cellules de mémoire à changement de phase et contenait jusqu’à 17 millions de paramètres directement sur la puce, avec une fraction de l’énergie d’un accélérateur numérique. Des startups comme EnCharge AI (issue de Princeton, travaillant avec TSMC sur la fabrication) et Mythic ont collecté de l’argent réel en pariant que la même physique peut être produite pour l’inférence de bord.

Simulez-le vous-même

Vous n’avez pas besoin de matériel exotique pour voir le mécanisme à l’œuvre. Voici une simulation minimale : une multiplication de matrice numérique « parfaite », comparée à la même opération avec des imperfections analogiques réalistes superposées, du bruit de programmation d’appareil à appareil (les poids ne sont pas écrits à la conductance exacte que vous avez demandée), du bruit de lecture (bruit thermique/de tir à chaque fois que vous utilisez la matrice) et une précision ADC finie (le résultat analogique doit encore éventuellement être reconverti en nombre numérique).

import numpy as np

rng = np.random.default_rng(42)

n_in, n_out = 64, 32
W = rng.uniform(-1, 1, size=(n_in, n_out))   # "ideal" weights
x = rng.uniform(-1, 1, size=n_in)             # input activations
digital_result = x @ W                        # ground truth

def analog_matmul(x, W, programming_noise_std=0.0, read_noise_std=0.0, adc_bits=None):
    # weights are physically stored as conductances -> noise is baked in
    # until the cell is reprogrammed
    G = W + rng.normal(0, programming_noise_std, size=W.shape)

    # Ohm's law + Kirchhoff's current law, in one step
    out = x @ G

    # thermal/read noise added at measurement time
    out = out + rng.normal(0, read_noise_std, size=out.shape)

    # the analog result still needs to be digitized
    if adc_bits is not None:
        lo, hi = out.min(), out.max()
        step = (hi - lo) / (2 ** adc_bits)
        out = np.round((out - lo) / step) * step + lo

    return out

L’exécuter avec des quantités croissantes de réalisme produit une courbe d’erreur nette et croissante :

Passer d’une multiplication parfaite à une avec les deux sources de bruit et un CAN 4 bits bon marché introduit une erreur relative de plus de 8 %, sur un couche uniqueavant que cette erreur n’ait la moindre chance de s’aggraver sur un réseau profond. Ce qui soulève la vraie question : dans quelle mesure cela est-il réellement important pour la précision d’un modèle entraîné ?

L’informatique analogique a toujours eu un problème de bruit

C’est exactement la raison pour laquelle l’informatique analogique a perdu sa place au profit du numérique, des décennies avant que l’IA ne lui rende à nouveau sa pertinence. Les signaux physiques continus sont intrinsèquement plus difficiles à cerner que les états binaires. Un circuit numérique n’a qu’à distinguer un 0 d’un 1 ; un circuit analogique doit préserver une amplitude précise contre le bruit thermique, les variations de l’appareil et la dérive dans le temps. Il s’agit d’un problème d’ingénierie beaucoup plus complexe, et il ne disparaît pas simplement parce que l’application est passée de la résolution d’équations différentielles à l’exploitation de réseaux neuronaux. Des travaux récents cataloguant ces effets répertorient le bruit de programmation, le bruit de lecture, la dérive de conductance temporelle, la précision limitée des bits et la perte de conversion analogique-numérique comme problèmes ouverts dans ce domaine. La dérive est particulièrement étrange à gérer : contrairement à un bit numérique, un poids analogique est une propriété matérielle physique, et ce matériau se détend avec le temps, de sorte que le « même » poids peut être lu différemment une semaine après son écriture, c’est pourquoi les puces analogiques nécessitent généralement un recalibrage ou une reprogrammation périodique juste pour rester précis, une mémoire numérique supplémentaire ne paie pas.

Pour voir si cela compte réellement, j’ai formé un petit réseau neuronal de la manière normale, avec une précision numérique totale, sans bruit nulle part, sur la tâche classique de classification des chiffres manuscrits, puis j’ai effectué l’inférence à travers une couche analogique simulée à des niveaux de bruit croissants.

def forward(params, X, layer2_noise_std=0.0):
    h = np.maximum(0, X @ params["W1"] + params["b1"])   # digital hidden layer
    W2 = params["W2"]
    if layer2_noise_std > 0:
        # this line is the analog crossbar: weights corrupted by device noise
        W2 = W2 + rng.normal(0, layer2_noise_std, size=W2.shape)
    logits = h @ W2 + params["b2"]
    return softmax(logits), h

Le réseau a été formé sans savoir qu’il verrait un jour du bruit. Voici ce qui s’est passé lorsque je l’ai évalué via un matériel simulé de plus en plus bruyant :

Le réseau est remarquablement tolérant à de petites quantités de bruit, car la précision descend à peine en dessous du bruit standard ≈ 0,1. Mais au-delà de ce point, il ne se dégrade pas gracieusement, il tombe d’une falaise : 83 % à 0,2, 64 % à 0,4 et à 0,8, il se rapproche d’une estimation aléatoire. C’est la véritable forme de « l’IA analogique a un problème de bruit », non pas une légère taxe de précision, mais un seuil que le réseau n’a jamais été prêt à franchir.

Entraîner le réseau pour le matériel sur lequel il fonctionnera

La réponse actuelle de la recherche à ce problème ne consiste pas (seulement) à construire du matériel plus silencieux, il s’agit de ne pas entraîner le réseau à s’attendre à un signal propre en premier lieu. La technique porte plusieurs noms selon qui la publie, IBM en appelle une version formation sensible au matériel, et une ligne de recherche récente sur ce qu’elle appelle « modèles de base analogiques » l’appelle formation par injection de bruit, mais l’idée est la même : simuler le bruit du matériel cible. pendant l’entraînement, pas seulement au moment du déploiement, la descente de pente est donc obligée de trouver des poids qui lui sont robustes.

J’ai refait la même expérience, mais cette fois j’ai entraîné une deuxième copie du réseau avec du bruit injecté à chaque passage avant pendant l’entraînement :

def train(params, X, Y, epochs=300, lr=0.1, train_noise_std=0.0):
    for epoch in range(epochs):
        # train_noise_std > 0 means the network never sees a clean signal —
        # it has to learn weights that tolerate the noise from day one
        probs, h = forward(params, X, layer2_noise_std=train_noise_std)
        # ...gradient descent as normal from here

Le résultat est le graphique le plus intéressant de cette pièce :

À bruit nul, les deux modèles sont statistiquement identiques : la formation sensible au bruit ne coûte pratiquement rien lorsque le matériel est propre. Mais à mesure que le bruit augmente, l’écart se creuse rapidement : à std=0,6, le modèle normalement entraîné s’est effondré à 39 % tandis que le modèle sensible au bruit en détient toujours 61 %. Aucun des deux modèles n’est immunitaire au bruit, comme toujours, il n’y a pas de repas gratuit et la précision diminue toujours, mais l’un d’eux se dégrade comme un système conçu pour cela, et l’autre se dégrade comme un système sur lequel on n’a jamais dit sur quoi il allait fonctionner.

Ceci n’est qu’un exemple de jouet, un réseau à deux couches sur des images à 8 × 8 chiffres, pas un véritable modèle de production, mais c’est le même mécanisme que les chercheurs appliquent maintenant aux LLM, avec la complication supplémentaire que les grands modèles de langage ont beaucoup plus de couches pour que le bruit se compose et beaucoup moins de tolérance pour le type de falaise de précision montré ci-dessus.

Où en est-on réellement

En résumé, cela vaut la peine d’être honnête sur l’état du terrain. Certaines choses semblent bien établies :

Cela semble réel pour l’inférence, pas encore pour la formation. Presque toutes les sources sérieuses à ce sujet tracent la même ligne : le matériel analogique est viable pour exécuter un modèle déjà formé, en particulier à la périphérie, mais les exigences de précision de la rétropropagation font de la formation sur des substrats analogiques un problème non résolu beaucoup plus difficile.

Le bilan commercial est mitigé. Mythic, l’une des premières startups de puces d’IA analogiques, a passé des années à naviguer sur un marché où les puces numériques à faible consommation continuent de s’améliorer, même si elle a levé 125 millions de dollars fin 2025. EnCharge AI, fondée en 2022, a progressé plus rapidement dans les partenariats de fabrication, en travaillant avec TSMC et en affirmant une consommation d’énergie environ 20 fois inférieure à celle des puces numériques comparables, bien que cette affirmation soit encore largement pré-commerciale. IBM reste principalement en mode recherche, publiant récemment sur le mappage de couches LLM composées d’experts sur des architectures de mémoire analogique 3D.

C’est un pari parmi plusieurs, pas toute l’histoire. L’informatique photonique (utilisant la lumière au lieu de la tension, poursuivie par des sociétés comme Lightmatter et Celestial AI) est un pari connexe mais distinct, et vise aujourd’hui davantage à résoudre les goulots d’étranglement d’interconnexion entre puces qu’à remplacer le calcul lui-même. Les puces neuromorphiques comme la gamme Loihi d’Intel adoptent une autre approche, empruntant la signalisation cérébrale basée sur les événements et basée sur les pointes plutôt que les mathématiques matricielles analogiques denses. Les trois sont regroupés dans la presse sous le nom d’« informatique inspirée du cerveau », mais ils résolvent différentes parties du problème.

Rien de tout cela ne résout à lui seul la crise de pouvoir de l’IA, et elle ne devrait pas être vendue de cette façon. Mais il s’agit d’une véritable refonte architecturale à un moment où les gains d’efficacité numérique s’épuisent – ​​et contrairement à la plupart des feuilles de route matérielles, vous pouvez réellement vérifier l’affirmation centrale et le problème central depuis votre ordinateur portable en une trentaine de lignes de numpy.

Sources et lectures complémentaires

• Gartner, La consommation électrique des centres de données augmentera de 26 % en 2026
• Recherche IBM, L’informatique analogique en mémoire pourrait alimenter les modèles d’IA de demain
• Recherche IBM, La famille de puces AIU
• Recherche IBM, NorthPole : une architecture d’inférence de réseau neuronal avec une puce de 12 nm (numérique, pas analogique — inclus pour la désambiguïsation)
• Buchel et coll., Approximation du noyau à l’aide du calcul analogique en mémoire — Puce de projet HERMES, la puce analogique basée sur PCM d’IBM
• Spectre IEEE, La promesse femtojoule de l’IA analogique
• Spectre IEEE, La puce IA analogique d’EnCharge promet une faible consommation et une précision
• TechCrunch, EnCharge lève plus de 100 millions de dollars pour accélérer l’IA à l’aide de puces analogiques
• «Les modèles de base analogiques s’attaquent au bruit du matériel d’IA pour les LLM» – neurotechnus.com