Le véritable défi qui limite les modèles d’IA aujourd’hui

Certains des problèmes auxquels nous sommes confrontés lors de la mise en œuvre des algorithmes d’IA, nous nous concentrons généralement sur la capacité des processeurs à les gérer.

Mais désormais, les GPU NVIDIA alimentent les derniers grands modèles de langage, et les entreprises rivalisent pour construire des accélérateurs d’IA plus rapides. Ces nouvelles puces promettent plus de puissance de calcul, plus de cœurs et plus d’opérations par seconde.

On pourrait donc supposer que l’avenir de l’IA dépend de la construction de processeurs de plus en plus puissants ! Mais il y a un problème. De nombreux systèmes d’IA actuels ne sont pas limités par la rapidité avec laquelle ils peuvent effectuer des calculs. Ils sont limités par la rapidité avec laquelle ils peuvent accéder aux données. Des données qui leur sont indispensables pour effectuer leurs calculs.

En d’autres termes, l’avenir de l’IA dépendra peut-être moins du calcul que de la mémoire.

Je sais que cela peut ne pas sembler très intuitif, mais prenons du recul et imaginons quelque chose : imaginez embaucher le chef le plus efficace et le plus rapide du monde.

Ce chef peut préparer des repas à une vitesse incroyable. Cependant, chaque ingrédient est stocké dans un entrepôt à plusieurs kilomètres de là. Avant que le chef puisse cuisiner, quelqu’un doit récupérer les ingrédients et les livrer à la cuisine.

Quel que soit le talent du chef, il y aura des périodes où il restera simplement là, attendant que les ingrédients dont il a besoin pour commencer à cuisiner arrivent.

Les systèmes d’IA modernes sont confrontés à un défi similaire. Les processeurs qu’ils utilisent peuvent effectuer des calculs, mais ils ne peuvent pas opérer sur des données qui ne sont pas encore arrivées. Si le processeur peut calculer plus rapidement que la mémoire ne peut fournir des informations, les performances sont limitées par le mouvement des données plutôt que par le calcul.

C’est ce qu’on appelle en informatique le goulot d’étranglement de la mémoire. Il s’agit de l’un des défis les plus importants et les moins discutés de l’IA moderne.

L’échelle des modèles modernes

Pour mieux comprendre pourquoi la mémoire est devenue un problème aussi important, nous devons considérer la taille des modèles d’IA actuels. Les premiers modèles d’apprentissage automatique pouvaient contenir des milliers, voire des millions de paramètres, tandis que les modèles de base modernes en contiennent des milliards, voire des milliards.

Chacun de ces paramètres représente une valeur numérique qui doit être stockée en mémoire et consultée à plusieurs reprises pendant la formation et l’inférence.

D’accord, cela semble logique, mais consolidons-le avec quelques chiffres ! Supposons que nous ayons un modèle contenant 70 milliards de paramètres. Avant même d’effectuer un seul calcul, le système a besoin d’un emplacement pour stocker tous ces paramètres.

Maintenant, je veux que vous imaginiez des milliers d’utilisateurs interagissant simultanément avec le modèle. Le matériel doit continuellement déplacer d’énormes quantités d’informations entre la mémoire et les processeurs.

Comme vous pouvez le conclure, le défi ne consiste plus simplement à effectuer des calculs ; au contraire, il transmet les données au matériel assez rapidement.

Le déplacement de données peut s’avérer plus coûteux que l’informatique, ce qui constitue l’une des réalités les plus contre-intuitives de l’informatique. Au fil des décennies, les performances des processeurs se sont considérablement améliorées, les ingénieurs étant devenus exceptionnellement doués pour concevoir des puces capables d’effectuer des calculs de plus en plus rapidement. D’un autre côté, les améliorations du système de mémoire ont été plus lentes.

Cela a créé un déséquilibre croissant qui est devenu plus évident à mesure que les systèmes d’IA se développaient. Les processeurs modernes peuvent exécuter des milliards d’opérations par seconde, mais ils passent souvent beaucoup de temps à attendre l’arrivée des données.

Ce goulot d’étranglement des données apparaît de différentes manières au sein des systèmes d’IA. Nous pouvons le constater lors du déplacement de données entre la mémoire et les processeurs, entre les GPU, entre les serveurs ou entre les centres de données.

Ces modèles ne feront que croître, et ce faisant, la problématique du mouvement des données jouera un rôle majeur dans les performances globales du système !

Comprendre la mémoire de l’IA

Jusqu’à présent, je pense avoir écrit le mot « mémoire » plus de 20 fois (je n’ai pas compté !). Vous vous êtes peut-être demandé de quel genre de souvenir parle-t-elle ? La plupart des gens connaissent la RAM, la mémoire installée dans les ordinateurs portables et de bureau. Les systèmes d’IA utilisent différents types de mémoire à des fins différentes.

1- RAM : La mémoire vive stocke les données utilisées par le processeur. Elle est relativement volumineuse mais pas particulièrement rapide par rapport à la mémoire spécialisée de l’IA.

2- VRAM : Les unités de traitement graphique contiennent une mémoire dédiée appelée mémoire vidéo à accès aléatoire (VRAM). Qui est utilisé pendant la formation et l’inférence pour stocker les paramètres du modèle, les lots de formation, les activations et les calculs intermédiaires. La quantité de VRAM disponible détermine souvent si un modèle peut tenir sur un GPU.

3- Mémoire à large bande passante (HBM) : Les accélérateurs d’IA modernes s’appuient de plus en plus sur la mémoire à large bande passante (HBM). HBM est spécialement conçu pour déplacer de grandes quantités de données extrêmement rapidement. Plutôt que d’augmenter simplement la capacité de mémoire, HBM se concentre sur l’augmentation de la bande passante mémoire, c’est-à-dire la vitesse à laquelle les informations peuvent être transférées.

Bien que la taille de la mémoire (sa capacité) soit importante, sa bande passante joue un rôle plus important. Une façon de réfléchir à ces deux concepts est celle d’une autoroute (restez avec moi ici une seconde). La capacité est le nombre de voitures pouvant circuler sur l’autoroute, tandis que la bande passante est le nombre de voies disponibles.

Vous pouvez avoir un immense parking, mais si tous les véhicules doivent sortir par une seule voie, la circulation devient le facteur limitant.

Désormais, comme nous l’avons déjà dit, les systèmes d’IA utilisent différents types de mémoire de différentes manières. Le défi de la mémoire apparaît différemment lors de l’entraînement et de l’inférence.

Formation : la formation nécessite le stockage des paramètres du modèle, des gradients, des activations et des états de l’optimiseur. En conséquence, les besoins en mémoire deviennent énormes. Cela nécessiterait de répartir la mémoire sur de nombreux GPU.

Inférence : l’inférence nécessite généralement moins de mémoire que l’entraînement, mais elle introduit un défi différent. Le modèle doit répondre en permanence aux demandes tout en récupérant les paramètres et en générant rapidement des sorties. Pour les systèmes interactifs comme les chatbots, la latence est désormais un enjeu majeur !

Plus la mémoire peut fournir des informations rapidement, plus le modèle peut répondre rapidement. C’est l’une des raisons pour lesquelles les technologies de mémoire restent essentielles même une fois la formation terminée.

Quelques réflexions finales

La plupart des discussions sur l’optimisation des performances de l’IA se concentrent sur des modèles plus grands et des processeurs plus rapides. Pourtant, les ingénieurs matériels reconnaissent de plus en plus une réalité différente.

Construire des systèmes d’IA plus intelligents ne consiste pas simplement à ajouter plus de puissance de calcul. Cela nécessite également de résoudre le problème du mouvement des données. Heureusement, de nombreux chercheurs se concentrent sur l’amélioration du problème du déplacement des données. Ce faisant, ils explorent différentes approches :

• Architectures de mémoire améliorées.
• Des interconnexions plus rapides.
• Algorithmes économes en mémoire.
• Techniques de compression de modèles.
• Informatique en mémoire proche.
• Technologies de communication optique et photonique.

Chacune de ces approches tente de répondre à la même question : comment déplacer efficacement de grandes quantités d’informations ?

La réponse pourrait déterminer la trajectoire future de l’IA.

Les systèmes d’IA modernes dépendent à la fois du calcul et de la communication. Pendant que les processeurs effectuent des calculs, les systèmes de mémoire déterminent la rapidité avec laquelle les données peuvent leur parvenir. À mesure que la taille et la complexité des modèles continuent de croître, la capacité de mémoire et la bande passante deviennent des facteurs de plus en plus importants dans les performances globales.

La prochaine avancée majeure dans le domaine du matériel d’IA ne viendra peut-être pas d’un processeur doté de plus de cœurs ou de vitesses d’horloge plus élevées. Cela peut provenir d’une meilleure façon de déplacer les données.

Alors, laquelle de ces approches (le cas échéant) est la réponse ? Bon, pour le moment, on ne le sait pas, mais on y arrive petit à petit.

Quelques références

1. Brown, TB et coll. (2020). Les modèles linguistiques sont des apprenants rares.
2. Chowdhery, A., et al. (2022). PaLM : faire évoluer la modélisation du langage avec Pathways.
3. Dao, T., Fu, DY, Ermon, S., Rudra, A. et Ré, C. (2022). FlashAttention : Attention exacte rapide et économe en mémoire avec IO-Awareness.
4. Kwon, W. et coll. (2023). Gestion efficace de la mémoire pour la diffusion de modèles de langage volumineux avec PagedAttention.
5. Zhao, WX et coll. (2023). Une enquête sur les grands modèles de langage.