Nvidia, Google et AWS adoptent l'IA hétérogène : quels enjeux pour l'industrie ?

Le passage de l'entraînement à l'inférence

Ces dernières années, l'industrie de l'intelligence artificielle s'est presque entièrement concentrée sur l'entraînement : concevoir le plus grand modèle, sur le plus grand cluster, plus rapidement que les concurrents. Cependant, le centre de gravité se déplace. Un modèle n'est entraîné qu'une seule fois, mais il répond ensuite à des milliards de requêtes. À mesure que les applications d'IA — telles que les chatbots, les agents de code et les systèmes d'analyse — s'intègrent dans les entreprises, les investissements d'infrastructure passent de l'entraînement à l'inférence.

Les modèles de raisonnement et les agents d'IA autonomes accélèrent cette tendance. Chaque tâche génère une longue chaîne d'appels au modèle, et la consommation de jetons (tokens) lors de l'inférence augmente à un rythme sans précédent. Il ne s'agit pas seulement d'une question de volume, mais d'architecture, ce qui impose de repenser une question fondamentale : quel processeur est adapté à quelle tâche.

L'architecture hétérogène : des puces spécialisées pour chaque étape

Il est facile de voir l'inférence comme une action unique : une question entre, une réponse sort. En réalité, il s'agit d'une chaîne d'étapes fondamentalement différentes :

• La phase de Prefill (pré-remplissage) : Le modèle lit l'intégralité de l'entrée et construit le contexte. Cette étape est hautement calculatoire et parallèle par nature.

• La phase de Decode (décodage) : Les jetons de réponse sont générés séquentiellement. Cette étape est hautement sérielle, consomme énormément de mémoire et est extrêmement sensible à la latence.

Autour de ces phases se trouvent la tokenisation, la dé-tokenisation et la gestion du KV Cache — le contexte accumulé par le modèle tout au long de la conversation. Chaque étape nécessite un mélange différent de calcul, de mémoire et de communication.

Un processeur unique qui tente d'exceller dans toutes les étapes paie un prix élevé : une mémoire HBM coûteuse qui reste inactive pendant la phase de prefill, ou une puissance de calcul massive qui attend la mémoire pendant la phase de decode. À une époque où chaque pourcentage d'utilisation se traduit par des gains financiers majeurs, ce compromis n'est plus acceptable.

Cette prise de conscience se traduit rapidement par des produits. AWS développe depuis des années deux lignes de puces distinctes : Trainium pour l'entraînement et Inferentia pour l'inférence. Google a divisé son TPU de huitième génération en TPU 8t et TPU 8i (respectivement pour l'entraînement et l'inférence). Même Nvidia a dévoilé son premier LPU optimisé pour l'inférence, aux côtés de son dernier GPU Rubin.

C'est la nouvelle direction de l'industrie de l'IA : une architecture hétérogène avec différentes puces spécialisées dans différentes étapes du processus. Le partenariat annoncé cette année entre AWS et Cerebras en est un excellent exemple : les puces Trainium gèrent la phase de prefill, les systèmes Cerebras gèrent la phase de decode, et chaque requête transite entre des processeurs de différents fabricants.

Les défis de l'approche hétérogène

L'architecture hétérogène a un coût, qui se traduit par deux défis majeurs. Le premier est la couche logicielle. Chaque famille d'accélérateurs parle sa propre langue — CUDA de Nvidia, Neuron d'AWS, et d'autres langages propriétaires. Exécuter un seul modèle sur une infrastructure diversifiée nécessite une couche d'abstraction qui le traduit pour chaque environnement d'exécution, surmontée d'un système d'ordonnancement capable d'allouer en temps réel le processeur le plus adapté à chaque étape.

Le second défi, le plus critique, est le réseau. Dans un cluster homogène, les flux de trafic sont relativement prévisibles et symétriques. Dans un environnement hétérogène, le trafic devient irrégulier et imprévisible. Le transfert du contexte (le KV Cache) des processeurs de prefill vers les processeurs de decode doit se faire à une vitesse fulgurante. Les écarts de vitesse entre les types de processeurs créent de fortes rafales de trafic, et le moindre dysfonctionnement — perte de paquets ou latence de queue (tail latency) — laisse des processeurs coûteux inactifs. L'IA étant synchrone par nature, le système progresse au rythme du composant le plus lent.

Le véritable indicateur : le coût par million de jetons

Comment savoir si cet investissement est rentable ? L'indicateur traditionnel — le TCO (coût total de possession) — est généralement calculé à partir du nombre de processeurs ou de leur puissance de calcul (FLOPS). Dans le monde de l'inférence, cela peut être trompeur. Deux clusters identiques en nombre de processeurs peuvent produire des volumes de jetons totalement différents en raison des performances réseau.

C'est pourquoi l'indicateur pertinent est le coût par million de jetons (CPMT), qui normalise le coût de l'infrastructure par rapport à sa production réelle. C'est là que l'hétérogénéité l'emporte : lorsque chaque étape s'exécute sur le processeur le plus adapté, le coût par jeton s'effondre. L'IA hétérogène n'est pas une mode passagère, mais une réponse évolutive inévitable à la transition structurelle de l'IA vers l'inférence.