Une tache noire dans le laboratoire, deux cartes graphiques de jeu et une dispute de milliardaires qui a mené à la révolution de l'IA
D'une dispute lors de l'anniversaire d'Elon Musk aux modèles d'IA modernes : l'histoire de l'apprentissage profond est un voyage des expériences de laboratoire avec des sels d'argent à la puissance de calcul qui a changé le monde.
Lors de l'une des fêtes d'anniversaire d'Elon Musk, une dispute a éclaté qui semble aujourd'hui presque prophétique. En face de Musk était assis Larry Page, l'un des fondateurs de Google. Musk a averti qu'une intelligence artificielle puissante pourrait mettre l'humanité en danger. Page voyait les choses différemment : si un jour apparaissaient des machines plus intelligentes que les humains, elles représenteraient la prochaine étape de l'évolution de l'intelligence. Les humains sont les créatures les plus intelligentes sur Terre ; à l'avenir, pensait Page, ce seraient les machines. Selon la biographie de Musk écrite par Walter Isaacson, Musk était furieux, et en réponse, Page a traité Musk de « spéciste » (speciesist), c'est-à-dire quelqu'un qui donne la priorité à l'espèce humaine sur les autres formes de vie. Musk a répliqué : « Je suis évidemment pro-humain ».
La dispute n'est pas restée à la fête d'anniversaire. Musk a été convaincu par la conversation qu'il ne fallait pas laisser l'avenir de l'intelligence entre les mains d'une seule entreprise, surtout si cette entreprise est Google. Cette dispute a conduit à la création d'OpenAI. En décembre 2015, Elon Musk, Sam Altman, Ilya Sutskever et d'autres ont annoncé la création d'OpenAI en tant que laboratoire de recherche à but non lucratif. Les fondateurs et les soutiens ont présenté des engagements de financement d'une ampleur inhabituelle d'un milliard de dollars. L'objectif initial était aussi ambitieux que la technologie elle-même : développer une intelligence artificielle qui profiterait à toute l'humanité et ne serait pas contrôlée par une seule entreprise.
Mais pour comprendre comment une dispute philosophique lors d'une fête d'anniversaire s'est transformée en une industrie brûlant des milliards de dollars en puces et en centres de données, il faut remonter environ 140 ans en arrière, à une tache noire dans un laboratoire italien.
Des neurones aux calculs
En 1873, le médecin italien Camillo Golgi a développé une méthode de coloration basée sur des sels d'argent, appelée « réaction noire ». Elle colorait les cellules nerveuses, ou neurones. La méthode a révélé le corps du neurone et ses ramifications. Pour la première fois, il était possible de voir le cerveau comme une vaste forêt. Le scientifique espagnol Santiago Ramón y Cajal a amélioré la méthode et est parvenu à une conclusion révolutionnaire : le cerveau est effectivement construit à partir d'une forêt de neurones, comme le croyait Golgi, mais chaque neurone est une unité distincte, et ils communiquent entre eux. En 1906, ils ont partagé un prix Nobel, bien qu'ils aient eu des interprétations opposées.
Soixante-dix ans plus tard, en 1943, le neurophysiologiste Warren McCulloch et le jeune mathématicien Walter Pitts ont pris le neurone biologique et l'ont transformé en modèle mathématique. Ils ont montré qu'il est possible de représenter un neurone comme une unité de calcul simple, et que lorsque de nombreuses unités de ce type sont connectées en réseau, elles sont capables d'effectuer des opérations logiques. Le premier neurone artificiel n'était pas une puce. Il est né sur papier.
Le chemin vers l'apprentissage profond
En 1958, Frank Rosenblatt a présenté au monde le « perceptron » : une machine capable d'apprendre à partir d'exemples en modifiant la force des connexions. Lors d'une démonstration précoce, ils ont assemblé un ordinateur IBM 704 contenant plusieurs perceptrons. La machine pesait plus de 5 tonnes. Rosenblatt a déclaré qu'il s'agissait de « la première machine capable d'apprendre ». Cependant, en 1969, Marvin Minsky et d'autres ont révélé une grande lacune : un perceptron monocouche ne pouvait même pas apprendre le XOR, une opération logique de base. Le battage médiatique s'est transformé en embarras, et le financement de la recherche ultérieure a commencé à disparaître.
En 1986, Geoffrey Hinton et ses collègues ont présenté un moyen pratique de résoudre le problème : la rétropropagation (backpropagation), une méthode qui calcule comment distribuer la responsabilité d'une erreur entre les différentes connexions du réseau et mettre à jour chacune en fonction de sa part. En 1989, Yann LeCun et ses collègues des Bell Labs ont utilisé la rétropropagation pour entraîner un réseau qui reconnaissait des chiffres manuscrits, en utilisant une méthode appelée « convolution ». LeCun a appelé le réseau amélioré LeNet. À la fin des années 90, les descendants de LeNet lisaient déjà des millions de numéros de comptes bancaires à partir de chèques.
L'ère des GPU et des Transformers
En 2006, NVIDIA a introduit CUDA, qui permettait aux développeurs d'utiliser le GPU pour des calculs généraux. En 2012, Alex Krizhevsky, Ilya Sutskever et Hinton ont entraîné un réseau profond sur ImageNet, en le divisant entre deux cartes graphiques de jeu GeForce GTX 580. AlexNet a terminé le concours mondial ImageNet avec une erreur de 15,3 %, contre 26,2 % pour le deuxième. C'était la déclaration d'une nouvelle ère.
En 2017, huit chercheurs de Google ont publié l'article « Attention Is All You Need ». Dans l'article, l'idée du Transformer est née pour la tâche de traduction. Au cœur se trouve le mécanisme d'attention, qui permet à chaque mot de « regarder » les autres mots et de décider lesquels sont importants pour sa compréhension. En 2020, OpenAI a présenté GPT-3, un modèle avec 175 milliards de paramètres. Le 30 novembre 2022, OpenAI a lancé ChatGPT, et la technologie est sortie du laboratoire pour entrer dans la vie de chacun d'entre nous.
La leçon amère et l'avenir
En 2019, Rich Sutton a publié un essai intitulé « The Bitter Lesson », postulant que les méthodes générales qui utilisent plus de calcul et de données ont tendance à contourner les systèmes où les experts ont codé manuellement leurs connaissances. En 2020, OpenAI a donné une formule à cela : les performances des modèles s'améliorent de manière prévisible lorsque l'on augmente les paramètres, les données et le calcul.
Yann LeCun, l'un des pionniers des réseaux profonds, est un critique éminent de la croyance selon laquelle les LLM surpasseront l'intelligence humaine. Son pari porte sur les « modèles du monde » qui apprendront à partir de vidéos et d'interactions. En mars 2026, AMI Labs, la nouvelle entreprise fondée par LeCun, a levé 1 milliard de dollars. Le débat sur la question de savoir si le texte suffit pour l'AGI ou si l'expérience du monde physique est nécessaire se poursuit. Il est probable que les LLM ne seront un jour qu'une couche dans une machine beaucoup plus grande et étrange du futur.
