Le prochain grand bond de l'IA se fait dans le monde réel
Des ingénieurs et des investisseurs se ruent sur les « modèles du monde », également appelés « grands modèles d'action », dans l'espoir de provoquer dans la robotique la révolution que ChatGPT a déclenchée dans l'écriture et la programmation.
Les grands modèles de langage de l'intelligence artificielle excellent peut-être aujourd'hui dans le travail de bureau, mais selon les experts du domaine, pour effectuer des tâches dans le monde physique, il faut des grands modèles d'action (large action models), également appelés « modèles du monde » (world models).
Selon la méthode, destinée à entraîner l'intelligence artificielle à faire fonctionner des robots, les modèles sont entraînés à l'aide de jeux vidéo et de simulations, et non sur de la littérature, du code et des images. Récemment, la technologie a atteint un point où les modèles sont capables de naviguer dans un espace tridimensionnel et même de manipuler des objets de manière autonome grâce à une simple série d'instructions.
La technologie en est encore à ses balbutiements, selon Moritz Baier-Lentz, qui investit dans plusieurs entreprises du secteur. « Si l'on compare cela aux grands modèles de langage, nous en sommes à peu près au stade de GPT-2 », a-t-il déclaré (le modèle qu'OpenAI a lancé en 2019).
Bien que les modèles du monde en soient encore à un stade relativement précoce, certains des noms les plus en vue de l'industrie technologique se ruent déjà sur le domaine. Le pari est qu'une architecture fondamentalement nouvelle pourra amener l'intelligence artificielle là où les systèmes basés sur les grands modèles de langage actuels ne peuvent pas aller. Et les pionniers du domaine espèrent qu'un jour il sera possible de fusionner les deux approches.
Comment fonctionnent les « modèles du monde »
L'objectif
Intégrer l'intelligence artificielle dans des robots qui opèrent dans le monde réel, tout en réduisant les erreurs et la possibilité de blesser des personnes.
L'entraînement
À l'aide de jeux vidéo. Le modèle enregistre chaque image du jeu ainsi que les actions effectuées par les utilisateurs. Ainsi, l'intelligence artificielle peut lier les actions à leurs résultats.
La limite
Le robot doit être à quatre pattes, un véhicule à roues ou un drone, et il doit pouvoir être contrôlé via une manette de jeu, une souris ou un clavier.
Des mots aux mondes
Pendant environ un demi-milliard d'années, les animaux ont progressivement développé des cerveaux capables de créer un modèle du monde qui les entoure et d'utiliser cette carte mentale pour planifier leur prochaine action. Le langage, en revanche, n'existe que depuis environ cent mille ans, et c'est une sorte de raccourci que les humains ont créé pour traiter et transmettre des idées, grandes et petites.
« Le texte n'est qu'une représentation partielle du monde réel, où l'information est perdue », a déclaré Kent Rollins, directeur des produits chez General Intuition et ancien responsable de l'écosystème Fortnite chez Epic Games. « Le monde existait bien avant que nous ayons du texte, donc lorsque nous utilisons du texte pour le décrire, nous manquons nécessairement des aspects essentiels de celui-ci ».
Les chercheurs en robotique le savent depuis longtemps. Les systèmes de contrôle des robots les plus sophistiqués d'aujourd'hui s'appuient sur des simulations basées sur les lois de la physique pour simuler le monde physique. Ce sont aussi des modèles du monde, mais ils sont soigneusement écrits en code et adaptés à des objectifs très spécifiques. Un système qui fonctionne pour un type de robot ne convient pas nécessairement à un autre.
Les startups qui développent actuellement des modèles du monde visent à créer un système de contrôle qui sera aussi diversifié dans l'exploitation des robots que les grands modèles de langage actuels sont diversifiés dans la création de texte, des sonnets aux logiciels.
Entraînement basé sur les jeux vidéo
Une startup new-yorkaise appelée General Intuition, qui développe des modèles du monde, termine ces jours-ci un tour de table avec une valorisation de plus de 6 milliards de dollars, ce qui en fera le laboratoire d'IA le plus cher de son genre. La base de l'entraînement de son modèle est les jeux vidéo : le modèle enregistre chaque image du jeu ainsi que les actions effectuées par les utilisateurs, de chaque pression sur un bouton au mouvement du joystick. Contrairement aux robots entraînés uniquement par vidéo, avec cette méthode, l'intelligence artificielle peut lier les actions des utilisateurs à leurs résultats dans des mondes virtuels, et ainsi un grand modèle d'action est créé.
Après un léger ajustement, le modèle peut faire fonctionner un robot dans le monde réel comme s'il s'agissait d'un personnage de jeu vidéo. Cependant, il y a une limite : le robot doit être à quatre pattes, un véhicule à roues ou un drone, du type qui transmet généralement de la vidéo à l'utilisateur en temps réel et qui peut être contrôlé via une manette de jeu, une souris ou un clavier. Ces caractéristiques sont assez courantes parmi les robots largement utilisés, mais ne conviennent pas à la plupart des robots humanoïdes qui marchent sur deux jambes.
Le modèle de General Intuition est entraîné sur des millions d'heures pendant lesquelles des humains ont joué à des jeux vidéo. Les données ont été collectées auprès de Medal.tv, un service sœur de l'entreprise et une plateforme d'enregistrement et de partage de clips de jeu.
Dans les bureaux de General Intuition à New York, Genève et leurs environs, l'entreprise présente un chien robotique. Alors qu'une intelligence artificielle ordinaire pour faire fonctionner un tel robot pourrait nécessiter un entraînement à grande échelle, ce modèle n'a besoin que de quelques minutes d'adaptation. Le système doit savoir où il se trouve, dans quel type de corps il opère et quel est son objectif, et à partir de là, il est prêt à partir, selon Baier-Lentz, qui investit dans General Intuition.
Les démonstrations précédentes de modèles du monde, comme les modèles Genie présentés par Google DeepMind, se concentraient sur la création de nouveaux mondes dans lesquels les robots pouvaient être entraînés. La nouvelle génération est déjà capable de percevoir le monde qui l'entoure et de décider quoi faire ensuite. Jack Parker-Holder, qui dirigeait auparavant les activités de Google dans le domaine des modèles du monde, a été l'un des fondateurs de la société londonienne Emulate. Le jeune laboratoire est en pourparlers pour lever plus de 500 millions de dollars auprès d'investisseurs, et son équipe technique comprend six anciens employés de Google, selon des documents examinés par le Wall Street Journal.
Langage + Action = ?
D'autres entreprises développant des modèles du monde révèlent rarement des détails sur les systèmes d'IA qu'elles construisent, mais leurs acquisitions et les publications de leurs ingénieurs fournissent quelques indices.
À la tête de la startup World Labs se trouve la professeure Fei-Fei Li de l'Université de Stanford, qui a travaillé auparavant chez Google et est surnommée la « marraine de l'IA ». L'entreprise a récemment acquis la société de robotique Sanix. À la tête d'AMI Labs se trouve Yann LeCun, ancien directeur scientifique de l'IA chez Meta. Il semble que l'entreprise se dirige vers une direction plus large et examine plusieurs architectures qui vont au-delà des grands modèles de langage traditionnels.
Alors que General Intuition et d'autres startups soulignent leurs capacités dans le domaine de la robotique, les investisseurs et les partenaires commerciaux potentiels soulèvent une autre question : comment les modèles du monde peuvent-ils améliorer les capacités des modèles basés sur le langage existants ?
Pour que les grands modèles de langage puissent traiter des images et du son, ils doivent être entraînés directement sur ce contenu et convertir les entrées en jetons, comme ils le font avec les mots. La tentative de traiter un environnement tridimensionnel de cette manière s'est avérée extrêmement inefficace, et le résultat est des modèles trop lents pour faire fonctionner un robot dans la plupart des situations.
Dans le monde réel « on ne peut pas juste manquer quelque chose à peu près »
Mais les modèles du monde ont aussi leurs propres problèmes. Il était relativement facile de faire progresser ChatGPT d'une génération à l'autre précisément parce qu'au début de son parcours, il ne traitait que du texte. À mesure que les grands modèles de langage grandissent et sont alimentés par de plus en plus de données, ils deviennent plus grands et plus intelligents, mais ils continuent de faire des erreurs, selon George Konidaris, professeur de robotique à l'Université Brown et cofondateur de Realtime Robotics, qui développe des systèmes pour les robots industriels.
En ce qui concerne les robots, il y a beaucoup moins de situations dans lesquelles nous serions prêts à accepter des hallucinations et d'autres erreurs.
« Le monde réel est très complexe, et il comporte beaucoup de cas limites et de frontières rigides, et on ne peut pas juste manquer quelque chose à peu près », a déclaré Konidaris. « Si votre robot heurte quelque chose pendant qu'il bouge, tout change ».
Certains pensent que l'amélioration de l'efficacité des grands modèles de langage pourrait suffire à les transformer en l'intelligence artificielle qui fera fonctionner les robots et d'autres applications 3D. Mais il existe aussi la possibilité de combiner les deux approches : les grands modèles de langage pourraient être assistés par des modèles du monde, tout comme ils sont actuellement assistés par d'autres logiciels pour effectuer des tâches.
En attendant, il est facile de remarquer que ni General Intuition ni Emulate ne sont situées dans la région de la baie de San Francisco, qui était fascinée par la possibilité que l'IA basée sur les grands modèles de langage conduise à une « superintelligence ».
Lorsque j'ai demandé au PDG de General Intuition, Pim de Witte, si la superintelligence était l'objectif de son entreprise, il est resté réservé. « Je suis à New York parce que je veux rester à l'écart de tout ce comportement sectaire et simplement me concentrer sur une évaluation scientifique des capacités des modèles dans les robots », a-t-il déclaré. « Il n'est pas nécessaire d'en faire quelque chose de plus grand que ce que c'est ».
