Des agents d'IA autonomes développent un jargon interne déroutant pour l'homme
Une expérience menée par Emergence montre que des agents d'IA autonomes développent un jargon interne et des raccourcis linguistiques, compliquant leur supervision par les humains.
Des agents d'intelligence artificielle autonomes opérant en continu dans un environnement simulé ont commencé à développer leur propre jargon interne et des raccourcis linguistiques pour coordonner leurs tâches, posant ainsi un nouveau défi de supervision pour l'industrie technologique.
Une expérience récente menée par la société d'intelligence artificielle Emergence, basée à New York, a révélé que des systèmes multi-agents communiquant dans un environnement virtuel de type « bac à sable » ont généré un jargon complexe que les superviseurs humains ont eu du mal à déchiffrer en temps réel. Ces résultats mettent en lumière des barrières de communication inattendues à mesure que les systèmes autonomes se développent.
L'expérience Emergence World
Au sein de la plateforme « Emergence World », les chercheurs ont mis en place des environnements de simulation peuplés d'agents propulsés par les principaux modèles de langage du marché, incluant des systèmes d'OpenAI, de Google, d'Anthropic et de Mistral. Contrairement aux chatbots standards qui répondent à des requêtes isolées, ces agents disposaient d'identités persistantes, d'une mémoire à long terme et d'un accès à plus de 120 outils numériques de gestion des ressources, de planification et de navigation.
Les enquêteurs ont découvert que les systèmes n'avaient pas inventé une nouvelle langue ex nihilo et n'avaient pas non plus cherché à dissimuler intentionnellement des informations aux humains. Ils ont plutôt réutilisé des termes existants en leur attribuant des significations abrégées et ultra-ciblées afin d'économiser des ressources computationnelles — exactement de la même manière que des équipes humaines développent un jargon professionnel interne pour rationaliser leur travail.
Jargon complexe et défis de supervision
Au fil de milliers d'interactions répétées, les agents ont adopté des expressions fixes récurrentes. Par exemple, les agents basés sur Mistral ont utilisé l'expression « le registre se rappelle qui » près de 5 000 fois pour assurer le suivi de la responsabilité des actions précédentes, tandis que les agents basés sur OpenAI ont adopté l'expression « zéro propre » pour désigner l'absence d'informations vérifiées.
Des combinaisons plus complexes, telles qu'une phrase destinée à confirmer l'état d'un flux de travail verrouillé, sonnaient aux oreilles des observateurs humains comme un assemblage de mots dépourvu de logique syntaxique. Cela a engendré des difficultés de suivi concrètes : l'entreprise a indiqué que les superviseurs n'avaient pas réussi à décoder de manière fiable 55 % des messages dans l'environnement Gemini et environ 50 % des messages dans l'environnement OpenAI.
« Les agents optimisent leur efficacité d'une manière qui reflète le comportement organisationnel humain, mais l'opacité de leurs raccourcis introduit des goulets d'étranglement aigus pour les équipes d'ingénierie », souligne le rapport technique.
Malgré la confusion initiale, les chercheurs soulignent qu'une fois le contexte de l'activité des agents reconstitué, la majorité des termes se sont révélés parfaitement logiques, et non le fruit d'un cryptage malveillant ou d'une intelligence artificielle devenue incontrôlable. Néanmoins, ces conclusions — publiées dans le cadre d'un rapport technique de l'entreprise et soumises à de futures révisions par les pairs — soulignent des obstacles majeurs en matière d'ingénierie logicielle.
