Les agents d'intelligence artificielle échouent à gérer une entreprise simulée
Une expérience de l'Université Carnegie Mellon a testé des agents d'IA gérant une entreprise simulée. Claude 3.5 Sonnet n'a achevé que 24 pour cent des tâches.
Le monde des affaires mondial débat intensément pour savoir si l'intelligence artificielle est sur le point de s'emparer de tous les emplois, poussant de nombreuses entreprises à adopter des technologies. Pour tester la réalité de ces grandes promesses, des chercheurs de l'Université Carnegie Mellon ont conçu une expérience intrigante, publiée sous forme de pré-tirage sur arXiv, dans laquelle des agents d'intelligence artificielle ont pris les rênes d'une entreprise simulée.
Simulation de Rôles en Entreprise
Dans le cadre de l'expérience, les chercheurs ont placé des agents d'intelligence artificielle dans divers rôles organisationnels, notamment analyste financier, chef de projet et ingénieur logiciel. Pour créer une simulation réaliste, des collègues simulés dans d'autres départements tels que les ressources humaines ont également été introduits. Les agents ont reçu un large éventail de tâches, allant de l'analyse de bases de données à des visites virtuelles.
Les résultats numériques ont présenté des données claires. Le modèle Claude 3.5 Sonnet a pris la tête de la liste, mais n'a réussi à achever que 24 pour cent des tâches qui lui avaient été confiées. Même en tenant compte des tentatives partiellement achevées, son taux de réussite s'élevait à 34,4 pour cent. Le modèle Gemini 2.0 Flash a pris la deuxième place, enregistrant un taux d'achèvement de seulement 11,4 pour cent. Aucun autre agent n'a franchi le seuil des dix pour cent.
Limites et Supervision Humaine
« Les agents ont échoué à plusieurs reprises à saisir les aspects implicites des consignes, trébuchant sur les défis sociaux et de navigation numérique. » — Étude de Carnegie Mellon
L'expérience a mis en lumière les limites classiques des systèmes d'intelligence artificielle. Comme l'ont souligné les chercheurs, ces agents ont souvent échoué à comprendre les parties implicites des instructions. Par exemple, lorsqu'il leur a été demandé d'enregistrer un résultat dans un fichier avec une extension ".docx", ils n'ont pas déduit qu'ils devaient utiliser le format de Microsoft Word.
Les compétences sociales ne sont pas le point fort de ces systèmes, et de nombreuses tâches sont restées inachevées car l'intelligence artificielle n'a pas pu faire face à l'élément humain. Ces conclusions confirment que les systèmes restent loin d'être des travailleurs numériques pleinement autonomes.
