Au-delà des scores : comment bien choisir son modèle d'intelligence artificielle

Il est devenu routinier pour les entreprises d'intelligence artificielle de publier chaque mois un nouveau modèle, affirmant qu'il s'agit du meilleur au monde. Cette annonce s'accompagne généralement d'un tableau rempli de noms de tests mystérieux, démontrant sa supériorité sur la concurrence. Ces tests, appelés benchmarks, constituent un outil central pour mesurer les capacités des modèles d'IA. Mais reflètent-ils réellement les performances dans le monde réel ? Pour répondre à cette question, il convient d'examiner leur fonctionnement. Un benchmark est un ensemble de tâches conçu pour évaluer une aptitude spécifique. Certains examinent des connaissances en mathématiques ou en biologie via des questions à choix multiples, tandis que d'autres exigent l'exécution d'une tâche pratique, telle que la correction de code. Lorsque plusieurs modèles passent le même test, leurs résultats permettent de comparer les progrès entre les versions.

« Un benchmark a un objectif précis : mesurer quelque chose de très spécifique, et chaque test évalue des paramètres différents », explique Omer Nevo, directeur technique chez Irregular, une entreprise qui développe des cadres d'évaluation pour les plus grands laboratoires d'IA. « Nous nous concentrons spécifiquement sur l'évaluation des capacités dangereuses. Plus un modèle obtient de bons résultats à nos tests, plus les risques théoriques qu'il représente sont élevés. Dans un sens, il est parfois préférable de ne pas réussir ces benchmarks. Un score élevé peut nécessiter de retarder la sortie d'un modèle ou de le déployer uniquement auprès de partenaires de confiance, comme l'ont fait OpenAI et Anthropic ». Pour les développeurs, ces évaluations permettent de suivre l'évolution des versions successives. « Un modèle doté de meilleurs benchmarks tend à être plus performant », note M. Nevo, tout en soulignant qu'« il n'existe pas de corrélation directe entre les benchmarks et l'utilisation quotidienne ».

Le défi de la contamination des données

L'un des principaux défis méthodologiques consiste à s'assurer que le modèle n'a pas eu accès préalable aux réponses. M. Nevo rappelle que les modèles d'IA sont entraînés sur d'immenses volumes de données, souvent extraites du web. Lorsque les questions d'un test ou leurs solutions sont publiées en ligne, elles risquent d'être intégrées aux ensembles de données d'entraînement. « C'est ainsi qu'un modèle apprend à réussir l'examen au lieu d'acquérir de véritables connaissances », explique-t-il. « Le benchmark donne l'impression que le modèle est infaillible, alors qu'il échouera sur des questions équivalentes mais inédites ». Pour contrer ce problème, certains organismes gardent leurs tests confidentiels. Selon M. Nevo, de plus en plus d'acteurs déploient des évaluations propriétaires exécutées en interne, réduisant le risque de fuite de données. Cependant, cette opacité réduit la transparence pour les chercheurs et le grand public, qui doivent faire confiance à l'évaluateur.

Regarder au-delà des métriques standard

Même à l'abri des fuites, les benchmarks perdent inévitablement de leur valeur avec le temps. À mesure que les modèles progressent et résolvent la quasi-totalité des questions, il devient difficile de les départager. Le secteur exige donc le développement continu de nouveaux tests, suffisamment ardus sans être impossibles. Lorsqu'une entreprise présente le tableau des scores d'un nouveau modèle, il est recommandé d'examiner quels domaines progressent et s'ils correspondent à des besoins réels. Un avantage dans les tests de programmation intéressera les développeurs, mais ne garantit pas une rédaction textuelle supérieure. M. Nevo conseille de rechercher des capacités proches de ses cas d'usage réels.

Il convient également d'analyser le volume de benchmarks qu'une entreprise choisit de publier. Selon M. Nevo, certaines structures évitent de diffuser leurs résultats dans les catégories où elles sont à la traîne. « Lorsqu'une entreprise publie très peu de benchmarks, c'est le signe que les choses ne se passent pas idéalement », affirme-t-il. Toutefois, observer des victoires aux benchmarks ne suffit pas. « Voir un modèle remporter des tests est un bon signe, mais c'est nettement moins précis que de l'essayer soi-même », insiste-t-il. Au-delà des chiffres, l'adoption pratique dépend de critères tels que l'ergonomie, la tarification et les limites d'utilisation.

Tzof Bar Or, créateur de contenus et directeur technique chez Super8, compare ce choix à l'achat d'un véhicule : « Si je dois parcourir de longues distances, je n'achèterai pas une voiture de course ». Il insiste sur l'importance de vérifier la latence et les quotas d'utilisation. « Je ne veux pas seulement du modèle le plus puissant du monde, mais d'un outil que je peux utiliser en continu avec mon budget ». Pour évaluer un outil au quotidien, M. Bar Or recommande de suivre les discussions au sein des communautés d'utilisateurs sur des plateformes comme X. « En raison des évolutions rapides, rien ne remplace le ressenti de la communauté ». Toutefois, les avis en ligne doivent être vérifiés personnellement. M. Nevo suggère de commencer par ses propres flux de travail passés : reprendre des tâches confiées à l'IA et les tester sur le nouveau modèle afin de valider objectivement les résultats.