Des modèles d'intelligence artificielle testés sur les examens rabbiniques

L'intelligence artificielle se mesure aux subtilités de la jurisprudence religieuse à travers un projet novateur baptisé HalachaBench, qui soumet les modèles linguistiques les plus avancés aux véritables examens d'ordination du Grand Rabbinat d'Israël. Cette initiative évalue la capacité des algorithmes à traiter des questions halachiques complexes dans des conditions d'examen strictes, sans accès à Internet ni aux ouvrages externes.

L'évaluation s'est appuyée sur 60 questions issues de cinq questionnaires officiels portant sur des domaines fondamentaux tels que les lois de pureté familiale, le droit matrimonial, les commandements liés à la terre d'Israël, les bains rituels et la liturgie. Chaque modèle a été invité à répondre à trois reprises pour garantir la cohérence de ses raisonnements.

Des Performances Contrastées selon les Modèles

Les résultats mettent en évidence un fossé considérable entre les modèles commerciaux de pointe et les versions libres. Le modèle Claude Fable 5.1 d'Anthropic s'est hissé à la première place avec une note de 79,7 sur 100, devançant GPT-6 Astra (73,3), GPT-6.1 Sol (72,8), Claude Opus 5.5 (69,1) et Gemini 3.8 Flash (64.4). En revanche, les modèles open-source téléchargeables n'ont pas dépassé les 11 points. Même en tête du classement, le meilleur système n'a rempli qu'environ quatre cinquièmes des exigences requises pour une réponse halachique exhaustive.

En l'absence de corrigés officiels pour ces examens rabbiniques, les concepteurs ont élaboré une méthodologie d'évaluation complexe. Des grilles de correction détaillées, intégrant les avis des décisionnaires historiques et les sources requises, ont été générées par Claude Fable 5.1, vérifiées par d'autres modèles et croisées avec environ 2 000 sources via la bibliothèque numérique Sefaria.

Perspectives et Réactions du Monde Rabbinique

Réagissant à cette initiative, le rabbin Avraham Stav a qualifié les résultats de fascinants, tout en soulevant une interrogation méthodologique essentielle. Contrairement aux candidats humains dont l'examen évalue la mémorisation, la force de l'intelligence artificielle réside dans sa capacité à exploiter des bases de données étendues, ce qui rend l'expérimentation en mode fermé incomplète.

Les initiateurs du projet soulignent qu'il s'agit d'un exercice intellectuel préliminaire, les autorités rabbiniques n'ayant pas encore validé manuellement les grilles d'évaluation. Les travaux futurs viseront à associer des rabbins pour déterminer si l'intelligence artificielle pourra à l'avenir constituer un outil d'assistance pertinent dans l'univers de la Halakha.