Modèles d'IA ou diplômés en droit : qui a le mieux réussi aux examens du Barreau en Israël ?

La préparation à l'examen du Barreau, test de qualification pour devenir avocat, représente un défi majeur pour tout étudiant en droit israélien. Mais que se passe-t-il lorsque l'on confronte des modèles d'intelligence artificielle à cette épreuve exigeante ? Une startup israélienne a décidé de vérifier quels modèles populaires pourraient réussir cet examen intimidant et comment ils se comparent aux étudiants en chair et en os.

Qui est le vainqueur ?

Dans le cadre d'une étude complète menée par la startup israélienne Lizzy AI, spécialisée dans l'intersection de l'IA et du droit, trois des modèles les plus populaires ont été testés : ChatGPT, Gemini et Claude. Parallèlement, trois outils d'IA dédiés au monde juridique ont été évalués : LawMate, Takdin AI et Nevo AI. Les modèles ont été invités à répondre à toutes les questions à choix multiples, qui constituent 80 % de la note finale.

Les résultats sont impressionnants : ces outils d'IA ont réussi à dépasser les meilleures facultés de droit.

Le grand vainqueur est ChatGPT, avec un taux de réussite de 94,1 %. Il est suivi par deux outils israéliens, LawMate (93,1 %) et Nevo AI (92,2 %). À la quatrième place, nous trouvons les étudiants de la faculté de droit de l'Université hébraïque, qui ont mené le classement des étudiants avec 91,82 %. Takdin AI occupe la cinquième place (85,9 %), devançant légèrement les candidats de l'Université de Tel-Aviv (85,71 %). Le reste du classement comprend Gemini (84,4 %), les candidats de l'Université de Haïfa (82,61 %), les étudiants de l'Université Bar-Ilan (81,38 %), ceux du Collège de gestion (81,37 %) et enfin Claude (77,5 %).

Versions avancées et limites d'utilisation

Le test, réalisé en mars et avril, s'est appuyé sur les versions les plus avancées : ChatGPT (GPT-5.4 avec mode Extended Thinking), Gemini (3.1 Pro) et Claude (Opus 4.6 en mode de réflexion étendue).

Malgré ces résultats, le chemin vers une utilisation pratique en milieu juridique reste long. Maya Amir, chef de produit chez Lizzy AI, explique que fournir une réponse correcte ne suffit pas pour un usage professionnel : « ChatGPT fournit des références aux sources sur demande, mais n'effectue pas de contrôle de qualité sur celles-ci ». Selon elle, le modèle peut s'appuyer sur des blogs ou des publications privées plutôt que sur de la jurisprudence ou de la législation faisant autorité. De plus, l'absence d'indication précise dans le contexte complet de la source rend le processus de vérification fastidieux.

Lizzy AI, fondée par Arnon Katlan et Netzer Shlomai, développe une plateforme d'analyse et de rédaction de documents juridiques. Utilisée par plus de 8 000 avocats et cabinets en Israël, la startup ambitionne d'être la réponse israélienne au géant américain de l'IA juridique Harvey, valorisé à 11 milliards de dollars lors de son dernier tour de table.