Quand tous les étudiants ont obtenu 100 aux examens, l'université a compris qu'il y avait un problème

Au cours des deux dernières années, les membres du corps professoral du département d'informatique et d'intelligence artificielle de l'Université Bar-Ilan ont remarqué un phénomène qui se répète dans presque toutes les institutions universitaires : presque tous les étudiants réussissaient parfaitement les tests automatiques des devoirs de programmation, obtenant des notes élevées. Cependant, cela ne signifiait pas nécessairement qu'ils comprenaient ce qu'ils avaient soumis.

« C'est un système que nous avons mis en œuvre dans le cours sur les systèmes d'exploitation au dernier semestre. Jusqu'à aujourd'hui, nous vérifiions ces devoirs automatiquement en injectant des dizaines de milliers de scénarios pour vérifier les résultats. « Étonnamment », au cours des deux dernières années, tout le monde a obtenu 100. Nous avons compris qu'à ce stade, nous ne vérifiions pas la capacité de compréhension de l'étudiant, mais son accès à l'intelligence artificielle. Cela nous a poussés à développer ce système », raconte le professeur David Sarna, membre du corps professoral du département d'informatique et d'intelligence artificielle de l'Université Bar-Ilan.

Il est important pour Sarna de souligner que lui et son équipe n'essaient pas d'empêcher les étudiants d'utiliser l'IA. Au contraire, ils reconnaissent que ce sont des compétences requises aujourd'hui, mais ils veulent s'assurer que les étudiants utilisent l'intelligence artificielle intelligemment et comprennent réellement ce qu'ils soumettent.

Le nouveau système d'intelligence artificielle qu'ils ont développé, déjà utilisé en phase pilote, est, pour autant qu'ils sachent, le premier du genre en Israël et l'un des premiers au monde. Il analyse les réponses des étudiants et permet d'évaluer leur niveau de compréhension en profondeur, et pas seulement si le résultat final est correct.

Comment ça marche ?

Après avoir soumis le devoir de programmation, l'étudiant planifie un court examen et arrive dans une salle dédiée. Il s'assoit devant une station verrouillée, qui ne permet pas de passer à d'autres programmes ou fenêtres, et le système récupère automatiquement le code soumis.

Une fois que l'étudiant confirme qu'il s'agit de son code, l'écran se divise : d'un côté apparaît le code et de l'autre se déroule une conversation avec un examinateur basé sur l'IA. Au cours d'un examen qui dure environ 16 minutes, le système pose généralement trois questions et met en évidence les lignes pertinentes du code.

« Le système vous prend essentiellement dans une « conversation », il vous posera des questions sur le devoir pour évaluer votre niveau de maîtrise du code, votre compréhension et votre capacité à en modifier le flux », explique Sarna. « L'objectif, à une époque où tout le monde utilise l'intelligence artificielle, est de réussir à évaluer à quel point vous comprenez vraiment ce que vous faites et ne vous contentez pas de compter sur l'IA ».

Les questions ne sont pas préparées à l'avance. Le chargé de TD définit les sujets, le niveau de connaissances attendu et les points à vérifier, et le système crée des dizaines de modèles possibles. La beauté réside dans le fait que ce n'est que lorsque le modèle rencontre le code d'un étudiant spécifique qu'il devient une question personnelle dépendant de sa solution.

La note est basée sur plusieurs agents IA : un agent examine le code sans voir l'examen, un autre lit la conversation sans voir le code, et un troisième pondère les résultats. Un quart de la note est basé sur la qualité du code et les trois quarts sur le degré de compréhension démontré. À la fin, l'étudiant reçoit un e-mail avec sa note, le détail des réponses et les sujets à revoir.

Derrière ce développement, aux côtés de Sarna, se trouvent Shahar Sagi, le chargé de TD qui a dirigé le développement concret, et le Dr Yossi Ben Zion, expert en technologies d'apprentissage, qui a accompagné la conception et l'intégration. Le système a été développé en trois semaines avec l'aide de Claude Code.

Réaction des étudiants

Environ 260 étudiants ont déjà été examinés via le système. Comme c'est leur habitude, de nombreux étudiants ont résisté au changement. Dvir, un étudiant ayant utilisé le système tout au long du semestre, raconte qu'il est arrivé au premier examen sous pression, mais la préparation commune avec ses amis les a forcés à revoir le code en profondeur. « Rétrospectivement, cette préparation elle-même nous a permis de bien mieux comprendre la matière », dit-il.

Selon lui, l'examen ressemblait finalement moins à un test qu'à une explication à un ami, et le système s'est amélioré tout au long du semestre dans la manière dont il évaluait les réponses. « En fin de compte, cela m'a aidé à bien mieux comprendre la matière et à faire le lien entre les devoirs et les sujets abordés dans le cours », dit-il.

Un étudiant qui n'a pas réussi l'examen peut fixer une autre date, avec des questions différentes à chaque tentative. « Si ça ne s'est pas bien passé, vous pouvez fixer un autre examen, et pour moi, vous pouvez le faire autant de fois que vous le souhaitez, car une fois que je peux vraiment dire que vous comprenez au niveau de la note que je vous ai donnée, alors peu m'importe que tout le monde obtienne 100, car je sais que de réelles connaissances se cachent derrière la note », déclare Sarna.

Pour la prochaine année universitaire, Bar-Ilan prévoit d'étendre l'utilisation du système aux cours de mathématiques, y compris l'algèbre linéaire, et Sarna et son équipe sont déjà en discussion avec diverses instances universitaires.