« Lancer et oublier » : pourquoi continuez-vous à payer pour des outils d'IA qui ne vous aident pas vraiment ?

Le détecteur de fumée au plafond de votre bureau n'a jamais émis de signal sonore. Ce n'est pas la preuve qu'il fonctionne. C'est exactement la même observation que vous obtiendriez si sa batterie était épuisée depuis un an. La différence entre les deux ne réside pas dans le détecteur, mais dans la question de savoir si et quand quelqu'un l'a vérifié récemment.

C'est à cela que ressemble aujourd'hui la mesure de l'utilisation de l'intelligence artificielle (IA) dans la plupart des organisations dans lesquelles j'entre. Il y a des outils, il y a des abonnements, il y a des employés qui les utilisent, mais il n'y a personne qui puisse dire ce qui a changé. Lorsque je demande aux managers comment ils savent que l'implémentation a fonctionné, la réponse la plus courante est que personne ne se plaint.

Voici cinq questions que chaque manager devrait se poser pour arrêter de deviner :

1. À quoi ressemble un succès imaginaire ?

Il a l'air calme. Pas de pannes, pas de résistance, rien à signaler en haut lieu. Le problème est que c'est exactement à cela que ressemble un outil qui a été discrètement arrêté il y a deux mois, ainsi qu'un processus que les employés contournent parce que c'est plus facile pour eux sans lui. Le silence n'est pas une donnée, le silence est l'absence de données, et ce sont deux choses complètement différentes. C'est particulièrement frappant dans les professions où le produit est un document — cabinets comptables, avocats ou départements financiers. Là, il est plus difficile de voir l'échec, car un document continue d'être produit dans tous les cas. La question de savoir s'il a été produit plus rapidement ou avec une meilleure qualité n'est presque jamais posée.

1. Alors, que mesure-t-on réellement ?

Pas les économies de temps générales, car personne ne les compte vraiment. Définissez un indicateur unique, étroit et clair : combien de temps la tâche prend-elle aujourd'hui, combien de fois par semaine l'outil est-il ouvert ou que se passe-t-il lorsque vous arrêtez de l'utiliser pendant deux jours ? Si vous pouvez arrêter d'utiliser l'outil pendant deux jours et que personne ne ressent son absence, vous avez reçu une réponse complète sur sa valeur.

1. Que doit faire l'employé avec cela ?

Pas enregistrer des heures ni remplir des formulaires. L'employé est le seul à savoir si l'outil lui fait gagner du temps ou ajoute une étape. La seule question qui vaut la peine de lui poser est ce qu'il demanderait à récupérer si l'outil lui était retiré demain. Une réponse immédiate signifie que l'outil est entré dans le flux de travail. L'hésitation signifie qu'il est là, rien de plus.

1. Par où commencer demain matin ?

Commencez par une liste : ouvrez une feuille de calcul et ajoutez chaque outil d'IA pour lequel l'organisation paie, à côté de la tâche qu'il est censé servir et de la personne responsable. Les cellules restées vides sont la réponse. Dans chaque entreprise avec laquelle j'ai travaillé au cours de la dernière année, j'ai trouvé plusieurs outils que personne n'a jamais décidé de fermer, ils ont simplement cessé d'être vérifiés et ont été oubliés.

Je dis cela aussi pour moi-même. J'ai des vérifications automatiques qui sont censées alerter mon entreprise lorsque quelque chose tombe en panne. Lorsque je les ai passées en revue, j'ai découvert que deux d'entre elles signalaient que tout était « correct » pendant des semaines entières sur des outils qui avaient déjà été annulés. Elles ne m'ont pas menti. Simplement, personne ne leur a rien demandé, elles ont donc continué à renvoyer la dernière réponse qu'elles connaissaient.

1. Quand vérifier à nouveau ?

C'est la question qu'il est le plus facile d'ignorer, car après une vérification, on a l'impression d'avoir clos le sujet. En pratique, un outil vérifié une fois revient à l'état dans lequel nous avons commencé : il fonctionne jusqu'à ce qu'il s'arrête, sans que personne ne sache quand. Fixez une date dans le calendrier, un trimestre à l'avance, pour passer en revue la même liste. Une vérification sans date limite pour la prochaine vérification n'est pas une vérification, mais une bonne sensation.

Une vérification vous coûte une demi-heure. L'éviter vous coûte une année entière de frais récurrents et une fausse confiance que tout va bien. La prochaine fois que vous regarderez un rapport de dépenses contenant vos abonnements, demandez-vous : qu'est-ce qui fonctionne vraiment parmi tout cela, et qu'est-ce qui est simplement silencieux ?

Noam Cohen est le fondateur de CritiqeIL, une société de conseil et d'implémentation d'IA pour les organisations en Israël.