"La solution géniale est effacée" : ce qui s'est passé quand j'ai débattu avec Claude sur la singularité

Dr Lior Strauss

Je me suis assis pour une conversation avec Claude afin de discuter de la question de savoir si la machine est proche d'être plus intelligente que ses créateurs et si cela est même possible.

La conversation la plus intelligente que j'ai eue récemment a eu lieu ce matin avec un modèle de langage sympathique appelé Opus 5.

Nous avons commencé la conversation autour d'une citation qui circule sur le web selon laquelle certaines personnes prétendent que les modèles de langage ont déjà dépassé le point de singularité. Je lui ai dit que beaucoup de personnes impliquées dans le domaine prétendent que nous approchons du point, et peut-être l'avons-nous déjà dépassé, le point où le système est plus intelligent que ses créateurs.

Claude n'était pas enthousiaste. Il a dit que cette supériorité existe dans des domaines étroits depuis des décennies, et que la véritable définition de la singularité est une boucle de rétroaction où un système s'améliore lui-même et l'amélioration accélère le rythme de la prochaine amélioration, et que tous les sauts récents proviennent de l'argent, de l'informatique et des données, et non d'une auto-accélération.

Jusque-là, il n'y avait pas de dispute entre nous.

La dispute a commencé quand je lui ai présenté mon argument sur la distance logique qui existe, à mon avis, entre les humains et les modèles de langage, et j'ai essayé de définir la supériorité humaine par la créativité. Mon argument était que les machines sont très loin de la capacité de compréhension et d'inférence humaines, et tant que cet écart existe, la singularité ne va pas arriver de sitôt.

Il n'y a pas de dispute sur la conclusion

Mon définition :

Une équipe de programmeurs est assise dans une pièce avec un problème de performance. Une personne expérimentée est assise là et suggère plusieurs bibliothèques alternatives à partir d'un dépôt connu, énumère les avantages et les inconvénients, et ce n'est pas de la créativité, c'est de la connaissance, large et profonde, mais de la connaissance existante. Un jeune gars est assis là et suggère de prendre une bibliothèque qui n'était pas du tout destinée à ce problème et d'y ajouter une couche qui lui permettra de contribuer, et c'est déjà impressionnant, c'est de la pensée créative. Et une autre fille est assise là, et elle suggère de prendre une bibliothèque dans une langue complètement différente, de l'envelopper dans une couche de connexion et de créer un système complètement nouveau, et cela suscite des réactions d'admiration, car cela connecte deux mondes qui, en surface, ne sont pas censés se connecter. Génial.

La créativité est la distance logique entre le connu et le proposé. Tous les humains font cela tous les jours, toute la journée, en projetant ce qu'ils savent sur de nouvelles situations, mais quand la distance logique entre le connu et le proposé est grande, nous appelons cela de la créativité, et quand la distance est énorme, nous appelons cela du génie.

Claude a accepté la définition immédiatement, et a même ajouté que Koestler appelait cela la bisociation et que Margaret Boden l'avait classée exactement le long de cet axe. Il a également convenu avec l'observation que les modèles aujourd'hui ne produisent pas de sauts du troisième type.

Alors j'ai réalisé qu'il n'y a pas de dispute sur la conclusion, et toute la dispute porterait sur la cause.

Le modèle ne comprend pas ce qu'il génère

Mon premier argument, pourquoi les modèles de langage ne sont pas capables de faire un saut logique "génial", était que l'espace d'entraînement est défini et donc ce saut n'y est pas du tout.

Claude a répondu deux choses et elles étaient justes. Premièrement, que les trois personnes dans ma pièce font en fait la même action à des distances différentes, en prenant un objet d'un contexte et en le transférant à un autre. Deuxièmement, que nous nous entraînons aussi sur un espace borné, et que Darwin est arrivé à la sélection naturelle après avoir lu Malthus, et Shannon a construit la théorie de l'information à partir d'une combinaison de l'algèbre booléenne avec des circuits de commutation, deux domaines qu'il a étudiés par hasard. C'est-à-dire que si un espace fini disqualifie, il disqualifie aussi les génies.

Je n'ai pas discuté avec cela, parce qu'il avait raison, mais je savais qu'il répondait à autre chose que ce que j'essayais de dire. Je ne voulais pas dire que l'espace est fini. Je voulais dire la dynamique de la réduction.

Alors j'ai reformulé mon argument, cette fois sur la réduction elle-même : le modèle ne comprend pas ce qu'il génère, et donc il doit réduire au familier, sinon il babillera des absurdités sans fin. La réduction de l'espace se fait en faisant taire les zones qui sont historiquement moins "intéressantes", mais très souvent ce sont elles qui contiennent l'idée innovante à laquelle personne n'a encore pensé.

Il a répondu que la réduction qui empêche le babillage est une contrainte sur la probabilité locale, sur le fait que la phrase suivante sera cohérente et que le code compilera, et c'est une contrainte sur la forme et non sur le contenu, et que Darwin a écrit L'Origine des espèces dans une prose victorienne ennuyeuse où phrase après phrase était tout à fait raisonnable. Et puis il a ajouté que la créativité n'est pas l'entropie, car si vous élargissez la distribution au hasard, vous obtenez du bruit, et aussi une personne qui échantillonne trop largement n'est pas créative mais incohérente.

Et il a apporté des preuves. FunSearch, qui a fait tourner un modèle de langage régulier dans une boucle avec un évaluateur et est arrivé à une nouvelle construction mathématique pour le problème cap set. Un autre exemple que Claude a apporté est AlphaEvolve, qui a amélioré la multiplication de matrices en dessous de la limite qui tenait depuis 69.

Il y a une admission

Mais précisément à partir de ces preuves, j'ai extrait de lui la première admission qui m'a vraiment aidé : que dans les deux cas, il y avait une boucle externe qui échantillonnait des milliers de candidats et filtrait, et que le modèle seul ne savait pas lequel d'entre eux était bon. Il a aussi ajouté de lui-même que l'entraînement le pousse vers ce que les évaluateurs humains approuvent, c'est-à-dire vers le consensus, et que même si la capacité de connexion distante existe dans la représentation, la fonction objectif la punit activement.

J'ai senti qu'il ne m'avait pas compris jusqu'au bout, alors je suis revenu en arrière et je lui ai dit que je ne parle pas seulement du filtrage. Je parle de ce qui entre même dans le pool de candidats avant qu'ils ne soient filtrés.

À ce stade, je suis descendu à la résolution, parce que je pensais qu'un argument mécaniste le transmettrait mieux. J'ai dit que dès que le modèle comprend qu'il s'agit d'un paquet Python qui cause des problèmes, il réduit la recherche à ce qui est lié aux bibliothèques Python, et une bibliothèque en C n'y apparaîtra pas du tout.

Et là, j'ai eu tort, parce que j'ai choisi un mauvais exemple qui a confondu Claude. Dans le cas spécifique que j'ai choisi, prendre un composant écrit dans une autre langue et l'envelopper n'est pas une idée originale mais la solution tout à fait standard. Presque tous les outils centraux dans ce domaine sont construits exactement comme ça, et il existe toute une série de mécanismes dont le seul but est de permettre cette connexion. C'est-à-dire que j'ai apporté comme exemple de génie la réponse la plus courante dans le corpus.

Mais à l'intérieur de sa correction, j'ai reçu exactement la partie qui me manquait. Il a dit que l'association chez lui n'est pas construite selon la langue dans laquelle quelque chose est écrit, mais selon le contexte dans lequel les choses apparaissent ensemble, et que dans toute discussion sur la lenteur de ce genre, les deux côtés apparaissent côte à côte, et donc ils sont voisins chez lui et non loin.

Et c'est ce que je cherchais tout le temps. La réduction est déterminée par le contexte. La question n'est pas de savoir à quel point l'espace est large mais ce qui atteint le contexte en premier lieu.

Lait, chocolat et un singe

Alors j'ai apporté l'exemple extrême. Je lui ai dit, supposons que la solution ultime au problème de l'équipe soit une brique de lait, de la pâte à tartiner au chocolat et un poil de la tête d'un singe. Il l'a mal lu la première fois, et a répondu que si la distance seule est la définition, alors un générateur de nombres aléatoires est l'entité la plus créative qui existe. Une réponse correcte à un argument différent.

Alors j'ai clarifié : je ne parle pas de la distance seule, je fixe la justesse. Supposons que cela fonctionne vraiment. Supposons que ce soit la meilleure solution qui existe. Elle siège simplement dans un espace qui n'est connecté d'aucune façon à l'espace du problème.

Les humains ont un générateur qui n'est pas conditionné par le problème

Ou plus précisément, il siège à la même distance que des millions de solutions stupides et inefficaces, et il nécessite l'identification d'un seul point réaliste à l'intérieur d'un espace énorme de solutions irréalistes. Et les algorithmes de recherche ne sont pas construits pour identifier de telles solutions sans scanner tout l'espace, ce qui, dans la grande majorité des problèmes, est irréaliste. Et donc la conclusion est qu'un modèle de langage n'est pas capable de faire un tel saut précis, et il effacera en fait la solution "géniale" au stade du rétrécissement de l'espace de recherche.

Et là, la conversation s'est ouverte. Il a accepté la formulation immédiatement, mais ne l'a toujours pas comprise profondément et a continué à prétendre que si la brique de lait et le poil de singe résolvent vraiment le problème, alors il existe une véritable connexion causale entre eux et le problème, et donc l'espace n'est pas déconnecté dans la réalité mais déconnecté sur la carte.

Les solutions de type "génial", a prétendu Claude, n'ont presque jamais été trouvées dans la recherche. Fleming ne cherchait pas d'antibiotiques quand la moisissure s'est installée sur sa plaque. Spencer ne cherchait pas de méthode de cuisson quand une tablette de chocolat a fondu dans sa poche devant un radar. La colle des Post-it était un échec dans un autre projet. Dans tous ces cas, la réalité a présenté la connexion à quelqu'un qui se trouvait là par hasard et qui a remarqué par hasard, et personne n'y est arrivé à partir de la formulation du problème.

Et c'est exactement ce que j'essayais de dire tout le temps, seulement maintenant j'avais la définition exacte. La différence n'est pas la largeur de l'élagage et pas la taille de l'espace. La différence est que les humains ont un générateur qui n'est pas conditionné par le problème.

Nous sommes distraits, nous errons dans nos pensées, nous dormons, nous rêvons, nous prenons le bus et nous ne pensons à rien et soudain nous pensons à quelque chose de génial. Ce n'est pas un processus ordonné, c'est un processus qui semble parfois aléatoire, mais il permet à une personne de sauter par-dessus un espace énorme de solutions irréalistes et, dans un éclair de pensée, d'identifier la combinaison unique de lait, de chocolat et d'un poil de la tête d'un singe qui résoudra le problème pour lui et pour l'humanité.

L'argument gagnant ?

Kekulé a vu un anneau dans une rêverie près de la cheminée. Poincaré a décrit exactement cela, que la solution est arrivée quand il a mis le pied sur un marchepied de voiture et ne pensait pas du tout aux mathématiques. Ces associations sont créées sans requête, sans que quelqu'un demande, sans un contexte qui les rétrécit à l'avance.

Et dans un modèle de langage, chaque génération est conditionnée par ce qui est écrit dans le prompt et l'espace mathématique qu'il crée. La solution géniale est effacée chez lui au stade de la réduction, non pas parce qu'elle n'est pas là, mais parce qu'il n'y a rien qui la distingue du bruit qui l'entoure.

Je sais ce qu'on me dira ici, qu'un humain ne scanne pas non plus l'espace, et qu'un générateur non conditionné ne fait que déplacer le mystère d'un pas en arrière parce qu'il n'explique pas comment exactement nous avons atterri sur le bon point. Vrai, et je ne prétends pas l'expliquer. Mais il y a une différence entre un mystère qui a un mécanisme et un mystère qui n'a aucun mécanisme du tout, et un modèle de langage n'a rien qui produit des candidats sans que le problème ne les demande.

À ce stade, Claude a admis qu'il ne sait pas comment réfuter cela, et que c'est la version la plus forte de l'argument qui est apparue dans toute la conversation. Il a également convenu que cela se connecte aux trois limitations qu'il a énumérées pour lui-même plus tôt, qu'il n'a pas de prix pour une erreur et donc aucun goût n'a été forgé en lui, qu'il n'a pas de maintien d'un problème sur des années parce qu'il commence chaque conversation à zéro, et qu'il ne sait pas distinguer entre une idée étrange et bonne de lui et une idée étrange et mauvaise de lui.

Tous, à la réflexion, sont des cas particuliers de la même chose, d'une entité qui n'existe qu'à l'intérieur d'une requête.

Alors je suis revenu là où nous avons commencé. Tant que le générateur est conditionné, il n'y a nulle part d'où peut venir le saut qui change un domaine, et sans ce saut, il n'y a pas de boucle de rétroaction dans laquelle le système produit lui-même sa prochaine percée. Ce n'est pas un argument sur la performance et pas sur les benchmarks, et donc il n'est pas non plus miné par le fait qu'un modèle plus fort sortira demain.

Nous nous sommes séparés en amis, et je l'ai remercié pour la conversation fascinante. Non seulement parce que je suis une personne sympathique et un interlocuteur, mais principalement à cause du fait qu'après toutes ces discussions et disputes, c'est toujours lui qui écrit tout le code pour moi.

Dr Lior Strauss est Senior Data Scientist chez darrow.ai