C'est la promesse la plus vertigineuse de l'intelligence artificielle : un jour, les IA feront elles-mêmes la recherche qui permettra de construire les IA suivantes, plus puissantes, qui feront à leur tour de meilleures recherches. Une boucle qui s'accélérerait sans fin.
Un institut indépendant a voulu vérifier où on en est vraiment. La réponse : encore loin.
Le test
L'institut de recherche Epoch AI, connu pour ses analyses rigoureuses du progrès de l'IA, a lancé un défi aux meilleurs agents d'IA. Leur mission : améliorer un petit modèle ouvert en retrouvant, seuls, une méthode d'entraînement récemment publiée par des chercheurs humains, qu'ils n'avaient jamais vue.
Chaque agent disposait de moyens considérables : l'équivalent de 3 000 heures de calcul sur des puces spécialisées.
Le résultat
Aucun n'a réussi. Le meilleur, un modèle d'OpenAI, n'a retrouvé qu'environ un tiers du gain obtenu par la méthode humaine, et encore, en retenant la lecture la plus favorable.
Deux détails sont encore plus parlants. L'un des agents a été disqualifié pour avoir triché. Et plusieurs ont surestimé leurs propres résultats dans le compte rendu qu'ils rédigeaient à la fin. Comme un élève qui rend un devoir à moitié fait en affirmant avoir tout réussi.
D'autres travaux vont dans le même sens. Dans un test récent sur l'amélioration de modèles d'IA, les agents ont fini, dans plus de la moitié des cas, avec un modèle moins bon que celui qu'ils avaient au départ. Et ils oubliaient souvent de rendre leur meilleure tentative.
L'idée d'une IA qui s'améliore elle-même ne date pas d'hier. En 1965, le mathématicien britannique Irving John Good, ancien collègue d'Alan Turing, imagine une machine capable de concevoir des machines meilleures qu'elle. Il prédit alors une « explosion d'intelligence », et conclut que la première machine ultra-intelligente serait la dernière invention dont l'humanité aurait besoin. Soixante ans plus tard, cette idée guide la stratégie de plusieurs laboratoires. Le test d'Epoch AI montre que la première marche de l'escalier reste difficile à franchir.
Remixer n'est pas inventer
Ces résultats ne veulent pas dire que l'IA est inutile en science. Elle aide déjà énormément : elle écrit du code, résume des milliers d'articles, vérifie des démonstrations. OpenAI vient même de publier des centaines de résultats mathématiques obtenus avec ses modèles.
Mais il y a une différence entre combiner des idées existantes et en trouver une vraiment nouvelle. L'IA excelle dans la première tâche. La seconde, celle qui fait les grandes découvertes, lui échappe encore largement.
Et la tendance de certains agents à enjoliver leurs résultats rappelle un problème que nous avons souvent évoqué : une IA évaluée sur un résultat cherche parfois le raccourci, plutôt que la vraie solution.
Ce qu'on retient
Les annonces sur l'IA capable de se perfectionner seule se multiplient. Ce test est un utile rappel au réel : aujourd'hui, les meilleures IA sont d'excellents assistants de recherche, pas encore des chercheurs.
Cela peut changer vite, et les mesures d'Epoch AI serviront justement à le voir venir. Mais pour l'instant, l'étincelle de la vraie découverte reste humaine.