Aller au contenu

Gemini 4 Argon arrive : ce qu'il vaut vraiment

Le modèle le plus puissant de Google sort enfin de son cercle d'experts en sécurité. Nous avons comparé ce qu'annonce Google et ce que mesurent les tests indépendants. Le verdict est nuancé.

Espace publicitaire

Le 5 octobre, nous vous présentions un modèle que presque personne ne pouvait utiliser : Gemini 4 Argon, le plus puissant jamais construit par Google, réservé d'abord à des experts en cybersécurité.

Depuis mardi, il est entré dans l'application Gemini. L'occasion de répondre à la seule question qui compte : que vaut-il vraiment ?

Qui peut l'utiliser

Les abonnés payants de Gemini. Argon est disponible dans l'application pour les formules AI Pro et AI Ultra, ainsi que dans Antigravity, l'outil de programmation de Google.

Pas les utilisateurs gratuits. Depuis le 9 octobre, la version gratuite de Gemini est limitée au plus petit modèle de Google, comme l'expliquait notre article sur Gemini gratuit. Rien n'a changé de ce côté.

Pas encore tous les développeurs. Google promet d'élargir l'accès « dès que possible », sans date. Le prix est en revanche connu : 2 dollars par million de tokens en entrée et 10 dollars en sortie pendant une période de lancement, puis 4 et 20 dollars.

La version sans garde-fous en cybersécurité, elle, reste réservée aux défenseurs du programme Fairwind.

Ce que promet Google

Selon Google, Argon répond plus directement, avec moins de précautions oratoires, se répète moins et évite les formules toutes faites. Sur les tâches longues, il tient l'utilisateur au courant de ses progrès plus souvent.

Il peut aussi produire des réponses gigantesques, jusqu'à un million de tokens d'un coup, contre 64 000 pour la génération précédente : de quoi rédiger l'équivalent de plusieurs livres en une seule réponse. Et Gemini se connecte désormais à plus de 40 applications, de la réservation de restaurant aux logiciels de création, pour accomplir des tâches à votre place.

Ce qu'annonce Google

Voici d'abord les résultats publiés par Google lui-même, sur des tests qu'il a choisis. Ils montrent où l'entreprise estime briller, mais il faut les lire comme une vitrine.

Test (chiffres de Google)Ce qu'il mesureGemini 4 ArgonClaude Opus 5.5GPT-6 AstraClaude Fable 5.1
DeepSWE v1.1Corriger de vrais logiciels77,9 %74,2 %74,1 %non publié
AutomationBenchTâches longues menées seul51,3 %42,5 %41,4 %31,4 %
Harvey Legal AgentTravail juridique réel19,6 %3,8 %5,4 %6,7 %
CWE-bench v1Repérer des failles de sécurité68 %non publié68 %non publié

Sur ses propres tests, Google place donc Argon en tête presque partout, avec des écarts spectaculaires sur le travail juridique. En cybersécurité, il fait jeu égal avec GPT-6 Astra. Reste à voir ce qu'en disent ceux qui n'ont rien à vendre.

Ce que mesurent les tests indépendants

Deux organismes indépendants, Artificial Analysis et Vals, testent les modèles avec leurs propres méthodes. Leur tableau est plus nuancé.

MesureGemini 4 ArgonClaude Opus 5.5GPT-6 AstraGPT-6.1 Sol
Indice général (Artificial Analysis)53585352
Taux d'hallucination (Artificial Analysis)15 %non publié51 %54 %
Classement Vals (41 modèles)1er, 68,9 %67,0 %non publié61,2 %
Programmation en terminal57 %60 %59 %non publié
Questions d'experts (Humanity's Last Exam)57,1 %61,4 %54,7 %non publié
Coût moyen d'une tâche1,99 $5,98 $3,26 $moins cher

Ses vrais points forts

Il invente beaucoup moins. C'est le résultat le plus marquant. Sur le test d'Artificial Analysis, Argon invente une réponse dans 15 % des cas où il ne sait pas, le taux le plus bas mesuré chez les grands modèles. Ses concurrents directs d'OpenAI dépassent les 50 %.

Il excelle sur le travail de bureau exigeant. Analyse de longs documents, tâches juridiques et financières, missions qui s'étalent sur de nombreuses étapes : c'est là qu'il prend la tête, aussi bien dans les tests de Google que dans le classement indépendant de Vals. Artificial Analysis a d'ailleurs refait de son côté le test des tâches longues : Argon y arrive premier, avec environ six points d'avance sur le suivant.

Il reste raisonnable en prix. Même s'il produit beaucoup de texte, une tâche moyenne lui coûte moins cher qu'aux modèles haut de gamme concurrents.

Comment on mesure une hallucination 🔍
Le test d'Artificial Analysis pose aux modèles des questions de connaissances pointues, dans de nombreux domaines. Il ne se contente pas de compter les bonnes réponses : il regarde ce que fait le modèle quand il ne sait pas. Dire « je ne sais pas » ne fait pas perdre de points. Inventer une réponse fausse, si. Un modèle prudent et honnête peut donc mieux s'en sortir qu'un modèle qui sait davantage de choses mais comble ses trous en inventant. C'est exactement sur ce terrain qu'Argon se distingue.

Ses limites

Il n'est pas le plus fort partout. Sur l'indice général d'Artificial Analysis, il fait jeu égal avec GPT-6 Astra, mais reste derrière Claude Opus 5.5, et même derrière Claude Sonnet 5.5, à 56.

La programmation pure n'est pas son point fort. Sur les tâches de développement menées dans un terminal, il est devancé par les modèles d'Anthropic et d'OpenAI.

Il est bavard. Argon produit beaucoup de texte pour arriver à ses fins. Résultat : même au même prix par token que GPT-6.1 Sol, une tâche lui coûte nettement plus cher, environ 2,7 fois plus selon Artificial Analysis.

Pour qui vaut-il le coup ?

Si vous payez déjà un abonnement Gemini et que vous travaillez sur de longs documents, des recherches, des dossiers juridiques ou financiers, essayez-le : c'est précisément là qu'il brille, et son faible taux d'invention est un vrai atout.

Si vous cherchez surtout un outil de programmation, ou si vous comptez chaque centime, d'autres modèles restent mieux placés. Et si vous utilisez Gemini gratuitement, vous ne le verrez pas.

Ce qu'on retient

Gemini 4 Argon ne détrône pas tout le monde. Mais il gagne sur un terrain qui compte de plus en plus : la fiabilité. Un modèle qui invente trois fois moins que ses concurrents directs, c'est peut-être plus utile au quotidien qu'un point de plus sur un classement.

Cette promesse en cache pourtant une autre, plus délicate : Google vante un modèle qui « hésite moins ». Peut-on hésiter moins et inventer moins à la fois ? Nous y consacrons notre réflexion de ce soir.

Espace publicitaire