Ce qu'un modèle local fait bien, et ce qu'il rate

Un modèle de 8 ou 14 milliards de paramètres n'est pas une version lente d'un grand modèle en ligne : c'est un outil différent, excellent sur certaines tâches et franchement mauvais sur d'autres. L'utiliser avec profit, c'est savoir lesquelles.

Ce qu'il fait bien

• Transformer un texte que vous lui donnez : reformuler, corriger, résumer quelques pages, changer de ton, traduire un texte courant.
• Extraire et classer : tirer les dates et les montants d'un document, ranger des courriels par catégorie, étiqueter des fiches.
• Brouillons et code simple : un premier jet, un petit script, une formule de tableur.

Le point commun : l'information est dans ce que vous lui fournissez. Il travaille sur votre matière, il n'a pas à savoir.

Ce qu'il rate

• Les connaissances précises. Moins de paramètres, c'est moins de faits mémorisés : sur une date, un nom, une référence, il invente beaucoup plus qu'un grand modèle. Ne l'utilisez jamais comme encyclopédie.
• Les raisonnements longs à plusieurs étapes, où les erreurs s'accumulent.
• Les très longs documents : la mémoire de votre machine limite la longueur de contexte, et la qualité de lecture baisse plus vite que sur les grands modèles.
• Le français soutenu : la qualité varie beaucoup d'une famille à l'autre. Certaines sont excellentes, d'autres glissent vers des tournures traduites de l'anglais.

Le test qui tranche

Reprenez la méthode du cours « Sous le capot des LLM » : dix tâches réelles de votre travail, passées au modèle local et à votre service en ligne habituel, côte à côte. En une heure, vous saurez lesquelles vous pouvez rapatrier chez vous. Refaites le test à chaque nouvelle génération de modèles : les petits progressent vite.

L'usage hybride

La configuration la plus efficace est rarement « tout local » ou « tout en ligne ». Le local pour ce qui est sensible ou répétitif, le service en ligne pour ce qui exige le meilleur raisonnement ou des connaissances fraîches. Et une règle simple pour trier : si le document ne doit pas sortir, la question de la qualité vient après.