API ou modèle local : choisir votre moteur

Tout projet IA commence par une décision d'architecture : appeler un modèle via une API (Claude, GPT, Gemini) ou faire tourner un modèle à poids ouverts (Llama, Mistral, Qwen, DeepSeek) sur vos propres machines. Ce choix conditionne le coût, la confidentialité et la qualité. Voici la grille de lecture honnête.

L'API : la qualité maximale sans infrastructure

• Qualité de pointe. Les meilleurs modèles du monde restent fermés ou très coûteux à héberger. Via l'API, vous y accédez en dix lignes de code.
• Zéro infra. Pas de GPU à acheter, pas de mise à l'échelle à gérer : vous payez au token consommé.
• Les contreparties. Vos données transitent chez un tiers (lisez la politique de rétention, activez les options « zéro conservation » quand elles existent), les prix et les modèles évoluent sans vous, et une panne du fournisseur devient votre panne.

Le modèle local : contrôle total, exigences totales

• Confidentialité. Rien ne sort de votre machine : décisif pour le médical, le juridique, la défense.
• Coût prévisible. Un GPU amorti coûte pareil qu'il traite mille ou un million de requêtes.
• Les contreparties. Qualité en retrait sur les modèles de pointe à taille comparable, et c'est vous qui gérez les mises à jour, la montée en charge et les pannes.

La quantization : faire tenir un géant dans une machine normale

Un modèle stocke ses paramètres en nombres précis (16 bits). La quantization les arrondit à 8, 5 ou 4 bits : le modèle devient 2 à 4 fois plus léger et plus rapide, pour une perte de qualité souvent minime. C'est ce qui permet à un modèle de 8 milliards de paramètres de tourner sur un bon laptop avec des outils comme Ollama ou llama.cpp. Pour servir beaucoup d'utilisateurs simultanés, on passe à un serveur d'inférence optimisé comme vLLM.

La règle de décision

Commencez par l'API : itérez vite, validez l'usage, mesurez les coûts réels. Basculez en local (ou en hybride : le local pour le courant, l'API pour les cas durs) seulement si la confidentialité l'exige ou si votre facture au token dépasse durablement le coût d'une machine et de son entretien.