Fine-tuning : spécialiser un modèle sans se rater

Le fine-tuning, ré-entraîner un modèle existant sur vos propres exemples, fait rêver : « un modèle qui connaît mon entreprise ». La réalité est plus subtile : c'est un outil puissant pour certains problèmes, et une fausse bonne idée pour beaucoup d'autres.

Ce que le fine-tuning fait bien

• Le style et le format. Répondre systématiquement dans votre ton de marque, produire un JSON exact, suivre une structure de rapport précise.
• Un savoir-faire répétitif. Classifier des tickets selon votre grille, extraire les champs de vos documents, adopter le vocabulaire de votre métier.

Ce qu'il fait mal

Injecter des connaissances. Lui faire « apprendre » votre catalogue produit ou votre documentation par fine-tuning est peu fiable : les faits s'y diluent et deviennent difficiles à mettre à jour. Pour donner des connaissances fraîches et vérifiables, le RAG (leçon suivante) est presque toujours le bon outil.

L'échelle de décision

Avant de fine-tuner, épuisez les solutions moins coûteuses, dans l'ordre : 1. un meilleur prompt (instructions précises, exemples inclus), 2. le few-shot (montrer 3 à 5 exemples dans la requête), 3. le RAG (brancher vos documents). Le fine-tuning n'arrive qu'en 4, quand les trois premiers plafonnent et que vous avez des centaines d'exemples de qualité.

LoRA : le fine-tuning léger

Ré-entraîner tous les paramètres coûte cher. LoRA gèle le modèle et n'entraîne que de petits modules ajoutés (les adaptateurs), soit une fraction de 1 % des paramètres : moins cher, plus rapide, et l'adaptateur se partage comme un petit fichier qu'on active ou retire à volonté. C'est devenu la méthode standard.

Le dataset fait tout

La règle d'or : la qualité écrase la quantité. Trois cents exemples impeccables battent dix mille exemples moyens : le modèle apprend aussi vos erreurs, vos incohérences et vos biais. Et gardez un jeu de test à part pour vérifier, avant et après, que le modèle spécialisé n'a pas régressé ailleurs (l'« oubli catastrophique » existe).