TechniqueGlossaire de l'IA
Distillation de modèle
Technique où un grand modèle « professeur » sert à entraîner un modèle « élève » plus petit : l'élève apprend à imiter les réponses du professeur et récupère une bonne partie de ses capacités pour une fraction du coût. Pratiquée sans autorisation sur le modèle d'un concurrent, elle s'apparente à un vol de savoir-faire, comme dans l'affaire qui oppose Anthropic à Alibaba.
Autrement dit
Apprendre la cuisine en goûtant et en recopiant les plats d'un grand chef, plutôt qu'en refaisant soi-même dix ans d'école hôtelière.
Nos articles qui en parlent
- Claude Sonnet 5.5 : presque Opus, pour moitié prix
Sur 44 métiers testés, Claude Sonnet 5.5 égale presque Opus 5.5 pour deux fois moins cher. Ce que ça change, et où le haut de gamme garde l'avantage.
- Quand un modèle plus récent score moins bien que celui qu'il remplace
Une nouvelle génération de modèle peut afficher des scores inférieurs à la précédente sur certains tests. On explique pourquoi, ce que ça révèle des arbitrages de conception, et comment choisir en conséquence.
- Peut-on voler l'intelligence d'un modèle ?
L'extraction de modèle consiste à reconstituer les capacités d'un système en l'interrogeant massivement. On explique le mécanisme, les défenses possibles et pourquoi aucune ne fonctionne vraiment.
- Washington accuse des laboratoires chinois de siphonner l'intelligence des modèles américains
Des agences américaines accusent des laboratoires chinois d'extraire à grande échelle les capacités de modèles américains. On explique la technique visée et pourquoi elle est difficile à empêcher.
- C'est quoi la distillation ? Faire tenir un grand modèle dans un petit
La distillation permet de transférer les capacités d'un grand modèle vers un modèle bien plus petit. On explique le principe, pourquoi ça marche mieux qu'un entraînement direct, et ses limites.
- Voler une IA sans pirater personne : l'affaire Alibaba qui secoue le monde de l'IA
Anthropic affirme qu'Alibaba a utilisé 25 000 faux comptes pour interroger Claude près de 29 millions de fois et entraîner son propre modèle Qwen sur les réponses. On vous explique ce qu'est la distillation, pourquoi c'est presque impossible à empêcher, et pourquoi tout le monde n'est pas convaincu par l'accusation.
Pour aller plus loin à l'Académie
Voir aussi
Dans la même famille : Technique
Retrouver ce terme dans le glossaire complet →Tous les termes