TechniqueGlossaire de l'IA
Pré-entraînement
La première grande phase de fabrication d'un modèle : il lit d'immenses volumes de texte et apprend simplement à prédire le mot suivant. C'est là qu'il acquiert sa culture générale, avant d'être spécialisé par le fine-tuning ou le RLHF.
Autrement dit
Les années d'école qui donnent la culture générale, avant la formation qui prépare à un métier précis.
Nos articles qui en parlent
- Entraînement intermédiaire, ajustement final : ce qui se passe après le pré-entraînement
Entre un modèle de base et un modèle utilisable, il y a plusieurs phases d'entraînement distinctes. On explique ce que fait chacune et pourquoi c'est là que se situe désormais la valeur.
- Une startup vaut 1,4 milliard et n'entraîne aucun modèle depuis zéro
Une jeune entreprise chinoise atteint 1,42 milliard de dollars de valorisation en sept mois en spécialisant des modèles ouverts plutôt qu'en les entraînant. On analyse ce modèle et ce qu'il révèle.
- Faut-il se demander si une IA a des droits ?
Un groupe milite pour les droits des IA. On examine sérieusement ce que supposerait une telle question, pourquoi on ne peut pas y répondre aujourd'hui, et ce qu'il faut faire de cette incertitude.
- GLM-5.3 : un modèle ouvert a trouvé plus de mille failles réelles dans des logiciels très utilisés
GLM-5.3 de Z.ai atteint des scores de pointe en découverte de vulnérabilités. Contrairement aux versions précédentes, ses poids n'ont pas été publiés : le laboratoire les a retenus pour une évaluation de sécurité. On analyse ce précédent.
- L'étiquetage de données vaut désormais 20 milliards
Une entreprise spécialisée dans l'étiquetage de données pour l'IA serait valorisée autour de 20 milliards de dollars, le double d'il y a neuf mois. On analyse ce que cette valorisation révèle sur la place du travail humain dans la chaîne.
- Comment "apprend" une IA ? Le voyage d'un modèle, du chaos brut jusqu'à l'assistant poli
Comment un modèle passe-t-il d'un tas de données brutes à un assistant capable de vous répondre poliment ? On décrit les trois grandes étapes de l'entraînement d'une IA (pré-entraînement, fine-tuning, RLHF) avec une analogie simple, pour comprendre d'où viennent ses forces et ses biais.
Voir aussi
Dans la même famille : Technique
Retrouver ce terme dans le glossaire complet →Tous les termes