AvancéLeçon 2 sur 510 min de lecture
Ce que votre machine peut faire tourner
Un cours de l'Académie : Une IA sur votre ordinateur : les modèles locaux en pratique
Aller au quiz ↓Une seule question décide presque tout : le modèle tient-il en mémoire ? Le reste, la vitesse et le confort, en découle.
Où le modèle doit tenir
- Dans la mémoire de la carte graphique (VRAM), si vous en avez une dédiée : c'est le cas le plus rapide.
- Dans la mémoire unifiée des Mac à puce Apple, partagée entre processeur et partie graphique : une grande partie est utilisable par le modèle, ce qui rend ces machines très efficaces pour cet usage.
- Dans la mémoire vive ordinaire, avec le calcul confié au processeur : ça fonctionne, mais nettement plus lentement.
La règle de calcul
Le cours « Sous le capot des LLM » a présenté la quantization : on stocke chaque paramètre sur moins de bits. En 4 bits, le format le plus courant pour l'usage local, comptez environ 0,6 Go par milliard de paramètres, plus une marge pour la conversation en cours. Ordres de grandeur :
- Un modèle de 7 à 8 milliards de paramètres : environ 5 Go. Tient sur la plupart des machines de 16 Go.
- Autour de 14 milliards : environ 9 Go. Confortable avec 16 Go de mémoire graphique, ou 24 à 32 Go de mémoire unifiée.
- Autour de 30 milliards : environ 18 à 20 Go. Il faut une machine haut de gamme.
- Autour de 70 milliards : environ 40 Go. Réservé aux stations de travail et aux Mac très bien dotés.
La conversation consomme aussi
Chaque token de la conversation occupe de la mémoire en plus du modèle. Un long document collé peut faire déborder une machine qui faisait tourner le modèle sans peine sur une question courte. Les outils permettent de régler la longueur de contexte : plus courte, elle économise de la mémoire.
La vitesse
Elle se mesure en tokens par seconde. Au-delà d'une dizaine, la lecture est fluide ; en dessous de trois ou quatre, l'attente devient pénible. La vitesse dépend surtout de la bande passante mémoire : pour chaque token produit, la machine relit l'ensemble des paramètres actifs. D'où l'intérêt des modèles à mélange d'experts, qui n'en activent qu'une partie, à condition d'avoir la mémoire pour charger le tout.
À retenir
- Tout part de la mémoire : graphique, unifiée ou vive, dans cet ordre de rapidité.
- En 4 bits, environ 0,6 Go par milliard de paramètres, plus la conversation.
- La vitesse dépend de la bande passante mémoire et du nombre de paramètres actifs.
Les notions clés
- mémoire vive
- carte graphique
- Quantization
- matériel
- GPU
Validez la leçon
Un quiz de 4 questions : 3 bonnes réponses suffisent, et un exercice pour pratiquer. Il s'ouvre dans l'Académie, sur cette même leçon.
Faire le quiz et valider la leçon Gratuit. Avec un compte, votre progression est enregistrée et mène à l'attestation du cours.