Objectifs pédagogiques
- Décrire, en une phrase chacun, ce à quoi un CPU et un GPU sont respectivement adaptés pour l’inférence LLM, et nommer la propriété de la charge qui tranche entre les deux.
- Séparer une requête en sa phase de prefill et sa phase de décodage, et expliquer pourquoi la première est parallèle et la seconde reste séquentielle d’une position de token à l’autre.
- Calculer une estimation de mémoire des poids avec paramètres × bits par poids ÷ 8 pour n’importe quelle taille de modèle et n’importe quelle précision, sans erreur de calcul.
- Énumérer au moins cinq postes de mémoire que cette estimation exclut : cache KV, activations, surcharge de l’allocateur, tampons d’exécution, métadonnées, couches non quantifiées.
- Rédiger une porte de sortie de quantification qui nomme la référence, les tâches représentatives et les mesures exigées avant promotion.
- Expliquer pourquoi un fichier de modèle plus petit ne garantit pas une latence plus faible, en citant au moins deux mécanismes concrets.
- Énoncer que la précision du cache KV et celle des poids sont des choix indépendants, et prédire la conséquence mémoire d’une confusion entre les deux.
Matériel nécessaire
- Une machine par binôme avec un moteur d’inférence local déjà installé et au moins un petit modèle déjà téléchargé (aucun téléchargement pendant la séance).
- L’interactif CPU/GPU et l’interactif de quantification, liés depuis la page de cours des participants.
- Une fiche de référence imprimée ou projetée des précisions courantes : FP32, FP16/BF16, INT8, 4 bits, avec les octets par poids.
- Un tableau blanc pour la frise prefill/décodage et le schéma en pile du budget mémoire.
- Un tableur ou un bloc partagé où les binômes publient leurs mesures, afin que le groupe compare les écarts.
- Repli hors ligne : une capture de terminal préenregistrée et un fichier CSV de mesures du même modèle en 16, 8 et 4 bits, pour que les deux ateliers restent praticables sans réseau ni GPU.
Déroulé minute par minute
| Heure | Durée | Séquence |
|---|---|---|
| 0:00 | 10 min | Cadrage : l’adéquation matérielle est une propriété de la charge, pas un classement de puces. |
| 0:10 | 20 min | Concept 1 : rôles CPU et GPU. Prefill et décodage au tableau. |
| 0:30 | 20 min | Atelier A : estimation de la mémoire des poids en 16, 8 et 4 bits, puis comparaison avec la mémoire résidente. |
| 0:50 | 10 min | Concept 2 : ce que l’estimation exclut. Construire la pile du budget mémoire. |
| 1:00 | 5 min | Pause. |
| 1:05 | 25 min | Atelier B : mesurer TTFT, latence inter-tokens et mémoire crête à deux précisions. |
| 1:30 | 15 min | Concept 3 : la porte de sortie de quantification. Débriefer l’atelier B au regard de cette porte. |
| 1:45 | 10 min | Atelier C : rédiger la porte de sortie pour un déploiement donné, sur papier. |
| 1:55 | 5 min | Bilan : les deux vérités contre-intuitives, et ce qu’il faut mesurer dès demain. |
Messages clés à faire passer
- L’adéquation matérielle dépend de la forme de la charge. Les CPU excellent en flot de contrôle général, en prétraitement et sur des charges modestes ; les GPU exposent de nombreuses unités arithmétiques parallèles et une bande passante mémoire élevée pour les opérations tensorielles denses.
- Le prefill est hautement parallèle et limité par le calcul ; le décodage autorégressif reste séquentiel d’une position de token à l’autre et est généralement limité par la bande passante mémoire. Les deux phases ont des goulets différents et doivent être mesurées séparément.
- Une première estimation de la mémoire des poids vaut paramètres × bits par poids ÷ 8. À traiter comme un plancher, pas comme un budget.
- Cette estimation exclut le cache KV, les activations, la surcharge de l’allocateur, les tampons d’exécution, les métadonnées, et parfois des couches laissées non quantifiées. La mémoire résidente réelle est toujours supérieure.
- Un fichier de modèle plus petit ne garantit pas une latence plus faible. Le support des noyaux, le coût de déquantification, la forme de la charge et le matériel peuvent rendre un artefact plus petit plus lent.
- La quantification des poids ne réduit pas automatiquement le cache KV. La précision du cache KV et celle des poids sont des choix séparés, et l’un ne prouve rien sur l’autre.
Pièges fréquents
Les participants concluent que le GPU est simplement le meilleur composant et cessent de raisonner en termes d’adéquation.
Présenter immédiatement un contre-exemple : un service à faible volume, mono-utilisateur, à prompts courts, où un CPU tient la cible de latence et où le GPU ajoute coût, complexité d’ordonnancement et capacité inutilisée. Demander lequel ils déploieraient et pourquoi.
L’estimation mémoire est prise pour le budget de déploiement, et le service est dimensionné pour tomber en charge.
Dessiner le budget en pile au tableau : les poids en bas, puis le cache KV, les activations, les tampons d’exécution, la surcharge de l’allocateur. Refuser toute réponse d’atelier qui ne donne que le chiffre des poids.
Un binôme annonce que la version 4 bits est plus rapide sans avoir contrôlé le prompt, le lot, le runtime ou le matériel.
Interrompre le débriefing et demander la liste des variables figées. S’ils ne peuvent pas la donner, la mesure n’est pas une preuve. Refaire un cas avec prompt et concurrence verrouillés.
Une régression de qualité due à la quantification passe inaperçue faute de référence définie avant le test.
Exiger que la référence de plus haute précision et le seuil de retour arrière soient écrits avant tout chargement d’une version quantifiée. Faire appliquer cette règle au début de l’atelier B, pas au débriefing.
Les participants supposent que quantifier les poids a aussi quantifié le cache, puis s’étonnent de la croissance mémoire à long contexte.
Le rendre explicite avec des chiffres : maintenir les poids en 4 bits et montrer qu’à long contexte et forte concurrence, le cache KV peut égaler ou dépasser l’empreinte des poids.
La séance dérive vers une comparaison de cartes et de formats de quantification précis.
Annoncer d’emblée que formats et noyaux évoluent au rythme mensuel, donc que toute comparaison précise est datée. Enseigner le protocole de mesure ; laisser le classement du moment de côté.