Un tokenizer transforme le texte en identifiants de tokens avant son traitement par le modèle. Les budgets bornent contexte, sortie, latence et coût.
Ce que vous saurez faire
Séance de 2 heures
- Expliquer en une phrase ce qu’un tokenizer fait au texte avant que le modèle n’en voie quoi que ce soit.
- Tokeniser le même passage avec deux tokenizers différents et rendre compte de l’écart entre les comptes de tokens.
- Énumérer chaque composant d’une requête qui consomme la fenêtre de contexte, y compris la sortie réservée.
- Calculer le budget de tokens d’une requête réaliste et dire si elle tient dans une fenêtre de contexte donnée.
- Choisir et justifier une politique de troncature ou de résumé lorsque le budget est dépassé.
- Démontrer que le texte non anglophone, le code source et les emoji coûtent plus de tokens qu’une prose anglaise équivalente.
- Épingler une révision de modèle avec le tokenizer et le chat template appariés, et expliquer pourquoi ce trio doit évoluer d’un seul bloc.
Les tokens dépendent du modèle
Un token peut être un mot, un fragment, une ponctuation, un espace ou des octets. Utilisez le tokenizer exact et le gabarit de chat associés à la révision du modèle.
Budgéter toute la requête
Comptez les instructions système, l’historique, les schémas d’outils, les passages récupérés, la saisie et la sortie réservée. Définissez une politique explicite de troncature ou de résumé.
Contrôles opérationnels
Figez les révisions. Testez plusieurs langues, le code, les emoji, les tokens spéciaux et la troncature. Mesurez avec le vrai tokenizer ; l’estimation par caractères reste approximative.
Ouvrir l’outil interactif — tokenizer
Vérification rapide
Deux modèles peuvent-ils compter différemment la même phrase ?
Afficher la réponse
Oui. Le vocabulaire, la normalisation et la segmentation varient selon le tokenizer.
Que doit contenir la fenêtre de contexte ?
Afficher la réponse
La requête sérialisée complète et les tokens réservés à la sortie.
Mettre en pratique
Faites les trois ateliers, puis vérifiez-vous avec le quiz de 10 questions.