# Slides — Session 1 : Fondements : Transformers & Tokenisation **Programme :** Applied AI — Niveau Intermédiaire · **Instructeur :** Yann Isola **Total :** 30 slides · **Durée :** 120 minutes **Palette :** encre `#1A2230` · teal `#0F7A6C` · cuivre `#B4612A` · teal clair `#E9F6F3` · fond `#F4F7F6` **Convention visuelle :** titres en teal sur fond `#F4F7F6` ; encadrés « à retenir » en teal clair avec liseré cuivre ; les chiffres datés portent le marqueur ⚠. --- ## Slide 1 — Titre **Durée : 1 min** **Contenu :** - Applied AI — Niveau Intermédiaire - Session 1 : Fondements : Transformers & Tokenisation - Yann Isola **Visuel :** fond encre `#1A2230`, titre blanc, sous-titre teal. Motif discret de « tokens » colorés (petits rectangles arrondis teal/cuivre) flottant en arrière-plan — annonce la Démo 1. **Notes orateur :** Accueillir. Une phrase de cadrage : « Dans 2 heures, vous saurez expliquer à un collègue comment fonctionne réellement un modèle de langage — sans magie. » --- ## Slide 2 — Le contrat de la session **Durée : 2 min** **Contenu :** - 7 acquis en 2 heures : histoire · tokens · embeddings · attention · pipeline d'entraînement · inférence · lois d'échelle - Règle d'or : **tout acronyme sera expliqué** — sinon, levez la main - 3 démos interactives + 2 exercices + 1 quiz **Visuel :** frise horizontale des 7 acquis, chaque bloc en teal clair, numérotés. Pictogramme main levée en cuivre à côté de la règle d'or. **Notes orateur :** Sondage à main levée : « Qui utilise un assistant IA chaque semaine ? » — calibre les exemples. Annoncer la pause à mi-parcours. --- ## Slide 3 — Partie A · L'ère des règles (1950s–1990s) **Durée : 3 min** **Contenu :** - L'idée : écrire toutes les règles à la main - Exemple : filtre anti-spam — « si l'email contient GRATUIT → spam » - Échec : « GR4TUIT » passe. Les règles manuelles ne passent pas à l'échelle. **Visuel :** organigramme si/alors dessiné façon « tableau blanc », avec un email « GR4TUIT !!! » qui traverse le filtre — croix cuivre sur le filtre. **Notes orateur :** Insister : l'échec n'est pas l'intelligence des ingénieurs, c'est la combinatoire du réel. Chaque règle ajoutée crée des exceptions. --- ## Slide 4 — L'apprentissage automatique classique (1990s–2010s) **Durée : 3 min** **Contenu :** - Renversement : on montre des **exemples**, la machine découvre les règles - ML = Machine Learning (apprentissage automatique) - Le filtre apprend sur 100 000 emails étiquetés - Limite : un humain choisit encore **quoi observer** (fréquence des mots, liens…) **Visuel :** schéma en deux colonnes — « Avant : règles → programme » vs « Après : exemples → règles apprises ». Flèche de renversement en cuivre. **Notes orateur :** C'est LE basculement philosophique de tout le domaine : de la programmation explicite à l'apprentissage par l'exemple. Tout le reste du cours en découle. --- ## Slide 5 — L'apprentissage profond (2012–2017) **Durée : 3 min** **Contenu :** - Deep learning (apprentissage profond) : le réseau apprend **aussi** quoi observer - 2012 : AlexNet domine la compétition d'images ImageNet - Mais pour le langage, deux verrous persistent : - les RNN (Recurrent Neural Networks, réseaux de neurones récurrents) lisent mot à mot → **oubli** des débuts de phrases longues - traitement séquentiel → **impossible à paralléliser**, entraînement lent **Visuel :** chaîne de wagons (mots) lus un par un ; les premiers wagons s'estompent en gris (l'oubli). Un chronomètre cuivre symbolise la lenteur. **Notes orateur :** Prendre 20 secondes sur la métaphore du wagon : quand le RNN arrive au mot 50, le mot 3 est dilué. Poser la question à la salle : « comment feriez-vous pour ne rien oublier ? » → transition naturelle. --- ## Slide 6 — 2017 : « Attention Is All You Need » **Durée : 3 min** **Contenu :** - Article de Google, 2017 — naissance du **transformer** - Deux problèmes résolus d'un coup : 1. **Attention** → chaque mot « regarde » tous les autres, même lointains 2. **Parallélisme** → tout se calcule en même temps → exploitation massive des GPU (Graphics Processing Unit, processeur graphique) - GPT = **G**enerative **P**re-trained **T**ransformer (transformeur génératif pré-entraîné) **Visuel :** couverture stylisée de l'article + schéma : tous les mots d'une phrase reliés entre eux par des arcs teal (attention), et une pile de GPU en dessous (parallélisme). **Notes orateur :** Anecdote détente : aucun lien avec les robots du film — « transformer » = transformer une séquence en séquence. Claude, Gemini, Llama, Mistral : tous des transformers. --- ## Slide 7 — À retenir (Partie A) **Durée : 1 min** **Contenu :** > **Transformers = attention (mémoire longue) + parallélisme (passage à l'échelle matériel)** - Règles → exemples → caractéristiques apprises → attention : 70 ans de délégation croissante à la machine **Visuel :** encadré teal clair plein écran avec la formule, liseré cuivre. Frise chronologique minimaliste en bas : 1950 · 1990 · 2012 · 2017. **Notes orateur :** L'écrire aussi physiquement au tableau — on y reviendra en Partie D. Transition : « Quand vous tapez une phrase, quelle est la TOUTE première chose qui se passe ? Le modèle ne lit ni vos mots ni vos lettres… » --- ## Slide 8 — Partie B · Qu'est-ce qu'un token ? **Durée : 3 min** **Contenu :** - Le modèle découpe le texte en **tokens** : fragments de ~3–4 caractères en moyenne ⚠ - Ni des mots, ni des lettres - Mots fréquents = 1 token · mots rares = plusieurs fragments - Vocabulaire typique : ~100 000 fragments ⚠ **Visuel :** la phrase « L'intelligence artificielle transforme nos métiers. » découpée en blocs colorés arrondis (alternance teal/cuivre/encre sur fonds clairs) — reproduire le rendu de la Démo 1. **Notes orateur :** Basculer immédiatement sur la page interactive (onglet Tokeniseur) et taper la phrase en direct. Le live vaut mieux que le slide. --- ## Slide 9 — Pourquoi des tokens et pas des mots ? **Durée : 2 min** **Contenu :** - **Problème du vocabulaire** : millions de mots, noms propres, fautes, néologismes — impossible de tout stocker - **Solution Lego** : peu de briques, constructions infinies — « Schtroumpfissime » = assemblage de fragments connus - **Pourquoi pas des lettres ?** Séquences trop longues (50 mots ≈ 300 lettres vs ~70 tokens) → trop d'étapes de calcul **Visuel :** briques de Lego stylisées (rectangles arrondis) qui s'assemblent pour former un mot rare. Comparatif de longueur : trois barres (lettres / tokens / mots) avec le token en position « juste milieu » surligné teal. **Notes orateur :** Le token est un compromis d'ingénierie : vocabulaire gérable × séquences courtes. Pas une vérité linguistique — un choix pratique. --- ## Slide 10 — Le mystère « strawberry » 🍓 **Durée : 4 min** **Contenu :** - Question piège : « Combien de "r" dans strawberry ? » → erreurs fréquentes des modèles - Le modèle voit : `[str][aw][berry]` — trois blocs **opaques**, jamais les 10 lettres - Même cause : inverser un mot, épeler à l'envers, manipuler « REF-88472-XL-2024 » **Visuel :** grand mot « strawberry » affiché deux fois : en haut lettre par lettre (vision humaine), en bas en 3 blocs verrouillés avec des cadenas (vision modèle). Flèche cuivre : « ce que vous voyez / ce qu'il voit ». **Notes orateur :** MOMENT CLÉ de la session — faire la démo en direct si possible ; capture d'écran de secours prête. Si le modèle réussit : expliquer qu'il contourne en épelant d'abord (les modèles récents apprennent des stratégies ⚠) — la limite structurelle demeure. Analogie : compter les « r » dans un mot écrit en caractères chinois. --- ## Slide 11 — Conséquences pratiques des tokens **Durée : 2 min** **Contenu :** - **Facturation API** : vous payez au token — le français coûte ~1,2 à 2× plus de tokens que l'anglais à contenu égal ⚠ - **Fenêtre de contexte** : consommée plus vite dans les langues « chères » en tokens - **Règle métier** : précision au caractère près (références, comptages) → code classique, pas le modèle seul **Visuel :** deux piles de pièces (anglais vs français) de hauteurs différentes, en cuivre. Icône fenêtre qui se remplit. **Notes orateur :** C'est la première retombée « business » de la session — les responsables budget se réveillent ici. API = interface de programmation applicative (le rappeler à l'oral). --- ## Slide 12 — Consigne Exercice 1 : Safari tokens **Durée : 1 min (lancement) + 10 min (exercice)** **Contenu :** - Ouvrez la page interactive · onglet **Tokeniseur** - Testez les 6 entrées de la feuille d'exercices, notez le nombre de tokens - 8 min d'exploration + 2 min de mise en commun **Visuel :** capture d'écran de la Démo 1 + les 6 entrées listées en teal clair. **Notes orateur :** Circuler. Blocage typique : « je ne vois rien de spécial » → suggérer mots rares vs fréquents, nombres, fautes. Mise en commun : 2–3 découvertes surprenantes à l'oral. --- ## Slide 13 — Partie C · Des tokens aux nombres : les embeddings **Durée : 3 min** **Contenu :** - Les ordinateurs ne calculent que des nombres → chaque token devient un **vecteur** (liste de nombres) - Exigence : la conversion doit **préserver le sens** - Embedding = une **adresse dans un espace de sens** **Visuel :** un token « chat » qui se transforme en colonne de nombres `[0.21, -1.4, 0.88, …]`, puis en point sur une carte. Trois étapes reliées par des flèches teal. **Notes orateur :** Lancer l'analogie de la carte : « chat » et « chien » voisins comme Lyon et Villeurbanne ; « chat » et « carburateur » aux antipodes. --- ## Slide 14 — Un espace à mille dimensions **Durée : 2 min** **Contenu :** - L'espace n'a pas 2 dimensions mais des **centaines à milliers** ⚠ - Chaque dimension capture une nuance : animé/inanimé, masculin/féminin, concret/abstrait, technique/quotidien… - Personne ne place les mots à la main : les positions **émergent** de l'entraînement - « On reconnaît un mot à ses fréquentations » (hypothèse distributionnelle) **Visuel :** carte 2D avec 3 nuages étiquetés (animaux teal, couleurs cuivre, métiers encre) — reprendre la Démo 2. Mention en coin : « projection 2D d'un espace à ~1000 dimensions ⚠ ». **Notes orateur :** Basculer sur la Démo 2 : glisser la vue, survoler les points. Montrer « vétérinaire » entre métiers et animaux — appartenance multiple. --- ## Slide 15 — L'arithmétique du sens : roi − homme + femme ≈ reine **Durée : 4 min** **Contenu :** - Des nombres → on peut **calculer sur le sens** - `roi − homme + femme ≈ reine` : la direction « masculin→féminin » est une flèche cohérente - `Paris − France + Italie ≈ Rome` : « capitale de » est aussi une direction - Résultat historique des embeddings de mots (word2vec, 2013) — l'intuition tient toujours dans les transformers (embeddings devenus contextuels) **Visuel :** parallélogramme : quatre points (roi, reine, homme, femme), deux flèches cuivre parallèles homme→femme et roi→reine. Animation d'apparition des flèches (utiliser le bouton « Animer » de la Démo 2). **Notes orateur :** Déclencher l'animation de la Démo 2 en direct. Insister : personne n'a programmé ça — la géométrie émerge des statistiques de co-occurrence. --- ## Slide 16 — Application pro : la recherche sémantique **Durée : 3 min** **Contenu :** - Documents ET questions convertis en embeddings → on cherche les vecteurs **proches** - « problème de facturation » retrouve « anomalie de paiement » — zéro mot en commun - Base du RAG (Retrieval-Augmented Generation, génération augmentée par récupération d'information) → session dédiée plus tard - Limite : « avocat » (fruit ? métier ?) — un vecteur statique unique mélange les sens… **Visuel :** schéma : question → point teal ; documents → nuage de points ; cercle de proximité en cuivre autour des documents retrouvés. En bas, le mot « avocat » écartelé entre 🥑 et ⚖️. **Notes orateur :** Le point « avocat » est la transition scénarisée vers l'attention. Question à la salle : « comment trancher ? » → réponse après la pause. Annoncer : ☕ pause 5 min. --- ## Slide 17 — Partie D · Le problème de l'ambiguïté **Durée : 3 min** **Contenu :** - « **L'avocat mange un avocat.** » — même token, deux sens - Le contexte tranche : « mange » → fruit ; position sujet → personne - L'**attention** = le mécanisme qui formalise ce « regard vers le contexte » **Visuel :** la phrase en gros ; du premier « avocat » part une flèche vers « L' » ; du second, des flèches vers « mange » — flèches d'épaisseur proportionnelle au poids d'attention. **Notes orateur :** Reprendre l'énergie post-pause avec cette phrase amusante. La faire lire à voix haute par un participant. --- ## Slide 18 — La mécanique de l'attention **Durée : 4 min** **Contenu :** - Chaque token pose la question : « **quels autres tokens précisent mon sens ici ?** » - Il distribue des **poids d'attention** (pourcentages d'importance) sur tous les autres - Puis met à jour sa représentation en mélangeant les informations pertinentes - En parallèle pour tous les tokens · sur des dizaines de couches successives **Visuel :** un token central avec des faisceaux lumineux teal d'intensités différentes vers les autres tokens de la phrase — style « projecteur ». Petite pile de couches à droite (couche 1, 2, … n). **Notes orateur :** NE PAS entrer dans Query/Key/Value ici. Si question experte : « voyez-moi à la pause ». Garder le projecteur comme image : l'attention est un faisceau à intensité variable. --- ## Slide 19 — Le test du pronom **Durée : 3 min** **Contenu :** - « Le trophée ne rentre pas dans la valise car **il** est trop **grand**. » → il = trophée - Changez la fin : « …car **elle** est trop **petite**. » → elle = valise - Résoudre « il/elle » = peser TOUT le contexte — exactement ce que l'attention calcule - C'est ce que les architectures pré-2017 rataient sur les phrases longues **Visuel :** carte de chaleur de la Démo 3 : ligne « il » avec case foncée sur « trophée ». Les deux variantes de la phrase côte à côte avec les liaisons inversées. **Notes orateur :** Basculer sur la Démo 3 : cliquer sur « il », montrer la case sombre vers « trophée ». Puis charger la phrase 2 (l'avocat) et montrer que le MÊME mot reçoit des attentions différentes. --- ## Slide 20 — La boucle est bouclée **Durée : 2 min** **Contenu :** - Rappel Slide 7 : **attention = mémoire longue · parallélisme = échelle** - Chaque token calcule son attention indépendamment → tout se parallélise → GPU exploités à fond - Question honnête : compréhension ou calcul ? → des multiplications de matrices dont le résultat **ressemble fonctionnellement** à de la compréhension **Visuel :** reprise du tableau de la Slide 7, maintenant « validé » avec deux coches cuivre. Petit encadré philosophique en italique en bas. **Notes orateur :** Ne pas trancher le débat philosophique — le dire explicitement. Ce qui compte : le mécanisme est puissant, mesurable, et explique capacités ET limites. --- ## Slide 21 — Consigne Exercice 2 : le jeu des analogies **Durée : 1 min (lancement) + 8 min (exercice)** **Contenu :** - En binômes · 6 min + 2 min de correction - Partie A : compléter 5 analogies `A − B + C ≈ ?` et **nommer la direction** - Partie B : créer 2 analogies (dont 1 de votre métier) - Partie C : la question piège de l'avocat 🥑 **Visuel :** exemple résolu en grand : `Paris − France + Japon ≈ Tokyo` avec la flèche « pays→capitale » en cuivre. **Notes orateur :** Chrono visible. À la correction, faire verbaliser la DIRECTION à chaque fois — c'est la compétence visée. La partie C ramène vers l'attention : boucle pédagogique. --- ## Slide 22 — Partie E · Pré-entraînement : l'université **Durée : 4 min** **Contenu :** - Une seule tâche : **prédire le token suivant** — « Le chat dort sur le ___ » - Sur des milliers de milliards de tokens de texte ⚠ - Pour bien prédire, le modèle DOIT absorber : grammaire, faits, styles, rudiments de raisonnement - Résultat : très savant mais **brut** — il complète du texte, il ne « répond » pas - Coût : dizaines à centaines de millions de dollars de calcul ⚠ **Visuel :** un chapeau de diplômé sur un cerveau stylisé teal ; en dessous, un texte à trous qui défile. Compteur de coût en cuivre avec ⚠. **Notes orateur :** Insister sur le paradoxe : une tâche triviale × une échelle massive = des capacités générales. Le « diplômé brillant qui n'a jamais parlé à un client » prépare la slide suivante. --- ## Slide 23 — Post-entraînement : l'école de finition **Durée : 4 min** **Contenu :** - **RLHF** = Reinforcement Learning from Human Feedback (apprentissage par renforcement à partir de retours humains) - Des annotateurs comparent des paires de réponses : « laquelle est la plus utile / honnête / sûre ? » - Le modèle est ajusté vers les réponses préférées - Transforme un **moteur de complétion** en **assistant** : ton, format, refus des demandes dangereuses **Visuel :** deux bulles de réponse côte à côte, un pouce humain qui désigne la meilleure ; flèche de mise à jour vers le modèle. Style épuré teal/cuivre. **Notes orateur :** Bien articuler l'acronyme RLHF en entier, en français — règle d'or du cours. Analogie : le savoir est déjà là, on apprend les manières et la déontologie. --- ## Slide 24 — Fine-tuning : l'onboarding en entreprise + tableau récapitulatif **Durée : 3 min** **Contenu :** - Fine-tuning (ajustement fin) : spécialiser un modèle déjà formé — vocabulaire maison, ton de marque, formats internes | Étape | Analogie | Ce qu'on apprend | Coût | |---|---|---|---| | Pré-entraînement | Université | Langue, faits, raisonnement | Très élevé ⚠ | | Post-entraînement (RLHF) | École de finition | Utilité, ton, sécurité | Moyen ⚠ | | Fine-tuning | Onboarding | Spécialisation métier | Faible ⚠ | **Visuel :** le tableau en pleine largeur, lignes alternées teal clair / blanc, colonne « Analogie » avec pictogrammes (🎓 / 🎩 / 💼). **Notes orateur :** Ce tableau est LE référentiel des sessions futures — inviter à le photographier. Question à anticiper : « peut-on fine-tuner from scratch ? » → non-sens économique pour 99,9 % des entreprises (cf. Exercice 3, scénario 1). --- ## Slide 25 — L'inférence et le goulot mémoire **Durée : 4 min** **Contenu :** - **Inférence** = utiliser le modèle entraîné (paramètres figés) : les tokens sortent un par un - Contre-intuition : la vitesse est limitée par la **bande passante mémoire**, pas le calcul - Chaque token généré = faire transiter TOUS les paramètres (dizaines à centaines de Go ⚠) de la mémoire vers le calcul - D'où : la course à la HBM (High Bandwidth Memory, mémoire à haute bande passante) · les petits modèles répondent plus vite **Visuel :** le chef étoilé (calcul) qui attend la navette venant de l'entrepôt (mémoire) — illustration en 2 cases façon BD, navette en cuivre, chef en teal. Compteur « Go par token » avec ⚠. **Notes orateur :** Question fréquente à traiter ici : « le modèle apprend-il de mes conversations ? » → Non pendant l'inférence (paramètres figés) ; la conversation vit dans la fenêtre de contexte ; la collecte pour de FUTURS entraînements dépend du fournisseur et des réglages ⚠ — sujet gouvernance, session dédiée. --- ## Slide 26 — Partie F · Les lois d'échelle **Durée : 3 min** **Contenu :** - Constat empirique : performance = fonction **régulière et prévisible** de 3 ingrédients : **données · calcul · paramètres** - On peut prédire la performance d'un modèle 10× plus gros AVANT de l'entraîner - C'est ce qui justifie les investissements massifs : extrapolation de courbe, pas pari aveugle - Analogie : les équations de résistance des matériaux pour les ponts **Visuel :** graphique log-log stylisé : trois courbes lisses montantes (données/calcul/paramètres), zone d'extrapolation en pointillés cuivre avec un point « futur modèle » prédit. **Notes orateur :** L'analogie du pont fonctionne bien : on ne construit pas un pont de 2 km « en espérant ». Les scaling laws sont les équations de résistance de l'IA. --- ## Slide 27 — Lois d'échelle : les nuances **Durée : 2 min** **Contenu :** - Les courbes prédisent une **métrique statistique** (qualité de prédiction), pas des capacités précises — certaines émergent par paliers - Les 3 ingrédients doivent croître **ensemble** (leçon « Chinchilla », 2022) — un géant sous-alimenté en données = gaspillage - Débat ouvert sur la poursuite des courbes ; autres axes explorés (ex. calcul à l'inférence) ⚠ - **Plus gros ≠ toujours pertinent** : plus lent, plus cher à l'inférence → le bon modèle = le plus petit qui atteint la qualité requise **Visuel :** trois curseurs (données/calcul/paramètres) alignés = coche teal ; déséquilibrés = croix cuivre. Balance coût/qualité en bas. **Notes orateur :** Relier à la slide 25 : rappeler la bande passante mémoire pour justifier « plus gros = plus lent ». Honnêteté intellectuelle : le paysage évolue vite, signaler les ⚠. --- ## Slide 28 — La chaîne complète (synthèse) **Durée : 2 min** **Contenu :** > **Texte → Tokens → Vecteurs (embeddings) → Attention → Prédiction du token suivant** - La session en une ligne. Chaque maillon explique des forces ET des limites : - Tokens → échecs de comptage de lettres, coûts par langue - Embeddings → recherche sémantique, analogies - Attention → désambiguïsation, mémoire longue - Prédiction → tout le pipeline d'entraînement **Visuel :** reprendre la frise animée de la page interactive (section Récapitulatif) : 5 blocs teal clair reliés par des flèches cuivre, apparition en cascade. **Notes orateur :** Faire réciter la chaîne par la salle, en chœur si l'ambiance le permet. C'est le livrable mental de la session. --- ## Slide 29 — Quiz éclair & Exit Tickets **Durée : 5 min** **Contenu :** - Quiz : 4–5 questions à main levée (sélection du quiz complet — 10 questions en autonomie) - Exit Tickets : 5 questions écrites, 3 minutes, ramassées en sortant - Sans note — uniquement pour ajuster la Session 2 **Visuel :** pictogrammes quiz (✓/✗) et ticket de sortie stylisé en cuivre. **Notes orateur :** Choisir les questions du quiz selon les points faibles perçus pendant la session. Les Exit Tickets sont votre radar : les dépouiller AVANT de préparer la session 2. --- ## Slide 30 — Prochaine session + ressources **Durée : 2 min** **Contenu :** - **Session 2 : l'art et la science du prompting** — « Vous savez COMMENT la machine fonctionne. La prochaine fois : comment lui PARLER pour en tirer le maximum. » - À faire d'ici là : Exercice 3 (triage consultant) si non fait en séance · rejouer avec la page interactive · quiz complet en autonomie - Contact instructeur + accès aux supports **Visuel :** fond encre comme la slide 1 (fermeture de la boucle visuelle), titre de la session 2 en teal, motif de tokens en arrière-plan. **Notes orateur :** Finir à l'heure — c'est un signal de professionnalisme. Remercier. Rester 5 min pour les questions individuelles (dont les questions techniques reportées : Query/Key/Value…). --- ## Récapitulatif du minutage | Slides | Séquence | Durée cumulée | |---|---|---| | 1–2 | Accueil | 0:05 | | 3–7 | Partie A — Histoire | 0:20 | | 8–11 | Partie B — Tokenisation | 0:30 | | 12 | Exercice 1 | 0:41 | | 13–16 | Partie C — Embeddings | 0:53 → pause → 1:10* | | 17–20 | Partie D — Attention | 1:22 | | 21 | Exercice 2 | 1:31 | | 22–25 | Partie E — Pipeline & inférence | 1:46 | | 26–27 | Partie F — Lois d'échelle | 1:51 | | 28–30 | Synthèse, quiz, clôture | 2:00 | \* La pause de 5 min se place après la slide 16 (fin Partie C). Marges intégrées : ±3 min absorbées par les exercices (voir plan B dans le guide professeur : Exercice 3 → devoir maison). --- *Slides — Applied AI, Niveau Intermédiaire, Session 1. © Yann Isola. Version 1.0.*