Slides — Session 1 : Fondements : Transformers & Tokenisation

Programme : Applied AI — Niveau Intermédiaire · Instructeur : Yann Isola
Total : 30 slides · Durée : 120 minutes
Palette : encre #1A2230 · teal #0F7A6C · cuivre #B4612A · teal clair #E9F6F3 · fond #F4F7F6
Convention visuelle : titres en teal sur fond #F4F7F6 ; encadrés « à retenir » en teal clair avec liseré cuivre ; les chiffres datés portent le marqueur .

Slide 1 — Titre

Durée : 1 min

Contenu :

• Applied AI — Niveau Intermédiaire
• Session 1 : Fondements : Transformers & Tokenisation
• Yann Isola

Visuel : fond encre #1A2230, titre blanc, sous-titre teal. Motif discret de « tokens » colorés (petits rectangles arrondis teal/cuivre) flottant en arrière-plan — annonce la Démo 1.

Notes orateur : Accueillir. Une phrase de cadrage : « Dans 2 heures, vous saurez expliquer à un collègue comment fonctionne réellement un modèle de langage — sans magie. »

Slide 2 — Le contrat de la session

Durée : 2 min

Contenu :

• 7 acquis en 2 heures : histoire · tokens · embeddings · attention · pipeline d'entraînement · inférence · lois d'échelle
• Règle d'or : tout acronyme sera expliqué — sinon, levez la main
• 3 démos interactives + 2 exercices + 1 quiz

Visuel : frise horizontale des 7 acquis, chaque bloc en teal clair, numérotés. Pictogramme main levée en cuivre à côté de la règle d'or.

Notes orateur : Sondage à main levée : « Qui utilise un assistant IA chaque semaine ? » — calibre les exemples. Annoncer la pause à mi-parcours.

Slide 3 — Partie A · L'ère des règles (1950s–1990s)

Durée : 3 min

Contenu :

• L'idée : écrire toutes les règles à la main
• Exemple : filtre anti-spam — « si l'email contient GRATUIT → spam »
• Échec : « GR4TUIT » passe. Les règles manuelles ne passent pas à l'échelle.

Visuel : organigramme si/alors dessiné façon « tableau blanc », avec un email « GR4TUIT !!! » qui traverse le filtre — croix cuivre sur le filtre.

Notes orateur : Insister : l'échec n'est pas l'intelligence des ingénieurs, c'est la combinatoire du réel. Chaque règle ajoutée crée des exceptions.

Slide 4 — L'apprentissage automatique classique (1990s–2010s)

Durée : 3 min

Contenu :

• Renversement : on montre des exemples, la machine découvre les règles
• ML = Machine Learning (apprentissage automatique)
• Le filtre apprend sur 100 000 emails étiquetés
• Limite : un humain choisit encore quoi observer (fréquence des mots, liens…)

Visuel : schéma en deux colonnes — « Avant : règles → programme » vs « Après : exemples → règles apprises ». Flèche de renversement en cuivre.

Notes orateur : C'est LE basculement philosophique de tout le domaine : de la programmation explicite à l'apprentissage par l'exemple. Tout le reste du cours en découle.

Slide 5 — L'apprentissage profond (2012–2017)

Durée : 3 min

Contenu :

• Deep learning (apprentissage profond) : le réseau apprend aussi quoi observer
• 2012 : AlexNet domine la compétition d'images ImageNet
• Mais pour le langage, deux verrous persistent :
  • les RNN (Recurrent Neural Networks, réseaux de neurones récurrents) lisent mot à mot → oubli des débuts de phrases longues
  • traitement séquentiel → impossible à paralléliser, entraînement lent

Visuel : chaîne de wagons (mots) lus un par un ; les premiers wagons s'estompent en gris (l'oubli). Un chronomètre cuivre symbolise la lenteur.

Notes orateur : Prendre 20 secondes sur la métaphore du wagon : quand le RNN arrive au mot 50, le mot 3 est dilué. Poser la question à la salle : « comment feriez-vous pour ne rien oublier ? » → transition naturelle.

Slide 6 — 2017 : « Attention Is All You Need »

Durée : 3 min

Contenu :

• Article de Google, 2017 — naissance du transformer
• Deux problèmes résolus d'un coup :
  1. Attention → chaque mot « regarde » tous les autres, même lointains
  2. Parallélisme → tout se calcule en même temps → exploitation massive des GPU (Graphics Processing Unit, processeur graphique)
• GPT = Generative Pre-trained Transformer (transformeur génératif pré-entraîné)

Visuel : couverture stylisée de l'article + schéma : tous les mots d'une phrase reliés entre eux par des arcs teal (attention), et une pile de GPU en dessous (parallélisme).

Notes orateur : Anecdote détente : aucun lien avec les robots du film — « transformer » = transformer une séquence en séquence. Claude, Gemini, Llama, Mistral : tous des transformers.

Slide 7 — À retenir (Partie A)

Durée : 1 min

Contenu :

Transformers = attention (mémoire longue) + parallélisme (passage à l'échelle matériel)

• Règles → exemples → caractéristiques apprises → attention : 70 ans de délégation croissante à la machine

Visuel : encadré teal clair plein écran avec la formule, liseré cuivre. Frise chronologique minimaliste en bas : 1950 · 1990 · 2012 · 2017.

Notes orateur : L'écrire aussi physiquement au tableau — on y reviendra en Partie D. Transition : « Quand vous tapez une phrase, quelle est la TOUTE première chose qui se passe ? Le modèle ne lit ni vos mots ni vos lettres… »

Slide 8 — Partie B · Qu'est-ce qu'un token ?

Durée : 3 min

Contenu :

• Le modèle découpe le texte en tokens : fragments de ~3–4 caractères en moyenne
• Ni des mots, ni des lettres
• Mots fréquents = 1 token · mots rares = plusieurs fragments
• Vocabulaire typique : ~100 000 fragments

Visuel : la phrase « L'intelligence artificielle transforme nos métiers. » découpée en blocs colorés arrondis (alternance teal/cuivre/encre sur fonds clairs) — reproduire le rendu de la Démo 1.

Notes orateur : Basculer immédiatement sur la page interactive (onglet Tokeniseur) et taper la phrase en direct. Le live vaut mieux que le slide.

Slide 9 — Pourquoi des tokens et pas des mots ?

Durée : 2 min

Contenu :

• Problème du vocabulaire : millions de mots, noms propres, fautes, néologismes — impossible de tout stocker
• Solution Lego : peu de briques, constructions infinies — « Schtroumpfissime » = assemblage de fragments connus
• Pourquoi pas des lettres ? Séquences trop longues (50 mots ≈ 300 lettres vs ~70 tokens) → trop d'étapes de calcul

Visuel : briques de Lego stylisées (rectangles arrondis) qui s'assemblent pour former un mot rare. Comparatif de longueur : trois barres (lettres / tokens / mots) avec le token en position « juste milieu » surligné teal.

Notes orateur : Le token est un compromis d'ingénierie : vocabulaire gérable × séquences courtes. Pas une vérité linguistique — un choix pratique.

Slide 10 — Le mystère « strawberry »

Durée : 4 min

Contenu :

• Question piège : « Combien de "r" dans strawberry ? » → erreurs fréquentes des modèles
• Le modèle voit : [str][aw][berry] — trois blocs opaques, jamais les 10 lettres
• Même cause : inverser un mot, épeler à l'envers, manipuler « REF-88472-XL-2024 »

Visuel : grand mot « strawberry » affiché deux fois : en haut lettre par lettre (vision humaine), en bas en 3 blocs verrouillés avec des cadenas (vision modèle). Flèche cuivre : « ce que vous voyez / ce qu'il voit ».

Notes orateur : MOMENT CLÉ de la session — faire la démo en direct si possible ; capture d'écran de secours prête. Si le modèle réussit : expliquer qu'il contourne en épelant d'abord (les modèles récents apprennent des stratégies ) — la limite structurelle demeure. Analogie : compter les « r » dans un mot écrit en caractères chinois.

Slide 11 — Conséquences pratiques des tokens

Durée : 2 min

Contenu :

• Facturation API : vous payez au token — le français coûte ~1,2 à 2× plus de tokens que l'anglais à contenu égal
• Fenêtre de contexte : consommée plus vite dans les langues « chères » en tokens
• Règle métier : précision au caractère près (références, comptages) → code classique, pas le modèle seul

Visuel : deux piles de pièces (anglais vs français) de hauteurs différentes, en cuivre. Icône fenêtre qui se remplit.

Notes orateur : C'est la première retombée « business » de la session — les responsables budget se réveillent ici. API = interface de programmation applicative (le rappeler à l'oral).

Slide 12 — Consigne Exercice 1 : Safari tokens

Durée : 1 min (lancement) + 10 min (exercice)

Contenu :

• Ouvrez la page interactive · onglet Tokeniseur
• Testez les 6 entrées de la feuille d'exercices, notez le nombre de tokens
• 8 min d'exploration + 2 min de mise en commun

Visuel : capture d'écran de la Démo 1 + les 6 entrées listées en teal clair.

Notes orateur : Circuler. Blocage typique : « je ne vois rien de spécial » → suggérer mots rares vs fréquents, nombres, fautes. Mise en commun : 2–3 découvertes surprenantes à l'oral.

Slide 13 — Partie C · Des tokens aux nombres : les embeddings

Durée : 3 min

Contenu :

• Les ordinateurs ne calculent que des nombres → chaque token devient un vecteur (liste de nombres)
• Exigence : la conversion doit préserver le sens
• Embedding = une adresse dans un espace de sens

Visuel : un token « chat » qui se transforme en colonne de nombres [0.21, -1.4, 0.88, …], puis en point sur une carte. Trois étapes reliées par des flèches teal.

Notes orateur : Lancer l'analogie de la carte : « chat » et « chien » voisins comme Lyon et Villeurbanne ; « chat » et « carburateur » aux antipodes.

Slide 14 — Un espace à mille dimensions

Durée : 2 min

Contenu :

• L'espace n'a pas 2 dimensions mais des centaines à milliers
• Chaque dimension capture une nuance : animé/inanimé, masculin/féminin, concret/abstrait, technique/quotidien…
• Personne ne place les mots à la main : les positions émergent de l'entraînement
• « On reconnaît un mot à ses fréquentations » (hypothèse distributionnelle)

Visuel : carte 2D avec 3 nuages étiquetés (animaux teal, couleurs cuivre, métiers encre) — reprendre la Démo 2. Mention en coin : « projection 2D d'un espace à ~1000 dimensions ».

Notes orateur : Basculer sur la Démo 2 : glisser la vue, survoler les points. Montrer « vétérinaire » entre métiers et animaux — appartenance multiple.

Slide 15 — L'arithmétique du sens : roi − homme + femme ≈ reine

Durée : 4 min

Contenu :

• Des nombres → on peut calculer sur le sens
• roi − homme + femme ≈ reine : la direction « masculin→féminin » est une flèche cohérente
• Paris − France + Italie ≈ Rome : « capitale de » est aussi une direction
• Résultat historique des embeddings de mots (word2vec, 2013) — l'intuition tient toujours dans les transformers (embeddings devenus contextuels)

Visuel : parallélogramme : quatre points (roi, reine, homme, femme), deux flèches cuivre parallèles homme→femme et roi→reine. Animation d'apparition des flèches (utiliser le bouton « Animer » de la Démo 2).

Notes orateur : Déclencher l'animation de la Démo 2 en direct. Insister : personne n'a programmé ça — la géométrie émerge des statistiques de co-occurrence.

Slide 16 — Application pro : la recherche sémantique

Durée : 3 min

Contenu :

• Documents ET questions convertis en embeddings → on cherche les vecteurs proches
• « problème de facturation » retrouve « anomalie de paiement » — zéro mot en commun
• Base du RAG (Retrieval-Augmented Generation, génération augmentée par récupération d'information) → session dédiée plus tard
• Limite : « avocat » (fruit ? métier ?) — un vecteur statique unique mélange les sens…

Visuel : schéma : question → point teal ; documents → nuage de points ; cercle de proximité en cuivre autour des documents retrouvés. En bas, le mot « avocat » écartelé entre et .

Notes orateur : Le point « avocat » est la transition scénarisée vers l'attention. Question à la salle : « comment trancher ? » → réponse après la pause. Annoncer : pause 5 min.

Slide 17 — Partie D · Le problème de l'ambiguïté

Durée : 3 min

Contenu :

• « L'avocat mange un avocat. » — même token, deux sens
• Le contexte tranche : « mange » → fruit ; position sujet → personne
• L'attention = le mécanisme qui formalise ce « regard vers le contexte »

Visuel : la phrase en gros ; du premier « avocat » part une flèche vers « L' » ; du second, des flèches vers « mange » — flèches d'épaisseur proportionnelle au poids d'attention.

Notes orateur : Reprendre l'énergie post-pause avec cette phrase amusante. La faire lire à voix haute par un participant.

Slide 18 — La mécanique de l'attention

Durée : 4 min

Contenu :

• Chaque token pose la question : « quels autres tokens précisent mon sens ici ? »
• Il distribue des poids d'attention (pourcentages d'importance) sur tous les autres
• Puis met à jour sa représentation en mélangeant les informations pertinentes
• En parallèle pour tous les tokens · sur des dizaines de couches successives

Visuel : un token central avec des faisceaux lumineux teal d'intensités différentes vers les autres tokens de la phrase — style « projecteur ». Petite pile de couches à droite (couche 1, 2, … n).

Notes orateur : NE PAS entrer dans Query/Key/Value ici. Si question experte : « voyez-moi à la pause ». Garder le projecteur comme image : l'attention est un faisceau à intensité variable.

Slide 19 — Le test du pronom

Durée : 3 min

Contenu :

• « Le trophée ne rentre pas dans la valise car il est trop grand. » → il = trophée
• Changez la fin : « …car elle est trop petite. » → elle = valise
• Résoudre « il/elle » = peser TOUT le contexte — exactement ce que l'attention calcule
• C'est ce que les architectures pré-2017 rataient sur les phrases longues

Visuel : carte de chaleur de la Démo 3 : ligne « il » avec case foncée sur « trophée ». Les deux variantes de la phrase côte à côte avec les liaisons inversées.

Notes orateur : Basculer sur la Démo 3 : cliquer sur « il », montrer la case sombre vers « trophée ». Puis charger la phrase 2 (l'avocat) et montrer que le MÊME mot reçoit des attentions différentes.

Slide 20 — La boucle est bouclée

Durée : 2 min

Contenu :

• Rappel Slide 7 : attention = mémoire longue · parallélisme = échelle
• Chaque token calcule son attention indépendamment → tout se parallélise → GPU exploités à fond
• Question honnête : compréhension ou calcul ? → des multiplications de matrices dont le résultat ressemble fonctionnellement à de la compréhension

Visuel : reprise du tableau de la Slide 7, maintenant « validé » avec deux coches cuivre. Petit encadré philosophique en italique en bas.

Notes orateur : Ne pas trancher le débat philosophique — le dire explicitement. Ce qui compte : le mécanisme est puissant, mesurable, et explique capacités ET limites.

Slide 21 — Consigne Exercice 2 : le jeu des analogies

Durée : 1 min (lancement) + 8 min (exercice)

Contenu :

• En binômes · 6 min + 2 min de correction
• Partie A : compléter 5 analogies A − B + C ≈ ? et nommer la direction
• Partie B : créer 2 analogies (dont 1 de votre métier)
• Partie C : la question piège de l'avocat

Visuel : exemple résolu en grand : Paris − France + Japon ≈ Tokyo avec la flèche « pays→capitale » en cuivre.

Notes orateur : Chrono visible. À la correction, faire verbaliser la DIRECTION à chaque fois — c'est la compétence visée. La partie C ramène vers l'attention : boucle pédagogique.

Slide 22 — Partie E · Pré-entraînement : l'université

Durée : 4 min

Contenu :

• Une seule tâche : prédire le token suivant — « Le chat dort sur le ___ »
• Sur des milliers de milliards de tokens de texte
• Pour bien prédire, le modèle DOIT absorber : grammaire, faits, styles, rudiments de raisonnement
• Résultat : très savant mais brut — il complète du texte, il ne « répond » pas
• Coût : dizaines à centaines de millions de dollars de calcul

Visuel : un chapeau de diplômé sur un cerveau stylisé teal ; en dessous, un texte à trous qui défile. Compteur de coût en cuivre avec .

Notes orateur : Insister sur le paradoxe : une tâche triviale × une échelle massive = des capacités générales. Le « diplômé brillant qui n'a jamais parlé à un client » prépare la slide suivante.

Slide 23 — Post-entraînement : l'école de finition

Durée : 4 min

Contenu :

• RLHF = Reinforcement Learning from Human Feedback (apprentissage par renforcement à partir de retours humains)
• Des annotateurs comparent des paires de réponses : « laquelle est la plus utile / honnête / sûre ? »
• Le modèle est ajusté vers les réponses préférées
• Transforme un moteur de complétion en assistant : ton, format, refus des demandes dangereuses

Visuel : deux bulles de réponse côte à côte, un pouce humain qui désigne la meilleure ; flèche de mise à jour vers le modèle. Style épuré teal/cuivre.

Notes orateur : Bien articuler l'acronyme RLHF en entier, en français — règle d'or du cours. Analogie : le savoir est déjà là, on apprend les manières et la déontologie.

Slide 24 — Fine-tuning : l'onboarding en entreprise + tableau récapitulatif

Durée : 3 min

Contenu :

• Fine-tuning (ajustement fin) : spécialiser un modèle déjà formé — vocabulaire maison, ton de marque, formats internes

Étape	Analogie	Ce qu'on apprend	Coût
Pré-entraînement	Université	Langue, faits, raisonnement	Très élevé
Post-entraînement (RLHF)	École de finition	Utilité, ton, sécurité	Moyen
Fine-tuning	Onboarding	Spécialisation métier	Faible

Visuel : le tableau en pleine largeur, lignes alternées teal clair / blanc, colonne « Analogie » avec pictogrammes ( / / ).

Notes orateur : Ce tableau est LE référentiel des sessions futures — inviter à le photographier. Question à anticiper : « peut-on fine-tuner from scratch ? » → non-sens économique pour 99,9 % des entreprises (cf. Exercice 3, scénario 1).

Slide 25 — L'inférence et le goulot mémoire

Durée : 4 min

Contenu :

• Inférence = utiliser le modèle entraîné (paramètres figés) : les tokens sortent un par un
• Contre-intuition : la vitesse est limitée par la bande passante mémoire, pas le calcul
• Chaque token généré = faire transiter TOUS les paramètres (dizaines à centaines de Go ) de la mémoire vers le calcul
• D'où : la course à la HBM (High Bandwidth Memory, mémoire à haute bande passante) · les petits modèles répondent plus vite

Visuel : le chef étoilé (calcul) qui attend la navette venant de l'entrepôt (mémoire) — illustration en 2 cases façon BD, navette en cuivre, chef en teal. Compteur « Go par token » avec .

Notes orateur : Question fréquente à traiter ici : « le modèle apprend-il de mes conversations ? » → Non pendant l'inférence (paramètres figés) ; la conversation vit dans la fenêtre de contexte ; la collecte pour de FUTURS entraînements dépend du fournisseur et des réglages — sujet gouvernance, session dédiée.

Slide 26 — Partie F · Les lois d'échelle

Durée : 3 min

Contenu :

• Constat empirique : performance = fonction régulière et prévisible de 3 ingrédients : données · calcul · paramètres
• On peut prédire la performance d'un modèle 10× plus gros AVANT de l'entraîner
• C'est ce qui justifie les investissements massifs : extrapolation de courbe, pas pari aveugle
• Analogie : les équations de résistance des matériaux pour les ponts

Visuel : graphique log-log stylisé : trois courbes lisses montantes (données/calcul/paramètres), zone d'extrapolation en pointillés cuivre avec un point « futur modèle » prédit.

Notes orateur : L'analogie du pont fonctionne bien : on ne construit pas un pont de 2 km « en espérant ». Les scaling laws sont les équations de résistance de l'IA.

Slide 27 — Lois d'échelle : les nuances

Durée : 2 min

Contenu :

• Les courbes prédisent une métrique statistique (qualité de prédiction), pas des capacités précises — certaines émergent par paliers
• Les 3 ingrédients doivent croître ensemble (leçon « Chinchilla », 2022) — un géant sous-alimenté en données = gaspillage
• Débat ouvert sur la poursuite des courbes ; autres axes explorés (ex. calcul à l'inférence)
• Plus gros ≠ toujours pertinent : plus lent, plus cher à l'inférence → le bon modèle = le plus petit qui atteint la qualité requise

Visuel : trois curseurs (données/calcul/paramètres) alignés = coche teal ; déséquilibrés = croix cuivre. Balance coût/qualité en bas.

Notes orateur : Relier à la slide 25 : rappeler la bande passante mémoire pour justifier « plus gros = plus lent ». Honnêteté intellectuelle : le paysage évolue vite, signaler les .

Slide 28 — La chaîne complète (synthèse)

Durée : 2 min

Contenu :

Texte → Tokens → Vecteurs (embeddings) → Attention → Prédiction du token suivant

• La session en une ligne. Chaque maillon explique des forces ET des limites :
  • Tokens → échecs de comptage de lettres, coûts par langue
  • Embeddings → recherche sémantique, analogies
  • Attention → désambiguïsation, mémoire longue
  • Prédiction → tout le pipeline d'entraînement

Visuel : reprendre la frise animée de la page interactive (section Récapitulatif) : 5 blocs teal clair reliés par des flèches cuivre, apparition en cascade.

Notes orateur : Faire réciter la chaîne par la salle, en chœur si l'ambiance le permet. C'est le livrable mental de la session.

Slide 29 — Quiz éclair & Exit Tickets

Durée : 5 min

Contenu :

• Quiz : 4–5 questions à main levée (sélection du quiz complet — 10 questions en autonomie)
• Exit Tickets : 5 questions écrites, 3 minutes, ramassées en sortant
• Sans note — uniquement pour ajuster la Session 2

Visuel : pictogrammes quiz (✓/✗) et ticket de sortie stylisé en cuivre.

Notes orateur : Choisir les questions du quiz selon les points faibles perçus pendant la session. Les Exit Tickets sont votre radar : les dépouiller AVANT de préparer la session 2.

Slide 30 — Prochaine session + ressources

Durée : 2 min

Contenu :

• Session 2 : l'art et la science du prompting — « Vous savez COMMENT la machine fonctionne. La prochaine fois : comment lui PARLER pour en tirer le maximum. »
• À faire d'ici là : Exercice 3 (triage consultant) si non fait en séance · rejouer avec la page interactive · quiz complet en autonomie
• Contact instructeur + accès aux supports

Visuel : fond encre comme la slide 1 (fermeture de la boucle visuelle), titre de la session 2 en teal, motif de tokens en arrière-plan.

Notes orateur : Finir à l'heure — c'est un signal de professionnalisme. Remercier. Rester 5 min pour les questions individuelles (dont les questions techniques reportées : Query/Key/Value…).

Récapitulatif du minutage

* La pause de 5 min se place après la slide 16 (fin Partie C). Marges intégrées : ±3 min absorbées par les exercices (voir plan B dans le guide professeur : Exercice 3 → devoir maison).

Slides — Applied AI, Niveau Intermédiaire, Session 1. © Yann Isola. Version 1.0.