# Guide du formateur — Niveau Avancé, Session 10 # « Examen blanc & projet final » **Programme :** Applied AI — Yann Isola **Public :** Architectes solutions préparant la certification *Claude Certified Architect* **Durée :** 2 h 00 (structure serrée : 45 min examen blanc + 45 min soutenances + 30 min rétrospective) **Prérequis :** Sessions 1 à 9 du niveau avancé — **cette session est le capstone** (capstone = projet de synthèse final) : aucune notion nouvelle, uniquement de la validation et de la consolidation. **Matériel :** page web interactive (`webpage/index.html` — simulateur d'examen complet 30 questions/45 min, tableau de bord de préparation avec radar des 5 domaines, carte du parcours des 10 sessions), `quiz/quiz.md` (version papier de l'examen blanc avec corrections commentées), `exercises/exercises.md` (grille /100 du projet final + 3 défis d'échauffement), chronomètre visible, projecteur, une grille d'évaluation imprimée par soutenance. --- ## Positionnement de la session C'est la dernière séance du parcours avancé et elle a trois fonctions distinctes qu'il ne faut pas laisser se mélanger : 1. **Certifier la préparation** — l'examen blanc en conditions réelles donne à chacun une mesure honnête : prêt, presque prêt, ou pas prêt. Le rôle du formateur est de rendre cette mesure **exploitable** (diagnostic par domaine, plan de révision), pas de rassurer. 2. **Faire aboutir le projet final** — chaque participant a conçu au fil du parcours l'architecture complète d'un système IA réel. Aujourd'hui il la **défend** devant le groupe. C'est l'exercice le plus proche du métier réel : convaincre des pairs qu'une architecture tient debout. 3. **Fermer la boucle** — la rétrospective relie les 10 sessions en un système cohérent et trace la suite : réservation d'examen, veille, pratique continue. > ⚠ **Convention :** tous les chiffres marqués ⚠ (format d'examen : 60 questions, 90 minutes, seuil 720/1000 ≈ 72 % ; pondérations : 27/18/20/20/15 % ; tarifs, durées de cache, drapeaux CLI) sont **volatils**. Dernier réflexe à installer avant de se quitter : *on vérifie la source officielle avant de réserver, avant de chiffrer, avant d'affirmer.* --- ## Plan minuté | Bloc | Durée | Contenu | |------|-------|---------| | 0. Ouverture & consignes d'examen | 5 min | Règles de l'examen blanc, rappel de la méthode de gestion du temps | | 1. **EXAMEN BLANC** | 45 min | 30 questions chronométrées, conditions réelles, via le simulateur web (ou papier) | | 2. Correction éclair & diagnostic | 10 min | Score par domaine, lecture du radar, identification des zones rouges | | 3. **SOUTENANCES DU PROJET FINAL** | 45 min | 5 à 7 soutenances de 6 min (4 min présentation + 2 min questions), évaluation croisée | | 4. Rétrospective du parcours | 12 min | Carte des 10 sessions, les 10 réflexes d'architecte, ce qui change en production | | 5. Auto-évaluation de préparation & plan | 8 min | Tableau de bord de préparation, décision individuelle : réserver ou réviser | | 6. Clôture | 5 min | Logistique de certification, ressources de veille, mot de fin | **Arbitrage de temps :** si le groupe dépasse 7 participants, réduire les soutenances à 5 min (3 + 2) et annoncer la contrainte dès l'ouverture. Ne **jamais** rogner sur les 45 min d'examen : la valeur diagnostique exige les conditions réelles. --- ## Bloc 0 — Ouverture & consignes d'examen (5 min) **Message d'accroche :** « Dix sessions. Aujourd'hui, on ne rajoute rien — on vérifie que tout tient. D'abord seul face à 30 questions, comme le jour J. Ensuite debout, à défendre votre architecture devant vos pairs. À la fin de la séance, chacun sait s'il réserve son examen ou ce qu'il révise d'abord. » ### Consignes d'examen blanc (projeter) 1. **30 questions, 45 minutes** — même rythme que l'examen réel : 90 s/question en moyenne ⚠. 2. **Aucune documentation, aucune IA** — le jour J vous serez seuls. 3. **Répondre à tout** — aucune pénalité pour erreur ⚠ : une case vide est un point offert au hasard qu'on refuse. 4. **Méthode des deux passages** : premier passage rapide (répondre à tout ce qui est sûr, marquer les douteuses), second passage sur les marquées. Le simulateur web a un bouton « marquer pour révision » qui reproduit ce mécanisme. 5. **Grille de lecture des QCM** (rappel de la session 9) : identifier la *cause racine* du problème décrit → chercher la réponse de *moindre effort* qui la traite → vérifier si l'énoncé exige une *garantie* (mécanisme programmatique) ou accepte une *consigne* (instruction au modèle). Trois distracteurs sur quatre tombent à cette grille. **Logistique :** chaque participant ouvre `webpage/index.html`, onglet « Examen blanc », et lance le chronomètre en même temps que tous. À défaut de machines, distribuer le quiz papier (sans la section corrections !) et chronométrer au tableau. --- ## Bloc 1 — Examen blanc (45 min) Le formateur **ne circule pas** et **ne répond à aucune question de fond** — conditions réelles. Trois interventions autorisées uniquement : - Annonce du temps restant à **20 min**, **10 min**, **2 min**. - Panne technique (basculer le participant sur la version papier). - Rappel de la consigne « répondez à tout » à 2 min de la fin. **Pendant l'examen, le formateur prépare le bloc 3 :** ordre de passage des soutenances (tirage ou volontariat noté au tableau), grilles d'évaluation distribuées face cachée. ### Répartition des questions (pour information du formateur) | Domaine | Poids examen ⚠ | Questions | Sessions du parcours couvertes | |---|---|---|---| | D1 Architecture & orchestration | 27 % | Q1–Q8 | S3 (Agent SDK), S4 (multi-agents) | | D2 Outils & MCP | 18 % | Q9–Q13 | S2 (tool use), S5 (MCP) | | D3 Claude Code | 20 % | Q14–Q19 | S6 (Claude Code & CI/CD) | | D4 Prompt engineering & sortie structurée | 20 % | Q20–Q25 | S1 (API), S7 (prompt engineering) | | D5 Contexte & fiabilité | 15 % | Q26–Q30 | S8 (contexte, fiabilité, provenance) | --- ## Bloc 2 — Correction éclair & diagnostic (10 min) Le simulateur corrige automatiquement et affiche : score global, **score par domaine**, et un radar à 5 axes. En papier : auto-correction avec la grille rapide de `quiz.md` (2 min), calcul par domaine à la main. **Ne PAS corriger les 30 questions une à une** — il n'y a pas le temps et le mode révision du simulateur (explication détaillée par question) est fait pour le travail individuel post-séance. **À la place, corriger 3 questions choisies stratégiquement :** 1. **La plus échouée du groupe** (le simulateur ne remonte pas les stats de groupe : demander à main levée sur 4–5 questions que vous soupçonnez — typiquement Q20 prefill, Q27 cache, Q8 workflow/agent). 2. **Une question « consigne vs garantie »** (Q18 ou Q28) — c'est LA distinction que l'examen teste sous dix déguisements. 3. **Une question « moindre effort »** (Q9 ou Q4) — le distracteur « passer à un modèle plus puissant » ou « déployer un agent complet » piège ceux qui n'ont pas le réflexe d'économie architecturale. **Lecture du score (projeter le barème d'interprétation de `quiz.md`) :** - **27–30** → réserver l'examen, réviser seulement les domaines < 80 %. - **22–26** → au seuil, marge insuffisante : une semaine ciblée + second blanc. - **17–21** → reprendre les sessions des domaines < 60 %, refaire les **exercices pratiques**. - **< 17** → ne pas réserver ; reprise structurée, pratique API réelle avant tout. **Point d'insistance :** un domaine < 60 % est une zone rouge **même avec un bon score global**. L'examen pondère : D1 à 27 % effondré n'est pas rattrapable par D5 à 15 % parfait. --- ## Bloc 3 — Soutenances du projet final (45 min) ### Le format Chaque participant présente **l'architecture complète d'un système IA réel** conçue au fil du parcours (consigne donnée en session 4, jalonnée depuis). Format strict : - **4 min de présentation** — problème métier, architecture (schéma obligatoire), justification des choix, stratégie de fiabilité, coûts. - **2 min de questions** — le groupe + le formateur. Une question difficile minimum par soutenance (le formateur la pose si le groupe est tendre). - **Chronomètre visible et impitoyable** — savoir tenir 4 minutes est une compétence d'architecte. ### La grille d'évaluation (/100 — détail complet dans `exercises/exercises.md`) | Critère | Points | |---|---| | 1. Problème & cadrage métier | 15 | | 2. Architecture & justification des choix | 30 | | 3. Conception des outils & intégrations | 15 | | 4. Fiabilité, sécurité & supervision humaine | 20 | | 5. Coûts, évaluation & exploitation | 10 | | 6. Clarté de la soutenance | 10 | **Évaluation croisée :** chaque participant note **deux** pairs sur la grille (assignés par le formateur pour couvrir tout le monde), le formateur note tout le monde. La note indicative = moyenne. L'objectif n'est pas la note : c'est d'obliger chacun à **écouter en évaluateur**, c'est-à-dire en architecte qui challenge. ### Les questions qui départagent (banque du formateur) Poser au moins une question de ce calibre par soutenance : 1. « Ton orchestrateur tombe en panne à 3 h du matin. Qu'est-ce que l'utilisateur voit, et qu'est-ce que ton système fait tout seul ? » 2. « Pourquoi un agent ici, et pas un workflow à étapes fixes ? Qu'est-ce qui est *imprévisible* dans le chemin ? » 3. « Montre-moi le point exact où un humain approuve. Pourquoi là et pas ailleurs ? » 4. « Ce prompt système fait 2 000 tokens et part à chaque requête. Combien ça coûte par mois à ton volume ? As-tu prévu le cache de prompt ? » 5. « Comment sauras-tu que la qualité a baissé *avant* que les utilisateurs se plaignent ? » 6. « Quelle est la pire chose qu'un utilisateur malveillant peut faire dire ou faire à ton système ? » 7. « Si Anthropic change le comportement de [fonctionnalité volatile utilisée], comment ton système le détecte-t-il ? » **Ce qu'on veut entendre :** des réponses qui distinguent consigne/garantie, qui chiffrent, qui admettent les limites (« ce cas n'est pas couvert, voici pourquoi c'est acceptable »). **Drapeau rouge :** « le modèle est intelligent, il gérera » — sanctionner systématiquement cette réponse dans la grille (critère 4). ### Gestion des groupes - **≤ 5 participants :** format confortable 6 min + discussion collective de 2 min supplémentaires par projet. - **6–7 :** format nominal. - **> 7 :** 5 min par soutenance (3 + 2) OU sessions en binômes évaluateurs parallèles avec restitution des 2 meilleures architectures en plénière. Annoncer le format dès le bloc 0. --- ## Bloc 4 — Rétrospective du parcours (12 min) Utiliser l'onglet « Parcours » de la page web : carte interactive des 10 sessions avec leurs concepts clés et leurs connexions. ### Le fil de la rétrospective (dérouler à l'oral, appuyé sur la carte) | Session | Ce qu'on a construit | Le réflexe qui reste | |---|---|---| | S1 — Claude API en profondeur | Appels bruts, paramètres, streaming, vision | *L'API est sans état ; tout ce que le modèle « sait », c'est vous qui l'avez mis dans le contexte.* | | S2 — Tool use avancé | Schémas, orchestration d'appels, erreurs d'outils | *La description d'outil est un prompt. L'erreur d'outil est une donnée de raisonnement.* | | S3 — Agent SDK | Boucles agentiques, sessions, état | *Workflow si le chemin est connu, agent s'il dépend des découvertes.* | | S4 — Architecture multi-agents | Orchestrateur, sous-agents, consensus, routage | *On découpe pour isoler les contextes, pas pour faire joli sur un schéma.* | | S5 — MCP en profondeur | Serveurs, outils/ressources/prompts, transports | *MCP standardise la connexion ; la qualité des descriptions reste votre travail.* | | S6 — Claude Code & CI/CD | CLAUDE.md, commandes slash, headless, permissions | *CLAUDE.md est une consigne ; settings.json est une garantie.* | | S7 — Prompt engineering avancé | CoT, few-shot, prefill, chaînes, évals | *Un prompt est un composant logiciel : versionné, testé, mesuré.* | | S8 — Contexte, fiabilité & provenance | Compaction, cache, hallucinations, traçabilité | *Le contexte est une ressource gérée. La confiance se journalise.* | | S9 — Scénarios de certification | Grille de lecture, 8 scénarios, plan de révision | *Penser comme l'auteur de la question : cause racine, moindre effort, garantie.* | | S10 — Capstone | Examen blanc, projet défendu | *Une architecture qu'on ne peut pas défendre en 4 minutes n'est pas comprise.* | ### Les 3 méta-leçons (à faire formuler par le groupe avant de les projeter) Demander : « Si vous ne deviez retenir que trois principes transverses de tout le parcours ? » Laisser 2 min d'échange, puis projeter : 1. **Consigne ≠ garantie.** Un prompt demande ; le code impose. Tout ce qui est critique (permissions, validation de schéma, approbation humaine, vérification de citations) doit être appliqué par du programme. 2. **Le moindre effort architectural.** Un appel avant une chaîne ; une chaîne avant un agent ; un agent avant du multi-agents. Chaque étage se paie en coût, latence et débogage — on n'y monte que si l'étage du dessous a prouvé son insuffisance. 3. **Mesurer avant de croire.** Évals automatisées, golden sets, scores par domaine, logs de provenance : l'intuition initie, la mesure décide. Ça vaut pour les prompts comme pour votre propre préparation à l'examen. --- ## Bloc 5 — Auto-évaluation de préparation & plan individuel (8 min) Chacun ouvre l'onglet « Préparation » de la page web : auto-évaluation sur les 5 domaines (5 affirmations par domaine, échelle « je sais le faire / à consolider / à reprendre »), croisée avec le score de l'examen blanc → radar de préparation + recommandation. **Consigne :** remplir honnêtement, seul, en 5 min. La page génère un plan de révision priorisé par pondération d'examen (un domaine faible à 27 % passe avant un domaine faible à 15 %). **Décision individuelle à formuler par écrit avant de partir** (une ligne) : - « Je réserve l'examen pour la semaine du ___ » **ou** - « Je révise [domaines] pendant ___ semaines, second examen blanc le ___, puis je réserve. » Le formateur relève ces engagements — c'est la seule « évaluation » du bloc, et elle conditionne le suivi post-formation. --- ## Bloc 6 — Clôture (5 min) ### Logistique de certification (projeter, tout est volatil ⚠) - Vérifier sur la page officielle Anthropic : format courant, prix, langues disponibles, modalités (en ligne surveillé / centre), politique de repassage. - Réserver un créneau **matinal** si possible ; prévoir 15 min de marge technique pour la surveillance en ligne. - La veille : relire uniquement ses fiches de réflexes (pas de nouveau contenu), refaire 10 questions du simulateur pour se remettre en rythme. ### Continuer après le parcours 1. **Pratique > lecture** — un projet personnel avec de vrais appels API par semaine maintient le niveau ; la lecture seule le fait décroître. 2. **Veille structurée** — changelog de l'API Anthropic, notes de version de Claude Code, spécification MCP : trois sources, une revue mensuelle. Tout ce qui porte ⚠ dans vos notes provient de là. 3. **La communauté** — partager ses architectures et les faire challenger : la soutenance d'aujourd'hui était un entraînement à un exercice permanent du métier. ### Mot de fin (suggestion) « Vous êtes entrés dans ce parcours en sachant utiliser un modèle. Vous en sortez en sachant concevoir des *systèmes* : découpés, outillés, mesurés, gouvernés. La certification validera ce que vous savez — mais ce que vous avez défendu aujourd'hui devant le groupe, personne n'a besoin de le certifier : c'était déjà du travail d'architecte. Allez réserver cet examen. » --- ## Annexes formateur ### A. Barème de correspondance examen blanc → examen réel Le blanc fait 30 questions là où l'examen en fait 60 ⚠ : la variance est plus élevée. Règle prudente : considérer l'intervalle **score ± 2 questions** avant de conclure. Un 23/30 est « 21 à 25 », donc à cheval sur le seuil → recommander la semaine de consolidation. ### B. Pièges de dernière minute à rappeler si le temps le permet 1. Les questions « TOUS les choix semblent vrais » → relire la question : elle demande souvent le **premier** geste, le **plus** efficace, ou le levier **principal** — un superlatif change la réponse. 2. Le distracteur « température 0 supprime les hallucinations » (faux : reproductible ≠ vrai). 3. Le distracteur « --dangerously-skip-permissions en CI » (jamais la bonne réponse dans un contexte automatisé non contrôlé). 4. Le distracteur « le prompt système garantit » (consigne ≠ garantie, toujours). 5. Les chiffres exacts (durées de cache, tarifs, limites) : l'examen teste les **ordres de grandeur et les mécanismes**, pas la gazette tarifaire — mais vérifier la documentation la semaine de l'examen ⚠. ### C. Si un participant échoue lourdement au blanc (< 15/30) Prendre 3 min en aparté après la séance. Diagnostic type : (a) manque de pratique API réelle → prescrire les exercices pratiques des sessions 1–3 avec de vrais appels ; (b) lecture trop rapide des énoncés → prescrire la méthode des deux passages avec 2 min/question en entraînement ; (c) confusion des domaines D1/D2 → refaire la session 4 puis la 5, dans cet ordre. Ne jamais laisser partir quelqu'un sans plan concret.