❓ Quiz — advanced/session-07

Q1 — Quand le Chain of Thought nuit

Une équipe ajoute « Réfléchis étape par étape » à un prompt qui copie verbatim un numéro d’IBAN (IBAN = International Bank Account Number) depuis un document. L’exactitude baisse. Quelle est l’explication la plus probable ?

A Le CoT augmente la température effective du modèle B Le modèle « sur-raisonne » et paraphrase au lieu de copier ; le CoT est contre-productif sur l’extraction verbatim C Le CoT n’a aucun effet possible sur l’exactitude, le problème vient d’ailleurs D Le CoT dépasse le budget max_tokens, tronquant systématiquement l’IBAN

Q2 — Conception d'un jeu few-shot

Vous disposez d’un budget de 6 exemples few-shot pour une classification. Quelle composition maximise la fiabilité ?

A 6 exemples du cas le plus fréquent en production, pour coller à la distribution réelle B 6 exemples couvrant chacun une classe différente, tous parfaitement nominaux C 1-2 cas nominaux, 2-3 cas limites ambigus, 1 cas hors-périmètre/refus, en variant les attributs de surface D Le maximum d’exemples possible : la fiabilité croît linéairement avec leur nombre

Q3 — Prefilling : comportement API exact

Vous envoyez {"role": "assistant", "content": "<resultat>"} en dernier message avec stop_sequences: ["</resultat>"]. Le modèle génère 42</resultat>…. Que contient response.content et que vaut stop_reason ?

A <resultat>42</resultat> — stop_reason: "end_turn" B 42 — stop_reason: "stop_sequence" C <resultat>42 — stop_reason: "stop_sequence" D 42</resultat> — stop_reason: "stop_sequence"

Q4 — Piège prefill

Lequel de ces prefills provoque une erreur API ?

A {"role": "assistant", "content": "{"} B {"role": "assistant", "content": "Voici l'analyse : "} C {"role": "assistant", "content": "[ANALYSTE]"} D {"role": "assistant", "content": "<reponse>"}

Q5 — Contexte long : placement des instructions

Prompt de 80 000 tokens : trois contrats en pièces jointes et une consigne d’analyse critique. Quel placement maximise le respect de la consigne ?

A Consigne au début uniquement — le modèle lit dans l’ordre B Consigne au milieu, entre les documents, au plus près des données C Documents balisés en XML au début ; consigne critique énoncée au début et répétée à la fin D Peu importe : l’attention est uniforme sur toute la fenêtre de contexte

Q6 — Exemples vs instructions

Un prompt système exige « réponds uniquement en JSON », mais deux des cinq exemples few-shot contiennent une phrase d’explication avant le JSON. En production, le modèle ajoute souvent une phrase avant son JSON. Quel diagnostic ?

A Bug du modèle : les instructions système priment toujours sur les exemples B Température trop élevée : la baisser à 0 suffira C Conflit exemples/instructions : le modèle imite les exemples, qui l’emportent souvent sur l’instruction contraire — corriger les exemples D Il faut ajouter « TRÈS IMPORTANT » devant l’instruction JSON

Q7 — Patron de production canonique

Dans le patron classification → routage → génération spécialisée → validation, quelle affirmation est correcte ?

A Le routage doit être confié à un appel LLM dédié pour plus de flexibilité B Le routage est du code déterministe (switch sur la sortie structurée de la classification) ; on ne paie pas un modèle pour un if C La validation doit toujours être un LLM juge, jamais des règles programmatiques D La classification et la génération doivent impérativement utiliser le même modèle pour garantir la cohérence

Q8 — Negative prompting

Pourquoi « Si une information manque, utilise la valeur “inconnu” » est-il plus fiable que « N’invente jamais d’informations » seul ?

A Les modèles ne comprennent pas la négation grammaticale française B L’instruction négative décrit un vide sans définir le comportement de remplacement ; l’instruction positive spécifie exactement quoi faire dans le cas problématique C Les instructions négatives sont ignorées par le prompt système, elles ne fonctionnent qu’en message utilisateur D Aucune différence mesurable : c’est une préférence stylistique

Q9 — Température et Chain of Thought

Pour un pipeline d’extraction avec CoT structuré, quel réglage de température et pourquoi ? Et dans quel cas ferait-on volontairement l’inverse ?

A Température élevée toujours : le CoT a besoin de créativité pour explorer B Température basse (souvent 0) pour des chemins de raisonnement reproductibles ; l’inverse — échantillonner plusieurs CoT à température plus élevée puis vote majoritaire (self-consistency) — se réserve aux décisions critiques car coûteux C La température n’a aucun effet quand un CoT est présent dans le prompt D Température 0 rend le CoT inutile puisque le modèle devient déterministe

Q10 — Le prompt système « contrat »

Un prompt système de production pour un agent de tri de tickets doit, au minimum, contenir quatre clauses. Lesquelles ?

A Persona détaillée, historique de l’entreprise, exemples de tickets, signature B Règles explicites (périmètre, sources), format de sortie exact, politique de refus avec formulation imposée, déclencheurs d’escalade vers l’humain C Température, max_tokens, stop_sequences, nom du modèle D Instructions positives uniquement — toute mention de refus dégrade les performances

Quiz — Niveau Avancé, Session 7

« Prompt engineering avancé »