Challenge 01 - Brevet AI Business Specialist
Atelier PoC RAG Assortiment
S'entraîner à vérifier un PoC RAG comme le jour de l'examen, avec un LLM local gratuit, sur les mêmes données que la maquette de Philippe.
Deux versions, mêmes données
Version Philippe (Swagger brut)
Les endpoints nus, exactement comme le jour J de l'examen. Tu lances les requêtes à la main et tu lis les réponses brutes, sans aide.
Ouvrir le SwaggerVersion améliorée (cockpit guidé)
Question par question, exécution en un clic, lecture guidée et erreurs du LLM expliquées au moment où elles arrivent.
Ouvrir le cockpitCe que tu vas pratiquer
Six questions, deux familles. Les trois premières se vérifient à l'œil dans la base. Les trois suivantes passent par le LLM, qui traduit ta phrase en requête et se trompe.
Lecture directe (la base dit la vérité)
- Q1 Combien de catégories ? On lit la liste et on compte soi-même.
- Q2 Produit le plus cher ? On repère le prix maximum à l'œil.
- Q3 Catégorie qui a le plus de produits ? On lit le compteur.
Le LLM traduit, et se trompe
- Q4 Le mot "berries" sur le LLM : la réponse a l'air sûre mais sort des agrumes au lieu de baies.
- Q5 Ce qui manque au prompt pour lever l'ambiguïté, et comment le corriger.
- Q6 "Show me the details of bananas." : le LLM invente une table qui n'existe pas, la base refuse.
Les trois façons d'échouer
- Fausse silencieuse (Q4) La réponse a l'air juste et reste fausse. Rien ne le signale - c'est le pire des cas.
- Erreur dure (Q6) Une table ou une colonne hallucinée, la base refuse. Au moins c'est visible.
- Instabilité Le même prompt donne un résultat différent à chaque exécution.
Les preuves du jour J
Les deux vraies réponses capturées le jour de l'examen : la réponse fluide et fausse sur les baies, et l'erreur de table inventée sur les bananes. À voir avant de refaire l'exercice.
Voir les preuves du jour JLe cours
La leçon d'ensemble : pourquoi le label "PoC RAG" cache un mécanisme text-to-SQL non déterministe, et la méthode pour vérifier une réponse plutôt que la croire.
Lire le coursComment ça marche : un seul serveur FastAPI sert tout, sur les données d'un grossiste en fruits et légumes (fruits, baies, agrumes, légumes). Le LLM tourne en local via Ollama, sans clé API et sans coût.