Module 4 — Pipelines RAG avec Qdrant et MySQL
Implémentez un pipeline de génération augmentée par récupération (RAG) de niveau industriel : générez des embeddings vectoriels haute dimension et partitionnez vos documents. Indexez vos connaissances dans Qdrant et MySQL, puis pilotez une recherche sémantique ultra-précise avec Google Gemini.
Pourquoi avons-nous besoin du RAG ?
Comprendre les limites des LLMs purs (hallucinations, obsolescence) et découvrir l'architecture RAG reliant recherche documentaire et génération ancrée.
Pourquoi utiliser deux systèmes de stockage complémentaires ?
Analyser la complémentarité entre base relationnelle SQL (MySQL/ACID) et base vectorielle (Qdrant) pour la persistance documentaire et sémantique.
Transformer un texte en vecteur numérique avec Gemini
Maîtriser le modèle text-embedding-004, comprendre les vecteurs denses, la dimensionnalité sémantique et calculer la similarité cosinus.
Extraction de texte et segmentation en fragments (Chunking)
Concevoir des pipelines d'extraction et implémenter des stratégies de découpage (taille fixe, overlap, délimiteurs sémantiques) avec métadonnées.
Découvrir Qdrant et configurer une collection vectorielle
Installer Qdrant via Docker, initialiser une collection de vecteurs à 768 dimensions et configurer les paramètres de distance cosinus et d’index HNSW.
Concevoir les tables MySQL et insérer les points dans Qdrant
Créer le schéma relationnel de traçabilité dans MySQL et insérer de manière atomique les points vectoriels avec métadonnées dans Qdrant.
Orchestrer l'indexation complète et gérer la résilience
Assembler le pipeline complet d'ingestion documentaire, gérer le hachage SHA-256 pour éviter les doublons et traiter les erreurs de vectorisation.
Effectuer une recherche de similarité et filtrer par utilisateur
Exécuter des requêtes de recherche vectorielle k-NN sur Qdrant avec filtrage strict par métadonnées (droits d’accès et utilisateur).
Faire le lien entre les points Qdrant et les textes MySQL
Implémenter la réconciliation en temps constant entre les identifiants vectoriels Qdrant et les fragments textuels bruts stockés dans MySQL.
Construire le prompt RAG et générer des réponses ancrées
Assembler le prompt RAG avec consignes de référence strictes, citations de sources et élimination préventive des hallucinations du modèle Gemini.
Endpoints Express, validation Zod et tests Postman
Exposer l'API REST de questions-réponses RAG avec validation Zod, streaming HTTP, gestion d'erreurs et collection Postman de validation.
Recherche hybride, reranking, injection indirecte et optimisation
Déployer la recherche hybride (dense + sparse), le reclassement sémantique (reranking) et durcir la sécurité contre les injections de prompt indirectes.
Projet de synthèse — Assistant documentaire intelligent
Construire de bout en bout un assistant d'entreprise capable d'ingérer des documents techniques et de répondre avec citations vérifiables.
Évaluation, bilan du RAG & Annexes
Valider l’ensemble des compétences RAG à travers un quiz d’évaluation approfondi, une checklist de production et les annexes techniques.