3) Stratégies RAG qui comptent lors d'un Entretien ou d'un Audit

🎯 Pourquoi c’est clé en entretien

• Les mots rares/codes (réfs produit, IDs) sont mieux captés par BM25.
• Les paraphrases & synonymes → mieux via vecteur (ANN).
• L’hybride réduit les trous : robustesse ↑, surprises ↓.

🗺️ Script d’audit (questions à poser)

• Vos données contiennent-elles des références ou numéros critiques ?
• Exemples où la recherche actuelle rate des acronymes ?
• Souhaitez-vous filtrer par langue, produit, version ?
• Quelle latence cible p95 côté recherche ?

{"hybrid":{"alpha":0.7,"k_vec":50,"k_bm25":50,"k_out":20},
 "filters":["lang","product","version"]}

✅ Signaux verts | ⛔ Rouges

📏 KPI & plan 7 jours

• Hit@20 & nDCG@20 ↑ vs vecteur-seul (+10–20% typique).
• A/B 100 requêtes réelles (RH/IT/Produit).
• Review des 20 pires cas → ajuster α et filtres.

🧠 Idée simple à expliquer

On fait relire au modèle question×passage pour re-noter la pertinence. On ne garde que les 3–6 meilleurs → contexte plus propre, citations exactes.

{"rerank":{"model":"cross-encoder-base","k_in":20,"k_out":5,"timeout_ms":600,"batch":16}}

🧪 Questions d’audit

• Latency p95 cible ? ≤ 600 ms rerank recommandé.
• Besoin de citations très précises ?
• Volume req/jour → budget coût rerank acceptable ?

✅ Quick wins

• Batch 8–32 + parallélisme.
• Failover : si timeout → garder top-k brut.
• Limiter passage_len (512–1024 tok).

📏 Évaluer vite

• nDCG@k ↑, “exact citation” ↑.
• Analyse avant/après sur 50 questions.
• Surcoût mesuré (€/1000 req) & trade-off validé.

🧱 Règles pratiques

• Dedup strict (même phrase/source).
• Merge par section (H2/H3) pour cohérence.
• Ordre logique : Intro → Étapes → Exceptions → Liens.
• 3–6 passages max, budget 700–1000 tokens.

ctx = compress(merge_by_section(dedup(passages)), max_tokens=900)

🗺️ Entretien — à vérifier

• Faut-il toujours afficher les citations cliquables ? (oui)
• Faut-il résumer les morceaux avant assemblage ?
• Gérer multilingue : filtrer vs traduire ?

📦 Format sortie

{"context":[{"title":"SSO/Prerequis","url":"...#p3","text":"..."}],
 "must_cite": true, "language":"fr","style":"concise"}

✅ Signaux verts | ⛔ Rouges

✍️ Rewrite — règles

• Expansion d’acronymes (AD → Active Directory).
• Injecter filtres implicites (langue, produit, version).
• Supprimer le bruit (“urgent”, “stp”…).

{"rewrite":{"normalize_lang":true,
  "expand_acronyms":true,
  "inject_filters":["product","lang","version"]}}

🔪 Décomposition multi-hop

• Découper en 2–3 sous-questions séquentielles.
• Chaînage (retrieve → réponse partielle → retrieve).
• Composer la réponse finale + sources fusionnées.

# exemple
subs = decompose("Activer SSO Azure AD sur WebApp 4.2")
# → ["Prerequis SSO WebApp 4.2", "Configurer SSO Azure AD", "Tester SSO"]

🧪 Entretien — check

• Cas d’usage nécessitant multi-hop ? (procédures longues)
• Latence tolérée si décomposition ?
• Suivi des sous-requêtes (trace_id parent) ?

🎛️ Options

• Classifieur ML (RH / Produit / IT / Juridique).
• Règles par métadonnées (lang, conf, org, pays).
• Fallback multi-route (fusion top-k).

{"routing":{"collections":["kb_product","kb_rh","kb_it"],
 "policy":"ml+rules","fallback":"merge_topk"}}

🧪 Questions d’audit

• Combien de collections actives et leurs périmètres ?
• Quelle confidentialité par collection ?
• Erreurs de routage actuelles ? (exemples concrets)

✅ / ⛔

🧱 Principe & bénéfices

• Extraire des tables/JSON → champs clés normalisés.
• Réponse LLM = rédaction à partir de facts vérifiables.
• Meilleure factualité & calculs reproductibles.

{"extract":{"schema":{"incident":{"id":"str","sev":"int","date":"date","owner":"str"}}}}

🧪 Entretien — check

• Quels artefacts structurables ? (tableaux, KPIs, SLA)
• Besoin de calculs (moyennes, deltas) ?
• Qui valide le schéma (SME) ?

✅ / ⛔

🕒 Stratégie

• Méta last_updated au niveau doc & chunk.
• Filtres par date (ex. from_date=J-90).
• Re-index incrémental (watcher/stream).
• Version d’index → invalidation de cache.

{"filters":{"lang":"fr","product":"WebApp","from_date":"2025-01-01"},"k":16}

🧪 Entretien — check

• Sources avec fréquence de mise à jour élevée ?
• SLAs de fraicheur (ex. < 24h) ?
• Fenêtres de ré-indexation & budget compute ?

✅ / ⛔

📏 Jeux & métriques

• Golden set (question → doc(s) cibles).
• Métriques : Hit@k, nDCG@k, Faithfulness, Context Precision, Answer Relevancy, Citation rate.
• Feedback humain (👍/👎 + commentaire).

{"eval":{"schedule":"daily","dataset":"golden_v3.jsonl",
 "metrics":["hit@10","ndcg@10","faithfulness","citation_rate"],
 "alerting":{"slack":"#rag-alerts",
             "thresholds":{"hit@10":0.8,"lat_p95_ms":3500}}}}

🛠️ Audit — questions clés

• Qui maintient le golden set ? (propriétaire, fréquence)
• Où sont stockés les résultats (séries temporelles) ?
• Quelles actions automatiques si régression ?

🔁 Boucles d’amélioration

• Tuning : α hybride, k, rerank, chunking, prompts.
• Ajout de sources manquantes (lacunes détectées).
• Retrain reranker si dérive des domaines.