Benchmarks & Datasets

Typologie

• Passage retrieval : MS MARCO, Natural Questions, SQuAD.
• Multi-hop : HotpotQA, 2WikiMultihopQA.
• Domaines : FiQA (finance), BioASQ (biomédical), LegalBench QA.

RAG-aware

• Inclure passages, **citations** obligatoires, IDs source + ancre.
• Évaluer retrieval (P@k/R@k), réponse (EM/F1) & groundedness.

Schéma d’item (ex.)

{
 "qid":"q-123",
 "question":"...",
 "gold_docs":["D12#p4","D44#p2"],
 "answer_ref":"...",
 "neg_docs":["D99#p3"],
 "meta":{"domain":"finance","lang":"fr"}
}

Pièges

• Fuites d’entraînement (contamination) → tester n-gram overlap, hash.
• Passages ambigus → exiger des **citations** exactes.

Multilingue

• Coverage langues (FLORES-200), parité FR/EN pour cas d’usage locaux.
• Métriques : BLEU/chrF, **Win-rate** en éval humaine bilingue.

Multimodal

• MMBench/MMMU : QA visuel + texte, grounding par bounding boxes (si dispo).
• Métriques : exact match, VQA-Score, caption CIDEr/BLEU.

Stratégies

• Échantillonnage **stratifié** par langue/modalité.
• Éviter biais culturels → reviewers locaux.

Benchmarks

• HumanEval/MBPP : pass@1/3/10, exécution sandbox.
• GSM8K/MATH : précision étape-par-étape (chain-of-thought notée).

Pass@k (rappel)

pass@k = 1 - prod_{i=1..n} ((n - c_i) choose k) / (n choose k)

Avec génération multi-échantillons contrôlée (temp/top-p).

Sandbox

• Temps CPU, mémoire, interdiction I/O & net.
• Diff énoncés/solutions pour éviter mémorisation.

Jeux typiques

• ToxicityBench, RealToxicityPrompts (offense/harassment).
• BBQ/HolisticBias (stéréotypes, fairness).
• AdvBench/Jailbreak (prompt injection & contournements).

Décisions

• Strict mode : REJECT si tox/illégal/jailbreak réussi.
• Gracieux : SANITIZE + explication.

Métriques

• Toxicity rate, Harmful completion rate, Bias gap.
• False Positives/Negatives des détecteurs.

Long-context

• LongBench, Needle-in-a-haystack (position randomisée).
• Metrics : Recall@k, Faithfulness, “needle success”.

Agents

• WebArena/BrowserBench : navigation & outils (tool-usage rate).
• KPIs : task success, steps, tool precision, cost/answer, P95.

Anti-leak

• Variantes paraphrasées, permutations documents/ordres.
• Seeds/versions fixées pour reproductibilité.

Classiques

• Accuracy / EM / F1, Rouge-L, BLEU/SacreBLEU, chrF, BERTScore.
• Win-rate (pairwise), Human-score (Likert 1–5).

RAG & fiabilité

• Groundedness (0–1), Citation coverage (% réponses citées).
• Retrieval : Precision@k / Recall@k / nDCG.

Prod & coûts

• Latency P95, Cost/answer (tokens/API/$), Error-rate.
• Stabilité (drift), Robustesse (timeouts/erreurs API).

Data cards (schéma)

{
 "name":"HotpotQA", "version":"1.1", "license":"CC BY-SA",
 "language":"en", "domain":"general", "split":{"train":...,"dev":...,"test":...},
 "pii":"none", "citation":"...", "source":"...", "known_issues":"..."
}

Contamination

• Dédup (MinHash/LSH/SimHash), n-gram overlap contre corpus d’entraînement.
• Perplexity filters, URL/provenance tracking.

PII & licences

• Scan regex/NER (emails, IP, CB, clés API).
• Respect licences (CC, ODC, copyright) + consentement.