Mistral – 🧠 Briques cœur du LLM

Comparatif tokenizer (indicatif)

Anti-patterns

• Changer de tokenizer en prod sans migration d’index RAG.
• Vocab énorme (VRAM↑) sans ROI.
• Mélanger plusieurs tokenizers sur un même flux RAG.

PyTorch (extrait)

import torch, torch.nn as nn
E = nn.Embedding(vocab_size, d_model)
x = E(tokens)  # [B, T, d]

Ops/Prod

• Figer tokenizer & mapping ID entre versions majeures.
• Documenter la date de build du vocabulaire (audit).
• Tester équivalence post-quantization (8/4-bit).

Formule (par tête)

Q = X Wq ; K = X Wk ; V = X Wv
A = softmax( (Q K^T) / sqrt(d_h) ) V    # d_h = d_model / n_heads
masque causal: interdit de voir le futur

• MHA capte des relations variées; GQA partage K,V → mémoire↓.
• FlashAttention : kernels efficaces (latence/mémoire↓).

Complexité & gains

Réglages & pièges

• n_heads ≈ d/64..d/128 (selon implémentation).
• Délimiteurs & sections clairs → attention guidée.
• Stop sequences + max_new_tokens pour formats stricts.
• ⚠ Contexte > fenêtre → troncature silencieuse.

vLLM (OpenAI-like)

python -m vllm.entrypoints.openai.api_server \
  --model mistralai/Mixtral-8x7B-Instruct-v0.1 \
  --max-model-len 32768 --gpu-memory-utilization 0.92

Ops/Prod

• Batching dynamique + paged KV cache.
• Observabilité: p50/p95/p99, tokens, coûts, refus.
• Cache de réponses par empreinte (prompt+ctx).

PyTorch (schéma)

class FFN(nn.Module):
  def __init__(self, d, d_ff):
    super().__init__()
    self.w1 = nn.Linear(d, d_ff)
    self.w2 = nn.Linear(d, d_ff)
    self.w3 = nn.Linear(d_ff, d)
  def forward(self, x):
    return self.w3( self.w1(x) * torch.nn.functional.silu(self.w2(x)) )

Anti-patterns

• FFN trop étroit → underfit (capacité limitée).
• Pas de régularisation → sur-apprentissage/dérives.
• MoE sans balance loss → experts déséquilibrés.

PyTorch (extrait)

class RMSNorm(nn.Module):
  def __init__(self, d, eps=1e-6):
    super().__init__()
    self.w = nn.Parameter(torch.ones(d)); self.eps = eps
  def forward(self, x):
    return x * torch.rsqrt(x.pow(2).mean(-1, keepdim=True) + self.eps) * self.w

Anti-patterns

• Cumuler trop de régularisations → sous-apprentissage.
• Changer de norme entre pré-train & fine-tune.
• Ignorer le grad-clip sur datasets hétérogènes.

Comparatif positions

Pièges & check

• Ne pas mélanger stratégies entre base & FT sans re-calibrage.
• Off-by-one sur positions → dégradations subtiles.
• Évaluer prompts >8k si scaling actif (qualité & latence).