💽 Storage Systems / Le stockage — Partie 2

De CHS à LBA

Historiquement, on décrivait les disques en cylindres, têtes et secteurs. Les systèmes modernes utilisent le LBA : Logical Block Addressing. Le système demande un bloc logique, le firmware traduit ce bloc vers un emplacement physique réel, en tenant compte des zones, secteurs remappés, caches, pistes de réserve et stratégies internes.

Pourquoi le début du disque est souvent plus rapide

Les pistes externes ont une circonférence plus grande. À RPM identique, elles peuvent contenir plus de secteurs et donc offrir un débit séquentiel plus élevé. C'est la raison pour laquelle certains benchmarks montrent une pente descendante entre le début et la fin d'un HDD.

Cache disque et firmware

Le cache d'un HDD n'est pas un simple tampon. Il sert à absorber certaines écritures, précharger des lectures séquentielles, réordonner des commandes, optimiser le mouvement des têtes et réduire les allers-retours inutiles. Mais le cache peut devenir dangereux si une coupure électrique intervient avant que les données soient réellement écrites sur les plateaux.

• Read-ahead : le disque anticipe la lecture séquentielle.
• Write cache : le disque confirme vite puis écrit physiquement après.
• NCQ / TCQ : réordonnancement des commandes pour réduire les seeks.
• Firmware scheduling : arbitrage entre latence et débit global.

Effet du cache selon workload

ECC, remapping et secteurs faibles

Les HDD intègrent des codes correcteurs d'erreurs, des secteurs de réserve et des mécanismes de remapping. Lorsqu'un secteur devient illisible ou instable, le firmware peut le réallouer. Le système voit souvent le disque comme encore fonctionnel, alors que le risque augmente.

Lecture lente ≠ panne franche

Un disque peut ralentir fortement sans tomber immédiatement. Les retries ECC, les secteurs difficiles, les vibrations et les recalibrations peuvent générer des latences de plusieurs secondes. En RAID, cela peut provoquer un timeout contrôleur et sortir le disque de l'array.

# Linux - inspection rapide
smartctl -a /dev/sdX
smartctl -t long /dev/sdX
smartctl -l error /dev/sdX

# Chercher les signaux critiques :
# Reallocated_Sector_Ct, Current_Pending_Sector, Offline_Uncorrectable, UDMA_CRC_Error_Count

SAS : enterprise, dual-port, multipath

SAS est l'héritier moderne de SCSI pour serveurs et baies de stockage. Son intérêt n'est pas seulement le débit. Il apporte une logique enterprise : double port, expander, topologies de backplane, meilleure intégration multipath, files de commandes robustes, diagnostics et comportement adapté aux contrôleurs RAID/SAN.

Pourquoi SAS en baie

• Dual path : deux chemins indépendants vers le disque.
• HA : un contrôleur peut tomber sans couper l'accès.
• Expander : beaucoup de disques derrière moins de ports physiques.
• Signal integrity : meilleur contexte châssis/backplane.

Les HDD USB sont très utiles pour le transport, les sauvegardes ponctuelles, les exports, les copies hors ligne et les petits environnements. Mais USB ajoute un bridge SATA/USB ou NVMe/USB, parfois opaque pour SMART, le cache, la gestion d'alimentation et les erreurs.

# Bon réflexe après copie massive
# 1. Générer des checksums
sha256sum bigfile.tar.zst > bigfile.tar.zst.sha256

# 2. Vérifier après transfert
sha256sum -c bigfile.tar.zst.sha256

# 3. Démonter proprement
sync
umount /mnt/backup_usb

Backplanes, HBA, RAID controllers

Entre le disque et le système, on trouve souvent un backplane, un HBA, un contrôleur RAID, un expander ou une carte mère serveur. Beaucoup de pannes attribuées au disque viennent en réalité du câble, du port, du backplane, du firmware contrôleur ou d'une incompatibilité.

Chaîne de diagnostic

Desktop vs NAS

Un disque desktop est optimisé pour un environnement peu dense, une charge modérée, un coût bas et une utilisation intermittente. Un disque NAS est prévu pour rester allumé 24/7, tolérer davantage de vibrations, mieux coopérer avec un RAID logiciel/matériel et accepter une charge annuelle plus élevée.

• Desktop : bon choix pour poste local, lab, stockage non critique.
• NAS : meilleur choix pour 2 à 8 baies, fichiers, backup local.
• NAS Pro : adapté aux boîtiers plus grands et workloads multi-utilisateurs.

Questions avant achat NAS

Enterprise / Nearline

Les HDD enterprise capacité ciblent les data centers : grand nombre de disques par rack, fonctionnement 24/7, vibrations, température contrôlée, monitoring, firmware validé, workload soutenu. Le terme nearline désigne souvent un disque capacité entre le stockage online chaud et l'archive froide : accessible mais pas conçu pour des millions de petites I/O random.

Usage hyperscale

Les cloud providers ne cherchent pas seulement le disque le plus rapide. Ils cherchent une équation globale : To par rack, watts par To, AFR, maintenance, qualification firmware, comportement en rebuild, intégration erasure coding et coût total.

Les disques de vidéosurveillance sont optimisés pour l'écriture continue de flux vidéo multiples. Ils privilégient le streaming, la tolérance aux écritures séquentielles constantes et parfois la lecture simultanée pour relecture. Ils ne sont pas conçus en priorité pour des écritures random synchrones ou une base transactionnelle.

Dimensionnement vidéo simplifié

Capacité/jour ≈ débit caméra Mbit/s × 86 400 / 8 / 1024 / 1024

# Exemple : 32 caméras à 4 Mbit/s
# 4 Mbit/s × 32 = 128 Mbit/s
# 128 × 86400 / 8 = 1 382 400 Mo/jour ≈ 1,32 To/jour
# 30 jours ≈ 39,6 To utiles avant RAID/réplication

Débit séquentiel

Le débit séquentiel d'un HDD moderne peut être très correct, surtout sur les zones externes et avec de gros blocs. C'est pour cela que les HDD restent efficaces pour backup, objet, média, réplication, snapshots, data lake et archivage actif.

Agrégation

Un seul HDD n'est pas impressionnant en IOPS. Mais 60, 90, 120 ou 1 000 disques agrégés dans un système distribué fournissent un débit massif. Les cloud object stores exploitent précisément cette logique : paralléliser les lectures/écritures sur beaucoup de nœuds.

Débit agrégé brut ≈ nombre de disques × débit séquentiel moyen × facteur d'efficacité

Benchmark propre

Benchmark un HDD sans comprendre le workload ne sert à rien. Il faut tester plusieurs profils : lecture séquentielle gros blocs, écriture séquentielle, random 4K, queue depth 1, queue depth élevée, fichier plus grand que la RAM, cache désactivé ou contrôlé.

# Exemple fio lecture séquentielle
fio --name=seqread --filename=/mnt/testfile --size=100G --rw=read --bs=1M --iodepth=16 --direct=1

# Exemple fio random 4K
fio --name=randread --filename=/mnt/testfile --size=100G --rw=randread --bs=4k --iodepth=32 --direct=1

Interpréter

Backup repository

Les HDD restent très adaptés aux sauvegardes : gros flux séquentiels, besoin de capacité, coût par To déterminant. Mais le design doit intégrer immutabilité, réplication hors site, air gap, vérification et restauration testée.

• Repository local rapide pour restauration courte.
• Copie secondaire vers objet cloud ou site distant.
• Protection ransomware : immutabilité, snapshots, droits séparés.
• Contrôle de cohérence périodique.

Architecture backup simple

HDD derrière le cloud object storage

Les services de type S3/GCS/Azure Blob cachent la complexité physique. Derrière, les données peuvent être réparties sur de nombreux disques, nœuds, racks et zones. Le client voit des objets et des classes de stockage ; le fournisseur opère la réplication, l'erasure coding, la vérification, la réparation et le placement.

Pourquoi HDD et objet vont ensemble

• Les objets sont souvent gros et immuables.
• L'accès random bloc n'est pas l'objectif principal.
• L'échelle horizontale masque les limites d'un disque individuel.
• Le coût par To reste central.

Seagate

Seagate met fortement en avant sa plateforme Mozaic 3+ et HAMR pour augmenter la densité. Les familles typiques : Exos pour enterprise/datacenter, IronWolf pour NAS, SkyHawk pour surveillance. Les annonces 30 To et plus ciblent prioritairement les clients hyperscale et enterprise capacité.

• Exos : datacenter, nearline, capacité.
• IronWolf / Pro : NAS, multi-bay.
• SkyHawk : vidéo-surveillance.

Points à vérifier

Western Digital

Western Digital structure ses gammes autour d'Ultrastar pour datacenter, WD Red pour NAS et WD Purple pour surveillance. Les technologies HelioSeal, ePMR et UltraSMR visent la densité et l'efficacité énergétique. Les modèles Ultrastar récents montent jusqu'à 30/32 To selon variante.

• Ultrastar : enterprise, cloud, baies.
• WD Red / Red Pro : NAS.
• WD Purple : surveillance.

Attention aux sous-gammes

Toshiba

Toshiba reste un acteur important sur les disques enterprise capacity, NAS et surveillance. Ses gammes MG ciblent les environnements entreprise et cloud, tandis que N300 cible les NAS et S300 la surveillance.

Place dans un design

Comme pour les autres marques, il faut éviter le choix générique. On valide : compatibilité contrôleur/NAS, firmware, taille de secteur, interface, workload, garantie, consommation, bruit et politique de remplacement.

Runbook incident RAID

1. Confirmer le niveau RAID et l'état réel du contrôleur.
2. Identifier si l'array est dégradé, reconstruit, ou en panne logique.
3. Vérifier backups avant toute action intrusive.
4. Ne pas retirer plusieurs disques sans mapping exact slot/serial.
5. Exporter configuration contrôleur si possible.
6. Remplacer un disque à la fois selon procédure baie.
7. Surveiller rebuild, température, erreurs médias.

Erreurs fréquentes

Les HDD seuls sont rarement adaptés aux VMs actives. Un design acceptable sépare les couches : SSD/NVMe pour VM actives, HDD pour backups, ISO, templates, archives, VM froides. Pour un petit lab, ZFS mirror SSD + pool HDD est souvent plus sain qu'un gros RAID HDD unique.

1. Vérifier modèles, serials, firmware, taille secteur.
2. Tester SMART court puis long sur chaque disque.
3. Vérifier température idle et charge.
4. Benchmark séquentiel et random hors cache.
5. Tester rebuild sur un disque de spare en préproduction si possible.
6. Valider alerting : disque retiré, température, SMART, array degraded.
7. Valider restauration backup vers un autre volume.
8. Documenter mapping slot ↔ serial ↔ /dev/sdX ↔ contrôleur.

# Exemple acceptance Linux
lsblk -o NAME,SIZE,MODEL,SERIAL,ROTA
smartctl -x /dev/sdX
smartctl -t long /dev/sdX
badblocks -sv -b 4096 /dev/sdX   # destructif si écriture, prudence
fio --name=accept_seq --filename=/mnt/pool/testfile --size=200G --rw=write --bs=1M --direct=1
fio --name=accept_rand --filename=/mnt/pool/testfile --size=100G --rw=randread --bs=4k --iodepth=32 --direct=1
iostat -x 1

Matin

• Vérifier arrays dégradés, SMART critique, température.
• Vérifier jobs de backup et restauration automatique si prévue.
• Contrôler capacité libre et croissance anormale.
• Lire alertes contrôleur/backplane.

Hebdomadaire

• Rapport secteurs réalloués/pending.
• Vérifier disques spare et firmwares.
• Tester une restauration aléatoire.
• Analyser latences p95/p99 et saturation.

Mensuel / trimestriel

• Scrubbing complet selon politique.
• Audit lots de disques et garanties.
• Nettoyage airflow et vérification ventilateurs.
• Revue de rétention et purge.
• Exercice incident : disque en panne, restauration, notification.