💾 Storage Systems — Chapitre 4 : Interfaces, bus et protocoles physiques

Débit, latence et vrai plafond

Le débit SATA III suffit encore largement à un HDD mécanique, mais bride fortement un SSD moderne. Dans un serveur, le problème principal n'est pas seulement le débit : c'est la profondeur de queue, la gestion des interruptions, l'absence de multipath natif et la faible densité de commandes parallèles par rapport à NVMe.

Usage serveur et règles d'architecture

Diagnostics Linux / Windows

# Linux: identify SATA disks and link speed
lsblk -o NAME,MODEL,SERIAL,ROTA,SIZE,TRAN
sudo smartctl -a /dev/sdX
sudo dmesg -T | egrep -i 'ata|sata|link|crc|reset'

# Check SATA negotiated speed
sudo smartctl -a /dev/sdX | egrep -i 'SATA Version|SATA'

# Windows PowerShell
Get-PhysicalDisk | Select FriendlyName,MediaType,BusType,HealthStatus,Size
Get-StorageReliabilityCounter -PhysicalDisk (Get-PhysicalDisk)[0]

Dual-port, ALUA et chemins redondants

Un disque SAS enterprise peut exposer deux ports indépendants. Dans une baie, chaque contrôleur voit le disque par un chemin différent. C'est la base des architectures de stockage redondantes : maintenance contrôleur, panne câble, panne expander ou upgrade firmware sans perte d'accès.

Évolutions de débit

12G SAS reste très répandu en datacenter. 24G SAS vise les environnements où les SSD SAS doivent suivre les plateformes PCIe Gen4. Pour des latences extrêmes et un parallélisme maximal, NVMe/PCIe remplace souvent SAS sur les baies full-flash modernes ; mais SAS reste très fort pour les backplanes HDD denses et les environnements enterprise éprouvés.

Diagnostics SAS

# Linux: list SCSI/SAS devices
lsscsi -g
sudo sg_map -i
sudo sg_ses --page=0x2 /dev/sgX
sudo smartctl -a -d scsi /dev/sdX

# HBA / expander depending on vendor tools
storcli /c0 show all
storcli /c0/eall/sall show
sas3ircu LIST
sas3ircu 0 DISPLAY

# Multipath
multipath -ll
multipathd show paths

Switches PCIe, bifurcation, retimers

Dans les serveurs denses, tous les SSD ne sont pas directement reliés au CPU. Des switches PCIe, retimers et backplanes permettent de multiplier les slots NVMe, mais ajoutent coût, complexité, consommation et points de panne.

NUMA, CPU affinity et latence

Un SSD PCIe est attaché à un root complex, donc souvent à un socket CPU. Sur serveur bi-socket, accéder à un SSD attaché au socket opposé peut traverser l'interconnexion inter-CPU et ajouter de la latence. Pour les bases de données, moteurs de cache, logs haute fréquence ou NVMe-oF target, placer threads, IRQ et mémoire sur le bon NUMA node change fortement les p99/p999.

# Linux NUMA and PCI topology
lspci -tv
cat /sys/block/nvme0n1/device/numa_node
numactl --hardware
cat /proc/interrupts | grep nvme

# Pin a benchmark to a NUMA node
numactl --cpunodebind=0 --membind=0 fio job.fio

Diagnostics PCIe

# Link speed and width
sudo lspci -vv -s 0000:xx:yy.z | egrep 'LnkCap|LnkSta'

# AER errors
sudo dmesg -T | egrep -i 'pcie|aer|corrected|uncorrected|nvme reset'

# NVMe SMART and error log
sudo nvme smart-log /dev/nvme0
sudo nvme error-log /dev/nvme0
sudo nvme get-log /dev/nvme0 --log-id=2 --log-len=512

Zoning + LUN Masking

La sécurité SAN se fait par couches. Le zoning limite quels WWPN peuvent se voir au niveau fabric. Le LUN masking côté baie décide quels volumes sont visibles par quels initiators. Les deux sont nécessaires : le zoning seul ne suffit pas, le masking seul expose trop le fabric.

Vitesses et générations

Dual fabric : règle d'or SAN

Un SAN sérieux évite le point unique de défaillance : deux fabrics totalement séparés, deux switches ou directors, deux HBA côté serveur, deux chemins vers chaque contrôleur de baie. Les ISL doivent être dimensionnés, mais il faut éviter de mélanger Fabric A et Fabric B.

Diagnostics Fibre Channel

# Linux FC hosts
ls /sys/class/fc_host/
cat /sys/class/fc_host/host*/port_name
cat /sys/class/fc_host/host*/port_state
cat /sys/class/fc_host/host*/speed

# Rescan SCSI
for h in /sys/class/scsi_host/host*; do echo "- - -" | sudo tee $h/scan; done

# Multipath view
multipath -ll
multipathd show paths

# Vendor tools examples
systool -c fc_host -v
sanlun lun show

NFS et SMB

Le file storage est plus simple à consommer que le block, mais il impose une attention forte aux locks, aux ACLs, aux caches clients, aux snapshots et aux workloads de petits fichiers.

NVMe over Fabrics

NVMe-oF transporte les commandes NVMe sur un fabric : TCP, RDMA, Fibre Channel. NVMe/TCP est attractif car il fonctionne sur Ethernet IP standard ; NVMe/RDMA réduit davantage la latence et la charge CPU mais exige un réseau lossless ou très bien maîtrisé.

# Linux NVMe/TCP example
modprobe nvme-tcp
nvme discover -t tcp -a 10.20.30.40 -s 4420
nvme connect -t tcp -a 10.20.30.40 -s 4420 -n nqn.2014-08.org.nvmexpress:uuid:target

Ceph, S3 et cloud storage

Object storage transforme le réseau Ethernet en couche fondamentale : les objets sont distribués, répliqués ou codés par erasure coding sur un cluster. La latence unitaire n'est pas celle d'un disque local ; l'intérêt est la durabilité, la scalabilité, la géo-distribution et le coût au To.

• Ceph public network : client traffic.
• Ceph cluster network : replication/recovery/backfill.
• Risque : recovery massif qui sature le réseau et dégrade les clients.

Diagnostics Ethernet Storage

# NIC and link
ethtool eth0
ethtool -S eth0 | egrep -i 'drop|error|crc|timeout|pause'
ip -s link show eth0

# Latency and path
ping -i 0.2 target
mtr -ezbw target
iperf3 -c target -P 8

# NFS / SMB / iSCSI quick checks
nfsstat -m
smbstatus
iscsiadm -m session -P 3

# NVMe/TCP
nvme list-subsys
nvme show-hostnqn

USB : vitesse marketing vs vitesse réelle

Les noms USB ont changé plusieurs fois, ce qui crée de la confusion. Au-delà du chiffre, vérifier le câble, le contrôleur, le boîtier externe, UASP, la dissipation thermique et le support SMART pass-through.

# Linux USB storage inspection
lsusb -t
lsblk -o NAME,TRAN,MODEL,SIZE
smartctl -a -d sat /dev/sdX

Thunderbolt : PCIe externe

Thunderbolt transporte PCIe et DisplayPort. Pour le stockage, cela permet des boîtiers NVMe externes très rapides. Mais comme il expose PCIe, les politiques de sécurité Thunderbolt, IOMMU/VT-d, autorisation périphérique et firmware deviennent importantes.

# Linux Thunderbolt
boltctl
cat /sys/bus/thunderbolt/devices/*/authorized 2>/dev/null

eSATA : héritage externe SATA

eSATA a longtemps servi à connecter des disques externes avec des performances proches du SATA interne, avant que USB 3.x et Thunderbolt ne dominent. Il reste utile en environnement legacy, mais n'apporte pas la souplesse moderne d'USB-C ni les performances NVMe/Thunderbolt.

• Pas toujours d'alimentation via câble.
• Hotplug dépend contrôleur/BIOS/OS.
• Pas adapté aux nouveaux designs.

Bonnes pratiques

Choix par cas d'usage

Dette technique par interface

Arbre de décision rapide

Câbles et transceivers

Backplanes : la zone invisible des incidents

Le backplane est souvent oublié : il transporte alimentation, données, signaux de présence, LED, sideband et parfois expander/switch. Un disque “défaillant” peut en réalité être victime d'un slot, d'un câble HBA, d'un expander, d'un retimer ou d'une alimentation partagée.

# Check enclosure and slots if SES is available
lsscsi -g
sg_ses --page=0x2 /dev/sgX
storcli /c0/eall/sall show

Airflow et contraintes physiques

Les SSD NVMe haute performance dissipent beaucoup plus que les anciens SSD SATA. Un slot mal ventilé provoque thermal throttling, latence p99 élevée, resets et baisse d'endurance. Les HDD denses souffrent aussi des vibrations rotatives.

File storage path

NFS/SMB ajoutent une sémantique fichier : locks, permissions, attributs, metadata server, cache client, oplocks/delegations, snapshots. C'est plus convivial, mais les workloads metadata-heavy peuvent saturer bien avant le débit brut.

Object storage path

S3/Ceph/Swift déplacent la complexité vers l'application : PUT/GET, multipart upload, versioning, metadata, lifecycle, erasure coding. La performance dépend fortement du parallélisme client et du réseau.

Virtualisation

Tail latency : le vrai ennemi

La moyenne ment. Les incidents applicatifs apparaissent souvent en p99/p999 : garbage collection SSD, rebuild RAID, congestion Ethernet, path failover, pauses FC, snapshots, thin provisioning, thermal throttling, ou flush synchrones.

CPU overhead

Plus le stockage est rapide, plus le coût CPU de la pile devient visible. NVMe local réduit l'overhead par I/O ; NVMe/TCP consomme plus de CPU que RDMA ; SMB/NFS ajoutent une sémantique fichier ; chiffrement et compression peuvent déplacer le bottleneck.

iostat -x 1
pidstat -d 1
mpstat -P ALL 1
perf top
cat /proc/interrupts | egrep 'nvme|eth|qla|lpfc'

Benchmark fio utile

[global]
ioengine=libaio
direct=1
time_based=1
runtime=120
group_reporting=1
randrepeat=0

[randread-latency]
filename=/dev/nvme0n1
rw=randread
bs=4k
iodepth=32
numjobs=4
write_lat_log=lat
log_avg_msec=1000

ALUA et ANA

ALUA indique quels chemins SCSI sont optimisés. ANA joue un rôle similaire côté NVMe : certains chemins vers un namespace sont optimized, non-optimized ou inaccessible. Ignorer ces états peut provoquer des latences ou bascules inutiles.

# Linux multipath
multipath -ll
multipathd show config
multipathd show paths

# NVMe native multipath
cat /sys/module/nvme_core/parameters/multipath
nvme list-subsys
nvme list -v

Tests de coupure obligatoires

Inventaire Windows

Get-Disk
Get-PhysicalDisk
Get-StoragePool
Get-VirtualDisk
Get-Volume
Get-InitiatorPort
Get-IscsiSession
Get-MPIOAvailableHW
mpclaim -s -d

fio baseline

fio --name=seqread --filename=/dev/nvme0n1 --rw=read --bs=1M --iodepth=32 --direct=1 --runtime=60 --time_based --group_reporting
fio --name=randwrite --filename=/dev/nvme0n1 --rw=randwrite --bs=4k --iodepth=32 --numjobs=4 --direct=1 --runtime=120 --time_based --group_reporting
fio --name=mix --filename=/dev/nvme0n1 --rw=randrw --rwmixread=70 --bs=8k --iodepth=64 --numjobs=4 --direct=1 --runtime=120 --time_based --group_reporting

Checklist incident performance

Stockage IP

DMA et ports externes

Thunderbolt et certains périphériques PCIe externes peuvent exposer des surfaces DMA. Sur postes sensibles, activer IOMMU/VT-d, niveaux de sécurité Thunderbolt, autorisation périphérique et blocage des ports non nécessaires.

Ops sécurité

Local NVMe / ephemeral SSD

Les disques locaux cloud offrent une latence très basse et un débit élevé, souvent via NVMe attaché à l'hôte. Mais ils sont éphémères : panne hôte, stop/start ou migration peuvent perdre les données. À utiliser avec réplication applicative ou cache reconstructible.

Object storage cloud

S3, GCS, Azure Blob et compatibles déplacent le problème de l'interface physique vers API, durabilité, lifecycle, coût de requête, egress et classes de stockage. Le design applicatif doit paralléliser et tolérer la latence réseau.

Design cloud storage

Glossaire minimal

Checklist avant choix d'interface