🟧 Storage Systems — Chapitre 19 : AWS Storage

Les snapshots EBS sont incrémentaux et servent à backup, clone, migration cross-region, AMI et restauration après incident. Ils doivent être gouvernés par tags, lifecycle et tests restore.

• Snapshot crash-consistent si volume pris seul sans quiesce.
• Multi-volume snapshots pour cohérence entre data/logs.
• Copie cross-region/cross-account pour DR.
• Fast Snapshot Restore possible pour réduire latence de premier accès selon besoin.

aws ec2 describe-volumes --filters Name=tag:App,Values=prod
aws ec2 create-snapshot --volume-id vol-123 --description "before-maintenance"
aws ec2 describe-snapshots --owner-ids self
aws ec2 modify-volume --volume-id vol-123 --volume-type gp3 --iops 12000 --throughput 500
lsblk
sudo growpart /dev/nvme0n1 1
sudo xfs_growfs /

Pattern lifecycle:
- logs/raw/*: Standard 30d → Standard-IA 90d → Glacier 180d → Deep Archive 365d
- tmp/*: expire after 14d
- multipart incomplete uploads: abort after 7d
- non-current versions: expire after 180d

• Data lake : S3 + Glue Catalog + Athena/EMR/Redshift Spectrum.
• Static assets : S3 + CloudFront.
• Backups immuables : S3 Versioning + Object Lock.
• Event-driven : S3 events vers Lambda/SQS/EventBridge.
• Cross-region replication pour DR.

• Uploads partagés entre pods.
• CMS Linux multi-instance.
• Home directories techniques.
• Partage de fichiers applicatifs.
• Workloads EKS nécessitant RWX.

# Concepts EFS CSI
StorageClass: efs-sc
Access mode: ReadWriteMany
Mount via access point
Security groups allow NFS 2049 from worker nodes
Use fsGroup / access point UID/GID to solve permissions

• Windows shares + AD : FSx Windows.
• HPC/IA avec throughput massif : FSx Lustre.
• NetApp existant ou multi-protocol enterprise : FSx ONTAP.
• ZFS workloads, clones, NFS : FSx OpenZFS.

• Plans par criticité : gold/silver/bronze.
• Rétention courte + longue selon conformité.
• Copies cross-region pour DR.
• Copies cross-account pour ransomware/admin compromis.
• Tags pour inclure automatiquement les ressources.

Gold: every 1h, retain 7d, daily 35d, monthly 1y, copy to DR account
Silver: daily, retain 35d
Bronze: weekly, retain 30d
Critical: Vault Lock + restore testing quarterly

• Dimensionner cache local.
• Prévoir bande passante WAN.
• Définir comportement en perte lien.
• Chiffrer et contrôler IAM.
• Surveiller upload buffer, cache hit, queue cloud.

Pour bases exigeantes, séparer data, logs, temp et backup staging. Les snapshots multi-volume aident à capturer un point cohérent entre volumes attachés à la même instance.

lsblk
nvme list
iostat -x 1
sudo growpart /dev/nvme1n1 1
sudo resize2fs /dev/nvme1n1p1
sudo xfs_growfs /data
aws ec2 modify-volume --volume-id vol-xxx --size 2048

• Encryption par défaut.
• Tags App/Owner/Env/Backup.
• Snapshots et rétention.
• Alarmes BurstBalance/Queue/Latency si pertinentes.
• Test restore depuis snapshot.

{
  "Version": "2012-10-17",
  "Statement": [{
    "Effect": "Deny",
    "Principal": "*",
    "Action": "s3:*",
    "Resource": ["arn:aws:s3:::bucket", "arn:aws:s3:::bucket/*"],
    "Condition": {"Bool": {"aws:SecureTransport": "false"}}
  }]
}

• S3 Storage Lens.
• S3 Inventory.
• Cost Explorer par tags.
• Budgets et anomaly detection.
• Lifecycle reports.
• CloudWatch metrics par bucket si activées.

Actions FinOps:
- Abort incomplete multipart uploads after 7 days
- Expire non-current versions
- Compact small files into Parquet
- Move cold prefixes to IA/Glacier
- Enable Intelligent-Tiering for unpredictable access
- Tag buckets and prefixes by owner/cost center

• Créer mount targets dans les AZ utilisées.
• Limiter SG NFS 2049 aux clients nécessaires.
• Utiliser access points pour EKS et permissions.
• Choisir performance/throughput mode selon workload.
• Activer lifecycle vers EFS IA si données froides.

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: efs-rwx
provisioner: efs.csi.aws.com
parameters:
  provisioningMode: efs-ap
  fileSystemId: fs-xxxx
  directoryPerms: "750"

• Multi-protocol file/block.
• Snapshots/clones.
• SnapMirror pour migration/DR.
• Familiarité NetApp pour équipes existantes.

1. Identifier objet/version.
2. Lancer restore avec tier adapté.
3. Attendre disponibilité temporaire.
4. Copier vers Standard si exploitation durable.
5. Mesurer délai réel.

• Object Lock retention.
• Legal hold.
• Vault Lock pour anciens usages Glacier vaults.
• Audit CloudTrail.
• Tags classification.

1. Restaurer dans région DR.
2. Recréer IAM/KMS/réseau.
3. Monter volumes/filesystems.
4. Basculer DNS Route 53.
5. Valider applicatif.
6. Documenter temps réel.

Avec EBS CSI, utiliser WaitForFirstConsumer pour créer le volume dans la zone du pod. Les EBS volumes ne se déplacent pas librement entre AZ.

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: ebs-gp3
provisioner: ebs.csi.aws.com
parameters:
  type: gp3
  encrypted: "true"
volumeBindingMode: WaitForFirstConsumer
allowVolumeExpansion: true

• Parquet/Iceberg pour analytics.
• Éviter petits fichiers.
• Localité régionale entre compute et S3.
• Lifecycle des datasets intermédiaires.

1. Inventaire données et owners.
2. Classification hot/cold/sensible.
3. Choix cible : S3/EFS/FSx/EBS.
4. Transfert initial.
5. Delta sync.
6. Cutover applicatif.
7. Validation checksum/ACL/performance.
8. Rollback temporaire.

• Private hosted zones pour endpoints internes.
• Résolution AD pour FSx Windows/ONTAP selon cas.
• Éviter hardcoding d'IP.
• Tester depuis chaque subnet/AZ.

aws ec2 describe-vpc-endpoints
nslookup bucket-endpoint
telnet fs-xxx.efs.region.amazonaws.com 2049
mount -t nfs4 ...
check route tables, SG, NACL, DNS, IAM

• CloudTrail management events.
• S3 data events pour buckets sensibles.
• S3 access logs si besoin forensic.
• AWS Config rules pour drift sécurité.
• Cost Explorer/Budgets pour anomalies.

• EBS volume queue/latency élevée.
• S3 public access change.
• Backup job failed.
• EFS burst credits faibles.
• KMS key disabled.
• Cost anomaly egress.

• Tags obligatoires : App, Owner, Env, CostCenter, DataClass.
• Budgets par compte/projet.
• Revue snapshots sans owner.
• Lifecycle S3 par bucket.
• Rapport volumes unattached.

• Volumes unattached depuis 30 jours.
• Snapshots sans tag.
• Buckets sans owner.
• Pas de restore testé.
• CloudTrail data events absents sur données critiques.

1. Confirmer filesystem full ou latency OS.
2. Vérifier CloudWatch EBS metrics.
3. Modifier volume size/IOPS/throughput si nécessaire.
4. Étendre partition/filesystem.
5. Post-mortem capacity/perf.

1. Vérifier mount target dans AZ.
2. Vérifier SG NFS 2049.
3. Vérifier DNS.
4. Vérifier IAM/access point si utilisé.
5. Tester mount manuel.

1. Identifier point de restauration.
2. Restaurer isolé.
3. Valider données/application.
4. Basculer trafic.
5. Documenter RTO/RPO réel.

• CloudWatch alarms.
• CloudTrail enabled.
• AWS Config storage rules.
• Budgets/anomaly detection.
• Runbooks incidents.
• Tags obligatoires.

• S3 Block Public Access.
• Object Lock/Vault Lock pour backups critiques.
• Private endpoints si données internes.
• KMS policies surveillées.
• Cross-account backup copy.