Edge AI autonome (Drones SkyGuard)
IA embarquée Edge – Vision temps réel & Navigation autonome pour drones de surveillance
GlobeStream Edge Delivery — USA — IA / Machine Learning / RAG / LLM
Mission / objectif : Développer un module IA embarqué (vision + navigation) pour drones autonomes, capable d’analyser en temps réel la scène, détecter anomalies, éviter obstacles, et synchroniser partiellement le traitement avec le cloud pour analyse lourde.
SkyGuard Robotics voulait équiper sa flotte de drones autonomes d’un module IA embarqué permettant :
- la détection d’intrusions en temps réel
- la reconnaissance d’objets dans des environnements complexes
- l’évitement dynamique d’obstacles
- un mode ‘edge-only’ en cas de perte réseau
- la synchronisation des données vers le cloud lorsque la 5G/MQTT est disponible.
Les drones opèrent sur sites industriels sensibles (pétrole, électricité, data centers). Il fallait une solution robuste, rapide, sécurisée, avec traitement haute performance directement sur GPU/TPU embarqué (NVIDIA Jetson / Google Coral).
- Méthode en V inversé adaptée aux contraintes embarquées
- Boucles courtes R&D → prototypage → validation IA
- Sprints 2 semaines pour l’intégration drone
- Tests en vol (6 scénarios : indoor/outdoor/low-light/wind)
- Benchmarks sur Jetson Xavier / Orin / Coral EdgeTPU
- Pipeline CI/CD cross-compilation + packaging conteneurs embarqués
- Validation sécurité + tests intrusion sur réseau MQTT
- Module Edge AI embarqué (conteneur Docker optimisé GPU/TPU)
- Modèles IA optimisés (TensorRT, quantification INT8)
- Pipeline de vision : tracking, YOLOv8 custom, segmentation rapide
- Navigation autonome (PID + SLAM + lidar fusion)
- WebRTC streaming temps réel (latence < 120ms)
- Broker MQTT + protocole de synchronisation drone/cloud
- Backend cloud (API Django, stockage S3, analytics IA)
- Tableau de bord temps réel (positions, alertes, trajectoires)
- Système de logs distribués (drones → cloud)
- Documentation complète (API, schémas, protocole EdgeSync)
- Playbooks sécurité (régénération clés, durcissement réseau)
- Traitement IA embarqué contraint : <20W, GPU limité, pas de surchauffe
- Analyse vidéo temps réel (30–60 FPS) avec conditions difficiles
- Perte réseau fréquente (zones industrielles) → fallback offline
- Synchronisation du local au cloud : priorisation + compression
- Navigation autonome dans environnements instables
- Sécurité : drones exposés en extérieur (tentatives scan, spoofing)
- Temps de réponse stricts (<50 ms pour éviter obstacles)
- Consensus multi-drones (coordination flotte)
- Utilisation NVIDIA Jetson Orin + TensorRT pour accélération IA
- Quantification INT8 + pruning ciblé (x3 vitesse, x2 moins de RAM)
- Modèle YOLOv8 custom + segmentation légère (fast-seg)
- Tracking multi-objets via DeepSORT modifié
- Navigation autonome : fusion lidar + vision + inertiel IMU
- MQTT + protocole EdgeSync (compression + batch diff)
- WebRTC adaptatif selon bande passante
- Sécurité : TLS mutuel, rotation des certificats, whitelisting IP, IDS léger
- Backend cloud Django 5 + Postgres + S3 + analytics IA (pandas, duckdb)
- Replay vidéo + heatmaps détectées dans Grafana
- CI/CD cross-compilation : Docker multi-arch (arm64 + CUDA)
- Performance IA embarquée : 38 FPS moyenne (Jetson Orin) → objectif atteint
- Détection d’intrusions : +92% précision / ~7% faux positifs
- Navigation autonome stable même en low-light & vent fort
- Latence streaming : 110–140 ms (WebRTC)
- 100% des drones opérationnels en mode offline (fallback Edge-only)
- Temps de survie batterie amélioré de 17% (optimisations compute)
- Synchronisation cloud robuste même après longues coupures
- Système validé sur 600+ heures de vols autonomes
- Accélération des analyses cloud multi-drones (zones rouges, heatmaps) réduite par 8x
Type de projet : Architecture IA / RAG / LLM
Tags techniques :
Autonomous Navigation Celery Computer Vision DeepSORT Django Drones DuckDB Edge AI Jetson MQTT ONNX S3 SLAM TensorRT WebRTC
- TLS mutuel : certificats embarqués + rotation automatique
- Anti-spoofing (drone ID signé + challenge handshake)
- Journaux signés pour éviter falsification
- Durcissement OS embarqué (apparmor + readonly FS)
- Firewall embarqué + listes IP sûres
- Isolation réseau cloud (VPC private)
- Systèmes anti-capture physiquement (self-wipe des clés certs)
- Architecture hybride Edge + Cloud
- Pipeline IA embarqué (vision, navigation, tracking)
- Streaming WebRTC + fallback offline
- Synchronisation cloud via MQTT + compression
- Backend Django : ingestion, analytics, fleet management
- Multi-drones + coordination (upload, stats, heatmaps)
- Monitoring global via Grafana + Loki + Prometheus
Publication : Visible sur le site public IDEO-Lab