La vision par ordinateur est le processus par lequel le drone passe de la "sensation" (recevoir des pixels) à la "perception" (interpréter le contenu sémantique de ces pixels). La chaîne de traitement visuel embarquée est une cascade de modèles neuronaux, chacun spécialisé dans une tâche, et dont les sorties se nourrissent mutuellement.

1. Classification & Extraction de Caractéristiques (Backbone)

Au plus bas niveau, un réseau de neurones convolutifs (CNN), souvent pré-entraîné sur d'immenses bases de données (ex: ImageNet), sert de "colonne vertébrale" (backbone). Son rôle est d'extraire des caractéristiques hiérarchiques de l'image (des contours simples aux motifs complexes). Ces "feature maps" sont ensuite utilisées par les modèles plus spécialisés.

• Architectures Clés : ResNet, EfficientNet, MobileNet (optimisé pour l'embarqué).

2. Détection d'Objets en Temps Réel

Le but est de localiser et classifier chaque objet d'intérêt dans l'image. On distingue deux grandes familles :

• Two-Stage Detectors (ex: Faster R-CNN) : Proposent d'abord des "régions d'intérêt", puis classifient chaque région. Plus précis mais plus lents, ils sont utilisés pour l'analyse post-mission.
• One-Stage Detectors (ex: YOLO, SSD) : Effectuent la localisation et la classification en un seul passage. Extrêmement rapides, ils sont le standard pour la détection temps réel embarquée. La famille YOLO (You Only Look Once) est particulièrement populaire.
• Applications : Surveillance (comptage de véhicules), agriculture (détection de mauvaises herbes), inspection (identification de défauts).

3. Segmentation : Compréhension au Niveau du Pixel

La segmentation fournit la compréhension la plus fine de la scène, essentielle pour la navigation et l'interaction physique.

• Sémantique (ex: U-Net, DeepLab) : Assigne une classe à chaque pixel (route, bâtiment, ciel...). Le résultat est une "carte de navigabilité" qui indique au planificateur les zones franchissables.
• Instance (ex: Mask R-CNN) : Différencie les instances d'une même classe (piéton_1, piéton_2). Crucial pour le suivi et l'analyse comportementale.
• Panoptique : Combine les deux approches pour une compréhension totale de la scène.

4. Suivi Multi-Objets (Multi-Object Tracking - MOT)

Le défi est de maintenir une identité cohérente pour chaque objet détecté à travers le temps, malgré les occultations et les mouvements. L'approche standard est le "Tracking-by-Detection". Un algorithme comme DeepSORT utilise un filtre de Kalman pour prédire la position future de chaque objet et un modèle de Deep Learning pour associer les détections actuelles aux pistes existantes en se basant sur l'apparence et le mouvement.

CNN YOLOv8 U-Net Mask R-CNN DeepSORT TensorRT

Le SLAM (Simultaneous Localization and Mapping) est la capacité fondamentale d'un agent autonome à opérer dans un environnement inconnu sans infrastructure de navigation externe (comme le GPS). L'architecture d'un système SLAM moderne se divise en deux composants principaux : le Front-End et le Back-End.

1. Le Front-End : L'Interprétation Sensorielle

Le Front-End est responsable du traitement des données brutes des capteurs pour estimer le mouvement du drone d'une image à l'autre (odométrie) et pour construire une représentation locale de l'environnement.

• Pour le V-SLAM (Visuel) : Il extrait et apparie des points de repère visuels (features) à travers les images successives (ex: ORB, SIFT). Il estime ensuite la transformation (rotation + translation) entre les images via des méthodes géométriques (ex: résolution du problème PnP - Perspective-n-Point).
• Pour le LiDAR SLAM : Il utilise des algorithmes comme ICP (Iterative Closest Point) pour aligner ("enregistrer") les nuages de points 3D successifs et en déduire le mouvement du drone.
• La Fusion Inértielle (VIO/LIO) : C'est la norme. Les données de l'IMU, intégrées à très haute fréquence, fournissent une première estimation du mouvement et une information sur l'échelle métrique, rendant l'odométrie beaucoup plus robuste aux mouvements rapides et aux environnements pauvres en textures.

2. Le Back-End : L'Optimisation Globale

L'odométrie du Front-End accumule inévitablement une erreur ("drift"). Le rôle du Back-End est de corriger cette dérive en optimisant globalement la trajectoire et la carte.

• Optimisation de Graphe (Pose-Graph Optimization) : La trajectoire est représentée comme un graphe où les nœuds sont les positions ("poses") du drone à différents instants et les arêtes sont les contraintes de mouvement entre elles (issues du Front-End).
• Fermeture de Boucle (Loop Closure) : C'est l'étape la plus critique. Quand le drone reconnaît un endroit déjà visité, une nouvelle contrainte "longue distance" est ajoutée au graphe. Le Back-End utilise alors des solveurs non-linéaires (ex: g2o, Ceres) pour redistribuer l'erreur sur l'ensemble du graphe, corrigeant ainsi la carte et la trajectoire de manière globale.

3. La Planification de Trajectoire Hiérarchique

La navigation n'est pas juste la localisation. C'est le calcul d'un chemin sûr et efficace.

• Global Planner (ex: A*, Dijkstra) : Trouve un chemin optimal sur la carte connue, mais sans considérer les contraintes dynamiques.
• Local Planner (ex: DWA, TEB) : Génère des trajectoires à court terme qui sont cinématiquement réalisables par le drone, qui évitent les obstacles locaux (y compris ceux en mouvement) et qui tentent de suivre le plan global.

ORB-SLAM3 LiDAR-ICP Pose-Graph Optimization Bundle Adjustment Dynamic Window Approach

Au-delà de la perception et de la navigation, les moteurs d'IA avancés permettent au drone d'apprendre des stratégies de comportement complexes et de collaborer intelligemment avec d'autres agents.

1. Apprentissage par Renforcement (RL) pour le Contrôle Agile

Le RL est un paradigme d'apprentissage par l'expérience. Un "agent" (le drone) apprend une "politique" (une stratégie de contrôle) en maximisant une "récompense" définie par l'ingénieur, à travers des millions d'essais-erreurs dans un environnement simulé.

• Le Défi du "Sim2Real Gap" : La principale difficulté est de transférer une politique apprise en simulation vers le monde réel, qui a des dynamiques, des latences et des bruits de capteurs différents.
• Solutions Techniques :
  • Randomisation de Domaine : Entraîner l'agent dans des milliers de variations de la simulation (masse du drone, vents, latence...) pour qu'il apprenne une politique robuste et adaptable.
  • Distillation de Politique (Policy Distillation) : Entraîner un immense réseau "professeur" avec des capacités quasi-infinies dans le cloud, puis l'utiliser pour entraîner un petit réseau "étudiant" compact et efficace, capable de tourner sur le hardware embarqué.
• Applications de Niche : Vol acrobatique, course de drones, navigation à haute vitesse dans des environnements extrêmes (forêts denses).

2. Intelligence d'Essaim et Systèmes Multi-Agents (MAS)

La collaboration entre drones repose sur des algorithmes décentralisés. Il n'y a pas de "cerveau central", mais une intelligence collective qui émerge des interactions locales entre agents. L'objectif est d'accomplir une tâche qu'un seul drone ne pourrait pas réaliser.

• Mécanismes de Coordination :
  • Allocation de Tâches par Enchères : Pour des tâches comme l'exploration, les drones peuvent "miser" sur des zones à explorer en fonction de leur proximité et de leur énergie restante. C'est un moyen efficace de se répartir le travail (ex: Contract Net Protocol).
  • Formation de Consensus : Pour la cartographie collaborative, les drones doivent s'accorder sur une carte commune en fusionnant leurs observations locales via des algorithmes de consensus.
  • Planification Collaborative : Les drones partagent leurs intentions de trajectoire pour éviter les collisions et se déconflicter, tout en maintenant une formation optimale.
• Communication (MANETs) : La viabilité d'un essaim dépend de la création d'un réseau de communication ad-hoc et résilient (Mobile Ad-hoc Network), où chaque drone sert de relais pour les autres.

PPO (Proximal Policy Optimization) Sim2Real Transfer Domain Randomization Multi-Agent Systems (MAS) MANET