VisionLab-IA-Drone
Comment un drone peut-il identifier une personne avec certitude, en plein vol,
au milieu d’une foule ou sur un vaste périmètre ? Grâce à une combinaison unique
de vision par ordinateur, de modèles biométriques et d’optimisation des
trajectoires aériennes, notre solution détecte d’abord la présence humaine,
isole le visage, puis procède à une identification fiable en quelques secondes.
au milieu d’une foule ou sur un vaste périmètre ? Grâce à une combinaison unique
de vision par ordinateur, de modèles biométriques et d’optimisation des
trajectoires aériennes, notre solution détecte d’abord la présence humaine,
isole le visage, puis procède à une identification fiable en quelques secondes.
WYATT (Indore) UAV Autonome VSLAM
Un drone autonome qui utilise le VSLAM (Visual Simultaneous Localization and Mapping) est un système qui se
crée une carte de son environnement en temps réel tout en s'y localisant, uniquement grâce à ses caméras,
le plus souvent en l'absence de GPS.
Cette technologie est particulièrement précieuse dans des zones où le signal satellite est faible ou inexistant, comme l'intérieur de bâtiments, des tunnels, ou des environnements urbains denses.
Dans le domaine civil, cette technologie est utilisée pour l'inspection d'infrastructures (ponts, barrages, installations industrielles), la cartographie 3D de chantiers ou de monuments historiques, ainsi que pour les missions de secours en milieu confiné (effondrement de bâtiments, mines, ou grottes).
Dans le domaine militaire, le VSLAM équipe des drones de reconnaissance en milieu urbain ou souterrain, pour des missions de surveillance, de renseignement, ou d'évaluation de zones hostiles sans révéler leur position par émission GPS, tout en maintenant un lien discret via NAVlink pour transmettre des informations tactiques en temps réel.
Cette technologie est particulièrement précieuse dans des zones où le signal satellite est faible ou inexistant, comme l'intérieur de bâtiments, des tunnels, ou des environnements urbains denses.
Dans le domaine civil, cette technologie est utilisée pour l'inspection d'infrastructures (ponts, barrages, installations industrielles), la cartographie 3D de chantiers ou de monuments historiques, ainsi que pour les missions de secours en milieu confiné (effondrement de bâtiments, mines, ou grottes).
Dans le domaine militaire, le VSLAM équipe des drones de reconnaissance en milieu urbain ou souterrain, pour des missions de surveillance, de renseignement, ou d'évaluation de zones hostiles sans révéler leur position par émission GPS, tout en maintenant un lien discret via NAVlink pour transmettre des informations tactiques en temps réel.
Les rouages du système VSLAM
Le fonctionnement d'un drone VSLAM repose sur une boucle de traitement d'image en temps réel, généralement décomposée en trois grandes étapes :
- Perception et extraction des caractéristiques : La caméra du drone capture le flux vidéo. Le système d'imagerie, ou front-end, analyse chaque image pour en extraire des "points d'intérêt" ou caractéristiques visuelles distinctives (coins, bords, textures) grâce à des algorithmes comme ORB ou SIFT . Ces points servent de repères uniques que le drone pourra reconnaître d'une image à l'autre
- Localisation et suivi de trajectoire (Tracking) : En comparant la position de ces points caractéristiques entre deux images successives, le système estime son propre déplacement. Ce processus, appelé odométrie visuelle, permet au drone de déduire comment il a bougé dans l'espace. Pour affiner cette estimation et la rendre plus robuste, les données de la caméra sont souvent fusionnées avec celles d'un capteur inertiel (IMU) qui mesure les accélérations et rotations du drone. On parle alors de VIO (Visual-Inertial Odometry)
- Cartographie et optimisation (Mapping) : Le drone sélectionne certaines images, appelées keyframes, pour les intégrer à sa carte en cours de construction. Ce back-end du système crée une carte 3D (souvent un nuage de points) de l'environnement, ce qui permet de connaître la position des obstacles . Il intègre également un mécanisme de détection de boucle (loop closure) : lorsque le drone reconnaît un endroit déjà visité, il peut "fermer la boucle" et corriger les erreurs de position qui se sont accumulées, rendant la carte et la localisation plus précises
Notre système combine :
1. Caméra Intel D435i et ordinateur embarqué NVIDIA Jetson Orin Nano
La caméra Intel D435i est une caméra stéréoscopique qui fournit à la fois un flux vidéo classique et une carte de profondeur en temps réel. Elle est également équipée d'une centrale inertielle (IMU) intégrée, ce qui permet de mesurer simultanément les mouvements et les accélérations du drone. Toutes ces données sont transmises à l'ordinateur embarqué, un NVIDIA Jetson Orin Nano, qui joue le rôle de "cerveau" visuel. Grâce à sa puissance de calcul optimisée pour l'intelligence artificielle, il exécute en temps réel les algorithmes de VSLAM : détection de points d'intérêt, mise en correspondance des images, construction de la carte et estimation de la trajectoire. Cette architecture embarquée permet un traitement à la volée sans dépendre d'une liaison avec un serveur externe.
2. Calculateur Pixhawk pour le contrôle de vol
Le Pixhawk est un autopilote open-source largement utilisé dans le monde des drones. Il reçoit en continu les estimations de position et d'attitude produites par le système VSLAM, et les traduit en commandes de vol : ajustement de l'assiette, de la puissance des moteurs, de la direction et de l'altitude. Il assure également la gestion des modes de vol (stationnaire, déplacement, retour automatique) et intègre des mécanismes de sécurité : en cas de perte de repères visuels ou de données incohérentes, il peut passer en mode dégradé ou déclencher une procédure d'atterrissage d'urgence.
3. Filtre de Kalman étendu (EKF) pour la fusion visuo-inertielle
Le filtre de Kalman étendu (EKF) est l'algorithme qui fusionne les informations issues de la caméra (position relative par rapport à la carte) et celles de la centrale inertielle (accélérations et vitesses angulaires). Chaque source de données ayant ses propres forces et faiblesses – la caméra est précise mais peut être perturbée par des mouvements brusques ou un manque de texture, tandis que l'IMU est continue mais dérive dans le temps – l'EKF combine intelligemment les deux pour obtenir une estimation de position et d'orientation à la fois stable, fluide et fiable. Cette fusion permet au drone de maintenir une navigation précise même en cas de perte temporaire de repères visuels, en s'appuyant sur l'inertie pour "combler les trous" jusqu'à ce que la caméra retrouve des points de référence.
Points techniques essentiels
- Un système stéréoscopique (deux caméras) ou RGB-D (caméra avec capteur de profondeur) peut mesurer directement la profondeur, offrant une localisation plus précise .
- Pour économiser la batterie, le traitement lourd du VSLAM peut être déporté sur un ordinateur au sol (edge computing) qui communique avec le drone, ne laissant à bord que les tâches de contrôle essentielles .
- VSLAM est couplé à l'intelligence artificielle pour des tâches avancées, comme l'évitement d'obstacles en conditions réelles
