Le module de vision multimodale s'intègre à l'écosystème robotique de Nvidia

STMicroelectronics et Leopard Imaging propose un module de vision multimodale destiné aux robots humanoïdes et aux systèmes robotiques avancés, intégrant imagerie, détection de profondeur et suivi du mouvement dans une architecture compacte et optimisée pour l’IA en périphérie.

Perception intégrée pour les systèmes robotiques
Le module répond à un besoin central en vision robotique : intégrer plusieurs modalités de capteurs dans une chaîne de données unifiée et synchronisée. En combinant imagerie 2D, détection de profondeur 3D et mesure inertielle du mouvement, les robots peuvent interpréter leur environnement avec une meilleure compréhension contextuelle.

Cette approche permet des applications dans la fabrication, la production automobile, la logistique, l’entreposage et la robotique de service, où les machines évoluent dans des environnements dynamiques et non structurés. L’architecture s’inscrit dans l’évolution de l’automotive data ecosystem et de la robotique industrielle, où la fusion de capteurs est essentielle pour la prise de décision en temps réel.

Le module est conçu pour répondre aux contraintes de taille, de poids et de consommation énergétique (SWaP) propres aux robots humanoïdes.

Intégration native avec l’écosystème robotique NVIDIA
Une caractéristique du module est sa compatibilité avec l’écosystème robotique Nvidia. L’intégration de la technologie Nvidia Holoscan Sensor Bridge permet une transmission de données à très haut débit via Ethernet, assurant l’acquisition en temps réel des données capteurs sur les plateformes Nvidia Jetson.

Cette architecture simplifie la conception des systèmes grâce à une connectivité plug-and-play et réduit le besoin d’interfaces spécifiques. Le module est également pris en charge par la plateforme Nvidia Isaac, qui fournit des modèles d’IA, des outils de simulation et des bibliothèques de développement.

La disponibilité d’API, de systèmes de compilation et d’algorithmes d’IA préconfigurés permet d’accélérer les cycles de développement. Les capacités de simulation, telles que la randomisation de domaine et les modèles de capteurs, contribuent à réduire l’écart entre simulation et déploiement réel.

Architecture de fusion de capteurs et spécifications techniques
Le module intègre trois technologies de détection, chacune dédiée à un aspect spécifique de la perception robotique :

Capteur d’imagerie - Le système intègre le capteur d’image VB1940 RGB-IR avec une résolution de 5,1 mégapixels, prenant en charge les modes rolling shutter et global shutter. Cette combinaison permet de capturer des objets en mouvement rapide sans distorsion tout en maintenant une qualité d’image élevée dans différentes conditions d’éclairage.

La variante V943 de la famille BrightSense, est disponible pour les applications industrielles et grand public, en versions monochrome ou RGB-IR.

Capteur de mouvement - La détection de mouvement repose sur l’unité de mesure inertielle LSM6DSV16X à 6 axes, intégrant un cœur de machine learning (MLC). Celui-ci permet un traitement IA en périphérie ainsi que des fonctions de fusion de capteurs à faible consommation (SFLP).

La technologie Qvar de détection électrostatique permet également des fonctions d’interaction utilisateur.

Capteur de profondeur 3D - La perception de profondeur est assurée par le module LiDAR dToF VL53L9CX, capable de mesurer des distances jusqu’à 9 mètres. Il offre une résolution de 54 × 42 zones (environ 2 300 points de mesure).

Avec un champ de vision de 55° × 42° et une résolution angulaire d’environ 1°, il permet la détection de petits objets et la cartographie d’environnements complexes. Sa fréquence allant jusqu’à 100 images par seconde permet une reconstruction 3D en temps réel.

Accélération du développement de l’IA physique
L’intégration de capteurs synchronisés avec une transmission de données à haut débit permet aux robots d’analyser leur environnement en temps réel. Cette capacité est essentielle pour les systèmes d’IA physique, où perception, décision et action doivent être exécutées avec une faible latence.

Publié avec l'assistance de l'IA par Sucithra Mani, rédactrice pour Induportals.

www.st.com