BEVRender × RS3 : fusion vision–inertielle dans les zones GNSS-denied

Contexte

Certaines zones urbaines ou tunnels coupent complètement le signal GNSS.
Dans ces conditions, une intégration purement inertielle dérive rapidement, rendant la localisation imprécise après seulement quelques secondes.

Avec RS3, nous avons simulé plusieurs scénarios où le GPS devient inopérant pendant plusieurs dizaines de secondes.
Objectif : tester la robustesse de différentes stratégies de fusion, dont BEVRender, un moteur de perception basé sur la vision embarquée.

Principe de BEVRender

BEVRender exploite des caméras monoculaires pour reconstruire une vue en projection au sol (Bird’s Eye View).
Le modèle repose sur une architecture de type Transformer couplée à un encodeur spatial, projetant la scène dans un espace métrique compatible avec la fusion inertielle.
À partir de cette représentation, le réseau détecte :

• la géométrie de la route (voies, bordures, intersections),
• les objets dynamiques,
• et la trajectoire la plus probable du véhicule.

L’avantage ? Ces signaux sont spatialisés et donc exploitables dans une chaîne de fusion multi-capteurs avec l’IMU et l’odométrie RS3.

Intégration dans RS3

Dans notre pipeline, BEVRender est encapsulé comme un module de perception exportant :

topic: perception.bevrender
rate: 10 Hz
fields: [x, y, yaw, confidence]

Ce module est ensuite fusionné avec :

• l’IMU simulée (accélérations, gyroscopes),
• et l’odométrie inertielle RS3.

La fusion s’effectue via un Multi-Modal Kalman Filter (MMKF), capable de pondérer dynamiquement les sources selon leur confiance.

Résultats préliminaires

• réduction de la dérive inertielle d’un facteur 3 à 5 sur les scénarios urbains complexes ;
• maintien de la cohérence topologique de la trajectoire même sans GNSS ;
• latence moyenne inférieure à 100 ms.

Ces premiers résultats confirment que la fusion vision + inertielle est non seulement viable mais essentielle pour les environnements GNSS-denied.

Ces performances positionnent BEVRender comme un candidat solide pour la navigation autonome hybride, combinant apprentissage profond et contraintes physiques.

Perspectives

Prochaine étape : intégrer la couche Telemachus pour enregistrer automatiquement les sorties BEVRender dans le format pivot telemachus:perception.

Cela permettra d’alimenter des datasets ouverts fusionnant vision, IMU et GNSS simulé.

📘 Référence associée :
P007 – Robust Localization in GNSS-denied Environments using BEVRender and Inertial Fusion

✍️ Auteur : Sébastien Edet – RoadSimulator3 / Telemachus3

Conclusion

En combinant perception visuelle et inertie simulée, RS3 et BEVRender démontrent qu’une approche de fusion bien conçue peut compenser efficacement la perte de GNSS.
Cette intégration préfigure les futures architectures de navigation autonomes, robustes et explicables.