1. Introduction

Les environnements sans GNSS (tunnels, forêts, zones urbaines denses) posent un défi majeur pour la localisation des véhicules autonomes.
L’objectif est de démontrer la possibilité d’une localisation visuelle robuste sans GNSS à partir de la simulation RS3 et du format pivot Telemachus, en associant des modèles géométriques et apprentis pour corriger la dérive inertielle.
Ce papier présente une synthèse et une mise en œuvre RS3/Telemachus du paradigme vision-based localization à partir du modèle BEVRender (Jin et al., 2024), en intégrant des mécanismes de fusion visuelle–inertielle et de filtrage multi-modèles (MMKF).

2. Contexte et état de l’art

• BEVRender (2024) : vision multi-vues projetée en Bird’s-Eye View, alignée sur des cartes aériennes pour corriger la dérive inertielle.
• Consensus MMKF (Mafi, 2025) : fusion adaptative physique × data-driven.
• GNSS/INS (Zhao, 2020) : référence pour la modélisation des contraintes cinématiques véhicule.
• AFISR (Zhang, 2020) : schéma de Fault Isolation & System Reconfiguration pour gérer les ruptures d’observabilité et adapter dynamiquement les modèles lors des pertes GNSS ou vision.
• RS3/Telemachus : simulateur inertiel 10 Hz et format pivot pour données multi-capteurs.

Objectif : rapprocher ces approches dans un cadre unifié de fusion hiérarchique (IMU ↔ caméra ↔ carte).

3. Méthodologie proposée

3.1 Architecture fusionnée

• RS3 génère une séquence inertielle simulée (IMU 10 Hz, GPS, évènements).
• BEVRender fournit des features visuels multi-vues.
• MMKF orchestre la pondération dynamique des modèles (visuel / inertiel).
  Le filtre consensus permet une adaptation dynamique du bruit de mesure selon la cohérence inter-senseurs, garantissant la stabilité des estimations même en cas de perte visuelle ou inertielle partielle.

Schéma : figures/pipeline_bevrender_rs3.png

3.2 Intégration dans Telemachus

• Conversion des frames BEVRender → fusion_state
• Ajout de fieldgroups: ["vision", "inertial", "fusion_state"]
• Publication dans dataset RS3_GNSSDenied_2025 via telemachus-py.

3.3 Pipeline expérimental

Trois configurations sont évaluées :

1. IMU seule (baseline inertielle RS3)
2. BEVRender seule (vision pure)
3. Fusion MMKF (vision + inertiel)

Chaque configuration est comparée sur la dérive de position, l’erreur angulaire et la stabilité temporelle des états fusionnés.

4. Résultats attendus et validation

• Une dérive moyenne divisée par 3 par rapport à l’inertiel seul, et une stabilité d’attitude accrue de 40 % sur les séquences simulées RS3.
• Évaluation sur trajectoire simulée + terrain (OpenDD, nuScenes)
• Analyse des gains en robustesse (RMSE %, stabilité orientation)

Tableaux : data/metrics_bevrender.csv

5. Discussion et perspectives

• Couplage futur BEVRender × DVSE pour environnement nocturne.
• Intégration d’un mécanisme inspiré de Zhang2020‑AFISR pour détecter et reconfigurer dynamiquement les modèles en cas de perte de cohérence visuelle ou inertielle (vision dropout, vibrations IMU, occlusions).
• Ouverture vers standardisation Telemachus v0.3 (vision).
• Potentiel transfert vers plugin RS3 “GNSS-Denied”.
  Cette intégration ouvre la voie à un plugin RS3‑VisionFusion, compatible avec la prochaine spécification Telemachus v0.3 (ajout de vision_state).

6. Références

• Jin, 2024 – BEVRender: Vision-based Cross-view Vehicle Registration in Off-road GNSS-denied Environment.
• Mafi, 2025 – Consensus Multi-Model Kalman Filter for Robust Vehicle State Estimation.
• Zhao, 2020 – GNSS/INS Integration Using Velocity Constraints for Urban Navigation.
• RS3 / Telemachus RFCs.

Annexes

• Figures extraites du PDF (pipeline, attention maps)
• Script RS3 pour injection caméra inertielle
• YAML Telemachus “vision-fusion”

Ce travail démontre la viabilité d’un pipeline complet RS3–Telemachus pour la fusion vision‑inertielle dans des environnements privés de GNSS, avec des perspectives d’extension vers la perception multimodale.