NAVSIM – Data-Driven Non-Reactive Autonomous Vehicle Simulation and Benchmarking (2024)

• Référence : NAVSIM2024 – arXiv:2406.15349
• Thème : simulation / conduite autonome
• Lien PDF : https://arxiv.org/pdf/2406.15349.pdf
• Lié à : B010 (RS3 simulateur inertiel 10 Hz), B018 (plateformes open-source AV)

1. Contexte et problème

Les auteurs adressent un besoin de bancs d’essai reproductibles pour l’évaluation des algorithmes de conduite autonome.
Les simulateurs classiques (CARLA, LGSVL, etc.) sont puissants mais souvent :

• centrés sur la perception 3D / rendu visuel,
• basés sur des scénarios synthétiques,
• peu alignés sur des données de trafic réelles.

NAVSIM propose une approche data-driven, non réactive, pour rejouer des scènes réelles de conduite dans un environnement de simulation.

2. Idées et contributions clés

1. Simulation non réactive : l’agent testé ne modifie pas le trafic ou l’environnement ; on observe son comportement dans une scène figée issue des données réelles.
2. Pipeline data-driven : reconstruction des scènes à partir de données :
   • trajectoires véhicules,
   • carte / infrastructure,
   • signaux capteurs.
3. Benchmark standardisé :
   • ensembles de scènes partagés,
   • métriques communes pour comparer les algos (sécurité, confort, respect des règles, etc.).
4. Intégration dans un simulateur existant (type CARLA) mais piloté par des données réelles plutôt que par des scripts purement synthétiques.
5. Reproductibilité scientifique : publication des datasets, du code de génération de scènes et des scripts d’évaluation.

3. Méthodologie

• Construction d’un dataset de scénarios à partir de données de trafic réelles.
• Reconstruction des trajectoires et du contexte routier (intersections, voies, limitations…).
• Injection de ces scènes dans le simulateur :
  • trafic et environnement rejoués,
  • l’agent testé « vit » dans ce monde mais ne le perturbe pas.
• Définition d’un set de métriques d’évaluation adaptées à la conduite autonome non réactive.

4. Résultats et enseignements

• NAVSIM permet de comparer différents algorithmes sur exactement les mêmes scènes, ce qui réduit le côté « benchmark maison » non comparable entre équipes.
• Les auteurs montrent que des différences subtiles entre algos apparaissent clairement lorsqu’ils sont soumis à un panel de scénarios réels répliqués à l’identique.
• Il devient possible de construire un catalogue de scénarios difficiles (edge cases) et de mesurer l’amélioration entre versions d’un même algorithme.

5. Lien avec RS3, Telemachus et ton écosystème

• RS3 vs NAVSIM :
  • RS3 : générateur de trajectoires inertielle+GNSS 10 Hz, avec bruit realistic MEMS, pertes GNSS, événements, etc.
  • NAVSIM : plateforme data-driven non réactive pour rejouer des scènes de conduite autonome et benchmarker des algos.
• Pour B010 : NAVSIM sert de référence “benchmark AV data-driven” quand tu expliques que RS3 se positionne plutôt comme :
  • simulateur de signaux inertiels / GNSS réalistes,
  • injecteur de scénarios dans des pipelines de validation (Telemachus / RoadGeometry).
• Pour B018 : NAVSIM enrichit le panorama des plateformes open-source :
  • tu peux opposer les simulateurs perception-centrés (CARLA),
  • les simulateurs inertiels / trajectoires (RS3),
  • et les plateformes de benchmark data-driven (NAVSIM, BridgeGen…).
• Potentiel lien futur avec Telemachus :
  • normaliser les sorties NAVSIM (trajectoires, événements) dans un format pivot (Telemachus) pour partager des benchmarks de manière interopérable.

6. Idées pour P001 / suite

• Dans P001, NAVSIM peut apparaître comme case d’usage “simulation AV / benchmark” :
  • RS3 produit des trajectoires inertielle+GNSS réalistes,
  • qui peuvent alimenter des pipelines type NAVSIM pour générer des scénarios et évaluer des algos.
• Idée de white paper comparatif : RS3 × NAVSIM × autres plateformes, en termes de :
  • types de signaux simulés (inertie, GNSS, vision, RADAR…),
  • nature des scénarios (synthétiques vs data-driven),
  • utilisation (benchmark, validation sécurité, R&D assureur…).

7. Synthèse personnelle

NAVSIM n’est pas un concurrent direct de RS3, mais une brique complémentaire :

• toi : tu maîtrises la génération physique / inertielle haute fréquence + standardisation (Telemachus),
• eux : ils structurent le benchmark d’algos AV à partir de données de conduite.

Utile pour :

• crédibiliser ton discours dans B010/B018,
• et montrer, côté VAE, que tu situes RS3 dans un écosystème international de simulateurs et de benchmarks.