Chapitre 5 : Validation expérimentale

Introduction au chapitre 5 – Détection automatique des événements inertiels

Après avoir injecté des événements inertiels réalistes dans des trajectoires simulées, l’étape suivante consiste à valider leur détectabilité automatique. Ce chapitre est dédié aux méthodes de détection des événements de conduite à partir des signaux inertiels (acc_x, acc_y, acc_z, gyro_x, gyro_y, gyro_z) générés à haute fréquence (10 Hz) via le pipeline de reprojection dynamique.

L’objectif est double :

• vérifier que chaque événement simulé (freinage, accélération, dos d’âne, etc.) produit une signature suffisamment marquée pour être détectée,
• proposer une méthode générique applicable aussi bien aux trajectoires simulées qu’aux données réelles issues d’IMU embarqués.

Les méthodes de détection s’appuient sur plusieurs principes complémentaires :

• des seuils inertiels simples (amplitude, durée, dérivée),
• des signatures temporelles caractéristiques (pic, creux, enchaînements),
• des algorithmes glissants ou à fenêtre adaptative,
• des critères contextuels intégrant la vitesse, le cap ou le type de route,
• des approches hybrides, combinant plusieurs critères pour accroître la robustesse.

Ce chapitre décrit successivement :

• la modélisation des signatures associées à chaque type d’événement,
• les méthodes de détection par seuils inertiels simples,
• les approches hybrides (combinant inertie, vitesse et topologie),
• les critères de validation des détections (précision, rappel, exactitude),
• et les performances des détecteurs selon différents contextes simulés.

Cette phase de détection inertielle constitue un prolongement direct de la reprojection dynamique, en validant que les signaux simulés à 10 Hz ne sont pas seulement cohérents mais aussi exploitables pour l’analyse comportementale. Elle prépare ainsi le chapitre 6, consacré à l’interprétation des événements détectés et à l’évaluation du style de conduite sur la base des trajectoires enrichies.

Description des jeux de données réels utilisés

Objectifs

Cette section décrit les jeux de données GPS/IMU utilisés pour calibrer, valider et comparer les performances des algorithmes de détection inertielle développés dans RoadSimulator3. Ces données réelles constituent une référence empirique indispensable pour évaluer le réalisme des événements simulés et la robustesse des méthodes de détection.

Traces de véhicules instrumentés

Plusieurs séries de trajets ont été collectées à l’aide de véhicules instrumentés, équipés de capteurs GNSS de haute précision et d’unités de mesure inertielle (IMU) synchronisées. Les signaux sont enregistrés à haute fréquence (≥10 Hz), avec une grande fidélité temporelle et spatiale.

Les variables mesurées incluent :

• Positions géographiques : latitude, longitude, altitude.
• Timestamps GPS synchronisés : précision sub-secondaire.
• Vitesse instantanée : issue du GPS ou de capteurs odométriques.
• Orientation : angles de cap, tangage et roulis.
• Accélérations tri-axiales : acc_x, acc_y, acc_z.
• Vitesses angulaires : gyro_x, gyro_y, gyro_z.

Ces données permettent une comparaison fine entre les signatures simulées et les profils inertiels réels.

Diversité des environnements couverts

Afin d’évaluer la généricité des méthodes, les trajets couvrent une variété de conditions routières :

• Milieu urbain : densité élevée, arrêts fréquents, perturbations GNSS, virages serrés.
• Zones rurales : faible trafic, trajectoires plus linéaires, peu d’interférences GNSS.
• Autoroutes : grande vitesse, faible sinuosité, conditions GNSS optimales.

Cette diversité permet de tester les méthodes sur des comportements inertiels variés et réalistes.

Provenance des données

Les jeux de données utilisés sont issus de trois sources principales :

• Enregistrements internes RoadSimulator3 : trajets annotés, capteurs MEMS embarqués, fréquence fixe 10 Hz.
• Jeux de données publics : NGSIM, KITTI, adaptés aux formats inertiels.
• Partenariats académiques et industriels : données anonymisées, capteurs variés.

Tableau synthétique

Conclusion

Ces jeux de données réels permettent de calibrer les signatures d’événements, de valider la détectabilité des injections simulées, et d’identifier les limites des détecteurs dans des conditions variées. Ils constituent un socle empirique indispensable au développement d’algorithmes robustes, reproductibles et comparables.

Protocoles d’évaluation des détections inertiels

Objectif

Cette section formalise les protocoles d’évaluation utilisés pour valider la qualité des événements détectés à partir des trajectoires simulées enrichies. L’objectif est de s’assurer que les signatures inertiels injectées restent détectables de manière fiable, même après ajout de bruit, interpolation ou transformations liées à la reprojection.

Comparaison trajectoire originale vs trajectoire reprojetée

• Mesures spatiales

  • Erreur de position (distance entre les points simulés et les originaux).
  • Dérive cumulative sur la trajectoire reprojetée.
  • Visualisation sous forme de heatmaps ou superpositions cartographiques.

• Mesures temporelles

  • Stabilité de la fréquence temporelle (objectif : 10 Hz ± 5 %).
  • Conservation des timestamps injectés lors de l’ajout des événements.
  • Évaluation de la cohérence temporelle après filtrage ou rééchantillonnage.

Évaluation des profils dynamiques

• Analyse inertielle

  • Comparaison des distributions d’accélération (acc_x, acc_y, acc_z) avant/après injection.
  • Étude des dérivées temporelles pour détecter des pics anormaux ou lissages excessifs.
  • Corrélation temporelle des signaux avant et après transformation.

• Analyse des vitesses

  • Distribution de la vitesse (moyenne, max, min, écart-type).
  • Analyse de la dynamique dans les phases critiques (freinages, virages, arrêts).
  • Tests de normalité (Shapiro-Wilk, Kolmogorov-Smirnov) sur les distributions d’accélération.

Validation des événements simulés

• Détection effective

  • Taux de détection : proportion d’événements simulés effectivement retrouvés.
  • Précision et rappel par type d’événement (TP, FP, FN).
  • Écarts temporels entre l’injection et la détection (latence, anticipation).

• Comparaison avec données réelles

  • Alignement des signatures simulées avec celles issues de données embarquées.
  • Validation qualitative par inspection graphique des profils inertiels.
  • Mesures de similarité entre signatures simulées et signatures réelles (RMSE, DTW).

Robustesse et généralisabilité

• Application sur divers environnements : urbain, rural, autoroute.
• Tests en présence de bruit inertiel réaliste, d’erreurs GNSS et de perturbations.
• Évaluation croisée sur différents scénarios simulés pour tester la robustesse des détections.

Conclusion

Les protocoles d’évaluation développés dans cette section permettent une validation rigoureuse de la chaîne complète : injection, transformation, détection. Ils constituent un socle essentiel pour garantir la reproductibilité, la robustesse et la fidélité des trajectoires enrichies générées par RoadSimulator3.

Résultats : évaluation des performances de détection

Objectif

Cette section présente les résultats obtenus lors de l’évaluation des performances de détection des événements inertiels injectés dans les trajectoires simulées avec RoadSimulator3. Elle analyse la précision spatiale, la fidélité temporelle, la qualité dynamique des signaux simulés, ainsi que les limites identifiées.

Performances globales

• Précision spatiale
  L’erreur moyenne de positionnement entre la trajectoire originale et la trajectoire reprojetée est de l’ordre de X mètres (± Y m). La dérive cumulative reste généralement inférieure à Z mètres sur des trajets de plusieurs kilomètres.

• Fidélité temporelle
  La fréquence d’échantillonnage est maintenue à 10 Hz ± 2 %, ce qui garantit une résolution suffisante pour la détection d’événements inertiels courts. L’ajout ou la suppression de points lors de la reprojection ne perturbe pas significativement la régularité temporelle.

• Qualité dynamique
  Les profils de vitesse, d’accélération et de vitesse angulaire respectent les contraintes physiques spécifiées (par type d’événement), avec une erreur moyenne de vitesse inférieure à XX km/h. Les signatures inertielle simulées sont jugées réalistes selon les tests de distribution (normalité, asymétrie, aplatissement) et les comparaisons spectrales.

• Efficacité computationnelle
  Le temps de traitement moyen pour une simulation de N points est de T secondes, ce qui rend le pipeline compatible avec une utilisation en mode batch ou intégré à des systèmes embarqués.

Limites observées

• Sensibilité aux erreurs GPS initiales
  Les sauts ou erreurs de positionnement GNSS peuvent provoquer des artefacts dans la trajectoire reprojetée. Une correction préalable des données brutes est recommandée (filtrage ou lissage spatial).

• Virages complexes et heading instables
  Dans les zones très sinueuses, la reconstruction du cap et l’interpolation inertielle peuvent produire des incohérences locales. L’intégration d’un filtre de régularisation ou d’un modèle dynamique plus sophistiqué est envisagée.

• Dépassements de contraintes physiques
  Lors de phases de transition rapide, certaines contraintes (accélération max, variation de vitesse) peuvent être légèrement dépassées. Un raffinement des interpolateurs ou un système de régulation par gradient inertiel est en cours de test.

• Détection des événements rares
  Certains événements à signature courte ou très localisée (nid de poule, choc trottoir) sont plus difficiles à détecter de manière robuste. L’ajout de gyroscope et l’amélioration des détecteurs hybrides sont proposés.

Études de cas

• Trajets avec arrêts prolongés
  Nécessité de gérer la densification excessive des points durant les pauses, et de recaler précisément les timestamps pour éviter le suréchantillonnage inertiel.

• Zones urbaines denses
  Forte variabilité de la vitesse et bruit GNSS important ; les événements sont bien détectés mais plus sensibles au placement spatial. Les signatures restent cohérentes mais nécessitent une évaluation plus robuste (multi-indicateurs).

• Scénarios autoroutiers
  Faible dynamique inertielle, peu d’événements simulés, mais cohérence temporelle très bien respectée. La qualité dynamique reste élevée sur toute la durée.

Conclusion

Les résultats confirment la robustesse et la pertinence de la méthode de simulation et de détection mise en œuvre dans RoadSimulator3. Les événements inertiels sont globalement bien reproduits et détectés, avec une résolution temporelle et une précision spatiale adaptées aux applications d’analyse embarquée ou d’apprentissage automatique. Des marges d’amélioration subsistent, en particulier sur la gestion des événements courts, des virages complexes et des artefacts GNSS.

Robustesse aux perturbations et scénarios dégradés

Objectif

Cette section évalue la capacité du système RoadSimulator3 à détecter des événements inertiels dans des conditions réalistes mais dégradées, telles que des pertes de GNSS, du bruit IMU accru, ou des événements combinés. L’objectif est de démontrer la résilience des algorithmes face à des signaux bruités, incomplets ou altérés.

Perturbations simulées

Afin de tester la robustesse des détecteurs, plusieurs types de perturbations ont été simulés dans les trajectoires :

• Dégradation GNSS :

  • interruptions temporaires du signal (décrochage),
  • ajout de bruit de position (offsets aléatoires ou bruit gaussien),
  • latence ou désynchronisation temporelle.

• Perturbations IMU :

  • injection de biais inertiels persistants (sur acc_x, gyro_z…),
  • amplification du bruit blanc (bruit inertiel stochastique),
  • dérive gyroscopique (random walk sur gyro_x, gyro_y).

• Événements combinés :

  • virages serrés combinés à des pentes abruptes,
  • freinages en présence d’un dos d’âne ou d’une chaussée déformée,
  • enchaînement rapide d’événements distincts.

Ces perturbations visent à reproduire des situations critiques que les systèmes embarqués doivent savoir interpréter correctement.

Méthodologie d’évaluation

Pour chaque scénario perturbé, les performances de détection sont comparées aux résultats de référence (scénario nominal). Les indicateurs évalués sont :

• Taux de détection (Recall) : proportion d’événements détectés parmi ceux réellement injectés.
• Taux de faux positifs (False Positives Rate) : nombre de détections erronées provoquées par les perturbations.
• Score F1 : moyenne harmonique entre précision et rappel.
• Stabilité inertielle : écart-type et dérive des indicateurs synthétiques calculés sur acc_x, acc_z, gyro_z.

Les simulations sont répétées avec plusieurs niveaux de bruit (bas, modéré, élevé) pour mesurer la dégradation progressive des performances.

Résultats observés

• Les perturbations GNSS affectent surtout la localisation des événements, mais les signatures inertiels restent détectables dans la plupart des cas.
• L’injection de biais inertiels impacte significativement les détecteurs à seuils fixes, nécessitant une normalisation préalable.
• Les événements combinés génèrent des signatures plus complexes, parfois confondues avec d’autres types d’événements. L’intégration de critères contextuels (vitesse, topologie) améliore les performances.
• Les meilleurs résultats sont obtenus avec des détecteurs hybrides exploitant à la fois acc_x, gyro_z et la dynamique de vitesse.

Références

• [alaba2024]
• 📖 Full Auto-Calibration of a Smartphone on Board a Vehicle
• 📖 GPS-IMU Sensor Fusion Techniques
• 📖 zhaoInvariantFilteringWheeled2020

Conclusion

La robustesse des détecteurs inertiels intégrés dans RoadSimulator3 reste satisfaisante dans des scénarios dégradés. La combinaison d’approches multicapteurs, de normalisation dynamique et de critères contextuels permet de préserver des performances élevées, y compris en présence de bruit important ou d’interférences. Ces résultats ouvrent la voie à l’intégration embarquée des algorithmes dans des systèmes réels de perception véhicule.

Limites actuelles et perspectives d’amélioration

Limites identifiées

Malgré la robustesse du pipeline RoadSimulator3, certaines limitations subsistent dans la génération et la détection des événements inertiels :

• Modélisation simplifiée de certains événements complexes
  Les dynamiques associées à des situations telles que les ronds-points, les successions de virages ou les dégradations routières complexes (chaussée irrégulière, ralentisseurs non standard) ne sont pas encore modélisées par une combinaison complète d’accélérations et de rotations couplées.

• Absence de modèle d’odométrie
  Le simulateur ne prend pas encore en compte les données issues d’un capteur de roue (odomètre), ce qui limite les estimations de distance en cas de dégradation du signal GNSS. Cela affecte particulièrement les scénarios souterrains ou urbains denses.

• Signatures gyroscopiques encore simplifiées
  Bien que des profils gyroscopiques soient injectés avec du bruit et des variations réalistes, ils ne reposent pas encore sur un modèle complet à 6 degrés de liberté décrivant finement les rotations combinées autour des axes (yaw, pitch, roll) dans les situations complexes.

Perspectives d’amélioration

Plusieurs axes sont envisagés pour enrichir la version 2.0 de RoadSimulator3 :

• Simulation avancée des scénarios gyroscopiques
  Intégration d’événements fins comme l’ouverture de portière (signature gyroscopique brève et localisée), les rotations lentes au ralenti ou les effets inertiels typiques des virages urbains serrés.

• Fusion GNSS / IMU / odométrie
  Ajout d’un module de fusion multi-capteurs inspiré des approches SLAM ou des filtres invariants zhao (2020), permettant d’améliorer la continuité de la trajectoire en zone GNSS dégradée et de renforcer la robustesse des détections.

• Apprentissage supervisé de signatures inertielle complexes
  Utilisation de jeux de données réels pour apprendre des profils inertiels typiques via des réseaux de neurones ou des techniques d’apprentissage par motifs, en vue d’améliorer l’injection comme la détection.

Conclusion

Ces pistes d’amélioration visent à renforcer la fidélité physique et comportementale des événements simulés dans RoadSimulator3. Elles permettront d’étendre les cas d’usage, d’accroître la robustesse des algorithmes en conditions réelles, et de rapprocher davantage les données simulées des signaux issus de capteurs embarqués dans des véhicules réels.

Conclusion du chapitre 5

Ce chapitre a présenté en détail les méthodes de détection automatique des événements inertiels dans RoadSimulator3, en s’appuyant sur des trajectoires simulées enrichies et des jeux de données réels.

Les contributions majeures incluent :

• la formalisation des signatures caractéristiques pour chaque type d’événement (accélération, freinage, dos d’âne, etc.),
• l’élaboration de détecteurs fondés sur des seuils inertiels, des critères temporels et contextuels,
• l’évaluation rigoureuse des performances via des indicateurs standards (précision, rappel, F1-score),
• la validation croisée avec des trajectoires bruitées ou partiellement observables,
• l’étude de la robustesse face à des perturbations réalistes (bruit IMU, perte GNSS, enchaînements rapides).

Les résultats obtenus confirment la capacité de RoadSimulator3 à produire des trajectoires synthétiques où les événements inertiels sont à la fois fidèles, injectés avec contrôle, et détectables avec une bonne précision, y compris en conditions dégradées.

Ce socle méthodologique prépare le chapitre suivant, consacré à l’analyse comportementale des conducteurs à partir des événements détectés, et à l’extraction d’indicateurs dynamiques à haute fréquence pour la modélisation du style de conduite.