Offre de thèse
Évaluation multimodale du risque de chute en réalité virtuelle par fusion motricité–cognition–physiologie (IMU - fNIRS - rPPG)
Date limite de candidature
25-05-2026
Date de début de contrat
01-10-2026
Directeur de thèse
MORERE Yann
Encadrement
Modalités définies par l'école doctorale IAEM
Type de contrat
école doctorale
équipe
AXE HESAcontexte
La chute constitue un enjeu majeur de santé publique chez les personnes âgées, avec des causes multifactorielles (motrices, cognitives, attentionnelles, émotionnelles). Le test clinique Time Up and Go (TUG) est un test largement utilisé pour dépister le risque de chute, mais il reste limité en précision prédictive et ne capture qu'imparfaitement la complexité des mécanismes en jeu. D'autres tests plus complexes intégrant des doubles tâches peuvent être envisagés afin de mettre en évidence des facteurs de risques de chute autres que l'analyse seule de la marche. Les approches récentes basées sur la réalité virtuelle (RV) permettent de : • standardiser les protocoles, • enrichir les situations (obstacles, perturbations), • collecter des indicateurs cinématiques fins. Cette étude fait suite au projet financé par la fondation MAIF pour la recherche (2023-2026) portant sur la définition de nouveaux biomarqueurs de la mobilité par réalité virtuelle. Il a été accompagné d'une thèse financée par le laboratoire et centrée sur l'évaluation de la mobilité des personnes âgées par capteurs portés de type centrale inertielle, où des modèles d'apprentissage automatique et profonds ont été spécifiquement développés et entraînés sur une base de données publiques proposée par l'Université de Kiel, en Allemagne [1], [2]. Cependant, ces systèmes restent majoritairement centrés sur la performance motrice, sans intégrer la dimension physiologique (coût de l'effort, stress, charge cognitive), pourtant essentielle dans la compréhension du risque de chute. Nous proposons ici d'enrichir les systèmes d'évaluation de la mobilité utilisant de la RV par des mesures physiologique. Nous proposons une approche originale où l'entièreté des mesures physiologiques seront prises de manière sans contact avec la personne. • Les avancées en mesure de signaux physiologiques sans contact et en particulier la photopléthysmographie à distance (remote photoplethysmography, rPPG) permettent d'estimer des paramètres cardiovasculaires (fréquence cardiaque, variabilité) via une simple caméra [3]. L'intégration de cette technologie dans un casque de RV ouvre la voie à une mesure continue, non invasive et écologique de l'état physiologique du patient. • L'activité électrodermale est particulièrement utile pour détecter les réponses émotionnelles, la charge mentale, ou l'état de stress de la personne. Il s'agit d'un indicateur fiable de l'activation du système nerveux autonome. Nous proposons ici d'utiliser une caméra infrarouge et de poursuivre les études autour de la mesure sans contact de l'activité électrodermale sur la zone maxillaire (sous le nez) [4], [5]. • Un capteur fNIRS à monocanal permettra, en plus, de mesurer de la charge cognitive [6]. Il s'agit d'un suivi en temps réel du niveau de sollicitation mentale (surcharge, sous-charge). Il permet aussi de mesurer le degré d'engagement (flow) grâce à l'activation préfrontale [7]. L'ajout de ces signaux physiologiques à l'analyse de la marche et du mouvement apporte plusieurs dimensions complémentaires que les capteurs cinématiques seuls (accéléromètres, gyroscopes, plates-formes de force, caméras) ne peuvent pas capturer. L'AED et la variabilité de la fréquence cardiaque (HRV) peuvent indiquer un niveau de stress physiologique et d'effort perçu pendant la marche, indépendamment de la performance motrice objective. Ceci est particulièrement utile pour les populations fragiles (personnes âgées) où la marche peut générer une charge autonome élevée même à faible vitesse. Le fNIRS permet de mesurer l'activation corticale pendant la marche. On peut ainsi quantifier la demande attentionnelle de la marche notamment dans le cas d'une double tâche : chez une personne âgée ou un patient parkinsonien, marcher mobilise des ressources cognitives importantes, visibles sur le signal cérébral. En résumé, l'apport fondamental est de passer d'une analyse cinématique du mouvement à une analyse systémique : on ne décrit plus seulement comment la personne marche, mais ce que cela lui coûte énergétiquement, cognitivement, émotionnellement. Cette démarche est indispensable dès que l'on s'intéresse à des populations fragiles ou à risque de chute.spécialité
Automatique, Traitement du signal et des images, Génie informatiquelaboratoire
LCOMS - Laboratoire de Conception, Optimisation et Modélisation des Systèmes
Mots clés
Evaluation, mobilité, signaux physiologiques, Intelligence Artificielle, Traitement du signal, réalité virtuelle et mixte
Détail de l'offre
Contexte et problématique
Les chutes chez les personnes âgées sont un enjeu majeur de santé publique, avec des causes multifactorielles (motrices, cognitives, émotionnelles). Le test clinique Time Up and Go (TUG) est largement utilisé, mais il reste limité en précision prédictive. Les approches récentes en réalité virtuelle (RV) permettent de standardiser les protocoles, enrichir les situations (obstacles, perturbations) et collecter des indicateurs cinématiques fins. Cependant, ces systèmes restent majoritairement centrés sur la performance motrice, sans intégrer la dimension physiologique (coût de l'effort, stress, charge cognitive), pourtant essentielle pour comprendre le risque de chute.
Objectifs scientifiques
L'objectif général est de proposer une évaluation multimodale du risque de chute en RV, combinant trois dimensions complémentaires :
1. Mobilité : performance et stabilité du mouvement (via IMU).
2. Cognition : capacité à gérer des situations de double tâche (tâches cognitives simultanées).
3. Physiologie : réponse cardiovasculaire et émotionnelle (via rPPG, AED, fNIRS).
Cette approche vise à :
- Améliorer la sensibilité et la spécificité de la détection du risque de chute.
- Identifier des profils de fragilité différenciés.
- Proposer de nouveaux biomarqueurs numériques exploitables en clinique.
Méthodologie
Dispositif expérimental
- Casque de RV équipé de caméras embarquées.
- Caméra visible pour l'estimation de la rPPG (fréquence cardiaque, variabilité).
- Caméra infrarouge (IR) pour l'estimation de l'activité électrodermale (AED) (stress, charge mentale).
- Système de capture de mouvement (5 trackers IMU).
- Capteur fNIRS pour mesurer la charge cognitive (activation préfrontale).
Traitement des données
- Extraction et traitement des signaux HRV, AED, fNIRS (filtrage, classification).
- Analyse cinématique (stabilité, variabilité, trajectoire).
- Fusion multimodale :
- Synchronisation temporelle.
- Apprentissage de représentations conjointes.
Protocoles expérimentaux
- TUG classique vs TUG enrichi (obstacles, perturbations).
- Conditions simple tâche vs double tâche (calcul mental, mémorisation).
- Scénarios émotionnels contrôlés.
Population cible
- Sujets sains (jeunes vs âgés).
- Patients à risque de chute (évalués à l'OHS Lorraine).
Verrous scientifiques et défis
- Robustesse des capteurs en RV :
- rPPG (mouvements, occlusions, éclairage).
- AED (mouvements, pilosité).
- fNIRS (mouvements).
- Interprétation des signaux physiologiques (distinction effort vs stress, charge mentale).
- Fusion de données hétérogènes (temps réel, bruitées).
- Validation clinique des nouveaux indicateurs.
Contributions attendues
Scientifiques
- Nouveau cadre d'analyse du risque de chute (multimodal).
- Définition de biomarqueurs physio-mouvement et cognitifs.
- Avancées méthodologiques en rPPG, AED, fNIRS en conditions dynamiques.
Cliniques
- Outil d'évaluation plus précis et reproductible.
- Meilleure stratification des patients.
- Suivi longitudinal objectivé.
Technologiques
- Intégration de capteurs passifs dans les systèmes RV.
- Vers des solutions non invasives et accessibles.
Perspectives
- Adaptation en télérééducation (domicile).
- Applications en santé mentale (anxiété, phobies).
- Systèmes adaptatifs en temps réel (biofeedback implicite).
Encadrement
La thèse est encadrée par :
- F. Bousefsaf (thème MSPRE) pour la partie physiologique et IA.
- Yann Morère (thème EPSAP) pour l'évaluation et les biomarqueurs de la mobilité.
Conclusion
Cette thèse propose une approche innovante pour évaluer le risque de chute en combinant motricité, cognition et physiologie via la réalité virtuelle. En intégrant des capteurs non invasifs (rPPG, AED, fNIRS), elle vise à améliorer la détection précoce de la fragilité et à proposer des biomarqueurs exploitables en clinique.
Keywords
Assessement, Mobility, Physiological Signals, Artificial Intelligence, Signal processing, Extended and Virtual Reality
Subject details
Background & Problem Statement Falls in older adults are a major public health concern with multifactorial causes (motor, cognitive, attentional, and emotional). The Time Up and Go (TUG) test is widely used but lacks predictive precision. Recent virtual reality (VR) approaches enable standardized protocols, enriched scenarios (obstacles, perturbations), and fine-grained kinematic analysis. However, existing systems focus primarily on motor performance, neglecting physiological dimensions (effort cost, stress, cognitive load), which are critical for understanding fall risk. This thesis builds on a MAIF Foundation-funded project (2023–2026) defining new mobility biomarkers using VR, alongside a PhD thesis on mobility assessment in older adults via wearable IMUs. Machine learning models were developed using a public dataset from Kiel University, Germany [1], [2]. Key Innovation We propose a non-invasive, multimodal VR-based fall risk assessment integrating: 1. Mobility (IMU-based movement analysis), 2. Cognition (dual-task performance), 3. Physiology (cardiovascular, emotional, and cognitive responses via rPPG, EDA, and fNIRS). Scientific Objectives - Improve fall risk detection sensitivity and specificity. - Identify distinct fragility profiles. - Propose novel digital biomarkers for clinical use. - Enable earlier fragility detection. Sub-objectives: 1. New Indicators: - Cardiovascular cost of movement, - Physiological recovery time, - Task-related instability. 2. Cognition-Motor Interaction: - Introduce cognitive tasks (mental arithmetic, memory) and contextual perturbations (dynamic obstacles, distractions) in VR. - Estimate cognitive load via EDA, HRV, and fNIRS to: - Enhance understanding of the cognition-fall link, - Identify at-risk profiles in ecological conditions. Methodology Experimental Setup - VR headset with embedded cameras, - Visible-light camera for rPPG (heart rate, HRV), - Infrared camera for EDA (stress, mental load), - Motion capture system (5 IMU trackers), - fNIRS sensor (cognitive load, prefrontal activation). Data Processing - Extraction and filtering of HRV, EDA, fNIRS signals, - Kinematic analysis (stability, variability, trajectory), - Multimodal fusion: - Temporal synchronization, - Joint representation learning. Protocols - TUG (classic vs enriched), - Single vs dual-task conditions, - Controlled emotional scenarios. Population - Healthy subjects (young vs elderly), - Fall-risk patients (assessed at OHS Lorraine). Scientific Challenges - rPPG robustness in VR (motion, occlusions, lighting), - EDA robustness in VR (motion, occlusions, facial hair), - fNIRS robustness during movement, - Distinguishing effort vs stress vs cognitive load in signals, - Real-time fusion of heterogeneous, noisy data, - Clinical validation of new indicators. Expected Contributions Scientific: - New multimodal framework for fall risk analysis, - Definition of physio-motor-cognitive biomarkers, - Methodological advances in rPPG, EDA, fNIRS for dynamic conditions. Clinical: - More precise, reproducible assessment tool, - Better patient stratification, - Objective longitudinal monitoring. Technological: - Integration of passive sensors in VR systems, - Non-invasive, accessible solutions. Perspectives - Adaptation for tele-rehabilitation (home use), - Applications in mental health (anxiety, phobias), - Real-time adaptive systems (implicit biofeedback). Supervision The PhD will be co-supervised by: - F. Bousefsaf (MSPRE theme) for physiological and AI aspects, - Yann Morère (EPSAP theme) for mobility assessment and biomarkers. Conclusion This thesis proposes a groundbreaking approach to fall risk assessment by combining motor, cognitive, and physiological data in VR. Using non-invasive sensors (rPPG, EDA, fNIRS), it aims to enhance fall risk detection, define novel biomarkers, and improve clinical evaluation of fragility.
Profil du candidat
Étudiant en master 2 EEA (électronique électrotechnique automatique) Recherche et ayant des compétences en traitement de signal de signaux physiologiques et aussi en Réalité Virtuelles. Les outils informatiques associés sont aussi requis : python, Matlab, R, programmation, Unity, Blender etc.
Candidate profile
Student in master 2 EEA (electronic, electrical and automatic) Research and having skills in signal processing of physiological signals and in virtual reality. Associated computer tools are also required: python, Matlab, R, programming, Unity, Blender etc.
Référence biblio
[1] K. El Ghabi, F. Bousefsaf, Y. Morère, C. Hansen, W. Maetzler, and R. Romijnders, “Explainable Artificial Intelligence for Identifying an Optimal IMU Sensor Configuration for Automated Mobility Assessment in Older Adults,” in 12th International Conference on Information and Communication Technologies for Ageing Well and e-Health (ICT4AWE), 2026.
[2] K. El Ghabi, F. Bousefsaf, and Y. Morère, “Advances in Mobility Assessment: A Systematic Review of Technology-Based Evaluation in Healthy Older Adults,” Technology and Disability, Sage Journals, 2026.
[3] U. Debnath and S. Kim, “A comprehensive review of heart rate measurement using remote photoplethysmography and deep learning,” Biomed. Eng. OnLine, vol. 24, no. 1, p. 73, June 2025.
[4] D. Shastri, A. Merla, P. Tsiamyrtzis, and I. Pavlidis, “Imaging facial signs of neurophysiological responses,” IEEE Trans. Biomed. Eng., vol. 56, no. 2, pp. 477–484, 2009.
[5] D. Cardone and A. Merla, “New Frontiers for Applications of Thermal Infrared Imaging Devices: Computational Psychopshysiology in the Neurosciences,” Sensors, vol. 17, no. 5, p. 1042, 2017.
[6] C. Herff, D. Heger, O. Fortmann, J. Hennrich, F. Putze, and T. Schultz, “Mental workload during n-back task—quantified in the prefrontal cortex using fNIRS,” Front. Hum. Neurosci., vol. 7, Jan. 2014.
[7] K. Mandrick, G. Derosiere, G. Dray, D. Coulon, J.-P. Micallef, and S. Perrey, “Prefrontal cortex activity during motor tasks with additional mental load requiring attentional demand: A near-infrared spectroscopy study,” Neurosci. Res., vol. 76, no. 3, pp. 156–162, July 2013.

