Offre de thèse
Apprentissage automatique multimodal pour la prédiction de la gravité clinique
Date limite de candidature
31-05-2026
Date de début de contrat
01-10-2026
Directeur de thèse
ARIDHI Sabeur
Encadrement
Supervision and contact : Sabeur ARIDHI : sabeur.aridhi@loria.fr Yannick TOUSSAINT : yannick.toussaint@loria.fr
Type de contrat
école doctorale
équipe
contexte
L'apprentissage automatique appliqué à la santé a connu des avancées majeures ces dernières années, notamment grâce à l'exploitation de grandes bases de données cliniques. Les modèles classiques tels que les forêts aléatoires ou les SVM restent souvent compétitifs dans des contextes médicaux où les données sont limitées et bruitées. Parallèlement, les approches de deep learning multimodal ont émergé comme une solution prometteuse pour exploiter des données hétérogènes. Elles permettent de combiner différentes sources d'information, telles que : ● données textuelles (chatbot), ● signaux audio et vidéo, ● données cliniques structurées. Cependant, plusieurs défis scientifiques majeurs subsistent : ● la fusion de données hétérogènes et bruitées, ● la gestion de données limitées, fréquente en santé, ● le risque de surapprentissage, ● la généralisation des modèles dans des contextes cliniques réels. Dans ce contexte, le projet ANR RHU I-DEAL propose de développer des modèles multimodaux pour prédire la sévérité de la maladie de Crohn à partir de données issues d'un suivi patient à distancespécialité
Informatiquelaboratoire
LORIA - Laboratoire Lorrain de Recherche en Informatique et ses Applications
Mots clés
Apprentissage multi modale, prédiction, apprentissage profond, maladie de Crohn
Détail de l'offre
L'apprentissage automatique en santé a fortement progressé grâce aux données cliniques massives. Si les modèles classiques (forêts aléatoires, SVM) restent efficaces pour des données limitées et bruitées, les approches de deep learning multimodal offrent de nouvelles perspectives en combinant des données hétérogènes (texte, audio/vidéo, données cliniques structurées).
Cependant, plusieurs défis subsistent : la fusion de données hétérogènes, la rareté des données, le surapprentissage et la généralisation en conditions réelles.
Dans ce cadre, le projet ANR RHU I-DEAL vise à prédire la sévérité de la maladie de Crohn à partir de données de suivi à distance.
L'objectif de la thèse est de développer des modèles multimodaux robustes, en concevant des méthodes de fusion adaptées, en évaluant l'apport de chaque modalité, en gérant les données bruitées/incomplètes, et en validant les modèles en conditions cliniques réelles.
Keywords
Multimodal AI, prediction, deep learning, Chrohn disease
Subject details
Machine learning in healthcare has significantly advanced with the availability of large clinical datasets. While traditional models (e.g., random forests, SVMs) remain effective for small and noisy data, multimodal deep learning approaches offer new opportunities by integrating heterogeneous data sources (text, audio/video, structured clinical data). However, key challenges remain, including multimodal data fusion, data scarcity, overfitting, and generalization to real-world clinical settings. In this context, the ANR RHU I-DEAL project aims to predict Crohn's disease severity using remote patient monitoring data. The main objective of this PhD is to develop robust multimodal models by designing appropriate fusion methods, assessing the contribution of each modality, handling noisy and incomplete data, and evaluating models in realistic clinical environments.
Profil du candidat
Le candidat doit posséder :
Un master en informatique ou dans un domaine connexe ;
Bases solides en machine learning, Python (scikit-learn, PyTorch ou équivalent)
Une maîtrise de l'apprentissage automatique (apprentissage profond) ;
Un bon niveau d'anglais (écrit et oral) ;
D'excellentes compétences rédactionnelles.
Atouts :
- deep learning
- multimodal learning
- traitement du signal ou NLP
Candidate profile
The candidate must have:
A Master's degree in computer science or a related field;
Strong foundations in machine learning and Python (scikit-learn, PyTorch, or equivalent);
Proficiency in machine learning (deep learning);
A good level of English (written and spoken);
Excellent writing skills.
Preferred qualifications:
Deep learning
Multimodal learning
Signal processing or NLP (Natural Language Processing)
Référence biblio
A Bajracharya, Y Toussaint, S Aridhi. Comparative Analysis of Multimodal
Fusion Techniques for Clinical Severity Classification. IEEE International
Conference on Big Data (IEEE Big Data 2025), 6220-6227
C Le Berre, WJ Sandborn, S Aridhi, MD Devignes, L Fournier, et al.
Application of artificial intelligence to gastroenterology and hepatology.
Gastroenterology 158 (1), 76-94. e2
Jinghui Liu, Daniel Capurro, Anthony Nguyen, and Karin Verspoor.
“Attention-based multimodal fusion with contrast for robust clinical prediction
in the face of missing modalities ”. Journal of Biomedical Informatics, 145 :
104466, 2023.
Felix Krones, Umar Marikkar, Guy Parsons, Adam Szmul, Adam Mahdi.
Review of multimodal machine learning approaches in healthcare. Information
Fusion, Volume 114, 2025, 102690, ISSN 1566-2535.
Sören Richard Stahlschmidt, Benjamin Ulfenborg, Jane Synnergren,
Multimodal deep learning for biomedical data fusion: a review, Briefings in
Bioinformatics, Volume 23, Issue 2, March 2022, bbab569.