Offre de thèse
Evaluation des biais validistes dans les grands modèles de langues (LLM)
Date limite de candidature
12-05-2026
Date de début de contrat
01-10-2026
Directeur de thèse
FORT Karen
Encadrement
MARTIN Vincent P. (CR Inria)
Type de contrat
école doctorale
équipe
SEMMAGRAMMEcontexte
Les grands modèles de langue, ou Large Language Models (LLM), sont aujourd'hui omniprésents dans nos sociétés et porteurs d'immenses promesses, parfois présenté comme des solutions clé-en-main pour résoudre des problèmes profonds dans des champs sociaux en crises comme l'éducation ou la santé. Bien que vantés pour leurs performances sur des tâches standardisées (*benchmarks*), ces systèmes ont cependant un défaut majeur, étudié depuis près d'une décennie : ils reproduisent et amplifient les biais présents dans notre société (Hovy and Spruit, 2016), comme les biais genrés (Ducel et al., 2024), racistes (Hofmann et al, 2024), ou beaucoup moins étudiés, les biais *validistes* (Panda et al., 2025). ### Handicap En France, le handicap est défini par la loi du 11 Février 2005 pour l'égalité des droits et des chances comme suit : 'Constitue un handicap, toute limitation d'activité ou restriction de participation à la vie en société subie dans son environnement par une personne en raison d'une altération substantielle, durable ou définitive d'une ou plusieurs fonctions physiques, sensorielles, mentales, cognitives ou psychiques, d'un polyhandicap ou d'un trouble de santé invalidant'. Le handicap est donc pluriel, et ne se limite pas au handicap physique visible: 80% des handicaps sont considérés comme invisibles en France, soit près de 10 millions de personnes concernées [Ministère de l'Agriculture]. De plus, la situation d'handicap ne résume pas la personne en faisant l'expérience : les autres biais sociétaux (de genre, d'âge, d'origine ethnique) peuvent également s'ajouter voire s'amplifier les uns les autres, nécessitant une *approche intersectionnelle* **(Li et al., 2024; Hari et al., 2025)**. ### Effets néfastes sociétaux du validisme L'association Access Living définit le validisme comme 'la discrimination et le préjudice social des personnes atteintes d'handicap [*disability*] sur la base de la croyance que les compétences typiques sont supérieures. Au coeur du validisme, on trouve l'hypothèse que les personnes atteintes de handicap ont besoin d'être 'réparées', et que leur handicap définit les personnes. Comme le racisme et le sexisme, le validisme définit des groupes entiers de personnes par ce qu'elles ont en moins et comporte des stéréotypes préjudiciables, des idées fausses et des généralisations concernant les personnes atteintes de handicap.' [Access Living] Comme les autres sources de biais, les biais validistes contribuent à invisibiliser certains individus, à limiter leur accès à l'éducation, à l'emploi ou aux espaces publics, et à normaliser des discriminations. Ils participent à façonner les normes sociales, en valorisant une idée restrictive de la “normalité” qui marginalise toute forme de différence. Lutter contre ces biais implique donc une prise de conscience collective, ainsi qu'un effort actif pour promouvoir l'inclusion, l'accessibilité et le respect de la diversité des corps et des expériences. Il est d'autant plus impératif d'étudier ces biais validistes dans les LLM qu'une expérimentation pour 'L'automatisation des premières phases d'instruction des demandes MDPH' vient d'être lancée dans les Maisons Départementales des Personnes Handicapées (MDPH) [CNSA 2025]. Introduire des LLM potentiellement validistes directement au coeur du processus de décision des MDPH représente un risque majeur pour l'accès aux droits des personnes en situation de handicap.spécialité
Informatiquelaboratoire
LORIA - Laboratoire Lorrain de Recherche en Informatique et ses Applications
Mots clés
traitement automatique des langues, biais, LLM, validisme, éthique
Détail de l'offre
Les grands modèles de langue, ou Large Language Models (LLM), sont aujourd'hui omniprésents dans nos sociétés et porteurs d'immenses promesses, parfois présentés comme des solutions clé-en-main pour résoudre des problèmes profonds dans des champs sociaux en crises comme l'éducation ou la santé. Bien que vantés pour leurs performances sur des tâches standardisées (benchmarks), ces systèmes ont cependant un défaut majeur, étudié depuis près d'une décennie : ils reproduisent et amplifient les biais présents dans notre société (Hovy and Spruit, 2016), comme les biais genrés (Ducel et al., 2024), racistes (Hofmann et al, 2024), ou beaucoup moins étudiés, les biais validistes (Panda et al., 2025).
Comme les autres sources de biais, les biais validistes contribuent à invisibiliser certains individus, à limiter leur accès à l'éducation, à l'emploi ou aux espaces publics, et à normaliser des discriminations. Les études sur le validisme dans les modèles de langue sont très peu nombreuses, et utilisent des méthodologies, des modèles et des stratégies hétérogènes, rendant les résultats difficilement comparables. De plus, à notre connaissance, il n'existe aucune étude dédiée traitant spécifiquement du français et les travaux existants se sont soit interressés au handicap de façon générale, soit à un type de handicap en particulier (par ex. l'autisme, Park et al., 2025). Des analyses plus fines de ces biais sont nécessaires, notamment pour différencier les biais envers les handicaps invisibles, ou encore les handicaps psychiques, dont les personnes atteintes peuvent en plus faire l'objet de psychophobie. L'objectif de cette thèse est par conséquent de concevoir des méthodes et outils d'évaluation des biais validistes dans les LLM, notamment en français.
En outre, aucune précédente étude n'a impliqué la collaboration avec les personnes concernées, ce qui est en soi un biais validiste [Shew 2023]. Il nous semble donc nécessaire de s'inscrire dans un cadre de recherche participatives avec des personnes souffrant de handicap, ce que nous avons initié dans un projet avec l'Institut national des jeunes sourds de Metz et que nous comptons développer dans le cadre de la thèse, en y associant le projet LUE INSIGHT, dont l'INJS est partenaire.
Il est d'autant plus impératif d'étudier ces biais validistes dans les LLM qu'une expérimentation pour “L'automatisation des premières phases d'instruction des demandes MDPH” vient d'être lancée dans les Maisons Départementales des Personnes Handicapées (MDPH) [CNSA 2025]. Introduire des LLM potentiellement validistes directement au coeur du processus de décision des MDPH représente un risque majeur pour l'accès aux droits des personnes en situation de handicap.
Keywords
natural language processing, bias, LLM, ethics, disability
Subject details
Large Language Models (LLMs) are now ubiquitous in our societies and hold immense promise, sometimes presented as turnkey solutions to deep-seated problems in social sectors facing crises, such as education or healthcare. While praised for their performance on standardized tasks (benchmarks), these systems have a major flaw, studied for nearly a decade: they reproduce and amplify biases present in our society (Hovy and Spruit, 2016), such as gender bias (Ducel et al., 2024), racial bias (Hofmann et al., 2024), or, much less studied, ableist bias (Panda et al., 2025). Like other sources of bias, ableist bias contributes to making certain individuals invisible, limiting their access to education, employment, or public spaces, and normalizing discrimination. Studies on ableism in language models are very few and far between, employing heterogeneous methodologies, models, and strategies, making comparable results difficult. Furthermore, to our knowledge, no dedicated study specifically addresses French, and existing work has focused either on disability in general or on a particular type of disability (e.g., autism, Park et al., 2025). More nuanced analyses of these biases are needed, particularly to differentiate biases toward invisible disabilities or mental health conditions, whose affected individuals may also be subject to psychophobia. The objective of this thesis is therefore to develop methods and tools for assessing ableist biases in LLMs, especially in French. Moreover, no previous study has involved collaboration with the individuals concerned, which is itself an ableist bias [Shew 2023]. It therefore seems necessary to engage in participatory research with people with disabilities, something we initiated in a project with the National Institute for Young Deaf People (INJS) in Metz and which we intend to develop further within the framework of this thesis, in conjunction with the LUE INSIGHT project, of which the INJS is a partner. It is all the more imperative to study these ableist biases in LLMs given that an experiment for “Automating the initial processing phases of MDPH applications” has just been launched in the Departmental Centers for Disabled Persons (MDPH) [CNSA 2025]. Introducing potentially ableist LLMs directly into the heart of the MDPH decision-making process represents a major risk to the access to rights of people with disabilities.
Profil du candidat
* Master en Traitement Automatique des Langues
* Intérêt démontré concernant les questions éthiques en TAL
* Intérêt pour l'interdisciplinarité et la recherche collaborative. Une précédente expérience dans ce domaine serait un plus.
* Maîtrise parfaite du français (maîtrise de la LSF serait un plus)
* Niveau C1 en anglais
Candidate profile
* Master degree in NLP
* Demonstrated interest in ethical issues in NLP
* Interest for interdisciplinary research and citizen science. A previous experience in the domain would be a plus.
* Fluent French (French sign language is a plus)
* C1 level in English
Référence biblio
CNSA 2025: https://www.cnsa.fr/actualites/la-cnsa-lance-une-experimentation-avec-11-mdph-pour-tester-des-solutions-dintelligence
Fanny Ducel, Aurélie Névéol, Karën Fort. « You'll be a nurse, my son! » Automatically Assessing Gender Biases in Autoregressive Language Models in French and Italian. Language Resources and Evaluation, 2024, pp.1495-1523
Dirk Hovy and Shannon L. Spruit. 2016. The Social Impact of Natural Language Processing. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pages 591–598, Berlin, Germany. Association for Computational Linguistics.
Srikant Panda, Amit Agarwal, and Hitesh Laxmichand Patel. 2025. AccessEval: Benchmarking Disability Bias in Large Language Models. In Proceedings of the 2025 Conference on Empirical Methods in Natural Language Processing, pages 32492–32518, Suzhou, China. Association for Computational Linguistics.
Ashley Shew. Against Technoableism: Rethinking Who Needs Improvement (A Norton Short). W. W. Norton & Company. 2023
Aurélie Névéol, Yoann Dupont, Julien Bezançon, and Karën Fort. 2022. French CrowS-Pairs: Extending a challenge dataset for measuring social bias in masked language models to a language other than English. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 8521–8531,
Rong Li, Ashwini Kamaraj, Jing Ma, and Sarah Ebling. 2024. Decoding Ableism in Large Language Models: An Intersectional Approach. In Proceedings of the Third Workshop on NLP for Positive Impact, pages 232–249, Miami, Florida, USA. Association for Computational Linguistics.
Vishnu Hari, Kalpana Panda, Srikant Panda, Amit Agarwal, Hitesh Laxmichand Patel; Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV) Workshops, 2025, pp. 6703-6714
Passmore SR, Medina MN, Mack C, Randolph M, Ausderau KK. “We Don't Always Know What we are Missing.” Research Teams' Perspectives on the Recruitment of Adults with Intellectual and Developmental Disabilities in General Population Research. Journal of Empirical Research on Human Research Ethics. 2026;21(1-2):3-15. doi:10.1177/15562646251400490
Sohyeon Park, Aehong Min, Jesus Armando Beltran, and Gillian R Hayes. 2025. “As an Autistic Person Myself:” The Bias Paradox Around Autism in LLMs. In Proceedings of the 2025 CHI Conference on Human Factors in Computing Systems (CHI '25). Association for Computing Machinery, New York, NY, USA, Article 774, 1–17. https://doi.org/10.1145/3706598.3713420