Rehaussement de parole par acoustique dans des réseaux de microphones distribués

Mots clés

Rehaussement de parole, IA, Apprentissage automatique, Traitement du signal

Détail de l'offre

Motivations

Dans de nombreuses applications de communication vocale, comme les systèmes de conférence ou les aides auditives, les microphones captent non seulement la parole de la personne souhaitée, mais aussi le bruit ambiant, les autres locuteurs concurrents et les réverbérations, c'est-à-dire les réflexions acoustiques des murs et autres objets. Pour améliorer la qualité et l'intelligibilité de la parole enregistrée, divers algorithmes d'amélioration de la parole, basés sur des modèles ou sur l'apprentissage profond, ont été proposés. Ceux-ci visent à supprimer le bruit et la réverbération indésirables sans déformer la parole de la personne souhaitée [1], [2]. En général, les algorithmes multi-microphones surpassent les algorithmes mono-microphone, car ils peuvent exploiter non seulement les informations spectro-temporelles, mais aussi l'information spatiale du champ sonore.
En considérant plusieurs dispositifs spatialement distribués, il est possible d'acquérir des informations plus détaillées sur le champ sonore, et d'augmenter la probabilité que certains microphones soient plus proches des sources sonores (désirables ou indésirables). Cependant, contrairement aux réseaux de microphones traditionnels, les réseaux de capteurs acoustiques peuvent être très dynamiques : le nombre et la position des dispositifs ne sont pas connus et peuvent même varier dans le temps. Pour soutenir l'amélioration de la parole multi-microphone, des méthodes d'estimation de paramètres acoustiques de l'environnement, tels que le temps de réverbération, la géométrie de la pièce ou les réflexions acoustiques, peuvent fournir des informations précieuses [3].

Objectifs
Lors de cette thèse, nous explorerons comment intégrer explicitement les paramètres de la scène acoustique dans la fonction de perte des algorithmes d'amélioration de la parole. Cette approche vise à améliorer les performances du modèle en fournissant des informations supplémentaires pendant l'apprentissage. Une méthode possible est l'apprentissage multi-tâches, où le modèle est entraîné à effectuer plusieurs tâches liées simultanément. Par exemple, le modèle peut être formé pour extraire la parole tout en estimant des paramètres acoustiques comme le temps de réverbération ou les positions des réseaux de microphones [4]. L'objectif est d'incorporer des connaissances acoustiques dans le modèle et d'améliorer sa robustesse face à différents environnements acoustiques.
Une alternative à l'apprentissage multi-tâches est l'apprentissage adversarial [5], où le modèle est délibérément entraîné sur des entrées modifiées de manière adversariale pour forcer des erreurs de prédiction. La motivation principale derrière ces approches est de permettre au modèle de dissocier la parole cible des autres paramètres de la scène. Ainsi, le modèle devient plus robuste face aux changements de conditions acoustiques, comme les variations de position des réseaux de microphones.