Apprentissage par Renforcement pour le Pavage Optimal par Polycubes sous Contraintes Physiques : Application au Rangement Robotisé de Bagages Arrivant Séquentiellement

Mots clés

Apprentissage par Renforcement, Empilement de polyomino, Optimisation Combinatoire

Détail de l'offre

Ce projet de thèse aborde le défi complexe de l'automatisation du chargement de conteneurs, spécifiquement appliqué à la manutention robotisée de bagages arrivant séquentiellement. Le problème, connu sous le nom d'empaquetage 3D en ligne, est rendu difficile par la diversité des objets (forme, masse, fragilité) et la nécessité de respecter des contraintes physiques strictes pour garantir la stabilité et l'intégrité de la cargaison.

L'approche proposée est d'utiliser l'apprentissage par renforcement profond (Deep RL) pour développer un agent capable d'apprendre des stratégies d'empaquetage optimales et adaptatives. L'objectif principal est de maximiser la densité de remplissage tout en respectant des contraintes physiques complexes, comme la prévention des dommages et la stabilité de l'empilement.

Pour y parvenir, la recherche se concentre sur plusieurs axes clés :

Développement d'une simulation physique haute-fidélité : Un environnement de simulation réaliste sera créé, modélisant un robot (cobot ou humanoïde), un flux d'objets (approximés par des polycubes aux propriétés variées) et les dynamiques de contact complexes. Un point central est la modélisation de placements dynamiques, ou 'lancers doux', une alternative rapide au placement précis. Cette simulation est essentielle pour l'entraînement de l'agent et le transfert des compétences vers un robot réel (sim-to-real).

Apprentissage de stratégies de placement avancées : L'agent RL devra apprendre non seulement la position et l'orientation optimales pour chaque objet, mais aussi à choisir la meilleure méthode de placement (précise vs. dynamique) en fonction de l'objet et de la situation. Cela implique de gérer un espace d'actions hybride (décisions discrètes et continues).

Conception d'algorithmes et de récompenses adaptés : Le projet explorera des algorithmes RL de pointe (PPO, SAC, etc.) et des architectures de réseaux (GNNs) pour raisonner sur la géométrie. Une attention particulière sera portée à la conception de fonctions de récompense qui équilibrent densité, débit, et respect des contraintes, tout en surmontant le problème des récompenses rares.

Validation et généralisation : La performance de l'agent sera rigoureusement évaluée sur sa capacité à généraliser ses stratégies à des objets et des séquences jamais vus. Des objectifs exploratoires incluent l'intégration de comportements plus complexes comme la mobilité du robot, l'utilisation d'une zone de stockage temporaire (buffering) ou le réarrangement local d'objets.

Impact et livrables : Ce projet vise à faire progresser l'optimisation combinatoire et la robotique autonome en intégrant des contraintes physiques réalistes. Les retombées socio-économiques concernent l'automatisation de la logistique, l'amélioration de l'ergonomie et la réduction des coûts. Les livrables attendus incluent une plateforme de simulation, de nouveaux algorithmes, des publications scientifiques, et un démonstrateur validé en simulation et potentiellement sur un robot physique.