Discipline : CERI SN

Line Manager : Sylvain Lecomte

Workplace : Villeneuve d'Ascq

Type of contract and duration : PhD - Fixed term contract (3 years)

Title of the thesis : Empowering the Human gesture Interaction with Generative AI

CONTEXT :

Public establishment belonging to IMT (Institut Mines-Télécom), placed under the supervision of the Ministry of Economy, Finance and Industrial and Digital Sovereignty, IMT Nord Europe has three main objectives: providing our students with ethically responsible engineering practice enabling them to solve 21st century issues, carrying out our R&D activities leading to outstanding innovations and supporting territorial development through innovation and entrepreneurship. Ideally positioned at the heart of Europe, 1 hour away from Paris, 30 min from Brussels and 1h30 from London, IMT Nord Europe has strong ambitions to become a main actor of the current industrial transitions, digital and environmental, by combining education and research on engineering and digital technologies.

Located on two main campuses dedicated to research and education in Douai and Lille, IMT Nord Europe offers research facilities of almost 20,000m² in the following areas:

- Digital science,

- Energy and Environment,

- Materials and Processes.

For more details, visit the School's website : www.imt-nord-europe.fr

PhD PROJECT DESCRIPTION :

Human gestures are a fundamental aspect of non-verbal communication, providing a rich medium for interaction that complements speech. Despite significant advancements in AI, achieving seamless and intuitive gesture-based interaction remains a challenge. Generative AI, particularly models like GANs and Transformer-based architectures, offer promising solutions to enhance gesture recognition and response generation.

This PhD research proposal aims to investigate the enhancement of human-gesture interactions through the use of generative AI. The goal is to develop advanced models that can accurately recognize, interpret, and respond to human gestures in real-time, enabling more natural and intuitive human-computer interactions (HCIs). The work will address the challenges of gesture recognition accuracy, contextual understanding, and response generation, ultimately contributing to fields such as virtual reality (VR), augmented reality (AR), and assistive technologies.

On the other hand, generating realistic hand-object interactions accurately in virtual environments is essential for creating immersive and intuitive user experiences. This research will also explore recent advances in generative modeling with diffusion models, such as DALL-E 2 and Stable Diffusion, to generate realistic 3D hand-object interaction data. While these diffusion models can generate realistic images from textual instructions, they struggle to produce physically or geometrically plausible interactions. They often fail to match the output to 3D shapes and poses, especially in capturing the details of how fingers are placed around an object. This research study aims to develop a solution for generating realistic 3D hand-object interactions by conditioning the scene representation on both the 3D hand shape and the object.

The work of this thesis will be carried out within a consortium of a project entitled 5GMetavers, composed of academic laboratories and industrial companies, in particular Airbus and Orange.

PROFIL DE LA CANDIDATE / DU CANDIDAT: (Prérequis/ Diplôme)

Aptitudes :

De très bonnes capacités d'analyse et de synthèse ;

Compétences :

Une solide expérience en vision par ordinateur et en apprentissage automatique (deeplearning)

Une bonne maîtrise de l'anglais à l'oral comme à l'écrit ;

Connaissances :

Des connaissances en réalité virtuelle ou augmentée sur les moteurs 3D Unity et/ouUnreal Engine est un plus appréciable

Mots clés : analyse du comportement humain, vision par ordinateur, apprentissage profond, réalité mixte

CONDITIONS:

Le poste est à pourvoir à compter du 01/10/2024 pour une durée de 36 mois (contrat doctoral). La thèse s'effectuera dans les locaux de IMT Nord Europe sur le campus situé à Villeneuve d'Ascq (Rue Guglielmo Marconi, 59650 Villeneuve-d'Ascq).

Des déplacements en France pour échanger et présenter les états d'avancement des recherches avec les partenaires industriels du projet seront réalisés.

RENSEIGNEMENTS ET MODALITÉS DE DÉPÔT DE CANDIDATURE :

Pour tout renseignement sur le poste, merci de vous adresser à Hazem Wannous (Professeur) hazem.wannous@imt-nord-europe.fr

Pour tout renseignement administratif, merci de vous adresser à la Direction des Ressources Humaines : jobs@imt-nord-europe.fr

Par ailleurs, le poste peut être aménagé pour une personne en situation de handicap.

Information sur l'environnement de travail à IMT Nord Europe :

• Possibilité du télétravail partiellement

• Environnement exceptionnel de travail

• Nombreux congés

• Restauration collective sur place

• Prise en charge des transports en commun sur trajet domicile-travail (75%)

• Forfait mobilité durable (pour le covoiturage ou les trajets en vélo)

• Complément familial selon la composition de la famille

• Large gamme de prestations sociales (indemnisation 1ère installation, aides financières, chèque vacances...)

• Écosystème d'innovation stimulant (startups, étudiants, recherche, entreprises)

Date limite de candidature : 15/08/2024