Thèse Modélisation de l'Engagement dans les Environnements de Co-Création Musicale en Réalité Étendue Vers un Framework Multimodal de l'Activité Instrumentale Distribuée. H/F - Doctorat.Gouv.Fr

Établissement : Université Côte d'Azur École doctorale : STIC - Sciences et Technologies de l'Information et de la Communication Laboratoire de recherche : I3S - Informatique, Signaux et Systèmes de Sophia-Antipolis Direction de la thèse : Michel BUFFA ORCID 0000000319000871 Début de la thèse : 2026-10-01 Date limite de candidature : 2026-05-03T23:59:59 L'essor des technologies de réalité étendue (XR) ouvre de nouvelles perspectives pour la création musicale collaborative en environnement immersif. Toutefois, ces dispositifs restent encore peu évalués d'un point de vue scientifique, notamment en ce qui concerne l'engagement des utilisateurs et la qualité de l'expérience collective. Cette thèse propose d'étudier et de modéliser les mécanismes de l'engagement dans des contextes de co-création musicale en réalité virtuelle distribuée.

L'objectif principal est de concevoir un framework d'analyse multimodale capable de capturer, synchroniser et interpréter des données hétérogènes issues de l'activité instrumentale (gestes, flux audio, interactions sociales), afin de caractériser les dynamiques d'engagement individuel et collectif. Ce travail s'inscrit dans le champ de l'interaction humain-machine (IHM), à l'intersection des environnements collaboratifs et des technologies musicales numériques.

La démarche repose sur une approche expérimentale basée sur les standards ouverts du Web (WebXR, Web Audio), permettant de développer une plateforme instrumentée pour la co-création musicale immersive. Cette infrastructure servira à collecter des données en temps réel et à concevoir des outils de visualisation immersive, notamment sous forme de replays enrichis (heatmaps d'attention, trajectoires gestuelles, indicateurs de synchronie), facilitant l'analyse des sessions collaboratives.

La thèse s'articule autour de trois contributions principales : (1) la formalisation théorique de l'engagement créatif collectif à partir de données multimodales, (2) le développement d'un framework de visualisation immersive pour l'analyse de l'activité, et (3) la définition et la validation expérimentale de métriques objectives d'engagement. Ces contributions seront évaluées à travers des études utilisateurs impliquant des profils variés (musiciens, apprenants, enseignants), dans des contextes de performance et d'apprentissage.

Le cadre théorique mobilise notamment la théorie du flow, la cognition incarnée et les modèles de présence sociale, afin d'interpréter les interactions entre corps, technologie et collaboration. L'hypothèse centrale est que l'engagement créatif peut être modélisé par la corrélation de données multimodales, et que leur visualisation immersive constitue un levier d'analyse plus efficace que les approches traditionnelles.

Au-delà des contributions scientifiques en IHM et en XR, ce travail vise à proposer des recommandations pour la conception de systèmes collaboratifs immersifs ouverts, avec des retombées potentielles pour l'éducation musicale, la création artistique et les environnements numériques collaboratifs. L'essor des technologies de réalité étendue (XR) transforme profondément les modalités d'interaction et ouvre de nouvelles perspectives pour les environnements collaboratifs immersifs. Dans ce contexte, la création musicale en réalité virtuelle constitue un domaine émergent à l'intersection de l'interaction homme-machine (IHM), des systèmes collaboratifs et des technologies musicales numériques. De nombreux dispositifs innovants ont récemment été proposés, mais leur évaluation scientifique reste encore limitée, en particulier concernant l'engagement des utilisateurs et la qualité de l'expérience collective.

Parallèlement, les avancées en capture de données multimodales (gestes, audio, interactions sociales) offrent de nouvelles opportunités pour analyser finement les activités humaines en environnement immersif. Toutefois, il manque encore des cadres méthodologiques permettant d'intégrer ces données hétérogènes afin de modéliser l'engagement dans des situations de co-création distribuée.

Cette thèse s'inscrit dans ce contexte en mobilisant plusieurs cadres théoriques complémentaires issus de l'IHM et des sciences cognitives, notamment la théorie du flow, la cognition incarnée et les modèles de présence sociale. Elle vise à contribuer au développement de méthodes d'analyse et de conception pour les systèmes immersifs collaboratifs, en s'appuyant sur les standards ouverts du Web (WebXR, Web Audio), favorisant la reproductibilité et l'accessibilité des expérimentations.

Ainsi, ce travail se positionne à la croisée de la recherche fondamentale sur l'engagement en environnement immersif et du développement de solutions technologiques pour la création collaborative, avec des applications potentielles en éducation musicale, en performance artistique et plus largement dans les environnements numériques interactifs. L'objectif principal de cette thèse est de comprendre, modéliser et évaluer l'engagement dans des environnements de co-création musicale en réalité étendue (XR).

Plus précisément, les objectifs sont :

Concevoir un framework d'analyse multimodale capable de capturer, synchroniser et exploiter des données hétérogènes (gestes, audio, interactions sociales) issues de l'activité musicale collaborative.

Modéliser l'engagement créatif individuel et collectif à partir de ces données, en s'appuyant sur des cadres théoriques issus de l'IHM (flow, cognition incarnée, présence sociale).

Développer des outils de visualisation immersive (replays enrichis, heatmaps, trajectoires) permettant d'analyser les dynamiques d'interaction et d'identifier les points de rupture dans l'expérience.

Définir et valider des métriques objectives d'engagement, à travers des expérimentations impliquant différents profils d'utilisateurs (experts et novices).

Proposer des recommandations de conception pour des systèmes collaboratifs immersifs favorisant l'engagement et l'apprentissage. La thèse adopte une approche expérimentale en interaction homme-machine (IHM), combinant instrumentation de systèmes existants, analyse de données multimodales et évaluation empirique.

Dans un premier temps, le travail s'appuiera sur une plateforme existante de co-création musicale immersive (WebXR), qui sera instrumentée pour la collecte de données. L'objectif est de concevoir des outils permettant de capturer en temps réel des données hétérogènes issues de l'activité instrumentale distribuée (gestes via motion capture, flux audio, interactions sociales), tout en préservant les performances et la qualité de l'expérience utilisateur.

Ces données seront exploitées dans le cadre d'un framework d'analyse multimodale, visant à extraire des caractéristiques pertinentes (dynamiques gestuelles, synchronie, intensité d'interaction) et à construire des métriques d'engagement. Une attention particulière sera portée à la synchronisation et à la fusion de données hétérogènes.

Parallèlement, des outils de visualisation immersive seront développés.

Enfin, la validation reposera sur des études expérimentales impliquant différents profils d'utilisateurs (musiciens experts, novices, enseignants). Ces études, à la fois contrôlées et longitudinales, permettront d'évaluer les métriques proposées et d'analyser l'impact de différents facteurs (latence, feedbacks, gamification) sur l'engagement et l'apprentissage.

Le candidat devra être titulaire d'un M2 ou grade équivalent au
moment du recrutement.

The candidate must hold a Master or equivalent degree when starting
the PhD.

Le candidat ou la candidate devra disposer d'une formation solide en informatique, idéalement en interaction homme-machine (IHM), réalité virtuelle/augmentée ou systèmes interactifs.

Les compétences attendues sont :

Compétences techniques :

Programmation (JavaScript/TypeScript, éventuellement C++ ou Python)
Développement Web (WebXR, Web Audio ou technologies associées appréciées)
Conception de systèmes interactifs temps réel
Compétences scientifiques :
Intérêt pour l'IHM, les environnements immersifs et collaboratifs
Connaissances en méthodes expérimentales (protocoles utilisateurs, analyse de données)
Sensibilité à l'analyse de données multimodales (un plus)
Compétences complémentaires :
Intérêt marqué pour la musique, la création musicale ou les technologies audio (une pratique musicale est un atout)
Connaissance des principes d'UX design et d'évaluation de l'utilisabilité
Notions en visualisation de données
Qualités personnelles :
Autonomie, rigueur scientifique et esprit d'initiative
Capacité à travailler en équipe interdisciplinaire
Bon niveau d'anglais (oral et écrit)