La branche émotion, un modèle conceptuel pour l’intégration de la reconnaissance multimodale d’émotions dans des applications interactives : application au mouvement et `a la danse augmentée

Alexis Clay

Description

Sous la direction de Maylis Delest, Nadine Couture
Thèse soutenue le 07 décembre 2009: Bordeaux 1
La reconnaissance d'émotions est un domaine jeune mais dont la maturité grandissante implique de nouveaux besoins en termes de modélisation et d'intégration dans des modèles existants. Ce travail de thèse expose un modèle conceptuel pour la conception d'applications interactives sensibles aux émotions de l'utilisateur. Notre approche se fonde sur les résultats conceptuels issus de l'interaction multimodale: nous redéfinissons les concepts de modalité et de multimodalité dans le cadre de la reconnaissance passive d'émotions. Nous décrivons ensuite un modèle conceptuel à base de composants logiciels s'appuyant sur cette redéfinition: la branche émotion, facilitant la conception, le développement et le maintien d'applications reconnaissant l'émotion de l'utilisateur. Une application multimodale de reconnaissance d'émotions par la gestuelle a été développée selon le modèle de la branche émotion et intégrée dans un système d'augmentation de spectacle de ballet sensible aux émotions d'un danseur.
-Interaction homme-machine
-composants logiciels
-réalité augmentée
-émotion
-multimodalité
-danse
-reconnaissance
-gestuelle
-modèle conceptuel
-mouvement
Computer-based emotion recognition is a growing field which develops new needs in terms of software modeling and integration of existing models. This thesis describes a conceptual framework for designing emotionally-aware interactive software. Our approach is based upon conceptual results from the field of multimodal interaction: we redefine the concepts of modality and multimodality within the frame of passive emotion recognition. We then describe a component-based conceptual model relying on this redefinition. The emotion branch facilitates the design, development and maintenance of emotionally-aware systems. A multimodal, interactive, gesture-based emotion recognition software based on the emotion branch was developed. This system was integrated within an augmented reality system to augment a ballet dance show according to the dancer's expressed emotions.
-Man-machine interaction
-emotion recognition
-conceptual model
-software components
-multimodality
-gesture
-movement
-augmented reality
-dance
Source: http://www.theses.fr/2009BOR13935/document

Sujets

• Interface homme-machine
• Réalité augmentée
• Émotion
• Multimodalité
• Mouvement
• Dancé

Informations

• Publié par: Thesee
• Nombre de lectures: 96
• Langue: Français
• Poids de l'ouvrage: 13 Mo

Extrait

oN d’ordre : 3935
`THESE
PRESENTEE A
´L’UNIVERSITE BORDEAUX I
ECOLE DOCTORALE DE MATHEMATIQUES ET
D’INFORMATIQUE
Par Alexis CLAY
POUR OBTENIR LE GRADE DE
DOCTEUR
SPECIALITE : INFORMATIQUE
La branche ´emotion, un mod`ele conceptuel pour l’int´egration de la
reconnaissance multimodale d’´emotions dans des applications interactives :
application au mouvement et `a la danse augment´ee
Soutenue le : 7 decembre 2009
Apr`es avis des rapporteurs :
Alice Caplier .............. Professeur
Jean-Claude Martin ....... Professeur
Devant la commission d’examen compos´ee de :
Alice Caplier .............. Professeur .......... Rapporteur
Jean-Claude Martin ....... Professeur .......... Rapporteur
Nadine Couture ........... Enseignant-chercheur Directrice
Maylis Delest ............. Professeur .......... Directrice
Guy Melanco n ............ Professeur .......... President
Laurence Nigay ........... Professeur .......... Directrice
Jean-Baptiste de la Riviere Docteur ............. Examinateur
Wilfrid Lefer .............. Professeur .......... Examinateur
2009R´esum´e
La reconnaissance d’´emotions est un domaine jeune mais dont la maturit´e grandissante
implique de nouveaux besoins en termes de mod´elisation et d’int´egration dans des mod`eles
existants. Ce travail de th`ese expose un mod`ele conceptuel pour la conception d’applications
interactives sensibles aux ´emotions de l’utilisateur. Notre approche se fonde sur les r´esultats
conceptuels issus de l’interaction multimodale : nous red´efinissons les concepts de modalit´e
et de multimodalit´e dans le cadre de la reconnaissance passive d’´emotions. Nous d´ecrivons
ensuite un mod`ele conceptuel `a base de composants logiciels s’appuyant sur cette red´efini-
tion : la branche ´emotion, facilitant la conception, le d´eveloppement et le maintien d’applica-
tions reconnaissant l’´emotion de l’utilisateur. Une application multimodale de reconnaissance
d’´emotions par la gestuelle a´et´e d´evelopp´ee selon le mod`ele de la branche´emotion et int´egr´ee
dans un syst`eme d’augmentation de spectacle de ballet sensible aux ´emotions d’un danseur.
Mots-cl´es. Interaction homme-machine,´emotion, reconnaissance, mod`ele conceptuel, com-
posants logiciels, multimodalit´e, gestuelle, mouvement, r´ealit´e augment´ee, danse.
Computer-based emotion recognition is a growing field which develops new needs in terms
of software modeling and integration of existing models. This thesis describes a conceptual
framework for designing emotionally-aware interactive software. Our approach is based upon
conceptual results from the field of multimodal interaction : we redefine the concepts of mo-
dality and multimodality within the frame of passive emotion recognition. We then describe
a component-based conceptual model relying on this redefinition. The emotion branch facili-
tates the design, development and maintenance of emotionally-aware systems. A multimodal,
interactive, gesture-based emotion recognition software based on the emotion branch was de-
veloped. This system was integrated within an augmented reality system to augment a ballet
dance show according to the dancer’s expressed emotions.
Keywords. Man-machine interaction, emotion, recognition, conceptual model, software
components, multimodality, gesture, movement, augmented reality, dance.
iRemerciements
Il est amusant pour moi de me souvenir que cette th`ese ne fut en aucun cas due `a une
quelconque vocation mais `a une suite de circonstances inattendues. Si le DRH avait lu le CV
etlalettredemotivationquej’avaisenvoy´epourunposteenVIE`aTaiwan(ilm’a´et´econfirm´e
plustardqueleCVn’avaitpas´et´elu,oumacandidatureaurait´et´eaccept´ee);sienattendant
cette r´eponse je n’´etais pas all´e `a la fac pour m’inscrire, dans le but d’avoir la mutuelle
´etudiante;siquelqu’unavait´et´epr´esentpourm’inscrireauxBeaux-ArtsdePau(monpremier
choix), puis en fili`ere Langues Etrang`eres Appliqu´ees (mon second choix); si, errant dans le
bˆatimentInformatiquedel’UFRdeSciencesdelafacult´edePau,jen’´etaistomb´esurlam`ere
d’un excellent ami, secr´etaire du doyen des Sciences, qui me permit de m’inscrire en DEA;
si je n’avais pas assist´e aux cours, pr´ef´erant une derni`ere ann´ee estudiantine `a l’effroi de la
vie active; si enfin, je n’´etais pas tomb´e, totalement par hasard et au gr´e de mes lectures
bibliographiques de mon sujet de stage, sur une id´ee qui tout de suite enchanta Nadine
Couture, mon encadrante... alors je n’aurais pas fait de th`ese, de cela j’en suis certain.
Mespremiersremerciementsluisontdonctoutnaturellementadress´es,ainsiqua’`mesautres
encadrantesdeth`ese,LaurenceNigayetMaylisDelest.MerciNadinepouravoir,`apartird’une
simple id´ee jet´ee en l’air, mis en place cette th`ese, d´efini un sujet de recherche, trouv´e des
financements,toutcecipendantquejeparcouraisTa ¨ıwana(`larecherchedecontacts!);merci
`a toutes les trois d’avoir accept´e de co-diriger cette th`ese, de m’accompagner et de me faire
profiter de vos diverses exp´eriences dans des domaines vari´es tout au long de cette aventure.
Mercienfindem’avoirdonn´ecegouˆtpourlarecherche;Vousavezr´eussicesurquoijen’aurais
pas pari´e un sou quelques mois auparavant.
La r´ealisation de ce travail a bien ´evidemment n´ecessit´e des moyens et un financement. Je
tiens `a remercier l’ESTIA et son directeur Jean-Roch Guiresse de m’avoir accueilli au sein de
leur ´equipe de recherche. Je remercie bien surˆ ´egalement Didier Borotra et la Communaut´e
d’Agglom´eration Bayonne-Anglet-Biarritz, qui a financ´e ce travail de th`ese.
J’adresse mes sinc`eres remerciements `a l’ensemble du jury : son pr´esident Guy M´elan¸con,
Jean-Baptiste de la Rivi`ere, et Wilfrid Lefer. Je remercie particuli`erement les rapporteurs de
cem´emoire,AliceCaplieretJean-ClaudeMartin,pourleurregardcritiqueetleursremarques
avis´ees.
Je tiens `a exprimer mes profonds remerciements `a Thierry Malandain et au Centre Chor´e-
graphique National Malandain Ballet Biarritz pour s’ˆetre joint `a nous dans cette aventure. La
iiicollaboration que nous avons mis en place m’a permis d’aborder un monde dont j’avais une
totale ignorance, et a permis d’associer pleinement `a nos travaux Gael Domenger, danseur et¨
chor´egraphe au CCN d’Aquitaine.
Un paragraphe sp´ecifique ´etait d’ailleurs n´ecessaire, me semble-t-il, pour pleinement re-
mercier cet ´energum`ene extra-terrestre dont l’imagination et la cr´eativit´e se le disputent `a la
rigueur et `a la raison. Ga¨el, tu es un geek, sache-le; si tu n’avais ´et´e danseur, tu aurais du
ˆetre scientifique fou. Il n’en fallait pas moins pour que nous nous entendions aussi bien et que
tu appr´ehendes avec une telle facilit´e un monde qui n’´etait pas le tien.
Un grand merci bien surˆ `a tout le personnel de l’ESTIA et aux membres du laboratoire,
permanents comme doctorants. Comment ne pas citer les compagnons d’infortunes, gal´eriens
harass´es par le triste labeur du doctorant?
– La bande des hispanos tout d’abord : David et Alvaro qui m’ont permis de partager
les frais (´elev´es) de logement sur la otcˆ e basque, Ric, Carmen, Keny, pour toutes les
soir´ees,labonnehumeur,l’espritfestifdespaisas,ettoutcequivabien...sansoublierce
voyage `a Medellin, m´emorable! Et Livier, bien ´evidement, pour ses concours d’insultes
Shakespeariennes, nos d´ebats Pratchettiens, et pour m’avoir prouv´e avec Keny que
l’ingestion d’une demi-bouteille de tabasco ´etait une prouesse humainement r´ealisable.
– Guillaume R., motard dans le plus pur esprit Joe BAR Team, pour ses conseils, ainsi
que pour sa double capacit´e `a pouvoir s’endormir en soir´ee et ensuite travailler plus de
50 heures d’affil´ee.
– Olivier P., compagnon de r´edaction, et dont les multiples th´eories ont lanc´e des d´ebats
qui ont´egay´e nos pauses caf´e-clope. La th`ese, un tour du monde en solitaire? C’est pas
si pire, mais c’est pas non plus d´econnant.
– `a Elric D., pour avoir pris sur lui du travail suppl´ementaire afin de me laisser r´ediger
sans distractions.
– `a Emilie C., Olivier Z., Ionel V., et tous les autres pour tous ces super moments que
nous avons pu passer ensemble!
Nearly last but not least, je remercie bien ´evidemment ma famille - mon p`ere et mes fr`ere
etsoeurs,mesamis.JeremercieGaelledem’avoirsupport´ependantcesann´eesdeth`eseeten¨
particuliers les mois de r´edaction, ces mois difficiles ou` une´epaule compr´ehensive sur laquelle
pleurer l’infortune du doctorant en r´edaction est inestimable.
Enfin, je d´edie ce m´emoire `a ma m`ere, d´ec´ed´ee le 31 mars 2009, `a 13h31. Une seule phrase
de d´edicace me vient `a l’esprit aujourd’hui pour lui rendre dignement hommage.
A ta sant´e.Table des mati`eres
R´esum´e i
Remerciements iii
In