La branche émotion, un modèle conceptuel pour l’intégration de la reconnaissance multimodale d’émotions dans des applications interactives : application au mouvement et `a la danse augmentée

De
Publié par

Sous la direction de Maylis Delest, Nadine Couture
Thèse soutenue le 07 décembre 2009: Bordeaux 1
La reconnaissance d'émotions est un domaine jeune mais dont la maturité grandissante implique de nouveaux besoins en termes de modélisation et d'intégration dans des modèles existants. Ce travail de thèse expose un modèle conceptuel pour la conception d'applications interactives sensibles aux émotions de l'utilisateur. Notre approche se fonde sur les résultats conceptuels issus de l'interaction multimodale: nous redéfinissons les concepts de modalité et de multimodalité dans le cadre de la reconnaissance passive d'émotions. Nous décrivons ensuite un modèle conceptuel à base de composants logiciels s'appuyant sur cette redéfinition: la branche émotion, facilitant la conception, le développement et le maintien d'applications reconnaissant l'émotion de l'utilisateur. Une application multimodale de reconnaissance d'émotions par la gestuelle a été développée selon le modèle de la branche émotion et intégrée dans un système d'augmentation de spectacle de ballet sensible aux émotions d'un danseur.
-Interaction homme-machine
-composants logiciels
-réalité augmentée
-émotion
-multimodalité
-danse
-reconnaissance
-gestuelle
-modèle conceptuel
-mouvement
Computer-based emotion recognition is a growing field which develops new needs in terms of software modeling and integration of existing models. This thesis describes a conceptual framework for designing emotionally-aware interactive software. Our approach is based upon conceptual results from the field of multimodal interaction: we redefine the concepts of modality and multimodality within the frame of passive emotion recognition. We then describe a component-based conceptual model relying on this redefinition. The emotion branch facilitates the design, development and maintenance of emotionally-aware systems. A multimodal, interactive, gesture-based emotion recognition software based on the emotion branch was developed. This system was integrated within an augmented reality system to augment a ballet dance show according to the dancer's expressed emotions.
-Man-machine interaction
-emotion recognition
-conceptual model
-software components
-multimodality
-gesture
-movement
-augmented reality
-dance
Source: http://www.theses.fr/2009BOR13935/document
Publié le : mardi 1 novembre 2011
Lecture(s) : 92
Nombre de pages : 202
Voir plus Voir moins

oN d’ordre : 3935
`THESE
PRESENTEE A
´L’UNIVERSITE BORDEAUX I
ECOLE DOCTORALE DE MATHEMATIQUES ET
D’INFORMATIQUE
Par Alexis CLAY
POUR OBTENIR LE GRADE DE
DOCTEUR
SPECIALITE : INFORMATIQUE
La branche ´emotion, un mod`ele conceptuel pour l’int´egration de la
reconnaissance multimodale d’´emotions dans des applications interactives :
application au mouvement et `a la danse augment´ee
Soutenue le : 7 decembre 2009
Apr`es avis des rapporteurs :
Alice Caplier .............. Professeur
Jean-Claude Martin ....... Professeur
Devant la commission d’examen compos´ee de :
Alice Caplier .............. Professeur .......... Rapporteur
Jean-Claude Martin ....... Professeur .......... Rapporteur
Nadine Couture ........... Enseignant-chercheur Directrice
Maylis Delest ............. Professeur .......... Directrice
Guy Melanco n ............ Professeur .......... President
Laurence Nigay ........... Professeur .......... Directrice
Jean-Baptiste de la Riviere Docteur ............. Examinateur
Wilfrid Lefer .............. Professeur .......... Examinateur
2009R´esum´e
La reconnaissance d’´emotions est un domaine jeune mais dont la maturit´e grandissante
implique de nouveaux besoins en termes de mod´elisation et d’int´egration dans des mod`eles
existants. Ce travail de th`ese expose un mod`ele conceptuel pour la conception d’applications
interactives sensibles aux ´emotions de l’utilisateur. Notre approche se fonde sur les r´esultats
conceptuels issus de l’interaction multimodale : nous red´efinissons les concepts de modalit´e
et de multimodalit´e dans le cadre de la reconnaissance passive d’´emotions. Nous d´ecrivons
ensuite un mod`ele conceptuel `a base de composants logiciels s’appuyant sur cette red´efini-
tion : la branche ´emotion, facilitant la conception, le d´eveloppement et le maintien d’applica-
tions reconnaissant l’´emotion de l’utilisateur. Une application multimodale de reconnaissance
d’´emotions par la gestuelle a´et´e d´evelopp´ee selon le mod`ele de la branche´emotion et int´egr´ee
dans un syst`eme d’augmentation de spectacle de ballet sensible aux ´emotions d’un danseur.
Mots-cl´es. Interaction homme-machine,´emotion, reconnaissance, mod`ele conceptuel, com-
posants logiciels, multimodalit´e, gestuelle, mouvement, r´ealit´e augment´ee, danse.
Computer-based emotion recognition is a growing field which develops new needs in terms
of software modeling and integration of existing models. This thesis describes a conceptual
framework for designing emotionally-aware interactive software. Our approach is based upon
conceptual results from the field of multimodal interaction : we redefine the concepts of mo-
dality and multimodality within the frame of passive emotion recognition. We then describe
a component-based conceptual model relying on this redefinition. The emotion branch facili-
tates the design, development and maintenance of emotionally-aware systems. A multimodal,
interactive, gesture-based emotion recognition software based on the emotion branch was de-
veloped. This system was integrated within an augmented reality system to augment a ballet
dance show according to the dancer’s expressed emotions.
Keywords. Man-machine interaction, emotion, recognition, conceptual model, software
components, multimodality, gesture, movement, augmented reality, dance.
iRemerciements
Il est amusant pour moi de me souvenir que cette th`ese ne fut en aucun cas due `a une
quelconque vocation mais `a une suite de circonstances inattendues. Si le DRH avait lu le CV
etlalettredemotivationquej’avaisenvoy´epourunposteenVIE`aTaiwan(ilm’a´et´econfirm´e
plustardqueleCVn’avaitpas´et´elu,oumacandidatureaurait´et´eaccept´ee);sienattendant
cette r´eponse je n’´etais pas all´e `a la fac pour m’inscrire, dans le but d’avoir la mutuelle
´etudiante;siquelqu’unavait´et´epr´esentpourm’inscrireauxBeaux-ArtsdePau(monpremier
choix), puis en fili`ere Langues Etrang`eres Appliqu´ees (mon second choix); si, errant dans le
bˆatimentInformatiquedel’UFRdeSciencesdelafacult´edePau,jen’´etaistomb´esurlam`ere
d’un excellent ami, secr´etaire du doyen des Sciences, qui me permit de m’inscrire en DEA;
si je n’avais pas assist´e aux cours, pr´ef´erant une derni`ere ann´ee estudiantine `a l’effroi de la
vie active; si enfin, je n’´etais pas tomb´e, totalement par hasard et au gr´e de mes lectures
bibliographiques de mon sujet de stage, sur une id´ee qui tout de suite enchanta Nadine
Couture, mon encadrante... alors je n’aurais pas fait de th`ese, de cela j’en suis certain.
Mespremiersremerciementsluisontdonctoutnaturellementadress´es,ainsiqua’`mesautres
encadrantesdeth`ese,LaurenceNigayetMaylisDelest.MerciNadinepouravoir,`apartird’une
simple id´ee jet´ee en l’air, mis en place cette th`ese, d´efini un sujet de recherche, trouv´e des
financements,toutcecipendantquejeparcouraisTa ¨ıwana(`larecherchedecontacts!);merci
`a toutes les trois d’avoir accept´e de co-diriger cette th`ese, de m’accompagner et de me faire
profiter de vos diverses exp´eriences dans des domaines vari´es tout au long de cette aventure.
Mercienfindem’avoirdonn´ecegouˆtpourlarecherche;Vousavezr´eussicesurquoijen’aurais
pas pari´e un sou quelques mois auparavant.
La r´ealisation de ce travail a bien ´evidemment n´ecessit´e des moyens et un financement. Je
tiens `a remercier l’ESTIA et son directeur Jean-Roch Guiresse de m’avoir accueilli au sein de
leur ´equipe de recherche. Je remercie bien surˆ ´egalement Didier Borotra et la Communaut´e
d’Agglom´eration Bayonne-Anglet-Biarritz, qui a financ´e ce travail de th`ese.
J’adresse mes sinc`eres remerciements `a l’ensemble du jury : son pr´esident Guy M´elan¸con,
Jean-Baptiste de la Rivi`ere, et Wilfrid Lefer. Je remercie particuli`erement les rapporteurs de
cem´emoire,AliceCaplieretJean-ClaudeMartin,pourleurregardcritiqueetleursremarques
avis´ees.
Je tiens `a exprimer mes profonds remerciements `a Thierry Malandain et au Centre Chor´e-
graphique National Malandain Ballet Biarritz pour s’ˆetre joint `a nous dans cette aventure. La
iiicollaboration que nous avons mis en place m’a permis d’aborder un monde dont j’avais une
totale ignorance, et a permis d’associer pleinement `a nos travaux Gael Domenger, danseur et¨
chor´egraphe au CCN d’Aquitaine.
Un paragraphe sp´ecifique ´etait d’ailleurs n´ecessaire, me semble-t-il, pour pleinement re-
mercier cet ´energum`ene extra-terrestre dont l’imagination et la cr´eativit´e se le disputent `a la
rigueur et `a la raison. Ga¨el, tu es un geek, sache-le; si tu n’avais ´et´e danseur, tu aurais du
ˆetre scientifique fou. Il n’en fallait pas moins pour que nous nous entendions aussi bien et que
tu appr´ehendes avec une telle facilit´e un monde qui n’´etait pas le tien.
Un grand merci bien surˆ `a tout le personnel de l’ESTIA et aux membres du laboratoire,
permanents comme doctorants. Comment ne pas citer les compagnons d’infortunes, gal´eriens
harass´es par le triste labeur du doctorant?
– La bande des hispanos tout d’abord : David et Alvaro qui m’ont permis de partager
les frais (´elev´es) de logement sur la otcˆ e basque, Ric, Carmen, Keny, pour toutes les
soir´ees,labonnehumeur,l’espritfestifdespaisas,ettoutcequivabien...sansoublierce
voyage `a Medellin, m´emorable! Et Livier, bien ´evidement, pour ses concours d’insultes
Shakespeariennes, nos d´ebats Pratchettiens, et pour m’avoir prouv´e avec Keny que
l’ingestion d’une demi-bouteille de tabasco ´etait une prouesse humainement r´ealisable.
– Guillaume R., motard dans le plus pur esprit Joe BAR Team, pour ses conseils, ainsi
que pour sa double capacit´e `a pouvoir s’endormir en soir´ee et ensuite travailler plus de
50 heures d’affil´ee.
– Olivier P., compagnon de r´edaction, et dont les multiples th´eories ont lanc´e des d´ebats
qui ont´egay´e nos pauses caf´e-clope. La th`ese, un tour du monde en solitaire? C’est pas
si pire, mais c’est pas non plus d´econnant.
– `a Elric D., pour avoir pris sur lui du travail suppl´ementaire afin de me laisser r´ediger
sans distractions.
– `a Emilie C., Olivier Z., Ionel V., et tous les autres pour tous ces super moments que
nous avons pu passer ensemble!
Nearly last but not least, je remercie bien ´evidemment ma famille - mon p`ere et mes fr`ere
etsoeurs,mesamis.JeremercieGaelledem’avoirsupport´ependantcesann´eesdeth`eseeten¨
particuliers les mois de r´edaction, ces mois difficiles ou` une´epaule compr´ehensive sur laquelle
pleurer l’infortune du doctorant en r´edaction est inestimable.
Enfin, je d´edie ce m´emoire `a ma m`ere, d´ec´ed´ee le 31 mars 2009, `a 13h31. Une seule phrase
de d´edicace me vient `a l’esprit aujourd’hui pour lui rendre dignement hommage.
A ta sant´e.Table des mati`eres
R´esum´e i
Remerciements iii
Introduction 1
I Etat de l’art 7
´1 Les Emotions 9
1.1 D´efinitions de l’´emotion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.1.1 Taxonomie retenue . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.1.2 Emotion : d´efinition retenue . . . . . . . . . . . . . . . . . . . . . . . . . 13
1.2 Th´eories de l’´emotion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
1.2.1 Probl´ematiques relatives aux th´eories de l’´emotion . . . . . . . . . . . . 13
1.2.2 Th´eories et mod`eles retenus . . . . . . . . . . . . . . . . . . . . . . . . . 14
´1.2.3 Evolution d’une ´emotion au cours du temps et transitions entre ´emotions 18
1.2.4 Conclusion sur les th´eories de l’´emotion . . . . . . . . . . . . . . . . . . 21
1.3 Mod`eles de repr´esentation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
1.3.1 Mod`eles de repr´esentation discrets . . . . . . . . . . . . . . . . . . . . . 23
1.3.2 Mod`eles de repr´esentation continus . . . . . . . . . . . . . . . . . . . . . 24
1.3.3 Mod`ele de repr´esentation bas´e composants . . . . . . . . . . . . . . . . 24
1.3.4 Int´erˆet de ces mod`eles de repr´esentation . . . . . . . . . . . . . . . . . . 25
1.4 Expression de l’´emotion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
1.4.1 Les canaux de l’expression . . . . . . . . . . . . . . . . . . . . . . . . . . 26
1.4.2 Les variables capt´ees pour reconnaˆıtre les ´emotions . . . . . . . . . . . . 27
1.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
2 Syst`emes de reconnaissance d’´emotions 31
i2.1 Deux axes pour les syst`emes de reconnaissance d’´emotions . . . . . . . . . . . . 32
2.1.1 Axe reconnaissance g´en´erique / personnalis´ee . . . . . . . . . . . . . . . 32
2.1.2 Axe reconnaissance active / passive . . . . . . . . . . . . . . . . . . . . 33
2.2 Capteurs utilis´es pour la reconnaissance d’´emotions . . . . . . . . . . . . . . . . 34
2.3 Canaux de communication ´emotionnelle . . . . . . . . . . . . . . . . . . . . . . 36
2.3.1 Reconnaissance par expressions faciales . . . . . . . . . . . . . . . . . . 36
2.3.2 Reconnaissance par la voix . . . . . . . . . . . . . . . . . . . . . . . . . 38
2.3.3 Reconnaissance par le mouvement . . . . . . . . . . . . . . . . . . . . . 39
2.3.4 Reconnaissance par le Syst`eme Nerveux Autonome . . . . . . . . . . . . 39
2.3.5 Reconnaissance multicanaux . . . . . . . . . . . . . . . . . . . . . . . . 40
2.4 Interpr´etation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
2.4.1 Mod`eles pour l’interpr´etation . . . . . . . . . . . . . . . . . . . . . . . . 42
2.4.2 Algorithmes pour l’interpr´etation . . . . . . . . . . . . . . . . . . . . . . 44
2.4.3 Fusion et synchronisation de donn´ees . . . . . . . . . . . . . . . . . . . . 45
2.5 Evaluation d’un programme de reconnaissance . . . . . . . . . . . . . . . . . . 46
2.5.1 Crit`eres d’´evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
2.5.2 Protocoles d’induction . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
2.6 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
3 Reconnaissance d’´emotions par la gestuelle 51
3.1 D´efinitions du geste . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
3.1.1 Le geste : un mouvement . . . . . . . . . . . . . . . . . . . . . . . . . . 51
3.1.2 Le geste : ses fonctions . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
3.2 Expressivit´e du geste : l’analyse du mouvement de Laban . . . . . . . . . . . . 53
3.3 Gestuelle et ´emotion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
3.4 Mise en œuvre informatique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
3.4.1 Sp´ecificit´es du niveau capture . . . . . . . . . . . . . . . . . . . . . . . . 57
3.4.2 Sp´ecificit´es du niveau analyse . . . . . . . . . . . . . . . . . . . . . . . . 57
3.4.3 Sp´ecificit´es du niveau interpr´etation . . . . . . . . . . . . . . . . . . . . 60
3.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
II Unmod`eled’architecturepourlareconnaissanced’´emotionsdansles
applications interactives 63
4 Mod`ele d’architecture : un point de vue interaction homme-machine de la
reconnaissance d’´emotions 654.1 Mod`ele d’architecture : d´efinition et exemples . . . . . . . . . . . . . . . . . . . 66
4.1.1 D´efinition d’un mod`ele d’architecture . . . . . . . . . . . . . . . . . . . 66
4.1.2 Exemples de mod`eles de r´ef´erence . . . . . . . . . . . . . . . . . . . . . 67
4.2 Interaction Homme-Machine et multimodalit´e . . . . . . . . . . . . . . . . . . . 69
4.2.1 D´efinition d’une modalit´e . . . . . . . . . . . . . . . . . . . . . . . . . . 70
4.2.2 Multimodalit´e . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
4.2.3 Relations entre modalit´es : espace TYCOON et propri´et´es CARE. . . . 73
4.2.4 Fusion de donn´ees multimodales . . . . . . . . . . . . . . . . . . . . . . 76
4.3 IHM et reconnaissance d’´emotions . . . . . . . . . . . . . . . . . . . . . . . . . 78
4.3.1 D´ecompositionfonctionnelle:requisetlimitationsdenotremod`eled’ar-
chitecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
4.3.2 Un motif en trois niveaux pour la reconnaissance d’´emotions . . . . . . 79
4.3.3 Int´egration de la branche ´emotion dans des applications interactives . . 80
4.4 Int´egration de la reconnaissance d’´emotions . . . . . . . . . . . . . . . . . . . . 82
4.4.1 D´efinition d’une modalit´e dans le cadre de la reconnaissance passive
d’´emotions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
4.4.2 Adaptation et extension de la hi´erarchie des niveaux d’abstraction . . . 85
4.4.3 Multimodalit´e et composition des modalit´es, relecture des propri´et´es
CARE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
4.4.4 Cons´equences sur la fusion des donn´ees . . . . . . . . . . . . . . . . . . 88
4.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
5 La branche ´emotion 91
5.1 Architecture `a composants . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
5.1.1 Pr´esentation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
5.1.2 Atouts et limitations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
5.2 Architectures et applications existantes. . . . . . . . . . . . . . . . . . . . . . . 92
5.2.1 MAUI+ASIA, une architecture pour l’informatique affective . . . . . . . 93
5.2.2 Eyesweb, une plate-forme bas´ee composants pour la reconnaissance
d’´emotions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
5.2.3 ICARE, un outil bas´e composants pour les applications interactives
multimodales . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
5.2.4 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99
5.3 La branche ´emotion : conception globale . . . . . . . . . . . . . . . . . . . . . . 99
5.3.1 Fondations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
5.3.2 D´efinition des composants de la branche ´emotion . . . . . . . . . . . . . 101
5.3.3 Caract´erisation des flux de donn´ees . . . . . . . . . . . . . . . . . . . . . 1055.3.4 Propri´et´es CARE de la multimodalit´e appliqu´ees aux composants. . . . 105
5.3.5 Exemple . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106
5.4 Sp´ecifications des composants de la branche ´emotion . . . . . . . . . . . . . . . 107
5.4.1 L’unit´e de capture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108
5.4.2 L’extracteur de caract´eristiques . . . . . . . . . . . . . . . . . . . . . . . 109
5.4.3 L’interpr´eteur . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109
5.4.4 L’adaptateur . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110
5.4.5 Le concentrateur . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110
5.4.6 Le bloc de donn´ees . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
5.5 Moteur de synchronisation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113
5.5.1 Structure : le conteneur . . . . . . . . . . . . . . . . . . . . . . . . . . . 113
5.5.2 Synchronisation en entr´ee du moteur de synchronisation . . . . . . . . . 114
5.5.3 Synchronisation en sortie du conteneur : les pots de synchronisation . . 116
5.5.4 Gestion de la m´emoire : le ramasse-miettes . . . . . . . . . . . . . . . . 118
5.5.5 Exemples de fonctionnement . . . . . . . . . . . . . . . . . . . . . . . . 118
5.6 Impl´ementation de la branche ´emotion . . . . . . . . . . . . . . . . . . . . . . . 121
5.6.1 Int´egration de syst`emes tiers dans la branche ´emotion . . . . . . . . . . 121
5.6.2 Validation et simulation d’un composant ou d’un patch de composants . 122
5.7 Validation de la branche ´emotion : mod´elisation de l’existant . . . . . . . . . . 123
5.7.1 Mod´elisation d’une application bas´ee sur l’existant en psychologie [46] . 123
5.7.2 Mod´elisation d’une application existante de reconnaissance d’´emo-
tions [143] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
5.8 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127
III Contributions pratiques : r´ealisations logicielles 129
6 eMotion, un canevas logiciel de reconnaissance d’´emotions bas´ee sur la ges-
tuelle 131
6.1 Motivations et limitations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131
6.2 Application des concepts de l’ing´enierie logicielle . . . . . . . . . . . . . . . . . 132
6.2.1 Architecture en trois niveaux fonctionnels . . . . . . . . . . . . . . . . . 133
6.2.2 Pr´esentationdescomposantsetsyst`emesrepr´esentationnelsmisenœuvre134
6.2.3 Param´etrisation d’eMotion : architecture en agents PAC . . . . . . . . . 136
6.2.4 R´esum´e global de l’architecture : communication entre composants . . . 138
6.2.5 Interface utilisateur . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139
6.3 Analyse de l’architecture d’eMotion : extensibilit´e et modifiabilit´e . . . . . . . . 140

Soyez le premier à déposer un commentaire !

17/1000 caractères maximum.