7 jours d'essai offerts
Cet ouvrage et des milliers d'autres sont disponibles en abonnement pour 8,99€/mois

oN d’ordre : 3935
`THESE
PRESENTEE A
´L’UNIVERSITE BORDEAUX I
ECOLE DOCTORALE DE MATHEMATIQUES ET
D’INFORMATIQUE
Par Alexis CLAY
POUR OBTENIR LE GRADE DE
DOCTEUR
SPECIALITE : INFORMATIQUE
La branche ´emotion, un mod`ele conceptuel pour l’int´egration de la
reconnaissance multimodale d’´emotions dans des applications interactives :
application au mouvement et `a la danse augment´ee
Soutenue le : 7 decembre 2009
Apr`es avis des rapporteurs :
Alice Caplier .............. Professeur
Jean-Claude Martin ....... Professeur
Devant la commission d’examen compos´ee de :
Alice Caplier .............. Professeur .......... Rapporteur
Jean-Claude Martin ....... Professeur .......... Rapporteur
Nadine Couture ........... Enseignant-chercheur Directrice
Maylis Delest ............. Professeur .......... Directrice
Guy Melanco n ............ Professeur .......... President
Laurence Nigay ........... Professeur .......... Directrice
Jean-Baptiste de la Riviere Docteur ............. Examinateur
Wilfrid Lefer .............. Professeur .......... Examinateur
2009R´esum´e
La reconnaissance d’´emotions est un domaine jeune mais dont la maturit´e grandissante
implique de nouveaux besoins en termes de mod´elisation et d’int´egration dans des mod`eles
existants. Ce travail de th`ese expose un mod`ele conceptuel pour la conception d’applications
interactives sensibles aux ´emotions de l’utilisateur. Notre approche se fonde sur les r´esultats
conceptuels issus de l’interaction multimodale : nous red´efinissons les concepts de modalit´e
et de multimodalit´e dans le cadre de la reconnaissance passive d’´emotions. Nous d´ecrivons
ensuite un mod`ele conceptuel `a base de composants logiciels s’appuyant sur cette red´efini-
tion : la branche ´emotion, facilitant la conception, le d´eveloppement et le maintien d’applica-
tions reconnaissant l’´emotion de l’utilisateur. Une application multimodale de reconnaissance
d’´emotions par la gestuelle a´et´e d´evelopp´ee selon le mod`ele de la branche´emotion et int´egr´ee
dans un syst`eme d’augmentation de spectacle de ballet sensible aux ´emotions d’un danseur.
Mots-cl´es. Interaction homme-machine,´emotion, reconnaissance, mod`ele conceptuel, com-
posants logiciels, multimodalit´e, gestuelle, mouvement, r´ealit´e augment´ee, danse.
Computer-based emotion recognition is a growing field which develops new needs in terms
of software modeling and integration of existing models. This thesis describes a conceptual
framework for designing emotionally-aware interactive software. Our approach is based upon
conceptual results from the field of multimodal interaction : we redefine the concepts of mo-
dality and multimodality within the frame of passive emotion recognition. We then describe
a component-based conceptual model relying on this redefinition. The emotion branch facili-
tates the design, development and maintenance of emotionally-aware systems. A multimodal,
interactive, gesture-based emotion recognition software based on the emotion branch was de-
veloped. This system was integrated within an augmented reality system to augment a ballet
dance show according to the dancer’s expressed emotions.
Keywords. Man-machine interaction, emotion, recognition, conceptual model, software
components, multimodality, gesture, movement, augmented reality, dance.
iRemerciements
Il est amusant pour moi de me souvenir que cette th`ese ne fut en aucun cas due `a une
quelconque vocation mais `a une suite de circonstances inattendues. Si le DRH avait lu le CV
etlalettredemotivationquej’avaisenvoy´epourunposteenVIE`aTaiwan(ilm’a´et´econfirm´e
plustardqueleCVn’avaitpas´et´elu,oumacandidatureaurait´et´eaccept´ee);sienattendant
cette r´eponse je n’´etais pas all´e `a la fac pour m’inscrire, dans le but d’avoir la mutuelle
´etudiante;siquelqu’unavait´et´epr´esentpourm’inscrireauxBeaux-ArtsdePau(monpremier
choix), puis en fili`ere Langues Etrang`eres Appliqu´ees (mon second choix); si, errant dans le
bˆatimentInformatiquedel’UFRdeSciencesdelafacult´edePau,jen’´etaistomb´esurlam`ere
d’un excellent ami, secr´etaire du doyen des Sciences, qui me permit de m’inscrire en DEA;
si je n’avais pas assist´e aux cours, pr´ef´erant une derni`ere ann´ee estudiantine `a l’effroi de la
vie active; si enfin, je n’´etais pas tomb´e, totalement par hasard et au gr´e de mes lectures
bibliographiques de mon sujet de stage, sur une id´ee qui tout de suite enchanta Nadine
Couture, mon encadrante... alors je n’aurais pas fait de th`ese, de cela j’en suis certain.
Mespremiersremerciementsluisontdonctoutnaturellementadress´es,ainsiqua’`mesautres
encadrantesdeth`ese,LaurenceNigayetMaylisDelest.MerciNadinepouravoir,`apartird’une
simple id´ee jet´ee en l’air, mis en place cette th`ese, d´efini un sujet de recherche, trouv´e des
financements,toutcecipendantquejeparcouraisTa ¨ıwana(`larecherchedecontacts!);merci
`a toutes les trois d’avoir accept´e de co-diriger cette th`ese, de m’accompagner et de me faire
profiter de vos diverses exp´eriences dans des domaines vari´es tout au long de cette aventure.
Mercienfindem’avoirdonn´ecegouˆtpourlarecherche;Vousavezr´eussicesurquoijen’aurais
pas pari´e un sou quelques mois auparavant.
La r´ealisation de ce travail a bien ´evidemment n´ecessit´e des moyens et un financement. Je
tiens `a remercier l’ESTIA et son directeur Jean-Roch Guiresse de m’avoir accueilli au sein de
leur ´equipe de recherche. Je remercie bien surˆ ´egalement Didier Borotra et la Communaut´e
d’Agglom´eration Bayonne-Anglet-Biarritz, qui a financ´e ce travail de th`ese.
J’adresse mes sinc`eres remerciements `a l’ensemble du jury : son pr´esident Guy M´elan¸con,
Jean-Baptiste de la Rivi`ere, et Wilfrid Lefer. Je remercie particuli`erement les rapporteurs de
cem´emoire,AliceCaplieretJean-ClaudeMartin,pourleurregardcritiqueetleursremarques
avis´ees.
Je tiens `a exprimer mes profonds remerciements `a Thierry Malandain et au Centre Chor´e-
graphique National Malandain Ballet Biarritz pour s’ˆetre joint `a nous dans cette aventure. La
iiicollaboration que nous avons mis en place m’a permis d’aborder un monde dont j’avais une
totale ignorance, et a permis d’associer pleinement `a nos travaux Gael Domenger, danseur et¨
chor´egraphe au CCN d’Aquitaine.
Un paragraphe sp´ecifique ´etait d’ailleurs n´ecessaire, me semble-t-il, pour pleinement re-
mercier cet ´energum`ene extra-terrestre dont l’imagination et la cr´eativit´e se le disputent `a la
rigueur et `a la raison. Ga¨el, tu es un geek, sache-le; si tu n’avais ´et´e danseur, tu aurais du
ˆetre scientifique fou. Il n’en fallait pas moins pour que nous nous entendions aussi bien et que
tu appr´ehendes avec une telle facilit´e un monde qui n’´etait pas le tien.
Un grand merci bien surˆ `a tout le personnel de l’ESTIA et aux membres du laboratoire,
permanents comme doctorants. Comment ne pas citer les compagnons d’infortunes, gal´eriens
harass´es par le triste labeur du doctorant?
– La bande des hispanos tout d’abord : David et Alvaro qui m’ont permis de partager
les frais (´elev´es) de logement sur la otcˆ e basque, Ric, Carmen, Keny, pour toutes les
soir´ees,labonnehumeur,l’espritfestifdespaisas,ettoutcequivabien...sansoublierce
voyage `a Medellin, m´emorable! Et Livier, bien ´evidement, pour ses concours d’insultes
Shakespeariennes, nos d´ebats Pratchettiens, et pour m’avoir prouv´e avec Keny que
l’ingestion d’une demi-bouteille de tabasco ´etait une prouesse humainement r´ealisable.
– Guillaume R., motard dans le plus pur esprit Joe BAR Team, pour ses conseils, ainsi
que pour sa double capacit´e `a pouvoir s’endormir en soir´ee et ensuite travailler plus de
50 heures d’affil´ee.
– Olivier P., compagnon de r´edaction, et dont les multiples th´eories ont lanc´e des d´ebats
qui ont´egay´e nos pauses caf´e-clope. La th`ese, un tour du monde en solitaire? C’est pas
si pire, mais c’est pas non plus d´econnant.
– `a Elric D., pour avoir pris sur lui du travail suppl´ementaire afin de me laisser r´ediger
sans distractions.
– `a Emilie C., Olivier Z., Ionel V., et tous les autres pour tous ces super moments que
nous avons pu passer ensemble!
Nearly last but not least, je remercie bien ´evidemment ma famille - mon p`ere et mes fr`ere
etsoeurs,mesamis.JeremercieGaelledem’avoirsupport´ependantcesann´eesdeth`eseeten¨
particuliers les mois de r´edaction, ces mois difficiles ou` une´epaule compr´ehensive sur laquelle
pleurer l’infortune du doctorant en r´edaction est inestimable.
Enfin, je d´edie ce m´emoire `a ma m`ere, d´ec´ed´ee le 31 mars 2009, `a 13h31. Une seule phrase
de d´edicace me vient `a l’esprit aujourd’hui pour lui rendre dignement hommage.
A ta sant´e.Table des mati`eres
R´esum´e i
Remerciements iii
Introduction 1
I Etat de l’art 7
´1 Les Emotions 9
1.1 D´efinitions de l’´emotion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.1.1 Taxonomie retenue . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.1.2 Emotion : d´efinition retenue . . . . . . . . . . . . . . . . . . . . . . . . . 13
1.2 Th´eories de l’´emotion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
1.2.1 Probl´ematiques relatives aux th´eories de l’´emotion . . . . . . . . . . . . 13
1.2.2 Th´eories et mod`eles retenus . . . . . . . . . . . . . . . . . . . . . . . . . 14
´1.2.3 Evolution d’une ´emotion au cours du temps et transitions entre ´emotions 18
1.2.4 Conclusion sur les th´eories de l’´emotion . . . . . . . . . . . . . . . . . . 21
1.3 Mod`eles de repr´esentation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
1.3.1 Mod`eles de repr´esentation discrets . . . . . . . . . . . . . . . . . . . . . 23
1.3.2 Mod`eles de repr´esentation continus . . . . . . . . . . . . . . . . . . . . . 24
1.3.3 Mod`ele de repr´esentation bas´e composants . . . . . . . . . . . . . . . . 24
1.3.4 Int´erˆet de ces mod`eles de repr´esentation . . . . . . . . . . . . . . . . . . 25
1.4 Expression de l’´emotion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
1.4.1 Les canaux de l’expression . . . . . . . . . . . . . . . . . . . . . . . . . . 26
1.4.2 Les variables capt´ees pour reconnaˆıtre les ´emotions . . . . . . . . . . . . 27
1.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
2 Syst`emes de reconnaissance d’´emotions 31
i2.1 Deux axes pour les syst`emes de reconnaissance d’´emotions . . . . . . . . . . . . 32
2.1.1 Axe reconnaissance g´en´erique / personnalis´ee . . . . . . . . . . . . . . . 32
2.1.2 Axe reconnaissance active / passive . . . . . . . . . . . . . . . . . . . . 33
2.2 Capteurs utilis´es pour la reconnaissance d’´emotions . . . . . . . . . . . . . . . . 34
2.3 Canaux de communication ´emotionnelle . . . . . . . . . . . . . . . . . . . . . . 36
2.3.1 Reconnaissance par expressions faciales . . . . . . . . . . . . . . . . . . 36
2.3.2 Reconnaissance par la voix . . . . . . . . . . . . . . . . . . . . . . . . . 38
2.3.3 Reconnaissance par le mouvement . . . . . . . . . . . . . . . . . . . . . 39
2.3.4 Reconnaissance par le Syst`eme Nerveux Autonome . . . . . . . . . . . . 39
2.3.5 Reconnaissance multicanaux . . . . . . . . . . . . . . . . . . . . . . . . 40
2.4 Interpr´etation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
2.4.1 Mod`eles pour l’interpr´etation . . . . . . . . . . . . . . . . . . . . . . . . 42
2.4.2 Algorithmes pour l’interpr´etation . . . . . . . . . . . . . . . . . . . . . . 44
2.4.3 Fusion et synchronisation de donn´ees . . . . . . . . . . . . . . . . . . . . 45
2.5 Evaluation d’un programme de reconnaissance . . . . . . . . . . . . . . . . . . 46
2.5.1 Crit`eres d’´evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
2.5.2 Protocoles d’induction . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
2.6 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
3 Reconnaissance d’´emotions par la gestuelle 51
3.1 D´efinitions du geste . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
3.1.1 Le geste : un mouvement . . . . . . . . . . . . . . . . . . . . . . . . . . 51
3.1.2 Le geste : ses fonctions . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
3.2 Expressivit´e du geste : l’analyse du mouvement de Laban . . . . . . . . . . . . 53
3.3 Gestuelle et ´emotion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
3.4 Mise en œuvre informatique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
3.4.1 Sp´ecificit´es du niveau capture . . . . . . . . . . . . . . . . . . . . . . . . 57
3.4.2 Sp´ecificit´es du niveau analyse . . . . . . . . . . . . . . . . . . . . . . . . 57
3.4.3 Sp´ecificit´es du niveau interpr´etation . . . . . . . . . . . . . . . . . . . . 60
3.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
II Unmod`eled’architecturepourlareconnaissanced’´emotionsdansles
applications interactives 63
4 Mod`ele d’architecture : un point de vue interaction homme-machine de la
reconnaissance d’´emotions 654.1 Mod`ele d’architecture : d´efinition et exemples . . . . . . . . . . . . . . . . . . . 66
4.1.1 D´efinition d’un mod`ele d’architecture . . . . . . . . . . . . . . . . . . . 66
4.1.2 Exemples de mod`eles de r´ef´erence . . . . . . . . . . . . . . . . . . . . . 67
4.2 Interaction Homme-Machine et multimodalit´e . . . . . . . . . . . . . . . . . . . 69
4.2.1 D´efinition d’une modalit´e . . . . . . . . . . . . . . . . . . . . . . . . . . 70
4.2.2 Multimodalit´e . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
4.2.3 Relations entre modalit´es : espace TYCOON et propri´et´es CARE. . . . 73
4.2.4 Fusion de donn´ees multimodales . . . . . . . . . . . . . . . . . . . . . . 76
4.3 IHM et reconnaissance d’´emotions . . . . . . . . . . . . . . . . . . . . . . . . . 78
4.3.1 D´ecompositionfonctionnelle:requisetlimitationsdenotremod`eled’ar-
chitecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
4.3.2 Un motif en trois niveaux pour la reconnaissance d’´emotions . . . . . . 79
4.3.3 Int´egration de la branche ´emotion dans des applications interactives . . 80
4.4 Int´egration de la reconnaissance d’´emotions . . . . . . . . . . . . . . . . . . . . 82
4.4.1 D´efinition d’une modalit´e dans le cadre de la reconnaissance passive
d’´emotions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
4.4.2 Adaptation et extension de la hi´erarchie des niveaux d’abstraction . . . 85
4.4.3 Multimodalit´e et composition des modalit´es, relecture des propri´et´es
CARE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
4.4.4 Cons´equences sur la fusion des donn´ees . . . . . . . . . . . . . . . . . . 88
4.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
5 La branche ´emotion 91
5.1 Architecture `a composants . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
5.1.1 Pr´esentation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
5.1.2 Atouts et limitations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
5.2 Architectures et applications existantes. . . . . . . . . . . . . . . . . . . . . . . 92
5.2.1 MAUI+ASIA, une architecture pour l’informatique affective . . . . . . . 93
5.2.2 Eyesweb, une plate-forme bas´ee composants pour la reconnaissance
d’´emotions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
5.2.3 ICARE, un outil bas´e composants pour les applications interactives
multimodales . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
5.2.4 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99
5.3 La branche ´emotion : conception globale . . . . . . . . . . . . . . . . . . . . . . 99
5.3.1 Fondations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
5.3.2 D´efinition des composants de la branche ´emotion . . . . . . . . . . . . . 101
5.3.3 Caract´erisation des flux de donn´ees . . . . . . . . . . . . . . . . . . . . . 1055.3.4 Propri´et´es CARE de la multimodalit´e appliqu´ees aux composants. . . . 105
5.3.5 Exemple . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106
5.4 Sp´ecifications des composants de la branche ´emotion . . . . . . . . . . . . . . . 107
5.4.1 L’unit´e de capture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108
5.4.2 L’extracteur de caract´eristiques . . . . . . . . . . . . . . . . . . . . . . . 109
5.4.3 L’interpr´eteur . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109
5.4.4 L’adaptateur . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110
5.4.5 Le concentrateur . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110
5.4.6 Le bloc de donn´ees . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
5.5 Moteur de synchronisation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113
5.5.1 Structure : le conteneur . . . . . . . . . . . . . . . . . . . . . . . . . . . 113
5.5.2 Synchronisation en entr´ee du moteur de synchronisation . . . . . . . . . 114
5.5.3 Synchronisation en sortie du conteneur : les pots de synchronisation . . 116
5.5.4 Gestion de la m´emoire : le ramasse-miettes . . . . . . . . . . . . . . . . 118
5.5.5 Exemples de fonctionnement . . . . . . . . . . . . . . . . . . . . . . . . 118
5.6 Impl´ementation de la branche ´emotion . . . . . . . . . . . . . . . . . . . . . . . 121
5.6.1 Int´egration de syst`emes tiers dans la branche ´emotion . . . . . . . . . . 121
5.6.2 Validation et simulation d’un composant ou d’un patch de composants . 122
5.7 Validation de la branche ´emotion : mod´elisation de l’existant . . . . . . . . . . 123
5.7.1 Mod´elisation d’une application bas´ee sur l’existant en psychologie [46] . 123
5.7.2 Mod´elisation d’une application existante de reconnaissance d’´emo-
tions [143] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
5.8 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127
III Contributions pratiques : r´ealisations logicielles 129
6 eMotion, un canevas logiciel de reconnaissance d’´emotions bas´ee sur la ges-
tuelle 131
6.1 Motivations et limitations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131
6.2 Application des concepts de l’ing´enierie logicielle . . . . . . . . . . . . . . . . . 132
6.2.1 Architecture en trois niveaux fonctionnels . . . . . . . . . . . . . . . . . 133
6.2.2 Pr´esentationdescomposantsetsyst`emesrepr´esentationnelsmisenœuvre134
6.2.3 Param´etrisation d’eMotion : architecture en agents PAC . . . . . . . . . 136
6.2.4 R´esum´e global de l’architecture : communication entre composants . . . 138
6.2.5 Interface utilisateur . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139
6.3 Analyse de l’architecture d’eMotion : extensibilit´e et modifiabilit´e . . . . . . . . 140