//img.uscri.be/pth/fb1ad07fbb9598cea4ff64e4a343ac7e398ac71e
Cette publication ne fait pas partie de la bibliothèque YouScribe
Elle est disponible uniquement à l'achat (la librairie de YouScribe)
Achetez pour : 36,99 € Lire un extrait

Lecture en ligne (cet ouvrage ne se télécharge pas)

ORALITÉ ET GESTUALITÉ

De
704 pages
Ce volume attache une attention particulière à la dimension multimodale des processus de communication. Les contributions publiées reflètent la diversité des disciplines intéressées. C'est aussi la trace d'une rencontre entre chercheurs qui étudient les aspects vocaux et gestuels de la communication, mais aussi praticiens (médecins et éducateurs) confrontés aux dysfonctionnements des formes sonores et visuelles des échanges, dont les travaux présentés montrent qu'ils ont vraisemblablement une origine commune dans les mécanismes de la motricité.
Voir plus Voir moins

ORALITÉ

ET GESTUALlTÉ

@ L'Harmattan,

Paris, 1998

-

ISBN: 2-7384-6941-8

Laboratoire de Phonétique de Besançon - Université de Franche-Comté Laboratoire Parole et Langage - Université de Provence - CNRS

ORALITE

ET GESTUALITE

COMMUNICATION MUL TIMO DALE, INTERACTION
Actes du colloque ORAGE'98 édités par Serge Santi, Isabelle Guaïtella, Christian Cavé et Gabrielle Konopczynski

L'Harmattan 5 - 7 rue de l'Ecole Polytechnique 75005 PARIS (France)

L'Harmattan Inc. ~5, rue Saint-Jacques MONTREAL (Qc) Canada H2Y 1K9

Présentation

Ce volume rassemble la quasi-totalitél des communications présentées au colloque international Orage'98 (Besançon du 9 au Il décembre 1998) organisé par le Laboratoire de Phonétique de l'Université de FrancheComté (Besançon) et le laboratoire Parole et Langage (ESA au CNRS 6057) de l'Université de Provence (Aix-en-Provence). Ce colloque est consacré à la vocalité et la gestualité, aux relations entre production vocale, verbale et gestuelle avec une attention toute particulière accordée aux aspects multimodaux des processus de communication. Il a été conçu dans une perspective pluridisciplinaire de façon à permettre des rencontres et échanges entre chercheurs s'intéressant à ce type de problématique quels que soient leur domaine, leur objet spécifique d'étude ou les théories auxquelles ils se réfèrent. Cela se reflète dans la diversité des thèmes abordés incluant aussi bien les vocalisations des nourrissons et des primates que la langue des signes; la façon dont diverses pathologies affectent la communication, ou la complémentarité entre informations verbales et démonstrations gestuelles dans la transmission de savoir-faire techniques. Loin de constituer un éparpillement, nous pensons que ces regards croisés peuvent être sources d'enrichissements mutuels. Au-delà de l'aspect ponctuel d'une rencontre forcément limitée dans le temps, nous formons le vœu que ce colloque, le premier consacré exclusivement à ce sujet et ce type d'approches, puisse être un creuset où se formeront quelques nouvelles idées, conceptions ou théories. Nous espérons qu'il débouchera sur de nouvelles collaborations pour approfondir la connaissance de ce qui est, en fait, le point de convergence de ces différents domaines de recherche: la façon dont les êtres humains et plus généralement les êtres vivants communiquent. Christian Cavé

1 Certains textes ne nous sont pas parvenus dans des délais permettant de les inclure dans ce volume et certains participants ont souhaité présenter leur communication sans fournir de texte.

Remerciements

Ce colloque a pu être organisé grâce au soutien ou à la participation organismes ou personnes suivantes que nous remercions vivement: le CNRS ['Université l'Université de Franche-Comté de Provence

des

le Conseil Régional de Franche-Comté la Ville de Besançon le GRl-DESYCOLE l'Equipe Langage-Discours lean-Pierre (ELAD! E.A. 2281) Besançon) de la Faculté des

Dupret (Audioprothésiste,

Les étudiants de Maîtrise et DEA Sciences du Langage Lettres de Besançon Les membres du Groupe Geste et Voix du Laboratoire Michel Hilaire, conservateur Fabre, Montpellier Bernard Teston en chef du Patrimoine,

Parole et Langage directeur du Musée

Marc Arabyan

Comité d'organisation

I Organizing

Committee

I. Guaïtella,

Co-présidence

0 *

G. Konopczynski, S. Santi, Secrétariat

Co-présidence général 0*

V. Arnaud *
R. Bertrand J. Boyer 0 C. Cavé 0 P. Chalumeau C. Dodane * * 0

* C. Guilleminot * B. Lagrue 0 P. Masselot * C. Paboudjian

M. Embarki

0

de Phonétique de Besançon, * Laboratoire ELADI, Université de Franche-Comté.
o

GRI-DESYCOLE,

Equipe

Groupe de Recherche Geste et Voix, Laboratoire Parole et Langage, CNRS ESA 6057, Institut de Phonétique d'Aix-en-Proivence, Université de Provence.

Comité

scientifique

I Scientific Committee

G. Calbris C. Cavé B. Cyrulnik A. Di Cristo I. Fànagy I. Guaïtella
C. Kerbrat-Orecchioni

G. Konopczynski M. Masselot D. McNeill J. Montredon 1.1. Ohala CI. Paradis S. Santi Th.A. Sebeok J. Vaissière J. Vauclair S. Vinter R. Vion

Première Conférences

partie invitées

Les relations voco-gestuelles dans la communication interpersonnelle Emergence d'une problématique et carrefour interdisciplinaire

:

Groupe de recherche

Geste et Voix:

Isabelle Guaïtella*, Serge Santi**, Christian Cavé*, Roxane Bertrand*, Jacques Boyer*, Martine Faraco***, Benoît Lagrue*, Pierre Mignard*, Chantal Paboudjian*, Alain Purson*
* Laboratoire Parole et Langage CNRS ESA 6057 Institut de Phonétique Université de Provence Aix-en-Provence isabelle. guaïtella@lpl.univ-aix.fr Laboratoire de Phonétique ** ELADI, GRI-DESYCOLE Université de Franche-Comté Besançon serge. santi@univ-fcomte.fr SCEFEE *** Université de Provence Aix-en-Provence

Introduction Notre hypothèse de travail est que la gestualité et la vocalité produites pendant la parole sont coordonnées (Condon 1976) et qu'elles sont la base constitutive de tous les procédés nécessaires à la mise en place et au déroulement des échanges communicatifs. Ces procédés, sémiotiques et rythmiques, permettent aux locuteurs de manifester leurs attitudes et de réguler leurs échanges (Bolinger 1985 ; Guaïtella 1995). Les indices observables de la gestualité et de la vocalité sont, ainsi, le reflet de l'adaptation dynamique des mécanismes cognitifs en situation d'interaction (McNeill 1992 ; Boyer 1997). Outre les effets de la variation individuelle, ces phé-

14

ORALITÉ

ET GESTUALlTÉ

: COMMUNICATION

MULTIMODALE,

INTERACTION

nomènes varient en fonction de conditionnements déterminés par les modèles sociaux et culturels. La vérification de cette hypothèse générale nécessite une division en thèmes et hypothèses plus précises. Nous pouvons les évoquer à travers les problématiques suivantes: quelle est la nature exacte des liens existant entre la gestualité et la vocalité ? Ces canaux de communication jouent-ils un rôle central ou secondaire dans les échanges interpersonnels ? Comment se planifie le discours verbal par rapport aux gestes, et que révèlent ces modalités sur les liens entre les images mentales, la pensée verbale et l'expression? Dans quelle mesure les locuteurs synchronisent-ils leurs productions dans les interactions? Les gestes et la voix sont-ils davantage structurés par des mécanismes universaux ou conditionnés par les composantes sociales et culturelles? Le groupe de recherche Geste et Voix

Dès 1990 (Guaïtella, Santi 1990 ; Guaïtella 1991), nous avons souligné le fait que le gestuel était coordonné à la production vocale du locuteur. Nous avons ainsi pu, en accord avec d'autres auteurs, observer que l'activité gestuelle du locuteur n'était pas une sorte d'activité secondaire et « décorative» par rapport à la parole, mais plutôt une activité structurante, facilitant, à la fois, du point de vue cognitif, la planification discursive, et, du point de vue interactif, le déroulement de l'échange. L'aspect novateur de notre démarche a été de considérer sur un même plan la manifestation vocale de la parole (gesticulation vocale) et la gestualité. Nous avons donc élaboré des grilles d'analyse permettant de les considérer d'une façon similaire. Nos travaux nous ont amené à formuler clairement l'hypothèse d'une coordination globale au niveau cognitif de la production du gestuel et du vocal. Depuis 1992, le groupe de recherche Geste et Voix s'est constitué à Aixen-Provence au sein du laboratoire CNRS « Parole et Langage ». L'organisation du congrès international Orage'98 « ORAlité et GEstualité, communication multimodale et interaction» est la suite normale des activités de ce groupe de recherche. Partant de notre problématique de recherche, nous avons voulu réunir des chercheurs proches de celle-ci, aussi bien que des spécialistes du geste ou de la voix, ainsi que des chercheurs d'autres domaines. Le contexte scientifique international et l'émergence de la problématique Notre thématique de recherche est, du point de vue de son orientation spécifique, un domaine nouveau, qui se fonde sur un substrat constitué

LES RELATIONS

VOCO-GESTUELLES

DANS LA COMMUNICATION

INTERPERSONNELLE

15

par des axes de recherche développés dans diverses disciplines. C'est ce que nous allons tenter de montrer ci-après, à travers l'évocation de certains travaux marquants. Ainsi l'analyse des liens entre la gestualité et la vocalité dans la production interactive du discours s'ancre à la fois dans les travaux des interactionnistes (plus spécialement les ethnométhodologistes et éthologues), des linguistes et spécialistes de la communication non-verbale, des phonéticiens de la théorie motrice, de la mimique phonatoire et du geste prosodique, ainsi que des psycholinguistes phonéticiens étudiant la perception bi-modale. Nous allons tenter de souligner brièvement en quoi ces domaines de recherche peuvent constituer des bases pour notre problématique. Dans la théorie motrice, l'idée centrale est que la perception des sons des langues se fait chez l'auditeur par une sorte de reconstitution des gestes articulatoires permettant de les produire. Cette hypothèse rejoint la nôtre, dans le sens où elle souligne qu'il existe un lien fondamental entre le gestuel et le vocal. Dans un ordre d'idées comparable, les travaux en perception bimodale (voir pour une synthèse, Massaro 1998) ont montré que, lorsque les indices audio et visuels fournis à un sujet étaient contradictoires, le sujet, dans la mesure du possible, faisait une synthèse des deux types d'indices et percevait un élément intermédiaire (exemple, lorsqu'on fournit à un sujet un visage articulant BA avec une voix prononçant GA, le sujet perçoit DA ce qui, du point de vue de l'articulation, est intermédiaire ; McGurk et MacDonald 1976). Les recherches de F6nagy, et notamment son étude sur le phénomène de la mimique articulatoire, montrent que lorsqu'un locuteur ressent une émotion, c'est non seulement sa mimique externe qui l'exprime, mais que ses gestes phonateurs sont en harmonie avec sa mimique visible, produisant ainsi une sorte de mimique interne dont la voix est la résultante sonore. Ohala, à travers son étude sur le sourire, et plus globalement dans ses travaux éthologiques sur la voix (notamment 1983), souligne à la fois la capacité de la voix à mimer le corporel (par exemple produire une voix aiguë pour manifester que l'on est plus petit et donc inoffensif, selon le principe de la fréquence de résonance d'un corps), et le fait que les gestes externes peuvent n'être parfois que des résidus de gestes phonateurs (c'est l'hypothèse qu'il fait pour le sourire, qui serait selon lui un résidu visuel d'un geste phonateur nécessaire à la production d'une voix évoquant l'amabilité). Bolinger, à la suite de précurseurs tels que Heese et Trojan, observe des similitudes régulières de trajectoires entre les composantes vocales et gestuelles. Ainsi une montée du menton est associée à la montée de la voix dans certains questionnements, par exemple. Ceci correspondrait à des

16

ORALITÉ ET GESTUALITÉ

: COMMUNICATION MUL TIMODALE,

INTERACTION

associations dans la tension ou la détente de muscles produisant les gestes phonateurs et les gestes simplement visibles. Certains spécialistes de la gestualité /e sont intéressés à l'interaction et ont également pris en compte la dipiension vocale. Birdwhistell a ainsi remarqué qu'il existait des accents rythmiques kinésiques qui se localisaient sur des syllabes mises en relief également par des indices vocaux. Condon (1976) a pris en compte le vocal et le gestuel et a montré qu'il existait une synchronisation interne au locuteur entre les diverses manifestations de ces deux modalités. Par ailleurs, il a également montré que, dans l'interaction, les indices fournis par ces deux modalités permettaient de voir que les interlocuteurs produisaient des rythmes synchronisés. Pour les composantes rythmiques de la régulation du dialogue, Cosnier (1988) a montré que le gestuel et le vocal pouvait assumer des fonctions équivalentes, et ce également par rapport au verbal, cette recherche se situant dans le même sens que celle de Bally (1925 1944). Actuellement quelques travaux (Diallo 1995; McClave 1997; Nobe 1998) se développent dans une perspective semblable à la nôtre, et tentent de déterminer quels liens existent entre les composantes vocales et gestuelles, ainsi que l'importance de ces liens dans le déroulement des interactions. Nous étudions donc les manifestations gestuelles et vocales du discours et de l'interaction avec l'hypothèse qu'elles sont coordonnées dans leur production et leur perception. Ainsi, nous considérons que le gestuel et le vocal nous fournissent des indices pour mieux comprendre ce qui se passe au niveau cognitif chez un individu en train de parler et entre les individus qui interagissent. Notre hypothèse induit que la gestualité et la vocalité ne seraient pas en contradiction mais en complémentarité. Ainsi, lorsque nous sommes, pour certaines études de notre groupe de recherche, amenés à envisager une seule des deux modalités (geste ou voix), c'est avec la perspective que ces données seront complétées - et non contredites - par l'analyse ultérieure de la modalité complémentaire.

Hypothèse

et importance

des éléments

méthodologiques

Du point de vue méthodologique, nous faisons la distinction entre ce qu'il est possible de nommer la théorie méthodologique et la méthodologie pratique. En ce qui concerne la méthodologie pratique, nous utilisons les outils de l'analyse du mouvement, du signal sonore et du signal visuel (pour une revue, voir Teston 1998). La théorie méthodologique correspond aux préliminaires de l'approche expérimentale. A ce niveau, nous définissons plusieurs critères, inspirés notamment par l'éthologie humaine, où les comportements humains sont donnés comme observables selon des

LES RELATIONS

VOCO-GESTUELLES

DANS LA COMMUNICATION

INTERPERSONNELLE

17

grilles similaires à celles appliquées pour les autres espèces (Eibl-Eibesfeld 1979; Cosnier 1987; Cyrulnik 1989 et 1991 ; Feyereisen & De Lannoy 1997 ; Montagner 1978), et par les travaux en sémiotique qui montrent à la fois les caractéristiques dynamiques des signes, leur adaptabilité aux nécessités comportementales et leur multimodalité, ainsi que le potentiel des processus sémiotiques à transgresser les frontières des espèces (Sebeok 1972). Les critères déterminés supposent ainsi l'étude de corpus spontanés (c'est-à-dire des productions de parole improvisée, Guaïtella 1991), l'adoption d'hypothèses qui ne soient pas figées, et l'étude systématique de corpus associée à son complémentaire qui est l'étude systématique d'un problème précis envisagé à travers plusieurs expérimentations. Nous observons donc comment les individus utilisent la gestualité et la vocalité pour interagir, dans la perspective ouverte par nos hypothèses qui sont que cette gestualité et cette vocalité sont coordonnées dès le niveau cognitif de leur planification, que leur rôle n'est pas secondaire par rapport au discours verbal mais plutôt central et préliminaire, et que c'est donc la fonction centrale de ces modalités qui permet la mise en place et le déroulement des interactions. Notre cadre d'analyse éthologique de la parole humaine nous amène à considérer dans quelle mesure la variation que l'on peut observer dans la réalisation de ces phénomènes est ancrée dans des choix comportementaux plutôt que dépendante de la mise en place de codes figés. Nous ne nous situons pas dans la perspective de certains travaux sur le gestuel qui présentent souvent cette modalité comme la réalisation de codes statiques, de même pour l'étude du vocal où l'analyse prosodique de corpus lus a amené des auteurs à considérer des aspects figés et standardisés de la vocalité. L'étude de corpus spontanés et interactifs permet de mettre en lumière les caractéristiques dynamiques inhérentes à la dimension communicative de ces modalités. Nous avons donc développé ou repris des principes globaux inspirés de l'éthologie humaine dans notre démarche d'analyse. Nous ne procédons pas à partir d'hypothèses figées, mais par un va-et-vient entre les hypothèses et les données, selon le principe défini par Condon (1976). Nous alternons l'observation globale de corpus avec le traitement ciblé d'un phénomène précis, envisagé sous divers angles et à travers des méthodologies d'investigation diversifiées. Toute situation d'étude et tout protocole expérimental comporte des spécificités que l'on peut aller jusqu'à considérer comme des biais, la meilleure façon d'éviter ce problème est, selon nous, d'observer un même objet d'étude à travers des expérimentations et des corpus différents. Nous prenons en considération le principe de l'observation flottante (rappelé par De Lannoy et Feyereisen 1997) ; en

18

ORALITÉ ET GESTUALITÉ

: COMMUNICATION MULTIMODALE,

INTERACTION

effet, étant donné que nous nous situons dans un domaine où peu d'investigations ont été réalisées, nous devons être attentifs à tout ce qui peut émerger des données et à propos de quoi nous n'aurions pas été aptes à élaborer des hypothèses. Par rapport à l'idée de l'accès à la compétence du locuteur, nous pouvons avancer que, si le locuteur a un contrôle sur tout ce qui constitue sa production, ce contrôle ne peut être conscient dans tous les cas. Ainsi le locuteur-expérimentateur n'a pas plus conscience que les autres de la totalité de sa production de parole et ne peut donc avoir à l'esprit un ensemble d'hypothèses suffisamment cohérentes pour expliquer tous les phénomènes qui ont lieu, ne serait-ce que dans sa production discursive. La démarche que nous venons de décrire se conçoit par l'analyse séquentielle de variables isolables du point de vue de l'observateur (selon le principe de micro-analyse de Condon 1976). C'est par une compréhension et une mise en relation des microphénomènes qu'un comportement aussi complexe que l'activité communicationnelle peut être appré-

hendé (Santi & Guaïtella

nomène plutôt que cet autre?

1994). La question « pourquoi étudier ce phé» ne se pose pas vraiment dans la mesure où

le dénombrement même des variables mises en jeu dans le dialogue demeure un sujet d'étude à part entière. L'analyse du comportement des variables est indépendant du poids de ces variables dans l'échange, en effet chaque variable ne peut que révéler au moins une part du fonctionnement global. Quelques travaux et résultats

A partir de grilles d'analyse - grilles multiparamétriques (Guaïtella 1991 et 1995; Guaïtella, Santi 1990), ou bien mise en relation de la courbe mélodique brute de la voix avec des grilles de notation du geste (Boyer 1993) - nous avons pu observer la synchronisation de phénomènes vocaux (essentiellement, pour ces études, la variation de la fréquence fondamentale de la voix) avec des phénomènes gestuels, et le rôle de cette synchronisation pour la production de composantes sémiotiques, rythmiques et de structuration discursive. Du point de vue de l'organisation rythmique, les phénomènes observés confirment l'hypothèse de l'autosynchronie développée par Condon. Nous avons pu voir que les indices rythmiques, gestuels et vocaux, se combinaient pour produire des structures accentuelles, descriptibles par des grilles métriques, les accents pouvant être de forces différentes suivant le

nombre

d'indices

mis en oeuvre, par un effet

«

d'addition

». Ces struc-

tures accentuelles jouent un rôle dans l'organisation discursive. Boyer (1993) a pu relever, notamment, un fonctionnement différent des divers paramètres gestuels pour favoriser la structuration de l'argumentation.

LES RELATIONS

VOCO-GESTUELLES

DANS LA COMMUNICATION

INTERPERSONNELLE

19

En considérant l'évolution des gestes suivant des axes de décomposition des trajectoires et la mise en relation de cette évolution avec celle de la mélodie de la voix, nous avons observé des configurations gestuo-vocales qui sont la base de l'expression d'attitudes. Bolinger (1985) soulignait déjà que le geste et la voix pouvaient se combiner de différentes manières pour exprimer les attitudes. Par notre méthode d'analyse, nous avons pu affiner cette observation et montrer que les combinaisons ne peuvent se faire aléatoirement, mais qu'elles se produisent par la mise en place de mécanismes sémiotiques précis (GuaÏtella 1991, 1995, 1998). La démarche complémentaire à l'étude globale de corpus est celle de l'étude plus ciblée d'un phénomène précis à travers plusieurs approches. Cette démarche permet d'envisager des corpus diversifiés (et donc de mieux prendre en compte la variabilité entre les personnes et les situations) mais c'est surtout l'utilisation de techniques différentes qui évite de nous laisser piéger par des biais méthodologiques qui peuvent être inhérents à un procédé technique particulier. Nous avons ainsi étudié la relation entre les mouvements rapides ascendants-descendants des sourcils et la fréquence fondamentale de la voix. Plusieurs auteurs ont montré que ces deux paramètres pouvaient jouer un rôle pour la production des accents (pour un état de l'art, voir Cavé, GuaÏtella, Santi 1993). Bolinger a souligné que, au sein des relations entre les paramètres vocaux et gestuels, la plus importante était peut-être celle qui unissait les sourcils et la fréquence fondamentale de la voix. Pour vérifier ces hypothèses, nous avons donc développé plusieurs expérimentations succeSSIves. Une première expérience pilote a été réalisée sur la base de corpus de journaux télévisés. Nous avons effectué une analyse automatique de la fréquence fondamentale de la voix et un relevé manuel des données kinésiques sur la vidéo. Les résultats obtenus étaient très réguliers, outre les mouvements rapides de sourcils présents sur les silences, ceux qui se manifestaient pendant la parole s'associaient à un contour montant-descendant rapide de la fréquence fondamentale (Cavé, Guaïtella, Santi 1993), le tout ayant une valeur accentogène (GuaÏtella 1991). Dans une deuxième étude sur cette question, Bertrand (1993) a analysé un corpus d'interview télévisée. Elle a joint à l'étude des sourcils, celle de l'ensemble des mouvements de la face. En ce qui concerne les sourcils, les données révélaient un lien comparable à ce qui avait été observé lors de l'étude pilote, mais ce lien n'était pas systématique (quelques rares cas étaient divergents). Nous avons alors mis en place une troisième étude en collaboration avec le Laboratoire de Neurobiologie de Marseille. Dans ce laboratoire nous

20

ORALITÉ ET GESTUALITÉ

: COMMUNICATION MULTIMODALE,

INTERACTION

avons eu accès à un analyseur de mouvement (Elite) utilisant des capteurs dont la légèreté nous permettait l'utilisation sur les sourcils sans gêner la production spontanée des locuteurs. Nous avons ainsi recueilli un corpus d'entrevues conversationnelles dans lesquelles le locuteur interviewé était appareillé. Les résultats de cette étude ont confirmé et précisé les études préliminaires, et nous ont permis de considérer également les mouvements rapides de sourcils se situant pendant les silences du locuteur (Cavé & al. 1996) . A l'issue de l'étude pilote nous avions fait l'hypothèse d'un lien synergique obligatoire entre l'activité des muscles laryngés et celle des muscles releveurs des sourcils. Cette hypothèse peut être partiellement remise en question à la lumière des données des deux autres études, dans le sens où ce lien n'est pas automatique. Cependant, sans qu'il soit question d'un lien obligatoire, nous pouvons estimer que celui-ci participe d'un effet synergique. L'observation des mouvements de sourcils localisés sur les silences nous a permis d'attester, en outre, leur rôle comme marqueur de la prise de parole (Guaïtella et al 1998). Conclusion et perspectives

Actuellement nos travaux en cours concernent l'étude des liens sémiotiques unissant la gestualité et la vocalité - en ce qui concerne l'expression des attitudes (Guaïtella) et la capacité du vocal à représenter le visuel (Santi) -, l'étude de la manifestation de l'activité cognitive dans le gestuovocal - planification discursive (Boyer, Guaïtella), liens entre la motricité et la cognition (Cavé, Lagrue, Mignard)-, l'étude du rôle interactif du gestuo-vocal - régulation et gestion de l'interaction (Bertrand, Boyer, Guaïtella, Purson, Santi) - et l'étude des effets de la variation - liée au conditionnement social (Paboudjian) et à la différence culturelle (Dolbec, Diallo, Faraco, Guaïtella, Ruiz-Lopez, Santi, Yehouenou). Divers domaines d'application sont envisagés en didactique et thérapeutique. Les résultats de nos recherches antérieures nous ont encouragés à poursuivre dans le sens de nos hypothèses. Nous sommes peut-être trop ambitieux, mais un de nos espoirs est de parvenir à modifier l'image sociale du gestuel et du vocal par rapport à celle du verbal. Nos travaux nous amènent à considérer le verbal comme la partie émergée de l'iceberg qu'est la communication totale, et, de ce fait, nous pensons que cette modification, qui serait une sorte de « réhabilitation» du gestuo-vocal, pourrait apporter quelques éléments de changements dans des situations parfois difficiles, et ce, en raison notamment de la trop grande prégnance du verbal, comme dans certaines situations scolaires, par exemple. Les formateurs, les éducateurs, et aussi les médecins, témoignent fréquemment du rôle important

LES RELATIONS

VOCO-GESTUELLES

DANS LA COMMUNICATION

INTERPERSONNELLE

21

que l'expression gestuelle et vocale (par l'intermédiaire de jeux théâtraux ou autres) peut jouer dans l'éducation ou la rééducation. En effet, si l'on considère que le gestuo-vocal est fondamental dans l'expression et la communication humaines, alors sa mise au second plan dans de nombreuses situations peut nuire au développement de l'individu et de sa capacité d'échange. Références Bally C. 1925, Le langage et la vie, Librairie Droz, Librairie Giard. Bally C. 1944, Linguistique Berne. Bertrand générale et linguistique française, Francke,

R. 1993, Mise en relation de l'activité de la face avec les paramètres prosodiques et la chaîne segmentale dans un corpus d'interview télévisé, Mémoire de D.E.A. de Phonétique expérimentale, fonctionnelle et appliquée, Université de Provence. R.L. 1970, Kinesics and context, Press. University of Pennsylvania

Birdwhistell

Bolinger D.L. 1985, Intonation

and its parts, Edward Arnold.

Bayer J. 1993, Mise en relation des mouvements des bras et de la tête avec les paramètres prosodiques dans un corpus d'interviewreportage télévisé, Mémoire de D.E.A. de Phonétique expérimentale, fonctionnelle et appliquée, Université de Provence. Bayer J. 1997, Effet de la simultanéité de production entre gestes iconiques ou métaphoriques et contenus verbaux, Travaux de l'Institut de Phonétique d'Aix, voU7, 249-66. Cavé C., Guaïtella I. & Santi S. 1993, Fréquence fondamentale et mouvements rapides des sourcils: une étude pilote, Travaux de l'Institut de Phonétique d'Aix, vol.15, 25-42. Cavé, C. ; Guaïtella, I. ; Bertrand, R. ; Santi, S. ; Harlay, F. ; Espesser, R. (1996), « About the relationship between eyebrow movements anf fO variations », In Proceedings of ICSLP, Philadelphie, 2175-2178. Condon W.S. 1976, An analysis of behavioral Studies, 13, 285-318. organisation, Sign Language

Cosnier J. 1987, Ethologie du dialogue, in Cosnier & Kerbrat-Orecchioni, Décrire la conversation, Presses Universitaires de Lyon, 291315.

22

ORALITÉ

ET GESTUALlTÉ

: COMMUNICATION

MULTIMODALE,

INTERACTION

Cosnier 1. 1988, Grands tours et petits tours, in Cosnier et al., Echanges sur la conversation, Editions du CNRS, Lyon, 175-84. Cyrulnik B. 1989, Sous le signe du lien, Hachette. Cyrulnik B. 1991, La naissance du sens, Hachette. De Lannoy & Feyereisen 1997, Ethologie humaine, Que-sais-je ?, P.U.F.

Diallo Alpha M. 1998, Le mélange de codes en français de Guinée, Actes du colloque «Le français parlé en Afrique », Publications de l'Université de Provence, Aix-en-Provence. Eibl-Eibesfeld I. 1979, Human ethology: concepts and implications for the sciences of man, The behavioral and brain sciences, 2, 157. et interlangue.

Faraco M. 1998, Multimodalité

lité et gestualité : Communication
(Actes du Colloque International tan (ce volume). Fèmagy I. 1983, La vive voix, Payot.

Geste et interlangue, Oramultimodale, interaction Orage'98), Paris, L'Harmat-

Guaïtella I. 1991, Rythme et parole: Comparaison critique du rythme de la lecture oralisée et de la parole spontanée, Thèse de Doctorat, Université de Provence. Guaïtella I. 1995, Mélodie du geste, mimique 3/4. vocale?, Semiotica, 103-

Guaïtella I. 1998, Rhythm in speech: what rhythmic organizations reveal about cognitive processes in spontaneous speech production versus reading aloud, Journal of Pragmatics (sous presse). Guaïtella I., Cavé C. & Santi S. 1993, Relations entre geste et voix: le cas des sourcils et de la fréquence fondamentale, Actes du Colloque Images et Langages, Multimodalité et Modélisation cognitive, Paris, 261-268. Guaïtella I., Dolbec 1., Yehouenou B., Santi S. & Diallo A.M. 1998, Etude prosodique de l'hésitation vocale: Universalité et variation culturelle, sélectionné pour publication dans les Actes du Congrès n'wave 26, Nuit Blanche Editeur, Québec (sous presse) . Guaïtella I. & Santi S. 1990, Pragmatic approach to the kinesic and prosodic modes of communication, International Pragmatics Conference, Barcelona. Heese G. 1957, Akzente und Begleitgebiirden, Sprachforum, 2, 274-85.

LES RELATIONS

VOCO-GESTUELLES

DANS LA COMMUNICATION

INTERPERSONNELLE

23

Lagrue B., Meynadier Y., Mignard P., Viallet F. & Gantcheva, R. 1998, Voix et maladie de Parkinson: étude de la hauteur, de l'étendue et de la dynamique tonales, Oralité et gestualité : Communication multimodale, interaction (Actes du Colloque International Orage '98), Paris, L'Harmattan (ce volume). Massaro D.W. 1998, Perceiving Talking Faces, MIT Press. McClave E. 1997, Pitch and manual gestures, Journal of Psycholinguistics Research, vo1.27, nOl, 69-89. McGurk H. & MacDonald J. 1976, Hearing lips and seeing voices, Nature, 264, 746-8. McNeill D. 1992, Hand and mind, what gestures The University of Chicago Press. reveal about thought,

Mignard P., Cavé C. & Viallet F. 1997, DifferentiaI involvement of communicative gestures during spontaneous speech production in Parkinson's disease, XIIth International Symposium on Parkinson's Disease. Londres. Movements Disorders, 12, Sup 1, 16. Montagner Nobe H. 1979, L'enfant noud. et la communication, Stock/Laurence Per-

Sh. 1998, Synchrony between gestures and acoustic peaks of speech: a cross-linguistic study, Oralité et gestualité : Communication multimodale, interaction (Actes du Colloque International Orage'98), Paris, L'Harmattan (ce volume). use of pitch: an ethological view, Phone-

Ohala J.1. 1983, Cross-language tica, 40, 1-18. Paboudjian

Ch. 1998, Fundamental frequency variations in AfricanAmerican social groups, New Ways of Analyzing Intonation (N'Wave) 26, Nuit Blanche Editeur, Québec (sous presse).

Purson A., Bertrand R., Guaïtella I., Boyer 1., Cavé C., Santi S. & Harlay F. 1998, Mouvements de sourcils dans le questionnement: relation geste et voix, Oralité gestualité : Communication multimodale, interaction (Actes du Colloque International Orage'98), Paris, L'Harmattan (ce volume). Santi S. 1998, Représentations de caractéristiques physico-corporelles du locuteur à partir de la voix, Oralité et gestualité : Communication multimodale, interaction (Actes du Colloque International Orage'98), Paris, L'Harmattan (ce volume).

24

ORALITÉ ET CESTUALlTÉ

: COMMUNICATION MULTIMODALE,

INTERACTION

Santi

S. & Guaïtella

I. 1994, Une approche « phonétique» de la communication multimodale et de l'interaction, Dialangue, vol. 5, Chicoutimi, 64-71.

Santi S. & Ruiz- Lopez M. 1998, Stratégies gestuelles en espagnol et en français de sujets bilingues en situation d'interview, Oralité et gestualité : Communication multimodale, interaction (Actes du Colloque International Orage'98), Paris, L'Harmattan (ce volume). Sebeok T.A. 1972, Perspectives Haye. in Zoosemiotics, Mouton, Paris et La

Teston B. 1998, L'observation et l'enregistrement des mouvements dans la parole; problèmes et méthodes, Oralité et gestualité : Communication multimodale, interaction (Actes du Colloque International Orage'98), Paris, L'Harmattan (ce volume).

Il La transmission ou le comment de pensée de la parole

Boris Cyrulnik
Hôpital de la Seyne Université du Var

Un

jour

Schmile, le tailleur juif rencontre
« Écoute Cordier,
«

son ami', Cordier, le cordonnier
un secret: je suis juif». Alors

bossu

je dois t'avouer

Cordier répond:

Écoute Schmile, moi aussi je dois te confier un secret:
est terminée parce que l'essentiel de ce que

je suis bossu» 1 . V oilà, ma communication

j'ai à dire est dit: Toute représentation dans son for intime, donne quelque chose à voir. Tout secret est de polichinelle, parce que, si l'on fait secret d'un événement ou d'une pensée, c'est que cette représentation n'est pas acceptable socialement et pourtant, l'événement a existé dans le réel ou dans la représentation du réel, donc dans la mémoire, dans le récit de soi qu'on se fait dans notre for intime. Si cet événement n'est pas acceptable socialement, si on ne veut pas le dire, ou si on ne parvient pas à le dire, c'est qu'il est trop chargé d'une émotion provoquée par une représentation de honte ou de danger. Une représentation intime ou collective provoque une émotion qu'on appelle « sentiment». Pourrait-on concevoir une émotion qui ne se mani festerait pas? Presque toujours, une émotion se manifeste par un indice, tel qu'une minuscule raideur soudaine du corps, un mouvement du regard qui se fixe ou au contraire s'échappe. Un signal de colère, un mutisme ou un silence inattendu qui attire l'attention. Parfois, c'est un scénario comportemental exprimé à l'insu du sujet qui fournit le symptôme et indique le

secret:

«

Pourquoi

ma mère quitte-t-elle

la pièce, chaque fois que je lui
»

pose une question sur mon grand-père?
boles, c'est-à-dire directeur d'agence
1 Marc Alain 1955.

il peut même s'agir de symreprésenter l'indicible: un son hostilité pour les homode l'humour juif, l'ai lu,

d'objets «mis-là-pour» qui ne cesse de raconter
Dory Rotnemer,

Ouaknin,

La Bible

26

ORALITÉ ET GESTUALITÉ

: COMMUNICATION MULTIMODALE,

INTERACTION

sexuels, ne porte que des cravates colorées qu'il achète chez un chemisier réputé pour sa clientèle homosexuelle. Parfois même, il s'agit d'engagements existentiels, comme ces romanciers qui ne parlent, bien sûr, jamais d'eux-mêmes mais qui racontent l'histoire d'un héros, une sorte de délégué narcissique à qui il arrive des aventures et des pensées dont les auteurs peuvent rendre compte avec une acuité particulière... et pour cause. Donc, une représentation dans notre for intime provoque une émotion dont l'expression donne quelque chose à voir. Ce qui revient à dire qu'une pensée transmet quelque chose par le façonnement d'une expression sensorielle. Le « dit» prend la forme d'une expression verbale, tandis que le « para-dit» met en scène le comment de la parole. Un monde subjectif s'exprime et se transmet par la matérialité comportementale qui accompagne la parole. Pour comprendre comment le monde intime de l'un peut se transmettre et s'imprégner dans l'autre, il convient d'étudier la manière dont se constitue une représentation intime: comment la mémoire de soi agence les souvenirs qui constituent ce qu'on appelle une autobiographie, et qu'il

vaudrait

mieux appeler une

«

représentation

de soi», ou un récit de soi.

La trace neurologique d'un message façonne une partie du cerveau, et crée une sensibilité intime à un type d'informations plutôt qu'à d'autres. La trace rend apte à percevoir un événement saillant et à y réagir émotionnellement. Le souvenir lui, est très différent. Il constitue des représentations d'images dont l'enchaînement fabrique un film comme une histoire sans paroles. Mais si parmi tous les événements du monde, certains, seulement sont mis en souvenir pour faire une sorte de récit d'images, c'est que l'émotion les a rendus biologiquement incorporables. Et si le sujet a éprouvé une émotion par cet événement-là dont il fera un souvenir, c'est que son alentour a souligné l'événement, l'a rendu saillant, visible, éprouvable. Donc un souvenir autobiographique est en fait un événement mis en lumière par une représentation familiale ou sociale, incorporable comme une trace biologique et représenté comme un souvenir, un récit dit « autobiographique». C'est qui revient à dire, qu'une autobiographie est un récit d'alentour. Pourtant, les événements incorporés et représentés ne sont pas faux. Souvent les événements mis en mémoire ne sont pas conscients. C'est ainsi qu'un isolement sensoriel précoce provoque une atrophie rhinencéphalique. L'enfant isolé durablement, devenu jeune personne souffre d'une émotionnalité excessive dont il ne connaît pas l'origine et qu'il exprime par des comportements « explosifs» ou des rationalisations. Quant aux souve-

LA TRANSMISSION DE PENSÉE OU LE COMMENT DE LA PAROLE

27

nirs qui constituent « l'autobiographie », ils sont vrais comme sont vraies les chimères. Tous les éléments qui constituent l'animal sont vrais: les pattes sont d'un lion, la tête d'un cheval et les ailes d'un aigle, mais l'animal n'existe pas ou plutôt, il n'existe que dans la représentation. De même, pratiquement tous les événements qui composent les souvenirs d'un récit de soi ont existé dans le réel, ont été rendus saillants par l'alentour familial et social. Ils sont partiellement vrais et totalement faux, eux aussi. Ils n'existent que dans la chimère de la représentation. Mais cette représentation de soi, élément fondamental de l'identité, qui donne une cohérence de soi, provoque un sentiment dont l'émotion s'exprime par des comportements observables et des rationalisations écoutables. L'analyse des gestes pourrait alors un peu changer de catégorisation. Nous pourrions, analyser la pragmatique du geste, adaptée au poids, à la forme et à l'espace, pour résoudre un problème réel. Puis nous pourrions analyser la sémantique du geste. Nous décririons des gestes totalement contextuels, iconiques et quasi linguistiques, auxquels nous ajouterions nos gestes historisés. Ces gestes-là expriment les émotions passées incorporées dans nos traces cérébrales, comme l'hyperémotivité ou l'indifférence des enfants carencés. Et les émotions déclenchées par le sentiment de nos représentations de soi, c'est-à-dire l'image et le récit qu'on se fait de SOlmême, qui sont incorporés dans notre mémoire et échafaudés dans nos souvenirs, sous l'effet du regard des autres. Le temps incorpore dans notre cerveau les traces du passé. Mais le souvenir en évoquant le passé, parle du présent. Le récit de soi-même dit la manière dont aujourd'hui, jour où l'on parle, on évoque son passé. Il s'agit d'une vérité chimérique, représentation de soi, très contextualisée dont l'émotion exprimée agit sur les émotions de l'autre. Quelque chose s'exprime d'une représentation intime, qui peut modifier les représentations de l'autre. Pour faire un schéma, nous dirons que quelque chose de la pensée se transmet, mais pas dans n'importe quelle condition. La trace et le souvenir alimentent nos représentations de nous-mêmes et en permettent l'échafaudage de la représentation. La clinique médicale permet de rendre observable et manipulable comment une altération de la trace sous l'effet d'une tumeur, d'un traumatisme crânien ou d'une maladie cérébrale modifie la représentation de soi, et comment le souvenir, imprégné en nous par le contexte familial et social participe ainsi à notre intime représentation de soi et à son expression comportementale. Pour parler de la trace, je prendrai l'exemple de l'amnésie post-traumatique et pour réfléchir au souvenir je prendrai l'exemple de la déportation.

28

ORALITÉ ET GESTUALITÉ

: COMMUNICATION MULTIMODALE,

INTERACTION

l'amnésie post-traumatique, la sensation de soi et son expression

comportementale

Pour réfléchir à ce problème, les accidents de la route nous fournissent un matériel surabondant, avec 10 000 traumas crâniens par an. Le trou dans la mémoire, porte sur le moment du traumatisme et le juste avant, mais peut s'étendre sur les mois ou les années avant le trauma, définissant ainsi l'amnésie rétrograde. Les souvenirs les plus anciens, les mieux imprégnés résistent le mieux, nous offrant, comme pour l'aphasie des polyglottes, un argument en faveur de la théorie de l'empreinte chez les humains. L'amnésie antérograde très fréquente surtout chez les âgés, définit l'incapacité à rappeler un événement récent, proche dans le temps, même si le temps avance, alors que le sujet se rappelle toute la biographie lointaine avec parfois une étonnante précision: prénom des camarades de classe de 6 à 8 ans, phrases de l'instituteur, scénarios parentaux, détails vestimentaires, décors de vaisselle, etc. L'amnésie rétrograde efface la biographie avant le trauma et l'amnésie antérograde n'inscrit plus la biographie dans la mémoire à partir du trauma. Ce qui est intéressant pour nous c'est d'observer les comportements de parole dans ces deux types d'amnésie. Dans l'amnésie rétrograde, le blessé retourne sur le terrain de golf où il a travaillé comme jardinier pendant cinq ans2, il se perd sur le chemin de son travail, soutient qu'il n'a jamais travaillé dans ce lieu mais éprouve pourtant un sentiment d'étrangeté comme une inquiétante familiarité. Ce qu'il perçoit de son lieu de travail, alimente une représentation qu'il ne reconnaît plus et qui explique son sentiment d'étrangeté car les traces biologiques créent en même temps une bizarre familiarité. La représentation de soi dans ce milieu a changé parce que les circuits neurologiques qui alimentent cette représentation sont altérés: le scanner montre souvent dans ces cas une contusion temporale gauche et quelques pétéchies rhinencéphaliques. L'émotion ainsi éprouvée s'exprime par des comportements de parole qu'on peut sans peine apprendre à décrire: regard flottant, sourcils froncés, attitudes d'immobilité perplexes, temps de latence augmenté pour les réponses, prosodie aplatie... Quand on éprouve un sentiment d'étrangeté, on ne parle pas de la même manière que lorsqu'on se sent en grande familiarité. Le comportement de parole devient ainsi un symptôme du

2 Alain Baddeley, 1993. La mémoire humaine. Théorie et pr.atique. Presses Uni versitaires de Grenoble p. 443.

LA TRANSMISSION DE PENSÉE OU LE COMMENT DE LA PAROLE

29

sentiment de soi. D'ailleurs quand l'amnésie rétrograde se dissipe et que le sujet retrouve son passé, les comportements de parole redeviennent fluides, sauf pour l'amnésie lacunaire qui, elle, laissera tout le temps un trou dans sa mémoire autobiographique. Après qu'ils ont retrouvé leur mémoire, les patients amnésiques expliquent que leurs pensées étaient désorganisées et que leur perception du monde perdait tout sens. Quand ils percevaient une séquence comportementale, elle ne prenait pas de sens, puisqu'ilS ne pouvaient pas la comparer à une séquence passée. Donc leurs comportements et leurs paroles s'adaptaient à des séquences contextuelles, successions d'immédiates qui n'avaient pas le temps de prendre du sens. De plus, la représentation de soi, nécessite une intégration du temps, une perception des événements et une comparaison de ces événements dans le temps: «je suis très fier d'être tireur de pousse- pousse, parce que je suis né dans une briqueterie où les enfants mourraient dans l'esclavage" ou au contraire «je suis honteux d'être tireur de pousse-pousse, parce que mon père était brahmane et j'ai dégringolé socialement". Ce que je perçois, prend sens grâce à une comparaison avec un événement passé. La représentation de soi nécessite une dynamique, une intégration du temps. Et le sentiment de soi, de honte ou de fierté exige la possibilité organique d'éprouver la durée d'un récit, de comparer une situation à une autre, de référer un événement à un autre. Pour comprendre un dénouement à la télé, il faut être capable de se rappeler les prémices du début du film. L'adverbe et conjonction de temps, «Pourquoi", ne peut devenir une représentation de mot que si notre système nerveux est capable de se rappeler le passé et de se représenter l'anticipation. Ce que je perçois prend sens grâce à la durée d'un récit, sous le regard d'un autre. Le sentiment de honte ou de fierté ainsi éprouvé provoque une émotion dont l'expression comportementale, agit sur l'autre. Ce qui revient à dire que ma mémoire du passé et mon aptitude à me représenter les représentations d'un autre, imprègnent dans mon monde intime une représentation de moi. Cette image crée un sentiment qui dans certaines situations peut s'exprimer par un comportement descriptible (de honte ou de fierté). Et dire que cette expression comportementale agit sur l'autre, c'est dire que quelque chose de mon monde intime, un indice de ma représentation, se communique à l'autre. Donc une représentation de mot peut laisser échapper un indice. Comme une représentation de mot non dite lors d'un secret, ou d'un négatif comme un manque du mot, en empêchant le remaniement cognitif de l'émotion s'exprime dans le para-dit.

30

ORALITÉ

ET GESTUALITÉ

: COMMUNICATION

MULTIMODALE,

INTERACTION

Le mot sur le bout de la langue L'exemple le plus démonstratif, c'est l'effet produit par «le mot sur le bout de la langue ». La sensation de la proximité du savoir et l'impossibilité de le dire provoquent une sensation de crispation que certains indices comportementaux expriment et communiquent très bien: sourcils froncés, regards évitants, tics de la langue, souffles exaspérés, petits gestes secs et autocentrés de la main ou des pieds. Cet ensemble comportemental exprime la crispation, qui dans le contexte de la conversation, témoigne du mot manqué. Même un négatif transmet quelque chose. Le sujet sait qu'il sait, mais il ne se rappelle pas ce qu'il sait et cette représentation verbale manquée transmet la crispation du manque. Le plus souvent, la crispation du manque s'apaise par un détour de la parole, une périphrase, une circonlocution. Cette circonlocution tente de définir de manière détournée la chose que
le mot ne parvient plus à désigner:
«

un truc au-dessus

d'une

rivière,

on

passe dessus pour franchir la rivière ». L'effet de la parole apaise un peu la crispation du manque, mais pas totalement c'est seulement quand le

mot nous revient qu'on éprouve un sentiment de triomphe

«

C'est un

pont!... pont... C'est un pont! » la prosodie est plus sonore, les mimiques sont gaies et on répète le mot pour jouir de son effet apaisant. Pourquoi le mot retrouvé provoque-t-il un tel remaniement émotionnel? Parce que, en parlant, je me prouve que j'ai la maîtrise de mon monde mental. Et en employant les mots comme je le veux, je construis une représentation verbale que je vais planter dans les représentations de l'autre. En parlant totalement, sans manquer de mots, je donne de mm une image cohérente, sous le regard de l'autre. C'est-à-dire que, cet effet apaisant de la parole, je ne l'éprouve que parce que je suis capable et désireux d'empathie. Temps, parole et lobotomie

Il y a en clinique animale et humaine une situation quasi expérimentale où, l'on peut, en une fraction de seconde, supprimer l'empathie, c'est la lobotomie. Un scalpel, ou le plus souvent un accident de la route, un traumatisme crânien provoque un petit hématome dans les lobes préfrontaux. Le sang dilacère les connexions neurologiques entre le lobe préfrontal, le lobe temporal et les circuits profonds de la mémoire. Mais les relais limbiques restent intacts, comme le montrent les scanners ou les résonances magnétiques nucléaires. Or les chimpanzés lobotomisés ne manifestent plus de réactions de

LA TRANSMISSION DE PENSÉE OU LE COMMENT DE LA PAROLE

31

frustrations lorsqu'ils ne reçoivent pas la récompense promise3. La mémoire est intacte comme le montrent les images du cerveau et la persévération des apprentissages, mais l'anticipation, la représentation du temps à venir n'est plus possible puisqu'à la place du lobe préfrontal il y a un trou. L'expérimentateur ne donne pas la récompense promise mais le chimpanzé qui n'éprouve qu'une succession de présents, n'attend pas, n'espère pas la récompense et quand elle n'arrive pas, l'animal continue à vivre sa suite de présents, sans frustrations. Chez l'homme, depuis cent ans, on décrit la personnalité frontale où le blessé change étonnamment de comportement, dans la fraction de seconde où il cesse de se représenter le temps à venir. Phinéas Gage, le premier 10botomisé connu, était un ouvrier ordonné et méticuleux4. Dès l'instant ou une barre en fer lui a sauté à la tête et, a pénétré l'œil en lui coupant les deux lobes préfrontaux, il est devenu euphorique puisqu'il ne craignait plus l'avenir. Mais en même temps il devenait instable puisqu'il ne cessait de répondre aux stimulations immédiates, ce qui empêchait toute planification. Cette incapacité neurologique à se représenter le temps à venir entraîne une modification des comportements de parole et de la structure des phrases. L'indifférence affective, due au fait que le blessé n'est plus soumis au regard des autres, entraîne un étrange temps de latence aux réponses à nos questions. Pour être capable d'empathie et se représenter les représentations d'un autre et en éprouver un sentiment, il faut être capable d'anticiper, d'imaginer que « si je prends cette attitude, ça va déclencher une représentation en une émotion dans son monde mental. Et cette représentation que j'imagine en lui, me plaît ou m'exaspère». Le sentiment que j'éprouve et que j'exprime avec des gestes, des mimiques et des mots, dépend du sentiment que j'imagine avoir planté dans l'autre. Donc dès que le lobotomisé ne peut plus anticiper, il cesse de se mettre à la place de l'autre. Libéré du jugement des autres, il n'est plus soumis à leur regard. Alors, il se désintéresse de son entourage. Son nouveau monde intime se repère dans la structure de ses phrases et de ses comportements de parole. Les bavards aiment aller à la rencontre d'un autre pour s'exprimer avec lui, et partager quelques récits. Bavarder nécessite un scénario anticipé de rencontre et de partage. Le lobotomisé n'anticipe pas et ne se décentre pas de soi-même. Il conserve ses appren-

3 Mahai loan Bottez (Dir) 1987 Neuropsychologie clinique et neurologique comportement. Presse de l'Université de Montréal. Masson, p. 120 4 A.R. Damasio, L'erreur de Descartes. La Raison des émotions, 1995

de

Paris. Odile Jacob

32 tissages

ORALITÉ

ET GESTUALITÉ

: COMMUNICATION

MUL TIMODALE,

INTERACTION

mais

ne prend

pas l'initiative

d'aller

rencontrer

le monde

mental

d'un autre. Mais si on lui parle, il réagit, il répond avec des phrases brèves taciturnes, monosyllabiques. Et les phrases n'ont ni virgules ni conjonction de relation, puisque pour mettre une virgule il faut reprendre la respiration afin de préparer la suite d'une longue phrase. Et pour mettre une conjonction de relation il faut anticiper la suite de la phrase. Le blessé colle au présent. Ce n'est pas un apathique puisque, si on le bouscule il répond vigoureusement, puis, soudain, il se désintéresse de sa propre réponse. Ne se représentant plus le temps, il n'imagine plus son avenir et n'évoque plus son passé, alors que les tests d'apprentissage témoignent qu'il n'a pas de troubles de la mémoire. Ce qui veut dire que, évoquer son passé est un acte d'anticipation. Et cette anticipation de la mémoire, permet de dire qu'il y a une intentionnalité du récit autobiographique. L'expérimentation naturaliste de la lobotomie nous fait comprendre notre aptitude biologique à la représentation du temps qui nous permet de prendre l'initiative d'aller visiter le monde mental d'un autre et de tenter d'agir sur ses représentations. Nous savons aussi prendre l'initiative d'aller visiter notre propre passé pour l'exposer et le partager avec un autre. Ce qui revient à dire que faire le récit de soi, son « autobiographie», consiste à se faire à soi-même une représentation de soi, afin de l'adresser à quelqu'un. Or, tout à l'heure je disais que les traces qui nous rendent sensibles à un type de monde, sont imprégnées en nous par les pressions sensorielles du milieu. Et que les souvenirs sont des morceaux de réalité mis en lumière par l'emphase du milieu affectif et social. Le sentiment de soi ainsi créé s'exprime à notre insu par des postures, gestes, et mimiques. Or, les lobotomisés qui n'intègrent plus le temps ont perdu cette aptitude à aller visiter le monde mental d'un autre et de leur propre passé. Ils n'anticipent ni leur avenir, ni leur passé. Ils sont libérés d'un monde de représentations, d'un avenir imaginé ou d'un passé mérisé. Mais cette libération les soumet au monde contextuel de leurs ceptions. chiper-

.

Pisser en public Pour illustrer cette idée, je vous propose de prendre l'exemple du scénario

comportemental de

«

pisser en public».

Ceux qui se représentent le temps, quand ils manquent le mot éprouvent un agacement qui s'exprime à leur insu. Mais, ceux qui ne se représentent pas le temps, diminuent leur fluence verbale puisqu'ils ne peuvent plus faire de longues phrases. Il leur arrive de commencer une phrase avec une petite anticipation, mais s'il manque le mot, ils s'arrêtent sans

LA TRANSMISSION DE PENSÉE OU LE COMMENT DE LA PAROLE

33

éprouver l'agacement de la phrase non accomplie. C'est pourquoi, ils ne tentent plus la périphrase et ne sont plus frustrés par leur manque du mot5. Libérés du regard de l'autre, ils peuvent pisser en public dans la plus totale indifférence. J'ai eu l'occasion de voir un groupe de personnes qui bavardaient ensemble. Il s'agissait de familles qui rendaient visite à leurs malades dont l'un était lobotomisé. Soudain, il se met à pisser. Il ne s'agissait ni de troubles sphinctériens, ni de comportement antisocial provocateur. Mais le blessé ne pouvant plus aller à la rencontre du monde des autres, ne pouvait plus se dire dans son langage intérieur: « si je pisse maintenant, ça va provoquer de leur part, une réaction d'indignation». Le malade libéré du regard des autres, se soumet dans l'instant à son envie de pIsser. L'empathie, cette aptitude à se mettre à la place des autres, nécessite une aptitude biologique à la représentation du temps: un geste, une conduite, un mot aura, plus tard, une conséquence. On observe couramment chez les lobotomisés cette non intégration du temps par un étrange comportement de parole. Les phrases de plus en plus courtes, puis monosyllabiques évoluant vers le mutisme en même temps que le malade s'immobilise sans s'ennuyer mais à la moindre stimulation il répond intensément, par des mots et des actes. Et s'il vit dans un milieu qui le stimule beaucoup, il court de réponses en réponses en disant « je suis pressé, je suis pressé» pour redevenir mutique et akinétique dès que le milieu se calme. La conduite verbale de ces malades devient un symptôme comportemental et linguistique de leur monde intime, théoriquement invisible. Ils répondent correctement à nos questions puisqu'ils n'ont pas de troubles de la parole ni de troubles de la mémoire. Mais leur incapacité à se représenter le temps à venir ou le temps passé empêche tout langage propositionnel6. Alors qu'ils parlent brièvement mais correctement, ils ne font aucun récit ni à venir, ni passé, ni imaginé ni chimérique. Les lobotomisés ont une pensée parfaitement adaptée à leur milieu et à leur notion du temps. Vivant dans un monde immédiat ils arrivent à résoudre tous les problèmes posés par le contexte. Ils ne sont ni débiles, ni déments, ni apraxiques, ni aphasiques. Ils ont une pensée tout à fait performante. Mais le monde de leurs représentations est limité: ni représentation du monde des autres (empathie), ni représentation de soi à venir

5 D.T. Stuss, Bemon F., Neuropsychological Bull. 1984 95, 3-28. 6 1. Barbizet, Duizabo Ph. Neuropsychologie,

studies of the Frontal lobes. Psycho!. Masson 1980.

34

ORALITÉ ET GESTUALlTÉ

: COMMUNICATION MULTIMODALE,

INTERACTION

(anticipation), ni représentation de soi passé (autobiographie). Ils ne peuvent ni faire de récit, ni même faire de théories. Pour produire une pensée abstraite, il faut se représenter le vide, l'ailleurs. Vivant dans un monde d'immédiateté, ils ont une intelligence beaucoup trop contextuelle. Eventuellement ils pourraient produire une pensée abstraite, mais ils n'y pensent pas puisqu'ils collent au présent. Beaucoup d'anxieux découvrent par eux-mêmes le mécanisme de défense qui consiste à devenir hyperactif, pour avoir sans cesse des problèmes contextuels immédiats à résoudre, évitant ainsi la représentation d'un avenir angoissant ou d'un passé dépri-

mant. Quand on lit à des lobotomisés

«

le petit chaperon

rouge»

en com-

mettant des erreurs volontaires dans l'enchaînement des événements, les malades les remarquent tout de suite. Mais quand on leur demande de faire eux-mêmes le récit, ils s'arrêtent au bout d'une ou deux phrases. Ce qui nous fait comprendre que même quand un récit est inscrit dans la mémoire et dans la logique, le rappel du passé exige une capacité d'anticipation et d'empathie. C'est dire à quel point l'intentionnalité de la mémoire est une création destinée à soi-même, une représentation, une mise en scène des images et des récits imprégnés en soi par les autres et qu'on destine aux autres. L'identité est une respiration. C'est moi qui respire. Mais je respire l'air qui est autour de moi. De même, c'est moi qui suis moi. Mais je ne suis moi, qu'en respirant les autres. Prisonniers du présent, on cesse d'habiter le monde des représentations, qui compose une image destinée à autrui. Vivre au présent nous désocialise mentalement, puisqu'on ne se soucie plus de l'effet qu'on produit sur les autres. Il ne nous reste que les réactions physiques parfaitement adaptées aux stimulations du contexte. Et parfaitement désadaptées du monde des autres, de la communication inter subjective que, pour faire une image un peu piquante, nous pourrions appeler «transmission de pensée» .

Comment pensent les aphasiques?
Une autre expérimentation naturelle nous est fournie par la situation clinique du langage et de la pensée des aphasiques. Tout à l'heure, je parlais de cette expérience que l'on connaît tous, du manque du mot, ce petit moment de manque d'accès au lexique qui produit des réactions de défense linguistiques et comportementales: quand on manque un mot on compense par le détour d'autres mots, de périphrase ou de circonlocutions et par le détour, des gestes désignatifs et illustratifs. Mais quand on manque le mot, l'émotion est maltraitée. L'expression comportementale de ce malaise se repère à l'augmentation des gestes autocentrés, parfois au-

LA TRANSMISSION DE PENSÉE OU LE COMMENT DE LA PAROLE

35

toagressive et des mimiques, vocalisations et postures indiquant la crispation mentale et musculaire. Or, la clinique neurologique nous offre des manipulations où le sujet perd la parole pendant quelques minutes à quelques heures. C'est le cas de la migraine aphasique et de l'aphasie ischémique transitoire, ou un trouble des parois artérielles ou une embolie dans la lumière de l'artère coupe le fonctionnement du lobe temporal gauche. On peut donc examiner les personnes pendant les quelques minutes ou quelques heures où elles perdent la parole, et tout de suite après, quand la fonction se rétablit et quand la mémoire du moment sans paroles est encore fraîche. On dispose là d'une observation possible, par l'extérieur, du moment où les sujets ne peuvent plus parler, et d'une observation possible par l'intérieur, quand les sujets peuvent nous dire ce qui se passait dans leur monde mental quelques heures auparavant. Une dame de 58 ans, habituée aux migraines fait ses courses dans un supermarché. Elle doit acheter de l'huile et du sucre quand soudain elle éprouve une sensation étrange. Elle « entend» dans son monde intérieur le mot « huile, huile, huile, huile» mais le mot ne désigne plus l'objet «bouteille d'huile». Elle se dit, ou plutôt elle comprend sans mots,

comme si elle se disait
l'aspirine»

«

j'ai encore une migraine, il faut que je prenne de
à une hôtesse l'emplacement de la café-

7. Elle veut demander

téria mais ne peut dire que « est-ce que, est-ce que ». Après quelques minutes elle parvient à dire « à boire». Elle comprend la direction indiquée
par l'hôtesse, mais elle n'a pas compris les mots. Quelques minutes plus tard apparaît la migraine ophtalmique avec son scintillement visuel et son amputation d'image. Puis la parole revient en même temps que la douleur et la patiente, épuisée, peut téléphoner à son neurologue. Monsieur M., 52 ans, est en train d'écrire quand il éprouve une étrange sensation, son. écriture se ralentit, le monde autour de lui ne déclenche plus la même impression et il éprouve son corps de manière bizarre. Il veut téléphoner à sa femme mais ne parvient plus à taper les chiffres du téléphone. Alors il se lève pour demander à son fils âgé de 17 ans de téléphoner à sa mère, mais il ne parvient à dire que « tapeukeur tapeukeur tapeukeur ». Il comprend que, ne pouvant plus prononcer les bons mots, il doit provoquer une impression étrange dans le monde mental de son fils. Alors, pour le rassurer, il lui tapote le dos en prononçant «tapeukeur tapeukeur » ce qui, bien sûr, aggrave tout. Huit heures plus tard quand le patient retrouve la parole, il nous explique: «je comprenais que mon fils

7 Dominique Laplane 1997. La pensée d'autres mots. Les empêcheurs rond, p. 14.

de penser en

36

ORALITÉ ET GESTUALITÉ

: COMMUNICATION MULTIMODALE,

INTERACTION

me parlait, je comprenais que je voulais lui répondre, et je comprenais aussi que je ne prononçais pas les bons mots. Alors j'ai voulu lui faire des gestes pour le rassurer, mais je ne trouvais même plus les gestes. Ca m'a interloqué et je lui ai tapoté le dos... " Ce patient aphasique a perdu l'usage de son langage intérieur verbal, mais il a pu agencer des représentations d'images, comme dans un film sans paroles, ce qui lui a permis de se faire un langage intérieur d'images et non plus de mots. Le monde intérieur bouleversé a provoqué une émotion qui s'est transmise au jeune homme qui a compris que son père allait mal et a téléphoné à sa mère. De plus, ce patient a perdu pendant quelques heures l'usage des signes vocaux avec lesquels on articule des paroles, mais il a perdu aussi l'usage des signes manuels permettant les gestes quasi linguistiques et illustratifs. Mais il n'avait pas perdu l'usage des gestes exprimant une émotion. Enfin et surtout pendant son moment de perte de langage verbal, ce patient a pu se représenter les représentations de son fils et tenter d'agir sur son monde mental. Ce qui revient à dire que l'impossibilité de faire signe n'empêche pas l'empathie, alors que chez les lobotomisés qui parlent bien, la non représentation du temps empêche la communication intersubjective. L'aphasique qui perd l'usage du mot, garde son accès à l'empathie probablement parce qu'il sait encore traiter les images non signées fournies par le corps de l'autre. C'est le locuteur qui généralise, et, voyant que le malade ne parle pas, en infère que ce n'est plus la peine de communiquer avec lui Ça vaut la peine au contraire. Tous les aphasiques qui ont récupéré l'usage de la parole témoignent de la persistance en eux d'un monde mental, d'un monde de compréhension composé de représentations d'images et de temps. Et quand ils retrouvent la parole, ils nous racontent l'étonnante modification de la sensation de leur propre corps, et le désespoir qu'ils ont éprouvé en voyant que les autres ne les regardaient même plus. Un psychanalyste, privé pendant quelques heures de la parole par une embolie carotidienne, éprouve brutalement le comment de la parole qui consiste d'abord à tisser un peu d'affectivité! «l'être parlant s'attache au premier être parlant ,,8. Il découvre avec étonnement que, ne parlant plus, il redevient beaucoup plus sensible aux stimulations du contexte. Il com, prend que les médecins parlent de lui, mais ne lui adressent plus la parole. Le professeur s'assoit sur le lit pour lui dire deux mots. Le malade ne comprend pas les mots, mais est très ému que le professeur s'asseye si

8 Serge Zlatine. Praxis de l'aphasie: au moment de répondre champ freudien n° 33, Avril-juin 1985, p.65-68.

Ornicar.

Revue du

LA TRANSMISSION DE PENSÉE OU LE COMMENT DE LA PAROLE

37

près de lui. Le professeur s'en va et le malade reste fixé sur la trace qu'il a laissée en froissant les draps du lit. La simple aptitude à parler, crée une représentation de soi dans un monde dilaté dans l'espace et le temps. Et la surprise de nos observations cliniques a été d'entendre, quand les malades ont retrouvé la parole, que cette représentation d'un monde dilaté, rendue possible par la verbalité créait un sentiment de soi léger! «je n'étais que tension du corps vers la

parole... c'est lourd... le manque... l'angoisse augmente.

»

Tous les apha-

siques interrogés utilisent des métaphores de poids, d'enfermement: « j'étais comme emmuré... »9. Une pensée était prête, je me suis dit à moimême: «il est donc vrai que je ne peux plus parler... » «le téléphone a sonné, j'ai décroché pour. répondre, mais à ma grande surprise, les mots ne sortaient plus.. » «j'étais comme emmuré... » La perte de la parole modifie la représentation du monde qui redevient contextuel puisqu'on ne peut plus évoquer l'ailleurs. Le sentiment de soi dans le monde redevient proximal, adhérant au contexte: «sans paroles mon corps redevient viande» Le psychanalyste aphasique, s'étonne aussi de la puissance accrue de ses rêves, pendant ses quelques jours sans paroles. L'évocation d'un monde non perçu, n'est plus possible par les mots, mais reste encore possible par les images, qui décontextualisent moins. Donc les aphasiques pensent sans mots, rêvent plus intensément, adhérent au contexte sensoriel et sentent leur corps plus lourd. Quand la parole revient, la contre-expérience se fait. Les ex-aphasiques parlent d'une sensation de soi étonnamment « vaste et légère». Les métaphores parlent de « nuage », de « traversées d'espace », « de bottes de sept lieues », « j'enfourche un oiseau... un coup d'aile, je ferme les yeux. Tiens les petits points n'y sont plus» 10. Quand les aphasiques ne parlent pas, leurs comportements interactifs sont totalement modifiés. Ils ne pointent plus de l'index. Souvent, parce qu'ils ont une hémiplégie. Mais quand le médecin, lui désigne avec son index, ils regardent l'index et n'orientent plus leurs regards vers la chose désignée 11. Quand on leur mime des scénarios illustra tifs, souvent, ils ne comprennent pas et nous regardent fixement dans les yeux, comme le font les enfants, avant l'apparition de la parole. C'est-à-dire qu'au moment même où ils éprouvent la puissance des
9 Y. Joanette, D. Lafond, A.R. Lecours 1991, L'aphasie de l'aphasique, in: 1. Ponzio, D. Lafond, R. Degiovani, Y. Joanette. L'aphasique. Edisem, Québec, Paris, Maloine, p. 23. 10 Serge Zlatine, p. 68. 11 Pierre Feyereisen 1994. Le cerveau et la communication, PUF p. 124-131.

38

ORALITÉ

ET GESTUALITÉ

: COMMUNICATION

MULTIMODALE,

INTERACTION

images, et la soumission aux pressions monde et se sentent lourds. Récits intimes et publics

du milieu, ils désémantisent

leur

Le sentiment de soi nécessite la confluence de deux représentations: le souvenir autobiographique et le discours social. Le souvenir nécessite un langage intérieur constitué lentement depuis notre naissance, et une aptitude à évoquer, à récupérer la mémoire autobiographique de certains moments passés. Le discours social composé de récits historiques, mythiques ou stéréotypés nécessite un langage extérieur, inventé par d'autres avant notre naissance. L'étonnement classique consiste à remarquer la grande dissociation entre le récit autobiographique exprimé dans l'après-coup et le journal quotidien écrit, .ou enregistré sur magnétophone, pratiquement à l'instant de l'événement. Ana Novae est âgée de 14 ans quand elle est déportée à Auschwitz. Chaque jour, elle risque sa vie en prenant des notes sur des bouts de papier et en les cachant dans ses sabots. Cinquante ans plus tard, elle commence à publier le souvenir des épreuves qu'elle a gardées en mémoire et se décide à relire ses bouts de papier. Elle découvre alors avec ahurissement qu'elle a totalement oublié les événements survenus dans le réel de ses journées et qu'elle n'a mis en souvenirs que les événements socialisés, c'est-à-dire susceptibles d'être entendus par les autres. Conclusions On peut donc proposer l'idée que la transmission de pensée existe. Il vaudrait mieux dire que quelque chose de l'image intime qu'on se fait du monde, se transmet, peut agir sur l'autre. La représentation qu'on se fait de soi, façonnée par le regard de l'autre crée la chimère de nos souvenirs. Cette chimère que certains appellent « identité» provoque un sentiment de soi dont l'émotion s'exprime souvent par des rationalisations dans le « dit». Mais aussi dans le « para-dit» qui, à notre insu, donne une forme comportementale qui exprime notre représentation du monde et l'imprime dans l'autre.

III L'observation et l'enregistrement des mouvements dans la parole: Problèmes et méthodes

Bernard

Teston

Laboratoire Parole et Langage ESA CNRS 6057 Université de Provence 13621 Aix en Provence teston@lpl.univ-aixfr

Introduction des êtres et des choses a été interprété de tout temps par naturel ou divin. Depuis l'Antiquité, il s'est donc attaché à l'observer pour tenter d'en expliquer les mécanismes et les causes. Les premières observations codifiées du mouvement se rapportent à des phénomènes naturels lents autorisant une description aisée en particulier à celles des astres dans le but principal d'en tirer des prédictions. Les mouvements naturels des êtres vivants ont été très tôt représentés au moyen de dessins, peintures ou sculptures par des « instantanés» caractéristiques d'une espèce ou d'une attitude sociale souvent schématique et d'une réalité physiologique le plus souvent erronée. Ceci est dû à l'impossibilité sensorielle de l'homme d'appréhender et mémoriser des mouvements rapides en l'absence de techniques appropriées d'enregistrement et de restitution des images ou des manifestations physiques des mouvements. Pour cette raison, aucune description physiologique des mouvements n'apparaît avant le milieu du XIXe siècle. Notre préoccupation est l'étude des mouvements mis en jeux dans la communication parlée. Cette étude ne peut donc pas être dissociée d'une étude simultanée des sons de parole. Nous distinguons deux grandes classes de mouvements. D'une part ceux qui, pendant le discours, apportent dans des proportions variables un complément d'information au message parlé et ne participent pas directement aux mécanismes de sa création. Nous les appelons, par simplification, mouvements d'accompagnement de la parole. D'autre part, les mouvements des organes articulateurs, Le mouvement

l'homme comme la manifestation du « vivant»

40

ORALITÉ ET GESTUALITÉ

: COMMUNICATION MULTIMODALE,

INTERACTION

qui permettent de produire la parole, que nous étudions dans le cadre d'une phonologie articulatoire et appelons gestes articulatoires. Les mouvements d'accompagnement de la parole sont généralement des mouvements de mimiques de la face, des mouvements de la tête et des segments des membres supérieurs. Ils suivent surtout les variations prosodiques du discours et sont caractérisés par une vitesse de réalisation relativement faible. La technique de choix pour l'étude de ces mouvements est la vidéocinématographie qui permet de les décomposer image par image et ainsi « d'arrêter le temps ». Les gestes articulatoires sont par contre beaucoup plus rapides car ils conditionnent la réalisation des structures phonémiques. Leurs mouvements doivent être connus avec plus de précision et enfin les principaux organes articulateurs sont invisibles car internes au conduit vocal et outre l'imagerie, de nombreux dispositifs de mesure ont dû être imaginés pour appréhender indirectement leurs mouvements. Il nous a semblé impossible de présenter les méthodes actuelles d'analyse du mouvement sans mentionner au préalable l'importance des travaux d'Étienne Jules Marey qui fut en son temps un savant d'une envergure mondiale et dont l'apport à l'analyse physiologique du mouvement est considérable. Nous utilisons en permanence les concepts et les méthodes qu'il a imaginées voici plus d'un siècle et qui ont certes été améliorées depuis, au rythme des évolutions technologiques, mais dont les principes restent les mêmes. 1. Etienne Jules Marey et l'analyse du mouvement

Médecin et physiologiste, Etienne Jules Marey s'est intéressé à toutes les manifestations fondamentales de la vie et en particulier aux propriétés des mouvements des êtres et des choses. Mécanicien de génie, il est obsédé par la transcription graphique des phénomènes, c'est-à-dire par leur enregistrement, qui seul permet de les étudier dans le détail. Son unique but est de visualiser sous la forme de lignes sinueuses bien visibles leurs manifestations les plus impalpables. Bien ancré dans le positivisme de son temps, Marey a pour seule ambition de constater des faits et d'en déduire les seules lois que l'expérience contrôle. Pour capter le déroulement au cours du temps des phénomènes, il a inventé et perfectionné des méthodes graphiques d'enregistrement avec inscription au moyen de stylets, actionnés par des capsules manométriques, sur du papier noirci de fumée (Marey 1878). Ce sont les fameux cylindres inscripteurs de Marey. L'apparition des plaques photographiques instantanées au bromure d'argent permet à Marey d'imaginer une méthode d'enregistrement photographique des mouvements, la «chronophotographie sur plaque fixe» (Marey 1882). Cette méthode ingénieuse est basée sur la

L 'OBSERVATION

ET L'ENREGISTREMENT

DES MOUVEMENTS DANS LA PAROLE

41

photographie rapide d'un sujet mobile blanc devant un fond noir. La multiplication des poses est obtenue par la rotation devant la plaque, d'un disque à segments; « le corps s'écrit lui-même, il ne reste qu'à lire». Cette méthode permet de visualiser jusqu'à 50 poses sur une même plaque avec une résolution temporelle d'une vingtaine de poses par seconde. Elle répond bien au goût de la précision de Marey car elle traduit avec la même fidélité qu'un graphique les rapports d'espace et de temps et les distances parcourues qui sont l'essence du mouvement.

Dès 1883, il en améliore la mesure quantitative grâce à la

«

chronopho-

tographie géométrique» qui permet d'enregistrer des points et des )segments dessinés en blanc sur un mobile noir. Cependant, pour les mouvements lents, les images qui se superposent contrarient une lecture précise des clichés. En 1888, Marey a l'idée de déplacer la surface photo sensible et conçoit un dispositif qui permet d'enregistrer les images sur une pellicule mobile. Il réalise pour cela un mécanisme de défilement et d'arrêt rapide de la pellicule papier qui autorise 50 photographies par seconde (Marey 1888). En 1893 il présente un projecteur à partir de pellicules « film» qui permet de reproduire le mouvement. Tout le cinéma est déjà là. Mais Marey apprécie peu les projections animées si elles ne correspondent pas à une analyse scientifique du mouvement par le ralenti. Il a été cependant en contact permanent avec les frères Lumière qui lui fournissaienf ses plaques photographiques et qui proposèrent le «cinématographe» en 1895. 2. Les grands principes d'enregistrements des mouvements

Le mouvement peut être considéré comme un événement dont la variation est continue et que nous ne pouvons appréhender naturellement dans sa totalité qu'à la condition que ses évolutions dans l'espace et le temps soient très lentes. Pour cette raison évidente, il est nécessaire, pour étudier le mouvement, de l'enregistrer afin d'avoir une trace permanente de son évolution permettant son étude dans le détail sans contrainte de temps. Pour cela ont d'abord été développés des capteurs kinésiographiques capables de transmettre la dynamique d'un mouvement associés à des dispositifs inscripteurs (Marey 1878) dont le premier et non le moindre exemple est le Kymographe utilisé par Rousselot (1897) pour l'étude des mouvements des organes articulateurs. Depuis, les capteurs manométriques ou mécaniques ont gagné en sensibilité, dynamique, fidélité et rapidité grâce aux progrès des techniques de l'électronique de même que les enregistreurs graphiques sur différents supports qui maintenant sont quasiment tous informatisés.

42

ORALITÉ ET CESTUALITÉ

: COMMUNICATION MULTIMODALE,

INTERACTION

L'information directe du mouvement étant essentiellement visuelle il a été imaginé de l'enregistrer sous la forme d'une succession d'images instantanées. Le mouvement, dont l'évolution est continue, est alors discrétisé en un certain nombre d'images ou poses par unité de temps et les informations sur ses variations rapides sont bien évidemment fonction de ce nombre d'images. Plus un mouvement est rapide et plus le nombre d'images par unité de temps doit être grand. La technique du cinématographe consiste à réaliser une photographie pour chaque image sur un film au moyen d'une caméra. Pour éviter le flou de ces photographies, un obturateur ne prélève la lumière que pendant un court instant. On utilise un projecteur à la même vitesse que la caméra pour restituer le mouvement sous la forme d'une image animée. On connaît l'importance considérable qu'a prise le cinématographe dans l'industrie du spectacle. On connaît moins par contre celle qu'il a eue dans l'étude scientifique du mouvement qui est fondamentale par le fait qu'il permet non seulement l'enregistrement mais la rediffusion du mouvement ainsi que sa décomposition fine avec le ralenti et l'arrêt sur image. Le cinéma standard (qui utilise la persistance rétinienne pour reconstituer le mouvement avec un nombre réduit d'images) s'est fixé rapidement à 24 images par seconde. Pour l'étude de phénomènes rapides on a très vite réalisé des caméras capables de filmer plusieurs milliers d'images par seconde. La prise et diffusion d'images électroniques (et non plus argentiques sur film photo) par télévision (vidéocinématographie ou par contraction vidéo) est basée sur le même principe et, est en train de remplacer le cinéma dans toutes ses applications. Pour l'étude du mouvement elle s'est développée surtout depuis que l'on a pu réaliser des moyens d'enregistrement et de rediffusion vidéo (magnétoscopes) commodes et efficaces. Parallèlement, les capteurs d'images vidéo ont énormément évolué en sensibilité. résolution et netteté. La vitesse de prise d'image vidéo est de 30 (USA et Japon) ou 25 (reste du monde) images par seconde. Chaque image de télévision est constituée de deux demi-images appelées trames composées par un certain nombre de lignes elles-mêmes constituées par un certain nombre de points. Le nombre de points par ligne multiplié par le nombre de lignes donne le nombre de points ou pixels d'une trame. Ce nombre total de pixels donne la définition de la trame. C'est le paramètre essentiel de la qualité finale des images vidéo qui sont donc constituées de l'entrelacement des lignes de deux trames consécutives (paire et impaire). Les magnétoscopes standard (VHS, S- VHS) ont un arrêt sur image. Certains magnétoscopes permettent un arrêt sur trame (U-Matic, BVU, DVC-PRO) ce qui donne une résolution temporelle de 20 millisecondes (50 trames en PAL) pour décomposer le mouvement. Pour l'étude des

L'OBSERVATION

ET L'ENREGISTREMENT

DES MOUVEMENTS DANS LA PAROLE

43

mouvements rapides il existe également des caméras vidéo à grande vitesse (plusieurs milliers d'images par seconde) (Micquel 1985). La définition des images est limitée d'abord par le nombre de pixels du capteur d'image de la caméra et ensuite par la bande passante des magnétoscopes. Ces deux dispositifs ont connu durant la dernière décennie des progrès considérables. Tout d'abord, les capteurs d'images de télévision, les tubes « vidicon», ont été remplacés par des matrices de pixels photo sensibles à semi-conducteurs appelés CCD (Charge Coupled Devices) qui sont beaucoup mieux adaptées à la décomposition du mouvement (Howels 1986) . En effet, les CCD ont, parmi d'autres avantages, une rémanence quasi nulle (bien plus faible que les vidicons) ce qui permet de ne pas éblouir le capteur, ainsi qu'une plus grande sensibilité associée à la possibilité d'utiliser un obturateur électronique (shutter), qui permet une bien meilleure netteté des images, pour l'étude des mouvements rapides. Les magnétoscopes ont également évolué ces dernières années grâce surtout à l'utilisation de techniques numériques qui sont en train de remplacer progressivement les techniques analogiques. Ils sont également de plus en plus intégrés aux caméras sous la forme de caméscopes qui ont maintenant, pour des prix accessibles, une qualité professionnelle. 3. les mouvements d'accompagnement de la parole

Nous les avons définis précédemment comme des mouvements qui ne participent pas directement à la production de la parole. Ils intéressent plus particulièrement les mimiques de la face, les mouvements de la tête et des segments des membres supérieurs dans les situations de dialogue et même de l'ensemble du corps dans des situations de scènes (théâtre, art lyrique, conférences). Les mouvements d'accompagnement sont réalisés pour être vus et fournissent une information complémentaire à la couche verbale. Leur dynamique suit les variations prosodiques du discours (accent, rythme, intonation). Son évolution se situe donc au niveau de la phrase et ne nécessite pas pour leur étude une grande résolution temporelle. Pour ces deux dernières raisons, la vidéocinématographie est l'outil de choix pour les études des mouvements d'accompagnement de la parole. Selon le type d'études envisagées, on peut définir deux méthodes d'investigations vidéocinématogr aphiques. 3.1. la vidéocinématographie qualitative

C'est la méthode la plus simple à mettre en œuvre. On peut l'utiliser s'il n'est pas nécessaire de connaître avec précision les amplitudes et les

44

ORALITÉ ET GESTUALITÉ

: COMMUNICATION MULTIMODALE,

INTERACTION

directions dans l'espace des mouvements mais uniquement leur enveloppe de variation associée à leur développement temporel. La résolution temporelle de 25 images par seconde est considérée comme suffisante et l'évaluation de l'amplitude des mouvements ne nécessite pas une grande définition des images. Cependant, malgré cette simplicité apparente, il est toujours recommandé de s'entourer de précautions élémentaires pour l'enregistrement des mouvements. Tout d'abord, il est nécessaire de prendre garde à avoir bien en vue les parties du corps dont les mouvements nous intéressent, si possible face à la caméra et avec un cadrage qui utilise son plein champ. Ensuite, il est conseillé de filmer toujours avec le maximum de lumière afin d'avoir de la profondeur de champ et de pouvoir travailler avec une exposition courte (shutter) pour avoir un maximum de netteté des images. Ceci même au détriment d'une bonne définition des couleurs dont nous n'avons rien à faire pour l'étude du mouvement. Enfin, pour aider le suivi de points particuliers on peut utiliser des repères visuels de référence et des maquillages variés. Il est utile de préciser que pour l'étude de mouvements dans l'espace, (des segments supérieurs ou de la tête par exemple) il est nécessaire d'utiliser deux caméras car une seule ne permet d'apprécier correctement que les mouvements situés dans son plan de vue et cela même pour des études qualitatives. La finalité de nos études de mouvements étant de les mettre en relation avec les sons de parole, leur enregistrement est réalisé simultanément à celui des images sur une piste son du magnétoscope. La plus grande partie des études sur les mouvements d'accompagnement de la parole sont réalisées qualitativement et au moyen d'une unique caméra ou caméscope car c'est de loin la méthode la plus simple et la moins onéreuse donc la plus accessible. Il en est tout autrement des études quantitatives de mouvement

3.2. La vidéocinématographie 3.2.1. Principe général

quantitative

On entend sous ce qualificatif des études menées à partir de mesures géométriques de longueur de segments, angles de rotation, translation et élévation entre des points caractéristiques du mouvement de différentes parties anatomiques du corps. Ces points doivent être très contrastés par rapport à l'absorption lumineuse générale pour être bien visibles. Dans ses
«

Chronophotographies

géométriques)}

Marey

utilise

des points

blancs

sur

un fond noir. Ces points peuvent être marqués par maquillage ou par des pastilles ou des sphères de diverses tailles fixées correctement aux parties anatomiques dont on veut étudier le mouvement.

L 'OBSERVATION

ET L'ENREGISTREMENT

DES MOUVEMENTS DANS LA PAROLE

45

La mesure précise des distances entre les marqueurs ne peut être réalisée qu'à la condition qu'ils se trouvent et se déplacent dans un plan orthogonal à l'axe de la caméra (c.-à-d. de face). La mesure de rotation n'est également fiable que si son axe se situe également dans ce plan. Pour des mesures dans l'espace il est donc nécessaire d'utiliser deux caméras dont les axes seront orthogonaux. Les mesures sont alors effectuées directement sur les images enregistrées sur les supports propres à chaque technique: manuellement, sur les photographies de Marey, et en arrêt sur l'image sur des écrans de projection de cinéma puis sur écran de télévision associé à un magnétoscope enfin, en procédures automatiques sur ordinateur après numérisation des images vidéo. Seules sont utilisées de nos jours les techniques vidéo. Les mesures automatisées sur ordinateur ne sont accessibles que depuis peu d'années. Elles représentent une amélioration considérable par le fait qu'elles suppriment toute intervention manuelle dans les mesures, leur transcription et leur traitement. Quelle que soit la technique utilisée, il est nécessaire pour disposer de mesures fiables, de procéder à des calibrages spatiaux des enregis trements. 3.2.2. Les procédures de calibrage

Elles sont toujours identiques à celles qui ont été imaginées et mises en œuvre pour la première fois par Marey. Elles consistent à placer dans le champ des images et dans le plan des marqueurs, une règle ou un volume dont les côtes géométriques servent de référence de distance. A partir de ces références, dont on connaît les dimensions exactes, on peut reporter une échelle sur la surface de projection des images et ainsi procéder à des mesures vraies en centimètres par exemple. Dans les procédures automatiques sur ordinateurs après enregistrement vidéo, la longueur de la règle de référence est convertie en nombre de pixels sur les axes vertical et horizontal. Ainsi, en comptant les pixels entre deux points on mesure précisément leur distance. Pour cela, il est nécessaire d'avoir une bonne définition des images (grand nombre de pixels).

3.3. Les problèmes et de caméras

de synchronisations multiples

son-image

Nous avons déjà mentionné l'obligation d'enregistrer simultanément les images du mouvement et le signal acoustique de la parole. Cela ne pose pas de problèmes particuliers lorsque l'on utilise une seule caméra ou caméscope moderne. Les choses se compliquent très vite dès que l'on va utiliser plusieurs caméras et plusieurs sources sonores dans le cas d'études de mouvement dans le dialogue entre plusieurs locuteurs par exemple ou de plusieurs parties anatomiques d'un même locuteur.

46

ORALITÉ

ET GESTUALlTÉ

: COMMUNICATION

MUL TIMODALE,

INTERACTION

de synchroniser toutes les caméras entre elles. On utilise pour cela des signaux de « genlock» qui permettent de synchroniser les fréquences image de chaque caméra à partir d'une horloge unique. Cette horloge permet éga~ement de numéroter les images de chaque caméra. Pour permettre un repérage aisé il est conseillé de segmenter les enregistrements en séquences de quelques dizaines de secondes au moyen de signaux de clap qui remettent le comptage des images à zéro. Le numéro du clap est associé au numéro d'image. Ainsi, toutes les images de chaque caméra peuvent être très précisément repérées. Les signaux d'horloge et de clap peuvent être enregistrés simultanément aux signaux de parole ce qui permet une synchronisation parfaite du son et des images si l'on utilise des moyens d'enregistrements multiples et différents. Cela peut être le cas pour des études de gestes articulatoires Ces systèmes de synchronisation ne sont pas standards par le fait qu'ils n'existent pas dans le commerce, si ce n'est dans la classe « broadcast» inaccessible aux moyens habituels de la recherche, et sont « bricolés» pour les besoins expérimentaux (Simon et al 1984, Teston 1991). De plus, ils nécessitent des matériels peu classiques tels que des caméras synchronisables. 3.4. Les systèmes de vidéométrie pour l'étude des mouvements intégrés

Dans ce cas, il est nécessaire

Nous avons juste mentionné leur existence précédemment et il est nécessaire de développer leur description car ils commencent à se diffuser lentement grâce à leurs performances et leur facilité d'utilisation qui s'améliorent tandis que leur prix de revient diminue. Seuls ces systèmes peuvent permettre un futur développement des mesures quantitatives. Ils ont été conçus à l'origine pour des études sur la motricité en général (bio-mécanique, ergonomie, gestes sportifs etc.) et des utilisations cliniques telles que l'aide au diagnostic et la rééducation fonctionnelle motrice. Leur existence est relativement récente (une dizaine d'années) et leur diffusion a suivi le développement de la micro informatique. Leur principe est basé comme nous l'avons mentionné précédemment sur le suivi de marqueurs de référence disposés sur les parties anatomiques à étudier. Il existe deux types de systèmes vidéométriques : D'une part des systèmes complets comprenant une ou plusieurs caméras connectées à un ordinateur. Ces caméras sont équipées de stroboscopes à émission infrarouge et sont sensibles à ce rayonnement. Les marqueurs sont des réflecteurs infrarouges. La définition temporelle peut être très supérieure à la vidéo standard car elle n'est pas assujettie à un enregistrement sur magnétoscope. L'émission sous la forme de flashs du rayonnement infrarouge d'éclairement du sujet est synchronisée sur l'ouverture du

L 'OBSERVATION

ET L'ENREGISTREMENT

DES MOUVEMENTS DANS LA PAROLE

47

« shutter»

de la caméra.

Cette

technique

permet

d'avoir

un

très

bon

contraste et une bonne précision dans la détection des marqueurs pour analyser des phénomènes rapides avec de grandes vitesses de prise d'image. Les CCD des caméras étant à haute définition et leurs optiques particulièrement linéaires, ces systèmes sont parfaitement homogènes pour réaliser des enregistrements précis. Ce sont de véritables instruments de mesure. Il est à noter que les images vidéo de ces systèmes ne sont pas utilisables pour étudier une scène car n'y apparaissent que les marqueurs. Pour nos applications il est nécessaire de doubler la prise d'image par des caméscopes standards Sans faire une énumération exhaustive de ces systèmes de vidéométrie nous mentionnons le système « ELITE» d'origine italienne et le système
«

VICON » d'origine anglaise qui ont des caractéristiques

proches bien que

ce dernier soit actuellement d'une utilisation beaucoup plus aisée. Il peut, dans sa version la plus complète, gérer 7 caméras et filmer jusqu'à 240 images par seconde. Ces systèmes peuvent également enregistrer simultanément des signaux électrophysiologiques mais dont les largeurs de bandes en fréquence sont très inférieures à la parole. Ceci représente pour nos applications une contrainte qui ne peut être surmontée que par des « bricolages de laboratoire» nécessitant une équipe technique bien sensibilisée à ce type de manipulations. Enfin il est très important de prendre conscience que ces systèmes ne peuvent donner des informations synthétiques, donc directement accessibles des mouvements, que pour des séquences relativement courtes. La quantité d'information de ces systèmes peut être considérable et n'est restituée que sous la forme de tableaux de coordonnées qui peuvent vite atteindre des tailles gigantesques. Après l'acquisition des mouvements et le calcul des grandeurs définies par le protocole d'expérience, tout le traitement des données reste à faire. Ces systèmes complets sont toujours très onéreux et nécessitent un accompagnement technique relativement lourd. Il existe cependant des solutions qui consistent à enregistrer avec des moyens vidéo classiques les mouvements et à les traiter sur ordinateur avec des programmes identiques à ceux des systèmes intégrés. De tels programmes ont été souvent développés dans des laboratoires pour leurs propres besoins. On en trouve dans le commerce, parfois diffusés par les mêmes sociétés conceptrices de systèmes de vidéométrie.

3.5. Les programmes

de mesures

vidéo métriques

Dans le paragraphe 4.2, nous avons mentionné les procédures de mesure des mouvements à partir d'enregistrements. Elles sont basées sur des mesures géométriques entre des marqueurs qui doivent se différencier faci-

48

ORALITÉ ET GESTUALITÉ

: COMMUNICATION

MULTIMODALE,

INTERACTION

lement des autres parties de l'image par un bon contraste. Une procédure de détection automatique des marqueurs doit pouvoir être effectuée avec le moins d'erreurs possibles. Pour cela, les systèmes intégrés de vidéométrie, utilisent des marqueurs infrarouges. Dans une image vidéo standard on peut obtenir un bon contraste avec des marqueurs blancs. Le programme va donc détecter ces points après que l'utilisateur leur a donné un indice de reconnaissance. A partir de cela, la machine va faire tous les calculs de mesure, selon un protocole prédéfini par l'utilisateur, entre les différents marqueurs dont elle connaît les coordonnées pour chaque image. Outre ces mesures « brutes», les programmes de mesure vidéométriques permettent une grande variété de traitements plus ou moins complexes qui vont de l'élémentaire suivi de points à la reconstruction en trois dimensions (3D). Pour utiliser de tels programmes, il est nécessaire auparavant d'acquérir les images vidéo sur l'ordinateur. C'est le rôle de la carte d'acquisition vidéo. Les fabricants de programme de vidéométrie proposent tous de telles cartes mais il faut prendre garde à notre contrainte d'acquisition simultanée du signal de parole. Certes, tous les micro-ordinateurs sont équipés de cartes son mais il est vraisemblable qu'elles ne fonctionneront pas correctement en acquisition simultanée avec une carte d'acquisition vidéo. Il est préférable d'utiliser des cartes multimédia capable de gérer l'acquisition du signal vidéo et de deux signaux acoustiques (ex MATROX RAINBOW ou MIRO DC30). Là encore, sans souci d'exhaustivité, nous mentionnons le programme ST ATIS surtout utilisé en posturographie. D'origine française, il n'est pas très puissant mais il est simple et peu onéreux. Le programme VISION CONCEPT est beaucoup plus puissant, et très modulaire. Du même constructeur que le système VICON (Oxford Metrics) il nous paraît être le mieux adapté à nos préoccupations. 4. Les gestes articulatoires

La production de la parole est certainement un des actes neuromoteurs les plus complexes du monde vivant connu. En effet, elle met en jeu un très grand nombre de muscles, caractérisés par de très nombreuses unités motrices et dont la synchronisation doit être parfaitement contrôlée pour créer l'objet sonore linguistique. La production de la parole est un système dynamique, dont le comportement à un moment donné dépend de ses états antérieurs. Le système est donc dépendant d'une variable paramétrable fonction du temps qui, dans ce cas, est un geste articulatoire. Notre préoccupation est de savoir comment évoluent ces gestes dans le temps lorsque les paramètres de contrôle varient pour aboutir au son porteur de sens.

L 'OBSERVATION

ET L'ENREGISTREMENT

DES MOUVEMENTS

DANS LA PAROLE

49

4.1.

La phonologie

articulatoire

La phonologie articulatoire est dérivée du modèle de la dynamique des tâches dont le but principal est l'étude des mouvements, de leurs compensations et de la chronologie de ces compensations. Dans la production de la parole, les mouvements sont caractérisés par des gestes discrets et abstraits. Les gestes sont définis en termes de constriction dans le conduit vocal et sont, pour la dynamique des taches, des mouvements ayant une trajectoire vers une cible spatiale. Pour générer ces trajectoires, il faut connaître pour chaque variable pertinente l'état instantané du système, la position de la nouvelle cible et les valeurs d'amortissement du système (Demolin 1998). Le modèle de phonologie articulatoire proposé par Browman et Goldstein (1989) est le seul qui introduit explicitement un aspect dynamique en phonologie. Dans ce modèle, les gestes qui sont des unités d'action, sont également des unités de base de contraste dans les items lexicaux, les atomes de la description, les unités de base de la phonologie. Ils sont des caractérisations abstraites d'événements articulatoires ayant chacun une durée intrinsèque. Les gestes ne correspondent pas à des traits ou à des segments phonologiques. Si les segments sont définis par des matrices de traits qui leur sont propres, pour Browman et Goldstein, les segments sont définis par des constellations de gestes. Ainsi, la phonologie peut être considérée comme un ensemble de relations parmi les gestes, événements physiques réels, qui caractérisent les systèmes et les modèles de production. L'introduction du geste comme élément de base des systèmes phonologiques a introduit l'aspect dynamique en phonologie par sa nature spatiotemporelle. Le modèle offre des solutions élégantes et naturelles à des

problèmes

qui se résolvaient

auparavant

par la formulation

de règles

«

ad
de

hoc» (Demolin 1998). Dans cette perspective, il est donc fondamental pouvoir observer, enregistrer et mesurer les gestes articulatoires. 4.2. Les méthodes d'observation des gestes articulatoires

Les moyens d'observation des gestes sont très divers dans leurs principes et leurs techniques et diffèrent en fonction de la nature des articulateurs. On peut observer les gestes à trois niveaux distincts. D'abord, au niveau du contrôle neuromoteur des muscles qui actionnent les organes articulateurs principalement par des méthodes d'analyse électromyographiques qui donnent des informations sur l'activité musculaire. Ensuite, au niveau du mouvement proprement dit de ces organes articulateurs (lèvres, langue, mandibule, voile, larynx) observés directement au

50

ORALITÉ ET GESTUALITÉ

: COMMUNICATION MULTIMODALE,

INTERACTION

moyen d'images vidéocinématographiques ou indirectement au moyen de capteurs de mouvement. Enfin, au niveau des phénomènes que ces mouvements induisent; d'abord les paramètres aérodynamiques (débits d'air oral et nasal et pressions intra-orale et sous-glottique), modulés par les constrictions du conduit vocal, ensuite le signal acoustique qui est l'ultime conséquence des gestes articulatoires. 4.3. Les méthodes d'observation électromyographiques

Les techniques d'électromyographie (EMG) consistent à capter les potentiels d'action des fibres musculaires qui constituent le signal électrophysiologique EMG lorsqu'elles se contractent, et fournissent un travail. Son évolution dans le temps permet de suivre le travail musculaire. Ces techniques a priori séduisantes sont utilisées de routine en clinique pour les affections neuromotrices mais ne sont pas accessibles aux chercheurs nonmédecins. De plus elles sont difficiles à maîtriser tant au plan technique de la capture des potentiels EMG que de leur interprétation. Il existe deux méthodes de capture des potentiels EMG. D'une part au moyen d'électrodes de surface qui sont sensibles à l'activité globale du muscle le plus proche ou le plus énergétique situé à proximité sous la peau. D'autre part au moyen d'électrodes implantées directement dans le muscle dont on veut mesurer l'activité. Cette dernière méthode beaucoup plus sélective est plus délicate à mettre en œuvre. Bien que l'amplitude des signaux EMG (valeur efficace) soit proportionnelle en première approximation à l'énergie développée par le muscle, cette relation n'est pas linéaire, elle dépend trop de l'état des électrodes. On peut donc difficilement interpréter les variations du signal EMG d'une manière autre que qualitative et surtout en fonction toute relative avec l'amplitude d'un geste. Cependant, les variations de potentiels EMG peuvent donner des informations très riches sur la chronologie des événements musculaires et sur les relations agonistes-antagonistes des acteurs gestuels. Même s'ils sont la manifestation de l'origine de tous gestes, les potentiels EMG ne peuvent constituer une méthode d'étude des gestes articulatoires en soit. Ils ne doivent être considérés que comme un complément aux méthodes traditionnelles d'observation des mouvements.

4.4. Les méthodes d'observation des organes articulateurs 4.4.1. Les méthodes

des mouvements

vidéocinématographiques d'images cinématographiques pour l'étude des mouvements

Ce sont les mêmes méthodes d'observation en vidéo que celles décrites précédemment

L 'OBSERVATION

ET L'ENREGISTREMENT

DES MOUVEMENTS

DANS LA PAROLE

51

d'accompagnement de la parole. Elles sont utilisées pour étudier les mouvements des organes articulateurs visibles sur la face des sujets ou cachés dans le conduit vocal. En vidéo traditionnelle on enregistre les mouvements des lèvres de face et de profil. On peut en mesurer précisément l'aperture avec des techniques particulières (Lallouache1990). Il est possible également d'enregistrer les mouvements du voile ou des parois pharyngales au moyen d'un endoscope souple par voie nasale (Autesserre et alii 1989). La vidéocinéradiographie a remplacé le radio cinéma pour l'étude de profil des mouvements des organes articulateurs sous rayons X. Pour des raisons juridiques et d'éthique qu'il est illusoire d'espérer remettre en cause à l'avenir, il n'est plus possible maintenant d'utiliser cette technique d'imagerie basée sur l'utilisation de radiations ionisantes. Ceci est bien dommage car cette technique est une méthode de choix pour l'observation et la mesure des gestes articulatoires. Il faut donc utiliser d'autres méthodes et exploiter au maximum les anciens enregistrements. Les problèmes d'enregistrement, de synchronisation et de mesures vidéométriques sont les mêmes que pour les mouvements d'accompagnement, cependant pour l'observation des gestes articulatoires il est nécessaire de filmer les images avec la meilleure résolution temporelle possible (50 trames par seconde). Nous mentionnons sous cette rubrique la technique qui est appelée à remplacer en imagerie la vidéocinéradiographie. Il s'agit de l'imagerie par résonance magnétique nucléaire plus communément appelée IRM ou

scanner RMN. Ces techniques d'investigations médicales « radiologiques»
permettent des mesures d'une très grande précision sur l'anatomie du conduit vocal non seulement sur le plan sagittal médian, mais également frontal et transversal ce qui permet de définir pour la première foi les volumes précis des différentes cavités du conduit. Le problème essentiel de cette technique non invasive pour les sujets se situe pour l'instant dans sa faible résolution temporelle qui est au maximum d'une dizaine d'images par seconde associée à la grande difficulté de disposer de telles machines car elles sont rares et occupées à plein temps pour leurs missions hospitalières. Cependant, cette technique est en train d'évoluer rapidement et déjà, elle donne de remarquables informations (Demolin 1997). 4.4.2. Les méthodes kynésiographiques

Ces méthodes consistent à transcrire sur un graphique les variations d'un mouvement après en avoir appréhendé la manifestation au moyen d'un capteur. Pour répondre aux mêmes préoccupations qui sont les nôtres, Rousselot (1897) a développé plusieurs capteurs kynésiographiques mé-

52

ORALITÉ ET GESTUALITÉ

: COMMUNICATION MULTIMODALE,

INTERACTION

caniques qui lui ont permis de décrire de nombreux phénomènes. Depuis, on en a imaginé beaucoup mais seules, l'électropalatographie et la magnétométrie sont d'une utilisation fréquente.

. L'électropalatographie L'électropalatographie ou EPG est une technique très particulière qui permet de visualiser les contacts de la langue sur le palais en phonation. Elle donne donc la topographie des lieux d'articulation lingo-palatins. Hardcastle (1989) a eu un rôle tout à fait majeur dans le développement de cette technique. Son principe consiste à disposer des électrodes sur un palais artificiel réalisé pour chaque sujet après une prise d'empreinte. Un dispositif électronique permet de détecter le contact de la muqueuse linguale avec les électrodes et un programme informatique permet de visualiser en temps réel les contacts palatins et de faire des traitements tels que suivis de contacts, symétrie, antériorité, postériorité, centre de gravité, etc. De mise en œuvre aisée, L'EPG est une très bonne méthode pour l'étude des gestes linguaux bien qu'en dehors de tout contact, elle ne donne aucune information sur la trajectoire de la langue. Il existe deux systèmes d'EPG, le premier proposé par la société Kay Elemetric est surtout diffusé aux USA et le second de la société Milgrants qui utilise le système de Hardcastle est plus simple et plus efficace bien que moins onéreux. L'inconvénient majeur qui empêche une plus grande diffusion de cette technique se situe dans la nécessité de réaliser un palais artificiel. La fabrication de ces dispositifs avec des techniques de prothèses odontologiques coûte cher. De plus, dès qu'un problème dentaire apparaît (plombage, dents de sagesse, croissance des enfants, etc.) il est nécessaire de les refaire. Ceci explique sa faible diffusion pour la rééducation articulatoire chez l'enfant malgré l'intérêt de la méthode.

. Les méthodes magnétométriques
La magnétométrie est une technique de mesure de distance au moyen de champs magnétiques. Son principe est utilisé dans de nombreux domaines industriels et scientifiques. Les premières tentatives peu convaincantes d'utilisation dans notre spécialité datent de plus de vingt ans. Cependant, la prohibition des investigations d'imagerie sous rayons X lui a donné une impulsion nouvelle depuis une décennie en Europe et aux USA si bien que deux systèmes de magnétométrie sont proposés à nos recherches; le Movetrack de Botronic d'origine suédoise et l'Articulograph de Carstens d'origine allemande. Le principe de base de ces machines repose sur la mesure des distances entre des bobines qui créent un champ magnétique et un petit capteur que l'on fixe sur l'organe en mouvement. Les bobines

L'OBSERVATION

ET L'ENREGISTREMENT

DES MOUVEMENTS DANS LA PAROLE

53

fixées sur un casque solidaire du crâne sont placées orthogonalement au plan sagittal de la tête du sujet ainsi que les capteurs. Ces derniers permettent de mesurer les mouvements des lèvres, de la mandibule, de la langue et même du voile. Les deux dispositifs sont assez différents. Le Movetrack dispose de deux bobines son casque est très léger, bouge peu et ne gêne pas le sujet. Il est cependant sensible aux mouvements parasites des capteurs (tilts). L' Articulograph est beaucoup plus lourd et a des problèmes de positionnement. Equipé de trois bobines qui définissent mieux le plan sagittal il est moins sensible aux tilts. Dans les meilleures conditions, ces appareils ont une précision de mesure des mouvements de l'ordre du millimètre et peuvent donner également des indications cinétiques telles que l'accélération. On peut utiliser autant de capteurs que nécessaire. Dans la pratique on dépasse rarement cinq capteurs. Ces derniers sont de petites bobines (2 mm) qui doivent être solidarisées avec l'organe mouvant par collage. Si c'est relativement simple sur les lèvres et les dents, il n'en est pas de même sur la langue. Les sujets supportent mal les fils des capteurs en bouche et surtout, sur la langue on n'est jamais sur de la bonne orthogonalité des capteurs par rapport au plan sagittal. L'utilisation de ces systèmes réclame une bonne pratique et un support technique compétent (FIPKM 1993) ce qui explique que seuls quelques centres maîtrisent ce type de mesures. A notre avis, cette technique donne de bons résultats quantitatifs sur certains organes mais manque de certitude sur d'autres. Elle peut donner en tout cas de très riches informations sur la chronologie des événements articulatoires. Il est certain que de nombreux chercheurs ont trop attendu de cette méthode et un certain désintérêt parait insensiblement gagner le microcosme. Pourtant elle peut, à notre avis, être encore bien améliorée. 4.5. Les méthodes aérodynamiques

Le domaine de l'aérodynamique dans la production de la parole est fondamental par le fait qu'il est à l'origine de toutes ses manifestations sonores. C'est en effet la colonne d'air pulmonaire qui, modulée par les différentes constrictions du conduit vocal, est la source du signal vocal. Les paramètres aérodynamiques sont constitués par les débits à la bouche (oral) et aux narines (nasal) et les pressions intraorale et sous glottique. La connaissance des variations de ces paramètres en fonction des segments phonémiques prononcés donne des informations très riches sur les mouvements des organes articulateurs du conduit vocal (Warren 1996). On doit là encore à Rousselot (1997) d'avoir codifié les principaux paramètres aérodynamiques Il est cependant illusoire d'attendre une relation linéaire entre les variations de débits et de pression et les gestes articulatoires.

54

ORALITÉ ET GESTUALITÉ

: COMMUNICATION MULTIMODALE,

INTERACTION

Cependant, ils permettent une remarquable description chronologique des gestes articulatoires et sont indispensables dans l'étude des phénomènes consonantiques complexes et de la coarticulation. (Demolin 1996a et b). Ces méthodes, dont la pratique n'est pas très compliquée n'ont pas l'importance qu'elles méritent à notre avis. Les systèmes de mesures aérodynamiques ne sont pas très nombreux. On peut citer le masque de Rothemberg très diffusé aux USA et l'Aérophone de Frokjer Jensen commercialisé par Kay Elemetric. Ces systèmes sont entachés de plusieurs défauts. Seul le système EV A proposé par la société SQLab permet des mesures nasales et une faible gêne articulatoire (Teston 1994).
4.6. Les méthodes acoustiques

Le signal de la parole est la résultante acoustique d'une certaine forme du conduit vocal, elle-même fonction des différentes constrictions provoquées par les gestes des organes articulateurs. Les relations entre les gestes et le signal peuvent être formalisées au moyen de modèles articulatoires qui, à partir de certaines positions des organes produisent un son correspondant. C'est la synthèse vocale articulatoire. Il existe ainsi plusieurs modèles de production. Depuis quelques années on a tenté de réaliser la méthode inverse, c'est-à-dire de reconstituer les gestes articulatoires à partir du

signal acoustique

en utilisant

les modèles

de production

«

à l'envers».

C'est ce que l'on appelle l'inversion des modèles. A partir du signal acoustique, on tente de reconstituer les lieux et les grandeurs des constrictions du conduit vocal. Pour cela il est nécessaire de disposer de modèles robustes peu sensibles aux variations inter locuteurs, ainsi que des données fiables sur un corpus de mouvements associés aux signaux acoustiques correspondant, pour valider l'inversion du modèle (Demolin et Soquet 1996-c). On peut se demander pourquoi chercher à observer des gestes à partir du signal lorsque l'on dispose de toutes les méthodes que nous venons de présenter. En fait il existe beaucoup de langues pour lesquelles il est difficile d'obtenir des informations autres qu'acoustiques et dont on serait condamné à ignorer les systèmes articulatoires. Il ne faut pas attendre de ces méthodes des résultats extraordinaires car les modèles de production sont trop schématiques, et les données de validations trop parcellaires ou peu précises. Mais, les bases de données articulatoires s'enrichissent progressivement ce qui permet d'affiner les modèles et ainsi améliorer l'inversion. Cela devrait finalement permettre de se passer, de toutes les techniques d'observation des mouvements des organes articulateurs dans un avenir plus ou (surtout) moins proche...

L 'OBSERV AnON

ET L'ENREGISTREMENT

DES MOUVEMENTS DANS LA PAROLE

55

4.7.

Les systèmes

d'exploitation

de données

articulatoires

intégrés

Nous venons de décrire une grande variété de systèmes d'observations directes ou indirectes des mouvements des organes articulateurs. De principes et de techniques différentes ils sont souvent très difficiles à faire fonctionner ensemble et surtout en parfaite synchronisation pour que leurs informations complémentaires puissent être efficacement utilisées et exploitées. Les gestes articulatoires sont rapides, nombreux et complexes. Il est important de multiplier les mesures simultanées sur un même événement aux moyens de plusieurs techniques. Ainsi, aux paramètres aérodynamiques sont associées l'EPG, des signaux électrophysiologiques, des images ou encore la magnétométrie. L'acquisition simultanée de tous ces paramètres ainsi que celle du signal de parole et autres signaux acoustiques (glottographe) doit être parfaitement synchronisée. Seuls quelques rares systèmes de laboratoire peuvent réaliser de tels enregistrements. C'est dans ce but que le système Physiologia a été développé à Aix (Teston 1991) qui de plus permet de synchroniser des images vidéo. Pour exploiter toutes ces données de manière commode et fiable, il est indispensable également de disposer d'éditeurs de signaux capables d'exploiter des données autres qu'acoustiques. Pour cela, l'éditeur Phonedit est le complément du système Physiologia. Un autre problème apparaît très vite avec la multiplication des paramètres enregistrés. C'est la quantité considérable de données qui s'accumulent et encombrent vite les ordinateurs dans l'attente de leurs traitements. Nous conseillons de ne pas multiplier à l'infini le nombre de paramètres sous prétexte que « plus on en a, meilleurs seront les résultats». On doit bien établir le protocole expérimental en fonction d'un objectif scientifique très clairement défini sous peine de risquer d'être très vite submergé par une masse de données inexploitables.

Conclusion

Il peut apparaître au terme de cet exposé qu'il existe deux grandes catégories d'études sur les mouvements dans la parole. La première, sur les mouvements d'accompagnement et la seconde sur les gestes articulatoires. La première, peut paraître moins complexe au plan méthodologique, mais cela est trompeur, car en fait, il n'y a pas tellement de différences dans les principes, méthodes et précautions expérimentales mis en œuvre dans ces études. Ils ne se distinguent principalement que dans la précision des mesures (d'espace et de temps). Il n'a jamais été simple ou facile d'observer, enregistrer et interpréter des mouvements. En revanche, une diffé-

56

ORALITÉ ET GESTUALITÉ

: COMMUNICATION MULTIMODALE,

INTERACTION

rence existe dans les moyens d'investigation. L'apparition des caméscopes modernes avec un standard unique, permet depuis peu de temps un développement de ce type d'études avec un investissement modique. Mais, même pour un matériel (qui semble modeste) il est toujours nécessaire de travailler avec méthode. Cet avantage disparaît totalement pour les études quantitatives des mouvements d'accompagnement qui nécessitent des investissements aussi importants que pour celles des gestes articulatoires et dont les quantités d'information à traiter sont du même ordre. La différence principale qui existe entre ces deux catégories d'études réside dans la difficulté inhérente aux études des gestes articulatoires dont la plupart des méthodes se situent dans le cadre juridique régissant les expérimentations humaines. Les enregistrements doivent alors être réalisés sous contrôle médical dans un lieu habilité (centre hospitalier) après accord d'un comité d'éthique (loi Huriet). Ceci est une contrainte à laquelle les chercheurs ont quelques difficultés à s'habituer, mais qui est une sécurité pour les sujets autant que pour eux même. Ce type de recherches impose une collaboration obligatoire avec des médecins et renforce les contacts déjà incontournables pour l'accès aux techniques d'imagerie et d'électrophysiologie. Pour cela, et d'autres raisons développées précédemment, les investigations sur les gestes articulatoires sont réservées à quelques centres de recherche qui disposent ou ont accès à tous les moyens nécessaires. Ces centres sont généralement ouverts aux chercheurs extérieurs pour qu'ils puissent y effectuer leurs enregistrements de données avant de les exploiter dans leurs laboratoires d'origine. De plus, on voit apparaître des bases de données certes parcellaires et de tailles modestes mais qui s'enrichissent de jour en jour. Les études sur les mouvements en général n'ont jamais été faciles à mener. Elles ont toujours été tributaires de techniques spécifiques qui ont souvent fait évoluer la technologie. Ces dernières années ont connu des améliorations considérables. Le vidéo cinéma est la plus importante, associée maintenant à la vidéo numérique (celui qui a connu le cinéma argentique appréciera mieux que quiconque). La vidéométrie quantitative permet d'éviter les travaux de « bénédictins» qui étaient associés aux dépouillements et aux mesures manuelles. Il en est de même pour les systèmes intégrés d'études articulatoires qui ainsi permettent de multiplier les travaux pour améliorer les modèles de production. Il y a vingt ans, les chercheurs n'imaginaient même pas pouvoir un jour disposer de telles techniques qui restaient pour eux du domaine du rêve. Les études sur les mouvements qui sont fondamentales et passionnantes ont donc les moyens de se développer. Alors, profitons-en!

L'OBSERVATION

ET L'ENREGISTREMENT

DES MOUVEMENTS DANS LA PAROLE

57

Bibliographie

Autesserre D., Galindo B., Teston B. et Vigouroux N., (1989), « Movement of the lips and velum in speech: variations in aerodynamic parameters », 2nd Eurospeech-ESCA, Paris September 1989, 437-440. Browman, & C., Goldstein, L., (1989), « Articulatory gestures as phonological units », Phonology, vol. 6, 201-251..

Demolin, D. & Teston, B., (1996 a), « Aspects articulatoires et aérodynamiques des oclusives labio vélaires », XX/es Journées d'Etude sur la Parole de la Société Française d'Acoustique, Avignon, Juin 1996, 111-114. Demolin, D. & Teston, B., (1996 b), « Labiodental Journal of the international Phonetic n° 2, 103-111.. flaps in Mangbetu », Association, vol. 26,

Demolin, D. & Soquet, A., (1996 c),

«

Speech production models as ex5th Laboratory Phonology

perimentation tools in phonology», Conference, Evanston.

Demolin, D., George, M., Lecuit, V., Metens, T., Raeymaeckers, B., & Soquet, A., (1997), « Coarticulation and articulatory compensations studied by dynamic MRI », 5th Eurospeech, Rhodes, September 1997, vol. 1, 43-46. Demolin, D., (1998), «Dynamique des systèmes phonologiques- Aspects formels et expérimentaux », XXIIèmes Journées d'Etude sur la Parole de la Société Française d'Acoustique, Martigny, 15-19 Juin 1998, 53-70. (1993), Proceedings of the ACCOR Workshop on Electromagnetic Articulography in Phonetic Research, Intitut für Phonetik und Spachliche Kommunikation, München, vol. 31, 272 p.

FIPQM-31,

Gouret, J. P., Paillé, 1., Boé, L. 1., Descout, R., 1985, Système d'exploitation automatique de labiofilms, 14èmes Journées d'Etude sur la Parole, du Groupement des Acousticiens de Langue Française, Paris, 61-64 Hardcastle, W. J., Jones, W., Knight, C., Trudgeon, A., & Calder, G., (1989). «New developments in electropalatography: a state of the art report », Clinical Linguistic and Phonetics, vol. 3, 138.

58 Howells,

ORALITÉ ET GESTUALITÉ

: COMMUNICATION

MULTIMODALE,

INTERACTION

J.W., (1986), « Most of what you wanted to know about charge coupled devices », Tutorial presented to ITV A, Toronto, Nov. 1986, PANASONIC Doc., 13 p.

Lallouache,

M.T. (1990), « Un poste visage-parole; Acquisition et traitement de contours labiaux », XVII/es Journées d'Etude sur la Parole de la Société Française d'Acoustique, Montréal, Mai 1990, 282-285.

Marey, E. J., (1878), La méthode graphique dans les sciences expérimentales et principalement en physiologie, Welter, Paris, XXIV, 673 p. Marey, E. J., (1882), « Analyse du mécanisme de la locomotion au moyen d'une série d'images photographiques recueillies sur une même plaque et représentant les phases successives du mouvement », CRAS, 3 juillet 1882, 14-16. Marey, E. J., (1888), «Décomposition des phases d'un mouvement au moyen d'images photographiques recueillies sur une bande de papier sensible qui se déroule», CRAS, 29 octobre 1888, 677-678. Micquel, J.C., (1985), L'observation Rousselot, Simon, en vidéo rapide, Lavoisier, de Phonétique 471 p. P. J., (1897-1901), Principes Welter, Paris, 638 p. P., eXpérimentale,

Wolf, F., Nadjafizadeth, H., & Boock, G. (1984), « Numérotation automatique et codage synchrone graphique et phonétique pour l'exploitation des films radiologiques », Trav. de l'Inst. de Phonétique de Strasbourg, n016, 181-190.

Teston B., (1991), «Un système d'acquisition d'images simultanées pour l'étude des mouvements des organes articulateurs», XIIe Congrés International des Sciences Phonétiques, Aix-en- Provence, août 91, vol. 5, 454-457. Teston, B., (1993), «A new air flowmeter design for the investigation of speech production », Proc. Eurospeech 3, Europeen. Speech Communication Association, Berlin, september 93, 405-409. Teston B. & Galindo, B., (1990), « Design and Development of a workstation for speech production analysis », Verba 90, Alcatel Face, Rome, January 90, 400-408. Warren, D. W., (1996), « Regulation of speech aerodynamics », in N. J. Lass, Principles of Experimental Phonetics, College Hill Press, San Diego, 71-76.

Deuxième

partie

Communications

a.
Pathologie
Pathology

(1)
(1)

1 Gestures after Total Deafferentiation of the Bodily and Spatial Senses

Jonathan

Cole, Shaun

Gallagher, David McNeill and Susan D. Duncan, Nobuhiro Furuyama & Karl-Erik McCullough

University of Southampton, UK Canisius College, USA University of Chicago, USA

Abstract We show that gestures are possible in the total absence of all bodily and spatial position feedback and we suggest that gesture can be controlled from the thought/linguistic system alone.

Introduction An important way of looking at gesture is that it may be controlled by the thought / linguistic system in a way differing, say, from that motor control system used to pick up a glass, even though the same muscles and spinal motorneurons are used. If this is the case then the gestural movements of a deafferented subject may approach normalcy since the linguistic / thought processes are unaffected by the neuropathy. We describe the gestural performance of Ian Waterman (IW) who as a young adult suffered an infection that caused the loss of all proprioceptive feedback and spatial position sense from the neck down. All functions above the neck, including speech and cognition, were spared. The question we ask is whether gesture was spared as well. IW relates that immediately after his neuropathy he could not move and could not gesture. However he spent long periods of time re-learning to move both for locomotor and daily living skills and, importantly for him, for gesture. Now, he relates, some gestures take care of themselves and are automatic. His fully automatic gestures are small movements made in a safe workspace. He has to expend cognitive effort to make larger move-

66

ORALITÉ

ET GESTUALITÉ

: COMMUNICATION

MULTIMODALE,

INTERACTION

ments which might require him to brace the body for, e.g., an extended arm movement, or to make precise movements, e.g., using two hands or a hand up to the head. We have systematically observed IW's gestures under two conditions first, while narrating from memory the story of an animated color cartoon that we had just previously shown him, both with and without vision of his hands; second, while conversing with the experimenters also while vision was occluded. Narration During the narration task, when vision of his hands was available, IW made numerous meaningful gestures well synchronized with his coexpressive speech, confirming that he had the ability to produce gestures. His gestures looked essentially identical to non-neuropathic performance. Example: 1. b-ball scene However, without vision (a blind was placed before him in such a way as to block his view of his hands), IW did not gesture at all, his hands remaining clasped at his lap. When asked by us to make gestures as he continued his narration under the blind condition, IW was able to perform gestures similar to those seen previously, with meaningful hand movements synchronized with coexpressive speech, although the gestures were smaller and showed some slight loss of coordination of the two hands.l Speech and gesture were more synchronous when vision was occluded suggesting that visual control when he could look at his hands may not have been as precise as control through the thought/linguistic system operating alone. There was some standardization of IW's gestures when he could not see - pointing (G-hand) and open (B) hand shapes, perhaps reflecting a « repertoire» of gesture forms that lW describes drawing upon when composing gestures. IW evidently had not lost the ability to perform and integrate gestures with speech in the absence of vision. The spatial organization of his gestures is especially important. Under the same blind conditions movements requiring spatial accuracy are impossible for him, but he can still use space to differentiate meanings; e.g., to the right for one meaning, to the left for a contrasting meaning, as is often seen in non-neuropathic gesture as well.

1 Weare grateful to David Klein for designing and constructing the blind.

GESTURES AFTER TOTAL DEAFFERENTIATION...

67

Space thus can be controlled by IW's linguistic/thought system even though topokinetic space, which demands accurate movement to specific external points, is degraded. Is this a sufficient explanation of IW's ability to perform gestures? That is, is he better at gesture because they do not need to be accurate in place in relation to the external world, not because they are controlled via a different thought/language system? This account cannot be ruled out. Nonetheless, it doesn't explain how IW is ahle to synchronize speech and coexpressive gesture without vision. As we have shown, he performs gestures with speech under occluded visual conditions. And the earlier example in which, with occluded vision, IW depicted Sylvester going down the pipe, shows that apart from synchrony and how it is explained, IW's gestures are accurate morphokinetically. IW moved his hand downward in that example and at the same time wriggled it at the wrist for Sylvester and the bowling ball descending the drainpipe. That is, the wriggling and downward movement are sufficiently shaped in a way that we recognize as the

gesture meaning

«

Sylvester and the bowling ball descending the drainis amazingly good in the blind condition, and meaning contribute to morphokinetic

pipe». This kind of accuracy and it is likely that language accuracy. Conversation

During our taping IW demonstrated how he performs gestures. This provides an edifying example of gesture under two control conditions - normal speaking style, and an 'inverted commas' style of demonstration. The conversation took place when vision was occluded; thus vision was not a controlling factor. The gestures during the conversation were all metaphoric ; thus formulation of meaning was a factor. What is striking is the change of character of the gestures as IW began to make them as part of a demonstration. The demonstrat ion was slower and larger than normallooking gestures by IW, and speech was drawled to make words and gestures coincide. The series of gestures that preceded the display clearly were not deliberate performances. They were small, quick, and well-synchronized with fluent, non-drawled speech. By deciding to present the meaning slowly, as a display, IW could slow down both the speech and gesture, in unison. Also, during this conversation with vision still occluded IW performed metaphoric gestures - movements in space that convey non-movement,

non-spatial meanings. He said, for example, «I find it very difficult...

»

and, without vision, spread out both hands from a curled position as though to hold in hand and present a meaning in space. This is familiar as

68

ORALITÉ ET GESTUALITÉ

: COMMUNICATION MULTIMODALE,

INTERACTION

metaphoric it was well synchronized utterance. The question

a « conduit»

gesture. As with his other gesture performances, with the semantically corresponding parts of his

of virtual actions

This brings us to an hypothesis independently advanced by Jurgen Streeck (1996) and Sotaro Kita (in press), that gestures are basically virtual actions. If IW can perform gestures normally under conditions in which instrumental action would be impossible for him, namely, without visual feedback, the boundary between gesture and action (which is a form of instrumental action) would appear to widen. It's clear there is a gap in the mapping of gestures onto actions if an individual who cannot carry out instrumental actions without visual control can, nonetheless, carry out gestures. When IW moved his hand down in the earlier example while wriggling his hand at the wrist for Sylvester and the bowling ball descending the drainpipe, should we say this was a virtual action, or the actualization of a thought pattern in action? The important distinction is between (1) instrumental action (which is the kind of motor action that IW has problems with, including locomotion) and (2) communicative action, or action with meaning mapped onto it. The gesture-as-action hypothesis claims that gesture is a special form of instrumental action, or we might say gesture = a reenactment that reproduces an instrumental action/motor action in a virtual space, which mediates the mapping of meaning through a posited action stage. So gesture is the original action once again, but in an analogue form, and this time in the virtual environment. The virtual action, in turn, is the analogue of how the target is moving. On this view, IW would have difficulty with gesture since he has difficulty with instrumental action unless he can guide it with visual feedback. The direct mapping hypothesis maintains that gesture is not instrumental action but is action onto which meaning is mapped. Rather, gesture is an action that helps to create the narrative space that is shared in the communicative situation, and as such, it comes under the control of linguistic / communicative systems rather than the instrumental motor system. Conclusions These findings suggest that gestures can be decoupled from visual monitoring and performed without feedback of any kind. Yet such gestures remain accurate in time and form, and can map semantic space onto concrete space. This suggests that gestural movements may be controlled by a system of cognition and language that is at least in part separate from

GESTURES AFTER TOTAL DEAFFERENTIATION...

69

that used to control the same muscles in instrumental actions. A crucial matter for future work is how far we can say that an automatic gestural movement is differently organized from other automatic motor programs, as in walking. A further test would be to find another purely morphokinetic movement and show that it is not as well controlled as gesture; such movements, however, may be difficult to discover. For the time being, our results suggest that the neural connections between gestures and movements involved in instrumental actions are partly separable, and thus the results show some limits on the hypothesis that gestures are virtual actions. References Kita S. in press. How Representational Gestures Help Speaking. In McNeill, D. (ed.), Language and Gesture: Window into Language and Action. J. 1996. How to do Things with Things: Objets Trouvés Symbolization. Human Studies, 19, 365-384. and

Streeck