Les illusions McGurk dans la parole : 25 ans de recherches - article ; n°3 ; vol.103, pg 497-542

Radeau

Description

L'année psychologique - Année 2003 - Volume 103 - Numéro 3 - Pages 497-542
Résumé
Lorsque la vision et l'audition fournissent des signaux de parole incongrus, deux types d'illusions (fusions et combinaisons) ont été rapportées (McGurk et MacDonald, 1976). L'objectif de cet article est de faire le point sur l'état des connaissances relatives à l'effet McGurk. Nous considérons les divers paramètres susceptibles de moduler la taille de l'effet. Nous nous interrogeons ensuite sur le niveau de traitement auquel se produit l'intégration par rapport à la catégorisation phonétique. Nous discutons également de la place de l'effet dans les différentes théories de perception de la parole, ainsi que du développement de l'effet et de ses bases cérébrales possibles.
Mots clés : intégration audiovisuelle, lecture labiale, perception de la parole.
Summary : The McGurk illusions in speech: 25years of research.
When presented with an auditory /b/ dubbed onto a visual /g/, listeners perceive sometimes a fused phoneme like /d/ whereas with the reverse presentation, they experience a combination such as /bg/. These two kinds of illusions were reported by McGurk and MacDonald (1976).
The aim of this paper is to review research on the McGurk effect and on the underlying cognitive processes. Different experimental manipulations that are likely to modulate the size of the effect are examined, such as spatial separation and temporal desynchronisation between the signals, vocalic and consonantic environment, articulation rate, stimulus quality, cognitive influences and cross-linguistic differences. Datafrom studies bearing on the issue of the level of processing at which audiovisual integration occurs relative to phonetic categorization are considered. The place of the McGurk effect in current theories of speech perception is also discussed, as well as the development of the effect during childhood, and finally the possible cerebral bases.
Key words : audiovisual integration, speech reading, speech perception
46 pages
Source : Persée ; Ministère de la jeunesse, de l’éducation nationale et de la recherche, Direction de l’enseignement supérieur, Sous-direction des bibliothèques et de la documentation.

Informations

• Publié par: L-annee-psychologique
• Publié le: 01 janvier 2003
• Nombre de lectures: 91
• Langue: Français
• Poids de l'ouvrage: 3 Mo

Extrait

Madame Christel Colin
Monique Radeau
Les illusions McGurk dans la parole : 25 ans de recherches
In: L'année psychologique. 2003 vol. 103, n°3. pp. 497-542.
Résumé
Lorsque la vision et l'audition fournissent des signaux de parole incongrus, deux types d'illusions (fusions et combinaisons) ont
été rapportées (McGurk et MacDonald, 1976). L'objectif de cet article est de faire le point sur l'état des connaissances relatives à
l'effet McGurk. Nous considérons les divers paramètres susceptibles de moduler la taille de l'effet. Nous nous interrogeons
ensuite sur le niveau de traitement auquel se produit l'intégration par rapport à la catégorisation phonétique. Nous discutons
également de la place de l'effet dans les différentes théories de perception de la parole, ainsi que du développement de l'effet et
de ses bases cérébrales possibles.
Mots clés : intégration audiovisuelle, lecture labiale, perception de la parole.
Abstract
Summary : The McGurk illusions in speech: 25years of research.
When presented with an auditory /b/ dubbed onto a visual /g/, listeners perceive sometimes a fused phoneme like /d/ whereas
with the reverse presentation, they experience a combination such as /bg/. These two kinds of illusions were reported by McGurk
and MacDonald (1976).
The aim of this paper is to review research on the McGurk effect and on the underlying cognitive processes. Different
experimental manipulations that are likely to modulate the size of the effect are examined, such as spatial separation and
temporal desynchronisation between the signals, vocalic and consonantic environment, articulation rate, stimulus quality,
cognitive influences and cross-linguistic differences. Datafrom studies bearing on the issue of the level of processing at which
audiovisual integration occurs relative to phonetic categorization are considered. The place of the McGurk effect in current
theories of speech perception is also discussed, as well as the development of the effect during childhood, and finally the
possible cerebral bases.
Key words : audiovisual integration, speech reading, speech perception
Citer ce document / Cite this document :
Colin Christel, Radeau Monique. Les illusions McGurk dans la parole : 25 ans de recherches. In: L'année psychologique. 2003
vol. 103, n°3. pp. 497-542.
doi : 10.3406/psy.2003.29649
http://www.persee.fr/web/revues/home/prescript/article/psy_0003-5033_2003_num_103_3_29649L'année psychologique, 2003, 104, 497-542
REVUE CRITIQUE
Université Libre de Bruxelles1
FNRS, Belgique
LES ILLUSIONS MCGURK
DANS LA PAROLE :
25 ANS DE RECHERCHES
Cécile COLIN2 et Monique RADEAU3
SUMMARY : The McGurk illusions in speech: 25 years of research.
When presented with an auditory Ibl dubbed onto a visual Igl, listeners
perceive sometimes a fused phoneme like Idl whereas with the reverse
presentation, they experience a combination such as Ibgl . There two kinds of
illusions were reported by McGurk and MacDonald (1976).
The aim of this paper is to review research on the McGurk effect and on the
underlying cognitive processes. Different experimental manipulations that are
likely to modulate the size of the effect are examined, such as spatial separation
and temporal desynchronisation between the signals, vocalic and consonantic
environment, articulation rate, stimulus quality, cognitive influences and
cross-linguistic differences. Data from studies bearing on the issue of the level
of processing at which audiovisual integration occurs relative to phonetic
categorization are considered. The place of the McGurk effect in current theories
of speech perception is also discussed, as well as the development of the effect
during childhood, and finally the possible cerebral bases.
Key words : audiovisual integration, speech reading, speech perception
1. Unité de Recherche en Neurosciences Cognitives, CP 191, Université
Libre de Bruxelles, 50, av. F. Roosevelt, 1050 Bruxelles, Belgique.
2. E-mail : [e-mail].
3. Nous remercions chaleureusement deux experts anonymes pour leur lec
ture très attentive de l'article ainsi que pour leurs suggestions particulièrement
constructives et enrichissantes.
Cette recherche a été subsidiée par la Communauté française de Belgique
dans le cadre d'une Action de recherche concertée (96/01-203) ainsi que d'un
Fonds pour la recherche fondamentale collective (8.4501.98) accordé à Monique
Radeau. 498 C. Colin et M. Radeau
LA COMPLÉMENTARITÉ
DE L'AUDITION ET DE LA VISION
DANS LA PERCEPTION DE LA PAROLE
La perception de la parole a longtemps été considérée comme un proces
sus purement auditif. En effet, dans de nombreuses situations de communic
ation (conversation téléphonique, écoute de programmes radiophoni-
ques...), la parole auditive est la seule source d'information disponible et elle
semble suffisante pour atteindre un niveau de compréhension satisfaisant.
Durant la seconde moitié du XXe siècle, de nombreuses études ont mis
en évidence l'apport essentiel de l'information visuelle dans la perception
de la parole. Sumby et Pollack (1954) sont parmi les premiers à avoir mont
ré que l'intelligibilité d'un signal acoustique (des mots mono-, bi- ou trisyl-
labiques), mêlé à du bruit, était fortement améliorée par la lecture labiale.
Celle-ci contribuait d'autant plus à la perception de la parole que le bruit
était important. Ces résultats ont été largement reproduits lors d'études
ultérieures menées en anglais (Erber, 1969 ; Dodd, 1977 ; Middleweerd et
Plomp, 1987 ; MacLeod et Summerfield, 1990). Ils ont été reproduits par
Mohamadi et Benoît (1992) pour le français. La lecture labiale s'avère éga
lement extrêmement bénéfique chez les personnes souffrant de déficience
auditive. Elle contribue notamment à l'acquisition du langage oral chez les
enfants sourds (Dodd, Mclntosh et Woodhouse, 1998).
L'influence de la parole visuelle ne se limite pas aux situations dans le
squelles le signal auditif est dégradé. Elle améliore la compréhension d'un
signal de parole clair, mais comprenant un contenu sémantiquement
complexe (Reisberg, McLean et Goldfield, 1987), ou prononcé dans une
langue étrangère (Davis et Kim, 1998), ou encore prononcé dans la langue
maternelle mais par un locuteur parlant avec un accent étranger (Burn-
ham, 1998). Dans des conditions normales d'écoute, elle améliore égal
ement la compréhension de la parole conversationnelle (Cerrato, Leoni et
Falcone, 1998) ou celle de logatomes VCVCV1 (Benoît, Mohamadi et Kan-
del, 1994). Enfin, Mills (1987) a montré que des enfants aveugles, d'une
moyenne d'âge de deux ans, acquéraient plus lentement que les voyants
des sons caractérisés par une articulation clairement visible (des bilabiales
comme /b/, liai...) et qu'ils commettaient des erreurs spécifiques à leur défi
cit (substitution d'un phonème par un autre appartenant à une catégorie
visuelle différente).
L'augmentation de l'intelligibilité de la parole par l'information
visuelle est en toute logique due au fait que cette dernière est complément
aire de l'information auditive (Summerfield, 1987). Pour les consonnes,
Miller et Nicely (1955) ont souligné que le heu d'articulation (spécifié par
1. C = consonne ; V = voyelle L'effet Me Gurk 499
des changements acoustiques rapides, de faible intensité) est difficile à iso
ler du signal auditif présenté seul. Ce dernier fournirait par contre
l'information relative au mode d'articulation et au voisement. Ces consta
tations ont été confirmées par Smeele et Sittig (1991). Ces auteurs ont
demandé à des participants néerlandophones d'identifier des consonnes
placées dans différents contextes syllabiques. La présentation était
visuelle, auditive ou audiovisuelle. Dans la condition visuelle, le lieu
d'articulation était le trait le mieux transmis. Dans la condition auditive,
le mode d'articulation était bien perçu tandis que les scores relatifs au lieu
étaient très faibles. L'information concernant les traits phonétiques
n'était cependant pas transmise exclusivement par l'une ou l'autre modal
ité sensorielle puisque la perception bimodale était meilleure que la
somme des deux conditions unimodales. Robert-Ribès, Schwartz, Lal-
louache et Escudier (1998) ont décrit le même type de résultats pour les
voyelles du français.
Une étude de Rosen, Fourcin et Moore (1981) a bien illustré
cette complémentarité entre audition et vision. La fréquence fondament
ale FO), qui présentée se