La mesure des compétences lexicales : effets des instruments utilisés - article ; n°3 ; vol.92, pg 365-392

La mesure des compétences lexicales : effets des instruments utilisés - article ; n°3 ; vol.92, pg 365-392

-

Documents
29 pages
Lire
Le téléchargement nécessite un accès à la bibliothèque YouScribe
Tout savoir sur nos offres

Description

L'année psychologique - Année 1992 - Volume 92 - Numéro 3 - Pages 365-392
Résumé
Des épreuves lexicales différentes mesurent-elles les mêmes compétences ? L'expérience rapportée compare huit épreuves résultant de la combinaison de trois facteurs dichotomiques : 1° guidage de la réponse (QCM vs réponses libres) ; 2° type d'activité langagière (fonctionnelle vs méta-linguistique) ; 3° type de réponse (un mot vs une phrase). Les épreuves portent sur un même échantillon de mots. Le plan expérimental croise les trois facteurs de tâche avec le niveau scolaire (CM2 et 5e) et l'origine sociale des sujets (N = 320). Les résultats montrent que les facteurs de tâche font significativement varier la moyenne des scores, la différence de performance entre groupes sociaux, l'ordre de difficulté des items et la corrélation avec une épreuve de lecture et une épreuve non verbale de raisonnement analogique. Les deux premiers facteurs influent davantage sur les résultats que le troisième. Les épreuves lexicales ne sont donc pas interchangeables.
Mots clés : épreuves lexicales, reconnaissance de mots, lexique interne, psycholinguistique, psychométrie.
Summary : The measurement of lexical abilities : Effects of assessment instruments.
Do different lexical tests measure the same lexical abilities ? The experiment described here compares eight tests based on the combination of three dichotomous factors : 1° response assistance (multiple-choice items vs free-response items) ; 2° type of linguistic activity (functional vs metalinguistic) ; 3° response type (word vs sentence). The same word sample is used in each test. The experimental design correlates task factors with grade (5th and 7th grade) and sociocultural membership of subjects (N = 320). The results show that task factors significantly affect mean scores, variation of performance between social groups, the rank of item difflculty and cor-relations with a reading test and a non verbal analogical reasoning task. The two first factors appear more important than the third. Lexical tests therefore are not interchangeable.
Key-words : lexical tests, word recognition, word knowledge assessment, internai lexicon, psycholinguistics, psychometrics.
28 pages
Source : Persée ; Ministère de la jeunesse, de l’éducation nationale et de la recherche, Direction de l’enseignement supérieur, Sous-direction des bibliothèques et de la documentation.

Sujets

Informations

Publié par
Ajouté le 01 janvier 1992
Nombre de lectures 24
Langue Français
Signaler un abus

André Flieller
Pascal Delesmont
Eric Thiébaut
La mesure des compétences lexicales : effets des instruments
utilisés
In: L'année psychologique. 1992 vol. 92, n°3. pp. 365-392.
Résumé
Des épreuves lexicales différentes mesurent-elles les mêmes compétences ? L'expérience rapportée compare huit épreuves
résultant de la combinaison de trois facteurs dichotomiques : 1° guidage de la réponse (QCM vs réponses libres) ; 2° type
d'activité langagière (fonctionnelle vs méta-linguistique) ; 3° type de réponse (un mot vs une phrase). Les épreuves portent sur
un même échantillon de mots. Le plan expérimental croise les trois facteurs de tâche avec le niveau scolaire (CM2 et 5e) et
l'origine sociale des sujets (N = 320). Les résultats montrent que les de tâche font significativement varier la moyenne
des scores, la différence de performance entre groupes sociaux, l'ordre de difficulté des items et la corrélation avec une épreuve
de lecture et une épreuve non verbale de raisonnement analogique. Les deux premiers facteurs influent davantage sur les
résultats que le troisième. Les épreuves lexicales ne sont donc pas interchangeables.
Mots clés : épreuves lexicales, reconnaissance de mots, lexique interne, psycholinguistique, psychométrie.
Abstract
Summary : The measurement of lexical abilities : Effects of assessment instruments.
Do different lexical tests measure the same lexical abilities ? The experiment described here compares eight tests based on the
combination of three dichotomous factors : 1° response assistance (multiple-choice items vs free-response items) ; 2° type of
linguistic activity (functional vs metalinguistic) ; 3° response type (word vs sentence). The same word sample is used in each test.
The experimental design correlates task factors with grade (5th and 7th grade) and sociocultural membership of subjects (N =
320). The results show that task factors significantly affect mean scores, variation of performance between social groups, the
rank of item difflculty and cor-relations with a reading test and a non verbal analogical reasoning task. The two first factors appear
more important than the third. Lexical tests therefore are not interchangeable.
Key-words : lexical tests, word recognition, word knowledge assessment, internai lexicon, psycholinguistics, psychometrics.
Citer ce document / Cite this document :
Flieller André, Delesmont Pascal, Thiébaut Eric. La mesure des compétences lexicales : effets des instruments utilisés. In:
L'année psychologique. 1992 vol. 92, n°3. pp. 365-392.
doi : 10.3406/psy.1992.29520
http://www.persee.fr/web/revues/home/prescript/article/psy_0003-5033_1992_num_92_3_29520L'Année Psychologique, 1992, 92, 365-392
Laboratoire de Psychologie
Université de Nancy II1 *
LA MESURE DES COMPÉTENCES LEXICALES :
EFFETS DES INSTRUMENTS UTILISÉS
par André Flieller*, Pascal Delesmont
et Eric Thiébaut
SUMMARY : The measurement of lexical abilities : Effects of assessment
instruments.
Do different lexical tests measure the same lexical abilities ? The experi
ment described here compares eight tests based on the combination of three
dichotomous factors : 1° response assistance (multiple-choice items vs free-
response items) ; 2° type of linguistic activity (functional vs metaling
uistic) ; 3° response type (word vs sentence) . The same word sample is
used in each test. The experimental design correlates task factors with grade
(5th and 7th grade) and sociocultural membership of subjects (N = 320).
The results show that task factors significantly affect mean scores, variation
of performance between social groups, the rank of item difficulty and cor
relations with a reading test and a non verbal analogical reasoning task.
The two first factors appear more important than the third. Lexical tests
therefore are not interchangeable.
Key-words : lexical tests, word recognition, word knowledge assessment,
internal lexicon, psycholinguistics, psychometrics.
Par « compétence lexicale », Ehrlich, Bramaud du Boucheron
et Florin (1978, p. 24) désignent la connaissance de la signification
des mots. Nous utiliserons cette expression dans le même sens
que ces auteurs, mais, comme Arnaud (1987, p. 217), nous
emploierons le pluriel. En effet, nous tenterons de montrer dans
]. Unité de Recherche sur les Processus cognitifs e(, psychosociaux,
bp 33-97, 54015 Nancy cedex. 366 A. Flieller, P. Delesmont el E. Thiébaul
cet article que des instruments d'évaluation différents mobilisent
des connaissances sémantiques différentes et aboutissent à des
résultats différents.
La mesure des compétences lexicales des sujets intervient
dans divers champs de la recherche psychologique ; la psycliulugie
cognitive, ia psychologie développementale, la psychologie diffé
rentielle sont particulièrement consernées. Les instruments
utilisés sont très variables. Arnauld (1987) indique quelques
facteurs de différenciation : le type de stimuli (verbaux ou pictu
raux), la présence ou l'absence de contexte, le type d'activité
sollicité (compréhension ou production), la relation sémantique
entre stimuli et réponses (synonymie, définition, etc.), le type
de réponses (ouvertes ou contraintes). Or, malgré cette grande
diversité, les auteurs qui, comme Ehrlich et al. (1978), Anderson
et Freebody (1981), ou Rondal et Seron (1982), s'interrogent
sur les conséquences des différences entre les épreuves sont
étonnamment peu nombreux. Gomme l'observe Arnauld, « le
choix du type d'épreuve retenu n'est jamais justifié » (p. 258) ;
des considérations pratiques semblent y présider seules. Les
instruments d'évaluation apparaissent dans la littérature comme
interchangeables. La recherche présentée ici constitue une mise
à l'épreuve de ce postulat d'équivalence.
La non-équivalence de deux instruments construits à partir
d'un même échantillon de mots peut se manifester de plusieurs
manières. On peut constater une différence dans : 1° la moyenne
des scores ; 2° l'échelonnement des sujets ; 3° l'ordre des items ;
4° la corrélation avec une autre épreuve. Chacune de ces diff
érences est à considérer en propre : elles ne sont pas redondantes
et leurs conséquences ne sont pas les mêmes suivant les recherches.
L'indépendance des quatre types d'information peut être
montrée par une analyse théorique. Par exemple, l'indépendance
des différences 1 et 2 tient au fait que la valeur d'une corrélation
ne dépend pas de celle des moyennes des distributions marginales.
Les divers types de différences inter-épreuves ont une importance
qui varie selon la recherche considérée. Dans une recherche
génétique sur l'étendue du lexique à divers niveaux d'âge, la
moyenne constitue le paramètre essentiel, puisque les résultats
en dépendent directement. Elle peut être négligée dans une
recherche différentielle, où l'intérêt se porte surtout sur l'éch
elonnement des sujets et les corrélations entre les épreuves lexi
cales et d'autres tâches. Dans une recherche de psychologie des compétences lexicales 367 Mesure
cognitive où une hypothèse sur la difficulté relative de certains
mots est posée, la variable fondamentale est l'ordre des items.
Celui-ci dépend des caractéristiques des mots échantillonnés
(prononciabilité, disponibilité, degré de typicalité du concept
signifié, valeur associative, etc.), parmi lesquelles la fréquence
d'usage et la concrétude semblent les plus importantes (Flieller,
Richaume et Robert, 1991). Mais les caractéristiques de la tâche
sont également susceptibles de le modifier, ainsi que nous le
montrerons plus loin.
La présente recherche porte sur ces quatre formes de non-
équivalence. Pour la deuxième toutefois, en raison des contraintes
imposées par le plan expérimental, nous nous limiterons aux
éventuelles variations d'une différence entre deux groupes de
sujets distingués par leur origine sociale.
Notre objectif n'est pas simplement de montrer que des
épreuves lexicales différentes conduisent à des résultats diffé
rents ; il est d'essayer de comprendre comment les caractéris
tiques de celles-ci peuvent modifier les mesures pratiquées. Il en
découle que les caractéristiques des épreuves à étudier doivent
être choisies en fonction d'une analyse théorique. Trois dimens
ions, que nous appellerons « facteurs de tâche », nous sont appa
rues importantes : le type d'activité langagière sollicité (épreuves
fonctionnelles versus métalinguistiques), l'existence ou l'absence
d'un guidage de la réponse (qcm versus épreuves à réponses
libres), le degré d'élaboration de la réponse demandée (un mot
versus une phrase).
La première dimension nous semble particulièrement import
ante. Tous les auteurs s'accordent à reconnaître la spécificité
des activités métalinguistiques. Rondal et Seron (1982) par
exemple attirent l'attention sur le caractère particulier des
épreuves de définition : pour définir un mot, il ne suffit pas de le
connaître. Ce facteur de tâche est susceptible d'exercer une
influence sur les quatre variables dépendantes distinguées
ci-dessus. En premier lieu, on peut s'attendre à des différences
de moyennes entre les épreuves selon qu'elles font ou non appel
à des compétences métasémantiques, car la maîtrise métaséman-
tique des mots est génétiquement très décalée par rapport à leur
acquisition (Berthoud-Papandropoulou, 1980 ; Gombert, 1990).
En second lieu, on peut supposer qu'en raison de leur artifi-
cialité, les épreuves métalinguistiques amplifient les différences
inter-milieux. Cette hypothèse est suggérée par les travaux de 368 A. Flieller, P. Delesmont et E. Thibéaui
Labov (1970) qui montrent que les situations de communication
authentique (conversations) réduisent les différences de perfo
rmances langagières entre groupes sociaux, alors que les situations
plus artificielles (exercices scolaires) les accroissent. D'autres
travaux, présentés par Espéret (1979), confirment, ce? variations
situaticnnelle». En troisième lieu, on peut supposer que le type
d'activité langagière sollicité par l'épreuve exerce aussi une
influence sur l'ordre de difficulté des items. Considérons à ce
propos les deux types d'épreuves métalexicales les plus fr
équentes : les épreuves de définition et les épreuves de synonymie.
Un mot est d'autant plus difficile à définir qu'il est abstrait.
Mais si ce même mot est fréquent, il ne sera pas pour autant diffi
cile à employer dans une phrase. Un mot fréquent et abstrait
a donc toute chance de voir sa difficulté varier selon qu'il figure
dans une épreuve fonctionnelle de construction de phrase ou une métalinguistique de définition. Dans une
épreuve de synonymie, la difficulté d'un mot tient autant aux
caractéristiques de ses synonymes (notamment leur fréquence
et leur concrétude) qu'à ses caractéristiques propres. Ainsi,
un mot à la fois fréquent et concret peut être facile dans une
épreuve fonctionnelle, mais beaucoup plus difficile une de synonymie, si ses synonymes sont peu usuels. En
dernier lieu, ce facteur de tâche est susceptible de faire varier la
corrélation entre les épreuves lexicales et d'autres épreuves
linguistiques. Nous pensons en particulier aux épreuves de lecture
du type « closure », où le sujet est appelé à mettre en œuvre des
connaissances métalinguistiques. On peut faire l'hypothèse que
ce type d'épreuve est plus fortement corrélé avec les épreuves
lexicales métalinguistiques qu'avec les épreuves lexicales fonc
tionnelles.
Dans les épreuves à réponses libres, le sujet doit produire le
mot attendu (par exemple, dans une épreuve de phrases lacu
naires) ou une phrase comportant le mot stimulus (par exemple,
dans une épreuve de construction de phrases). Dans les épreuves
à choix multiples au contraire, il lui suffit de sélectionner un mot
ou une phrase parmi les réponses proposées. On peut donc
considérer que les premières sont des épreuves de production et
les secondes, des épreuves de compréhension. Le facteur « guidage
de la réponse » recouvre donc en grande partie la distinction
fondamentale en psycholinguistique entre compréhension et
production. En ce qui concerne le lexique interne, l'importance des compétences lexicales 369 Mesure
de cette distinction est bien reflétée dans le modèle de Morton
(1982) qui, sur la base de certains résultats expérimentaux,
estime nécessaire de différencier les mécanismes de l'accès lexical
en compréhension et en production. Les études génétiques
révèlent de façon régulière un décalage en faveur de la compréhens
ion, qui s'observe dès le niveau phonologique (Aicart de Falco
et Vion, 1987), et dont de nombreux auteurs affirment l'existence
pour le niveau sémantique (Oléron, 1979). On peut donc s'at
tendre à des moyennes supérieures dans les épreuves à choix
multiples qui ne sollicitent que la compréhension des mots et
non leur production. Mais les qcm sont caractérisés également
par la présence de distracteurs qui peuvent influer sur l'ordre
de difficulté des items. Dans tout qcm, il est possible de modifier
la d'un item en faisant varier la vraisemblance des
distracteurs (Noizet et Gaverni, 1978). Cette règle s'applique
aux épreuves lexicales. Dans une épreuve de synonymie par
exemple, la difficulté d'un item dépend de la proximité sémantique
entre la bonne réponse et les distracteurs. Il en va de même
dans une épreuve de phrases lacunaires : la lacune est d'autant
plus difficile à combler que les distracteurs sont proches séman-
tiquement de la bonne réponse. En l'absence d'une procédure
de construction des items qui maintiendrait constante le degré
de similitude sémantique entre les distracteurs et la bonne
réponse, on peut donc s'attendre à ce que l'ordre de difficulté
des items ne soit pas le même dans les qcm et les épreuves à
réponses libres.
Le degré d'élaboration de la réponse peut modifier les résultats
de manière diverse et complexe. En situation de production
(épreuves à réponses libres), la phrase constitue, surtout à l'écrit,
une source de difficulté supplémentaire susceptible : 1° d'abaisser
la moyenne des scores ; 2° d'accroître les différences entre
groupes sociaux ; 3° d'augmenter la corrélation entre l'épreuve
lexicale et des épreuves de lecture (en raison des opérations de
traitement de phrases mises en jeu dans ces dernières) et, peut-
être, des épreuves de raisonnement (s'il existe une covariation
entre la maîtrise de l'écrit et la maîtrise du raisonnement consi
déré2). En situation de compréhension( qcm), la phrase pourrait,
2. Certains travaux paraissent l'indiquer, Espérct (1979), par exemple,
trouve chez des élèves de classe terminale des corrélations significatives
entre le score à un test de raisonnement logique et divers indices de complexité
des textes écrits produits par les élèves. 370 A. Flieller, P. Delesmonl et E. Thiébaut
au contraire, s'avérer favorable : l'accès lexical est facilité par
un contexte cohérent (Marslen- Wilson et Tyler, 1980), la compré
hension d'un mot est plus aisée quand ce dernier est inséré
dans une phrase (cf. par exemple, Just et Carpenter, 1987,
p. 86 et sq.). Mais identifier contexte et phrase serait une erreur.
Dans leo yuM, ies mots distracteurs constituent aussi un contexte
susceptible d'aider le sujet dans la recherche de la solution (sauf,
comme nous l'avons dit plus haut, dans le cas où les distracteurs
sont très proches de la bonne réponse). Nous retiendrons donc
comme hypothèse que le degré d'élaboration de la réponse inter
agit avec le guidage de la réponse : dans les épreuves à réponses
libres, la moyenne des scores doit être plus basse quand le sujet
doit répondre par une phrase que par un mot, tandis qu'il ne pas exister de différence entre ces deux modalités de réponse
dans le cas des qcm.
MÉTHODOLOGIE
1. LES ÉPREUVES
1.1. Les épreuves lexicales
1.1.1. Construction
Par combinaison des trois facteurs dichotomiques retenus (guidage,
type d'activité et type de réponse), on obtient huit types différents
d'épreuves, notés El à E8 : phrases lacunaires (El : qcm et E5 : réponses
libres), construction de (E2 et E6), synonymie (E3 et E7) et
définition (E4 et E8). Nous avons construit une épreuve de chaque type,
en nous efforçant de les rendre aussi comparables que possible : les
items portent sur les mêmes mots3 et comportent dans les qcm les
mêmes distracteurs, placés dans le même ordre.
Dans les épreuves de phrases lacunaires (El et E5), la tâche du
sujet consiste à sélectionner ou produire le mot qui complète le mieux la
phrase proposée (extraite le plus souvent des exemples d'emploi fournis
3. 22 mots puisés dans le wisc-r et le cm2-b, dont voici la liste : essence,
caramel, camion, paresseux, commencement, canif, indispensable, naïf,
permettre, fable, transmettre, contagieux, vérification, espion, essai, appé
tissant, durer, restituer, excès, rivalité, imminent, polémique. des compétences lexicales 371 Mesure
par le dictionnaire). Dans la forme à réponses libres (E5), nous avons
fait figurer l'initiale du mot attendu, pour éviter que le sujet ne produise
un synonyme.
Dans les épreuves de construction de phrases (E2 et E6), le sujet
doit sélectionner ou produire une phrase où le mot est correctement
employé. Dans le qcm (E2), la bonne réponse est la phrase où figure ce
mot dans les deux épreuves lacunaires. Les distracteurs sont des phrases
données en exemple par le dictionnaire pour les mots servant de distrac
teurs en El ; mais dans ces phrases le mot stimulus remplace les mots
distracteurs (cf. § 1.1.2.). Dans la forme à réponses libres (E6), on
demande au sujet deux phrases, car une seule ne permet pas toujours
de vérifier sa compréhension de la signification du mot.
Dans les épreuves de synonymie (E3 et E7), le sujet doit sélectionner
ou produire un synonyme du mot stimulus. Dans le qcm (E3), la bonne
réponse est le le plus courant donné par un dictionnaire.
Les distracteurs sont les mêmes qu'en El.
Dans les épreuves de définition enfin (E4 et E5), le sujet doit sélec
tionner ou produire une du mot stimulus. Les distracteurs du
qcm (E4) sont les définitions données par le dictionnaire pour les mots
figurant comme distracteurs en El et E3. Dans la forme à réponses
libres (E8), la consigne est suivie d'exemples de réponses insuffisantes,
afin d'inciter le sujet à donner une définition aussi complète que
possible.
Le tableau I ci-dessous présente les caractéristiques des huit épreuves
ainsi construites. On trouvera au paragraphe suivant les consignes
des épreuves, ainsi qu'un exemple permettant de comparer les diverses
formes d'un même item.
Tableau I. — Les épreuves et leurs caractéristiques
Tests and their characteristics
Fonct Réponses libres Fonct QCM
Méta- Méta-
ionnelles linguistiques ionnelles linguistiques
Synonymie Phrases Mot Phrases Synonymie
lacunaires lacunaires
El E3 E5 E7
Construction Phrase Construction Définition Définition
de phrases de phrases
E2 E4 E6 E8 372 A. Flieller, P. Delesmonl et E. Thièbaul
1.1.2. Consigne des huit épreuves et exemple d'item (n° 21)
El : phrases lacunaires (QCM)
Trouve, parmi les quatre mots proposés, celui qui complète le mieux
la phrase et entoure le numéro correspondant :
21. Les réacteurs vont s'allumer ; le départ de la fusée est
1. Imminent 2. Fatal 3. Instantané 4. Urgent
E2 : construction de phrases (QCM)
Trouve, parmi les quatre phrases ci-dessous, celle où le mot en majusc
ules est employé correctement et entoure le numéro correspondant.
21. IMMINENT
1 . Les réacteurs vont s'allumer ; le départ de la fusée est imminent ;
2. Un échec peut quelquefois être imminent ;
3. Le choc fut si violent que le décès fut imminent ;
4. Quand il y a le feu, il est imminent de prévenir les pompiers.
E3 : synonymie (QCM)
Trouve, parmi les quatre proposés, celui qui veut dire la même chose
ou presque la même chose que le mot en majuscules et entoure le chiffre
correspondant.
21. IMMINENT
1. Immédiat 2. Fatal 3. Instantané 4. Urgent
E4 : définition (QCM)
Trouve, parmi les quatre définitions proposées, celle qui correspond
le mieux au mot en majuscules et entoure le chiffre correspondant.
21. IMMINENT
1. Qui est sur le point de se produire;
2. Qui doit arriver inévitablement ;
3. Qui se produit soudainement ;
4. Qui ne peut être différé. des compétences lexicales 373 Mesure
E5 : phrases lacunaires (réponses libres)
Trouve le mot qui complète le mieux la phrase et écris-le sur les
pointillés. Nous avons imprimé la première lettre du mot à trouver pour
te faciliter la tâche.
21. Les réacteurs vont s'allumer ; le départ de la fusée est i
E6 : construction de phrases (réponses libres)
Avec chacun des mots suivants, construis deux phrases qui montrent
que tu as compris le sens du mot employé. Ecris ces sur chacune
des lignes pointillées.
21. IMMINENT
E7 : synonymie (réponses libres)
Trouve un mot qui veut dire la même chose ou presque la même chose
que le mot en majuscules et écris-le sur les pointillés.
21. IMMINENT
E8 : définition (réponses libres)
Explique sur les pointillés ce que veut dire chacun des mots suivants.
21. IMMINENT
1.1.3. Evaluation des réponses
Les qcm donnent lieu à une notation dichotomique. Il n'a pas été
possible d'utiliser d'emblée un tel système dans les épreuves à réponses
libres : certaines réponses ne peuvent être tenues pour fausses, bien
qu'elles ne correspondent pas à la réponse attendue. Nous avons donc
été contraints de classer les réponses en trois catégories : « exactes »,
« insuffisantes » et « fausses ».
Les traitements statistiques nécessitant des données homogènes,
le problème s'est posé de savoir comment passer d'une notation trichoto-
mique à une notation dichotomique. Deux options s'offraient : réunir
les réponses insuffisantes et les réponses exactes (cotation large), ou bien
les et les fausses stricte). Pour
effectuer ce choix, nous avons comparé l'homogénéité interne de chaque
épreuve selon la cotation. La valeur du coefficient a de Cronbach est