La fiabilité de la notation scolaire par expert comme fonction du mode d'exploitation analytique ou synthétique de la note - article ; n°2 ; vol.81, pg 369-384

Caverni

Description

L'année psychologique - Année 1981 - Volume 81 - Numéro 2 - Pages 369-384
Summary
The problem of reliability in scholastic evaluation by human operators is no longer defined in terms of inter-judge agreement (or correlation between their evaluations and the scores obtained by the pupils) but as a compatibility between the characteristics of distributions of grades and the characteristics, determined by construction, of the set of products to be evaluated.
Subjects (teachers in the humanities) were asked to evaluate (using the 20-point scale employed in the French scholastic system) essays written in their mother tongue.
Exercises were developed (using real essays) by the experimenter according to two descriptions corresponding to evaluation criteria normally employed by teachers : « correctness of style » and « coherence in the organization of ideas ». Both descriptors were combined orthogonally. The experiment was designed in order to discern under which conditions of statement of explicit response the subjects combine criteria compatible with the combination of descriptors.
The non-additive combination of criteria corresponding to orthogonal descriptors, observed when subjects are only required to formulate a global evaluation of each product, is not found when, in addition to a global evaluation, it is necessary for subjects to provide a detailed evaluation of each criterion involved.
The hypothesis is advanced that the analytic statement of evaluations contributes to an increase in their reliability. Variables which may serve to increase this reliability are examined. These variables are related to response Systems employed in formulating judgments as well as to diffe-rential characteristics of evaluators.
Résumé
Le problème de la fiabilité de la notation scolaire par opérateur humain est posé non plus en termes d'accord entre juges (ou de corrélation entre leurs jugements et les scores à des tests obtenus par les élèves jugés), mais de compatibilité entre les caractéristiques des distributions de notes attribuées et les caractéristiques, déterminées par construction, du lot des productions à évaluer.
La combinaison non additive, dans la notation, de critères correspondant à des descripteurs orthogonaux dans le matériel, observée lorsque les sujets ne doivent expliciter qu'une évaluation globale de chaque production, n'est plus observée lorsqu'ils doivent expliciter, en plus de l'évaluation globale, une évaluation détaillée sur chaque critère concerné.
L'auteur en déduit l'hypothèse — vérifiable dans la seule mesure où les caractéristiques du matériel jugé sont connues — qu'une explicitation analytique des évaluations contribue à leur meilleure fiabilité. Il évoque les variables (liées d'une part aux systèmes de réponse utilisés pour formuler les jugements, d'autre part à des caractéristiques différentielles distinguant les évaluateurs) à étudier pour que cette fiabilité soit encore accrue.
16 pages
Source : Persée ; Ministère de la jeunesse, de l’éducation nationale et de la recherche, Direction de l’enseignement supérieur, Sous-direction des bibliothèques et de la documentation.

Informations

• Publié par: L-annee-psychologique
• Publié le: 01 janvier 1981
• Nombre de lectures: 21
• Langue: Français
• Poids de l'ouvrage: 1 Mo

Extrait

J.-P. Caverni
La fiabilité de la notation scolaire par expert comme fonction du
mode d'exploitation analytique ou synthétique de la note
In: L'année psychologique. 1981 vol. 81, n°2. pp. 369-384.
Citer ce document / Cite this document :
Caverni J.-P. La fiabilité de la notation scolaire par expert comme fonction du mode d'exploitation analytique ou synthétique de
la note. In: L'année psychologique. 1981 vol. 81, n°2. pp. 369-384.
doi : 10.3406/psy.1981.28381
http://www.persee.fr/web/revues/home/prescript/article/psy_0003-5033_1981_num_81_2_28381Abstract
Summary
The problem of reliability in scholastic evaluation by human operators is no longer defined in terms of
inter-judge agreement (or correlation between their evaluations and the scores obtained by the pupils)
but as a compatibility between the characteristics of distributions of grades and the characteristics,
determined by construction, of the set of products to be evaluated.
Subjects (teachers in the humanities) were asked to evaluate (using the 20-point scale employed in the
French scholastic system) essays written in their mother tongue.
Exercises were developed (using real essays) by the experimenter according to two descriptions
corresponding to evaluation criteria normally employed by teachers : « correctness of style » and «
coherence in the organization of ideas ». Both descriptors were combined orthogonally. The experiment
was designed in order to discern under which conditions of statement of explicit response the subjects
combine criteria compatible with the combination of descriptors.
The non-additive combination of criteria corresponding to orthogonal descriptors, observed when
subjects are only required to formulate a global evaluation of each product, is not found when, in
addition to a global evaluation, it is necessary for subjects to provide a detailed evaluation of each
criterion involved.
The hypothesis is advanced that the analytic statement of evaluations contributes to an increase in their
reliability. Variables which may serve to increase this reliability are examined. These variables are
related to response Systems employed in formulating judgments as well as to diffe-rential
characteristics of evaluators.
Résumé
Le problème de la fiabilité de la notation scolaire par opérateur humain est posé non plus en termes
d'accord entre juges (ou de corrélation entre leurs jugements et les scores à des tests obtenus par les
élèves jugés), mais de compatibilité entre les caractéristiques des distributions de notes attribuées et
les caractéristiques, déterminées par construction, du lot des productions à évaluer.
La combinaison non additive, dans la notation, de critères correspondant à des descripteurs
orthogonaux dans le matériel, observée lorsque les sujets ne doivent expliciter qu'une évaluation
globale de chaque production, n'est plus observée lorsqu'ils doivent expliciter, en plus de l'évaluation
globale, une évaluation détaillée sur chaque critère concerné.
L'auteur en déduit l'hypothèse — vérifiable dans la seule mesure où les caractéristiques du matériel
jugé sont connues — qu'une explicitation analytique des évaluations contribue à leur meilleure fiabilité.
Il évoque les variables (liées d'une part aux systèmes de réponse utilisés pour formuler les jugements,
d'autre part à des caractéristiques différentielles distinguant les évaluateurs) à étudier pour que cette
fiabilité soit encore accrue.L'Année Psychologique, 1981, 81, 369-384
Laboratoire de Psychologie expérimentale1
Université René-Descarles et EPHE, 3e section
associé au CNRS
LA FIABILITÉ DE LA NOTATION SCOLAIRE
PAR EXPERT
COMME FONCTION DU MODE D'EXPLI CITATION
ANALYTIQUE OU SYNTHÉTIQUE DE LA NOTE
par Jean-Paul Caverni
SUMMARY
The problem of reliability in scholastic evaluation by human operators is
no longer defined in terms of inter- judge agreement (or correlation between
their evaluations and the scores obtained by the pupils) but as a compatib
ility between the characteristics of distributions of grades and the charact
eristics, determined by construction, of the set of products to be evaluated.
Subjects (teachers in the humanities) were asked to evaluate (using
the 20-point scale employed in the French scholastic system) essays written
in their mother tongue.
Exercises were developed (using real essays) by the experimenter
according to two descriptions corresponding to evaluation criteria normally
employed by teachers : « correctness of style » and « coherence in the organizat
ion of ideas ». Both descriptors were combined orthogonally. The expe
riment was designed in order to discern under which conditions of statement
of explicit response the subjects combine criteria compatible with the
combination of descriptors.
The non-additive combination of criteria corresponding to orthogonal
descriptors, observed when subjects are only required to formulate a global
evaluation of each product, is not found when, in addition to a
evaluation, it is necessary for subjects to provide a detailed evaluation of
each criterion involved.
The hypothesis is advanced that the analytic statement of evaluations
contributes to an increase in their reliability. Variables which may serve
to increase this reliability are examined. These variables are related to
response systems employed in formulating judgments as well as to diffe
rential characteristics of evaluators.
1. 28, rue Serpente, 75006 Paris. 370 Jean-Paul Caverni
INTRODUCTION
Les systèmes scolaires font traditionnellement appel à des
opérateurs humains (en l'occurrence des enseignants) pour éva
luer les productions effectuées par les élèves dans le cadre des
différents apprentissages auxquels ces derniers sont soumis2. La
fiabilité de telles procédures a depuis longtemps été mise en
cause, notamment à l'occasion d'une enquête internationale
(enquête Carnegie) sur les examens et concours (Hartog et
Rhodes, 1935 ; Laugier et Weinberg, 1936). Le manque de fiabi
lité se marque notamment à ce que plusieurs évaluateurs appelés
à juger individuellement une même production lui attribuent
alors des évaluations différentes. D'autres manières ont été
utilisées pour éprouver la fiabilité déficiente des notes scolaires.
L'une a consisté en l'étude des corrélations entre les notes
obtenues par les mêmes élèves, d'une part à des épreuves sco
laires évaluées par des enseignants, et d'autre part à des tests
censés appréhender les mêmes aptitudes (cf. par exemple Fin-
layson, 1951). L'autre a consisté à l'analyse statistique des limites
de confiance des résultats de l'évaluation des jurys à des examens
réels, organisés de telle sorte que candidats et examinateurs
soient répartis aléatoirement entre ces différents jurys (cf. Noizet,
1961 ; Piéron, Reuchlin, Bacher et Demangeon, 1962).
Les problèmes de fiabilité de l'évaluation par experts sont
toujours à l'ordre du jour et occupent encore les chercheurs. En
témoignent des articles récents (Akeju, 1972 ; Hill, 1977 et 1978 ;
Murphy, 1978 et 1979 ; Wood et Quinn, 1976).
Pour tenter d'apporter à ces problèmes des réponses nouvelles,
une étude systématique de l'acte d'évaluation a été entreprise
du point de vue des processus psychologiques mobilisés chez le
sujet qui évalue (Noizet et Caverni, 1978 ; Noizet et Caverni, 1981).
La tâche d'évaluation de productions scolaires est conçue comme
requérant de l'évaluateur une activité de collecte et de combi
naison d'informations, dont il s'agit de rendre compte en termes
de déterminants et de mécanismes (Caverni, 1981). C'est ainsi
2. A côté de l'évaluation traditionnelle par l'enseignant, d'autres pro
cédures, qui ne sont pas concernées par ce travail, sont utilisées, plus ou
moins selon les pays, telles des épreuves standardisées de questions fermées,
à notation automatique (du type questionnaires à choix multiple, çcm)
et parfois étalonnées, qui sont alors conçues comme de véritables tests. La fiabilité de la notation scolaire 371
qu'ont pu être mis en évidence les effets d'informations exté
rieures à la production elle-même mais concernant son auteur
(Gaverni, Fabre et Noizet, 1975), de même qu'ont pu être ana
lysées les caractéristiques multidimensionnelles (Caverni et
Noizet, 1979) et séquentielles (Caverni, 1980) de la prise d