L'évaluation de programme axée sur le jugement crédible

De
Générer un jugement crédible s’avère un défi de taille pour tout professionnel, notamment dans le cadre d’évaluation de programmes. Les auteurs proposent des solutions en s’intéressant notamment aux contextes et aux contingences, au choix des critères et des seuils de performance ainsi qu’aux capacités personnelles de l’évaluateur.
Publié le : jeudi 13 décembre 2012
Lecture(s) : 23
Licence : Tous droits réservés
EAN13 : 9782760535503
Nombre de pages : 220
Voir plus Voir moins
Cette publication est uniquement disponible à l'achat

Épine 0,4554 po / 11,6 mm / 218 p. / 120 M
Sous la direction de Marthe Hurteau,
Sylvain Houle et François Guillemette
Gé Nérer u N Ju Ge Me Nt, et PLu S PArti Cu Lière Me Nt u N Ju Ge Me Nt
qui suscite la confiance des personnes concernées, s’avère un défi de taille pour tout
professionnel. L’évaluation de programme est d’ailleurs confrontée à de nombreuses
remises en question concernant l’incapacité des évaluateurs à générer un jugement
crédible. C’est ce qui a amené Marthe Hurteau et Sylvain Houle à consacrer leurs
travaux de recherche à cette problématique.
en guise d’introduction, les auteurs présentent certaines notions
fondamentales concernant l’évaluation, le jugement crédible ainsi que la contribution des
données probantes crédibles au sein du processus de crédibilisation. Par la suite,
ils élaborent le processus de production et de crédibilisation du jugement ainsi que
l’influence exercée par les contextes et les contingences liés au programme à l’étude ;
à la sélection des parties prenantes ; au choix des critères et des seuils de
performance ainsi qu’aux capacités personnelles de l’évaluateur.
L’ouvrage propose, à ceux qui se préoccupent de porter un jugement
crédible et digne de confiance aux yeux des gens à qui il est destiné, des balises pour
encadrer leur démarche d’investigation. il constitue une source de réflexion
intéressante pour tout professionnel appelé à porter un jugement (diagnostic, conclusion)
dans le cadre de ses fonctions.
L’évaLuation
Marthe Hurteau Sylvain Houle François Guillemette
est professeure au Département est professeur au Département est professeur au Département de programme
d’éducation et pédagogie des sciences comptables des sciences de l’éducation
à la Faculté des sciences à l’é cole des sciences à l’u niversité du Québec
de l’éducation de l’u niversité de la gestion de l’u niversité à t rois-r ivières. axée sur le jugement
du Québec à Montréal du Québec à Montréal,
et elle détient le titre qui héberge le De SS
d’évaluatrice accréditée en évaluation de programmes, crédibLe
par la Société canadienne projets et services.
d’évaluation.
Préface de Steve Jacob
Avec la collaboration de Sheila A. Arens, J. Bradley Cousins, Jody Fitzpatrick,
Jennifer C. Greene, Marie-Pier Marchand, Pascal Ndinga, Michael Schleifer
et Lyn M. Shulha.
ISBN 978-2-7605-3548-0
,!7IC7G0-fdfeia!
puq .c
Extrait de la publication
3548D-Couvert.indd All Pages 12-10-15 14:30
a
Sous la direction de Marthe Hurteau,
L’évaLuation de programme axée sur le jugement crédib Le
Sylvain Houle et François GuillemetteL’évaLuation
de programme
axée sur le jugement
crédibLe
Extrait de la publicationPresses de l’Université du Québec
Le Delta I, 2875, boulevard Laurier, bureau 450, Québec (Québec) G1V 2M2
Téléphone : 418 657-4399 − Télécopieur : 418 657-2096
Courriel : puq@puq.ca − Internet : www.puq.ca
Diffusion / Distribution :
Canada : Prologue inc., 1650, boulevard Lionel-Bertrand, Boisbriand (Québec), J7H 1N7 –
Tél. : 450 434-0306 / 1 800 363-2864
France : Sodis, 128, av. du Maréchal de Lattre de Tassigny, 77403 Lagny, France
Tél. : 01 60 07 82 99
Afrique : Action pédagogique pour l’éducation et la formation, Angle des rues Jilali Taj Eddine
et El Ghadfa, Maârif 20100, Casablanca, Maroc – Tél. : 212 (0) 22-23-12-22
Belgique : Patrimoine SPRL, avenue Milcamps 119, 1030 Bruxelles, Belgique
Tél. : 02 7366847
Suisse : Servidis SA, Chemin des Chalets, 1279 Chavannes-de-Bogis, Suisse
Tél. : 022 960.95.32
La Loi sur le droit d’auteur interdit la reproduction des œuvres sans autorisation des titulaires de
droits. Or, la photocopie non autorisée – le « photocopillage » – s’est généralisée, provoquant
une baisse des ventes de livres et compromettant la rédaction et la production de nouveaux
ouvrages par des professionnels. L’objet du logo apparaissant ci-contre est d’alerter le lecteur sur
la menace que représente pour l’avenir de l’écrit le développement massif du « photocopillage ».
Extrait de la publication
Membre deSous la direction de Marthe Hurteau,
Sylvain Houle et François Guillemette
L’évaLuation
de programme
axée sur le jugement
crédibLe
Extrait de la publicationCatalogage avant publication de Bibliothèque et Archives nationales du Québec
et Bibliothèque et Archives Canada
Vedette principale au titre :
L'évaluation de programme axée sur le jugement crédible
Comprend des réf. bibliogr.
ISBN 978-2-7605-3548-0
1. Évaluation de programme. 2. Fiabilité. 3. Jugement. I. Hurteau, Marthe, 1949- .
II. Houle, Sylvain, 1970- . III. Guillemette, François.
H62.E92 2012 300.72 C2012-941379-8
Les Presses de l’Université du Québec reconnaissent l’aide financière du gouvernement
du Canada par l’entremise du Fonds du livre du Canada et du Conseil des Arts du Canada
pour leurs activités d’édition.
Elles remercient également la Société de développement des entreprises culturelles (SODEC)
pour son soutien financier.
Mise en pages : Info 1000 Mots
Couverture – Conception : MIchèle Blondeau
Illustration : La grande envolée, Normand Hudon, 1993.
2012-1.1 – Tous droits de reproduction, de traduction et d’adaptation réservés
© 2012 Presses de l’Université du Québec
eDépôt légal – 4 trimestre 2012
Bibliothèque et Archives nationales du Québec / Bibliothèque et Archives Canada – Imprimé au Canada
Extrait de la publicationPréface
« LES CONCLUSIONS ET LES RECOMMANDATIONS DE L’ÉVALUATION
sont-elles pertinentes et peuvent-elles alimenter la prise de décision ? », telle est la
question que se posent régulièrement les clients et les parties prenantes impliqués
dans une démarche évaluative. Jusqu’à ce jour, il est extrêmement difficile
d’apporter une réponse claire, précise et définitive à cette interrogation qui concerne
notamment la qualité et l’utilisation de l’évaluation au sens large.
Pour répondre à cette question, Marthe Hurteau et Sylvain Houle estiment
qu’il est nécessaire, et même urgent, de porter attention à la crédibilité du jugement
qui est généré par l’évaluateur puisque la notion de « valeur » est consubstantielle à la
pratique évaluative. C’est à cette tâche que s’emploient les auteurs de cet ouvrage qui
abordent le processus de production d’un jugement crédible sous des facettes
diversifiées et complémentaires. Les contributions rassemblées dans cet ouvrage entraînent
le lecteur sur un sentier qui va de la validité des données collectées jusqu’à
l’acceptabilité des résultats produits en passant par la fiabilité des méthodes employées et
le processus de production d’un jugement dans d’autres professions (par exemple :
policiers, juges, médecins).
L’enjeu de la crédibilité des connaissances produites par l’évaluateur est
parfois considéré comme le talon d’Achille de l’évaluation. Il est vrai que
l’évaluateur est souvent prompt à juger l’action des autres, mais réticent à s’appliquer sa
propre médecine. Ainsi, lorsque l’évaluation s’est institutionnalisée en France, au
début des années 1990, ses détracteurs se demandaient qui, ultimement, jugerait le
juge. Même si nous savons que l’évaluateur n’est pas le seul responsable de la qualité
d’une évaluation, force est de constater qu’il joue un rôle majeur dans le succès ou
l’échec de cette entreprise. Ainsi, il est important de le sensibiliser à ces enjeux et
d’insuffler une certaine dose de réflexivité dans son travail.
La publication de cet ouvrage arrive à point nommé pour au moins deux
raisons. Tout d’abord, au cours des dernières années, plusieurs ouvrages
d’introduction ou manuels d’enseignement de l’évaluation ont été publiés au Québec. Cet engouement éditorial témoigne de la vitalité de la culture évaluative dans cette
province et de la nécessité d’offrir aux étudiants et aux jeunes professionnels des
guides pour les orienter dans la découverte de l’évaluation. Cependant, les ouvrages
qui approfondissent une question précise ou qui outillent les professionnels aguerris
sont nettement plus rares. Cet ouvrage comble cette carence en offrant aux
évaluateurs francophones la possibilité d’élargir leurs connaissances en se concentrant
sur la crédibilité du jugement, qui est un thème central, et pourtant méconnu, de
l’évaluation.
Ensuite, en réunissant les contributions de chercheurs, de théoriciens et
de praticiens chevronnés dont la réputation n’est plus à faire, cet ouvrage décrit la
notion de jugement crédible dans une perspective internationale et
pluridisciplinaire. Ce mélange des genres est souvent malheureux dans des ouvrages collectifs.
Ici, au contraire, il est le bienvenu puisqu’il offre au lecteur des points d’observation
variés et complémentaires sur la notion complexe et a priori insaisissable de
« crédibilité ». Chaque chapitre présente avec précision ses objectifs et permet au lecteur
d’apprivoiser progressivement les multiples facteurs qui concourent à la production
d’un jugement crédible. Pour y parvenir, plusieurs auteurs illustrent leurs propos
avec des exemples concrets auxquels ils ont été confrontés. Même si la plupart des
auteurs accordent une attention particulière aux approches participatives et
collaboratives, les questionnements qui sont au centre de cet ouvrage s’appliquent à
toutes les approches évaluatives et se transposent aisément dans d’autres contextes
et secteurs d’action publique.
En conclusion, cet ouvrage offre l’occasion aux évaluateurs d’entamer une
réflexion approfondie sur leur pratique. Il alimentera certainement un débat sur
la finalité de la démarche évaluative et la place qui est réservée aux connaissances
produites par l’évaluateur dans les processus décisionnels. À en juger par la richesse
des points de vue contenus dans cet ouvrage, il n’est pas à douter que ce débat sera
fécond et profitable à tous ceux qui s’intéressent au développement et au
renforcement de l’évaluation.
Steve Jacob
Professeur de science politique à l’Université Laval
Directeur du Laboratoire de recherche sur la performance
et l’évaluation de l’action publique (PerfEval)
Éditeur associé de la Revue canadienne d’évaluation de programme
L’évaluation de programme axée sur le jugement crédibleVIII Extrait de la publicationRemerciements
À TITRE DE PREMIÈRE ÉDITRICE DU PRÉSENT OUVRAGE, JE TIENS À
remercier mes coéditeurs, Sylvain Houle et François Guillemette : Sylvain, mon
collaborateur de la première heure, pour sa précieuse contribution à l’ensemble de
l’ouvrage et François, pour avoir pris en charge l’arbitrage anonyme par les pairs. Mes
remerciements à Marie-Pier Marchand qui s’est avérée une précieuse collaboratrice
en prenant sous sa responsabilité la mise en forme du livre.
Je tiens aussi à remercier les collaborateurs du livre qui ont si
généreusement accepté de nous faire profiter de leurs connaissances et de leur expertise
dans le domaine. Mes remerciements aux personnes qui ont corrigé les textes, leur
commentaires se sont avérés aussi pertinents qu’utiles. Mes remerciements tout
particuliers aux personnes qui ont accepté de participer à la recherche, leurs
contributions constituent le pivot de l’ouvrage.
Finalement, et dans un tout autre ordre d’idées, mes remerciements les plus
chaleureux à mes « chevaliers de l’ombre » - que j’appelle ainsi parce qu’on attend
beaucoup d’eux et qu’on leur rend rarement hommage -, j’ai nommé les docteurs
Jean-Pierre Gascon et Paul Harasimovich. En effet, la réalisation d’une telle
entreprise requiert que l’on soit en bonne santé et ils y ont vu tout au long des deux
dernières années, tout en me prodiguant des encouragements.
Marthe Hurteau
Extrait de la publicationTable des matières
Préface ........................................................................................................ VII
Remerciements......................................................................................... IX
Introduction | Plus qu’une introduction, un énoncé........................ 1
Marthe Hurteau et Sylvain Houle
LA GENÈSE DE NOTRE POINT DE VUE.................................................. 3
La phase de réflexion........................................................................ 3
La phase de la recherche scientifique................................................ 5
LES CONTRIBUTIONS DU LIVRE............................................................ 7
Les fondements................................................................................. 8
La crédibilisation du jugement.......................................................... 9
RÉFÉRENCES BIBLIOGRAPHIQUES........................................................10
PARTIE 1 | LES FONDEMENTS.13
Chapitre 1 | L’évaluation de programme : .
quelques considérations de premier plan........................................... 15
Jody Fitzpatrick
LA DÉFINITION DE L’ÉVALUATION......................................................16
L’OBJET DE L’ÉVALUATION...................................................................18
LA RAISON DE L’ÉVALUATION.............................................................. 19
LES TYPES D’ÉVALUATION....................................................................21
Une perspective historique.21
Les évaluations axées sur les visées : l’évaluation formative
et l’évaluation sommative................................................................. 22Les évaluations axées sur les composantes du programme :
l’analyse des besoins, le suivi (monitoring),
l’étude des résultats ou des effets......................................................24
LES MODÈLES D’ÉVALUATION OU LES THÉORIES
DE L’ÉVALUATION..................................................................................26
LES ÉTAPES REQUISES POUR LA RÉALISATION
D’UNE ÉVALUATION...............................................................................30
La première étape : la familiarisation avec le programme
et son contexte.................................................................................30
La deuxième étape : les questions de l’évaluation
qui serviront à cerner les aspects
du programme qui seront étudiés....................................................31
La troisième étape : la sélection des méthodes
pour recueillir les données, l’identification des sources
d’information, l’élaboration des procédures pour recueillir
les données et les stratégies requises pour les analyser
et les interpréter...............................................................................32
La quatrième étape : l’évaluation proprement dite...........................33
La cinquième étape : l’analyse et l’interprétation
des données et de l’information recueillies.......................................33
La sixième étape : la diffusion des résultats......................................34
CONCLUSION........................................................................................... 35
RÉFÉRENCES BIBLIOGRAPHIQUES........................................................36
Chapitre 2 | Le jugement crédible : .
le fondement de toute démarche évaluative .....................................39
Michael Schleifer et Marthe Hurteau
LE JUGEMENT.......................................................................................... 40
Le jugement : un produit..................................................................41
Le jugement : une compétence.........................................................41
LA DISTINCTION ENTRE LE RAISONNEMENT,
LE JUGEMENT ET LA PRISE DE DÉCISION............................................42
LA CRÉDIBILITÉ......................................................................................44
La crédibilité : la vérité.....................................................................45
La crédibilité : un dialogue...............................................................45
LA DISTINCTION ENTRE LA CRÉDIBILITÉ,
L’ARGUMENTATION ET LA PERSUASION-CONVICTION...................46
LA PRODUCTION DU JUGEMENT CRÉDIBLE
EN ÉVALUATION DE PROGRAMME......................................................47
Un jugement....................................................................................47
Un jugement crédible.......................................................................50
La façon d’y parvenir........................................................................51
L’évaluation de programme axée sur le jugement crédibleXII Extrait de la publicationCONCLUSION........................................................................................... 52
RÉFÉRENCES BIBLIOGRAPHIQUES........................................................53
Chapitre 3 | La contribution des données probantes
au processus de crédibilisation d’une évaluation.............................57
Jennifer C. Greene
L’ÉVALUATION AU SERVICE DU BIEN PUBLIC....................................59
L’ASPIRATION À PRODUIRE DES DONNÉES CRÉDIBLES.....................60
Les conditions gagnantes liées à cette éventuelle crédibilité............60
L’actualisation de la crédibilité des données probantes....................62
UN ESSAI MULTISITE SELON UNE RANDOMISATION
EN GRAPPE DU PROGRAMME LECTURE EN PUBLIC..........................63
Les données probantes évidentes.....................................................64
Des données probantes révisées.......................................................65
QUELQUES RÉFLEXIONS........................................................................71
RÉFÉRENCES BIBLIOGRAPHIQUES........................................................72
PARTIE 2 | LA CRÉDIBILISATION
DU JUGEMENT.................................................................................75
Chapitre 4 | Les processus de production
et de crédibilisation du jugement en évaluation..............................77
Marthe Hurteau, Sylvain Houle, Marie-Pier Marchand,
Pascal Ndinga, François Guillemette et Michael Schleifer
L’ENCADREMENT DU JUGEMENT ET DU JUGEMENT CRÉDIBLE...... 78
LES PRINCIPES SOUS-JACENTS À LA MODÉLISATION........................79
Le premier principe : les processus se déploient
en synchronicité...............................................................................81
Le deuxième principe : la nécessité de produire
des données valides..........................................................................83
Le troisième principe : faire preuve de flexibilité
et d’adaptabilité................................................................................87
Le quatrième principe : l’argumentation est essentielle
et non linéaire..................................................................................89
Le cinquième principe : l’évaluation constitue une expérience
d’apprentissage qui inclut les parties prenantes................................92
Le sixième principe : les compétences de l’évaluateur......................93
CONCLUSION........................................................................................... 94
RÉFÉRENCES BIBLIOGRAPHIQUES........................................................96
Table des matières XIIIExtrait de la publicationChapitre 5 | Le point de rencontre
entre le contexte et le jugement crédible
dans le cadre de l’évaluation contemporaine..................................101
Sheila A. Arens
LA DÉFINITION DES CONCEPTS ET L’ÉTABLISSEMENT
DE LEUR PERTINENCE.......................................................................... 102
LA MANIPULATION DU POINT DE RENCONTRE
ENTRE LE CONTEXTE, LES CONTINGENCES ET LA VALIDITÉ........105
L’APPORT DU CONTEXTE DANS LES DIFFÉRENTES
PHASES DE L’ÉVALUATION..................................................................108
CONCLUSION......................................................................................... 112
RÉFÉRENCES BIBLIOGRAPHIQUES......................................................113
Chapitre 6 | La sélection des parties prenantes :.
un enjeu important, parce que toujours problématique..............115
Marthe Hurteau, Sylvain Houle et Marie-Pier Marchand
LA DÉFINITION DES PARTIES PRENANTES........................................117
LA RAISON D’INCLURE LES PARTIES PRENANTES
ET DE SE PRÉOCCUPER DE LEUR SÉLECTION...................................120
LES CRITÈRES DE SÉLECTION DES PARTIES PRENANTES................121
Les critères individuels................................................................... 121
Des critères complexes.122
LES PROCESSUS DE SÉLECTION..........................................................124
L’étude de Christie (2003)..............................................................125
L’étude d’Alkin et Christie (2005)..................................................125
La conceptualisation d’une cartographie........................................126
Les listes de contrôle......................................................................127
Les questions de House et Howe (2000b).......................................130
L’échantillonnage par « boule de neige » et la nomination.............130
LES RÉSULTATS DE LA RECHERCHE DE NELSON (2009)...................130
CONCLUSION......................................................................................... 132
RÉFÉRENCES BIBLIOGRAPHIQUES......................................................133
Chapitre 7 | L’établissement des seuils de réussite
dans le cadre d’une évaluation collaborative : .
une démarche complexe.......................................................................137
J. Bradley Cousins et Lyn M. Shulha
LA CONCEPTION DE L’ÉVALUATION COLLABORATIVE..................139
L’ÉTABLISSEMENT DE SEUILS DE RÉUSSITE
AU SEIN D’UNE ÉVALUATION COLLABORATIVE..............................140
L’établissement des bases de comparaison...................................... 140
L’évaluation de programme axée sur le jugement crédibleXIVL’établissement de la valeur selon une perspective
normative ou descriptive ?.............................................................141
Les choix méthodologiques............................................................143
Les visées : modérées ou intraitables ?............................................145
La sensibilité culturelle................................................................... 146
Les tendances pour guider l’instauration de seuils
de réussite dans le cadre de l’évaluation collaborative....................147
L’ÉVALUATION PARTICIPATIVE DU PROGRAMME
SUR LE LEADERSHIP PÉDAGOGIQUE : UN EXEMPLE TYPE..............148
Le synopsis du cas..........................................................................148
La complexité de l’instauration des seuils de réussite.....................149
CONCLUSION......................................................................................... 152
RÉFÉRENCES BIBLIOGRAPHIQUES......................................................154
Chapitre 8 | La contribution de l’évaluateur
aux processus de production et de crédibilisation
du jugement.............................................................................................157
Marie-Pier Marchand
LA LITTÉRATURE EXISTANTE............................................................159
Les travaux de l’American Evaluation Association......................... 159
Les normes du Joint Committee on Standards
for Educational Evaluation (2011).................................................160
La charte de la Société française de l’évaluation (2006)..................160
Le référentiel de la Société canadienne d’évaluation (2010)...........161
LA VALIDATION PAR LA RECHERCHE
DE HURTEAU ET HOULE (2008)...........................................................164
La crédibilité de l’évaluateur. 164
Les relations interpersonnelles......................................................165
La pratique réflexive......................................................................166
La validation externe et la confrontation des idées........................167
Des repères culturels en harmonie.................................................168
LES APPORTS PARTICULIERS DE LA RECHERCHE
DE HURTEAU ET HOULE (2008)...........................................................169
La contribution de l’intuition.........................................................170
La confiance en son jugement........................................................171
D’une confiance raisonnée à une confiance en soi démesurée.......171
CONCLUSION......................................................................................... 172
RÉFÉRENCES BIBLIOGRAPHIQUES......................................................173
Table des matières XVExtrait de la publicationChapitre 9 | La production d’un jugement crédible :
une synthèse des contributions..........................................................175
Sylvain Houle et Marthe Hurteau
LA PREMIÈRE ÉTAPE :
DÉMARRER LA DÉMARCHE ÉVALUATIVE........................................177
L’établissement de la faisabilité de l’évaluation...............................177
L’assurance de l’engagement des parties prenantes........................177
La compréhension et la description du programme.......................178
LA DEUXIÈME ÉTAPE :
PLANIFIER LA DÉMARCHE ÉVALUATIVE..........................................183
La détermination des choix stratégiques........................................183
La détermination des choix méthodologiques................................ 186
LA TROISIÈME ÉTAPE : MENER À BIEN L’ÉVALUATION...................187
LA QUATRIÈME ÉTAPE : GÉNÉRER UN JUGEMENT
CRÉDIBLE ET FORMULER DES RECOMMANDATIONS.....................188
LA CINQUIÈME ÉTAPE : DIFFUSER LES RÉSULTATS
ET S’ASSURER DES SUITES...................................................................189
CONCLUSION......................................................................................... 190
RÉFÉRENCES BIBLIOGRAPHIQUES......................................................191
Conclusion...............................................................................................193
Sylvain Houle et Marthe Hurteau
CE QUE NOUS AVONS APPRIS DE CETTE DÉMARCHE...................... 194
CE QU’IL NOUS RESTE À APPRENDRE................................................. 196
RÉFÉRENCES BIBLIOGRAPHIQUES......................................................197
Notices biographiques...........................................................................199
AVIS AU LECTEUR | Chacun des chapitres a fait l’objet d’un arbitrage
anonyme par les pairs, sous la supervision de François Guillemette.
L’évaluation de programme axée sur le jugement crédibleXVIIntroduction
Plus qu’une introduction,
un énoncé
Marthe Hurteau
Sylvain Houle
DEPUIS PLUSIEURS ANNÉES, SCRIVEN (1991) SOUHAITE ALLOUER À
l’évaluation le statut de mégadiscipline, étant donné qu’un ensemble de domaines est
concerné par l’acte d’évaluer, c’est-à-dire de détecter la qualité des choses (Eiseley,
1962). Stake (2011) illustre ce propos par un cercle, présenté à la figure 1.
Figure 1. Les diférentes utilisations de l’évaluation
La loi: évaluation
de la légalité
Les affaires militaires: La médecine:
évaluation des stratégies évaluation de la santé
et tactiques
Les agences de régulation: L’éducation: évaluation
évaluation de la sécurité de l’enseignement
et du respect du code et de l’apprentissage
Les affaires: Le journalisme:
évaluation de la gestion reportage d’enquête
et du proit
Source : Scriven (2011).Que l’on évalue ou que l’on établisse la qualité de quelque chose, dans tous
les cas, il résulte de cette opération un jugement, une synthèse ou une conclusion
évaluative (Scriven, 2006). C’est probablement ce qui a amené Fitzpatrick, Christie
et Mark (2009) à établir que la raison d’être de toute démarche évaluative consiste
à porter un jugement. Stake (2011) fait un pas supplémentaire en définissant
l’évaluation comme une discipline consciente (conscious disciplining) qui permet d’établir
la qualité des objets, tout en mettant en relief leur complexité.
Le lecteur comprendra dès maintenant pourquoi nous conférons au
jugement le statut de fondement à toute forme d’évaluation. Traditionnellement, on
a considéré que, pour être acceptable aux yeux des parties prenantes ( stake holders ),
sa validité s’avérait une condition essentielle. Cependant, devant un rejet assez
massif des résultats de plusieurs évaluations par celles-ci, praticiens et théoriciens
en sont arrivés à la conclusion que cette condition s’avérait insuffisante pour rendre
le jugement acceptable et gagner la confiance des parties. De plus, ils se sont rendu
compte que ce rejet n’était pas non plus lié à la nature du jugement, c’est-à-dire, s’il
plaisait ou non. Ce constat nous a amené à considérer le concept de crédibilité tel
qu’énoncé par Grinnell (2009). En effet, il semble constituer un passage obligé pour
toute conclusion d’une recherche ou d’une évaluation, à savoir la rendre acceptable
aux yeux des personnes concernées. C’est une juge interviewée dans le cadre de la
recherche de Hurteau et Houle (2008) qui introduit le mieux l’opérationnalisation
du concept de crédibilité : « Je me souviens de quelqu’un qui avait été débouté en cour et
qui est sorti en disant qu’il était satisfait parce qu’il avait été écouté. Je me dis que j’ai bien
rempli ma fonction. » Ainsi, même si le présent ouvrage traite plus particulièrement
de la pratique évaluative, il n’en demeure pas moins qu’il pourrait convenir à tout
professionnel qui est appelé à porter un jugement dans le cadre de l’exercice de sa
profession.
Si nous revenons à l’évaluation de programme, il semblerait que
l’acceptabilité du jugement reste problématique, et ce, malgré toutes les percées réalisées
dans le domaine. Plusieurs raisons ont été invoquées : 1) la démarche a failli à sa
responsabilité d’identifier les besoins des principaux utilisateurs et elle n’a pas été
en mesure de s’adapter au contexte ; 2) elle n’a pu cerner les problématiques les plus
significatives afin de générer des résultats pertinents ; 3) elle s’est avérée peu
accessible aux parties prenantes ; 4) elle n’a pas assumé sa responsabilité d’intégrer les
parties prenantes dès le début de la démarche ainsi que de les tenir informées tout au
long du processus. Malgré tout, le problème demeure entier, et c’est la raison pour
laquelle nous lui avons consacré les 20 dernières années de notre temps.
Pourquoi avons-nous intitulé la présente introduction « Plus qu’une
introduction, un énoncé » ? Parce que nous voulons aller au-delà de la présentation des
objectifs de l’ouvrage et des diverses contributions pour exposer la genèse du produit
actuel, soit le développement d’une modélisation des processus de production et de
crédibilisation du jugement en évaluation de programme. Pour y parvenir, nous
avons divisé l’introduction en deux parties. Dans la première partie, nous allons
présenter la genèse de notre point de vue, c’est-à-dire d’où nous venons et ce que
L’évaluation de programme axée sur le jugement crédible2 Extrait de la publicationnous avons accompli dans le domaine à ce jour. Cela nous apparaît important afin
que le lecteur puisse replacer notre propos dans son contexte. Dans la seconde
partie, nous présentons les différentes contributions à l’ouvrage qui, contrairement
à un collectif, sont toutes interreliées puisqu’elles complètent le chapitre pivot qui
consiste à présenter les processus de production et de crédibilisation du jugement
en évaluation de programme.
LA GENÈSE DE NOTRE POINT DE VUE
Avant de développer la genèse, mentionnons qu’au cours des 30 dernières années,
la plupart des développements en évaluation de programme ont constitué des avis
émanant d’une connaissance théorique qui s’appuie en grande partie sur
l’expérience et la réflexion des théoriciens, comparativement à la connaissance pratique
qui repose sur une collecte d’information et qui s’inscrit dans la tradition
scientifique (Donaldson et Lipsey, 2008 ; Schwandt, 2007). Ces mêmes auteurs soulignent
que cela a constitué le talon d’Achille du domaine et l’urgence d’entreprendre des
recherches. Il s’avère que la présente genèse se divise en deux phases, une première
phase de réflexion qui a généré une connaissance théorique et une seconde qui
s’inscrit au sein de notre programme de recherche et qui génère depuis plusieurs années
une connaissance pratique si l’on considère les diverses présentations et publications
scientifiques qui en découlent.
La phase de réfexion
L’élément déclencheur de cette phase de réflexion a eu lieu au début des années
1990 alors que Hurteau est invitée par la Société canadienne d’évaluation (SCÉ)
pour animer la session de formation Les objets et critères en évaluation de programmes
dans le cadre de sa conférence annuelle. Dans les mois qui suivent la conférence, elle
est invitée à participer au premier Evaluation Methods Sourcebook (1991). L’auteure
approfondit alors sa réflexion et débouche sur une conception de la production d’un
jugement illustrée dans la figure 2.
Elle introduit alors les concepts de choix stratégiques et de choix
méthodologiques, concepts qui ont été étudiés par la suite dans les écrits. Les choix
stratégiques incluent l’ensemble des éléments qui doivent être pris en considération
dans la planification d’une évaluation : les enjeux, le mandat, la question, les critères
retenus, etc. Ces choix constituent en quelque sorte l’âme de la démarche évaluative
et il est essentiel qu’ils soient effectués par l’ensemble des groupes d’intérêt (parties
prenantes) concernés afin d’assurer le succès de l’entreprise. Les choix
méthodologiques, quant à eux, deviennent nécessairement évidents, puisqu’ils traduisent
de façon opérationnelle les choix effectués antérieurement. Alors que l’évaluateur
assume un rôle de facilitateur lors de la phase initiale, il joue un rôle plus actif dans
Introduction 3Extrait de la publicationFigure 2. La production du jugement en évaluation de programme
ASPECTS STRATÉGIQUES
contextesmandat
objets critères
indicateurs
valeurs modèles,
déinitions
PRINCIPES DIRECTEURS
• Partenariat
(responsabilisation/
engagement)
• Considérations éthiques ASPECTS MÉTHODOLOGIQUES
• Justice sociale/équité
• Modèles méthodologiques
• Sélection des sujets
• Contrôle exercé sur le choix
des variables et des sujets
• Méthodes et techniques de collecte
et d’analyse de l’information
• Techniques assurant la rigueur
de la démarche
Source : Hurteau (1991).
la seconde et propose des façons de faire pour réaliser l’évaluation. À ces deux choix,
s’ajoutent les principes directeurs que sont le partenariat, les considérations éthiques
et la justice sociale. Le partenariat constitue une affirmation de la reconnaissance
des compétences des parties prenantes qui sont mises à contribution dans le
déroulement de la démarche évaluative. L’éthique s’inscrit dans la perspective d’une
introspection sur ses actions, puisque la pratique professionnelle de l’évaluation n’est pas
réglementée par une corporation professionnelle. Finalement, les préoccupations
concernant la justice sociale et l’équité amènent l’auteure à se questionner sur la
place qu’elles occupent dans une société qui est tiraillée entre, d’une part, le principe
moral voulant que l’on aide les plus démunis et, d’autre part, le fait que les ressources
collectives diminuent. Il faut noter que si elles constituaient un questionnement à
cette époque, elles sont devenues les axes de la pratique professionnelle au fil du
temps.
Ainsi, déjà à cette époque, tous les éléments apparaissaient dans le cadre de
la réflexion de Hurteau et ils démontrent que l’intérêt de ces enjeux d’importance ne
constitue pas une « mode » pour cette dernière, mais bien une préoccupation réelle
L’évaluation de programme axée sur le jugement crédible4qui s’inscrit aujourd’hui dans le cinquième principe directeur du code d’éthique (E5)
élaboré par l’American Evaluation Association ou AEA (2004, p. 4) et rapporté dans
les chapitres 1 et 3 du présent ouvrage, à savoir :
Les évaluateurs ont l’obligation de prendre en considération l’intérêt public et le
bien public. Si cette obligation est d’autant plus importante lorsque les évaluateurs
sont rémunérés au moyen de fonds publics, il n’en demeure pas moins qu’en aucun
cas, des menaces au bien public ne devraient jamais être ignorées. Considérant que
l’intérêt et le bien publics sont rarement conciliables avec les intérêts de groupes
particuliers (incluant ceux des clients ou bailleurs de fonds), les évaluateurs doivent
aller au-delà de l’analyse requise pour répondre aux intérêts de certains détenteurs
d’enjeux et envisager le bien-être de la société en général.
En 1994, elle est d’ailleurs invitée à prononcer une allocution (presidential
trend) à la conférence annuelle de l’AEA, dont la thématique portait sur
l’évaluation et la justice sociale (1994). Elle s’intéresse aussi à la question de l’éthique dans
le domaine (Hurteau, 1992, 1993a, 1993b ; Hurteau et Trahan, 1993, 1994) et elle
joue un rôle actif dans la mise sur pied des premières lignes en éthique pour la SCÉ
(Hurteau et al., 1994). Cette contribution est d’ailleurs officiellement reconnue par
Gwen Keith (2003), présidente de la société à l’époque.
La phase de la recherche scientifque
À son retour dans le milieu universitaire, Hurteau s’associe à Houle et entreprend
d’élaborer avec lui un programme de recherche fondamentale en évaluation de
programme, dont plusieurs phases seront subventionnées (2005, 2008).
La première phase : la modélisation du processus propre
à l’évaluation de programme
Cette phase initiale porte sur l’élaboration et la validation d’une modélisation du
processus propre à l’évaluation de programme qui s’inspire du processus logique
sous-jacent à l’évaluation (the logic of evaluation) mis en place par Scriven (1980) ainsi
que des travaux de Fournier (1995) et Stake (2004). En plus des présentations dans
des colloques scientifiques (Hurteau, Houle et Duval, 2005a, 2005b), elle a aussi fait
l’objet d’une publication scientifique (Hurteau, Lachapelle et Houle, 2006).
La deuxième phase : une première défnition du jugement crédible
en évaluation de programme
Les chercheurs précisent la nature du jugement en le qualifiant de crédible, c’est-à-dire
qu’il doit être légitime et justifié. Alors que le jugement légitime s’appuie sur une
question d’évaluation, de critères et de seuils de réussite, le jugement justifié, pour sa part,
doit aussi documenter la procédure retenue pour analyser l’information et assurer
sa production. L’étude démontre que peu d’évaluations génèrent des jugements et
que, lorsqu’elles le font, ceux-ci sont rarement légitimés et encore moins justifiés.
Introduction 5L’étude a fait l’objet de plusieurs présentations (Mongiat et Hurteau, 2006 ; Hurteau
et Arens, 2006 ; Hurteau et Mongiat, 2007 ; Hurteau, Houle et Mongiat, 2007) ainsi
que d’une publication dans la prestigieuse revue Evaluation : The International Journal
of Theory, Research and Practice (Hurteau, Houle et Mongiat, 2009).
La troisième phase : le jugement « satisfaisant »
La recherche prend alors un tournant significatif. Pour être crédible, un jugement ne
peut se contenter de présenter des qualités méthodologiques, il doit aussi être
satisfaisant aux yeux des parties prenantes. Ce principe directeur des premières années
(Hurteau, 1991) refait donc surface. L’étude de Bossiroy (2009) met en évidence
la présence des conditions afin d’assurer un jugement crédible qu’elle qualifie de
« satisfaisant », à savoir, une méthodologie rigoureuse, une information de qualité, la
représentation de différents points de vue et une cohérence dans le développement
de l’argumentation. Toutefois, il semble qu’en dépit de la présence de ces conditions,
l’absence de balise pour encadrer la démarche évaluative – notamment en ce qui a
trait au passage de l’intégration et l’harmonisation des informations à la
production d’un jugement – semble être un frein significatif. Enfin, quoique nécessaire,
le dialogue entre les différentes parties se transforme parfois en dialogue de sourds
et l’argumentation qui soutient le jugement relève souvent plus de l’art qu’autre
chose. En plus de plusieurs présentations (Hurteau et Bossiroy, 2009a, 2009b ;
Hurteau, Houle et Bossiroy, 2009 ; Hurteau, Valois et Bossiroy, 2009 ; Hurteau et
Valois, 2011), l’étude a fait l’objet d’une publication scientifique (Hurteau, Valois et
Bossiroy, 2011).
La quatrième phase : les processus de production
et de crédibilisation du jugement
Cette phase de la recherche a été subventionnée par le Conseil de recherches en
sciences humaines ou CRSH (Hurteau et Houle, 2008). Viennent se joindre alors à
l’équipe de base, les chercheurs Ndinga, Schleifer et Guillemette ainsi que la
doctorante Marchand. Nous allons développer davantage cette quatrième phase que les
autres parce qu’elle constitue le cœur du présent ouvrage.
L’étude visait à mieux comprendre les processus requis pour générer un
jugement crédible en évaluation de programme, en s’attachant plus
particulièrement à comprendre l’argumentaire requis pour soutenir le jugement. Considérant
que plusieurs professionnels doivent relever un défi similaire dans le cadre de leur
pratique pour formuler un diagnostic médical, prononcer un verdict, rendre un
jugement, etc., que cet acte est encadré par une pratique professionnelle bien définie,
les chercheurs ont décidé de s’appuyer sur les témoignages de tels professionnels
afin de mieux comprendre le processus sous-jacent à la production d’un jugement
et établir les éventuelles applications à la pratique évaluative. Pour y parvenir, il a
été décidé de procéder à la réalisation d’entrevues en profondeur. Un échantillon
intentionnel, à variation maximale, a été élaboré à cette fin. Il regroupait 19
professionnels issus de divers domaines d’intervention. Plus spécifiquement, furent
L’évaluation de programme axée sur le jugement crédible6interviewés trois gestionnaires, trois formateurs, trois intervenants psychosociaux,
trois intervenants en situation urgente (policiers, pompier), deux enquêteurs, un
médecin, une infirmière, un avocat et deux juges. Les entrevues duraient de 90 à
120 minutes et visaient principalement à relater et à comparer deux situations :
1) une expérience dans laquelle les participants jugeaient avoir fait preuve d’un
« bon » jugement ; et 2) une expérience où les participants jugeaient avoir exercé
un « moins bon » jugement. Chaque entrevue a été enregistrée et retranscrite, et
chacun des chercheurs a analysé le verbatim à l’aide du logiciel d’analyse de données
qualitatives NVivo. Par la suite, ils ont représenté leurs diverses analyses à l’aide du
logiciel Inspiration 8, créateur de cartes et de schémas conceptuels. Les
représentations ont suscité de nombreuses discussions, en différentes phases puisque chaque
chercheur reconsidérait individuellement son interprétation à la lumière de celle
des autres et qu’il la présentait à nouveau à ses collègues dans un second temps.
Ces diverses étapes ont permis l’émergence d’une modélisation des processus de
production et de crédibilisation du jugement. Par la suite, elle a été soumise à une
douzaine de théoriciens et de praticiens chevronnés en évaluation de programme
afin d’assurer la transposition des résultats dans ce domaine. Cinq Américains ont
répondu à l’invitation et leurs précieuses remarques se sont avérées très pertinentes.
Ainsi, si les résultats bruts de la recherche ont une connotation québécoise, cette
dernière démarche n’a pas seulement permis de vérifier l’application des résultats
au domaine de l’évaluation, mais aussi, dans une certaine mesure, elle a pu obtenir
une connotation significative pour nos collègues américains. Les résultats de cette
recherche seront développés dans le cadre du chapitre 4 du présent ouvrage.
LES CONTRIBUTIONS DU LIVRE
La raison d’être du présent ouvrage est le chapitre 4, soit la présentation de la
modélisation des processus de production et de crédibilisation du jugement, les autres
chapitres contribuant à développer les différentes composantes. Comme nous
l’avons mentionné précédemment, nous avons divisé l’ouvrage en deux parties. Une
première qui présente les fondements et dans laquelle on retrouve les
contributions de Jody Fitzpatrick qui effectue un survol de l’évaluation de programme, de
Michael Schleifer et Marthe Hurteau qui nous présentent les concepts entourant le
jugement crédible en évaluation, ainsi que de Jennifer C. Greene qui introduit le
propos en nous expliquant pourquoi et comment le jugement crédible va au-delà
des données probantes. La seconde partie du livre présente la modélisation (Marthe
Hurteau, Sylvain Houle, Marie-Pier Marchand, Pascal Ndinga, François Guillemette
et Michael Schleifer) ainsi que ses différentes composantes, à savoir : le contexte
et les contingences (Sheila A. Arens) ; la sélection des parties prenantes (Marthe
Hurteau, Sylvain Houle et Marie-Pier Marchand) ; l’établissement des seuils de
réussite (J. Bradley Cousins et Lyn M. Shulha) et les compétences requises par
l’évaluateur (Marie-Pier Marchand). Finalement, Sylvain Houle et Marthe Hurteau nous
proposent une démarche évaluative en guise de synthèse et closent le tout par une
conclusion.
Introduction 7Extrait de la publicationLes fondements
Nous ne pouvions envisager de produire un ouvrage qui porte sur l’évaluation de
programme sans introduire quelques considérations sur la façon de la traiter. Il n’est
pas aisé de présenter le spectre de la pratique évaluative (chapitre 1), tout en faisant
ressortir les aspects essentiels d’une pratique largement documentée. Nous avons
confié cette délicate responsabilité à Jody Fitzpatrick qui a su relever le défi. En
effet, l’auteure nous présente une définition de l’évaluation ainsi que de son objet
en distinguant les notions de programme, de projet, de politique et de produit. Elle
continue en nous détaillant les différentes visées de la démarche ainsi que les types
d’évaluation, et ce, en adoptant une perspective historique, les évaluations axées sur
les visées et sur les composantes du programme. Elle complète par une présentation
des différents modèles ou théories et elle conclut par les six étapes requises pour
réaliser une évaluation.
L’ouvrage traitant, à nos yeux, du fondement de la démarche évaluative, sa
présentation devenait un passage obligé, au même titre que le chapitre précédent.
Michael Schleifer et Marthe Hurteau (chapitre 2) mettent leur expertise en commun
pour nous présenter ce que constitue un jugement (produit et compétence) et le
distinguer du raisonnement et de la prise de décision, le raisonnement étant requis
pour porter un jugement et ce dernier soutenant la prise de décision. Ils poursuivent
en nous présentant le concept de crédibilité et de quelle façon celui-ci se distingue
de l’argumentation et de la persuasion / conviction. Finalement, ils complètent leurs
propos en nous exposant comment doit être envisagé le jugement crédible dans le
contexte de l’évaluation de programme et plus particulièrement, la définition du
jugement, du jugement crédible et la façon d’y parvenir.
Nous complétons cette première partie par un exposé tout aussi intéressant
qu’indispensable de Jennifer C. Greene (chapitre 3). En effet, celle-ci nous démontre
que si les données crédibles sont essentielles, elles ne sont pas suffisantes pour générer
un jugement crédible. Elle s’attache à mieux comprendre la nature que revêtent les
données probantes crédibles dans le contexte de l’évaluation de programme et plus
particulièrement, de l’évaluation démocratique. En effet, contrairement à ce qui a pu
être véhiculé jusqu’à ce jour, le recours aux méthodes expérimentales ne les garantit
pas automatiquement. On y aspire en ayant recours à des façons de recueillir et
d’interpréter les données qui s’avèrent inclusives, relationnelles et dialogiques, qui
s’opérationnalisent sur le terrain, au sein de contextes particuliers et qui incluent
les parties prenantes. C’est ce qui nous amène à affirmer qu’on ne peut qu’aspirer à
produire des données probantes crédibles dans le contexte d’une évaluation
démocratique. Afin d’appuyer cette affirmation, elle traite de l’évaluation démocratique
au service du bien public, de la logique sous-jacente pour aspirer à produire des
données probantes crédibles et complète par une étude de cas qui illustre ce propos.
L’évaluation de programme axée sur le jugement crédible8La crédibilisation du jugement
La seconde partie du livre commence par la présentation des processus de
production et de crédibilisation du jugement en évaluation dans un chapitre signé Marthe
Hurteau, Sylvain Houle, Marie-Pier Marchand, Pascal Ndinga, François Guillemette
et Michael Schleifer (chapitre 4). Ces auteurs font état des résultats d’une recherche
expliquée dans le cadre de la première partie de la présente introduction (quatrième
phase de la recherche scientifique). Ils présentent ces résultats sous la forme de
six principes : 1) la synchronicité des processus de production et de
crédibilisation du jugement ; 2) la production de données probantes valides pour appuyer ces
processus ; 3) la flexibilité et l’adaptabilité de l’évaluateur ; 4) l’argumentation, qui est
essentielle et non linéaire ; 5) l’évaluation qui constitue une expérience
d’apprentissage qui inclut les parties prenantes ; et 6) les compétences de l’évaluateur qui vont
bien au-delà de celles identifiées dans le cadre des divers référentiels élaborés au
cours des 10 dernières années.
C’est dans cette perspective que le chapitre de Sheila A. Arens (chapitre 5)
porte sur le contexte et les contingences. Après les avoir définis, l’auteure présente
la complexité de leur prise en compte au sein d’une démarche évaluative, et ce, dans
les différentes phases. Elle ne manque cependant pas l’occasion de nous présenter
par la suite leur contribution significative. Tout comme Jennifer C. Greene, Arens
se montre généreuse en illustrant son propos au moyen de sa riche expérience.
La modélisation présentée par Hurteau, Houle, Marchand, Ndinga,
Guillemette et Schleifer met en évidence la contribution essentielle des parties
prenantes. C’est ce qui amène Marthe Hurteau, Sylvain Houle et Marie-Pier
Marchand (chapitre 6) à s’intéresser au problème de leur sélection. Après avoir
identifié les parties prenantes, les auteurs nous présentent les différents critères
qui peuvent être retenus pour les sélectionner. Ils finissent par nous présenter une
cartographie facilitant par le fait même cette sélection.
Le texte de J. Bradley Cousins et Lyn M. Shulha (chapitre 7) s’inscrit dans
la suite des choses puisqu’il traite de l’établissement des seuils de réussite au sein de
l’évaluation collaborative. Après avoir pris connaissance de cette contribution dans
le cadre de la publication dans Smith et Branton (2008), Hurteau entreprend les
formalités requises auprès de la maison d’édition et obtient le droit de traduction de
l’article. Dans un premier temps, les auteurs établissent leur conception de
l’évaluation collaborative pour, par la suite, traiter de l’établissement des seuils de réussite et
de la valeur selon une perspective normative et descriptive. Ils abordent par la suite
la question des choix méthodologiques et de la sensibilité culturelle pour conclure
avec une illustration bien détaillée.
Marie-Pier Marchand (chapitre 8) sort des sentiers battus pour nous exposer
des compétences ignorées jusqu’ici par les référentiels, mais ô combien essentielles.
En effet, la recherche de Hurteau et Houle (2008) met en évidence l’importance de
compétences personnelles (des qualités, des talents, pourrions-nous dire) de tout
professionnel qui intervient avec des personnes et qui doit émettre un jugement.
Introduction 9Extrait de la publicationCela est aussi vrai chez l’évaluateur et, quoique essentielles, il faut avouer que les
théoriciens ne se sont pas attardés à ces compétences parce qu’elles sont difficilement
cernables et mesurables. L’équipe des chercheurs a confié à Marchand la difficile
tâche de nous les présenter.
Sylvain Houle et Marthe Hurteau (chapitre 9) effectuent une synthèse des
différentes contributions et nous proposent une démarche évaluative. Si celle-ci
s’avère probablement insuffisante pour un novice, elle offre une réflexion
intéressante pour les praticiens ayant plus d’expérience. Ces auteurs concluent en
présentant au lecteur leur conception de l’évaluation.
Finalement, il est important de mentionner que le titre du présent ouvrage
ne réfère qu’aux programmes alors que son contenu s’avère tout aussi pertinent
pour les politiques, les produits, les services, les processus ou le fonctionnement
d’organisations entières.
RÉFÉRENCES BIBLIOGRAPHIQUES
American Evaluation Association – AEA (2004). Guiding Principles for Evaluators, <http ://www.
eval.org/Publications/GuidingPrinciples.asp>, consulté le 6 juin 2011.
Arens, S.A. (2005). Understanding Practice through Exemplary Evaluation Cases, Conférence du Joint
Committee on Standards for Educational Evaluation, Toronto, American Evaluation
Association.
Bossiroy, A. (2009). Mieux comprendre la pratique évaluative : les éléments qui contribuent à la
production d’un jugement fondé et argumenté, Mémoire de maîtrise en éducation, Montréal,
Université du Québec à Montréal.
Donaldson, S.I. et M.W. Lipsey (2008). « Roles for theory in contemporary evaluation practice :
Developing practical knowledge », dans I.F. Shaw, J.C. Greene et M.M. Mark (dir.),
Handbook of Evaluation, Thousand Oaks, Sage Publications, p. 56-75.
Eiseley, L. (1962). The Mind as Nature, New York, Harper and Row.
Fitzpatrick, J., C.A. Christie et M.M. Mark (2009). Evaluation in Action : Interviews with Expert
Evaluators, Los Angeles, Sage Publications.
Fournier, D.M. (1995). « Establishing evaluative conclusions : A distinction between general and
working logic », New Direction for Evaluation, vol. 68, p. 15-32.
Grinnell, F. (2009). Everyday Practice of Science. Where Intuition and Passion Meet Objectivity and
Logic, Oxford, Oxford University Press.
Hurteau, M. (1990). Les objets et critères en évaluation de programmes, Session de formation donnée
dans le cadre de la conférence annuelle de la Société canadienne d’évaluation, Toronto.
Hurteau, M. (1991). « Strategic choices in program evaluation », dans J.A. Love (dir.), Evaluation
Methods Sourcebook, Ottawa, Publication de la Société canadienne d’évaluation, p. 106-125.
Hurteau, M. (1992). L’éthique en évaluation de programmes : une question de compétence, de respect
et de responsabilité, Exposé effectué dans le cadre du panel « L’éthique, au-delà de la
compétence professionnelle », Ottawa, Conférence annuelle de la Société canadienne
d’évaluation.
Hurteau, M. (dir.) (1993a). L’éthique en évaluation de programmes, Monographie en mesure et
évaluation, Québec, Université Laval.
L’évaluation de programme axée sur le jugement crédible10Hurteau, M. (1993b). « L’éthique en évaluation de programmes : une question de compétence,
de respect et de responsabilité », dans M. Hurteau (dir.), L’éthique en évaluation de
programmes, Monographie en mesure et évaluation, Québec, Université Laval, p. 49-56.
Hurteau, M. (2005). Comprendre les pratiques en évaluation de programme afin de les améliorer : un
retour aux fondements théoriques, Recherche subventionnée par le PARFAC (UQAM).
Hurteau, M. (2012). « Aspirer à un jugement crédible dans le cadre de l’évaluation de programme »,
dans M. Vantourout, R. Goasdoué et M. Romainville (dir.), Évaluation et enseignement
supérieur, Neuville la Louve, De Boeck.
Hurteau, M. et S. Arens (2006). The Impact of Credible Claims on the Practice of Evaluation, Conférence
à l’American Evaluation Association, Portland.
Hurteau, M. et A. Bossiroy (2009a). Le jugement généré par l’évaluation de programme : une valeur
sûre ?, Colloque annuel de la SCÉ, Ottawa, mai.
Hurteau, M. et A. Bossiroy (2009b). « Mieux comprendre les enjeux d’un jugement ‘‘crédible’’ »,
Colloque Des mécanismes pour assurer la validité de l’interprétation de la mesure en éducation,
e77 Congrès de l’ACFAS, Ottawa, mai.
Hurteau, M. et S. Houle (2008). Mieux comprendre la méthodologie requise à la production d’un
jugement crédible en évaluation de programme, Recherche subventionnée par le Conseil de la
recherche en sciences humaines du Canada (CRSH).
Hurteau, M., S. Houle et A. Bossiroy (2009). Credible Judgment in Program Evaluation, Conférence
annuelle de l’American Evaluation Association, Orlando, novembre.
Hurteau, M., S. Houle et J. Duval (2005a). Identifying a Core Body of Knowledge for Evaluators : A
Study of Program Evaluation Field Practices, Joint Committee on Standards for Educational
Evaluation, Toronto, American Evaluation Association.
Hurteau, M., S. Houle et J. Duval (2005b). L’étude des pratiques évaluatives : un retour aux
fondements de la discipline, Conférence du Joint Committee on Standards for Educational
Evaluation, Evaluation Association.
Hurteau, M., S. Houle et G. Lachapelle (2006). Comprendre les pratiques en évaluation de programme
afin de les améliorer : un retour aux fondements théoriques, Montréal, Association
francophone pour le savoir (ACFAS).
Hurteau, M., S. Houle et S. Mongiat (2007). The Relation between the Application of the Process Specific
to Program Evaluation and the Quality of Judgments and Recommendations, Conférence
annuelle de l’American Evaluation Association, Baltimore, novembre.
Hurteau, M., S. Houle et S. Mongiat (2009). « How legitimate and justified are judgements in
program evaluation ? », Evaluation, the International Journal of Theory, Research and
oPractice, vol. 15, n 3, p. 309-317.
Hurteau, M., G. Lachapelle et S. Houle (2006). « Comprendre les pratiques évaluatives afin de
les améliorer : la modélisation du processus spécifique à l’évaluation de programme »,
oMesure et évaluation en éducation, vol. 29, n 3, p. 27-44.
Hurteau, M. et S. Mongiat (2007). Au-delà des biais méthodologiques en évaluation de programme,
Congrès annuel de l’ADMEE Canada, Trois-Rivières.
Hurteau, M. et M. Trahan (1993). L’éthique et les pratiques évaluatives, Coanimateurs de l’atelier
donné dans le cadre de la conférence annuelle de la Société canadienne d’évaluation,
Banff.
Hurteau, M. et M. Trahan (1994). Reflections and Recommendations on the Elaboration of a Code of
Ethics in the Search for a Professional Identity in Evaluation, Commandité par la Société
canadienne d’évaluation.
Introduction 11Hurteau, M. et P. Valois (2011). Le jugement crédible en évaluation de programme, Colloque annuel
de l’ADMEE Europe, Paris, janvier.
Hurteau, M., P. Valois et A. Bossiroy (2009). Le jugement « crédible » en évaluation de programme,
Colloque annuel de l’ADMEE Canada, Québec, novembre.
Hurteau, M., P. Valois et A. Bossiroy (2011). « Le jugement crédible dans le contexte de
l’évaoluation de programme ? », Revue canadienne en évaluation de programme, vol. 25, n 2,
p. 83-101.
Hurteau, M., D. Williams et M.-P. Marchand (2011). Credible Judgment in Program Evaluation :
Evaluators Encounter Stakeholders, Conférence annuelle de l’American Evaluation
Association, Anaheim, novembre.
Hurteau, M. et al. (1994). L’éthique en évaluation : l’état de la question en 1994, Panel donné dans le
cadre de la conférence annuelle de la Société canadienne d’évaluation, Québec.
Hurteau, M. et al. (2010). Ensuring Evaluation Quality by Generating Credible Judgment, Conférence
annuelle de l’American Evaluation Association, San Antonio, novembre.
eKeith, G. (2003). Experience in Developing Standards for Evaluation and Ethical Issues, 5 Conférence
annuelle européenne de l’Evaluation of Structural Funds, Atelier 6 sur le développement
de standards pour l’évaluation et les problématiques éthiques, Budapest.
Marchand, M.-P. et M. Hurteau (2011). La rencontre entre l’évaluateur et les détenteurs d’enjeux : une
condition essentielle au jugement crédible, Colloque annuel de l’ADMEE Canada, Québec,
novembre.
Mongiat, S. et M. Hurteau (2006). L’argumentation du jugement en évaluation de programme, Congrès
annuel de l’ADMEE Canada, Trois-Rivières.
eSchwandt, T.A. (2007). The Sage Dictionary of Qualitative Inquiry, 3 éd., Thousand Oaks, Sage
Publications.
Scriven, M. (1980). The Logic of Evaluation, Inverness, Edgepress.
e(1991). Evaluation Thesaurus, 4 éd., Thousand Oaks, Sage Publications.
Scriven, M. (2006). Value-Driven Evaluation, Conférence de l’American Evaluation Association,
Portland.
Silvern, L.C. (1972). System Engineering Applied to Training, Houston, Gulf Publishing Company.
Smith, N.L. et P.R. Brandon (dir.) (2008). Fundamental Issues in Evaluation, New York, Guilford
Press.
Stake, R.E. (2004). Standards-Based and Responsive Evaluation, Thousand Oaks, Sage Publications.. (2011). Evaluation’s Generations : Veneration, Vituperation or Simply Divestiture, Conférence
d’ouverture dans le cadre de la conférence annuelle de la Société canadienne
d’évaluation, Edmonton, mai.
L’évaluation de programme axée sur le jugement crédible12 Extrait de la publicationÉpine 0,4554 po / 11,6 mm / 218 p. / 120 M
Sous la direction de Marthe Hurteau,
Sylvain Houle et François Guillemette
Gé Nérer u N Ju Ge Me Nt, et PLu S PArti Cu Lière Me Nt u N Ju Ge Me Nt
qui suscite la confiance des personnes concernées, s’avère un défi de taille pour tout
professionnel. L’évaluation de programme est d’ailleurs confrontée à de nombreuses
remises en question concernant l’incapacité des évaluateurs à générer un jugement
crédible. C’est ce qui a amené Marthe Hurteau et Sylvain Houle à consacrer leurs
travaux de recherche à cette problématique.
en guise d’introduction, les auteurs présentent certaines notions
fondamentales concernant l’évaluation, le jugement crédible ainsi que la contribution des
données probantes crédibles au sein du processus de crédibilisation. Par la suite,
ils élaborent le processus de production et de crédibilisation du jugement ainsi que
l’influence exercée par les contextes et les contingences liés au programme à l’étude ;
à la sélection des parties prenantes ; au choix des critères et des seuils de
performance ainsi qu’aux capacités personnelles de l’évaluateur.
L’ouvrage propose, à ceux qui se préoccupent de porter un jugement
crédible et digne de confiance aux yeux des gens à qui il est destiné, des balises pour
encadrer leur démarche d’investigation. il constitue une source de réflexion
intéressante pour tout professionnel appelé à porter un jugement (diagnostic, conclusion)
dans le cadre de ses fonctions.
L’évaLuation
Marthe Hurteau Sylvain Houle François Guillemette
est professeure au Département est professeur au Département est professeur au Département de programme
d’éducation et pédagogie des sciences comptables des sciences de l’éducation
à la Faculté des sciences à l’é cole des sciences à l’u niversité du Québec
de l’éducation de l’u niversité de la gestion de l’u niversité à t rois-r ivières. axée sur le jugement
du Québec à Montréal du Québec à Montréal,
et elle détient le titre qui héberge le De SS
d’évaluatrice accréditée en évaluation de programmes, crédibLe
par la Société canadienne projets et services.
d’évaluation.
Préface de Steve Jacob
Avec la collaboration de Sheila A. Arens, J. Bradley Cousins, Jody Fitzpatrick,
Jennifer C. Greene, Marie-Pier Marchand, Pascal Ndinga, Michael Schleifer
et Lyn M. Shulha.
ISBN 978-2-7605-3548-0
,!7IC7G0-fdfeia!
puq .c
Extrait de la publication
3548D-Couvert.indd All Pages 12-10-15 14:30
a
Sous la direction de Marthe Hurteau,
L’évaLuation de programme axée sur le jugement crédib Le
Sylvain Houle et François Guillemette

Soyez le premier à déposer un commentaire !

17/1000 caractères maximum.

Diffusez cette publication

Vous aimerez aussi

Le commerce international, 4e édition

de presses-de-l-universite-du-quebec

Hydraulique et hydrologie, 2e édition

de presses-de-l-universite-du-quebec

Conception de bases de données avec UML

de presses-de-l-universite-du-quebec

suivant