//img.uscri.be/pth/08ee2721dfa34282345d729b9daa4e8720ec5559
Cette publication ne fait pas partie de la bibliothèque YouScribe
Elle est disponible uniquement à l'achat (la librairie de YouScribe)
Achetez pour : 29,25 € Lire un extrait

Lecture en ligne (cet ouvrage ne se télécharge pas)

L'évaluation des politiques publiques en Europe, culture et futurs

De
443 pages
Faire de la diversité une richesse et un atout pour le développement de l'évaluation des politiques et programmes publics, tel est le parti pris de cet ouvrage. Il fait le point sur les dernières innovations institutionnelles ou de méthodes en matière d'évaluation en Europe. L'ouvrage rassemble trente-huit communications dont vingt-quatre en français et quatorze en anglais.
Voir plus Voir moins

L'ÉVALUATION

DES POLITIQUES PUBLIQUES CULTURES ET FUTURS

EN EUROPE:

POLICY J91D PROGRIMME EViJ.U~/ON CUL TURES J91D PROSPECTS

IN EUROPE:

Cet ouvrage a été réalisé, sous la responsabilité de Pierre CROCE, Chargé de mission sur la politique de publication Université Pierre-Mendès-France, Grenoble

Annie FOUQUET est Présidente de la Société Française de l'Évaluation. Économiste et statisticienne. Administratrice de l'INSEE. Inspectrice Générale des Affaires Sociales. Elle est Présidente du Comité de programme du colloque de Strasbourg. Ludovic MEASON était, jusqu'en septembre 2008, Délégué général de la Société Française de l'Évaluation, il est chercheur associé à l'UMR PACTE.
Correspondante pour la Société Française de l'Évaluation à l'Université Pierre-Mendès-France Claudine OFFREDI, enseignant-chercheur Société Française de l'Évaluation, 65 avenue des Gobelins 75013 PARIS PAO: Sub/image, rue Gabriel Péri - 38000 Grenoble, pour le compte de la Société Française de l'Évaluation et des éditions L'Harmattan. :

C,esdischaft

GEual
fÜr Evaiuation

E:.V

www.librairieharmattan.com diffusion.harmattan@wanadoo.fr harmattanl@wanadoo.fr (ÇJL'Harmattan, 2009 ISBN: 978-2-296-09069-9 EAN : 978229609069-9

Annie Fouquet, Ludovic Méasson (Eds.)

L'évaluation

des politiques en Euope : altues et futus

publiques

Policy and Programme Evaluation in Europe: Cultures and Prospects

Colloque de Strasbourg

2008

TKt8 réunis e publiés sous la dire tion d'Annie Fouque , Ludovic Méasson, Jan -Claude Barbier, Jose te Barruet, Maurice Baslé e Jacqu8 Toulm onde

Collection

« La Librairie d8 Humanités»

L' HARMA 2009

TT AN

La Lbrairie des Humanités Dirigée par Thre ry MÉNISSIER, doct6 r de l'EHESS, Maitre de Confémc 8 de philosophie politique à l'Univesi té Pier eMn dès-Franc~ Gmo bIe 2, e Pie re CROCE, Chargé de mission sur la politique de publication à l'Univesité Pie re Mnd ès-Franc~ Gmo bIe 2. La tiran desHumant és8 tune colletion coéditée par 18 Éditions L'Harmattan e l'Unive sité Pierre-Mnd ès-France de Gmobl e D8 tinée à recv oir, dans S8 divers8 séries, d8 text8 couvrant tout le champ d8 seienC8 SOeial8 e humain8 , son caractère univesi taire lui fait devoir e privilège de promouvoir d8 travaux de j6ne s aut6 rs autant que de chechfifs chvron nés.
Mmb res du Consn sein tifique de la colleti on : Fanny Coulomb, série Économie Jérôme Fe rand, série Drot Thitty Ménissie, série 5 ci ncesde l'Homme Alain Spalanzani, série Cestim JacquIS: Fontanel, série « Côté cours» JIm -William De ,m!/:, sérilS: «Mémoi e desAlpes» e « Senti rs de la Ue rté»

Dans la même colle tion

J. Fe

rand, H. Prit (Dir.) - L'OcfysséedesDrot s de l'homme (2003)
T. I T. II T. III FondatiJ Mises Enjet/x ns et nais en œt/vre ances des Droits de l'homme des Droits de l'homme de l'homme et perspectives des Droits

A. Blanc, A. Pessin (2003) C. Amourous

(Dir.) - L'Art

du terrain. Mélanges offerts à Howard Becker,

- Que jar e de l'hôpt al? (2004) Y. Chalas (Dir.) - L'Imaginaire aménageur en mutation (2004) J.-L. Chabot, Ch. Tournu (Dir.) - L'hérf age relgi ux et spirituel de l'il end é euroPéenne (2004) E. Bogalska- Martin - Entre mémoire et oubli Le destn croié des héros et des vi tine s (2004) A. Ferguène (Ed.) - Couvemance localeet développement terri orill (2004) C. Offrdi (Dir.) - La cfynamique de l'évaluation jace au développement durable (2004) L. Dowbor - La mosaïque brisée ou l'économie au-delà des équath ns (2004) P. Chaix - Le rugl:J professonne I en France (2004) y. Polity et ali (Dir.) - L'organi aton des connai sances. Approches conceptuelles(2005) J.-L. Chabot, P. Didie ,J. Fe rand (Eds) - Le Code eVI et les Drots de l'homme (2005) D. Rigaux - Le Chri t du dimanche. Hi tore d'une in age médiévale (2005) L. Bnsah 1; P. Marchand (Eds.) - Les régons de Russie à l'épreuve des théori set prati ques économiJues (2005) M. Lquan (Dir.) - Métapi?Ysique etphilosophie transcendantale selon Kant (2005) C. Martin et al. - Pologne, la longue marche (2005)

H. Leo ux - De la phénoménologi à la sorologie de la connaissance (2006) O. Forlin - Les nt ellectuelstançai et I1tali 1945-1955 (2006) f G. Orcè - La rue «(choii )) (2006) T. Ménissier (Dir.) - L'il ée d'empr e dans la pensée polü que, historique,juridique etphilosophiJue (2006) S. Plana - Le prosélYtime religieux à l'épreuve du droit prié (2006) M. Kauffmann - Gouveruance économique mondil le et cotifli s armés (2006) C. Abattu, B. Lamotte (Dir.) - Dvers ié et négalié s: quelles pratiJues de ]ormation? (2006) G. Cauquil (Dir.) - Évaluer lespolitiques soml es (2006) A. A. Taïrou - AnalYse et déci 0 nsfinancières (2006) S. Hman dez - Le monde du conte, Contribution à une sociologiede l'orali é (2006) 1. Vetlnu - L'ile nti épersonnelle à travers le temps (2006) S. Gal et ali (Eds) - Fi ures de la médil tion som le (2006) J.-L. Chabot - Introduction aux sciencessom les (2006) H. Jacot, A. Fouque (Eds) - Le d qyen, l'élu, l'expert. Pour une démarchepluraliste d'évaluatOn despoli iJ uespubliques (2007) J. Lapèze et ali - Éléments d'analYse sur le développementterrior il 1(2007) M. Bn saïd et ali - Économie des organi atOns. Tendances actuelles (2007) A. Rochas - La Handchar. Hi tore d'une diJision de W qffen-SS bosniaque (2007) P. Tillard - Le pan des temps maudis, suivi de Mauthausen (témoignag~ (2007) Défense de la France - Les Témoins qui sefie nt égorger(2007) V. Garcia - L'Anarchi me aujourd'hui (2007) D. J. Grange - Du Môle au Maqui des Glières. Vi et mort d'un jeune Résistant savqyard Paul Lespne (1926-1944) (2007) C. Duthé I-P8si n, Y. Nyr at (Eds) - Hommages à Alan Pessin «(Un sorologue en liberté)) (2007) P. Saltè - Une odiu sepasso n. AnalYse philosophiJ ue de la han e (2007) M.-C. Monnoyer, P. Te naux (Eds) - Mondit liatO n des servies, nn ovatOn et c!JnamiJue s terriorilles (2007) M. Le Be re, A. Spalanzani (Eds) - Regards sur la rechercheen Geston : Contrbu tOns grenobloie s (2007) J.-L. Guiche (Ed) - UsagespolitiJ ues de l'anin ali é (2008) M. Fontanè - Sportf de haut nve au, manager en devenir (2008) V. Plauchu, A.A. Taïrou - Méthodologi du dilgno sti d'entrepri e (2008) J.-W. ThJ;m e (Dir) -Le rrjûge etlepège : lesfuift dans IesAlpes, 1938-1945 (2008) Ph. Hanus, G. Veg non (Dir) - Vercors, Résitan ce en résonances (2008) A. Gauche - Observance thérapeutiJue et VIH (2008) D. Zaït, A. Spalanzani - La recherche en management et en économie (2009) P. Chaix (Dir) - Rtgards sur l'économÉdu sport (2009)

M. Kauffmann - StatistÎ:juesen re/atims ntema timales (2009)
A. Mavriclis
L. Bflsha è
-

Les Grecsde Grenoble,despionniers à nosjours (2009)
Les ONG ou l'homme au cœur d'une mondidi satim solilai- e (2009)

Rme

Clm fi ts

La Société Française de l'Évaluation rme rcie l'en sm bIe d8 pesonn8 qui ont contribué à l'organisation e à l'animation du colloque «(L'évaluatim despoliti] ues publiques en Europe: culturesetfuturs )) dont 8 t issu cet ouvrage: Christian ACKER; Olivie BAGARRI; Jan-Claude BARBIER; Laufflt BARBUT; Jose te BARRUET; Maurice BASLE; MariH e BERR IETSOLUEC; Wolfgang BEYWL ; Nathalie BIQUARD ; Stéphanie BRETON; Jan -Rn é BRUNETIERE ; Françoise CAMET; Guy CAUQUIL ; Arnaud de CHAMPRIS; Thierry CHEV AILUER; Jan- Louis CHOMEL; Agnieszka CLAPINSKA-SZCZUREK; Denis DESPREAUX; Jan- Louis DETHIER; André DUCOURNAU ;Ja n Noël DUPASQUIER ;Janet DWEYER; Georg FISCHER; Monique FLASAQUIER; Kim FORSS ; Annie FOUQUET; V éronica GAFFEY; Catheine GERHART; Nicolas GROSJEAN; Katia HORBER-P AP AZIAN ; Françoise JABOT; Hnn ing J0RGENSEN ; François LAF ARGE ; Michè LEGROS; Tomasz MAJEWSKI; Ludovic MEASSON ; Olga OGANDO ; Denis PAILLARD; Stéphane PAUL; Éric PLOTTU ; Félix RAUSCHMA YER ; Bernard ROCH ; Carlos ROMAN; François ROUSSEAU; Pie re de SAINT CHAMAS; Pie re SAVIGNAT ;Jan -Luc SCHALLER; Uwe SCHMIDT; Ja n SIMOS; Sandra SPEER; Christiane SPIEL; Rmh ard STOCKMANN; Françoise STOEFFLER-KERN ;Jacqu8 TOULEMONDE; Sylvie TROSA ; Frédéric VARONE; Nè 10 VERICEL ; Patrick VIVERET ; Thomas WEITH.

Ce ouvrage ~ t cofinancé par l'Union fi ropéenne L'Europe s'eg age e. France aye le Fonds e.r opée. de déve oppro e.t régional. Ave le sourie. de la DIACT

........ ... .... ....... . . .......""' ...... .... .... .. .... .. .... .. .... .... .. >~ ........................ * ~~f
~*' ~~~

*~,Q; ... i... . . ~.. ... . ..

Déjà

publié dans la fmn

série:

Le doyen, l'élu, l'expert: pour une démarcheplurali te d'évaluaton despoliijues publiju es (actes desJournées de Lyon), A. Fouque e H. Jacot (clir.), Paris, L'Harmattan, 2007. ÉvaluatO n des Polii ques sociales (actes desJournées de Bordeaux), G. Cauquil e R. Lafore (clir.), Paris, L'Harmattan, 2006. La qynamijue de l'évaluaton face au développement durable (Linoges 2003), C. Offrdi (clir.), Paris, L'Harmattan, 2004.

SOMMAIRE
Préface par Guy CAUQUIL Re onnaître nos différa C8 pour mi6x faire jouer nos complémn tarités 15

Preface by Christiane SPIEL EvaluatO n il Europe and the contrubution of the !ymposùm and the book 'The evaluatO n of publi poli is il Europe: cultures and futures". . . . . . . . . . . . . . . . . . . . . . . . Introduction générale Annie FOUQUET, Ludovic MÉASSON Quels futurs pour 18 cultur8 de l'évaluation General introduction Annie FOUQUET, Ludovic MÉASSON The futures of evaluation cultures il Europe Allocution d'ouverture du colloque Hebe rt BOSCH Evaluato n and par/il mentaryoversight. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ..

17

?

19

29

37

PARTIE

I:

ÉVALUATION DES POLITIQUES ET DES PROGRAMMES EUROPEENS. EUROPEAN PROGRAMMES AND POLICIES EVALUATION

43

Introduction de la partie I ]ostte BARRUET Pe formance d'un outil d'intllig nce politique, opérationnelle e stratégique dans le contE te complexe de l'élargissemn t de l'Europe..............................................
Marielle RICHÉ .......................................................................

45
51

Une évaluation au service d8 politiqu8 de dévè oppm nt régional (FEDER 2007-2013) Olivier ROULAND,]tl nntte MONIER............................................ 57 De l'évaluation de programmes à l'évaluation de politiqu8 sociales, de l'mp loi e de l'égalité d8 chanC8 : des parma riats ID forcés dans l'UE Lô
MAIER........................................................................... 63

European Uno n Rural Development Poliy 2007-2013: An example of contiluous evaluaton

Ja n-François BASCHET
Ls évaluations du soutia à l'agroavi ronnmat, élémat ss a tie de la politique fi ropéan e de dévè oppema t rural Encadré 1 : Frédéric ZAHM, Sylvain CHABE-FERRET,Anne GASSIAT,Julie SUBERVIE.. ... Un cadre méthodologique pour évalue les ffe ts propf6 des mesurs agroenvironnementales fi ropéennes. Application au dispositif français
Thomas PEGUY .. . .. .. . .. . .. .. . .. . .. . .. .. . .. . .. .. . . .. .. . .. . .. .. . .. . .. . .. . .. . .. .. . .. . .

69

77

79

Le dispositif général de l'évaluation des programmes opérationnè s FEDER e contrats de projts État-Régions 2007-2013 a France La valorisation ds IS.péria cs pour un ar ichissma t mutuè ds dfix programmations
Joanna HOFMAN. .. .. . .. .. . . .. .. . .. . .. . .. .. . .. . .. .. . . .. .. . .. . .. .. . .. . .. . .. . .. .. ... . . Eva/uatil g the po/iris oj the European Unon il Po/and 87

Encadré
Ansz cka

2:
SZCZURECK ..............................................................

95

The development

oj eva/uatOn prilcj /es and standards il Po/and
97

François DESTANDAU, Anne ROZAN............................................ Évaluation économique de la diret ive cadre sur l'a u. Le rôle central de la« dérogation» dans le succès futur de la politique de l'au
Odile HEDDEBAUT

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 105

L'évaluation d'une politique locale de transport r~ oint Is qustionn mats mo péas sur la politique de mobilité urbaine Olivie SCHWAB
"Europeania tion « oj German Eva/uatOn Cu/ture? On the effectoj oblgatory eva/uaton ojEU Funds il Germaf!)! 115

PARTIE II:

LES CULTURES D'ÉVALUATION EN EUROPE EVALUATION CULTURES lN EUROPE

125

Introduction de la partie II Jostte BARRUET, Ja n-Claude BARBIER Culturs d'évaluation, référencs inte nationals de manage ma t public, cultuf6 politiques nationales, cultures d'évaluation setorili 6 .......................................... Bart DE PEUTER, Valérie PATTYN Evaluatim CapactJ: enabler or exponent if Evaluatim

127

133 Culture?

Jani

fe HILLEBRAND Evaluato n Standards and Practices il Drug Demand Reduction: A European Perspective

143

Silke N. HAARICH .. .. . .. . .. . .. .. . .. . .. . .. . .. .. . .. . .. . .. . .. . .. .. . .. .. . .. . .. . .. . .. .. . .. 153 Development of Evaluatim Systems - measurement and acton Be nard PERRET. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 163 L'évaluation progf8se a Franc~ mais somm8- nous miflx gouvernés?
Arnauld BERTRAND, Goffr oy BUNETEL . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 167

L'approche évaluative de la Révision générale d8 Politiqu8 publiqu8 a Franc~
Karin HAUBRICH, Hans-Pœ LORENZEN. . .. .. . .. .. . .. . .. . .. . .. .. . .. . .. .. . .. . ... 177 Standards for EvaluatOn and Recommendaton sfor Oints ofEvaluatOn: Steps to Foster Professonaliati on and Professo nalim il Germaf!)! and Austria Evelyn BERGSMANN, Christiane SPIEL. .. . .. .. . .. . .. .. . . .. .. . .. . .. .. . .. . .. . .. . .. .. 187 Context, Standards, and Uti iat on ofEvaluatO n il Austrian Federal Ministries Florence CHENAUX, Marlène LAuBLI LauD. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 199 Standards d'évaluation a Suisse: La fin justifier-He 18 moyas ?
s BALTHASAR. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 207

Andrtl

La publication: un atout ou une atra ve à l'évaluation? Institutionnalisation, publication e utilisation d'évaluations à l'exmple d'expériac 8 fait8 a Suisse
Kim FORSS Evaluato n il Sweden - the persit ence of tradi 0 ns
André MARTINUZZI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ..
-

215

225

Evaluatil g Sustail able Development il Europe

Trends and PerspectV es

PARTIE III. INNOVATIONS DANS LES PROCESSUS D'ÉVALUATION INNOVATIONS IN EVALUATING PROCESS
Introduction de la partie III Jacqu8 TOULEMONDE Innovations dans les proc8sus
Véronique DEFFRASNES, Alice PHAN.

235

d'évaluation e activités voisines.....
...........................................

237

243

Choix organisationnels au sein de la Sécurité Sociale: création d'un bureau dédié à la pe formance

Éric MONNIER, Frédéric VARONE, Karine SAGE. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 251 Évalue une politique publique avec ses groupes cibles ou avec S8 bénéficiaif8 finaux?
Franck BOURNOIS, Véronique CHANUT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 261

Le Présida t d'instanc~ un atr pr au
Marc NOUAILLES

r?
273

...................................................................

L8 missions d'information colleti vités te ritoriales

e d'évaluation d8 assmb lé8 d8
283

Marie BRUNAGEL, Guilhm BIANCARELLI L'évaluation du site Inte ne d8 Institutions mo péan 8 « Europa» : IS.mp le d'une implication large d8 citoyas
Sylvain MONTEILLET, Michèle PHELEP

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 291

Les articulations d'échelle dans l'évaluation av ironnm ata le stratégique Pm He SMITS, François CHAMPAGNE, Damien CONTADRIOPOULOS, Claude SICOTTE, Johanne PREY AL . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ..

301

Pe formance e accréditation: étude comparative de la Franc~ du Canada, d8 États-Unis, de l'Australi~ e de l'organisation Pan-Américaine de la Santé Christilla DAMBRICOURT Re heche la synergie atre l'évaluation des politiqu8 e le contrôle de gestion, ou pilote l'action publique dans une reh ech e de pe formance 309

PARTIE IV. INNOVATIONS INNOVATIONS

D'OUTILS ET DE MÉTHODES IN TOOLS AND METHODS

317

Introduction de la partie IV Maurice BASLÉ Rgard sur d8 innovations de méthod8 e d8 outils spécifiques d'appui a Évaluation Martin BRUSSIG, Andrtls JANSEN, Matthias KNUTH. .. . .. .. . .. . .. .. . . .. .. . .. . . OperatiinalisingEmployabli ty. Fr st results from ajob centrecustomer lot survey p Laufflt BACH,Jtl n-Alain HÉRAUD, Mirfi le MATT L'évaluation d8 EfèS économiqu8 d8 grands programm8 publics de R&D : 18 apports d'une méthode microéconomique déclarative approfondie

319
327

337

Peter JOHNSTON.. .. .. . .. .. . .. . .. . .. . .. .. . .. . .. .. . .. . .. . .. . .. .. . .. . .. . .. . .. . .. ... ... 351 Network ana!Jsi il support of evaluation of EU research and ilnov aton polici s

Barbara

FAHRMANN,

Rgina

G RAJEWSKI........................................

361

How to open the black box of mpleme ntatOn costs wihil the evaluatOn of rural development programmes. The challenge of consil ering administratve costs il costinpa ct analYses

Rob V. BIJL.........................................................................
Evaluatil Dominique g mmi grant ilt egratim poli): Hélène TROUVÉ. how to measure successes and failures?

375

SOMME,

...........................................

385

Implante pesonn8
Maud HUAULME

e évalue une politique d'intégration d8 se vic8 aux âgé8: l'expérimentation Prisma France
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 397

La création d'indices composites d'impact de programm8 politiques publiqu8 par d8 méthod8 multicritèr8 de surclassmfit de synthèse
Alberto

e de

MARTINI. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . How counteifactuals got lost on the wqy to Brussels

411

Béatrice SÉDILLOT L'évaluation du recours aux opératfif s privés pour l'accompagnm fit d8 dm andeurs d'emploi. Analyse de dux Kpéri fiC8 français8 d'évaluation par échantillonnage aléatoire
Nicole ROTH. ....................................................................... d8 KP érimfitatio ns du RWfiu de Solidarité Active

419

427

Évaluation

Annexe.

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 437

DÉCLARATION DE STRASBOURG Conforte l'évaluation dans l'espace

francophone

PRÉFACE
pn Guy Cauquil
Présile nt d'Honneur de la SFE

Reconnaître nos différences pour inux faire jouer nos complém

ntarités

Ce colloque fi ropéen initié par la SFE e la DGEval pose 18 bas8 d'une véritable coopération inte nationale dans le champ de l'évaluation de l'action publique; coopération qui, pour être fructufi se, suppose de pm cire atm tivm a t a compte nos spécificités professionnè les ou national8 ainsi que nos diffémc 8 ; car, comme nous l'a rapplé Luis Romero Requaa, Direcro r Général du Budge de la Commission Européa ne« C'8 t par le dialogue que se construit l'Union ». Ce ouvrage offre aux let ms l'opportunité de prolonge ce grand débat m opéa sur le dwe nir de l'évaluation, dont je voudrais ici salue ici 18 promoteurs, les organisateurs e les soutias 1. En ouve ture de C8 act8, je voudrais souligne trois lign8 de force qui conditionna t durablma t la place e le dwe nir de l'évaluation au niveau national e inte national : L'évaluation n'est pas seulemn t un acte mhod ologique; c'est une posture à la fois technique et politique comme l'a d'aillm s souligné He r He be t Bosch, Présida t de la Commission de contrôle budgétaire du Parlmnt mopéen. Car, a même temps que l'évaluation produit de la connaissance au se vice de la décision publiqu~ H e doit simultanément permettre aux citoya s de mieux compmd re l'action publique e de donne lm avis. Comme le disait le Présidat de la Communauté urbaine de Strasbourg a nous accuilla nt dans sa vill~ «l'évaluation doit être un outil de démocratie au quotidien» ; démocratie qui 8t avant tout, l'affaire des citoyas. L8 témoignag8 IS.primés au cours de ce colloque par de nombm x pays éme ga ts confirment que l'évaluation 8 t aujourd'hui l'un des raf8 vectfi rs d'expf8s ion de la société civil~ voire de la société tout court, dans 18 démocrati8 inachw é8. À nous de faire a sorte que ce potati è dwian e réalité!

grammç

1 Plus particulièrm l~ pemanfits fit

fit Annie Fouque e Christiane Spi!; co-président~ du Comité de proe militants de la SFE e tous l~ contributeurs qui ont pemis le succès

de ce évènm

1:Ir Opéfi.

16

Péfae

L'évaluation renvoie à des choix et aux «valeurs» de nos sociétés. La valu r constitue la référence ultime de l'évaluation. Car, évalue, C'R t ce tR rationalise la dépns ~ objeti ve IR choix, mR ure IR Efts , mais C'R t aussi IR apprécie au regard de valfifS (culturHR, démocratiquR, profR sionnHR, ...) plus ou moins partagées. C'est pourquoi l'évaluation R t souvent convoquée à l'occasion de la mise n place de nouvè les POlitiquR publiquR qui touchent à dR choix de société. La fonction citoynne de l'évaluation nous invite à faire sans cesse référence à ce socle de valfifS partagéR à l'échll e fif opénn e e à le consolide par le débat évaluatif.

Enfin, l'évaluation est, pour nous «évaluateurs», notre «valeur» partagée; H e aussi reste à promouvoir e à consolide. Ce te prmi ère rencontre fif 0péenne R t porteuse d'avni r pour l'évaluation des POlitiquR publiquR. Elle pem e d'identifier à la fois IR manquR e les pistes de progrès. Les bR oins sont immnse s, tant du côté dR avancées méthodologiquR que du mf oree mnt institutionnè de l'évaluation ou de la place qu'elle doit pmdre dans le fonctionnmnt de nos sociétés démocratiquR . Pour répondre à ces défis, nous gagnerons tous à poursuivre ce dialogue n tre pays e cultures diffémt R , n tre citoyns , «-pe rts e élus, nt re organR législatifs e «-écutifs C'Rt pourquoi je forme le souhait que, dans les annéR à venir, nous posions d'autŒ pierŒ e construisions d'autres débats sur les fondations prome teusR que nous avons creusées ns m ble à l'occasion de ce prmi e symposium fifOpén de Strasbourg. Gt9 Cauqui

PRÉFACE
by Christiane Spiel
Presi/en tif the DeGEvalGesellscheift für Evaluatim

Evaluation

in Europe and the contribution of the symposium and the book "The evaluation of public policies in Europe: cultures and futures"

y 8te day, w aluation in many Europtln countri8 was nationally orifltd, dividd in diffemt flkl s, and mostly focusd on program walu ation. Today, w aluation standards and guidè in8 are dwe lopd and distributed, national R change and coope ation is &ta blishd on a good basis, and wa luation is intertwind with quality managmnt and organizational dwe lopmflt. The main challn ges for tomorrow walu ation are the RC hange and cooperation on a European and intmat ional lwe l, the Rch ange of walu ation methods and approach8 across the various flkls of walua tion, the building of ntw orks of w aluation R perts in Europe and inte nationally, the improVIDfl t of communication stratgi 8 and of knowldge management and transfe The symposium "The w aluation of public polici8 in Europe cultures and futur8" which was hM in the Europtln Parliament in Strasbourg, July 2008, providd an RcHflt starting point conee ning the R change and coope ation on a European level. The symposium brought togrl1 e about 800 R perts, reprm tativ8 of inte national organisations, 11' f8 fl tativ8 of administrations and local and regional authoriti8 , academics and repf8 fl tatives of civil society from more the 20 countri8 all ove the word. In more than 170 prro tations and discussions participants R plord and contributd to the three main issues of the symposium: Ca)idntif ying w aluation cultures, Cb)building a European area for walua tion, and Cc) sharing R pe iences for progr8 s in practic8 . The symposium cltlrly showd diffemc 8 in the w aluation cultures in Europe dpfldi ng on both the history and developmflt of the national public policies and the history and development of the national walu ation societi8. Howw e, in all countries, wa luation sociri 8 dB nitè Y promote the quality and prof8Si onalization of w aluations and the &ta blishmfl t of a positive wa luation culture.
To build a Europtln aft! of w aluation, in coopeati on with the European Evaluation Society (EES) the Ne work of Evaluations Societi8 in Europe (NESE)

18

Pefae

was 8ta blishd at the Strasbourg symposium. The national w aluation socie i8 participating at NESE idntifi d thre main common goals to work on in the nar future (1) rising politician's awaren8 s, (2) promoting w aluation as a prof8 sion, and (3) defining and promoting standards. All thre topics were also address8 at the Strasbourg symposium. Furthermor~ during the symposium many outstanding Ramp 18 of good practice were pŒ nt d and RC hanged. By ond all the RcHnt pŒe ntations, discussions, R chang8 and neworki ng activiti8, the fact that an w aluation symposium took place in the Europan Parliamnt was a gftl t SUCC8Sby itsè f and will have a sustainable impact on the public and political awareness of walu ation. Thert or~ all participants and reproo tativ8 of the national wa luation socirie s have to thank the French Evaluation Socie y - in particular Annie Fouque and Guy Cauquil - for too ffor t, innovation, and activities to organize the symposium and to bring it to such a gra t SUCC8S.The DG Eval- G8è lschaft für Evaluation was Rtr mè y honourd that it was invitd to function as coorganisator of the symposium. The pŒe nt book is based on the Strasbourg symposium. It summariz8 in an Rcè In t way the main topics of the symposium and theE ore giv8 all those pop le involved and inte 8 td in wa luation who were not able to attnd the symposium to la rn about (1) wa luation of European policies, (2) cultur8 of walua tion in diffe nt countries, (3) innovations in wa luation proc8 sand (4) innovations in tools and mth ods. I would like to thank vey much all authors and the d itors of the book Annie Fouque and Ludovic Méasson for too ff ort and contribution. I ve y much hope you will nj oy your reading. Chritime Spil

INTRODUCTION
Quels futurs pour l~ cultur~
Annie Fouquet2,

GÉNÉRALE
de l'évaluation
Méasson3

fi Europe?

Ludovic

L'ambition de cet ouvrage tient a dux mots: cultures e futurs. Le prmi e , cultures, suggère que l'évaluation des politiqu8 publiques ne pu t pas être appréhendée tel un bloc unique Le second, futurs, invite au dialogue at re les cultures de l'évaluation pour s'a richir de leurs atouts. Ctte double idée marquée par le bon sens 8 t à la fois séduisante e rdoutabl e Séduisante parce qu'elle ouvre l'évaluation des politiqu8 publiqu8 à la dive sité d8 sociétés e de lm s systèm8 politiqu8 e administratifs; a ce sens, è le l'humanise e rompt avec l'image «tehn ocratique», c'est-à-dire froide e rigi~ dont H e souffre parfois. Mais H e 8t redoutable parce qu'He ouvre la boîte de pandore culturelle dans laquè le la fragile communauté de l'évaluation se retrouve face à S8 propres différenc8, voire divisions, alors qu'il f8 te tant d'f forts à faire pour intégrer durablma t l'évaluation à l'aide à la décision e au débat public. L8 futurs d8 cultur8 pmd alors un visage problématique qu'il 8t possible de résumer par dux questions: Pu t-on parle d'une culture universH e de l'évaluation ou bia faut-il parler d'une divesit é de cultur8 de l'évaluation national~ voire régional~ se toriHe e disciplinaire?

.

. Comment

alors organiser

un débat

constructif

atr e 18 cultures

pour

promouvoir l'appmt issage mutuel sans tue la dives ité? Ce ouvrage tate
que «L'évaluatOn

d'y répondre à partir d'une sélet ion d'articl8 issus du collodes politiJue s publiJue s en Europe: cultures etfuturs ». Parmi l'ensemble

d8 communications au colloqu~ su 18 sont rpris8 ici cell8 qui traitat d8 cultur8 de l'évaluation (parti8 l e II) el ou qui sont résolumat tourné8 ve s le futur: 18 innovations, tant de processus (partie III) que de méthod8 (partie IV)4.

2 Annie FOUQUET,présidfite du comité de programme du colloque de Strasbourg, lIT présidfite de la Société Française de l'Évaluation dj:'u is novembre 2008. 3 Ludovic MÉASSON, délégué général de la Société Française de l'Évaluation jusqu'en sj:'tm bre 2008, ~t cheche ur associé à l'UMR PACTE. 4 Le lemr intér~sé trouve a l'fismbl e des communications sur le site de la SFE : (bttp:/ /www.sffasso.fr/fr/journ~/colloquwropfi-strasbourg.html) ou de la D6Eva I (bttp://www.dg..al.de).

20

Intodution

généale

Après une rapide présa tation du colloque, ctte

introduction

générale s'inte

-

roge sur la qUR tion dR cultures de l'évaluation, puis montre l'intérêt de pm dre a compte la divesit é de ces cultuŒ pour faire progrRse r e développe l'évaluation des politiquR publiques, grâce à un apprentissage par l'altérité.

Les futurs, un parti pris
Le colloque «L'éva/uatim despo/itiJues pub/que s en Europe: cu/turesetfuturs» qui s'st tau IR 3 e 4 juille 2008 au Parlemat fifopéa à Strasbourg dans le cadre de la Présidac e Française de l'Union B ropéenne 2008 (voir ac adré), poursuivait trois objetifs : 1) Rafo rce la visibilité e la légitimité de l'évaluation dans l'Rp ace public, a particulier au se n de la sphèrep olitique; 2) Faire progrRse la réflK ion sur les diffémc R culturellR de l'évaluation dans IR pays fifopéas ; 3) Raforce les échangR atre les actfifs de l'évaluation a Europe5. Il a ŒSO rt trois aSfgnma ts, Œp etivmat sur chacun de CR points.

Renforcer la vi bilé
publque,

et la légii mié de l'évaluaton dans la sphère
ue

notamment pollq

Le colloque a marqué une étape dans le long travail de légitimation de l'évaluation que mènat désormais avec succès IR sociétés nationalR d'évaluation, a ouvrant de tls s pacR d'K pŒ sions publics. He be t Bosch, Président de la Commission du contrôle budgétair~ dans son discours d'ouvetur~ a fait un vibrant appè au rééquilibrage a matière d'évaluation atr e le Parlm at e la Commission a favfif de la démocratie fif opéan e6. Il a égalm at été l'occasion de rapple l'importance de sasib ilise e de mobilise la pŒ se e les citoyas . À l'instar de ce qui se passe dans certains pays nordiquR ou a Suiss~ CR de nie s pB va t être dR relais e dR motfif s importants du développmat de l'évaluation dR politiques publiquR . CRt pourquoi ils pB vent constituer des «cibles» prioritaires pour IR promotfif s de l'évaluation de dmain, a particulie a France Reconnaître la db ersl é des cultures et pratque s de l'évaluato n

La divesité dR cultuŒ de l'évaluation e dR pratiques évaluatives a Europe & une réalité. Le dévè op pm at de l'évaluation dR politiquR publiqUR ne saurait être appréhad é comme un procRsus linéaire qui franchirait successivme nt dR palies e qui pourrait être reproduit indifférmm at sur IR diffémts teri toiŒ fifOp éas. Le dévIDp pmat de l'évaluation & l'affaire d'une mcontre at re, d'une part, la volonté de mode niser l'action publique où l'art de gouve ne s'appuie sur l'analyse dR Efe s dR actions publiquR (donnant ainsi toute sa place au
5

En complémn t d~ Mo rts déployés

d'Évaluation (bttp:/ /WWW.6 ropdn ilfaluatio 6 Voir texte ilfra dans ce ouvrage

n.org/).

dl='uis plus de dix ans par la Société Européenne

Quels

futurs pour les altur es de l'évaluation

en Euope

21

pilotage stratégiqu~ à l'autonomie d8 actfi rs, à l'importance de la connaissance dans un monde complexe e incet ain) e , d'autre part, un système social caractérisé par un dispositif politique e institutionnè propre. Le résultat de cette mc ontre 8 t à chaque fois spécifiqu~ mobilisant à d8 dgrés diffémts les ingrédients du développement de l'évaluation: formation des Kpe rts, élaboration d'un cadre légal, émergence d'un marché, formation d'une doctrin~ intégration au débat public, OC.7 Faire de la diversié une richesse

La divesité des cultures 8 tune rich8S œ t un défi pour la communauté de l'évaluation, celle-ci étant n tendue comme l'n smb le d8 acrer s convaincus par la nécessité de son développm n t. Elle 8 tune rich8Se évidn te car chaque système culturel Pfit se nourrir d8 autf8 (pour apprécie le niveau d'intégration de l'évaluation à la décision publique e idntif ie 18 frin se 18 levies sur lesquels agir). En même temps, è le 8 t un défi car des qU8 tions a pro ri simp18 tH8 que la mise n place d'un système de prof8Sio nnalisation ou bien l'élaboration de standards déontologiques e de qualité des évaluations S'K primnt de manière diffémte dans chaque contexte culturè spécifique Aussi, la mise n réseau des acre rs fi ropéens de l'évaluation ne va pas de soi comme nous aurions pu le pns e a prori. Elle provoque même parfois de profonds débats comme n témoignnt 18 tIS.t8 réunis dans ce ouvrage Ce livre fait le pari qu'il ris te un futur commun pour l'évaluation n Europe. Il ne s'agit pas de croire à, ni même vouloir une homogénéisation des cultures e
des pratiqu8 évaluativ8, mais de contribue à l'émeg n ce d'un 8 pace {lfO
-

péen de l'évaluation, au moyn d'un appmt issage mutuel ouvet aux pratiques d8 uns e d8 autf8 : le développmnt de l'évaluation dans chacun d8 pays {lf opéens gagneait n rapidité e n qualité grâce au mf orcement des échang8 ntr e 18 actfi rs {lf opéns de l'évaluation. L'altérité comme méthode de révélation d8 1\7 ies e d8 frins au dévloppe mnt de l'évaluation n qulque sorte

7 FURUBO, Jan-Éric) et aL, 2002, Internaron al Atlas Publishers, 471 of Evaluaro n. Transaction p. ; JACOB S., VARONE F., GENARD J-L., 2007, L'évaluaro n des politiques au nveau régima J, Pte Lang Verlagsgruppe : Bonn, Berlin, Francfort/Main, Oxford, New York, Wien. JACOB S., 2005, Instiu ro- nnalier l'évaluaron des politiques publiques) étude comparée des disposifs Suisse et aux Pays-Bas, Brussè s, PIE-Peter Lang. en BeigiJUe) en France) en

22

Intodution

généale

Le colloque «(L'évaluation despolitiJue s publiques en Europe: cultures etfuturs )) s'est tenu les 3 et 4 Julie t 2008 au Parlement euroPéen à Strasbourg dans le cadre de la Présile nee Françaie de lU non euroPéenne2008.
Ce colloquç organisé par la Sod té Prançai e de l'Évaluation fi partenariat avec la DeGEval résfi tant GeseJ/schajtür Evaluaro n8 a rassemblé 700 pesonne s venues de 31 pays différn ts9 f 11' l'fism ble d~ acmr s concen és (cf. Figure 1), pour assiste à quelques 120 communications couvrant dix champs thématiqu~ e sj:'t champs transve saux : - Champs thématiqu~ : politiqu~ de rehe chIO innovation e compétitivité; politiqu~ d'emploi e de cohésion sociale ; politiqu~ de santé ; politiqu~ agricol~ e rurales; politiqu~ de développme nt durable e fivi ronnme ntales ; politiqu~ d'autonomie des peso nn~ dépfi dant~ e de la vie associative; atli e sur l'évaluation d'impact ; politiqu~ de dévlo ppmfi t local e régional; politiqu~ d'éducation; politiques d'aide au dévè oppemfi t; - Champs transversaux: l~ form~ d'institutionnalisation de l'évaluation; la participation ~ citoyens; évaluation e moden isation de l'administration publique; innovations méthodologiqu~ ; standards e pratiqu~ ; prof~io nnalisation; évaluation e activités voisin~.
lImi nistratio centrale et établissements assimilés 8%

AIr Organismes

État décocentré
et établissements assimilés 4%

12%

Cabinets

de nts et

Universités - Centres de recherche

cosulta services

entreprises évaluatio 20%

de
en

Figure 1 : Répartition des participants au colloque selon les appartenances professionnelles
Deux réstl ux inten ationaux ont été rn forcés à l'occasion de ce colloque: - Le réstlu 1:Iropéfi d~ sociétés national~ de l'évaluationlO. - Le réstl u francophone de l'évaluation dont l~ membr~ ont signé la «Déclaration Strasbourg», appè aux gouvene mfit s nationaux pour le dévlo ppmfit de l'évaluation Il.

de

8 Société gemanopho

ne de l'évaluation:

http://www.dgw

al.di.

9 Allm ague, Angle ff 10Autrichç Big ique, Cameroun, Canada, Danmark, Écosse, Espague, Finlandç Francç Grècç Hongrie, Italiç Irlandç Québe, Lettoniç Lituanie, Luxembourg, Madagascar, Mauritanie, MIDq ue, Nige, Pays-Bas, Pologne, Portugal, République Démocratique du Congo, République Tchèquç Slovaquiç Suissç Suède, Ukrainç USA. 10Pour visiter le site du réstlu : www.sfe.asso.fr. Il Pour lire la «Déclaration de Strasbourg », voir antm e ou le site du réseau: www.sfeasso.fr.

Quels

futurs pour les altur es de l'évaluation

en Euope

23

Les cultures,

une réalité

Ce ouvrage démontre l'intérêt pragmatique qu'il y a à re onnaitre les différenC8 culture1l8 pour comprendre e accompagner le développement de l'évaluation d8 politiqu8 publiqu8. La Commission mo pénn ~ qui a souvn t été pionnière pour diffuse une culture de l'évaluation que l'on aurait pu pns e unive selle (guid8 , méthod8 ), reconnaît e s'appuie sur la dive sité des pratiqu8 e d8 cultur8. Dans l'introduction à la prmière partie de l'ouvrag~ Jostte Barrue montre que la Commission B ropéenne n'8t fi em ême pas un n semble homogène D8 cultur8 de l'évaluation propf8 à chaque direction générale y CORistn t. Par ailleurs, l'approche novatrice de la Commission B ropéenne se traduit par la prise n compte de la différnci ation d8 cont«. t8 nationaux pour déploye ses dispositifs d'évaluation. Par Rmpl~ la Diret ion générale de l'agriculture a dévloppé d8 outils comme le «Evaluation Hè pd8k »12pour favorise le déve loppmnt d8 capacités d'évaluation propres aux actm s locaux, plutôt que de che che à R porte S8 pratiqu8. La Commission B ropénn e 8 t passée de l'idée qu'il y aurait «une» culture de l'évaluation à «transférer», à cè le qu'il y a «d8 »cultUf8 à «construire». Avant même de parle d8 cultur8 de l'évaluation, il convint de parle d8 cultures de l'action publique fi emêm ~ comme le fait Jan -Claude Barbier dans l'introduction de la deuxième parti~ où il oppose l'action publique qui intègre l'évaluation d8 politiqu8 publiqu8 à l'action publique traditionnè le sans évaluation. Vouloir intégre l'évaluation à la décision publique rI' résnte une mise à distance d8 form8 traditionnè les de l'action publique où l'administration d8 choses publiques 8 t organisée de manière hiérarchique (C'8 t-à-dire de manière top-downavec pB d'autonomie d8 acteurs) e pB stratégique (où le changement social 8 t pns é comme une réponse mécanique aux actions publiqu8 e où la notion de complrité 8t pB intégré9: Pour autant, il n'y a pas une culture unive selle de l'évaluation; il Y a d8 variétés nationales, loca18, ou sectoriH8 ; e la culture de l'évaluation pB t se définir comme la rncontre ntr e d8 référnc8 inte nationa18 de management public avec une culture politique particulièr~ cette dernière étant è le-même définie comme un système complR ~ plus ou moins homogène e stable dans le tmp s, d'inte actions n tre valm s politiqu8, pratiqu8 politiqu8 e institutions. La reon naissance de la dives ité des cultures de l'évaluation traversoc e ouvrage de bout n bout. Nous préférons parle de re onnaissance plutôt que d'identification, car l'idnti fication d8 cultures de l'évaluation néc8 site un travail de fond dont le colloque de Strasbourg e cet ouvrage ne sont qu'un moment, soit n proposant d8 grill8 d'analyse d8 cultures de l'évaluation, soit n apportant des éclairag8 nationaux, soit n montrant 18 processus d'émergnce d8 cultur8 de l'évaluation.

12Un réstlu d'«:pets

intenation aux mis à disposition d~ acmrs

nationaux.

24

Intodution

généale

Pour un apprentissage

par l'altérité

Pm dre au sérieux la diversité culturelle pour accompagne e poursuivre le développme nt de l'évaluation d8 POlitiqu8 publiqu8 8t un principe vertueux. R8t e à imagine la manière de faire En fi" e , il ne suffit pas de «prendre a compte» les diffém C8 culturè les pour les «dépasse », ce qui reviad rait à les considére comme d8 résistanc8 à «la» culture (unive sH ~ d'évaluation qu'il faudrait inculque (ce que reouvr e l'idée d'« acculturation» souvat atadu!L'approche par la dive sité culturHe suggère au contraire qu'il y aurait d8 formes diffémci é8 de systèm8 évaluatifs adapté8 à d8 contK t8 POlitiqu8 diffémciés ; He invite à passe de la notion d'acculturation à une démarche constructiviste Cette posture a une conséqua ce directe sur les débats qui agitent la communauté de l'évaluation: d'une part, He qU8t ionne 18 positions a faVtlr de définitions, de standards e de pratiqu8 univese Is (des gold standards)t, d'autre part, è le re at re le débat at re les options contradictoif8 dans une logique de résonance atr e système évaluatif e système politique. Ce te démarch~ pu courante car difficilee t complK ~ pe mttr ait d'éviter bia d8 blocag8 atre positions de principe qui affaiblissat de l'intérim la communauté de l'évaluation.

Quelques fronts du développement de l'évaluati} n
Pour miflX appréhn de l'intérêt que représente l'approche par la dives ité culturell~ voici què qU8 K mp 18 de débats provoqués par le développement de l'évaluation d8 politiques publiqu8 . Dans cette pespet iv~ nous classerons 18 sujets de débats slon dux ase mb18 : La nature du débat: celui-ci 8t soit techniqu~ soit politique Dans le pre mier cas, il s'agit de qU8 tion de méthode e de faisabilité. Dans le second cas, le débat ag age d8 choix de valm e de princip8.

.

. L8

acre rs du débat:

il 8 t schématiqum

at

possible de sépare

18 débats

a dux catégories a fonction d8 actu rs qu'ils a gaga t. Le débat peut être inte ne à la communauté de l'évaluation, comprisec omme le regroupement des pes onn8 e des institutions convaincues de l'intérêt de l'évaluation. Il put aussi être Kte ne s'il se positionne atr e la communauté de l'évaluation e d'autf8 actu rs.
La définition d8 standards d8 évaluations rpr ésate par K cHace un débat politique inte ne L8 standards doivent-ils être unive sels ou propf8 à chaque pays, cont«. tualisés par se tu r ou décontK tualisés, précis ou généraux? L8 répons8 à C8 qU8t ions impliquat néc8 sairmat, au-dlà d8 as pet s techniqU8, d8 systèm8 de valm scar 18 standards constituat un équilibre délicat a tre les intérêts e les attat 8 des diffémts acteurs de l'évaluation. La qU8tion de la participation des citoyas soulève par K mple un débat politique Kte me: commat vaincre 18 rética C8 d8 actfl rs publics à intégrer les citoya s dans 18 évaluations?

Quels

futurs pour les altur es de l'évaluation

en Euope

25

L'articulation de l'évaluation ave 18 activités voisin8 (contrôl~ audit) suscite un débat te hnique Kte me: il s'agit d'invate un management de l'information évaluative13 produite e mobilisée par diffém ts corps de métie (inspe tion, g8tion, contrôl~ audit, évaluation) e sev ic8 au sm d8 institutions. Le dévlop pmat d8 méthod8 e la reon naissance de lm qualité e utilité respeti ve provoque un débat tehn ique inte ne En particulier, il K iste actuè lemat une controvese bia rlayée dans la quatrième partie autour de l'évaluation d'impact (qui chec he à 8 timer l'écart a tre la situation obsev ée suite à la politique menée e celle qui aurait u lieu a l'absence de cette politiqu~ Ce tains défaoot l'idée que seul8 18 méthod8 K périmata les, notammat avec tirage aléatoire, sont capab18 de construire une situation contrt actuH e D'autf8 affirma t qu'il K iste plusim s tYP8 d'analys8 contrefactuH 8, ainsi que d'autres méthodes rigoureus8 d'évaluation d'impact qui ne font pas appè à l'analyse contr& ctuH~ e nmd iquent le pluralisme méthodologiqu~ où, à chaque configuration d'évaluation corr8 pond une combinaison adaptée de méthod8. Ce tour d'horizon partiel des débats qui animent la communauté de l'évaluation d8 politiques publiqu8 illustre la dives ité d8 «fronts» du développmat de l'évaluation d8 politiques publiqu8 . Il a montre la vitalité e la complK ité a contrepoint d'une rpré sentation sans doute trop monolithique e statique dont He fait parfois l'obje. Comme dans bia d'autf8 domain8, l'élargissement d8 pratiqu8 évaluatives 8 t affaire d'innovations techniqu8 e politiqu8 pour résoudre les difficultés m contré8 «sur le ter ain ». C'8t pourquoi le développement de l'évaluation 8 t un chantier ouvet e dynamique; e la dives ité culturelle m opéan ~ par les opportunités d'apprentissage muM qu'è le procure, contribue à ce proc8 sus pe manat d'innovation. Forces etfreil s de la diversié culturelle

Slon qu'il s'agit de débats techniqu8 ou de débats politiqu8, nous distinguro ns dux form8 d'appmtissage mutuè (tabltlu 1). Dans le cas d8 débats techniques, la divesit é d8 pratiques évaluativ8 8t une force pour le développmat de l'évaluation: l'altérité produit ici une multitude de solutions dont les mmbr 8 de la communauté de l'évaluation pu va t s'inspirer, reprendre ou adapter a fonction de lms b8 oins propf8 . La richesse d8 contributions de la quatrième partie sur 18 innovations de méthod8 e d'outils a 8t une illustration convaincante e Maurice Baslé montre a introduction le caractère transdisciplinaire du métie e son émancipation d8 métie s plus historiques. A contraro, s'agissant d8 débats politiqu8 , la diffémci ation culturelle pu t représente un frm à l'échange puisqu'H e fait inteve nir d8 systèm8 de valms diffémts qu'il paraît alors difficile de dépasse. Dans ce contKt ~ l'apprentissage mutuè ne consiste pas à propose d8 solutions commun8 comme pour les débats techniqu8 , mais au contraire à re onnaître l'intérêt de cons13 Voir le Cahi r 4 de la SFE, « Évaluation to activités voisin~ : différn ces to complémntarités », 2009.

26

Intodution

généale

truire d8 solutions diffém cié8 a tenant compte des diffémc8 culturH8 afin d'échapper à un affrontm a t de positions de principe Par Kmp le le recours à la notion d'instance d'évaluation rpré sente une innovation adaptée au système françaisl4. De la même manièr~ l'établissme nt d8 complémentarités atr e contrôle e évaluation, que Jacques Toulemonde cite dans l'introduction de la troisième partie, suit des voies singulières a France par rapport au NAG britannique a raison de l'histoire particulière de l'K pe tise étatique hKa gonale.
Interne à la communauté des évaluateurs Définition des standards Méthodes d'évaluation d'impact Impact des différences culturelles Formes d'apprentissage mutuel Reconnaissance des différences culturelles Échanges de bonnes pratiques Types d'innovations

Nature des débats

Externe

Politique

Participation des citoyens Articulation de l'évaluation avec les activités voisines

Frein

Solutions différenciées

Technique

Force

Méthodologies communes

Tableau 1 : Prise en compte de la dimension culturelle pour un apprentissage mutuel en matière d'évaluation en Europe L'appm tissage mutuè pe me d'approfondir la compréhas ion des frin s au développement de l'évaluation. L'altérité oblige à pmdr e du reul , à déconstruire e à contK tualise ce qui fait problème localemat. La comparaison mop éenne pe met d'affiner l'analyse. Elle pourrait par Ke mple faire apparaître que la mobilisation délicate d8 élus tiat, ici, de la crainte d'être jugé, t, là, de la qualité médiocre d8 évaluations. L'appmti ssage mutuè atr aine finalement une déconstruction/ reformulation des problèm8 liés aux pratiques évaluatives a Europe. Dans cette pesp e tiv~ l'appmt issage par l'altérité ne se résume pas à un simple
transfe t de bonn8 pratiqu8, un «copie

/ coller»

a

qulqu

e sort~ mais repré-

sate un système d'innovation pe manat pour tire le mille ur de la divesit é d8 K périenc8 a taa nt compte d8 diffémc8 de contKt~ un« s'inspire te ritorialiser »a què que sorte *** Ce ouvrage illustre cette diversité des cultures de l'évaluation e ses apports a matière d'innovation. La prmi ère traite de la dive sité d8 pratiqu8 de la Commission fi ropéenne e de leur évolution. La seconde apporte d8 élémats d'analyse e de d8C ription de la divesit é culturH~ qu'elle soit national~ régional~ ou set orille La troisième partie illustre cet: e divesité dans les innova14 TOULEMONDE be wefi national

J., 2000, « Évaluation
». Virtelja hrshefte

cultur~)

in Europe

diffe fi œ
69, n03,

and conve gfice
p. 350-357.

practices

zur Witschaftsfor

schung, Vol.

Quels

futurs pour les altur es de l'évaluation

en Euope

27

tions de proc8su s. Enfin la quatrième partie rend compte d8 innovations de méthodes que peme t cette dives ité culturH e y compris disciplinair~ ouvrant la voie à une émancipation de l'évaluationI5.
La Société Française de l'Evaluation (SFE) La Société Française de l'Évaluation (SFE) a été fondée en juin 1999 à Marseille. Elle a pour vocation générale de contribuer au développement de l'évaluation et de promouvoir son utilisation dans les organisations publiques et privées, et, aussi au sein des collectivités en charge de l'élaboration et de la mise en œuvre des politiques publiques. Elle s'efforce notamment de faire progresser les techniques et les méthodes et de favoriser le respect de règles éthiques et procédurales propres à garantir la qualité des évaluations ainsi qu'un usage approprié de leurs résultats. C'est un lieu de rassemblement, d'échanges et de formation ouvert à tous les acteurs de l'évaluation -les commanditaires, les praticiens et les utilisateurs- des secteurs tant publics que privés. La SFE organise des journées d'études thématiques plusieurs fois par an, ainsi qu'un grand congrès tous les deux ans environ. Elle anime également 9 groupes de travail thématiques (évaluation des politiques territoriales, standards et déontologie, etc.) et 10 clubs régionaux. Elle a publié de nombreux ouvrages sur l'évaluation des politiques publiques et a notamment rédigé la Charte de l'évaluation qui fixe les grands principes de l'évaluation des politiques publiques en France. Contact: Stéphanie Breton, 65 avenue des Gobelins 75013 Paris; Tel: 01 45 41 5840 ; Email: evaluation.sfe@wanadoo.fr ; Site: www.sfe.asso.fr.

15 BASLÉ M., 2008, Économie et gestion publique) Sun Paris, Economica.

et évaluaron de polli ques et de programmes.

GENERAL

INTRODUCTION

Thefutures if evaluaton cultures iz Europe
Annie Fouquev6,
Translatd

Ludovic

Méasson17

by Niall Bond18

The ambition of this work can be summed up in two words: cultures and futur8. The first, cultur8, suggests that the w aluation of public policy cannot be graspd as a single block. The second, futures, is an invitation to a dialogue betwe n evaluation cultures for mutual a richment through the consideration of f8 pective advantag8. This dual ida, which is anchored in common sense, is both attractive and formidable. It is attractive bea use it opas up public policy walu ation to the diversity of societies and the r political and administrative systms; in this sas~ it humanis8 w aluation and constitutes a bftlk with the "tehnocr atic", i.e cold and rigid image that has taintd the image of w aluation in the past. Howwe , it is also formidable, be ause it opa s up the Pandora's box of culture in a fragile walu ation community markd by its diffee nC8 or wa divisions, at a time in which the e is so much to do for sustaind intgr ate walua tion through deision making and public dba te The futur8 of cultures sm problm atic, and the problm atic nature can be summed up in two qu8tions: Is it appropriate to speak of a univesal culture of waluation , or should we spak of a divesit y of national, or w a regional, se toral and disciplinary cultures? How can a constructive debate be wea cultur8 be organised to promote mutuallarni ng without putting an ad to divesit y?

. .

This work shall attm pt to answe th8 e questions on the basis of a sle tion of papes hè d at the symposium, "The walua tion of public polici8 in Europe: cultures and futur8". It includ8 only those papes hM at the symposium that
16Annie FOUQUET, chair of the programme committe at the Strasbourg symposium, has

be n President of the Société Française de l'Evaluation since Novembe, 2008. 17 Ludovic MEASSON,Gn eal Dè g ate of the Société Française de l'Evaluation until Sr tmber, 2008, is an associate r~ It rche at the mixed r~ It rch unit PACTE. 18Niall BOND, Ppolitical scintist at the Unive sity of Lyon and the CRIA, EHESS, translator and confooce inteprte.

30

Genee

I introdution

dill with spei£l cally w aluation cultur8 (parts 1 and 2 of the work) and/or which are Œ olutly turnd towards the futur~ dB ling with innovations both in proc8s8 (part 3) and in me hods (part 4)19. Afte a brief pr8e ntation of the symposium, this geneal introduction looks at the issue of w aluation cultures and too points to the advantage of taking account of the dive sity of those cultures in promoting progress and in dwe loping the waluat ion of public polici8.
Staking hopes on the Future

The symposium, "The walua tion of public polici8 in Europe cultur8 and futures", hè d on July 3 and 4, 2008 at the European Parliament in Strasbourg within the cont:Kt of the French Presidnc y of the European Union in 2008 (se inse) pursud thre objetiv8 : 1) to nha nce the visibility and legitimacy of w aluation in the public spher~ 2) to promote rr lection on cultural diffemc8 in wa luation in European countri8; 3) to reinforce IS.chang8 be wen actors in the £lM of w aluation in Europe.2o Three l8s ons we e to be lBrnd on Bch of these points. Reilforcilg sphere, parti vi blry and the legiinary

0/evaluaton

il the publi

ular/y the polli cal sphere

This symposium markd an important stage in the long work on IS itimising walua tion which national waluat ion societi8 are at pŒ nt SUCC8 sfully carrying out by opni ng up such spaces of public IS.pr8S ion. In his opening spee h, Hebe rt Bosch, chairman of the EuropBn Parliament's Budget Control Committe~ made a vibrant appeal to rebalance w aluation be wen the Parliamnt and the Commission so as to nh ance European democracy.21 The symposium was also an occasion to recall the importance of raising awareness and mobilising the pŒS and the citizns. Given the IS.ample of certain Nordic countri8 or Switze land, citizn s can act as important rlay s and motors in dwlop ing public policy w aluation. This is why thy may be priority "targe s" for the promotes of walua tion in the futur~ particularly in France

Recogni ilg the dve rsiy

0/cultures and

evaluaton practie s

The diversity of w aluation cultur8 and practices is a rillity in Europe The dwè opmnt of the w aluation of public policies cannot be grasped as a linBr proc8 s which moves from stage to stage and can be reproducd in complee indiffemce to the aft! of Europe in which it is to be carrid out. The developmn t of wa luation has arisn with the convergnc e on the one hand of
19

All the pape s can be read on the SFE website (http://www.sfe.asso.fr/fr/jonrnE

/ colloque

m opn-str asbonrg.html) or on the D6Eval wbsi te (http://www.dge val.). 20 This complme nts the Mo rts made by the Europun Evaluation Socity tn yur s (http://www.fir opun oral uation.org/). 21Cj Infra in this book..

ove more than

The futues

of evaluation

ait ures in Euope

31

a will to modernise public intev at ion, whe e the art of governance is supported by an analysis of the f fe ts of public activity 0eaving scope for stratgic piloting, the autonomy of actors, and pointing out the importance of knowledge in a corn phs. and uncertain world), and on the othe hand a social systm that is characteisd by its own political and institutional organisation. The f8ult of this conveg a ce is invariably speifi c, as it mobilis8 the various ingrdi ats of the dw è opma t of wa luation to differing degre8: the training of K perts, the è aboration of a legal framework, the m e gnc e of a market, the f18hin g out of a doctrin~ intg ration into the public dbate , e e22 T urnil g divers! y il to a source

0/ wealth

Divesity of cultur8 is a source of walth and a challage for the w aluation community, which we unde stand as the totality of actors convincd of the ned for its development. It is an obvious source of wa lth, because a ch cultural systm can sE. out stimuli from othe s (in orde to assess the levè of the intg ration of w aluation in public de ision making and to idatif y the impde ma ts and lwe age which can be affectd). At the same tim~ it is a challag ~ be ause appamt ly simple qU8 tions such as how to set up a system of professionalization or how to è aborate e hical standards or quality standards in w aluations are Kpf8sd diffemtly in ach speifi c cultural cont«. t. Thus, setting up networks bw e n Europan actors in w aluation is not a matter of course, as we might have pœio usly assumd. It someim8 we n triggers off profound debates, as the texts compild in this publication dm onstrate. This book is based upon a belief in a common future for walu ation in Europe This does not mean we beliw e in the ri sta ce or w a the desirability of going towards one single unive sal walu ation culture, but that we are sekin g to contribute to the m egnce of a Europan Evaluation Area through mutual larni ng and an opai ng up to the practices of others: the dwè opment of wa luation in ach European country will gain in spd and quality through the reinforcma t of K chang8 bw a European actors in wa luation. Studying the othe s is a sort of mtho d for œ a ling lwea ge and impdima ts in the development of w aluation.

22 FURUBO,

Jan-Eric)

et aL, 2002, Internaro nal Atlas

of Evaluaron.

Transaction

Publishes,

471

p. ; JACOB S, VARONE F, GENARD J-L., 2007, L'évaluaro n despoli if ues au niveau régional,Pte Lang Velag sgruppe: Bonn, Berlin, Francfort/Main, Oxford, Nw York, Win. JACOB S., 2005, Instiutionnali er l'évaluaro n des poli if ues publiques) étude comparée des disposii fi en BeJgif ue) en France) en Suise et

aux Pays-Bas, Brussls,

PIE-Pte

Lang.

32

Genee

I introdution

The !ymposùm, 'The evaluatOn of publi polii es il Europe: cultures and futures" was held on JulY 3 and 4, 2008 at the European Parlùme nt il Strasbourg il the framework of the French presilency of the European Unon il 2008
This symposium, organised by the Sod té Prançai e de l'Évaluaro n in partneship with DeGEval GeseJ/schaftfür Evaluation23 brought togth e 700 participants from 31 diffoo t countri~ 24 r~ fi ting the full gamut of concen d actors*, who attfi dd some 120 letur ~ rè atd to tfi 11' thme s and in s" fi forums: - Thm~: r~ ur ch, innovation and compti tiVfi ~ s policy; mpl policy; httlt h polici~ ; agriculture and rural policies; sustainable d" polici~ ; polici~ for the autonomy of dp fid fit pe sons and for workshop on impact "al uation; local and rgi onal d"lopmfit d" è opmfit aid polici~ ; oyment and social coh&o n è opmfit and fi vironmfital not for profit organisations; polici~; du cation polici~ ;

- Forums: patten s for institutionalising "al uation; citizfi participation; "al uating and mode nising the civil service; methodological innovations; standards and practices; prof~ sionalisation; aluation and rlat d activiti~. " Two inten ational new orks wee reinforcd through the symposium: - the network of European "al uation societies (NESE) - the Fm ch-spuki ng newo rk of "alu ation, whose members signd the "Strasbourg declaration" appttli ng to national govenm fits to dore lop "aluation. 25

* Breakdown of participants at the sypDs ium according to professions: Public authorities 27% (of which: central state civil service and siih ar 8%, local state civil service ("deconcentré26") 4%, regional and local authorities and assiiint ed establishen nts 15%), consultancies and evaluation service enterprises 20%, universities/ research centres 32%, international organisations 13%, others 8%).

Cultures,

a réality

This work dmon strat8 the practical utility of recognising cultural diffe flC8 in undestand ing and accompanying the dwe lopmflt of public policy walu ation. The Europân Commission, which has oftfl played a pione role in disseminating w aluation culture (guides and me hods) that may at a time have bfl thought to be unives al, now re OgniS8 and builds on the dives ity of practices and cultures. In he introduction to the first part of the work, Jostte Barruet shows that the European Commission is not a homogenous whole. Evaluation cultures spei fic to âch DirectoratéG fl e al CORist within the institution. Moreove , the innovative approach of the European Commission is manifest in
23The Geman-s puk ing" aluation socie y: http://www.dg..al.de 24 Austria, Bè gium, Came oun, Canada, Dm ocratic Republic of the Congo, Czech Rpubl ie, Dfi mark, England, Finland, Francç Ge many, Gre ce, Hungary, Italy, Irè and, Latvia, Lithuania, Madagascar, Mauritania, M«: ico, Nthela nds, Nige, Poland, Portugal, , Scotland, Slovakia, Spain, Swd fi , Switzerland, the Ukrainç the United States of Arne ica Quebec province 25The appfi ded Strasbourg De laration and network site are to be found at: www.sfe.asso.fr. 26The Fmch national civil sevi ce is prmt at ore y le ctd local authorities. 1" è (rg ional, dp artmfi tal) b& d~

The futues

of evaluation

ait ures in Euope

33

the way it tak8 account of differentiations be wen national contexts when implmnt ing waluat ion measur8 . For Kamp l~ the Diret orate Gneal for Agriculture has dw lope d tools such as the "Evaluation Hè pd8k" so as to promote the developmn t of w aluation capaciti8 for speific local actors rathe than trying to K port its own practices. The Europtln Commission has movd on from the idtl that thee is a single w aluation culture that should be "transferd" to the undestandi ng that a plurality of cultures K ists which should be dw ID ped. Evn prior to discussing wa luation cultures, one should discuss the cultur8 of public intervention itself, which is the subje t of the introduction to the second part by Jtln- Claude Barbier, who contrasts public intervn tion with an w aluation of public policies and traditional public inte vention without w aluation. Trying to intgr ate w aluation in public decision making means taking distance from traditional forms of public inte vention in which administration of public affairs is organisd hiearc hically (in other words in a top-down fashion with little autonomy for actors) and with an insufficint viw to stratg y (since social change from public intervnti on is K pe ted as an automatic response and inadqua te account is takn of the notion of complexity). Neverthel8 s, thee is no such thing as a unive sal culture of w aluation; there are national, local or se toral varirie s; and walu ation culture can be dand as the convegnce of inte national refee nC8 of public managemnt with a spe ific political culture which is itsè f dand as a complK, more or l8s homogo ous systm of inte actions be wen political valu8 and practic8 and institutions which is stable over time. This work is suffusd with the reognition of the divesi ty of w aluation cultures. We prr e to rr e to recognising rathe than to idnt ifying walu ation cultures, since idntifying w aluation cultures requif8 substantial work, of which the Strasbourg symposium and this publication are only one momn t, be it by offring grids for the analysis of w aluation cultures, or by shedding light from a national vantage, or by revealing the process of the me go ce of wa luation cultures.

Learning

through others

Taking cultural dive sity seriously in following up and pursuing the development of the w aluation of public policies is a virtuous principl~ but bg s the qu8ti on as to the optimal way to carry it out. For the aim is not to "take account" of cultural diffe nC8 so as to "surmount" thm ; this would amount to considring thm as a form of resistancet 0 "the" (unives al) culture of w aluation to be inculcatd (as rEr rd to by the ofm usd notion of "acculturation"). An approach through cultural diversity sugg8 ts that thee are, on thec ontrary, diffmti atd forms of w aluation systms adapted to differentiatd political cont«. ts; it sugg8tS moving from the notion of acculturation to a constructivist approach.

34

Genee

I introdution

This posture has a diret impact on dbate s raging in the walua tion community: on the one hand, it calls into question positions in favour of univesa I dBni tions, standards and practic8 (socalled gold standards), and on the other hand, it resituat8 the db ate ove alte nativ8 within the contE t of having to match w aluation systm s and political systm s. This approach, which is infrqua tly applied be ause of its difficulty and comphs. ity, would avoid at mc hment in positions of principle that undemi ne the wa luation community from within. if evaluatim So as to btte r unde stand the advantage of an approach based upon cultural dives ity, here are a few Kam ples of debat8 trigged off by the developmat of the w aluation of public policies. With this in mind, we have divided the subjects of the db at8 into two catg ori8: Fronts for the development

. The type of dbat~

whem tehn ical or political: In the first case, issu8 of me hod and ftlsi bility are addressd ; in the se ond, the dbate concerns value choices and principl8 . Actors in the debate: it is possible to bftlk down the db at8 into two schm atic catgor i8, depending upon the actors conce nd. The debate may be intenal within the walu ation community, understood as the group of pt)p le and institutions convinced of the advantage of w aluation. It may also be Kt e nal if it is positiond betwa the w aluation community and outside actors.

The dB nition of walu ation standards is an K cH at K ample of an inte nal political debate. Should standards be universal or speifi c to tlch country, contE tualisd seto r by sector or deo ntK tualisd; should thy be speifi c or gne al? Finding the answes to th8e qU8tion s ne8sar ily impli8 going by ond technical aspects to value systms , beau se standards constitute a cllicate balance bew a the intmts and Kpe ctations of the various actors in waluati on. The issue of citiza participation, for instanc~ giv8 rise to the K ternal political debate as to how to overcome the reticac e of public actors in intg rating citizas into walu ations. The link bew a walua tion and rlatd activiti8 (such as monitoring and auditing) giv8 rise to an Kten al tehni cal dba te the challenge is to invat management practic8 for dealing with information producd and mobilisd by diffemt prof8 sionals (inspe tors, manages, monitors, auditors or w aluators) and se vic8 within the institutions27. The dwè opma t of mth ods and recognition of the r respetive quality and use trigge s an inte nal tehnical debate. In particular, there at pŒ at K ists a high pro me controversy in the fourth part of the book conceni ng impact walu ation (which tri8 to appraise the diffe a ce betwea a situation obsev d subsqua t to the implm atati on of a policy and the situation that would have ris ted had the policy not ba implma td). Ce tain Pt) ple
27

cf Cahie n04 de la SFE, Évaluation et acfi;lés voisnes: dfférenceset comp/émentariés,2009.

The futues

of evaluation

ait ures in Euope

35

dre nd the ida that K prim a tal me hods alone, particularly based upon random selection, allow for the construction of a counttt actual situation. Others claim that there are diffemt tYP8 of counterfactual analys8, as wH as other rigorous me hods of impact wa luation that do not take recourse to counte factual analysis; th"jl call for me hodological pluralism, with an appropriate combination of methods applied to ach configuration to be wa luatd. This partial oveviw of the dbate s taking place within the community of wa luation of public policies illustrat8 the dive sity of the "fronts" on which public policy waluat ion is bing dwe lopd . It shows their vitality and complexity as a counterpoint to the undoubtedly KC 8 sivè y monolithic and static representtation that had ba sa in the past. Just as in many othe filds , the Kt as ion of w aluation practic8 is a matter of technical and political innovations aimd at resolving difficulties acou nte d "in the fiM ". This is why the devè opmat of w aluation is an opa and dynamic undertaking; and Europan cultural dive sity contribut8 to this pe manent proc8 s of innovation through the opportuniti8 of mutuallaming it provid8 . The strengths and inpe dine nts if cultural db erst y Df'a ding on whth e we are dealing with technical or political dbate s, we distinguish betwe n two forms of mutuallar ning (table 1). In the case of technical debates, the dives ity of w aluation practic8 is a stmg th for dwe loping w aluation; the confrontation with othe ness lads to a multitude of solutions which mmbe s of the w aluation community may use as inspiration, reproduc~ or adapt dl' ad ing upon the r own neds. The wealth of contributions in the fourth part of the book on innovations in methods and tools is a convincing illustration, and by way of introduction Maurice Baslé shows the inted isciplinary characte of the prof8sio n as well as its m ancipation from more historic prof8sion S28. On the other hand, in the case of political dbate s, diffemc8 in cultures may pf8e nt an impd iment to K chang~ since they oppose differing value systms which it may appar difficult to surmount. In this contK t, mutual lam ing d08 not consist of offeing common solutions, as in the case of tehn ical debates, but on the contrary of recognising the advantage of constructing differentiated solutions while taking account of cultural diffemc8 so as to avoid clash8 of positions of principle For instanc~ taking reour se to the notion of instances of w aluation is an innovation which is adaptd to the French systm 29. Similarly, be ause of the peculiar history of govm ment K pe tise in Franc~ the way to get complma tary roles for monitoring and wa luation, citd by Jacqu8 Toulm onde in the introduction to the third part of the book, follows singular paths, wha compard for instance to Britain's National Audit Office or NAO.

28 BASLE M., 2008, Economie et gestion publique) Sun Paris, Economica..

et évaluaron de polli ques et de programmes, nee be Weft

29TOULEMONDE, ., 2000, Evaluation cultu$) J
national practices. Virteljahrshefte

in EurOpE cliffe flee s and convrge
Vol. 69, n° 3, pp. 350-357.

zur Witschaftsforschung,

36
Within the evaluation comm nitv D&ning standards Mt hods of impact walu ation

Genee

I introdution
Impact of cultural differences Impediment Fonn of mual Jeamini! Reog nising cultural diffooce s ExchangE of bEt practiœ

Type of debate Political

External CitizfI participation Artiulating walu ation with related activities

Types of innovation Diffoot iated solutions Common methodologies

Technical

Strog th

Table 1: Taking

account of the cultural diem sion for m tuallearning in the field of evaluation in Europe

Mutuallar ning mak8 it possible to de pen understanding of the impedimflt s to the dwè opment of w aluation. The confrontation with others mah it necessary to take distanc~ to deconstruct and to contIS. tualise what pOS8 a problm locally. The Europan comparison mak8 it possible to fintu ne the analysis. It can, for instanc~ show that the dlicate mobilisation of è ete d officials in onec ontIS.t is relatd to the fa r of being judgd, and in anothe contIS.t to the md iocre quality of wa luations. Mutualla rning finally lads to the de onstruction and reformulation of problm s relatd to w aluation practic8 in Europe. From this vantag~ learning from othe s cannot be rdu ced to the simple transfe of b8 t practic8, a copy and paste ope ation, but represents a systm of permanfl t innovation so as to gain the b8t from the dive sity of IS.pe in C8 while taking account of diffe flC8 in contIS. t, a qU8t for inspiration followd by adapted local implemflt ation. *** This publication is a compilation of a sè eti on of articles that illustrate the divesit y of waluat ion cultures and their contributions to innovation. The first part dal s with the dive sity of the practic8 of the Europan Commission and thir dwè opmn t. The seon d provid8 le mnt s for analysis and the d8Cr iption of cultural dives ity, at a national, rs ional or sectoral level. The third part illustrat8 this diversity in proc8s innovations. Finally, the fourth part takes account of innovations in methods which allow for this cultural divesit y, including in disciplin8 , opfling a path to the manc ipation of w aluation.

ALLOCATION D'OUVERTURE DU COLLOQUE
Evaluatv n and parliamentary
Herbert Bosch
Chairman of the Europan parliamnt's committe on budge ary control at the waluation symposium

oversgh t

Ladi8 and gntlmfi, It is a pleasure and honour for me to have be n invitd to sptlk he e today and I would like to thank the organises for the opportunity to participate in this confe fi ce. Many wa luation rport s make me think of a characte in He nrich Mann's famous novè "De Untetan ", translatd into English as "The Loyal Subjet" or "The Man of Straw". It is Doktor Schf flwi:s who is the Mayor, Bürge meiste , of Ntz ig, the provincial town whe e the story tah place. Doktor Schff!we s points out that due to his position as Mayor he is obligd to conside mattes in an objetive and unprj:ud icd way - "dieDinge objkti v und vorausse zungslos zu be rachten" as he puts it. And he does this by dividing his statm fitS and opinions into two parts: the first bginn ing with "Einestts" and the seond with "Ande estts". On the one hand, and on the othe. In so doing Doktor Schffi wi:s follows the tried and tested formula of "some thing for w cyan E. The m8sage in many walua tion rI' arts can in fact often be compared with a pendulum swinging betwe n: SUCC8Sstori8 and warnings against hasty conclusions; strong claims and appropriate reservations; ce tainty and unce tainty ; Einerse ts, Anderese its.

. . . .

What is an "evaluation"

?

Evaluation means many things to many people Some conside it to be a senseless rg istration and control; othe s would see it as a gathe ing of valuable knowld ge and ltlr ning possibiliti8.

38

Alloe tion d'ouvetue

du 01 loque

I have the honour and the privilge to be the Chairman of the Committe on Budgtary Control in the Europtln Parliama t. This function has an influence on my viw on waluati on. "Where you sit determines wm e you stand", as the Americans say. By prf'ar ing reports to the PIa ary the Committe on Budgetary Control plays a ky role in the Europtln Parliamat's ovesight and control of the EU IS.eutiv e body, the Europtln Commission. The f8 t of my inte va tion will be an outline of a possible answe to the qu8ti on of whethe w aluation can support the European Parliament in supe vising the Europtln Commission and its way of implementing the budge.

The European

CoiR;io

n as initiator

In the EU systm w aluation is mainly unde taka by the Commission, not the Parliament. In 2007 the European Commission inv8t d 19.5 million {If os into 119 rttospet ive waluat ions. Most of the wa luations are carrid out by IS.te nal IS.pe ts. It is the individual Directorat8 Ga e al which are responsible for planning and managing the w aluation of the r programm8 and activiti8 . Managers are the "owne s" of the r own performance w aluation. The Commission consides walua tion to be mainly a "managmn t tool". Managers of programm8 do not ne8 sarily ask the same w aluation questions as stakeholders such as use s, cliats and all others indirectly affetd by the programm~ including lose s. This acknowld groat of course sts limits to the usful n8 s of Commission w aluations for other stakh olders such as the Parliama t and the ga e al public. Why? Beause the initiator, the one who decides whether an w aluation shall be carrid out or not and how the wa luation proc8 s shall be organisd, is in a ve y powerful position with ample opportunity for influaci ng the w aluation results. When you have the powe to dei de what is going to be wa luatd and what is not,

.
. . . . .

. wha

who shall participate in the w aluation, who shall carry out the w aluation, how the proc8 s shall be organisd , which qU8ti ons the wa luation is supposd to answe , which type of wa luation it shall b~
the wa luation shall be carrid out you have vey many ways of ste ring away from troubld wates and getting walua tion f8ults which roona te with your prie fflC8. Drini ng and deidi ng the waluation proC8S is in othe words not a nfltr al proc8S. Th8 e deisio ns have an influace on the walu ation rwlts.

This is why w aluations carrid out by or on bbalf of the Commission may not fully satisfy Parliament's neds for information.

Evaluation and patiamenta)'

ove&ight

39

One

or several evaluation

systems?

Could the curmt systm be opad up to serve sevea I purpOS8 and also Parliamat' s nd s? To a ce tain K tat I think this would be possible The spei alisd committe8 in the Parliamat such as the Committee on Rgi onal Dwe lopment, the Committe on Agricultur~ and so on could be involvd in the programming of w aluation in the r areas of compm ce Mmb e s of th8 e Committe s could also have a say in drin ing the wa luation qU8 tions to be answee d as well as be ng mmbes of a possible steei ng group for the wa luation. The advantage of one systm se ving sw e al purpOS8 is that it would be rè ativè y cha p. The disadvantage is the risk that Mmbe rs of Parliament could be as ily taka hostage for the results of the Commission's w aluations. An w aluation process is complex and many decisions are taka in the course of the proc8 s. Parliamata rians could as ily be ove ruld and ad up with no influence at all.

The European

Court of Auditors

as evaluator

Another possibility would be to Ktad the activiti8 of the Europan Court of Auditors so that it could pe form wa luations on bb alf of the European Parliamat. This dwe lopmat has bea sa in for instance the Unitd Stat8 whe e Congress invited the Governmat Accountability Office to pef orm w aluations in support of congr8sional ovesig ht. In my viw , this is both a possible and logical dw fopmat of the Court' activiti8. Howw e , I do not think it will happa. The Court is an indf'ade nt institution and Parliament has no power to say what the Court shall or shall not do. So it would only happa if the Court itself de idd so. On othe occasions in the past I have had the opportunity of advocating reforms of the Court. I am happy to repeat it in this forum. Due to the internal organizing principle of the institution - one Mmbe r from ach Mmb eState - the Court's dei sion making capacity is se iously inhibitd. 27 diffmt viws can only result in a "low8 t common denominator" de ision. A rduct ion in the numbe of Mmb e s of the Court would be hè pful, but it is doubtful whthe this is sufficiat. It would be much more ffi cia t to change the organizing principle of the Court from a prdo minantly pol# al to a primarily professional one. This might be a structure comprising a "Collg e of Auditors Ga e al" and a Supe visory Board composd of a Mmb e from ach Mmb e State The Collge of Auditors should probably not have more than five Mmb e s - all prof8si onals. The option of one Auditor Geneal should also be K plord. If this wee the case the Court would be in a position to dei de whether to under ake w aluations for the Parliamat but it is unlikè y that such a dwlop mat will take place in the nar future

40

Alloe tion d'ouvetue

du 01 loque

Parliann

t

as initiator

This brings me to the third option which is to give Parliament the means so that it itslf can undertake wa luations. Some would argue that this would be rather Kpe nsive. Not ne 8 sarily. I will come back to this qU8 tion. The advantage of this option is that thee would be no confusion about who is doing what, who has what opinion and who is paying. This is, in my viw , vey important due to the unfortunate taOOcy to gathe toge he 4ff erent EU institutions with 4ff erent objectiv8 , functions and mandat8 unde the same lab!: Brussels. Brussels is not one institution but ony and I am ready to paya price for less confusion and me clarity. I bè ieve that it would be possible to dwè op an wa luation culture with a strong, democratic viw in and around any parliament and also the Europân Parliamat. A parliamentary w aluation function would try to make transparent to the citiza s what thy are gtti ng for thir many. This objetive is quite diffe at from prd ominantly hè ping the policy systm to justify how it is spading the many. Evaluation should not be brought down to a "managemat tool" as is now the case in the EU system. If production of w aluations is reducd to a routile mainly carrid out by opeational se vic8 due to 19a 1 requirements, or be ause it is Kpe ctd in orde to live up to socalld moden managme nt mthods thee are good reasons for transferring part of the evaluation resources now available for the policy system and its ID nagers over to a parliam ntary evaluation function. How big a part? Wè l, the part which the Commission is now using on too on y low profile evaluations. If this part of the f8 OurC8 were usd in the form of parliamatary waluat ions focusing on the effects of selected polici8 - not the Ke uting managerial units - we would ge more value for many and parliamentary w aluations would not be as K pensive as it at first appârs. My intflti on is not to reduce the oveall amount usd on w aluation. But I do think that some of the resourc8 could be btte usd in the form of parliamatary waluat ions rather than managerial w aluations. Some would say that parliamatary w aluations would just add to the burden of those be ng w aluatd. We already have this problem whe e cofinancd programmes are w aluated by several levels of gOVffimnt. It will inwit ably worsa if Parliament adds its own evaluations to those of the Commission and the Mmb e Stat8. This argumnt should not pNa t furthe considea tion on how Parliamat could dwk>p its own walu ation practice My point is pre isè y that we do not ned more w aluations, but diffe a t, btte and Ewe waluati ans. Parliamnta ry walu ations should not be an addition to the K isting on8 but a rI' lacement of those which mainly serve to comply with bureaucratic manage ial traditions. Parliamata ry wa luation could ah ance the geneal public's insight and knowld ge of the value - or not - of the polici8 of the Union, cmte public db ate and participation, faste pluralism and a European public opinion. The risting set up of w aluation in the Union d08 not faste the public dba te

Evaluation and patiamentaJ'

ove&ight

41

Most wa luations are available on the Commission's websit~ but they do not playa role in the public db ate. Why not? In the Commission there is a tnd n cy to say that Parliament is not inte 8td. l do not agree with that. l tnd to bè iw e that one of the reasons for the poor public db ate on the results of the w aluations could be that the Commission has a vey strong formal, legal, contractual and bureaucratic grip on w aluators which make it impossible or very difficult for w aluators to participate in a public debate afte having carried out an w aluation for the Commission.

Guiding principles function

for a parliamentary

evaluation

What would be the guiding principl8 1.

for a parliamentary wa luation function?

Parliamn tary wa luation should serve as a democratic tool with which activiti8 and policies in the public sector could be critically chek d. It would be reog nisd that thee is nothing like a "natural", "right" or "wrong" final rply , that the knowld ge one is looking for will depend on inte 8 ts and that the qU8ti ons you ask also determine the rpli 8 you ge. Parliamnta ry wa luation would dwlop the initiators'capacity and compm ce as regards definition of the wa luation qU8 tions be ause the speifi cation is not a te hnical but a political task. Beause w aluation is a long and costly proc8 s parliamentary wa luation would restrict wa luations to artls whe e thy would make a diffe nc ~ that is to say to artls whe e the e is a political will and room for possible changes.

2.

3.

4.

Despite the many w aluations carried out by both the Commission and national authorities the Common Agricultural Policy has not changd fundamentally over the years. To r8tr ict w aluation to whe e it makes a difference is ve y diffe nt from the curmt formal and legal rq uirement to unde take w aluation as K pf8S d in Article 27 paragraph 4 of the Financial Rgu lation. Parliamentary wa luation would also addf8s issu8 by-on d the inte 8 ts of direct stakeholders. It would in particular promote participatory w aluation in which the voice of those affe ted by a public policy would be heard.

This objective - to ha r as many voic8 as possible - is ve y diffe nt
from the official objet ive of waluat ion Kpf8S d in the Financial Rgu lation, whee it is stated that the objetive of waluati on is "to improve deisionmaking". It is inte8ting to note that the Financial Rgulation claims it is a givn fact that the e is an instrumentallink bw e n w aluation and improvd de isionmaking. Is this rilll y the cast Most w aluation researchers sem to agree that in rlat ion to the norm ous numbe of walu ations be ng producd

42

Alloe

tion d'ouvetue

du 01 loque

only in a few caS8 have w aluation f8 ults had any demonstrable the subsq unt de isions on the programme unde w aluation.

influnce

on

Challenges

for the future

Ladi8 and Gentlm n. Allow me to finish with two short considerations conce ning potnti al future dwè opmn ts. Prrifèssimal standards

The e is alrtld y strong co ope ation be wen wa luators and acadm ic institutions. In fact, w aluation draws from a wide spe trum of spe ific academic artls such as eono mics, statistics, law, management, political science as wH as psychology, sociology and anthropology. Evaluation is in other words an inte disciplinary activity. As such thee is a nd for developing strong prof8ssional standards therby providing clients and uses with a quality assurance control. Prof8si onal standards are usms if they are not adhed to. Evaluators should be ready to lose a clin t now and then in orde to uphold the rf'utation of the prof8s ion. Closer cooperatim wih parlilmentarim s

Finally the second challenge closer coope ation with parliamnta rians. To the Rtflt in which parliamntar ians find w aluation a usfu I tool in R e cising parliamntary ovesig ht and control of the Re cutive body these parliamentarians will nd prof8si onal assistance Parliamentarians will have to learn, among other things, how to deal with waluati on: How can it be usd ? How should w aluation criteria be decidd?

. .

I bhw e that grtlte r coopeati on bew e n waluat ors, acadmic institutions and parliamentarians would be a positive dw la pment. If such coope ation could be 8 tablishd from the outse in orde to look backwards it could thn in a second stage be a very powerful instrument in developing public policies for the future Much public policy development is now in the hands of the policy systm and its manages. In many cases a parliamnt's role is limited to one of rtlct ion to what govmme nts and managers propose. Can we be sure that the policy systm is asking the right questions? Not always, I'm afraid. Only free research, that is to say f8 arc h that is not rq u8td and not controlld , can produce the right qU8ti ons. By idntif ying th8 e questions walu ators and academic institutions could hè p parliamentarians to have a bigge say on the future development of public policy. I wish you all a SUCC8 sful and profitable confe nce Thank you ve y much for having givn me the opportunity to spak to you today and thank you for your attnt ion.

PARTIE l

ÉVALUATION DES POLITIQUES DESPROG~MESEUROPÉENS EUROPEAN PROGRAMMES AND POLICIES EV ALUATION

ET