L'évaluation de politiques

De
Publié par

Publié le : dimanche 1 janvier 1995
Lecture(s) : 282
EAN13 : 9782296309289
Nombre de pages : 256
Voir plus Voir moins
Cette publication est uniquement disponible à l'achat

L'EVALUATION DE POLITIQUE USAGES SOCIAUX

COLLECTION

"Logiques Politiques"

Dirigée par PIERRE MULLER

Dernières parutions:
11 MABILEAU Albert, A la recherche du local, 1993. 12- CRESAL, Lesraisonsde l'actionpublique.Entre expertise et débat,
1993. 13 BERGERON Gérard, L'Etat en fonctionnement, 1993. 14 - MENY Yves (00.), Les politiques du mimétisme institutionnel. La greffe et le rejet, 1993. 15 DELCORDE Raoul, Le jeu des grandes puissances dans l'Océan Indien, 1993. 16 HUDON Raymond et FOURNIER Bernard (sous la direction de), Jeunesses et politique, T.I : Conception de la politique en Amérique du Nord et en Europe, 1993. 17 - HUDON Raymond et FOURNIER Bernard (sous la direction de), Jeunesses et politique,T.II : Mouvements et engagements depuis les années trente, 1993. 18 - GERBAUX Françoise, La montagne en politique, 1994. 19 - HECKL Y Christophe et OBERKAMPF Eric, La subsidiarité à l'américaine,quels enseignementspour l'Europe ?, 1994. 20 FONT AINE Joseph et LE BART Christian (sous la direction de), Le métier d'élu local, 1994. 21- JOBERT Bruno (sous la dir.), Le tournantnéo-libéral en Europe. Idées et pratiques gouvernementales, 1994. 22 PONGY Mireille, SAEZ Guy, Politiques culturelles et régions en Europe, 1994.

-

-

-

-

23 - BALME R., GARRAUD P., HOFFMANN-MARTINOT V. et
RIT AINE E., Le territoire pour politiques: variations européennes, 1994. 24 - MÉNY Y., MULLER P., QUERMONNE J.-L. (eds), Politiques publiques en Europe, 1995. 25 BRUGIDOU Mathieu, L'élection présidentielle, 1995. 26 - SABOT Jean- Yves, Le syndicalisme étudiant et la guerre d'Algérie, 1995. 27 LE NAËLOU Anne, Politiques européennes de développement avec les pays du Sud, 1995. GRÉMION C., MOUHANNA C., Le sous-préfet à la ville, 1995. 29 FAURE Alain, La construction du sens dans les politiques publiques, 1995. 30 SPENLEHAUER Vincent, L'évaluation de politique, usages sociaux, 1995.

-

-

-

Vincent SPENLEHAUER
'\

L'EVALUATION DE POLITIQUE USAGES SOCIAUX Trois études de cas d'évaluation

Editions L'Harmattan 5-7, rue de l'Ecole-Polytechnique 75005 Paris

Remerciements: Je tiens à exprimer toute ma gratitude à Nadège Bouquin, Bernard Jouve, Gilles Pol/et et Didier Renard pour toute ['aide qu'ils m'ont apportée.

@ L'Harmattan, 1995 ISBN: 2-7384-3671-4

INTRODUCTION PRESENTATION "Evaluer les politiques publiques consiste à mesurer les effets qu'elles engendrent et à chercher si les moyens juridiques, administratifs et financiers mis en oeuvre produisent les effets qu'on en attend." Ainsi commence le texte du décret n090-82 du 22 janvier 1990 relatif à l'évaluation des politiques publiques signé par le Président de la République François Mitterrand, le Premier Ministre Michel Rocard, le ministre de l'Economie et des Finances Pierre Bérégovoy, le ministre de la Fonction Publique et des réformes administratives Michel Durafour, le ministre de l'Intérieur Pierre Joxe, le ministre du Budget Michel Charasse, et le secrétaire d'Etat auprès du Premier Ministre chargé du Plan Lionel Stoléru. Les membres du gouvernement cités sont officiellement chargés de l'exécution de ce décret, qui vise principalement à instituer un dispositif national d'évaluation des politiques publiques. Celui-ci est constitué du Comité interministériel d'évaluation (CIME) qui suscite, enregistre et arrête les projets d'évaluation à caractère interministériel, du Fonds national de développement de l'évaluation (FNDE) et du Conseil scientifique de l'évaluation (CSE) qui veille à la qualité méthodologique et déontologique des évaluations conduites. Plus loin dans le texte du décret, il est stipulé que les "opérateurs publics ou privés chargés de l'évaluation [,,] peuvent être retenus à l'intérieur d'une gamme très large: corps d'inspection, services d'études et de recherche des ministères, universités, cabinets d'audits, etc. ", que "le Conseil d'Etat, la Cour des Comptes et le Médiateur de la République 7

pourront soumettre au CIME des projets d'évaluation", que "le Commissariat général du Plan prépare les décisions du CIME, et, d'une façon plus générale, anime le développement de l'évaluation dans l'administration." et enfin que "le Gouvernement, tout en organisant un pôle d'évaluation autour de l'exécutif, souhaite que la politique de l'évaluation puisse s'étendre aux autres instances ayant à concevoir ou à mettre en oeuvre les politiques publiques, qu'il s'agisse du Parlement ou des collectivités locales.".

Le 13 juillet 1990, le Président de la République vient en personne installer le CSE dans les locaux du Commissariat général du Plan. Malgré la faiblesse des moyens humains, matériels, légaux et financiers alloués au tout nouveau dispositif national d'évaluation des politiques publiques, nombre d'observateurs s'intéressant à la chose publique supposent que la "violence symbolique" de cette institutionnalisation fournira à la politique publique qui s'y rattache une légitimité suffisante pour qu'elle puisse être mise en oeuvre et produire des effets à peu près conformes aux attentes de tous ceux qui ont participé de près à l'élaboration du décret. Mais gouverner par décret a-t-il encore véritablement un sens? Ces attentes formaient-elles un ensemble assez cohérent pour être nanties du statut et de la capacité de mobilisation d'une seule et même "ardente obligation" de modernisation de l'Etat, rapprochant ce dernier des citoyens et de leurs exigences démocratiques? Ce décret relevait peut-être de la non-décision par incapacité de trancher entre différentes conceptions antagonistes de la réforme de l'Etat. Ces questions méritent d'être posées car, quatre ans après la parution du décret, le bilan de son application laisse quelque peu perplexe et appelle un jugement qui a toutes chances d'être mitigé. Selon Jean Leca, président du CSE, la pratique de l'évaluation demeure à un niveau encore modeste1. Les débats sur l'évaluation des politiques publiques semblent s'essouffler et tourner en rond, au point qu'elle est de plus en plus perçue comme une mode administrative sur le
1 Cf. CSE, L'évaluation 1994, Paris, p. 10. en développement 1993, La documentation Française, mars

8

déclin, un éphémère effet de conjoncture administrative. Mais, de toute façon, peut-on convenablement juger du phénomène étatique "évaluation de politiques publiques" en n'en étudiant que les expressions institutionnalisées au sommet de l'Etat? Ce livre propose d'aborder la question générale de l'évaluation des politiques publiques en France en développant une réflexion sociologique sur les pratiques concrètes de l'évaluation de politique en France (et accessoirement en Europe communautaire). Il se base sur des recherches que nous avons menées ces trois dernières années sur ce thème. Il ne s'agit en aucun cas d'un manuel d'évaluation de politique. L'ambition du présent ouvrage se situe à un niveau analytique et non normatif. MOUVEMENT GENERALDULIVRE Globalement, nous tentons d'apporter un certain nombre d'éléments de réponse à la question suivante: "Quelle est la ::::=---significationhistorique, sociale, et politique des discours et des pratiques relatifs à l'évaluation de politique publique ?". Toutefois, étant données, d'une part, l'étendue du champ à couvrir et, d'autre part, notre volonté de fonder notre propos sur des bases empiriques solides, nous avons choisi d'organiser ce livre comme une mise en parallèle simple de deux phénomènes évaluatifs bien spécifiques. Il s'agira ainsi dans un premier temps (Chapitre I) de mieux cerner ce que nous appellons le "thème" de l'évaluation, à travers la formulation d'une hypothèse surplombante sur la littérature qui s'y rapporte mais surtout par l'examen de la genèse de la préoccupation officielle d'évaluation. Dans un second temps (chapitre II, III, et IV), nous nous immergerons dans le monde des proc.essus concrets d'évaluation (ce que nous appellerons la "pratique de l'évaluation"). Sera discutée en conclusion la cassure qu'il est difficile de ne pas constater entre ces deux phénomènes évaluatifs, cassure qui remet notamment en question la possibilité d'une politique publique classique d'évaluation de politique en tant qu'axe de réforme de l'Etat français. "Que signifie historiquement, socialement, politiquement le fait de parler publiquement ou de faire publiquement de l'évaluation de politique ?". Malgré la simplicité de son énoncé, 9

cette question s'applique indéniablement à un champ de pratiques vaste, dense et complexe. En conséquence, dans un effort de resserrement d'objet, nous nous sommes principalement attaché dans le corps du livre à n'identifier et n'analyser que les différentes logiques sociales, institutionnelles et politiques qui sont à l'oeuvre lorsque l'évaluation d'une action publique est prétendument effectuée. Nous fondons notre propos sur trois monographies détaillées de processus concrets d'évaluation de politique. On entendra par pratique d'évaluation tout processus dans lequel un certain nombre d'acteurs individuels, représentant différentes institutions, se sont officiellement ou publiquement engagés afin de produire l'évaluation d'une action publique2 qui les concerne. Notre recherche s'inscrit de fait et "d'abord" dans l'ensemble de la littérature disponible sur le thème de l'évaluation des politiques publiques en France. Néanmoins, il apparaîtra rapidement que le propos que nous voulons construire sur quelques cas d'évaluation a toute chance d'être décalé par rapport à la norme discursive propre au champ socio-politique de l'évaluation en France. Aussi s/est-on attelé au début du premier chapitre à qualifier cette norme. Plus précisément, nous allons asseoir l'hypothèse selon laquelle les pratiques non discursives3 d'évaluation n'ont pas encore véritablement obtenu le statut d'objets digues d'attention et d'analyse. Il semble que cela résulte du fait que la plupart des "tribuns" français de l'évaluation de politique sont jusqu'à présent restés prisonniers d'une axiologie se fondant sur la proclamation de l'impérieuse nécessité d'articuler au moyen d'une politique d'évaluation le problème du rendement de l'Etat avec celui du renouveau démocratique (renforcement de l'Etat de droit, écoute des usagers des services publics, responsabilisation des agents de l'Etat, etc).

2 Nous endossons pour l'instant la défmition de l'évaluation fonnulée décret 22 janvier 1990 relatif à l'évaluation des politiques publiques.

dans le texte du

3 Par "pratiques non-discursives de l'évaluation" nous entendons tout ce ~ui est "évaluation d'une politique publique" en opposition avec les pratiques discursiveS d'évaluation qui relèvent d'une activité d'énonciation de ce qu'est l'évaluation des politiques publiques m 2énéral.

10

Obnubilé par cette axiologie, on oublie rapidement que l'évaluation de politique a pu exister et existe encore en dehors de cette conscience collective relativement restreinte qui s'exprime dans les diverses tribunes scientifico-administratives (colloques, s~res, conférences,...) portant sur le thème de l'évaluation de l/politique. Ainsi a-t-on eu tendance à considérer que l'évaluation tenait plus lieu d'un livre à écrire que d'un livre à lire, difficilement de surcroît, car ses pages se sont éparpillées au gré des différents vents qui ont balayé l'univers administratif français depuis que l'on parle d'évaluation. La recherche que nous présentons ici correspond en fait à une première étape pour faire se rencontrer deux approches "lourdes" de l'évaluation des politiques publiques en France. La première approche est celle de l'histoire sociale, de la socio-genèse de cette étiquette "évaluation des politiques publiques" que l'on appose sur des rapports, des articles, des décrets, des invitations à des colloques, sur des conversations, des communications, des invectives verbales au sein de réunions de travail, etc. Elle seule peut limiter les risques d'un trop grand éclatement des multiples significations sociales et politiques qui sont accolées à l'évaluation des politiques publiques en France et se bousculent dans l'esprit de l'observateur. Le terrain privilégié de cette approche se situe bien entendu dans la haute administration. Depuis quand parle-t-on d'évaluation? Le premier chapitre du présent volume est presque entièrement consacré à cette question. C'est à cette occasion que nous tenterons de convaincre le lecteur de l'utilité d'un recours à la démarche historique. Elle permet de dépasser certaines idées reçues trop globalisantes concernant l'évaluation, notamment celles qui en font l'expression d'une nécessité historique majeure pour l'Etat moderne, expression formulée au moyen des concepts de l'analyse des politiques publiques. En définitive, il semble que c'est en analysant les rapports de filiation socio-historique entre l'évaluation des politiques publiques et le mouvement de "Rationalisation de choix budgétaires" (RCB) que l'on découvre les éléments de problématique les plus judicieux quant à la manière d'aborder le phénomène évaluatif français dans son entier. 11

Nous pensons que se perpétue avec l'évaluation le même type de tropisme scientifique "centro-centré" qu'avec la RCB. Le thème de l'évaluation, à l'instar de celui de la RCB, s'est construit comme un champ de controverses portant sur la technicisation de l'art de gouverner depuis le centre4 ou, en d'autres mots, sur la question de la gouvernabilité et de sa technologie administrative. Comme pour la RCB, les dynamiques spécifiques qui se développent dans des arènes politico-administratives non centrales et qui s'étiquettent "évaluation des politiques publiques" n'ont guère attiré l'attention. Le présent ouvrage rend compte d'un travail de déchiffrage des pratiques non centrales d'évaluation que nous avons effectué en tournant volontairement le dos à l'aveuglante question du centre et aux questions spéculatives qui s'y posent. L'histoire de l'émergence du projet politique "évaluation" au niveau politico-administratif central doit être en effet complétée par une étude des pratiques effectives d'évaluation dans des champs d'action publique où la haute administration ne joue qu'un rôle limité. C'est là qu'intervient la seconde approche lourde de l'évaluation, focalisée sur l'examen des usages politiques qui entourent les pratiques administratives étiquetées "évaluation de politiques publiques". Il convient en effet d'analyser ces pratiques pour savoir si le projet politique "évaluation" a eu, a ou aura des retombées concrètes ou, autrement dit, s'il relève d'une utopie plus ou moins structurante dans le champ étatique. Le thème de l'évaluation peut être appréhendé comme le résultat de la production de préceptes d'évaluation dans des conditions historiques et institutionnelles qui ne sont pas celles de la mise en oeuvre de dispositifs concrets d'évaluation de politique. Ainsi, par exemple, il est prescrit que l'évaluation se distingue d'autres pratiques d'expertise parce qu'elle met l'accent sur la nécessité de mesurer et non de prévoir les effets réels de l'action publique. Il est dès lors intéressant de s'interroger sur ce
4 Par cen1re, on désigne un ensemble institutionnel comprenant le gouvernement, les cabinets ministériels, les administrations cen1rales avec au premier chef celles du ministère des Finances, les instances collégiales présidant au destinées des grands corps d'Etat, etc.

12

qu'il advient de cette spécificité de l'évaluation lorsqu'elle est pratiquée; comment cette spécificité se traduit-elle dans l'action évaluative ? En outre, au degré supérieur, on peut chercher à savoir comment les acteurs de mise en oeuvre des évaluations vivent leurs propres capacités de traduction de la spécificité thématique de l'évaluation. On peut également formuler quelques hypothèses sur les rapports (ou les non-rapports) qu'entretiennent ceux qui ont édicté un précepte d'évaluation avec ceux qui les traduisent, les pervertissent, les neutralisent ou les épurent. L'enjeu se situe donc dans la combinaison d'une approche qui décortique des processus concrets d'évaluation en soi (et qui nous contraint à ne pas prendre pour argent comptant tout un ensemble de discours normatifs dans le champ politicoadministratif) avec une approche permettant de mieux situer dans le temps et l'espace politico-administratif ces processus les uns par rapports aux autres. Cela appelle toutefois deux remarques. Premièrement, les trois cas concrets d'évaluation, auxquels la majeure partie du livre est dévolue, sont des cas socialement objectivés de manière large comme étant "d'évaluation de politiques publiques". On ne peut pas en dire autant, par exemple, du travail de tel inspecteur général ministériel qui, en accord avec certains cercles de son entourage professionnel, pense faire de l'évaluation. Ce type de pratiques d'évaluation disposant d'une objectivation sociale _/_limitée n'est pas abordé dans le présent ouvrage alors qu'il incarne peut-être certains rapports indirects entre les pratiques d'évaluation "véritables" que nous allons étudier et le projet politique de l'évaluation dont nous allons tenter de retracer l'histoire dans le premier chapitre du livre. C'est pourquoi nous avertissons le lecteur que ce volume n'est qu'une étape dans la reconstitution d'un puzzle que l'on a choisi précisément de reconstituer "par les deux bouts"5.

5 De fait, nous pensons que le présent livre pOUlTait être lu et considéré comme "un petit bout de chemin" effectué à l'intérieur d'une démarche globale du type de celles qu'ont suivies L. Bo1tanski au sujet des "cadres" (Les cadres,' la formation d'un groupe social, Eds. de Minuit, Coll. le Sens Commun, Paris, 1982) et, plus récenunent, A Desrosières sur la statistique (La politique des grands nombres. Histoire de la raison statistique, Eds. de la Découverte, Paris, 1993). L'évaluation de politique fait en effet partie de ces construits

13

sociaux dont on ne peut nier qu'ils signifient quelque chose pour de nombreux agents du champ politico-administratif uançais, mais que l'on ne parvient pas pour autant à
caractériser immédiatement.

14

Chapitre I LE THEME DE L'EVALUATION
ELEMENTSD'APPROCHE A n'en pas douter, la "politique publique" d'évaluation des politiques publiques représente une question complexe. Elle ne relève en tout cas pas du schéma linéaire simple de la célèbre "grille de Jones"6 où se succèdent les phases de mise à l'agenda public d'un problème, d'élaboration d'une réponse, de mise en oeuvre et d'évaluation. Penchons-nous par exemple sur la phase de mise à l'agenda. Quatre ouvrages ont condensé successivement et de façon marquante la constitution d'une problématique officielle de l'évaluation des politiques publiques. Il s'agit: - des actes du colloque organisé par Nioche (J.-P.), Poinsard (R.), L'évaluation des politiques publiques, Ed. Economica, Paris, 1984, qui pour ainsi dire ouvre le débat "gouvernemental" sur l'évaluation en France;

- du rapport Deleau (M.), Nioche (J.-P.), Penz (P.), Poinsard (R.), Evaluer les politiques publiques, rapport pour le Commissariat général du Plan, la Documentation Française, 1986, qui tient plus ou moins lieu de manuel d'évaluation à l'intention des administrations ;
du livre de Monnier (E.), L'évaluation de l'action des pouvoirs publics, Eds. Economica, Paris, 1987, qui tire les leçons de l'expérience américaine et prône une

-

6 Jones (Ch.), An introduction 1970,322 p.

to the study of public policy,

Belmont,

Duxbury

Press,

15

démarche évaluative d'apprentissage collectif (dite "évaluation pluraliste") sur la base d'une confrontation des points de vue des différents décideurs qui animent une politique publique; et enfin du rapport de Viveret (P.), L'évaluation des politiques et des actions publiques, rapport au Premier ministre, la Docwnentation Française, 1989, qui recommande la mise en place d'un dispositif d'évaluation "démocratiquement" centré sur le Parlement et organisant le débat entre de multiples pôles d'expertise évaluative en dehors de l'appareil d'Etat (pôles dont il faudra préalablement favoriser la constitution)? Bien qu'étant le docwnent le plus finalisé quant à l'instauration d'une politique d'évaluation nationale, et bien qu'appelant de par son statut une décision fondatrice du Premier ministre, le rapport de Patrick Viveret n'inspirera pratiquement pas les rédacteurs du décret du 22 janvier 1990. Il Y a eu en fait plusieurs problématisations et plusieurs problèmes évaluatifs susceptibles d'être inscrits à l'agenda public. Ils n'ont pas fusionné et le dernier d'entre eux a même été déconsidéré, alors qu'officiellement, il tenait lieu d'ultime étape avant institutionnalisation. L'ouvrage d'Eric Monnier, quant à lui, n'aura pas non plus servi de base problématique à l'élaboration du décret. Ce n'est que plus tard, en raison de la nomination de son auteur au Conseil Scientifique de l'Evaluation et de sa forte inscription institutionnelle légitime au sein du ministère de l'Equipement, que la démarche d'évaluation pluraliste dont il se réclamait sera pour un temps considérée par un certain nombre d'acteurs influents comme un juste milieu réaliste entre la conception par trop techniciste de l'évaluation qui ressort du rapport Deleau (et alii) et celle, excessivement utopique, préconisée dans le rapport Viveret.

-

7 Les différences de problématiques entre ces ouvrages sont abordées dans Duran (P.), Monnier (E.), "Le développement de l'évaluation en France: nécessités techniques et exigences politiques", Revue Française de Science Politique, vo1.42, n02, 1992, pp. 23561, et de façon plus détaillée dans la seconde édition (1992) de l'ouvrage d'Eric Monnier, Evaluations de l'action des pouvoirs publics.

16

La démarche évoquée ci-dessus, propre au ministère de l'Equipement dont la Direction du Personnel avait opté à partir du milieu des années 1980 pour le développement du modèle "d'évaluation pluraliste" au sein du ministère, sur la base des travaux d'étude et de recherche conjoints du Secrétariat permanent du Plan Urbain et du Centre scientifique et technique du bâtiment n'est pas un cas isolé. Bien avant le décret de 1990, de nombreuses autres administrations françaises ont forgé leur propre conception de l'évaluation, que ce soit dans le domaine de la santé (Agence nationale pour le développement de l'évaluation médicale), de l'université (Conseil national d'évaluation des universités), de la recherche8 (Comité national d'évaluation de la recherche), etc. En 1983, le Sénat et l'Assemblée Nationale se sont conjointement dotés d'un Office parlementaire d'évaluation des choix scientifiques et techniques (OPECST). Le Club Cambon de la Cour des Comptes organise depuis 1986 l'acculturation et le positionnement déontologique et méthodologique de ses magistrats à l'évaluation des politiques publiques9. Ainsi, la nature et la portée de la politique nationale, transversale, interministérielle d'évaluation des politiques publiques décrétée en 1990 ne sauraient être comprises en dehors du champ historiquement "épais" et socialement, politiquement, et institutionnellement polycentrique qu'elle aurait prétendument eu à fédérer.

-

-

Discours normatifs et globalisants Jusqu'à présent, le thème de l'évaluation des politiques publiques a fait l'objet de discours normatifs et globalisants qui nient en quelque sorte la complexité historique et institutionnelle du phénomène évaluatif. En atteste notamment le statut scientifique marginal accordé à l'étude des pratiques d'évaluation de politique au sein de la littérature consacrée à l'évaluation.
8 Cf. entre autres textes l'intéressant article de Restier-Melleray (C.), "Les ambiguités de l'évaluation de la recherche publique en France", Politiques et Management Public, vol. 6, n04 déco 1988, pp. 65-83. 9 Cf. par exemple Club Cambon, "Compte-rendu de la journée d'étude du 17 octobre 1987 sur l'évaluation des politiques publiques", Politiques et Management Public, vol. 6, n"2 juin 1988, pp. 95-186.

17

On pourrait penser que cette lacune scientifique concernant les pratiques de l'évaluation tient au fait que, tout bien considéré, celles-ci ne fonnent pas un analyseur de qualité, constant, pennanent et transversal, de ce vaste terrain de recherche que représentent les interventions de la puissance publique. En effet, toute action publique n'a pas obligatoirement son évaluation alors qu'elle offre toujours son système d'acteurs, son référentiel, sa mise à l'agenda, ses médiateurs, ses enjeux, aux regards circonspects des chercheurs en analyse des politiques publiques (pour ne parler que de ce segment de la recherche en sciences sociales). Fragiles, sporadiques, contingentes dans leur existence même à des ressorts plus profonds et plus stables de l'action publique, les pratiques d'évaluation de politique publique ne seraient pas dignes d'être étudiées sérieusementJO. Mais, après tout, si toute pratique (ou non-pratique) d'évaluation est l'expression de structures et de modes d'action plus ou moins spécifiques à telle ou telle action publique, ne pourrait-elle justement pas faire figure d'analyseur pertinent? C'est ce que nous pensons et c'est en partie ce que nous souhaitons démontrer dans le présent ouvrage. Mais dans ce cas, l'explication du faible intérêt scientifique pour l'étude des pratiques d'évaluation doit être cherchée ailleurs. Il semble que la raison principale tient au fait que l'évaluation s'est d'abord posée en tant qu'enjeu professionnel pour les quelques membres de la communauté scientifique qui s'y sont intéressés. Se sont ainsi manifestés certains intérêts corporatistes scientifiques ou sous-corporatistes (disciplinaires ou d'école), certains problèmes relationnels entre le monde de la recherche, le reste de la société en général et les financeurs publics de la recherche en particulier, qui donnent à voir de l'évaluation une image plutôt réductrice se résumant à la question de la méthode d'évaluation la plus raisonnable - pour ne pas dire "rationnelle", ce tenne étant curieusement jugé péjoratif de nos jours - : "Quel est ou quel serait le modèle pertinent et la méthode pertinente

JO Des changements sont néanmoins perceptibles, ainsi qu'en attestent certaines réponses à l'appel d'oftfes de recherche conjoint du CSE et du Commissariat général du Plan de 1992 sur l'évaluation des politiques publiques.

18

d'évaluation de politique pour la France politico-administrative d'aujourd'hui ?".
.~

En fait, une analyse de la littérature ayant trait à l'examen de cas concrets d'évaluation peut être résumée sous la forme de la matrice suivante :
auteur message possession sectorielle ... ~évaluateur (position de type 'observation participante') 11- restitution d'une analyse d'action publique, baptisée 'évaluation de.... ou 21- exposé séquentiel d'un processus d'évaluation plutôt bien vécu par l'auteur observateur extérieur (position de type 'rupture épistémologique') 12- affichage d'un projet d'étude/recherche baptisé 'd'évaluation de.... 22- analyse fonnelle de dispositifs évaluatifS perçus comme méthodologiquement intéressants 32- analyse fonnelle d'un ou de plusieurs dispositifs d'évaluation considérés comme des échecs

d'une expertise

possession

d'un savoir-faire

d'une autorité en matière d'évaluation de toute action publique critique du savoir-faire et de

l'autorité des autres en matière d'évaluation

31- exposé séquentiel et problématique d'un processus d'évaluation plutôt mal vécu par l'auteur

Il n'y a pas lieu de s'attarder inunédiatement sur les cases Il et 12 de la matrice. Dans ces deux types d'écrits, aucune information n'est donnée sur la substance des processus concrets d'évaluation (en termes sociologiques). Tel n'est pas le cas de la littérature se situant dans la case 21. On est néanmoins obligé de noter que sa scientificité est largement bridée par la relation professionnelle qui lie l'évaluateur-auteur à son commanditaire effectif ou potentiel (ce dernier pouvant être un organisme finançant la recherche ou une administration "décisionnelle"). Dans la case 22, on trouve toute une littérature didactique sur la pratique de l'évaluation. Y est expliqué avec exemples à l'appui comment, via un dispositif d'évaluation, on organise la négociation entre acteurs d'une action publique, négociation qui n'aboutira pas nécessairement à un ensemble de décisions consensuelles mais provoquera au moins des ajustements entre acteurs en connaissance de causes et d'effets. La case 32 recouvre dans une certaine mesure la case 22. Elle met en exergue les contre-exemples à ne pas suivre, les écueils que l'on rencontre et qu'il faut contourner lorsque l'on tente d'appliquer les conseils formulés en 22. Les cases 22 et 32 contiennent en 19

définitive tous les discours nonnatifs et techniques sur la pratique de l'évaluation, discours confirmés par l'évocation succinte de cas réels d'évaluation. La case 31 est à notre sens la plus intéressante. Y sont délibérément relatés des échecs qui sont explicités par une remise en perspective des grands principes généraux de l'évaluation des politiques publiques. Les discours contenus dans la case 31 sont les seuls à rompre avec le "sens commun". Deux types de messages ultimes sont véhiculés par cette littérature: un premier type par lequel on prône un certain nombre de raffinements méthodologiques souhaitables dans la conduite concrète d'évaluations futures (on retombe dans la case 22), un second type dans lequel on suggère que le projet politique global d'instaurer la pratique de l'évaluation dans toutes les sphères de l'intervention publique est impossible ou politiquement tendancieux.11 Une telle classification littéraire peut paraître caricaturale. A l'évidence aucun texte cité ne correspond exactement à la case où nous l'avons mis. De plus, la frontière entre les deux colonnes du tableau n'est pas tout à fait étanche. Enfin, il faudrait aussi tenir compte des textes démarrant hors du tableau et qui, par la suite, prennent position dans le tableau12. Mais il convient en tout cas

11111ustrations bibliographiques des cases du tableau précédent: Case 11 : Le Pen (C.), "Une évaluation du coût des politiques de création d'emplois publics", Politiques et Management Public, vol. nOI, 1983. Case 12 : Terny (G.), "Un essai d'évaluation de quelques effets économiques des politiques sociales", Politiques et Management Public, vol. n03, 1983. Case 21 : Milet (H.), "Contribution de l'évaluation aux ajustèments institutionnels dans le cadre des programmes de développement social des quartiers (DSQ)", Actes du séminaire "évaluation et décision" de septembre 1990, Plan UrbainlCEOPS, 1991. Case 22: Simos (1.), Evaluer l'impact sur l'environnement,' une approche originale par l'analyse multicritére et la négociation, Presses Polytechniques et Universitaires Romandes, Lausanne, 1990, 261 p. Case 31 : Duran (P.), "L'environnement, une affaire d'Etat? Le Parc National des PYrénées Occidentales ou les difficultés de la négociation institutionnalisée.", Annuaire des collectivités locales, Librairies Techniques, 1993, pp. 5-32. Case 32 : Jouve (8.), Monnier (E.), "Les composants-types de l'évaluation", Actes du séminaire "évaluation et jugement" de février 1993, Plan UrbainlLARES, 1994, pp. 53-63. 12 Cf., par exemple, l'article de Gilles Barouch ("Ecologie et action publique", Politiques et Management Public, vol.6 n04, déco 1988, pp. 118-32) qui décrit l'impossible compréhension entre acteurs dans le cadre des incendies de forêt en Corse. G. Barouch conclut qu'une démarche d'audit évaluatif de type pluraliste est néanmoins possible. Il vient

20

de souligner qu'il existe un trait commun entre tous ces pseudoidéaux-types discursifs dont l'argumentation prend appui sur des pratiques évaluatives réelles. Ils mettent tous en avant la question du savoir-faire évaluatif : que doit-il être ou ne pas être? Quelle sont les conditions d'applicabilité de telle ou telle méthode? Quelles compétences sont requises pour être assermenté évaluateur ? Etc. Cela signifie que, dans ces écrits, l'on s'interroge essentiellement sur le réalisme de l'objectif déjà donné, et le plus souvent considéré comme pertinent, de l'évaluation des politiques publiques, à savoir la mise en place pour chaque politique publique d'un dispositif légitime de production de connaissance en vue d'améliorer cette même politique publique selon trois critères: efficacité (atteindre ses objectifs dans une plus large mesure: on examine les effets), efficience (atteindre ses objectifs au moindre coût: on décortique le dispositif de mise en oeuvre qui produit les effets), pertinence (réviser ses objectifs après considération des deux premiers critères) . Ainsi, les cas pratiques d'évaluation évoqués dans la littérature évaluative n'ont pas le statut d'objets scientifiques mais bien plutôt celui d'arguments ou de pièces à conviction dans le cadre d'énonciations13 (et parfois de dénonciations14) normatives quant au développement de l'évaluation en tant que solution à un problème général de qualité de production dans l'ensemble de la sphère politico-administrative française. Cette idée est largement corroborée et étayée par l'ensemble de la littérature française traitant de l'évaluation des politiques publiques en général (et non plus seulement des pratiques). Il en ressort que la question de l'observation des pratiques d'évaluation n'occupe qu'une place marginale. En revanche, le barycentre

conunence à l'extérieur du tableau, y rentre par la case 22 et suggère en conclusion qu'il est capable de se situer dans la colonne 1. 13 Cf., par exemple, l'article fondateur de Nioche (J.-P.), "De l'évaluation à l'analyse des politiques publiques", Revue Française de Science Politique, vol. 32, fevrier 1982, pp.32-61. 14 Cf., par exemple, la brillante critique de l'évaluation pluraliste par Duran (P.), "Les ambigunés politiques de l'évaluation", revue Pouvoirs, 67, 1993, pp. 137-49.

21

problématique de l'ensemble de cette littérature semble se situer assez clairement à mi-chemin entre une interrogation scientifique sur les conditions d'un possible développement de l'évaluation en France et une série de questions-réponses opérationnelles sur les manières de développer l'évaluation (par décret, par le design institutionnel, par des actions pédagogiques, par la création d'un corps d" aluateurs,... ) 15. ev Notre objet (les pratiques d'évaluation) se trouvant en décalage avec la majeure partie de ce qui s'est déjà dit et écrit sur le thème de l'évaluation, il convient de prendre position plus clairement par rapport à cette "majeure partie de ce qui s'est déjà...". Notre ambition ne saurait consister en effet à arborer une certaine originalité par le biais d'un constat sommaire de décalage avec l'existant et de nous arrêter là au milieu du gué. Nous envisageons donc à présent d'aller plus avant, afin de montrer que le désintérêt général pour les pratiques d'évaluation est corrélé avec la fabrication d'une image officielle du phénomène évaluatif en France, image qui ne reflète que très partiellement l'ensemble des réalités que recouvre ce même phénomène dans le champ politico-administratif français. La question des origines de l'évaluation Nous opérons une distinction entre, d'une part, l'analyse du thème de l'évaluation (et, plus profondément de la structuration du champ de controverses que désigne le vocable "évaluation des politiques publiques) et, d'autre part, l'analyse de l'évaluation tout court. Ceci indique notre volonté de nous interroger sur le bien-fondé des idées reçues relatives aux origines de l'évaluation en tant que préoccupation partagée par certains segments sociaux plus ou moins spécifiques des mondes administratif, politique, et scientifique. Prenons par exemple celle de ces idées reçues ou axiomatiques fondatrices de l'évaluation qui consiste à affirmer que cette dernière est fille naturelle et légitime d'une crise
15 On a donc affaire à deux genres d'activités de chercheur, deux genres distincts mais seulement séparés d'un iota: le pronostic scientifique et la prescription d'expert au sujet du développement de l'évaluation de politique en France.

22

généralisée de l'Etat (Etat-providence, Etat technocrate, Etat centralisé, Etat incapable, Etat incompétent, Etat obèse, Etat de trop)16. Dans le cadre d'une sorte de wlgate marxiste inconsciente, l'évaluation des politiques publiques apparaît comme une nécessité historique inéluctable. Elle procéderait d'un ajustement réformateur entre une nébuleuse infrastructurelle appelée "société civile"17 avec ses soubresauts et ses tensions et, d'autre part, une autre nébuleuse, superstructurelle celle-ci, que l'on nomme l'Etat. La force légitimatice de cette superglobalisation de l'évaluation nous invite à sa propre critique et à davantage de circonspection quant aux véritables origines de la préoccupation d'évaluation en France. Il existe une seconde idée bien répandue sur l'évaluation des politiques publiques qui s'emboîte avec beaucoup de facilité dans la première et qui paraît trop évidente. Elle peut se formuler ainsi: si la préoccupation évaluative est fille de la crise de l'Etat, elle est restée à l'état latent, incubateur, jusqu'au moment où ce courant de pensée scientifique appelé "analyse des politiques publiques" lui donne corps, en dessine les contours, en formalise les principes et les conditions de socialisation large dans l'univers politico-administratif. Cette idée repose principalement sur le fait que la plupart des articles et ouvrages généraux en langue française relatifs à l'analyse des politiques publiques accordent une place importante à la question de l'évaluation des politiques
16 Exemples: dans Crozier (M.), Etat modeste, Etat moderne, Fayard, 1987, "L'analyse des échecs successifs de toutes les solutions technocratiques met toujours en évidence les points sensibles de l'évaluation "(p.254), ou dans Monnier (E.Xtextes rass. par). Evaluation des politiques publiques: méthodes et pratiques. Coll. Problèmes économiques et sociaux, La Documentation Française. n0599. 1989, "Depuis les cinq dernières années, les initiatives en faveur de l'évaluation des politiques publiques se sont multipliées en France... Le contexte de rigueur budgétaire et la remise en cause du rôle de l'Etat ont inspiré des tentatives qui... "(p.2). Ou enfm Thoenig (J.-C.) dans "compte-rendu de la journée d'étude du 17 actobre 1987 sur l'évaluation des politiques publiques", op. cit.. "Il est très clair que la demande d'évaluation est née dans un contexte précis: celui de la crise de l'Etat-providence" (p.lOl). 17 Société civile à laquelle il serait permis, grâce à l'évaluation des politiques publiques. non seulement faire son histoire mais également de savoir un peu mieux ce qu'elle fait. de

23

publiques18 et que c'est aux membres de cette petite communauté de chercheurs s'intéressant à l'action publique qu'on a le plus souvent fait appel dans les lieux politico-administratifs centraux de débat sur l'évaluation des politiques publiques. L'évaluation, selon cette idée, prend le statut d'instrumentalisation plus ou moins réussie, mais dans tous les cas inéluctable historiquement, de l'analyse des politiques publiques. Si l'on considère que cette instrumentalisation a tout d'une réussite, on dit que l'évaluation est un "outil d'intelligence politique"19. Si, à l'inverse, elle confine à l'échec, on dit alors qu'elle est un avatar de l'analyse des politiques publiques. Mais peut-être se trouve-t-on ici devant une sorte de "contreeffet de théorie" par lequel les analystes de politiques publiques, en raison de leur participation au champ de controverses de l'évaluation, laissent entendre, par scrupule, suffisance ou défoulement, qu'ils y ont joué un rôle structurant et décisif? Il importera de s'interroger tout au long du livre, c'est-à-dire aussi bien dans ce qui suit sur la socio-genèse du thème de l'évaluation qu'au cours de l'étude des pratiques d'évaluation, sur le statut de référent théorique principal que l'on semble à première vue accorder à l'analyse des politiques publiques. L'aspect flou de ces deux importantes visions concernant le "pedigree" de l'évaluation nous incite à tenter de distinguer dans le discours officiel qui s'y rapporte ce qui relève du "légendaire" de ce qui s'en distingue. Cela suppose d'effectuer un détour historique à la découverte des sources de l'évaluation. Tout d'abord, il nous semble que toute mise en parallèle de la question scientifique de l'évaluation et de celle de l'histoire administrative française a de grandes chances d'aboutir à la conclusion banale suivant laquelle le principe d'évaluation de l'action publique, audelà de son nom, est pour ainsi dire aussi vieux que l'Etat. Depuis toujours des agents de l'Etat se sont posé des questions sur les conséquences ou les effets des décisions publiques. Le
18 Voir par exemple l'article de Nioche (J.-P.), "De l'évaluation à l'analyse des politiques publiques", op. cit. qui date de 1982, et le livre de Mény (Y.), Thoenig (J.-P.), Politiques publiques, coll. Thémis "science politique", PUF, 1989. 19 Pour reprendre la jolie expression de Michel Rocard.

24

principe de l'évaluation est intimement lié à l'existence d'une culture professionnelle propre à la fonction publique, propre à des agents sociaux censés justifier, beaucoup plus que les autres, qu'ils travaillent non pas pour leur seul intérêt particulier mais pour l'intérêt général. Plongeons par exemple dans un des passionnants travaux historiques d'Hélène Vérin20 sur les rapports entre Etat et entreprise(s) en France: "En 1773, une enquête du ministre de la Marine demandait que dans tous les ports on s'appliquât à évaluer les avantages et les inconvénients du recours à l'entreprise dans les différents travaux qui s'y faisaient. Le mémoire du commissaire de marine Vaudricourt répond: "sur la question proposée par le ministre, savoir s'il est plus avantageux de donner les constructions et même les radoubs, ainsi qu'une partie des ouvrages de l'arsenal à l'entreprise, que de les exécuter à la journée du Roy". Le dénommé Vaudricourt affirme que "les ouvrages à l'entreprise semble au premier coup d'oeil présenter plus d'économie et assurer une plus prompte exécution". Mais Vaudricourt se demande si l'appel à l'entreprise ne va pas mettre à mal le lent processus social de constitution des savoir-faire et des métiers qui a pu se développer dans les arsenaux: "...Mais l'entreprise détruit cette union, rompt tous les liens de la parenté. en rapportant tout à l'intérêt présent et personnel, en répandant parmi les ouvriers une jalousie dont la suite donne lieu au désordre et fait naître le dégoût... Peu à peu la pépinière s'éteint, les arsenaux se trouvent dépourvus et les classes elles-mêmes sont dépeuplées". Nous sommes ici confronté à un bel exemple d'évaluation effectuée il y a plus de deux siècles. On peut penser que le jeu hautement ou bassement politique dans lequel se niche l'avis raisonné de Monsieur Vaudricourt importe peu, l'essentiel étant de constater qu'ordre et loisir lui ont été donnés d'argumenter sur le bien-fondé d'une décision publique future, et qu'il semble avoir répondu consciencieusement à cet appel. Cela peut même avoir
20 Vérin (H.), "L'Etat et l'entreprise au 18ème siècle: la "gestion des ressources"", les dossiers Techniques, Territoires, Sociétés, ministère de l'Equipement/DRAST, n027, juin 1994, pp. 89-96.

25

un intérêt théorique. Notre vestige évaluatif ne nous amène-t-il pas par exemple à nous démarquer légèrement de la vision weberienne ou plutôt de son interprétation sommaire excessivement Jltactique" du fonctionnaire, dont "l'honneur consiste dans son habileté à exécuter consciencieusement un ordre sous la responsabilité d'une autorité supérieure, même si - au mépris de son propre avis - elle s'obstine à suivre une

-

-

fausse

voie"21.

Cependant il faut prendre garde à ne pas retomber dans la fabrication d'un discours historique globalisant sur l'évaluation. Il importe de rapporter le phénomène observé à des champs de pratiques concrets et précis. LE MOUVEMENT RCD COMMEATTRACTEUR ETRANGEDU MOUVEMENT EVALUATW L'exemple du commissaire de marine Vaudricourt peut nous servir uniquement en creux et, plus précisément, à reconnaître que l'évaluation en France ne saurait être scientifiquement envisagée comme une nouvelle question de principe pour la chose publique française. L'évaluation telle qu'elle a été débattue dans les années 1980 et finalement institutionnalisée en 1990 sous le gouvernement de Michel Rocard, ne peut être abordée comme l'invention d'un principe tout neuf selon lequel un certain nombre d'agents de l'Etat prendraient soudainement conscience qu'il est de leur devoir de s'équiper techniquement (et institutionnellement, mais cela ne relève-t-il pas du même ordre ?) pour développer l'acuité du regard qu'ils portent sur leur activité, et intégrer dans leur pratique le fait qu'ils sont au service de la société (qui a ses représentants politiques) et non l'inverse. Il nous semble donc plus pertinent de saisir la spécificité du phénomène évaluatif en France à travers l'examen de la spécificité du processus de re-socialisation du principe évoqué ci-dessus dans une configuration sociale et historique particulière aux années 1980 et qui lui a donné le nom "d'évaluation des politiques publiques".
21 Weber (M.), Le savant et le politique, éd. PlolI, coll. 10/18, Paris, 1959, p. 129.

26

En d'autres termes, l'évaluation des politiques publiques, bien qu'elle soit fondée sur un vieux principe idéologique de légitimation de la fonction publique face au politique, présente une dimension nouvelle qu'il s'agit de circonscrire plus précisément. L'apparition du vocable "évaluation des politiques publiques" ne peut être considérée comme un fait gratuit. On doit postuler que l'évaluation des politiques publiques constitue un événement étatique à travers lequel une nouvelle socialisation du principe évoqué plus haut s'est opérée. Se pose dès lors la question classique du degré de nouveauté du phénomène, question que l'on pourrait formuler plus précisément de la façon suivante: "A quelle situation concrète de référence rapporter les éléments de réponse à la question précédente, changement, oui mais par rapport à quoi ?". Ici, procédons en deux temps. Posons-nous tout d'abord et naïvement la question de savoir par rapport à quoi le champ de controverse évaluatif s'est explicitement construit comme nouveau. Puis, dans un second temps, déconstruisons ce discours d'innovation. Le choix de la situation de référence se tourne naturellement vers le phénomène politico-administratif portant le nom de RCB (Rationalisation des Choix Budgétaires). En effet, l'évocation plus ou moins péjorative du projet RCB (et de son grand cousin américain le PPBS22) constitue un élément récurrent dans l'ensemble du discours sur l'évaluation des politiques publiques. Il serait en fait judicieux d'établir l'histoire précise de ces références négatives à la RCB ; une telle recherche excède toutefois le cadre de notre propos. Cela dit, on peut suggérer que ces références se sont peu à peu durcies d'année en année, du fait qu'elles se sont de plus en plus légitimées les unes par rapport aux autres et non plus par rapport à un souci de pertinence concernant la description qu'elles faisaient du mouvement RCB. Pour illustrer de façon succincte cette idée, on se contentera ici de prendre une nouvelle fois comme exemple de départ l'article de J.-P. Nioche (op. cit.) où on lit dans la partie "obstacles socio-politiques" [au développement de l'évaluation],

22 PPBS = Planning-Programming-Budgeting

System

27

Soyez le premier à déposer un commentaire !

17/1000 caractères maximum.