Les nouvelles frontières de l'évaluation

De
Publié par

Dix ans après sa création, la Société Française de l'Evaluation fait le point sur les pratiques d'évaluation initiées depuis vingt ans en France. Ces contributions soulignent leur diversité, leur richesse, leur efficacité, mais aussi les défis à relever : toucher le grand public, développer le savoir sur l'évaluation, diffuser en profondeur une culture de l'évaluation, décloisonner les disciplines et les méthodes, mieux utiliser leurs résultats.
Publié le : samedi 1 janvier 2011
Lecture(s) : 262
EAN13 : 9782336279930
Nombre de pages : 340
Voir plus Voir moins
Cette publication est uniquement disponible à l'achat

LES NOUVELLES FRONTIÈRES DE L’ÉVALUATION 1989 – 2009 : Vingt ans d’évaluation des politiques publiques en France, et demain ?

PAO : Gisèle PEUCHLESTRADE, Cellule d’Assistance à la Publication, Université Pierre Mendès France, Grenoble Création de la couverture : Frédéric SCHMITT, Service Communication, Université Pierre Mendès France, Grenoble

Cet ouvrage est cofinancé par l’Union européenne. L’Europe s’engage avec le Fonds européen de développement régional

Correspondante pour la Société Française de l’Évaluation à l’Université Pierre Mendès France de Grenoble
CLAUDINE OFFREDI Enseignant-chercheur

http ://www.librairieharmattan.com diffusion.harmattan@wanadoo.fr harmattan@wanadoo.fr © 2010, Éditions L’Harmattan ISBN : 978-2-296-13809-4 EAN : 9782296138094

François MOUTERDE et Sylvie TROSA

LES NOUVELLES FRONTIÈRES DE L’ÉVALUATION
1989 – 2009 : Vingt ans d’évaluation des politiques publiques en France, et demain ? Texte d’ouverture de Philippe SEGUIN

Neuvièmes Journées Françaises de l’Évaluation Marseille 2009

L’Harmattan

HOMMAGE À PHILIPPE SEGUIN

L

SOCIÉTÉ FRANÇAISE D’ÉVALUATION (SFE) a eu l’honneur de voir ses Neuvièmes Journées Françaises de l’Évaluation de Marseille (11 et 12 juin 2009), ouvertes par Philippe Seguin, Premier Président de la Cour des comptes.
A

Dans un discours rigoureux et convaincu qui avait mobilisé tous les participants fêtant 20 ans d’évaluation en France et 10 ans de SFE, Philippe Seguin avait expliqué sa vision du développement de l’évaluation des politiques publiques à la Cour des comptes, induit par la révision constitutionnelle de juillet 2008. Il envisageait une adaptation profonde du mode de fonctionnement et des structures de l’institution et espérait que cette réforme contribuerait fortement à l’amélioration de « la culture de la performance » et du « débat public (...), cœur battant de la démocratie ». Ces deux finalités sont au cœur du projet associatif de la Société Française de l’Évaluation. Privée d’un soutien de poids dans cet effort de long terme, la SFE gardera en mémoire les tonalités fortes de Philippe Séguin et souhaite une pleine réussite à Didier Migaud, actuel Premier Président de la Cour des comptes, dans la poursuite de cette œuvre.

Philippe Seguin 1943-2010.

Remerciements

L

S OCIÉTÉ F RANÇAISE DE L ’É VALUATION remercie l’ensemble des personnes physiques et morales qui ont contribué à l’organisation et à l’animation du colloque des 11 et 12 juin 2009 « 20 ans d’évaluation, 10 ans de SFE et demain ? Les nouvelles frontières de l’évaluation » dont est issu cet ouvrage :
A

Les parrains :

Philippe SEGUIN, Premier Président de la Cour des comptes Michel ROCARD, ancien Premier ministre Éric WOERTH, ministre du Budget, des Comptes publics et de la Fonction publique, Didier MIGAUD, Président de la Commission des Finances de l’Assemblée nationale, Jean-François COPÉ, Président du groupe UMP à l’Assemblée nationale ;
Les partenaires :

Afigese, Agence de l’Eau Rhône-Méditerranée-Corse, Agence Française de Développement, Assemblée des Départements de France, Association des Régions de France, Caisse d’Allocations Familiales des Bouches-du-Rhône, Centre d’analyse stratégique, Conseil général des Bouches-du-Rhône, Délégation interministérielle à l’Aménagement et la Compétitivité des Territoires, Direction de l’Animation de la Recherche, des Études et des Statistiques, Direction générale du Trésor et de la Politique économique, France Qualité Publique, Institut de la Gestion publique et du développement économique, Ministère de la Santé et des Sports, Région Provence-Alpes-Côte d’Azur, Ville de Marseille.

8

Les animateurs et les membres des comités de programme et d’organisation :

Juliette AMAR, Gaëlle BARON, Maurice BASLE, Magali BENCIVENGA, Annie BOUDER, Stéphanie BRETON, Sophie BROCHIER, Jean-René BRUNETIERE, Guy CAUQUIL, Olivier CAUSSE, Arnaud de CHAMPRIS, Dominique DAMBERT, Jocelyne DELARUE, André DUCOURNAU, Philippe LANGEVIN, Anne LAUTREDOU, François LECOUTURIER, Marie-Claude MALHOMME, Clémentine MOUILLERON, François MOUTERDE, Paul OHANA, Maurice PARODI, Bernard PERRET, Jean-Pierre PERRIN, Éric PLOTTU, Pierre RALLE, Françoise RAVOUX, Daniel RIGAUD, Laure TOUGARD, Sylvie TROSA, Jacques TOULEMONDE, Claire TOURMEN, Frédéric ZAHM.
Les soutiens :

Eureval, groupe Amnyos, Planète Publique, ADE, groupe Edater, Geste, E.C.s, Cabinet CIRESE

Parrainage de Michel ROCARD, ancien Premier ministre

L’ÉVALUATION DES POLITIQUES PUBLIQUES
EST UNE CLÉ DU BON FONCTIONNEMENT DE LA DÉMOCRATIE

L

y a montré longtemps une particulière inaptitude. Notre réflexe généralisé de méfiance a largement aggravé tout au long de notre histoire l’intensité de la centralisation, et sa concrétisation par le contrôle comptable, arme principale de nos « grands corps » d’État. Or, le contrôle comptable est profondément différent de l’évaluation, s’il ne lui est même pas franchement antagonique. Je revendique la fierté d’avoir fait adopter le texte législatif qui stipule que toute politique publique doit pouvoir être évaluée. La légalité d’une dépense n’a rien à voir avec son effet économique et social. Qui plus est les évaluateurs ne doivent pas à titre principal s’inspirer des méthodes du contrôle comptable. Il leur faut inventer les leurs. De là découle l’intérêt de faire participer les organismes privés à l’évaluation des politiques publiques. Voilà qui met en cause le monopole de nos grands corps. C’est là la source principale des difficultés que rencontre l’évaluation pour trouver sa voie dans le maquis de nos activités publiques. C’est pourquoi je salue le gros travail de la Société Française d’Évaluation, et souhaite un bon déroulement à ce colloque sur les nouvelles frontières de l’évaluation.

A FRANCE

Michel ROCARD

Parrainage de Jean-François COPÉ, Président du groupe UMP à l’Assemblée nationale

H

ors des obligations communautaires, la pratique évaluative française est encore très embryonnaire. Elle semble plutôt répondre à une logique de coup par coup plus qu’à une doctrine claire et à une volonté de systématisation. À mon sens, les freins au développement de l’évaluation en France sont d’origines diverses : La faible culture du résultat aussi bien dans les administrations que dans le milieu politique, La difficulté à raisonner en termes de Valeur Ajoutée d’une politique par rapport à une situation antérieure, La résistance des administrations mises en cause, Et jusqu’à présent, un manque d’intérêt des parlementaires même si avec les changements actuels dans la pratique institutionnelle, les parle-mentaires se rendent compte que leur rôle a changé et qu’ils ne sont plus uniquement là pour voter la loi. Cependant, aujourd’hui un certain nombre de facteurs favorables sont réunis pour favoriser le développement de l’évaluation : La diffusion de la culture de la performance avec la LOLF, Les contraintes budgétaires qui obligent l’État à faire tout aussi bien voire mieux avec moins de moyens, L’affirmation que la recherche de l’efficacité fait partie intégrante de l’exercice du pouvoir gouvernemental, L’obligation pour le gouvernement à compter du 1er septembre prochain d’accompagner ses projets de loi d’études d’impacts, Et surtout la volonté des députés de changer de « métier » et de consacrer plus de temps au contrôle de l’action gouvernementale et moins au vote de la loi.

12

Ainsi, l’une des plus grandes avancées de la réforme des institutions a été de confier au Parlement une nouvelle compétence d’évaluation. Je pense, en effet, que la vraie modernisation pour notre Parlement, ce n’est plus de se contenter de légiférer, même mieux et moins, mais surtout de s’attacher à évaluer et à contrôler les politiques publiques pour mesurer leur efficacité et ce qu’elles ont changé ou pas dans la vie quotidienne des Français. À l’heure où l’obligation de résultats fait partie intégrante de l’exercice du pouvoir, les parlementaires ont un rôle éminent à jouer dans la pédagogie de la réforme, pour rendre compréhensible l’action et lisibles les résultats. Aucun organe de contrôle n’est donc plus légitime que les parlementaires, représentants du Peuple français, pour évaluer et contrôler l’action publique. Or, jusqu’à présent, force est de constater que les résultats des dispositifs d’évaluation mis en place par le Parlement se sont souvent avérés décevants. Le mode de fonctionnement du Parlement et son manque de moyens l’ont empêché d’aller véritablement au-delà du seul contrôle budgétaire pour porter un jugement politique, au sens noble du terme, sur la mise en œuvre des grands projets gouvernementaux et s’assurer qu’ils portent leurs fruits. C’est pourquoi, dans le cadre de la réforme du Règlement de l’Assemblée nationale, j’ai proposé d’aller plus loin en structurant cette mission d’évaluation autour de 3 axes : l’évaluation ex ante à travers les études d’impacts, le contrôle d’application des lois votées pendant leur mise en œuvre allant au-delà du travail actuel des rapporteurs qui assurent un contrôle pendant six mois et l’évaluation a posteriori pour mesurer les résultats des politiques conduites. C’est tout l’enjeu de la création du Comité d’évaluation et de contrôle des politiques publiques qui associera des députés de l’opposition et de la majorité car l’évaluation relève, pour moi, d’une logique transpartisane et n’aura de sens que si l’opposition y prend toute sa part comme dans toutes les grandes démocraties. Ainsi, la nouvelle compétence d’évaluation du Parlement pourra être considérée comme efficace si elle réussit à remplir trois objectifs prioritaires : Améliorer la qualité et l’utilité des textes de loi, Changer le rôle du député, Aider le gouvernement à réformer notre pays au bénéfice des Français.

Sommaire

HOMMAGE A PHILIPPE SEGUIN ................................................................... 5

Introduction : les nouvelles frontières de l’évaluation en France ........................... 17 François MOUTERDE et Sylvie TROSA

PARTIE I..................................................................................................................... 25 1989 – 2009 – 2019 : l’évaluation en France, enjeux pour l’avenir et leçons du passé CHAPITRE 1 ........................................................................................................... 27
Les enjeux de l’évaluation en France pour les 10 ans à venir

La nouvelle place de l’évaluation à la Cour des Comptes ........................................ 29 Philippe SEGUIN Un nouvel organe de l’Assemblée nationale consacré à l’évaluation : le Comité d’évaluation et de contrôle des politiques publiques ................................................ 43 Philippe DAUTRY L’évaluation au service de la gouvernance démocratique ........................................ 51 Table ronde animée par Guy CAUQUIL Scénarios pour l’avenir de l’évaluation en France ..................................................... 71 Maurice BASLE CHAPITRE 2 ........................................................................................................... 87
Les leçons du passé au service des enjeux

Actualité des débats d’origine....................................................................................... 89 Patrick VIVERET Regards sur 20 ans d’évaluation à la française ........................................................... 97 Bernard PERRET

14

Les leçons du passé au regard des enjeux actuels.................................................... 107 Débat animé par Gaëlle BARON L’expérience du Conseil général du Gard................................................................. 117 Damien ALARY Comment profiter des expériences étrangères ? L’évolution des démarches d’évaluation au niveau international.......................... 123 Sylvie TROSA

PARTIE II ................................................................................................................. 137 Les pratiques à promouvoir Introduction de Gaëlle BARON ................................................................................ 139 CHAPITRE 3 ......................................................................................................... 145
Un plus grand portage de l’évaluation par les acteurs

Les élus comme « parties prenantes » dans la démarche généralisée d’évaluation de la Région Rhône-Alpes.......................................................................................... 147 Henri JACOT et Nello VERICEL L’évaluation : un champ en voie de professionnalisation ...................................... 163 Laure VALETTE et Juliette LENGLOIS Passer de la création à la stabilisation de la mission évaluation : l’expérience de l’Agence de l’eau Rhône-Méditerranée-Corse .................................................... 179 Philippe DUPONT et Anne LAUTREDOU Comment favoriser l’appropriation des évaluations par les élus : le cas des politiques locales de développement territorial ....................................................... 189 Laurent BARBUT, Marie-Pierre ARLOT, Marielle BERRIET-SOLLIEC

CHAPITRE 4 ......................................................................................................... 199
Des processus plus ouverts

La participation dans l’évaluation du développement durable : qui, quand, comment ? ................................................................................................ 201 Groupe SFE « Evaluation et Développement Durable »

15

Dispositifs d’évaluation et appropriation des résultats……………………….217 Françoise JABOT, Catherine GERHART, Annie-Claude MARCHAND, Cristina DIAZ-GOMEZ La diffusion des résultats d’évaluation comme préalable à tout débat public..... 231 Katia HORBER-PAPAZIAN et Caroline JACOT-DESCOMBES Comment produire des recommandations plus utiles pour le décideur public ? .. 245 Club SFE régional Pays de la Loire – Bretagne CHAPITRE 5 ......................................................................................................... 267
Une meilleure ingénierie de l’évaluation

Une meilleure mise en évidence de l’impact : l’utilisation de groupes de comparaison restreints ........................................................................................... 269 François MOUTERDE et Julie-Anne MILLET Une meilleure articulation des évaluations de politiques publiques et de services publics.................................................................................................... 285 Anne-Marie FAVARD Une expérience d’évaluation participative, rapide et soucieuse d’efficacité : l’évaluation de la politique de la ville dans l’agglomération grenobloise Hélène CLOT et Malik ALLAM ................................................................................ 291 Comment améliorer l’utilité et l’efficacité des évaluations ? Des normes de qualité mieux utilisées ...................................................................... 309 Benoît CHERVALIER
Conclusion. L’engagement de la SFE au service des nouvelles frontières
de l’évaluation : le projet SFE 2009 – 2014 ............................................................. 317

Annie FOUQUET
ANNEXE : LE PROJET ASSOCIATIF DE LA SFE (2009-2014)............. 319

Introduction : les nouvelles frontières de l’évaluation en France François MOUTERDE1 et Sylvie TROSA2

E

2009, LE RAPPORT VIVERET L’évaluation des politiques et des actions publiques, rédigé en 1989 à la demande de Michel Rocard, et la circulaire du 23 février 1989 relative au renouveau du service public ont eu 20 ans ! La Société Française d’Évaluation (SFE), fondée en juin 1999, a eu 10 ans !
N JUIN

C’est dire que l’occasion était belle pour que les 9e Journées Françaises de l’Évaluation, organisées à Marseille à l’endroit même où la SFE fut créée, tentent d’une part de tirer parti des enseignements des 20 années passées et d’autre part de réfléchir collectivement le plus loin possible à la façon d’améliorer les évaluations et de les rendre plus utiles. Lors de la conception du programme du colloque, la notion de « nouvelles frontières » s’est rapidement imposée comme un élément fédérateur et dynamisant : pas seulement par le renvoi au discours toujours fameux de J.F. Kennedy, mais aussi par la référence à l’avancée d’un « front » et à la découverte de nouveaux territoires qui introduisait du souffle dans la marche austère de l’évaluation. Sans doute, le congrès marseillais n’a-t-il pas épuisé la réflexion et l’échange sur ces nouvelles frontières, mais il a fait émerger ou consolidé de nombreuses
François MOUTERDE, Président du comité de programme des 9e Journées Françaises de l’Évaluation à Marseille, est Vice-Président de la Société Française d’Évaluation et Directeur associé de Planète Publique. 2 Sylvie TROSA, Vice-Présidente du comité de programme des 9e Journées Françaises de l’Évaluation à Marseille, est chargée de mission à l’évaluation à la Cour des Comptes et animatrice du Cercle de la Réforme de l’État.
1

18

François Mouterde, Sylvie Trosa

problématiques qui posent aujourd’hui question à la communauté de l’évaluation. Annie Fouquet, Présidente de la SFE, montre de fait en conclusion de cet ouvrage comment le projet associatif de la SFE, voté à l’occasion de ces Journées de Marseille, peut contribuer à développer et étoffer cette réflexion. Au total, l’ensemble des contributions, interventions et échanges de tribune ou de couloir fait clairement apparaître l’ampleur et le défi que posent ces « nouvelles frontières » de l’évaluation. Mais il montre aussi à l’évidence que bien des « anciennes frontières » ont été conquises et dépassées, alors même que cela paraissait impossible il y a 20 ans.

Le dépassement des « anciennes frontières » de l’évaluation
Tous les intervenants, y compris ceux dont les propos portent sur les pratiques à promouvoir (cf. présentation par Gaëlle Baron en début de deuxième partie de l’ouvrage), mettent en avant les acquis sur lesquels s’appuyer pour l’avenir. Mais ce sont bien les présentations de Bernard Perret et de Patrick Viveret, ainsi que leurs échanges avec Jean-Pierre Nioche qui ont permis de mieux comprendre les « frontières » conquises par l’évaluation au cours des 20 dernières années. Celles-ci se déploient dans quatre directions : les méthodes, la culture, la pratique et le périmètre.

Une réelle avancée des méthodes et outils
Les 20 dernières années ont d’abord vu progresser l’aptitude à utiliser de manière performante les outils et méthodes de l’évaluation. Ceci passe en premier lieu par la capacité à différencier clairement l’évaluation de politiques publiques des genres qui lui sont voisins : le contrôle de gestion, l’audit, l’inspection, etc. ; même si certains outils sont communs à ces différentes approches, la spécificité de la démarche méthodologique de l’évaluation est aujourd’hui mieux cernée. Un deuxième acquis méthodologique est celui de l’adoption des pratiques et du langage communs des standards européens : les modalités de rédaction d’un cahier de charges, la distinction entre réalisations, résultats et impacts, le rôle de l’instance d’évaluation, la distinction entre analyse et jugement, l’explicitation des critères de qualité d’une évaluation… sont autant de questions pour lesquelles des débats fructueux ont permis de rapprocher les points de vue.

Introduction

19

La troisième avancée qui peut être soulignée consiste en l’amélioration de la qualité des stratégies d’évaluation et en la diversification de la boîte à outils de l’évaluateur : le croisement des produits de plusieurs outils permet de mettre en avant des faisceaux d’indices probants qui donnent des résultats d’évaluation robustes. Enfin, une quatrième avancée résultant des trois précédentes réside dans le fait que l’évaluation apparaît moins comme une boîte à outils complexe, que comme une démarche orientée vers la société, dépassant le « court termisme » et cherchant à améliorer en continu l’action publique plus qu’à « juger ». Patrick Viveret souligne dans son intervention « les travaux formidables » qui ont été menés au Conseil Scientifique de l’Évaluation (CSE) pour produire de « vraies avancées méthodologiques ». Sans doute peut-on considérer que la SFE, sous une autre forme, a pris dans les années 2000, le relais des productions du CSE dans les années 1990.

La création d’une culture française de l’évaluation
À côté du domaine technique, le dépassement des « anciennes frontières » de l’évaluation s’est également produit sur le terrain de la culture professionnelle. Bernard Perret a intitulé sa contribution « Regards sur 20 ans d’évaluation à la française » pour rappeler que « l’évaluation est un produit d’importation » des États-Unis et de l’Europe du Nord et qu’un réel processus d’acculturation a été nécessaire. Il souligne qu’« il y a aujourd’hui suffisamment d’évaluation chez nous pour qu’on ne se sente plus autant qu’avant à la remorque (…) d’un mouvement international ». Patrick Viveret précise qu’Eleanor Chelimsky, qui dirigeait il y a plus de dix ans la division Évaluation du General Accounting Office américain, n’hésitait cependant pas à parler en termes élogieux de « l’école française de l’évaluation ». Comme le rappelle Jean-Pierre Nioche, cette approche franco-française de l’évaluation peut être caractérisée, dans le modèle CSE, par le fait que « le processus, le dispositif d’évaluation (sont) aussi importants que les méthodes et les outils, voire plus importants ». Bernard Perret confirme que lorsque l’on évoque une bonne démarche d’évaluation, « on ne parle pas seulement de calculs économiques, d’indicateurs, de boîte à outils, mais on parle aussi élaboration d’un questionnement, référentiels, comité de pilotage, processus de participation ». Enfin, on conviendra que cette culture française de l’évaluation a été complétée, en fin de période, par le déploiement de la LOLF. Au-delà d’une culture de la performance, la loi organique a déjà contribué à promouvoir la notion d’objectif – et donc de résultat – qui est au cœur de l’évaluation ; ce

20

François Mouterde, Sylvie Trosa

mouvement devrait continuer. Il n’est par ailleurs pas anodin de noter que l’un des deux pères de la LOLF, Didier Migaud, est aujourd’hui à la tête de la Cour des comptes, qui doit devenir un acteur majeur de l’évaluation, comme l’avait magnifiquement souligné Philippe Seguin dans son discours d’ouverture à Marseille.

Une pratique large de l’évaluation
Avancées méthodologiques et appropriation d’une culture de l’évaluation se matérialisent dans une pratique large de l’évaluation qui marque également ce dépassement des « anciennes frontières » de l’évaluation. Aux 8e Journées Françaises de l’Évaluation, à Strasbourg, en 2008, le secrétaire d’État à l’évaluation avait annoncé le chiffre de 700 évaluations par an en France. Même si ce chiffre reflète sans doute des pratiques d’évaluation relativement hétérogènes, il fournit un ordre de grandeur qui marque le déploiement de l’évaluation au-delà des frontières d’origine. Cette pratique touche tous les niveaux d’administration, du national au local en passant par l’appui majeur qu’a représenté historiquement le niveau régional et par le champ de développement fort que constitue aujourd’hui le niveau départemental. Il touche aujourd’hui également le monde associatif et celui des partenaires sociaux. Ce développement ne s’est pas accompagné d’un affaiblissement de la qualité des évaluations. Bernard Perret note au contraire des « progrès nets dans la qualité des évaluations » sur la période, et développe leurs différentes dimensions. Ceci résulte notamment de la professionnalisation du milieu, dont la SFE est une preuve tangible. L’ancien rapporteur général du CSE souligne combien « le contraste est extrêmement fort avec ce qui se passait en 1990 » où l’évaluation était uniquement un objet intellectuel de débat et de curiosité. Mais cela résulte également, comme le souligne Sylvie Trosa, du fait que « l’évaluation est aussi un processus d’apprentissage où le fait même d’évaluer doit amener à convaincre les acteurs de faire évoluer leurs pratiques ».

Un périmètre universel
Finalement, dans cette analyse des « frontières », on peut aujourd’hui affirmer que l’évaluation en France a conquis un périmètre universel. Vingt ans après, l’utopie de Michel Rocard qui, dans sa préface, « revendique la fierté d’avoir fait adopter le texte législatif qui stipule que toute politique publique doit pouvoir être évaluée » est devenue réalité. Personne ne saurait aujourd’hui soutenir que certains champs, par nature, sont exclus du périmètre de l’évaluation. Certains secteurs de politiques publiques, longtemps réticents, comme le

Introduction

21

secteur social ou le secteur culturel, sont aujourd’hui moteurs, comme en témoigne la création des groupes de réflexion sur ce sujet à la SFE. Dans ce périmètre universel, « l’universalité des acteurs » a aujourd’hui à sa disposition ce lieu particulier d’échanges et de réflexion que constitue la Société Française de l’Évaluation. La SFE est un modèle associatif rare où techniciens et élus, nationaux et territoriaux, chercheurs et praticiens, commanditaires et prestataires, associatifs et fonctionnaires, experts et débutants peuvent se retrouver sans renier leurs spécificités et leurs statuts. Cette universalité n’a bien sûr aucune visée « impérialiste » et bien d’autres lieux de qualité demeurent en dehors de la SFE, pour parler évaluation ; la SFE échange régulièrement avec ces autres acteurs, ponctuellement ou en engageant des partenariats plus assis. Bien des frontières ont donc été dépassées en 20 ans d’évaluation des politiques publiques « à la française », et ceci sur les deux faces de la notion de frontière3 : la démarcation des territoires (« borders » en anglais), les limites des ensembles (« boundaries »). Ce sont bien tant les frontières externes de l’évaluation (genres voisins, secteurs de politique publique…) que ses frontières internes (méthodes, outils, culture, pratiques) qui apparaissent en 2010, différentes de 1990.

Les nouvelles frontières de l’évaluation à conquérir
Dans son discours du 15 juillet 1960 au Los Angeles Memorial Coliseum, John F. Kennedy s’exprimait ainsi : « Mais je vous dis que nous sommes devant la Nouvelle Frontière, que nous le voulions ou non. Au-delà de cette frontière s’étendent les domaines inexplorés de la science et de l’espace, des problèmes non résolus de paix et de guerre, des poches d’ignorance et de préjugés non encore réduites, et les questions laissées sans réponse de la pauvreté et des surplus. »4 Si les sujets traités par le futur président américain démocrate dépassent largement la thématique de l’évaluation, le contenu qu’il donne à sa New Frontier fournit un cadre de raisonnement transposable au monde de l’évaluation. Les nouvelles frontières de l’évaluation sont constituées par des domaines inexplorés, des problèmes non résolus, des poches d’ignorance et de préjugés et des questions sans réponse.

3 Cf. Didier Fassin, Les nouvelles frontières de la société française, La Découverte, Hors Collection Sciences Humaines, 2010. 4 Mots soulignés par les auteurs.

22

François Mouterde, Sylvie Trosa

Des domaines inexplorés
Sans doute le qualificatif d’« inexploré » est-il fort ; « peu exploré » ou « insuffisamment exploré » conviendraient mieux. Mais les débats de Marseille ont mis en avant deux de ces domaines à explorer davantage : la diffusion de l’évaluation auprès du grand public et le développement du savoir sur l’évaluation. Au-delà d’une appropriation déjà limitée par la société civile organisée, que note Ian Davies, c’est plus largement le grand public qui identifie aujourd’hui très mal l’évaluation et ses apports potentiels. Plusieurs facteurs sont en cause dans ce constat : la publication large et effective des évaluations reste une pétition de principe, alors que Katia Horber-Papazian montre comment cette pratique pourrait répondre à la demande croissante d’information des citoyens ; les medias maîtrisent mal la spécificité de l’évaluation ; enfin, le débat public sur les évaluations n’existe pas. Sur ce dernier point, Maurice Baslé montre dans son scénario SevalDelib tout l’intérêt qu’il y aurait à développer ce « domaine inexploré ». Au total, cette dimension « publique » de l’évaluation gagnerait sans doute à devenir centrale dans les années à venir, au point que Bernard Perret pousse l’idée de promouvoir « l’évaluation publique des politiques » plus que l’évaluation des politiques publiques. Sur un plan très différent, un autre domaine insuffisamment exploré est celui du développement du savoir sur l’évaluation. Ce savoir doit notamment porter prioritairement sur les effets réels de l’évaluation ; produire une évaluation utile à la société est apparu à Marseille comme un mot d’ordre absolu pour asseoir la légitimité de la démarche et surtout contribuer à améliorer l’action publique et le débat public. Si l’évaluation produit des effets réels, ceux-ci restent peu ou mal identifiés, qu’il s’agisse des effets internes sur l’action publique ou des effets externes sur la société. Cette évolution passe par un développement fort de la recherche en évaluation qui reste aujourd’hui un champ peu structuré, éclaté entre plusieurs disciplines et insuffisamment valorisé pour l’action.

Des problèmes non résolus
Plusieurs problèmes d’ordre technique restent également non vraiment résolus. Le premier d’entre eux se situe au début de la chaîne évaluative : il s’agit de l’insuffisant développement du Suivi – Évaluation. Maurice Baslé, militant de longue date de la professionnalisation de cette approche, offre avec son scénario SevalPro une vision de ce que pourrait être son développement vertueux, tandis que la région Rhône-Alpes différencie clairement « suivi évaluatif » et « évaluation ». Plus prosaïquement, mais avec force, Philippe Seguin met en avant l’obstacle à l’évaluation que constituent les disparités statistiques, qui « empêchent la centralisation des informations et gênent les comparaisons ».

Introduction

23

Plus en aval dans la démarche d’évaluation, un deuxième problème non résolu est celui de la fluidification des processus. Sylvie Trosa, dans son analyse de l’évolution des démarches au niveau international met en avant deux volets forts du problème : le volet méthodologique, à savoir la difficulté de construire un équilibre satisfaisant entre la preuve et la construction de l’argumentation, et le volet opérationnel qui consiste en la juste articulation entre l’indépendance de l’évaluateur et la coopération avec l’évalué. Enfin, il convient encore de citer Philippe Seguin pour faire apparaître plus globalement un troisième problème non résolu dans le panorama des nouvelles frontières à conquérir : tout simplement la complexité de l’action publique : « Les politiques publiques excèdent le cadre et l’horizon normaux de nos institutions, et les évaluer demande des adaptations plus radicales encore que celles que nous avons déjà consenties ».

Des poches d’ignorance et de préjugés
« Ignorance » et « préjugés » sont des mots très forts que J.F. Kennedy s’est gardé de décliner, alors qu’il a donné des exemples pour chacun des trois autres registres de la nouvelle frontière. Si l’on se risque avec humilité et sans provocation à suivre la voie qu’il indique, on peut noter avec prudence deux poches « d’ignorance et de préjugés » dans le monde de l’évaluation à la française. La première est celle de la diffusion en profondeur d’une vraie culture de l’évaluation chez les professionnels de l’action publique. Certes, on a noté en première partie que la création d’une culture française de l’évaluation constituait une « ancienne frontière » aujourd’hui dépassée. Mais cette culture concerne aujourd’hui une couche superficielle des acteurs de l’action publique et n’irrigue pas encore suffisamment l’ensemble de ces derniers. Sylvie Trosa termine son intervention en parlant d’« impensé de la culture de l’évaluation, i.e. de la façon de faire de l’évaluation non une discipline de professionnels « à part », mais une préoccupation constante des fonctionnaires ». À côté des fonctionnaires, les évaluateurs ne sont pas en reste dans « l’ignorance et les préjugés ». Le cloisonnement des disciplines et la difficulté à débattre sereinement entre qualitativistes et quantitativistes restent aujourd’hui d’actualité, comme l’ont par exemple montré les réactions passionnées qui ont suivi la montée en puissance en France des techniques d’expérimentation aléatoire contrôlée. Pascal Delafosse note avec raison qu’ « il faut préserver la biodiversité de l’évaluation », mais l’acceptation réelle du pluralisme des méthodes et des outils reste aujourd’hui une nouvelle frontière.

24

François Mouterde, Sylvie Trosa

Des questions sans réponse
Enfin, deux questions fondamentales restent aujourd’hui sans réelles réponses concrètes. La première est celle de l’insuffisante utilisation de l’évaluation. Bernard Perret note que « l’évaluation (…) est toujours assez déconnectée de la décision budgétaire » et cela est vrai tant au niveau national que territorial. Cette insuffisante utilisation peut être observée dans les deux sens : bien des évaluations ne sont pas utilisées pour l’action ; mais bien des réflexions, polémiques ou controverses sur une action publique ne donnent pas lieu à déclenchement d’une évaluation qui pourrait apporter du grain à moudre à la discussion. Cette première question sans réponse est sans doute à mettre en relation avec la deuxième, à savoir l’insuffisant ciblage stratégique des évaluations. L’évaluation porte aujourd’hui trop souvent sur des sujets marginaux, de faible ampleur budgétaire, décalés par rapport aux « vraies » préoccupations. Dans ces conditions, leur utilisation devient simplement une possibilité, mais non une évidence dictée par l’intérêt et la portée des actions à mettre en œuvre à la suite de la démarche. L’ambition du programme du nouveau Comité d’évaluation et de contrôle de l’Assemblée nationale que décrit Philippe Dautry, ou l’expérience du Conseil général du Gard que présente Damien Alary, illustrent la façon dont les lignes peuvent bouger pour déplacer cette frontière. Les chantiers sont donc vastes pour conquérir ces nouvelles frontières, mais le regard rétrospectif sur les 20 ans passés donne confiance pour considérer que de réelles avancées sont possibles pour explorer ces nouveaux domaines, résoudre ces problèmes, réduire ces poches d’ignorance et de préjugés et répondre aux questions pendantes. Sans attendre un congrès 2029, à Marseille dans 20 ans, les échanges animés par l’ancien Président de la SFE, Guy Cauquil, ont montré comment l’évaluation peut se mettre au service d’une meilleure gouvernance démocratique, et la conclusion de cet ouvrage par l’actuelle Présidente de la SFE, Annie Fouquet, propose toute une série d’actions pour permettre à l’évaluation d’avancer au service de l’action publique et de la société française. C’est tout le sens du projet associatif de la Société Française de l’Évaluation.

PARTIE I
1989 – 2009 – 2019 : l’évaluation en France, enjeux pour l’avenir et leçons du passé

CHAPITRE 1
Les enjeux de l’évaluation en France pour les 10 ans à venir

La nouvelle place de l’évaluation à la Cour des comptes Philippe SEGUIN1

adame la Présidente, Monsieur le président du conseil régional, Monsieur le vice-président du conseil général, Messieurs les représentants des associations d’élus Mesdames et Messieurs, Je suis très heureux d’avoir été invité à participer à cette manifestation qui marque l’anniversaire des dix ans de la Société Française de l’Évaluation (SFE). Dix années que l’on peut dire bien remplies, puisqu’elles ont fait de la SFE un acteur de premier plan de l’évaluation en France. Je voudrais à cet égard rendre hommage non seulement au travail de réflexion que vous avez su conduire, mais aussi au rôle de témoins que vous avez joué, témoins de la nécessité de l’évaluation face à un milieu politicoadministratif longtemps sceptique ou rétif. Votre association est devenue, en tout cas, un lieu de rencontre et d’échange pour tous ceux qui ont une compétence dans ce domaine. Et ce congrès en est l’illustration la plus éclatante, par le nombre de ses participants, la diversité de leurs origines, la richesse et la variété des thématiques choisies pour les ateliers. Oui, on peut le dire aujourd’hui, l’évaluation est bien vivante, même si on annonce tous les deux ou trois ans son agonie, vite suivie, il est vrai, par sa résurrection. Vivante et active, elle l’est notamment grâce à vous tous. Et je m’en réjouis.
1

M

Philippe SEGUIN, Premier Président de la Cour des Comptes.

30

Philippe Seguin

2009 sera donc une date importante dans l’histoire de l’évaluation en France, avec ce double anniversaire : les 10 ans de votre Société, les 20 ans de l’évaluation. C’est en 1989 que Patrick Viveret remet au Premier ministre un rapport sur l’évaluation des politiques publiques qui eut un grand retentissement : on peut dire qu’il aura été le coup d’envoi d’un mouvement qui a eu ses hauts et ses bas, certes, mais qui a marqué durablement la vie politique, administrative et intellectuelle française. Je me réjouis que ce rapport fondateur ait été écrit par un membre de la Cour des comptes. Patrick Viveret n’était pas encore magistrat à l’époque, c’est vrai, c’est ce qui explique peut-être qu’il ait été aussi critique envers, je le cite, le « monopole de l’expertise légitime » des grands corps de l’État. Je retiens surtout qu’il recommandait à la Cour diverses mesures, et notamment de publier des rapports thématiques, pour compléter le rapport public annuel. Et c’est ce qui fut fait dès 1991. Voilà pour le passé. Je ne m’y étendrai pas davantage, car votre programme est résolument tourné vers l’avenir, et vers ce que vous avez désigné comme les « nouvelles frontières de l’évaluation ». C’est cela en effet qui importe, et dont je suis venu vous parler. Je ne viens pas évidemment devant vous en théoricien de l’évaluation. Vous êtes à cet égard bien plus compétents que moi. Je n’ai rien à vous apprendre. Je viens au nom de la Cour des comptes, acteur de l’évaluation, acteur en devenir, désignée par la constitution pour assister le Parlement et le gouvernement dans l’exercice de cette nouvelle mission. Un acteur dont je souhaite dire, d’emblée, qu’il ne prétend pas au monopole. Mais qui prend simplement acte de ce que le texte suprême lui donne comme responsabilité nouvelle et – j’ose le dire – comme métier nouveau. L’évaluation des politiques publiques est en effet désormais inscrite dans la constitution, depuis sa révision du 23 juillet 2008. Elle est une mission officielle du Parlement. Et il s’agit là d’une réforme tout à fait essentielle. Il faut simplement lui donner vie...

La notion de politique publique comme objet de l’évaluation
Je voudrais d’ailleurs m’arrêter un instant sur cette notion de politique publique qui a été retenue par la constitution. Une expression que la France a toujours privilégiée, quand beaucoup de pays parlent plutôt de programmes, et qui donne lieu, vous le savez, à des interrogations sans fin : qu’est-ce qu’une politique publique ? quelle en est l’autorité responsable ? comment définir et identifier ses objectifs ? quelle instance est assez légitime pour les questionner ?

La nouvelle place de l'évaluation à la Cour des comptes

31

Je n’entrerai pas dans ces débats. Ou pour être plus précis, je n’y entrerai que dans la seule mesure où ils peuvent éclairer notre action, et non la paralyser. Il reste qu’en choisissant pour objet de l’évaluation les politiques publiques, c’est-à-dire l’expression la plus complexe de l’action publique, on n’a certes pas pris le chemin de la facilité. Mais pouvait-on faire moins, alors que la LOLF a déjà prévu l’évaluation des programmes budgétaires, et que la culture de la performance vise tout le champ de la gestion publique ? Cette ambition en tout état de cause nous oblige : nous avons accepté, ce faisant, le défi du débat public, et le débat, après tout, est le cœur battant de la démocratie. Pour autant, nous savons tous combien l’action publique est devenue complexe. Elle mobilise un réseau d’acteurs, publics et privés, de tailles, de niveaux, de statuts les plus divers : État, organismes sociaux, collectivités territoriales, entreprises, associations, instances européennes... Chacun d’eux a son mode propre d’organisation et d’action, ses règles administratives et comptables, sa culture même. Autonomes mais interdépendants, ils deviennent partenaires le temps d’un projet, et se lient par contrat, pour un objectif commun, et aussi parfois – ne le négligeons pas – pour quelques euros de plus… Cette contractualisation galopante est caractéristique d’une nouvelle forme de l’action publique, partenariale et éclatée, traversée par la négociation, consensuelle et révocable. Une logique du sur mesure qui correspond bien aux nouvelles attentes de publics composites où l’on retrouve, pêle-mêle, et souvent réunis dans la même personne, le consommateur, le client, le contribuable et le citoyen, chacun se réclamant au surplus d’un territoire dont il s’agit de reconnaître les spécificités, sans pour autant oublier le principe d’égalité ... C’est donc cette diversité, que la décentralisation a sans conteste encore contribué à exalter, qu’il nous est demandé de prendre en compte. Or cette complexité de l’action publique, vous le savez mieux que quiconque, est un redoutable défi à son évaluation. Les politiques publiques excèdent le cadre et l’horizon normaux de nos institutions, et les évaluer demande des adaptations plus radicales encore que celles que nous avons déjà consenties. Je ne prendrai qu’un exemple, le plus évident et le plus communément observable, celui du partenariat désormais inévitable entre l’État et les collectivités locales. Plus aucun pan de l’action publique, parfois même de l’action régalienne, n’échappe à leur intervention conjointe. Or l’évaluation de ces politiques partagées doit pouvoir concilier les pouvoirs du Parlement et l’autonomie des collectivités. Tous les dispositifs d’évaluation précédents, vous le savez, ont achoppé sur ce principe fondamental de nos institutions. Et parce qu’elle touche aussi les systèmes de données, constitués sur des bases hétérogènes, cette diversité est la source de disparités statistiques qui empêchent la

32

Philippe Seguin

centralisation des informations, gênent les comparaisons et constituent un obstacle supplémentaire à l’évaluation. Pendant ces 20 dernières années, on a donc essayé comme on a pu de contourner l’obstacle : l’État a mis en place ses propres dispositifs d’évaluation, mais il a échoué à faire vivre dans la durée l’évaluation interministérielle ; les collectivités locales ont parfois bâti leurs propres systèmes ; les politiques contractuelles enfin ont donné lieu à des évaluations spécifiques. C’est tout à l’honneur des promoteurs de l’évaluation que vous êtes tous ici, je pense, d’avoir soutenu ces démarches pour en tirer le meilleur. Mais ce temps des pionniers et du pragmatisme est probablement révolu dès lors que l’évaluation est désormais inscrite au cœur même de nos institutions comme un devoir de la représentation nationale, une responsabilité du gouvernement et du Parlement à laquelle la Cour des comptes doit également prêter assistance.

Le rôle majeur du Parlement
Le Parlement est donc appelé – de la manière la plus solennelle qui soit – à jouer un rôle majeur pour la promotion de l’évaluation. Il était quasiment absent des premiers dispositifs d’évaluation des années 1990. Il en est devenu un des acteurs déterminants, grâce à une évolution commencée bien avant la LOLF, et dans laquelle la Cour a joué un rôle décisif : la création des deux missions d’évaluation et de contrôle, en 1999 et 2004, a pavé la voie d’une coopération avec la Cour qui n’a cessé de s’accroître, et qui s’inscrit désormais dans deux dispositifs : les enquêtes demandées à la Cour par le Parlement, ou plus précisément par les deux commissions de chacune des deux Assemblées financières et affaires sociales sur la base de l’article 58-2 de la LOLF, et le nouvel article 47-2 de la Constitution. Chaque année, nous remettons déjà au Parlement une bonne dizaine de rapports qui nous ont été demandés sur la base de l’article 58-2 de la LOLF. Et cette commande officielle n’est qu’une partie de notre contribution, puisque le Parlement est en fait destinataire de tous les travaux de la Cour : les rapports publics bien sûr, et il y en a de plusieurs sortes, vous pourrez le constater en visitant le site de la Cour, mais aussi les nombreux référés que j’adresse aux ministres à la suite d’un contrôle. Ces communications appellent une réponse, et le Parlement apporte ainsi une contribution grandissante à la mise en œuvre des recommandations de la Cour. Le Parlement se trouve par là même investi d’une mission nouvelle : on ne lui demande plus seulement de voter le budget et de faire la loi, il doit aussi désormais non seulement contrôler l’exécutif, mais évaluer l’efficacité de

La nouvelle place de l'évaluation à la Cour des comptes

33

l’action publique. Vous savez tous combien l’exemple britannique a servi de modèle dans cette évolution. Il est souvent cité, et nous connaissons tous les clés de sa réussite : deux instances permanentes et non partisanes, le Comité des comptes publics, le PAC, et la Commission des finances publiques et de la fonction publique, cette dernière s’occupant plus spécifiquement des questions budgétaires, de fonction publique et de modernisation de l’État ; un noyau de députés qui s’est spécialisé dans l’évaluation ; des responsables, politiques ou administratifs, conviés à rendre compte de leurs résultats devant les parlementaires ; une culture de la performance et du débat public. Et pourtant, ce modèle britannique lui-même a ses limites : une partie du territoire lui échappe, depuis la dévolution de larges pouvoirs à l’Écosse, au Pays de Galles et à l’Irlande du Nord. Et les rapports que lui remet le NAO traitent essentiellement de programmes nationaux, les collectivités locales relevant des enquêtes de l’Audit commission. C’est donc une mission particulièrement ambitieuse que reçoit le Parlement français avec cette réforme, allant bien au-delà encore du rôle qui lui a été conféré en 2001 par la LOLF. Pourra-t-il la remplir sans une adaptation profonde de son mode de fonctionnement, de ses structures peut-être ? Sans doute pas, comme en témoigne la réforme en cours du règlement de l’Assemblée nationale. Étant précisé que si l’on voulait transposer en France, toutes choses égales par ailleurs, le modèle britannique tant vanté, il faudrait changer beaucoup plus de choses encore dans l’organisation et le fonctionnement du Parlement, et par exemple dans l’organisation de ses relations avec la Cour. Il ne vous aura pas échappé en effet qu’au Royaume-Uni, le Comité des comptes publics qui est le destinataire des travaux du NAO, est un comité permanent de la Chambre des communes. La chambre des Lords n’est pas concernée. En France au contraire les deux assemblées sont également concernées mais font chambre à part, si vous me permettez l’expression. La Cour des comptes est ainsi en relation avec les deux chambres et, je le répète, dans chacune d’elles, avec deux commissions, celles qui sont chargées des finances d’une part, et celles chargées des affaires sociales d’autre part. Ce qui nous fait quatre interlocuteurs, tous les quatre bien décidés à user de leur droit de demande d’enquête. Cet éclatement pose également le problème de la diffusion de nos travaux, qui peuvent rester ignorés des parlementaires siégeant dans d’autres commissions. Le dispositif prévu par l’article 58-2 de la LOLF qui dispose, je le rappelle, que les deux commissions des finances peuvent demander à la Cour des enquêtes sur les sujets qui relèvent de leur champ de compétence et son pendant en matière de sécurité sociale ne suffisent donc pas à asseoir une

34

Philippe Seguin

véritable compétence d’évaluation du Parlement, d’autant plus que même dans ce cadre, la Cour ne peut pas contrôler les collectivités locales. Le Comité d’évaluation et de contrôle prévu par l’Assemblée nationale dans son nouveau règlement peut paraître constituer une avancée. J’observe en effet que son champ de compétence couvrira des politiques transversales, qui ne relèvent pas d’une seule commission permanente, et qu’il pourra solliciter l’assistance de la Cour. On se rapproche donc du modèle britannique : un comité permanent, une composition bipartisane, une relation privilégiée avec la Cour. Nous ne savons pas encore en revanche, si le Sénat compte adopter un dispositif spécifique, ni lequel. En d’autres termes, la question de la dispersion des demandes – et oserais-je dire – des énergies demeure entière. Se pose également la question du rôle de la Cour au regard des études d’impact. Je sais bien que d’autres institutions dans le monde – elles sont assez rares cependant – contrôlent également les études d’impact produites à l’appui des projets de lois. Mais c’est toujours avec beaucoup de précautions, et au prix de bouleversements parfois douloureux de leur programmation. Une institution supérieure de contrôle, qui intervient essentiellement a posteriori, n’est pas spontanément préparée à cet exercice très spécifique de l’appréciation des études d’impact. Nous pouvons, nous devons y réfléchir, mais là n’est peutêtre pas l’urgence… Notre priorité doit porter sur l’évaluation a posteriori des politiques publiques. Je vais donc m’efforcer de vous dire comment nous percevons cette nouvelle mission consacrée par la Constitution.

Une vaste réforme de l’ensemble des juridictions financières
Il est clair que la mise en œuvre de l’évaluation des politiques publiques par la Cour ne pourra se réaliser sans une vaste réforme de l’ensemble des juridictions financières, la Cour et les chambres régionales et territoriales des comptes. Certes, d’autres raisons expliquent aussi la réforme en cours de définition. Mais l’évaluation est bien le principal motif des grands changements dont la préparation parvient, enfin, à son terme. Dans la situation actuelle, la Cour n’est pas, en effet, en mesure de répondre aux demandes d’enquête du Parlement, lorsqu’elles portent sur des politiques conduites à la fois au niveau national et local. Elle ne pourrait le faire qu’en associant les chambres régionales, ce qui est inenvisageable compte tenu de leur organisation, dans le délai de 8 mois qui est imposé par l’article 58-2 de la LOLF pour remettre des conclusions.

Soyez le premier à déposer un commentaire !

17/1000 caractères maximum.