Cette publication ne fait pas partie de la bibliothèque YouScribe
Elle est disponible uniquement à l'achat (la librairie de YouScribe)
Achetez pour : 21,00 € Lire un extrait

Lecture en ligne (cet ouvrage ne se télécharge pas)

EVALUATION, ACTION PUBLIQUE TERRITORIALE ET COLLECTIVE

De
340 pages
Evaluer, dans le secteur public, c'est mieux connaître l'action publique et ses effets, préparer un jugement sur l'efficacité, la cohérence, la bonne économie de moyens et la performance. C'est se mettre aussi au service du compte rendu interne et externe. La culture de l'évaluation des politiques publiques se diffuse lentement au plan mondial. Dans ce cadre, la France se caractérise par des spécificités avec des pratiques évaluatives interministérielles centrales, des pratiques internes aux grandes administrations et des pratiques évaluatives accolées à des formes de contrôle et de jugement des comptes qui peuvent aller jusqu'à la comparaison avec des critères de performance.
Voir plus Voir moins

EVALUA TION, ACTION PUBLIQUE TERRITORIALE ET COLLECTIVITES

TOMEI

Actes des 3èmes journées de la Société française de 1" éval uation

Collection Logiques Politiques dirigée par Yves Surel
Dernières parutions

Emmanuel NEGRIER (dir.), Patrimoine culturel et décentralisation: une étude en Languedoc-Roussillon, 2002. Laure DELCOUR, La politique de l'Union européenne en Russie (1990 2000), 2002. Simon HUG et Pascal SCIARINI (dir.), Changements de valeurs et nouveaux clivages politiques en Suisse, 2002. Laurence EBERHARD HARRIBEY , l'Europe et lajeunesse, 2002. Elise FERON et Michel HASTINGS (dir.), L'imaginaire des conflits communautaires, 2002. Catherine PRUDHOMME-LEBLANC, Un ministère français face à l'Europe,2002. Hélène REIGNER, Les DDE et le politique. Quelle co-administration des territoires?, 2002. Stéphanie MOREL, Ecole, territoires et identités, 2002. Virginie MARTIN, Toulon sous le Front National: entretiens nondirectifs, 2002.

Eric AGRIKOLIANSKY, La Ligue française des droits de l'homme et du citoyen depuis 1945, 2002. Olivier FAVRY, L'ami public américain: les nouvelles relations industrie-Etat aux Etats-Unis de 1979-1991,2002. François CONSTANTIN, Les biens publics mondiaux, 2002. Jean-Louis MARIE, Philippe DUJARDIN et Richard BALME (sous la direction de), L'ordinaire, 2002. Diane MASSON, L'utilisation de la guerre dans la construction des systèmes politiques en Serbie et en Croatie, 1989-1995, 2002. Laurent FROLICH, Les catholiques intransigeants en France, 2002 Emmanuelle MUHLENOVER, L'environnement en politique étrangère: raisons et illusions, 2002.

Maurice Baslé, Jérôme Dupuis, Sylviane Le Guyader, éditeurs

EVALUA TION, ACTION PUBLIQUE TERRITORIALE ET COLLECTIVITES

TOMEI

Actes des 3èmes journées de la Société française de l'évaluation

L'Harmattan 5-7, rue de l'École-Polytechnique 75005 Paris FRANCE

L'Harmattan Hongrie Hargita u. 3 1026 Budapest HONGRlli

L'Harmattan Italia Via Bava, 37 10214 Torino ITALlli

<9L'Harmattan, 2002 ISBN: 2-7475-3456-1

INTRODUCTION GÉNÉRALE DES ÉDITEURS
La culture de l'évaluation des politiques publiques se diffuse lentement au plan mondial. Elle est bien installée dans les pays de tradition plutôt anglo-saxonne. Elle a été bien répandue en Europe par le développement des pratiques évaluatives à l'initiative de la Commission européenne. La France se caractérise par des spécificités avec des pratiques évaluatives interministérielles centrales (Commissariat Général au Plan), des pratiques internes aux grandes administrations dotées de services d'études importants et des pratiques évaluatives accolées à des pratiques de contrôle (Cour des Comptes, Chambres Régionales des Comptes). C'est dans ce contexte qu'est née en 1999 la Société française de l'Evaluation. Et depuis 2002, elle dispose d'un site Internet (http://www.sfe.asso.fr). Les membres de cette société ont déjà produit des publications importantes à l'occasion du congrès inaugural de Marseille de juin 1999 (Sfe, 2000) sur le thème des acquis et défis de l'évaluation pour la prochaine décennie et au Colloque de Rennes de juin 2000 (Sfe, 2001) sur le thème de Evaluation et gouvernance. Cette société a réuni près de 400 personnes et de nombreuses institutions ont soutenu sa démarche aux Troisièmes journées de l'Evaluation à Issy les Moulineaux en juin 2001. Les travaux présentés à cette dernière occasion ont été sélectionnés en vue d'être concentrés au service d'un thème central: «l'évaluation, l'action publique territoriale et les collectivités ». Pourquoi ce thème? La réponse est dans un faisceau d'arguments, dans un contexte de renforcement de la décentralisation et de la territorialisation de l'action publique. Premièrement, il existe de nombreuses pratiques évaluatives déconcentrées et décentralisées en France. Les villes, les départements, les régions, les services départementaux et régionaux déconcentrés de l'Etat, soit pour des raisons d'obligation partenariale (contrat de plan Etat-Région, contrats de ville, parcs naturels régionaux...), soit par volonté politique, ont impulsé et développé des instances et piloté des évaluations. Deuxièmement, à ce niveau non central, de nombreux clubs formels ou informels (et complémentaires des groupes de travail mis en place dans le cadre de la SFE) échangent et, plus généralement, les grands 5

réseaux des experts en évaluation ont tissé une toile de compétences, de relation et de transfert d'expériences. Troisièmement, il en résulte une véritable culture montante de l'évaluation qui a la caractéristique d'être plurielle, moins monolithique: on y mêle l'évaluation de processus, l'évaluation de résultats, les pré-évaluations documentant des programmes, la mise en perspective de politiques, la sociologie d'acteurs dans cette période de réflexions importantes sur les nouvelles donnes possibles pour l'organisation territoriale. Enfin, «last but not least », l'appropriation de la culture de l'évaluation commence à se faire auprès des élus territoriaux dans de nombreux cas, ce qui dégage de nouveaux horizons pour les directeurs et chefs de service dans les collectivités territoriales. Dès le moment où le «portage politique» par l'élu des démarches de production de la meilleure connaissance de l'action publique territorialisée est assuré, l'évaluation n'est plus perçue comme une contrainte, une obligation ou un fardeau de travail administratif. L'évaluation, qu'elle soit de la simple documentation de l'action publique ou qu'elle aille jusqu'à donner une base complète de connaissances sur la cohérence, l'efficacité, l'efficience, l'impact et la satisfaction des bénéficiaires des politiques publiques, devient un nouveau métier (qui nécessite une réflexion sur les outils et les méthodes) et peut prétendre à occuper la place qui est la sienne à côté des pratiques traditionnelles de contrôle, de contrôle de gestion ou d'étude et, en complémentarité, avec les démarches politiques de débat public et de transparence. L'ouvrage présenté ici est divisé en deux grandes parties. Après que les grandes lignes des questions posées par l'évaluation au niveau territorial aient été tracées, la première partie «la nouvelle donne territoriale, place et enjeux de l'évaluation» réunit les contributions qui traitent des territoires, des politiques qui sont territorialisées, de leur mise en place, de leur efficacité et de leurs impacts sur les territoires. La seconde partie « les pratiques territoriales de l'évaluation» regroupe les contributions par niveau politique de pratiques, depuis le niveau européen jusqu'à des niveaux plus infranationaux. Les deux approches globales sont ici réconciliées puisque, dans cette période de recomposition territoriale organisée par des grandes lois récentes, on voit émerger le souci de mieux concevoir, animer, documenter, suivre et évaluer les nouvelles façons de mettre en œuvre l'action publique. Il ressort de l'ouvrage que nous sommes dans de nouvelles conduites, au plus près du terrain de l'action publique et que ces nouvelles conduites cherchent à être appuyées par plus de connaissances sur la conduite de l'action. Tout se passe comme si les autorités officielles territorialisées voyaient désormais ces territoires comme des territoires de connaissance et reprenaient 6

ainsi le slogan de la DG Recherche à la Commission européenne: « nous sommes ce que nous savons ». M. BASLÉ J. DUPUIS S. LE GUYADER Bibliographie Sfe, (2000), L'évaluation des politiques publiques en France et en Europe: acquis et défis de la prochaine décennie. Actes du Colloque inaugural, Marseille, 4-5 juin 1999, ronéoté, 66 pages. Sfe, (2001), Evaluation et gouvernance, Baslé Maurice et GuignardHamon Claire éditeurs, Actes du Colloque de Rennes des 15 et 16 juin 2000, un volume, imprimerie de l'Université de Rennes 1, 617 pages, site http://perso. univ-rennes 1.ff/maurice. basle

7

L'évaluation à l'épreuve des territoires à l'heure des réorganisations territoriales en Europe: volontés politiques nouvelles, questions de procédures et questions de méthodes.
Maurice BASLÉ Professeur des Universités, Chaire Jean Monnet. *1

Introduction Comme chacun sait, les fonds européens qui financent des actions territorialisées sont évalués depuis 1989 et cette évaluation obligatoire est renforcée depuis 1993. Comme chacun sait, en France, les politiques contractuelles entre l'État et les collectivités territoriales, tous les "mille-feuilles" des politiques publiques (contrats de plan Etat-région, contrats de ville et d'agglomération, contrats des nouveaux "pays", contrats conclus avec les parcs naturels régionaux) qui financent des actions territorialisées sont également obligatoirement évaluées et selon des modes rénovés depuis août 2000. Par ailleurs, toujours en France, les politiques de l'État cherchent de plus en plus, si non à être conçues au niveau déconcentré, du moins à être adaptées et animées à des niveaux territoriaux infra-nationaux. Enfin, la tendance sous-jacente à ce que l'État travaille sur des programmes pluri-annuels et interministériels à horizon glissant apparaît tous les jours un peu plus au grand jour (avec l'idée européenne mais transférable vers chaque Etat-membre de perspecti ves financières à moyen terme). L'hypothèse que l'on peut donc émettre en introduction à ce colloque est que c'est de plus en plus depuis divers niveaux territoriaux que l'action publique et l'action publique de ce qu'on appellera de plus en plus divers niveaux de gouvernement, va être conçue, animée, perçue, le niveau étatique étant un niveau important mais plus le seul niveau à partir duquel s'ordonnerait tout le reste de l'action publique. L'hypothèse corollaire est donc que les responsables de territoires, les responsables administratifs, les élus et les services opérant le
1

*, président

de la Sfe, adresse électronique:

maurice.basle@univ-rennes1.fr

.

9

management public et la conduite du changement à ce niveau territorial ont donc désormais à s'emparer de tout moyen au service, entre autres, de la connaissance et de la stratégie de l'action publique. Un de ces moyens est l'évaluation. Les services déconcentrés et les collectivités ont donc du côté de cette culture, de cette façon de pratiquer le métier du service de l'élu, à cultiver leur jardin et à capitaliser de bonnes pratiques: le défi tient au fait certain que la démarche de l'évaluation, surtout celle de l'évaluation chemin faisant, celle qui est la plus ambitieuse, mais en même temps la plus utile car directement au service de la stratégie politique, nécessitera non seulement une nouvelle culture, mais de plus en plus des services et des moyens propres, et donc nécessitera a minima des ré-organisations de services. Elle nécessitera en interne côté commanditaires l'appropriation de méthodes méticuleuses tant au plan de la conception d'instances, de la rédaction de cahiers des charges, que du pilotage, des pratiques de compte rendu etc... : faute de quoi adieu à l'utilité de la connaissance de l'action publique dans nos nouvelles "économies du savoir", adieu à la déontologie et aux standards de qualité et au plaisir de mieux connaître et de faire partager cette connaissance et bonjour l'évaluation-alibi au service des seuls comportements tacticiens d'élus ou au service des querelles de responsables de services au sein d'une même organisation d'État ou territoriale. Comment pourrait se faire dès à présent cette évolution en France et comment va-t-on pouvoir vivre la mutation? C'est ce que le colloque de la Sfe des 14 et 15 juin à Issy les Moulineaux veut examiner. On notera simplement ici trois ordres de réflexions possibles: des réflexions en amont du sujet, celles qui portent sur la nature de la transition en cours qui modifie l'organisation territoriale française; des réflexions centrales pour nous, celles qui voient dans cette évolution la source d'un besoin d'évaluation locale orientée vers la démocratie locale et des réflexions plus techniques que chacun de ceux qui a participé à des évaluations territoriales peut commencer à se faire: celles qui s'interrogent sur les instances à mettre en œuvre, les techniques et méthodes spécifiques au niveau de la mesure locale, leur portée et aussi leurs limites.

1 La transition dans l'organisation territoriale en France: quelques lignes de force convergentes sur le nouveau management public à l'échelon local
L'observation des réformes récentes et de ce qui est en germe au plan de l'action publique en France laisse pressentir que nous allons vivre, entre 2003 et 2012, un moment privilégié de re-organisation 10

territoriale et politique en France. Trois raisons peuvent être proposées pour expliquer la ré-organisation: l'Europe et désormais la nouvelle Europe de l'élargissement va restructurer son action tout en s'institutionnalisant de manière nouvelle (elle va probablement se constitutionnaliser en fédération d'Etatsrations eux-mêmes régionalement réformés) l'action publique des services déconcentrés français de l'État est déjà actuellement repensée et cette fois, de l'avis général, on n'échappera pas à diverses réformes de l'État, dont le développement de politiques par programmes et une plus grande pratique de l'interministérialité au sein de l'État. l'action publique locale en France va se reconstruire sur de nouveaux fondements avec une réforme législative d'ensemble du dispositif de décentralisation, (allant dans certains cas peut-être jusqu'à des pratiques de dévolutions) ; elle se remodèle déjà avec une intercommunalité croissante et réussie qui est en demande de démocratisation, avec le besoin fort de transformer le rôle du département, le besoin très net de renforcer celui de la région et ceci ne pourra évidemment que s'effectuer en parallèle avec la réforme du positionnement local des services de l'État. Certaines politiques publiques dont celles de l'État pourront donc être davantage conçues et animées sur des périmètres ou territoires ad hoc (ainsi, par exemple, peut-on dire que le territoire est un élément préalable à la définition d'une politique de lutte contre l'insécurité). Et, en conséquence, en choisissant une vue d'ensemble à partir des territoires dans lesquels s'inscrivent nécessairement les ménages et les entreprises, on pourra bientôt dire que les lois et réglementations applicables localement, les politiques publiques et les programmes territorialisées, les aides financières à impact local, les prélèvements fiscaux et sociaux dans leur répartition géographique seront réarticulés : on assistera donc très bientôt à la ré articulation territoriale générale et à la création d'une nouvelle donne correspondant à une redistribution géographique des pouvoirs et des fonds publics. Cette période 2003-2012 va donc être le moment d'une nécessaire conduite d'un grand changement public: pour le citoyen à la recherche de lisibilité, de clarté, de pertinence de l'action publique, il faudra considérablement faire évoluer le système d'offre et sa maîtrise. Aux anciens cadres et aux anciennes références, le citoyen voudra voir se substituer de nouvelles règles du jeu: le citoyen est prêt localement à changer si on lui montre la pertinence des réformes publiques et si celles-ci se font avec plus de transparence et de débat public. Il

On observera donc probablement très prochainement des modes opératoires plus territorialisés avec: une nouvelle répartition des blocs de compétences et le renforcement de certaines coopérations ou contractualisations entre les différents niveaux d'autorités officielles Plus de qualité et de sécurité juridique dans les actes des collectivités territoriales grâce à l'élévation de la préparation et du suivi de leur action. Une cohérence d'ensemble qui restera organisée centralement mais qui sera mieux relayée localement pour les infrastructures matérielles et immatérielles (RID, culture, formation, santé). De nouvelles façons de concevoir l'accès et la proximité des différents services publics (sécurité civile, social, logement...) Le renouvellement de l'organisation territoriale de l'État (europréfets? Super-préfets de région? .. .). Autant dire que la nécessité d'une plus grande maîtrise de l'action, le besoin d'avoir une stratégie et le souci de démocratie vont devenir impérieux, en tout cas, ce peut être une hypothèse de travail, au plan général, mais aussi au plan de la démocratie de proximité: informations, connaissance, débat, participation seront de plus en plus demandés et c'est probablement (malgré les nouvelles techniques d'information et de communication et l'omniprésence de grands médias) de plus en plus aux différents niveaux de gouvernement et d'abord plus au niveau local que se fera la mise en pratique de la nouvelle gouvernance : c'est donc à ce niveau qu'on attend le plus des mobilisations de compétences nouvelles et des processus de résolution des conflits au service d'une meilleure action publique. Le management public local de demain devra donc être à la hauteur de cette conduite du changement. 2 Des moyens nouveaux pour le management public à l'échelon territorial dont l'évaluation orientée vers le savoir et la stratégie Les moyens nouveaux qui permettront de dépasser les difficultés des ré-articulations et transitions en cours seront probablement de trois ordres (2)

2

Cf. Rapport Mauroy, "Refonder l'action publique locale", commission pour l'avenir de la décentralisation, 17 octobre 2000. 12

-

de meilleures responsabilités politiques: règles de non-cumul, modes de scrutins plus simples, élargissement du droit de vote, statut de l'élu. .. - la réforme de la fonction publique d'État (moins de centralisation des postes de hauts fonctionnaires, délocalisations de services centraux, recours croissant au contrat avec de grandes agences) et de la fonction publique territoriale (meilleure prise en compte des spécificités, amélioration des carrières, nouvelles exigences de formation initiale et continue. . .) -- la refonte des finances publiques d'État et des finances locales, de meilleures pratiques d'inspection générale, de contrôle de régularité, de contrôle financier et, surtout le développement de véritables processus continus d'évaluations des politiques publiques et programmes, d'évaluations des lois et réglementations et la multiplication des enquêtes d'utilité publique et des débats publics. Ce développement de l'évaluation, de l'enquête publique et du débat public nécessitera de grands moyens: la mise en place de nouveaux et plus larges systèmes d'information territoriaux. La statistique publique à des fins de connaissance économique et sociale régionale et locale doit bénéficier d'une priorité. De même, la recherche en sciences humaines et sociales doit être stimulée par mise à disposition des moyens de la transformer en une recherche véritablement appliquée et susceptible de fournir les éléments d'un débat au niveau régional et local. Les carrières des chercheurs et des enseignants-chercheurs qui se consacreront à l'évaluation et permettront à la recherche d'être plus utile et même, dans certains cas, opérationnelle devront être reconnues et ré-évaluées. Le renouvellement de partenariats entre les services d'études de l'État et en services correspondants des collectivités territoriales afin de réaliser une meilleure commande d'information, afin de constituer des instances ouvertes, à la fois plus ouvertes et plus contradictoires et de développer une véritable stratégie conjointe d'association des parties prenantes à la production du savoir et de la connaissance des effets de l'action publique, à sa diffusion et à son transfert de territoire en territoire. Le développement de la culture de l'évaluation dans l'opinion publique, chez les élus et leurs services commanditaires, la maîtrise de la qualité de la commande chez le commanditaire, la pratique d'une déontologie et le respect de standards de qualité chez les évaluateurs.

13

3 Des questions de procédures, d'instances méthodes en évaluation de politiques localisées

et de

La politique publique devra davantage être conçue pour le niveau territorial, animée souvent spécifiquement à ce niveau même si cela est difficile, quelquefois coûteux et souvent contraire aux intentions maintenues de politiques non discriminantes. Plusieurs outils complémentaires doivent probablement être renforcés: l'enquête publique et l'évaluation vont certainement faire partie de la panoplie. Rappelons rapidement que l'enquête publique a des caractéristiques communes avec l'évaluation. On la définit en effet comme "une procédure destinée à permettre la discussion et la concertation permettant de renseigner sur un projet complexe", et on ajoute "ce qui peut permettre ultérieurement en cas de contentieux, de mieux défendre l'intérêt général" (que ce soit pour l'enquête préalable de droit commun ou l'enquête spécifique aux projets susceptibles d'affecter l'environnement, dite enquête organisée par la loi du 12 juillet 1983 relative à la démocratisation des enquêtes publiques et à la protection de l'environnement). La commission d'enquête ou le commissaire enquêteur se voient assurer indépendance et autorité morale. Dans le cas d'une évaluation, l'instance requiert les mêmes garanties... Dans le domaine environnemental, on a ainsi une longue pratique de l'étude d'impact et de l'enquête publique (lois du 10 et 19 juillet 1976; directive européenne du 25 juin 1985...) qui peut être utile pour les évaluateurs. Dans le cas d'une évaluation de politiques territorialisées ou territoriales, la production sera centrée sur les indicateurs territorialisés d'impact. On peut rapidement rendre compte de l'expérience en la matière en distinguant ce que peuvent être les problèmes de procédures, de pilotage de l'évaluation et la spécificité des questions de méthodes.

3.1 Instances et procédures d'indicateurs territorialisés

de

constructions

Dans le domaine de l'évaluation, la question des impacts territorialisés des politiques publiques a été abordée de manière d'abord pragmatique. Au niveau européen, un effort sans précédent de méthodes a été réalisé (DG agriculture, DG politique régionale). Ceci sera présenté dans ce colloque. Au plan français, divers systèmes de mesure d'impacts territorialisés existent dont on peut étudier les processus. La multiplication de ces mesures supposerait la multiplication des instances à diverses échelles territoriales (villes, 14

agglomérations, pays, régions.. .). Ce qui pose un problème d'organisation politique aux élus et un problème d'organisation aux services de l'État et des collectivités territoriales en quête d'experts, d'ouvertures vers la société civile, les quartiers, les groupes d'intérêt ou les différentes parties prenantes. On ne donnera ici qu'un seul exemple, aux ambitions encore très limitées: celui de la procédure de la Bretagne, où l'instance semi-ouverte travaille dès à présent. L'instance cherche à s'intéresser et à intéresser différents services et en partenariat à la mesure d'effets localisés. Parmi ces indicateurs territorialisés figurent des indicateurs de réalisation, des indicateurs d'effets (distingués en effets directs, effets indirects, effets émergents) et des indicateurs de satisfaction (des bénéficiaires, des éligibles mais non bénéficiaires et des tiers). La procédure s'appuie sur cinq étapes avec validation de douze classes d'indicateurs territorialisés et de plusieurs centaines d'indicateurs. La procédure est légèrement ouverte: depuis la conception, jusqu'à la phase de validation par les services et les experts et la phase de renseignement et de proposition pour un débat: elle n'est cependant pas encore qualifiable de transparente, communicante, en raison de son caractère encore très technocratique et de son manque d'animation de la construction des indicateurs (cf. annexe 1).

3.2 Techniques et méthodes pour la mesure locale: quelques exemples de la portée et des limites
Outre les problèmes de la manière de concevoir et d'animer ou de faire participer, les problèmes liés à la mesure d'impacts territoriaux de politiques sont extrêmement nombreux. L'importance des problèmes soulevés peut d'ailleurs apparaître décourageante à certains qui ne voient guère d'intérêt à une démarche aussi exigeante et qui préfèrent les routines de simple gestion et d'utilisation des lignes budgétaires attribuées. Pour aller dans le sens des sceptiques, donnons quelques exemples de problèmes de méthodes rencontrés, récurrents même si, in fine, nous sommes de ceux qui croient à l'utile et l'agréable et de ceux qui font tout de même l'hypothèse qu'il est utile de satisfaire la demande de connaissance d'impacts territoriaux et qu'en conséquence tout effort d'évaluation vaut mieux, quel que soit le résultat, que décider de ne pas chercher à connaître. - Les politiques coopératives nécessitent des partenariats dans l'évaluation, les différents niveaux de territoires devant être associés dans la production du savoir. - La politique publique d'un État national se doit souvent d'être uniforme. Alors, point n'est besoin de s'intéresser à l'impact territorial. 15

Cependant, la politique est quelquefois adaptée localement. Il faut estimer l'écart dû à cette adaptation. Surtout, la politique peut aussi être volontairement discriminante. Dans ce cas, on comprend le besoin de territorialiser la connaissance. Cependant les difficultés de mesure dans un système centralisé de statistique publique et de connaissance sont importantes. En particulier, lorsque la politique se veut orientée vers certaines cibles pour faire de la discrimination positive, la définition des périmètres et des frontières des zones considérées est un problème redoutable. On doit documenter ce qu'est la cible ou le périmètre pertinent par un lourd travail d'information contextuelle stabilisée dans les domaines économiques et sociaux et par la possibilité de disposer de matériaux comparatifs sur différents espaces. Ceci suppose le renforcement de la statistique à différentes échelles et des études régionales plus systématiques qui ne soient pas de simples régionalisations d'études centrales et plus généralement ceci nécessite le développement de sciences humaines et sociales appliquées et opérationnelles au niveau local. La statistique publique locale actuelle et la recherche en économie régionale, urbaine ne suffisent pas, en effet, dans leur état actuel de délaissement, à rendre compte. Un vaste effort interdisciplinaire de dépenses en recherche sur la gouvernance, les politiques et leurs effets est annoncé pour le 6ème PCRD en Europe, il devrait être relayé en France dès à présent au niveau des universités, organismes de recherche et de la commande des divers niveaux territoriaux. Les sciences sont d'abord humaines et sociales et leur mise en œuvre nécessite des gros moyens en enquêtes, entretiens, bases de données, méthodologies... - Une fois défini, le territoire est conçu comme un périmètre fermé par une frontière. C'est hypothèse doit ensuite être partiellement levée car la frontière est toujours perméable. D'une part, elle n'évite pas la diffusion des effets à l'extérieur, d'autre part, elle laisse passer les effets diffusés de l'extérieur par des politiques publiques. Plus l'échelle de territoire est petite, plus les interdépendances d'effets des diverses politiques publiques mises en œuvre à des niveaux plus centralisés sont fortes et plus la diffusion d'impacts recherchés à un niveau purement local est forte. . L'additionnalité ou le caractère agrégeable des effets locaux doit être recherché et la pertinence de la mesure remonte alors d'un ou plusieurs échelons territoriaux: autrement dit, l'échelle pertinente de la statistique et de la connaissance se doit d'être à un niveau immédiatement plus centralisé que le territoire sur lequel on travaille. Autrement dit encore, la compétence "études évaluatives" ne peut être totalement décentralisée. Ceci signifie qu'au niveau local, on doit comprendre que certaines mesures sont impossibles et on doit

16

limiter les ambitions d'évaluations trop locales dans les cahiers des charges. - Imaginons que l'on soit au bon niveau territorial pour capter la plus grande partie des effets d'une politique ou d'un grand programme et leur répartition, les multiplicateurs locaux d'impact dans les triples dimensions de l'emploi, des revenus et de l'environnement seront souvent spécifiques aux zones considérés. Ils dépendent de la taille du territoire, du maillage des relations inter-entreprises ou interpersonnelles, de la capacité de la zone à attirer des effets importés et à retenir localement les effets crées: ceci peut être mesuré à partir de mesures de phénomènes de relations ou de percolations dans différents réseaux physiques, écologiques, économiques et sociaux. Les multiplicateurs peuvent aussi être différents d'une politique à l'autre. - On mesure plus facilement l'efficacité apparente ou l'efficience que l'impact ou l'effectivité. On retrouve donc, au final, beaucoup d'impossibilités de mesure d'effets propres locaux et beaucoup d'impossibilités d'imputation d'effets à certains causes. L'incertitude règne donc encore à la fin de l'évaluation. Ceci serait frustration simple si l'enjeu n'était pas aussi dans la meilleure conception, meilleure animation et dans le meilleur suivi d'une action publique qu'on s'est généralement contenté de gérer comme une simple affaire courante. Conclusion Au total, cette nouvelle économie du savoir des effets territorialisés de l'action publique que nous voyons poindre, nouvelle économie si nécessaire à la conduite du changement public, va nécessiter une culture générale et locale de l'action publique plus approfondie, la mise en place de nombreuses instances à des niveaux déconcentrés et l'approfondissement de la démocratie locale. On devrait voir ce faisant se développer la réflexion sur l'organisation territoriale car avec le développement des évaluations à enjeux locaux, on devrait redécouvrir dans la pratique quels sont les problèmes qui se gèrent au moins partiellement dans des proximités, on devrait probablement aussi redécouvrir que beaucoup de questions locales d'intérêt public ne peuvent être résolues qu'à des niveaux plus centraux de décision. La nouvelle économie du savoir des effets territorialisés de l'action publique va aussi, il faut le souligner, coûter cher, nécessiter des compétences et des organisations nouvelles: l'investissement immatériel des administrations et de leurs services va devoir 17

s'accroître en même temps que l'engagement et la participation des experts et de la société civile: le tout sera affaire d'intelligence collective, de management public revu et corrigé et de volonté. Ne voyez pas dans ces considérations sur les efforts à mettre en œuvre une indication sur l'impossibilité réelle de mieux connaître l'action publique locale ou localement mise en œuvre: le travail d'évaluation décentralisé ou centralisé, s'il est orienté vers l'utilisation, s'il est dépense intelligente dans l'économie du savoir public sur l'action publique, sera suivi d'un juste retour tant dans l'ordre économique que social et surtout politique. C'est évidemment la croyance que nous contribuons à développer ici, à charge pour le futur de nous contredire! ANNEXE 1

Les cinq étapes de la territorialisés en Bretagne

validation

des

indicateurs

Étape 1 : Analyse de l'existant et/ou création d'indicateurs dans le cadre de nouvelles actions La première étape est une étape de discussion d'indicateurs figurant dans la base actuelle ou issus de propositions nouvelles. L'ouverture de la discussion s'opère toujours sur la base d'un travail préparatoire d'un Comité régional d'évaluation assisté d'une commission scientifique et administrative regroupant experts (la question se posant aujourd'hui de l'éventuelle géométrie variable de la liste des experts) et services. Étape 2 : Sélection des indicateurs pertinents et adaptés La seconde étape est une étape de sélection par les experts des indicateurs paraissant les plus pertinents et adaptés au regard des actions programmées et de leurs objectifs. Le Comité régional d'évaluation restitue à cette occasion une première proposition revue et corrigée qu'il retourne aux services directement concernés. Étape 3 : Validation des indicateurs par les services de l'État et de la Région A l'issue d'un processus d'aller-retour, les indicateurs par programme, par action seront validés par les services de l'État et de la Région. L'étape 3 débouche sur des propositions communes Etat-Région. Étape 4: Examen des indicateurs sélectionnés par la Commission scientifique du Comité régional d'évaluation 18

Après élaboration de propositions communes d'indicateurs d'évaluation légère, la Commission scientifique du Comité régional d'évaluation sera saisie et devrait être amenée - courant 2001 - à examiner et à porter un avis sur la qualité des indicateurs qui auront été sélectionnés. Cet avis sera ensuite transmis aux services concernés de l'État et de la Région. Étape 5 : Restitution des éventuelles propositions de la Commission scientifique avant validation finale des indicateurs par les services de l'État et de la Région La dernière étape de la démarche est une phase de validation finale des tableaux de bord d'indicateurs d'évaluation légère par les services de l'État et de la Région, intégrant l'avis de la Commission scientifique. Ajoutons quelques mots sur le calendrier d'élaboration: toujours dans le cas de la Bretagne, la démarche a été engagée auprès de l'ensemble des directions de l'État en Région en mars 2000 (Direction Régionale de l'Équipement, Direction Régionale des Affaires Sanitaires et Sociales, Direction Régionale de l'Environnement, Délégation Régionale au Commerce et à l'Artisanat, Direction Régionale au Commerce Extérieur, Délégation Régionale au Tourisme). Elle se poursuit auprès des services de la Région (Direction de la Culture, Direction de l'environnement et du tourisme, Direction de l'aménagement, Direction du développement économique et de la recherche, Direction des établissements d'enseignement, Direction de la formation professionnelle continue et de l'apprentissage). La mise en œuvre du dispositif interviendra au terme de cette démarche. La collecte des informations pour les exercices 2000 et 2001 sera lancée en début d'année 2002. Éléments de bibliographie BASLE, M., (2001), " Multi-level regional policies and programs in France: European norms, methods and first applications", chapitre, in Johanson, B., Karlsson, C., Stough, R., edrs, (2002), Regional Policies and Comparative Advantage, Edward Elgar Publishing Ltd. BASLE, M., ( 1999). Regional information serving regional policy in Europe, Eurostat, office for officiaI publications of the european Communities, 1 volume édité, 196 pages; un article "The statistical informational needs for the evaluation of public regional policies: the case of the light evaluation of policies in Britanny, 1994-1998", pp. 126-146 ; un article en collaboration: "Recommendations of the 4th seminar for drawing up a medium term program of regional statistics for the European Union", pp. 281-289. 19

BASLE, M. (1999), L'impact économique de l'enseignement supérieur et de la recherche publique sur l'agglomération de Rennes, avec Jean Luc Le Boulch, Revue d'Economie régionale et urbaine, n°1, pp115-134. BASLE, M. (1998), Contexte et méthodes pour l'évaluation partenariale des politiques publiques territoriales en France: quelques leçons de l'évaluation des contrats de plan Etat-Région et du cas breton, Revue d'Economie Régionale et Urbaine, Numéro spécial sur l'Evaluation des Politiques Territoriales, n° 1, pp. 491-502.
BASLE, M. (1999), «L'évaluation territorialisée des politiques publiques en France: organisation, constat et problèmes spécifiques », in Actes du congrès de la société française de l'évaluation, Marseille, juin 1999.

20

Analyse des questions de méthode concernant les indicateurs territorialisés d'impact
Jean-Louis CHOMEL Commission Européenne

Je tiens à remercier la société française d'évaluation et son président Maurice Baslé de m'avoir fait l'honneur de m'inviter à vous présenter à travers le thème de mon intervention l'expérience de la création et du développement d'une unité d'évaluation à la Commission européenne. En effet, j'ai été nommé il y a exactement 4 ans pour créer, définir les modes d'action et animer l'unité "Evaluation des mesures applicables à l'agriculture". Vous savez que la Politique Agricole Commune avec ses deux piliers, les organisations de marché et le développement rural, gère environ la moitié du budget communautaire. Il s'agissait donc essentiellement de développer l'évaluation de la politique de dépenses. Après la période de recrutement de collaborateurs et l'appel à une firme de consultants pour les aspects de formation et de conseil méthodologique (bien connue chez vous puisque c'est C3E qui a gagné l'appel d'offres), les travaux concrets ont commencé en mars 1998, soit il y a à peu près 3 ans. Nous sommes arrivés à une période de consolidation de notre méthode de travail et engrangeons nos premiers succès.

1.

Les territoires

Au niveau de l'Union européenne, les instruments de la politique agricole s'adressent à plusieurs types de territoires, soit directement, soit indirectement. Le premier type de territoire est constitué par l'ensemble de l'Union européenne. Prenons le cas de l'organisation commune du marché des céréales, dont l'un des objectifs est la stabilisation des marchés: dans le cadre d'un marché unique, peut-on stabiliser le marché (équilibre en volume et limitation des fluctuations de prix) dans chacun des Etats membres ou chacune des régions? Non, les stocks d'intervention lorsqu'il y a excédent, bien qu'ils soient localisés dans un Etat 21

membre, ne sont pas la résultante de la politique de cet Etat! Ce sont des excédents de l'Union européenne et non des excédents français, allemands, anglais ou autres. . . Nous avons donc donné une priorité sur les résultats de l'évaluation au niveau du territoire européen pour des raisons évidentes de visibilité de l'évaluation au niveau européen. Le deuxième type de territoire est constitué par l'Etat membre. Aussi paradoxal que cela puisse paraître, nous ne nous intéressons que très peu dans le cadre de nos évaluations à ce niveau territorial. La cause en est peut-être la trop grande sensibilité politique et vraisemblablement un désir de subsidiarité très marqué entre les responsabilités de l'Union européenne et les Etats membres qui la composent. Le seul cas où nous nous intéressons au territoire d'un Etat est celui de SAPARD, le programme d'aide au développement rural de la période pré-adhésion des 10 pays d'Europe centrale et orientale (les 10 PECOs). Le troisième type de territoire se situe au niveau des régions administrati ves (les 22 régions françaises hors DOM, les 16 lander allemands, les 17 autonomies espagnoles, etc.). Certaines régions administratives couvrent un Etat membre: l'Irlande, le Danemark, le Luxembourg. C'est essentiellement à ce niveau de territoire que nous évaluons les programmes de développement rural au sens large, puisque la programmation des actions de développement financées par l'Union européenne se situe à ce niveau. Il est clair que la politique développement rural dans territorial est aussi pris organisations communes de de marché interfère avec la politique de les effets constatés, et donc ce niveau en compte lors des évaluations des marché.

Le quatrième type de territoire se situe au niveau infra aux précédents. Il est difficile à cerner de façon homogène au niveau européen, mais il nous intéresse directement en ce qui concerne l'initiative communautaire LEADER, qui s'est adressée à plus de 1000 groupes d'action locale. En outre, lors des différentes évaluations dans lesquelles nous sommes impliqués, les études de cas ou les enquêtes se font souvent à des niveaux de territoires réduits (le département en France, voire même une petite région homogène).

22

2.

Les indicateurs

Au niveau européen, les différents décideurs politiques sautent comme des cabris, pour paraphraser le Général de Gaulle, en disant des indicateurs! des indicateurs! des indicateurs! Je suis toujours surpris par cette attitude qui démontre bien un manque de réflexion sur les indicateurs. Pour moi, un indicateur, comme son nom l'indique, doit indiquer quelque chose préalablement défini. Ou, pour l'exprimer autrement, un indicateur pour quoi faire? Lorsque j'ai pris mes fonctions à l'unité évaluation, nous avons reçu les rapports de synthèse au niveau national des rapports d'évaluation à mi-parcours pour l'objectif 5b. L'une des principales recommandations des évaluateurs était de créer une batterie d'indicateurs communs au niveau européen pour pouvoir faire un minimum de travail d'agrégation des différents rapports. v ous pouvez constater que la problématique des indicateurs s'est tout de suite trouvée sur ma table de travail. J'ai rapidement réalisé que le constat des évaluateurs de l'objectif 5b sur les indicateurs était pertinent, mais je me suis permis de ne pas suivre leur recommandation et rétrospectivement je m'en félicite, car la création d'indicateurs communs demande des années de travail et une négociation au niveau de l'ensemble des Etats membres qui aurait empêché l'unité évaluation de fournir rapidement des résultats concrets. Nous avons donc mis en place une méthode de travail qui permet de disposer d'indicateurs solides sans tomber dans le piège de l'harmonisation européenne: En effet, au lieu de nous contenter de demander aux évaluateurs externes de nous fournir une étude sur l'efficacité, l'efficience, la pertinence, la durabilité ou l'utilité d'une façon générale en leur laissant toute la latitude de creuser les sujets leur paraissant les plus pertinents, nous orientons volontairement les sujets à évaluer en posant un certain nombre de questions ciblées sur 4 à 5 thèmes. L'évaluateur a l'obligation de répondre à nos questions et, s'il le souhaite, il peut aborder des sujets supplémentaires (ce que nous n'avons pas encore vu se réaliser). Dans une deuxième étape, nous demandons que les évaluateurs externes nous soumettent pour validation des critères de jugement. Cette phase du travail est particulièrement ardue aussi bien pour l'évaluateur que pour nous-mêmes, mais elle a le grand avantage de 23

poser correctement la manière d'aborder les problèmes soulevés par les questions évaluatives, et ainsi de gagner énormément d'énergie dans le processus ultérieur d'évaluation, car les indicateurs sont beaucoup plus facilement identifiés et peuvent être décortiqués en profondeur (pertinence des indicateurs, limite de validité, vérification et cohérence des données, croisement des données, etc.), et soutiennent directement le jugement demandé à l'évaluation. Au cours des évaluations des organisations de marché, nous avons eu un cas où l'évaluateur a refusé absolument de suivre cette démarche. Nous avons alors été submergés de données qui n'ont pas été analysées ensuite avec rigueur et l'étude a failli être un fiasco, notamment par l'incapacité où s'est trouvé l'évaluateur de formuler un jugement sur la politique menée. Pour une autre évaluation, l'évaluateur a commencé par mettre en cause notre méthode. Dès le début de l'évaluation, nous l'avons mis au défi de nous démontrer qu'il était capable de nous proposer des indicateurs pertinents pour répondre à 2 des questions que nous. avions posées. Après 1 mois, nous avons reçu un projet de réponse qu'il nous a été extrêmement facile de récuser, car la presque totalité des indicateurs choisis conduisaient à une analyse qui était hors sujet par rapport aux questions posées. L'évaluateur a alors accepté de suivre notre approche et, quoique l'évaluation soit encore en cours, les premiers éléments de réponse dont nous disposons apparaissent très prometteurs et particulièrement éclairants vis-à-vis d'un instrument de la PAC qui jusqu'à maintenant a été assez mal étudié.

3.

Quels indicateurs

pour quels types de territoires?

1) Au niveau de l'Union européenne, la politique des marchés agricoles est l'une des politiques sectorielles les plus intégrées, si ce n'est la plus intégrée. Les objectifs sont fixés dans le traité (la hiérarchie entre ceux-ci évolue cependant dans le temps). Les instruments ont été testés depuis longtemps (parfois depuis plusieurs millénaires comme les primes d'arrachage de la vigne déjà en vigueur dans l'empire romain). Les effets attendus sont assez bien maîtrisés, et en conséquence les indicateurs d'efficacité vis-à-vis de ces objectifs traditionnels sont très élaborés et relativement facilement mis en place. En revanche, lorsqu'on aborde les indicateurs d'efficience, on rentre dans un domaine plus délicat. En effet, les décideurs, surtout vis-à-vis du monde agricole, n'ont pas su se donner les moyens pour mesurer ce critère de l'évaluation. Enfin, concernant la pertinence des mesures 24

agricoles de marché, nous entrons dans le domaine des choix politiques où l'évaluation ne pourrait aujourd'hui se hasarder qu'à ses risques et périls. Dans le cadre de la politique des marchés agricoles, il apparaît presque inutile de définir des indicateurs spécifiques aux autres niveaux de territoires: les marchés sont largement unifiés en terme de volume, de prix et même de qualité, les revenus des producteurs découlant directement des organisations de marché sont assez similaires dans les différentes régions, les effets sur les consommateurs sont de plus en plus identiques, comme le montre la crise de la vache folle (aujourd'hui on s'inquiète de la sûreté alimentaire, c'est-à-dire de la qualité, alors qu'après la dernière guerre, on se préoccupait essentiellement de la quantité). Les contextes régionaux ou nationaux interfèrent bien sûr pour modifier les effets de la politique. J'y reviendrai ultérieurement. Lorsqu'on aborde les objectifs émergents tels que l'environnement, la qualité de vie, l'hygiène ou le bien-être des animaux, les indicateurs doivent être réfléchis et pensés entièrement. Ces concepts politiques doivent être traduits en effets, qui eux-mêmes doivent être mesurés. Aujourd'hui, on commence à disposer de certains indicateurs sur les réalisations immédiates sans d'ailleurs arriver à isoler les facteurs contextuels, mais nous ne disposons pas d'instruments de mesure, voire même de concepts permettant de définir les impacts plus globaux correspondant à ces objectifs. Un énorme travail est encore à faire. Dans le domaine de l'agrienvironnement, l'OCDE a débroussaillé le terrain au niveau des réalisations. Nous avons ouvert des pistes pour les effets plus globaux et petit à petit nous élaborons des indicateurs ayant un sens au niveau de l'Union. 2) Au niveau des régions, au sens des programmes de développement rural, nous avons proposé aux Etats membres une approche harmonisée pour l'ensemble de l'Union européenne. Les évaluations sont conduites par les régions sur base d'une méthodologie commune. En effet, nous cofinançons les études d'évaluation à condition que celles-ci répondent aux questions évaluatives communes à l'ensemble des régions. Nous avons défini les critères de jugement et nous avons élaboré une batterie d'indicateurs pour chacune de ces questions. D'une façon générale, les 54 questions évaluatives et les critères de jugement y afférents n'ont pas été remis en question par les Etats membres lors de nos discussions.

25

En revanche, la majeure partie des débats a porté sur les indicateurs communs. Nous nous sommes rendu compte que très souvent, certaines administrations nationales ont eu des difficultés à comprendre que les indicateurs devaient être alimentés par les évaluateurs externes, et non directement par l'administration, même si celle-ci pouvait largement aider les évaluateurs par la fourniture des données dont elle disposait. Nous nous sommes aperçus que les désaccords provenaient souvent d'une mauvaise compréhension découlant la plupart du temps de réalités culturelles différentes entre les Etats membres. Nous avons fait un tour des capitales des Etats membres, et nous avons pu décoder les problèmes et trouver des pistes possibles pour répondre aux questions communes en respectant les particularités culturelles nationales et régionales. Pour revenir à nos indicateurs, nous avons refusé d'entrer dans un débat de statisticien pour obtenir des données absolument comparables. L'exemple suivant pourra vous éclairer: au niveau de l'Union européenne, nous disposons d'une dizaine de manières de calculer le revenu agricole, les Etats membres ont eux-mêmes, en plus de l'approche communautaire, des définitions propres. Nous n'avons voulu imposer aucune définition précise, nous laissons aux régions cette marge de manœuvre consistant à choisir eux-mêmes la meilleure approche statistique adaptée à leur contexte. Nous tirerons de cette expérience des enseignements pour disposer d'indicateurs homogènes au niveau de l'Union européenne. Je pense que cette approche très pragmatique pourrait permettre la décantation nécessaire pour définir, au terme de ce cycle de programme, les indicateurs pertinents à retenir au niveau de l'Union européenne et applicables dans le plus grand nombre d'Etats membres. 3) Au niveau local, nous nous refusons, et je pense à bon escient, de définir à partir de Bruxelles quelqu'indicateur d'impact que ce soit. Nous sommes dans le cadre de LEADER, par exemple, dans une problématique originale qui mériterait à elle seule un développement propre. En effet, nous cherchons à promouvoir un processus d'évaluation ascendant. Les normes évaluatives sont proposées pour l'ensemble des groupes locaux par des acteurs du terrain qui ont testé des pratiques fonctionnelles et opérationnelles. Nous en sommes au stade de la méthode et pas encore au niveau de la recommandation. La recherche de bonne pratique prendra vraisemblablement plusieurs années.

26

4.

Les résultats et les pistes pour l'avenir

1) Cette méthode, question évaluative - critère de jugement indicateur, s'est avérée robuste et est finalement acceptée par les évaluateurs qui travaillent avec nous. Nous passons d'ailleurs un certain temps à leur expliciter notre méthode de travail. Les résultats concrets sont éloquents. Nous avons achevé 9 études d'évaluation concernant les marchés, 8 d'entre elles ont conduit la Commission à des propositions de modifications réglementaires. La 9ème sera utilisée largement dans la révision de la PAC prévue l'an prochain. Donc 100% de réussite, si on retient le critère de l'utilisation et de l'utilité des évaluations. La dernière modification n'est pas anodine car il s'agit tout simplement de réformer l'organisation commune du marché de la viande ovine et caprine. Au niveau des Etats membres, comme je l'ai indiqué, nous leur avons proposé cette méthode et ils l'ont acceptée. Nous l'avons testée dans certaines régions pilotes (malheureusement pas en France) et les évaluateurs nous ont indiqué qu'elle fonctionnait parfaitement. Les questions sont pertinentes, les critères de jugement acceptables et les indicateurs agri-environnementaux sur lesquels nous avions des doutes ont pu être testés en Suède avec un certain succès! Nous disposons donc d'une approche harmonisée applicable dans les 15 Etats membres et leurs régions et dans les 10 pays candidats de l'Europe centrale et orientale. Nous allons vérifier dès 2002 si sur cette base nous pouvons envisager d'élaborer une synthèse communautaire pertinente. On peut se demander si aujourd'hui le plus grand succès n'est pas celui d'avoir fait travailler ensemble plusieurs fonctionnaires, habituellement compartimentés dans leurs tâches de gestion quotidienne, de leur avoir permis de prendre le temps de prendre du recul et, pour certains, d'avoir modifié leur méthode de travail. Je dois ajouter que le succès est également dû à d'autres facteurs: l'existence d'un groupe de pilotage compétent et exigeant vis-à-vis des évaluateurs, d'une grille d'appréciation de la qualité de l'évaluation publiée sur le web en même temps que l'évaluation finale, la mise en place d'un processus de diffusion et de suivi des conclusions et recommandations des évaluations. En revanche, nous n'avons pas trouvé comment faire participer les groupes bénéficiaires au pilotage des évaluations des organisations communes de marché, leurs représentants étant tentés de prolonger 27

leurs négociations entamées dans d'autres enceintes. Au niveau local (type LEADER), la participation des bénéficiaires au processus évaluatif est cruciale et, heureusement, est réalisée avec succès. Il nous reste encore à trouver la manière de faire participer aux évaluations les bénéficiaires (se comptant par millions) d'une politique publique redistribuant plusieurs milliards d'Euros chaque année. 2) Le travail ne manque pas pour l'avenir. Nous devons développer des indicateurs pour les objectifs émergents: le niveau de vie de la population rurale, l'environnement, la qualité et la sûreté alimentaires, l'hygiène et le bien-être des animaux, etc. Nous devons examiner la possibilité de créer des indicateurs liés aux contraintes budgétaires, réglementaires ou résultant d'accords internationaux. Nous devons intégrer dans nos évaluations des indicateurs de contextes qui tiennent compte à la fois des spécificités agricoles, notamment agronomiques et climatiques, et des particularités régionales aux niveaux culturel ou institutionnel. Enfin, je rêve de disposer d'une banque de données harmonisées au niveau de l'ensemble des régions de l'Union européenne, permettant de nourrir des indicateurs communs afin de disposer au niveau de l'Union d'une information comparable sur les effets de la politique agricole commune. Mais ce rêve se heurte au risque de disposer des informations pertinentes au moment où elles ne seraient plus utiles car la PAC pourrait être profondément transformée dans les années à venir. Il faudra donc réfléchir de façon anticipée - au moment où la future politique sera mise en place, aux questions-critères-indicateurs nécessaires pour en juger les effets.

28

Evaluation, gouvernement multi-niveaux et stratégies des territoires.
Hilkka SUMMA, DG Budget, Commission européenne.

Le papier aborde successivement trois questions importantes et donne le point de vue d'une observatrice et en même temps responsable au niveau de la Commission européenne.

1. L'évaluation au niveau territorial au service d'une stratégie de territoire
Ce qui constitue la particularité de l'évaluation territoriale n'est pas entièrement clair. Les questions évaluatives, les méthodes ou les critères de jugement ne devraient pas en tant que tels dépendre de la façon dont l'unité d'analyse est définie; ni le processus d'évaluation ne devrait être radicalement différent de celui d'une évaluation d'une politique ou d'un programme. En outre, indépendamment du sujet, le but de l'évaluation devrait toujours être de soutenir la conception politique ou la prise de décision, c'est-à-dire, d'être dans le service d'une stratégie de politique publique. Une manière de définir une "évaluation territoriale" est de la comprendre comme une évaluation dans laquelle l'unité d'analyse est un territoire à la place d'un programme ou d'une politique. Une telle définition aura des conséquences importantes pour le type de questions qui sera posé et le type d'analyse qui sera effectué. L'évaluation serait focalisée à l'analyse des changements ou à résolution des problèmes dans un territoire spécifique, indépendamment des politiques sectorielles ou des programmes spécifiques, définis verticalement. Le but serait de tirer des conclusions sur l'impact intégré de toutes les politiques publiques, au lien de juger les impacts isolés des politiques ou des programmes distincts. Une telle approche pourrait répondre aux problèmes créés par la confrontation entre la logique sectorielle des politiques verticales et les besoins locaux et les contextes de mise en œuvre variés, ou les 29

problèmes de concurrence entre les différentes politiques sectorielles. Il n'est pas difficile de trouver des exemples. Le programme européen des Réseaux Transeuropéens a pour but la construction d'un réseau de transport rationnellement conçu à travers l'Europe. Dans le cadre de la préparation du Livre Blanc sur la gouvernance européenne, cela a été utilisé comme illustration sur le désaccord classique entre les logiques sectorielles et territoriales. Le programme vise à construire des voies efficaces à grande vitesse où l'intensité des flux de trafic indique un besoin majeur, ce qui peut favoriser les régions économiquement développées et contribuer à la polarisation accrue entre les régions économiquement fortes et faibles. Le programme pourrait être jugé réussi du point de vue économique et de point de vue de ses objectifs sectoriels, mais comme un échec du point de vue de certaines régions spécifiques, et du point de vue de la politique de cohésion européenne. Un exemple illustratif est la voie de chemin de fer qui suit la côte Adriatique de la péninsule italienne: la construction a bien pris en considération les besoins de transport et les considérations de coûtefficacité; la voie suit le tracé le plus économique, c'est-à-dire celui qui comporte le minimum de tunnels et de ponts. Cette option impose aujourd'hui d'énormes contraintes en matière d'utilisation de l'espace côtier et cause, à de nombreux endroits, d'importants problèmes d'érosion. Dans ce cas, on peut voir à la fois un désaccord ou une concurrence entre deux logiques sectorielles (environnement vs transport) et un désaccord entre objectifs "verticaux" et objectifs territoriaux. Clairement, les résultats des évaluations effectués au niveau territorial seraient différents de celles conduites de point de vue de la politique de transport nationale ou européenne. Dans la pratique, ce sont souvent les aspects institutionnels qui sont au cœur du problème d'incohérence des politiques sectorielles ou de concurrence stérile entre ceux-ci. Les difficultés proviennent en général des structures administratives sectorielles qui opèrent de manière isolée et qui éprouvent, en outre, certaines difficultés à mettre en place des mécanismes destinés à gérer ou même analyser les impacts globaux. Cette tendance peut être encore renforcée par une culture administrative et des réformes qui soulignent l'importance de réaliser et mesurer les résultats: si les administrations sectoriellement organisées sont invitées à se concentrer sur la réalisation des résultats dans leurs propres secteurs, cela réduira la motivation pour analyser ou prêter l'attention aux impacts transversaux ou intégrés. Les évaluations focalisées au niveau du territoire peuvent servir à mettre en évidence les effets du compartimentage administratif, à débloquer des rivalités néfastes et à inspirer des approches plus 30

intégrées de l'élaboration de la politique juste en mettant en grand jour les impacts globaux et intersectoriels des différentes politiques dans un secteur spécifique. Deux exemples des politiques européennes peuvent être tirés des tentatives pour se diriger vers cette direction dans l'évaluation: Dans les fonds structurels une logique territoriale a été fortement présente déjà au cours des périodes de programmation de passé, à la fois dans la conception et la mise en œuvre des programmes et dans l'évaluation. Néanmoins, la définition du "territorialisme" n'est pas tout à fait ce que j'ai voulu dire ci-dessus - la programmation et l'évaluation des programmes des FS sont supposées répondre à la fois aux objectifs locaux et de niveau européen. Par exemple, la pression pour la mesure systématique des effets sur l'emploi est un besoin purement vertical. Le mode de fonctionnement des fonds structurels (FS) est plutôt un hybride de logiques territoriales et verticales. Néanmoins, dans la période de programmation actuelle, la logique des évaluations ex-ante peut être vue comme exemple d'une approche territoriale. Un de leurs buts principaux était spécifiquement d'analyser le contexte local et de mettre la stratégie du programme proposé à l'épreuve des résultats de cette analyse. Dans l'aide extérieure, un nombre croissant des évaluations est effectué sur les stratégies de pays, tout en se focalisant sur la coordination, cohérence et complémentarité (les trois "C") des actions des donneurs fonctionnant dans le même pays. L'analyse menée dans de telles évaluations se concentre sur les problèmes caractéristiques d'un pays, et sur le changement global dans son territoire, en cherchant la définition du "policy mix" le plus approprié au contexte en question. La logique de concevoir une évaluation est dans ce cas tout à fait différente d'une évaluation traditionnelle de programme. Les trois "c" en plus des trois "E" classiques deviennent là un thème plus en plus important des évaluations. Cela reflète un changement dans l'approche. On peut peut-être généraliser: les "trois C" ne peuvent être mesurés qu'en relation à un territoire spécifique, (est-ce que les opérations des donneurs ont été coordonnées, complémentaire et cohérent avec les uns et les autres et avec la réalité sur la terre). Les "trois E ", au contraire, sont mesurés en relation à un programme, une politique ou action, ou parfois une organisation, et peuvent être examinés dans l'abstrait, sans faire aucun lien à un contexte territorial spécifique de mise en œuvre. Les "trois E" peuvent être donc vus comme approche caractéristique des évaluations "verticales", tandis que les "trois C" représentent une approche plus "horizontal" d'évaluation. 31

L'adoption d'une vue territorialisée d'évaluation dirige donc vers différentes questions évaluatives que l'approche traditionnelle. Elle signifie aussi l'abandon de la vue traditionnelle de l'élaboration des politiques, la vue des programmes publics qui a été appelée "balistique". Cette vue, selon laquelle les politiques sont lancées par le niveau central (national ou européen) et produisent dans une manière mécanique de résultats similaires dans tous les territoires visés, est souvent aussi très liée aux structures organisationnelles politicoadministratives. Elle conduit à définir les politiques, les possibilités de les ré-orienter et les évaluations sur la base des structures de la carte politico-administrati ve. Il va de soi que les différents ministères - ou Commissaires et DGs de la Commission dans le contexte européen et leurs contreparties au sein des comités parlementaires, sont "d'office" les avocats des politiques sectorielles, et par conséquent, intéressés par les résultats de leurs "propres" politiques sectoriellement définis. Or, il est possible d'imaginer les évaluations territorielles qui dépasseraient ces limites sectorielles et seraient des catalyseurs pour l'élaboration des politiques plus intégrées. Néanmoins, j'ai certains doutes concernant la question de savoir si c'est l'évaluation qui pourrait être le moteur principal pour un tel développement. Si on croit à la doctrine que l'évaluation doit produire de la connaissance utilisable, ses limites sont dans une large mesure définies par les intérêts de ses utilisateurs. Cela mène à une tendance naturelle à focaliser des évaluations sur les unités d'analyse qui correspondent aux intérêts de leurs" clients" politiques et administratifs. Dans une administration verticalement compartimentée, l'évaluation utilisable tend à être verticalement compartimentée aussi. Si on voulait promouvoir des approches d'évaluation territorialisées, la première question serait celle de notre troisième thème: c'est-à-dire quel serait le niveau ou l'unité territoriale approprié pour une telle évaluation, et qui serait la propriétaire appropriée d'un tel projet. Pour répondre à la question du premier thème, il faut peut-être d'abord avoir des stratégies territoriales intégrées, les évaluations viennent alors après.

2. L'évaluation d'expérimentation ou innovation locale au service de la généralisation d'une politique publique
Ce thème évoque les commentaires suivants de ma part: A la Commission européenne, le "modèle expérimental" est utilisé sous forme des" actions pilotes", notamment dans les secteurs qui ne 32

sont pas encore bien établis dans l'ordre du jour de la politique européenne. Un tel modèle a été utilisé par exemple dans les secteurs d'exclusion sociale, de la politique culturelle, de l'aide aux PME pour faire face aux défis de l'élargissement de rUE etc. En vertu des règles financières actuelles la Commission est autorisée à inscrire les fonds dans le budget communautaire pour les actions pilotes visant à expérimenter la faisabilité d'une action et de son utilité. De telles actions peuvent être financées pendant deux ans; après quoi, elles doivent être terminées ou une base légale pour elles doit être adoptée. La Commission est tenue de présenter un rapport d'évaluation sur ces activités lors de la présentation de sa proposition de budget. L'évaluation est évidemment un élément crucial de ce système. Malheureusement, il doit être dit que très souvent les rapports d'évaluation sur les actions pilotes ne correspondent pas aux principes de la bonne évaluation qui préparerait effectivement les conclusions généralisées. Pour que l'évaluation d'une expérimentation puisse constituer une base fiable pour les conclusions concernant la continuation ou la généralisation de l'action, les conditions préalables suivantes devraient être accomplies: - l'expérimentation devrait tester une ou plusieurs hypothèses qui sont explicitées à l'avance; c'est-à-dire, quand l'action pilote est conçue, il devrait être rendu clair quel mécanisme ou impact est supposé fonctionner; - les critères pour la satisfaction des hypothèses doivent être identifiés et énoncés à l'avance: c'est-à-dire, avant le commencement de l'action pilote, il devrait y avoir un accord concernant la base sur laquelle l'action sera continuée ou abandonnée après la phase expérimentale; les mesures de ces critères doivent être faites avant et après l'intervention: c'est-à-dire, avant le commencement de l'action pilote. Un système de suivi doit donc être mis en place pour assurer que les informations appropriées seront disponibles surtout sur les critères sur la base desquels on va juger l'expérimentation. Je pense que ces principes pourraient être une orientation utile pour toute situation dans laquelle des mesures expérimentales locales sont prises avec l'intention d'en tirer des conclusions généralisées. Théoriquement, ce thème mène à la question sur les conditions pour généraliser sur la base d'une étude de cas unique ou multiple. En sciences sociales, les 15 dernières années ont témoigné d'une floraison de la recherche basée sur des études de cas. Bien qu'il reste encore un 33

-

certain débat sur la valeur et le potentiel des études de cas, la vue courante principale soutient que les études de cas uniques, correctement conçues, peuvent former la base pour la généralisation analytique, cependant pas pour la généralisation statistique. Les études de cas multiples - encore, si correctement conçues - peuvent être utilisées pour étudier l'effet des différences contextuelles. Cela est la chose même qui intéresse Pawson et Tilley et les avocats de l'évaluation dite réaliste. Néanmoins, les fruits comparatifs des études de cas multiples peuvent seulement être récoltés si l'unité d'analyse est tenue constante. Traduit en termes plus pratiques, relativement à l'évaluation, cela signifierait qu'une expérimentation ou une innovation unique et locale pourrait être une méthode appropriée pour identifier les mécanismes par lesquels les effets sont produits. Si cela est relié à une analyse des facteurs de succès relatifs au contexte particulier dans lequel l'expérience a été entreprise, il serait possible de dire dans quelles conditions les résultats pourraient être généralisés. L'idée des études de cas multiples, c'est-à-dire, entreprenant la même expérimentation dans quelques différents contextes, aiderait à identifier les facteurs contextuels qui contribuent au succès ou à l'échec. Je serai inclinée à relier la possibilité d'utiliser des expériences locales comme instrument d'évaluation aux évaluations de type ex-ante où le but est d'identifier les actions à prendre ou pour comparer des orientations alternatives. Pour une évaluation de type ex-post traditionnelle, où le but est de juger les résultats réalisés les innovations locales et les expérimentations sont plutôt un problème, parce que l'agrégation de leur valeur est très difficile.

3.

Niveau territorial pertinent des évaluations

Une doctrine largement admise est que l'évaluation devrait fournir des informations et des jugements qui sont utiles pour les décideurs ou des gestionnaires de la politique évaluée. À la suite de ce principe, la réponse à la question présentée serait que le niveau territorial approprié est le niveau qui intéresse des décideurs, c'est-à-dire, celui qui correspond aux entités sur lesquelles la planification, la programmation, l'allocation des ressources et d'autres décisions seront concentrées. Le bon niveau territorial pour une évaluation dépend sans doute du but de l'évaluation et du type de questions évaluatives posées. Par exemple, dans l'évaluation de l'aide extérieure de l'UE, c'est le pays bénéficiaire qui est devenu de plus en plus important comme unité 34