La mise en oeuvre du programme objectif 3 du Fonds social européen : contribution aux réalisations, aux résultats et à l'impact du programme en France

Jean-Claude Barbier, Seine-Saint-Denis), Centre D'Etudes De L'Emploi (Noisy-Le-Grand

Description

La première partie de ce rapport est consacrée aux questions de définition et de méthodes. La deuxième passe en revue les différentes composantes de la mise en oeuvre sur lesquelles l'enquête a apporté du matériau : partenariat initial, rôle des règles, influence des contrôles, impact des circuits financiers, influence des représentations que les acteurs se font du programme, place de l'évaluation dans le programme.

Sujets

• FSE
• Fonds structurels européens
• Politique sociale
• Application
• Contrôle
• Financement
• Innovation
• Évaluation

Informations

• Publié par: rapports-tous-les-rapports
• Publié le: 01 juin 2002
• Nombre de lectures: 11
• Licence : En savoir +
  Paternité, pas d'utilisation commerciale, partage des conditions initiales à l'identique
• Langue: Français

Extrait

RAPPORT DE RECHERCHE

La mise en œuvre du programme objectif du Fonds social europé Contribution aux réalisations, aux résultats et à l’impact du programme en France

J E A N -C L A U D E B A R B I E R

av e c l ai de d e S aïd Adje r ad, Ol ivi a Bl um, An geli na Br ygo o, C orali e P é rez , Cl aud e Ra c k , F ra nç oi s e Ta rq ui s

J u i n 2 0 0 2 0   4

N° 03

N° 02

N° 01

NUMEROS DEJA PARUS :

téléchargeables à partir du site http://www.cee-recherche.fr

Embaucher, sélectionner, valoriser. Les offres d’emploi dans la presse française entre 1960 et 2000 E NAEULL E MM M ARCHAL , D IDIER T ORNY avril 2002

L action publique face aux transformations de la famille en France ’ O LIVIER B ÜTTNER , M ARIE -T HERESE L ETABLIER , S OPHIE PENNEC , avec la collaboration   de Sophie Bontemps et Martine Lurol février 2002

Les institutions locales et le programme « emplois-jeunes » dans les activités culturelles et socioculturelles B ERNARD S IMONIN , M ARIE -C HRISTINE B UREAU , C ORINNE I EHL , B ERNARD G OMEL , E LIANE L E D ANTEC , V INCENT LEMAITRE , C OLETTE L EYMARIE , N ICOLAS S CHMIDT janvier 2002

Le texte a été soumis aucomité éditorial Gabrielle Balazs, Jean-Claude : CEE, composé de du Barbier, Pierre Boisard, Bruno Courault, François Eymard-Duvernay, Jérôme Gautié, Jean-François Germe, Michel Gollac, Françoise Laroche, Marie-Thérèse Letablier, Martine Lurol, Emmanuèle Reynaud, Bernard Simonin, Marie-Madeleine Vennat, Serge Volkoff.

La mise en œuvre du programme objectif 3 du Fonds social européen Contribution aux réalisations, aux résultats et à l’impact du programme en France

Jean-Claude Barbier

Avec l’aide de Saïd Adjerad, Olivia Blum, Angelina Brygoo, Coralie Pérez, Claude Rack, Françoise Tarquis

Le rapport sur « la mise en uvre du programme objectif 3 du F SE  en France » a fait lobjet dune exploita- tion traditionnelle en matière détudes évaluatives, par ses commanditaires, en 2000 (les principaux : le ministère français du Travail et de lEmploi, et la Commission européenne).

Dun point de vue plus permanent, il propose une approche théorique de la notion de « mise en uvre », analy- sant une politique qui fait partie des programmes dits des fonds structurels communautaires. Dun point de vue sociologique, on peut considérer la mise en uvre comme « lensemble des activités sociales des acteurs qui sont affectés par la politique ». Cette définition insiste sur un point crucial : les « produits » de la politique ou du programme ne sont pas simplement le fait des activités des autorités publi- ques qui sont à leur initiative ; il faut, pour envisager la construction de causalités des actions, faire toute leur place aux actions de tous les acteurs, y compris bien sûr les bénéficiaires des politiques. Cette approche sins-

RESUME

crit en faux contre une vision méca- niste de la politique publique, conçue comme une série de séquences pre- nant place successivement entre la phase initiale de conception et les impacts sur le terrain : les acteurs publics (ici, la Commission et les différents niveaux de gouvernement en France) nont pas de privilègea priori dans la recherche des causali- tés. Les débuts de la mise en uvre influent sur le contenu de la politi- que ; sa définition initiale est appro- priée et réinterprétée par les acteurs, dautant que, comme il est évident dans le cas dun programme défini par des cadres très généraux, les marges de cette interprétation sont très grandes. La question cruciale de la différence de nature entre des « politiques com- munautaires sociales », dun côté, et des politiques de lemploi - ou plus largement des politiques sociales, nationales - est dune brûlante actua- lité, tant du point de vue de leur conduite que de celui de leur légiti- mité. Lentrée empirique détaillée,

qui est celle du présent rapport, per- met douvrir un peu la boîte noire de ces différences. Le point de vue adopté dans le texte quon va lire est, cela va sans dire, limité par les conditions de sa com- mande : il se place, comme tout rapport dévaluation, dans le cadre qui est défini par le ou les comman- ditaires. Le matériau empirique, « à lintérieur de lévaluation », peut être relu à la lumière de lapproche par les « référentiels ». Dans le cas français, lévaluation, en tant que grille cogni- tive, se trouve en concurrence avec dautres approches plus traditionnel- les. Il est certain que lobligation, présente dans les règlements commu- nautaires, de lévaluation des fonds structurels est lun des canaux qui modifient les processus des politiques publiques dans le domaine social, les systèmes dacteurs et les représenta- tions quils se font des « théories » des politiques quils participent à faire exister.

Préface( 6 mai 2002)

Le présent rapport a été écrit en 1999, dans le cadre de la con l’évaluation pour la France de l’objectif 3 du Fonds s S o E ial  lI .)cesutropéen l’un des nombreux rapports, articles et documents qui ont été prod direction de Jean-CLaude Barbier (voir bibliogra Plusieurs années après son écriture, nous espérons qu’il garde un in publié dans la collection des rapports de recherche du Centre d’ l’emploi, pour plusieurs raisons. Sur le plan des actions empiriques évaluées, évidemment, beaucou ont changé : un nouveau progra SE mme du Fe tse  nocru,sve aunc dée nifinoit nouvelle du champ de l’objectif 3, après la réforme des fonds structur à quelques reprises dans le texte qu’on va lire). Les conclusions op rapport ont été intégrées dans celles de l’évaluation dans son ensem utilisées - à des degrés divers, comme toujours dans les opérations d dans le processus de redéfinition du nouveau programme. D’autres r eu lieu, notamment celle de la place institutionnalisée de l’évaluati communautaire. Pourtant, malgré l’évolution de cet ensemble de politiques, malgré le il nous semble que les questions de « mise en œuvre » des communautaires ne sont pas pour autant devenues étrangères à la leur compréhension (en particulier si l’on se fixe l’objectif de les év avons continué de mener des recherches sur ces questions, nota l’analyse de la stratégie européenne pour l’emploi et nous avons r des points dont la pertinence était apparue dans cette premiè La question cruciale de la différence de nature entre des « p communautaires sociales » d’un côté, et des politiques de l’empl largement des politiques sociales, nationales -, reste d’une brûlante a du point de vue de leur conduite que de celui d 1  .’Lnerte urle légeitimité empirique détaillée qui est celle du présent rapport permet d’ouvri boîte noire de ces différences. Le point de vue adopté dans le texte qu’on va lire est, cela va sans di les conditions de sa commande : il se place, comme tout rapport d dans le cadre qui est défini par le ou les commanditaires. C’est- l’intérieur de l’évaluation ». On notera, de ce point de vue, que les in rapport à propos de l’évaluation comme « dimension de la mise en œ très succinctes. D’autres travaux, menés depuis, ont complété ce poi façon à intégrer l’évaluation comme l’une des activités qui con définition et à la légitimation des politiques. Ici l’approche qui nous se intéressante est celle de la transformation d 2 c sales an D». lsietneréfér « se français, l’évaluation, en tant que grille cognitive, se trouve en conc d’autres approches plus traditionnelles. Il est certain que l’obligati dans les règlements communautaires, de l’évaluation des fonds str l’un des canaux qui modifient les processus des politiques publiq domaine social.

 1 Voir notamment sur ce point précis F. Scharpf (2000). 2 de la stratégie européenne pour lemploi (cf.Nous lavons utilisée dans lenquête menée sur les représentations des acteurs à propos Barbier, Sylla Ndongo Samba, 2001).

Sommaire

Introduction ....................................................................................................................... 7

Partie 1 – Que recouvre la mise en œuvre du programme objectif 3 du Fonds social européen et comment évaluer sa contribution aux réalisations, aux résultats et aux impacts du programme ? ............................................................................................... 11

1. Les méthodes de l’enquête : généralités/validité .........................................1..1..............

2. La notion de mise en œuvre .........................................................................................21 2.1. Une approche sociologique de la « mise en uvre » : le champ le plus large des activités............. 13 2.2. Le schéma de la Commission concernant la mise en uvre ............................................................ 14 2.3. Le contenu de la mise en uvre dans le programme du Fonds social européen (essai dune « théorie causale limitée ») ..................................................................................................................... 18

Partie 2 – Les enseignements de l évaluation de la mise en œuvre ........................... 31 ’

1. Le partenariat et la programmation...............................................................13............... 1.1. Quelle notion de « partenariat » ?..................................................................................................... 31 1.2. Les conceptions des commanditaires dominants ............................................................................. 33 1.3. Le partenariat : analyse par niveaux................................................................................................. 43 1.4. Leffet du partenariat sur les réalisations, lefficacité et lefficience (hypothèses qualitatives) ...... 70

2. Les règles du programme objectif 3 ........................................................................17..... 2.1. La notion de règles retenue .............................................................................................................. 71 2.2. Les enseignements principaux de lenquête..................................................................................... 72 2.3. Leffet sur les réalisations, lefficacité et lefficience (principaux enseignements qualitatifs)........ 77

3. Les contrôles ............................................................................................................7...9 3.1. Méthodes : des difficultés persistantes daccès à la matière des contrôles ...................................... 79 3.2. Les contrôles concernés et leurs effets : effets symboliques, effets financiers ................................ 82 3.3. Leffet sur les réalisations, lefficacité et lefficience (hypothèses qualitatives) ............................. 83

4. Le rôle des circuits financiers......................................................................................58.. 4.1. Notion de circuits financiers, méthodologie et validité des constats ............................................... 85 4.2.Constats............................................................................................................................................86 4.3. Effets sur les réalisations, lefficacité et lefficience (hypothèses qualitatives)............................... 87

5. Représentations chez les acteurs et référentiel normatif............................................. 5.1. Une position du problème difficile et évolutive : dune interrogation en termes de cohérence aux représentations puis à la question du référentiel normatif....................................................................... 88 5.2. Représentations, opinions, valeurs, normes, algorithmes et images ................................................ 89 5.3. Principaux enseignements ................................................................................................................ 90 5.4. La relativisation des représentations en termes de « complexité », « lourdeur »............................. 92 5.5. Fonds social européen et représentation de linnovation ................................................................. 93 5.6. Les effets de pouvoir du Fonds social européen dans les représentations des acteurs..................... 94 5.7. Les effets sur les réalisations, lefficacité et lefficience du programme (hypothèses qualitatives) 94

6. La place de l’évaluation (questions préliminaires) ......................................59.................

6.1. Le rôle de lévaluation ..................................................................................................................... 95 6.2. Les acteurs de lévaluation, leur équilibre ....................................................................................... 95 6.3. Le comité de suivi et lévaluation, la diffusion des enseignements de lévaluation ........................ 96

Conclusion/Synthèse...................................................................................................... 97

1. Le partenariat et la programmation...............................................................97...............

2. Le rôle des règles................................................................................................9.........9

3. L’impact des contrôles (observations à titre d’hypothèses) .........................................

4. L’impact des circuits financiers ................................................................................0.1...1

5. Les représentations des acteurs : le rôle du référentiel normatif .................................

6. L’évaluation (observation préliminaire) ........................................................................210

Bibliographie ................................................................................................................. 105

Annexes

1. Liste des documents consultés ...................................................................................9.0.1

2. Réunions organisées par le Centre d’études de l’emploi ..............................................

3. Guide des entretiens réalisés en région en 1998 par le Centre d’études de l’emploi... 4. Réunions des comités de pilotage de l’évaluation de l’ S o E it f 3udF ....bjec.123................................ 5. Cahier des charges pour l’évaluation du programme objectif 3 en France ...................

Introduction

LA MISE EN ŒUVRE COMME FACTEUR EXPLICATIF DES RÉALISATIONS, DE L’EFFICIENCE ET DE L’EFFICACITÉ DU PROGRAMME OBJECTIF 3 DU FONDS SOCIAL EUROPÉEN

Le programme dévaluation de lobjectif 3 du Fonds social européeen (F SE ), validé par le comité de suivi du programme dans ses diverses réunions, a explicitement intégré la nécessité dune analyse précise de limpact de lamise en uvre. Ce choix méthodologique ne va pas de soi, au regard des référentiels habituels de lévaluation des programmes européens 3 . Ceux-ci, comme le montre le documentOrientations 4 , naccordent, en général, à la mise en uvre quune importance secondaire. Dans le référentiel desOrientations, la notion de « mise en uvre » est très limitative : ce document décrit lefficacité de la mise en uvre comme « ce quon a fait par rapport à ce que lon voulait faire » et pointe sur « lefficience de la mise en uvre, cest-à-dire les réalisations, les résultats et les impacts obtenus par rapport aux res- 5 sources mobilisées, notamment financières » . Si le document insiste sur la nécessité de bien repérer des « liens de causalité », il nenvisage pas explicitement que la mise en uvre puisse à cet égard jouer un rôle important. Enfin, les conditions générales dans lesquelles le programme se déroule sont regroupées sous deux rubriques, le « contexte opérationnel » et les « progrès dans la gestion », dont il est conseillé dexercer un suivi ; pourtant, ces éléments sont clairement présentés comme extérieurs à la logique des indicateurs de réalisations, résultats, et atteinte des objectifs. Sans être contradictoire avec la logique générale du référentiel desOrientations, expressément prise en compte dans le rapport préliminaire du Centre détudes de lemploi (C EE ) 6 , la conception de lévaluation proposée par celui-ci, depuis ce rapport, prend une position méthodologique différente, en raison du poids accordé à la mise en uvre dans la chaîne des causalités et par la définition même de la « mise en uvre ». En ceci, le C EE a été amené à soutenir lhypothèse dun statut de dimension explicative importante de la mise en uvre dans le programme objectif 3, conformément à une demande qui, initialement, némanait que de certains seulement des représentants du comité de pilotage de lévaluation. À cette demande, les services du ministère du Travail, réticents au tout début du programme de lévaluation (du fait que les questions de mise en uvre sont strictement de la compétence de lÉtat membre), se sont ralliés, de même que les représentants de la Commission. Les représentants du ministère du Travail ont considéré que lexamen approfondi de la mise en u- vre servait, chemin faisant, des besoins de gestion du programme et dévaluation formative 7 . De cet intérêt, se sont aussi convaincus les services de la Commission, alors même quils sont, par cons- truction, plus « éloignés » des questions de mise en uvre, cette dernière relevant, pour lessentiel de lÉtat membre, et, selon toute vraisemblance, devant relever encore moins des préoccupations de la Commission avec la réforme en cours des règlements des fonds 8 .

 3 Ce constat a été expressément formulé par les agents des services de contrôle de la D G  V et de la D G  XX , lors dun entretien organisé en décembre 1998 par lunité dévaluation de la D G  V 4 Cf. Commission des communautés européennes (1995). 5 Cf. Commission des communautés européennes (1995, p. 16). 6 Cf. Barbier, Simonin (dir.) (1996). 7 Cf. à ce propos le débat sur les usages de lévaluation lors de la présentation de la communication de J.-C. Barbier à la conférence de Séville en 1998, présentée en concertation avec le département F SE . 8 Lune des conclusions des attendus de la réforme étant que la mise en uvre des fonds devait être « simplifiée ».

Rapport de recherch0e4CEE

Le présent rapport, dont les conclusions synthétiques ont été reprises dans le pré-rapport final de fin juin 1999, illustre lintérêt de bien considérer, du point de vue des liens de causalité, lensemble des activités qui peuvent être regroupées sous la rubrique générale de « mise en uvre », dont nous allons donner une définition dans la première partie du rapport.

Pour léquipe du C EE pas nouvelle et elle découle de la pratique de, cette position de méthode nest nombreuses études dévaluation des politiques publiques de lemploi en France ou de programmes particuliers 9 . Elle renvoie à lidée que les résultats et impacts de laction publique ne peuvent être pleinement appréhendés quen faisant intervenir la notion defficacité organisationnelle. Nous en- tendons par ce terme la contribution de performance qui est apportée par les activités organisation- nelles des agents et opérateurs divers, chargés de faire exister le programme ou la politique sur le terrain. Cetteefficacité propre à lorganisation étroitement dans la chaîne complexe des sinscrit actions qui aboutissent à ce que tel ou tel programme de formation, telle ou telle action dinsertion économique sera en mesure ou non de transformer les statuts demploi, les compétences et qualifi- cations, etc., des bénéficiaires des programmes. Cest pourquoi la méthode préconisée par le C EE  explicitement éloignée de ce que dautres sest évaluateurs, comme G. Schmid, ont qualifié de modèle de « lévaluation de programme » 10 . Un test de cette approche a été particulièrement effectué dans le cas de lévaluation dune des mesures du document unique de programmation (les plans locaux dinsertion économique, Plie, cofinancés au titre de la mesure 13). Cette mesure était précisément, dans sa théorie daction originelle, construite sur lhypothèse centrale que lefficacité des actions locales dinsertion économique dépendait étroitement de la mise en place dun partenariat entre les différents opérateurs de linsertion, cest- à-dire de la réalisation entre eux duneorganisationrationalisée de leur coopération 11 . On notera enfin que lhypothèse de linfluence de la mise en uvre sur les résultats et les impacts du programme objectif 3 a été largement reprise dans les débats publics concernant cet objectif, ainsi que dans les rapports et communications diverses, qui ont été effectués dans les années récen- tes 12 . Le C EE voit dans ces jugements portés par des secteurs différents de la société française une raison supplémentaire pour fournir, dans le cadre de lévaluation quil mène, des réponses fondées et argumentées à propos de linfluence de la mise en uvre, pour autant que les données recueillies le lui permettent.

PLAN DU RAPPORT

Le rapport comporte une première partie, aux questions de définition et de méthodes. consacréeIl est en effet très important de savoir de quoi on parle quand on utilise la notion, si polysémique, de « mise en uvre ».

 9 numéro 34 des Cahiers du Centre détudes de lemploi (1995).Voir le 10 point larticle de G. Schmid et celui de J.-C. Barbier et B. Simonin (1997), communications présentées à la conférenceVoir sur ce de lEuropean Evaluation Societyde Stockholm en 1997 et reprise dans le numéro spécial dEvaluation(vol. 3, n° 4). 11  Modèle présenté au colloque de Bruges sur les parcours dinsertion, puis repris dans le rapport préliminaire du C EE  les Plie sur (juillet 1998). Voir également la communication de J.-C. Barbier et C. Perez au colloque de lAssociation déconomie sociale de septembre 1999 (à paraître). 12  pense en particulier aux réflexions internes aux services de lÉtat, comme par exemple ceux de la Datar, mais plus On généralement, aux rapports annuels de lIgas (notamment celui de 1996).

8

Rapport de recherch0e4CEE

Le lecteur pressé peut sans doute sabstenir de lire quelques parties de cette présentation, et nen retenir que la définition générale de la mise en uvre, en termes de « composantes » et de « niveaux ». Dans la seconde partie, on sattache à passer en revue les différentes composantes de la mise en uvre sur lesquelles lenquête (et les études pilotées par le comité de pilotage) ont apporté du maté- riau. On examine surtout en détail la question du « partenariat » initial, et au cours de la program- mation. Les autres composantes présentées sont : le rôle des règles, linfluence des contrôles, limpact des circuits financiers, linfluence des représentations que les acteurs se font du pro- gramme et, enfin, quelques indications préliminaires sont données à propos de la place de lévaluation dans le programme, pour inviter là-dessus particulièrement le comité de pilotage au débat. La synthèse correspond à celle qui a été faite dans le pré-rapport de synthèse de juin 1999.

9