ETUDE DIAGNOSTIC
Description
ETUDE DIAGNOSTIC DES CAPACITES EVALUATIVES NATIONALES Mars 2006 Cette étude a été réalisée grâce au financement du Fonds des Nations Unies pour la Population (UNFPA) et de l’Organisation Intergouvernementale de la Francophonie (OIF) Sommaire : 2 Abréviations 3 Préface 4 Résumé 6 1. Mandat 10 1.1. Cadre conceptuel de l’étude 10 1.2. Contexte général 11 1.3. Méthodologie de l’enquête 11 1.4. Méthodologie du volet qualitatif 12 1.5. Méthodologie de la méta évaluation 12 1.6. Problèmes rencontrés 13 2. Résultats de l’enquête 14 2.1. Existence et type de pratique d’évaluation 14 2.2. Initiatives, cahier des charges et critères d’évaluation 14 2.3. Cadre institutionnel de l’évaluation et choix des évaluateurs 15 2.4. Domaines et types d’évaluation 16 2.5 Démarche méthodologique de l’évaluation 19 2.6. Rapports d’évaluation et suivi politique 20 2.7. Facteurs de succès et sources de problèmes 23 2.8. Raisons de non pratique de l’évaluation 26 2.9. Futur de l’évaluation 26 3. Dispositif national actuel 32 3.1 Aperçu du dispositif 32 3.2. Demande en évaluation 34 3.3. Offre en évaluation 35 3.4. Forces, faiblesses du dispositif, menaces et opportunités 35 4. Méta évaluation 37 ...
Informations
| Publié par | Issi |
| Nombre de lectures | 62 |
| Langue | Français |
Extrait
ETUDE DIAGNOSTIC DES CAPACITES EVALUATIVES NATIONALES Mars 2006
Sommaire : Abréviations Préface Résumé 1. Mandat 1.1. Cadre conceptuel de l’étude 1.2. Contexte général 1.3. Méthodologie de l’enquête 1.4. Méthodologie du volet qualitatif 1.5. Méthodologie de la méta évaluation 1.6. Problèmes rencontrés 2. Résultats de l’enquête 2.1. Existence et type de pratique d’évaluation 2.2. Initiatives, cahier des charges et critères d’évaluation 2.3. Cadre institutionnel de l’évaluation et choix des évaluateurs 2.4. Domaines et types d’évaluation 2.5 Démarche méthodologique de l’évaluation 2.6. Rapports d’évaluation et suivi politique 2.7. Facteurs de succès et sources de problèmes 2.8. Raisons de non pratique de l’évaluation 2.9. Futur de l’évaluation 3. Dispositif national actuel 3.1 Aperçu du dispositif 3.2. Demande en évaluation 3.3. Offre en évaluation 3.4. Forces, faiblesses du dispositif, menaces et opportunités 4. Méta évaluation 5. Plan de renforcement des capacités évaluatives 5.1. Comment susciter la demande 5.2. Comment renforcer l’offre 5.3. A quel niveau développer les capacités 5.4 Procédure pour la gestion de l’évaluation 5.5. Le concours des partenaires étrangers 5.6. Quels objectifs indicatifs et rythme de réalisation des actions 5.7. Quelle pérennité de la nouvelle capacité d’évaluation 6. Recommandations ciblées Bibliographie Annexes 1. Termes de référence 2. Listes des personnes interrogées sur la base du guide d’entretien 3. Liste des structures auxquelles le questionnaire a été envoyé 4. Questionnaire Abréviations :
2 3 4 6 10 10 11 11 12 12 13 14 14 14 15 16 19 20 23 26 26 32 32 34 35 35 37 54 54 54 55 55 55 55 56 57 60 62 62 64 65 68
2
ACBEF Association congolaise pour le bien être familial ACDI Agence canadienne pour le développement international AFD : Agence française pour le développement AfrEA : Association africaine de l’évaluation AIF : Agence intergouvernementale de la francophonie ANEC : Acteurs non étatiques congolais BERETEC : Bureau d’études et de recherches technico-économiques BM : Banque mondiale CEPI : Centre d’étude et d’évaluation des projets d’investissement CNSEE : Centre national de la statistique et des études économiques DCEI : du contrôle et de l’évaluation des investissementsDirection DDR : Démobilisation désarmement et réinsertion DETE : Direction des études technico-économiques des projets DEP Direction des études et de la planification DGPD : Direction générale du plan et du développement DPE : Direction de la programmation et de l’évaluation DSRP : Document stratégique pour la réduction de la pauvreté FIDA : Fonds international de développement agricole FAO : Food and agricultural organization HCREC : Haut commissariat pour la réinsertion des ex combattants IPPF : International planned parenthood federation OIF : Organisation intergouvernementale de la francophonie OMS Organisation mondiale de la santé ONG : Organisations non gouvernementales ONUSIDA : Programme commun des Nations Unies sur le VIH/ SIDA PAM : Programme alimentaire mondial PNUD : Programme des nations unies pour le développement PURAC : Projet d’urgence de relance et d’appui aux communautés SYNESUP : Syndicat des enseignants du supérieur UE : Union européenne UNFPA : Fonds des nations unies pour la population UNICEF : Fonds des nations unies pour l’enfance UNICONGO :Union patronale et interprofessionnelle du Congo
3
PREFACE Le Congo, a accepté d’être l’un des premiers pays d’Afrique à se soumettre au Mécanisme Africain d’Evaluation par les Pairs (MAEP), il a ainsi manifesté son intérêt pour l’évaluation. Cet intérêt est d’autant plus évident que dans le cadre des actions prioritaires aux fins de réduire la pauvreté,le renforcement des mécanismes d’exécution, de contrôle, de suivi et d’évaluation des investissements publics occupe une place de choix. La dimension « Suivi et Evaluation» s’impose dans le cadre de la gestion axée sur les résultats prônée par l’ensemble des partenaires au développement, et à laquelle le gouvernement congolais adhère. Le « Suivi et l’évaluation » des projets, programmes et politiques publiques, est une exigence si l’on veut s’assurer que les résultats escomptés dans le cadre de la Stratégie de Réduction de la Pauvreté seront atteints. Cette exigence, est au centre des préoccupations du gouvernement congolais. En décidant de réaliser l’étude diagnostic sur les capacités évaluatives nationales, avec le concours du Fonds des Nations Unies pour la Population (UNFPA) et l’Agence Intergouvernementale de la Francophonie, le Gouvernement congolais a opté pour une meilleure connaissance des forces et faiblesses du dispositif évaluatif national, aux fins de son renforcement et en vue d’atteindre de manière efficace et efficiente les objectifs économiques et sociaux contenus dans le DSRP, cadre unique de référence en matière de politique économique et sociale pour les prochaines années. La présente étude, qui s’inscrit dans le cadre d’une étude globale à l’échelle des pays de l’Afrique de l’Ouest et Centrale, a permis d’identifier les forces, les faiblesses et les menaces qui pèsent sur le dispositif national de contrôle, suivi et évaluation. Elle a en outre fait quelques recommandations qui serviront à conduire des actions en vue du renforcement de nos capacités en évaluation et à disséminer la pratique de l’évaluation dans tous les secteurs de la vie économique et sociale et à tous les acteurs économiques et sociaux, administrations publiques, entreprises du secteur privé, acteurs non étatiques congolais, organes publics de contrôle, parlement, bref toutes les parties prenantes à notre projet commun de développement. La méthodologie adoptée permettra de procéder à des comparaisons utiles avec d’autres pays d’Afrique. Les rédacteurs ont bénéficié de la collaboration des cadres des administrations publiques, du secteur privé, des ANEC. Je voudrais exprimer au nom du Gouvernement congolais et en mon nom personnel, mes sincères remerciements au Fonds des Nations Unies pour la Population (UNFPA) et à son Représentant au Congo, Monsieur Richard DACKAM NGATCHOU pour le soutien technique et financier qu’il ne cesse d’apporter à notre pays. Enfin j’aimerais féliciter :
4
M. Jean Baptiste ONDAYE, Directeur Général du Plan et du Développement, Secrétaire Technique Permanent du Comité National de Lutte contre la Pauvreté, qui a supervisé l’étude ; Le consultant international : M. Frederic Varone, qui a conçu la méthodologie et la démarche pour la collecte des données qui ont permis à l’étude d’être réalisée ; les deux consultants nationaux, rédacteurs de l’étude : M. Hyacinthe Defoundoux- Fila ; M. André Mbou ; les membres du comité national de suivi de l’étude : M. Loubanzi Antoine, Chef de Service de l’évaluation Economique, Direction Générale du Plan et du Développement ; Dr. Paul Nzaba, Chargé de Suivi et Evaluation, ONUSIDA ; Mme. Angèle Ayenoue, Chargée de Programme, PAM ; M. Daniel Mikayoulou, Conseiller en VIH/SIDA, chargé du Programme Suivi et évaluation, PNUD ; Mme. Emelyne Bahanda, Conseiller à la Gouvernance, PNUD ; M. Benoît Libali, Assistant au Représentant, UNFPA ; M. Lisile Ganga, Chargé de Suivi et Evaluation, UNICEF ; Et tous les membres du comité de validation de l’étude, pour leurs remarques et observations utiles pour l’amélioration de l’étude. Je souhaite que le diagnostic et les recommandations qui en ont découlé, puissent être exploités à bon escient, afin de permettre à toutes les parties prenantes au processus de développement de contribuer efficacement à la réalisation des objectifs de développement économique et social de notre pays.
Le Ministre d’Etat, Ministre du Plan, de l’Aménagement du Territoire, de l’Intégration Economique et du NEPAD
Pierre MOUSSA
5
Résumé La nouvelle donne en matière de gouvernance implique de mettre au centre de l’action, la pratique de l’évaluation. La crise socio économique et la contrainte des bailleurs ont conduit les pouvoirs publics congolais, à faire le choix de recourir dorénavant, systématiquement à l’évaluation. La systématisation de la pratique de l’évaluation devrait permettre entre autres, de rationaliser les dépenses publiques, améliorer la gestion administrative, favoriser la transparence de l’action publique, renforcer la décentralisation, répondre aux exigences des bailleurs etc. La présente étude est le résultat des investigations basées d'une part sur l'analyse des textes réglementaires et législatifs sur le contrôle, le suivi et l’évaluation des projets, programmes et politiques publiques, et d’autre part sur l’analyse de la pratique évaluative au Congo, pratique saisie à partir des données collectées auprès des acteurs économiques, politiques et de la société civile. L’étude a été réalisée conformément aux termes de référence. Les termes de référence fixent des objectifs généraux et des objectifs spécifiques. L’objectif général de l’étude est la mise en place des programmes de renforcement des capacités évaluatives programmes globaux de développement et des programmes des sectoriels. De manière spécifique, il s’agit de mettre en évidence : · le dispositif institutionnel et juridique de l’évaluation : mandats, réglementations, mission des structures administratives ; ressources des services et /ou structures chargée de l’évaluation · :l’étendue de la pratique de l’évaluation commanditaires, objet de l’évaluation (politiques, programmes, projets, activités) ; forces et faiblesses, liens fonctionnels (institutionnels et financiers) et dynamique des échanges entre acteurs et structures ; · les besoins de renforcement des capacités institutionnelles ; · un programme national de renforcement des capacités en Suivi et Evaluation. Au regard de ces termes de référence, les questions cruciales abordées par l’étude sont les suivantes : quel est l’état des lieux de la pratique de l’évaluation au Congo ? Quelles sont les forces et les faiblesses des capacités évaluatives, quelles sont les menaces et les opportunités ? Comment renforcer lescapacités évaluatives? Ces questions sont abordées à partir de la perception que certains acteurs ont de la pratique de l’évaluation, de l’analyse du dispositif national de l’évaluation. L’étude s’attache à proposer quelques recommandations en vue du renforcement des capacités évaluatives. i) L’évaluation telle que vécue par les acteurs Telle que définie dans cette étude, l’évaluation d’un projet, d’un programme ou d’une politique, consiste en une mesure et une appréciation des effets observables (du projet, du programme ou de la politique) sur ses bénéficiaires. Ainsi nous distinguons l’évaluation du suivi, du contrôle et de l’audit ou des divers types d’inspections. Le suivi est une démarche de collecte régulière d’informations clés, permettant la mise en évidence et la mesure des écarts entre les prévisions et les réalisations. Il permet d’expliquer les écarts. Le suivi est un instrument depréparation de l’évaluation,celle-ci intervient à des stades importants de la mise en œuvre du projet.
6
Le constat fait au cours de l’étude est que les administrations, le parlement, les organes publics de contrôle, les institutions du secteur privé, pratiquent timidement l’évaluation. Ils font plutôt du suivi et du contrôle. Par contre, la pratique de l’évaluation est plus courante dans les organisations internationales et dans les projets mis en oeuvre par l’Etat avec l’appui des organisations internationales (Banque Mondiale, OMS, PNUD, UNICEF, UNFPA). Sur 50 institutions ayant répondu au questionnaire, 23, soit 46% disent avoir effectué des évaluations au cours des cinq dernières années. 10% affirment réaliser systématiquement des évaluations, 30% disent le faire souvent, 6% rarement. Plus de la moitié des institutions ayant répondu au questionnaire disent ne pas pratiquer l’évaluation, elles ne la trouvent cependant pas inutile. La non pratique de l’évaluation est justifiée principalement par : - le manque de ressources humaines compétentes en la matière au sein de la structure, - compte de l’évaluation dans le budget de la structure,la non prise en - le manque de compétence légale et réglementaire pour réaliser ou faire réaliser les évaluations. - la méconnaissance des méthodes d’évaluation Lorsqu’elles sont réalisées, les évaluations portent principalement sur les projets (45%), les programmes (32%) et les politiques publiques (23%). Elles concernent la mise en œuvre (22%), les effets de l’évaluation (13%) et les deux aspects (65%). Le commanditaire des évaluations est généralement l’organe de tutelle de la structure ou l’organe qui finance les activités de la structure (bailleur). Les évaluateurs sont soit des évaluateurs internes soit des évaluateurs externes. Cependant, les structures enquêtées disent recourir principalement à des évaluateurs internes, ceux-ci travaillant seuls ou en association avec un évaluateur externe. Le coût du louage des services des évaluateurs externes (experts) semble justifier le fait que l’on n’utilise pas beaucoup leurs services. Les évaluations sont réalisées, selon les cas, en partenariat avec l’administration publique, sans partenariat avec cette dernière, ou en partenariat avec l’administration et les autres parties prenantes. La diffusion des rapports rédigés à l’issue des évaluations est limitée généralement aux commanditaires et aux parties prenantes (bailleurs et pouvoir politique). Les rapports sont souvent transmis avec une appréciation sur la qualité de l’évaluation et avec une prise de position par rapport aux recommandations. Les enquêtes ont révélé les effets suivants de l’évaluation. En ce qui concerne les projets/les programmes et/ou les politiques publiques : - l’évaluation a permis un changement important au niveau du projet (65%) - elle a permis des adaptations mineures (25%) - elle n’a eu aucun effet (10%) En ce qui concerne la structure évaluée : - l’évaluation a conduit à un réaménagement des procédures (43,8%), - elle a permis la modification de la structure (12,5%),
7
- elle n’a eu aucun effet (43,8%) En ce qui concerne les relations avec les bailleurs - elle a permis une meilleure coordination (50%), - elle a conduit à une modification du partenariat (25%), - elle n’a eu aucun effet (25%) Selon les personnes interrogées, le recours systématique à l’évaluation dans le déroulement des activités permettrait de rationaliser les dépenses publiques, d’améliorer la gestion administrative et de répondre aux exigences des bailleurs ii) le dispositif national de l’évaluation Le dispositif national est faible, malgré ces limites, le cadre institutionnel existant (législatif et réglementaire) pourrait constituer le socle du dispositif national d’évaluation. iii) La demande en évaluation La demande en évaluation existe. Elle est sous tendue par deux éléments : Les mauvais résultats économiques et sociaux obtenus malgré l’importance des moyens mobilisés. La contrainte internationale, les bailleurs multilatéraux et bilatéraux subordonnent désormais leur aide à la bonne gouvernance. iv) L’offre en évaluation Au Congo, le gisement de compétences en évaluation n’est pas important. Cependant il existe un potentiel de compétences, les personnes formées dans les différentes filières universitaires, peuvent facilement être reconverties sans pour autant nécessiter des ressources très importantes. Leurs connaissances de base permettent de réduire le temps de la formation et donc son coût. Il existe une offre au niveau international (Afrique et hors Afrique) qui pourrait être utilisée pendant un certain temps. vi) Les forces et faiblesses du dispositif, les menaces et opportunités Les forces : le dispositif national actuel constitue une base que l’on pourrait améliorer en vue d’une bonne pratique de l’évaluation. Il existe des textes relatifs au contrôle et à l’évaluation. vii) Les faiblesses Une des faiblesses du dispositif réside dans le suivi politique des projets/programmes et politique publique. Dans ce contexte il est difficile de pouvoir réajuster un programme, un projet lorsque l’on s’éloigne des objectifs fixés au départ. Il existe une autre faiblesse, les textes réglementaires sur les attributions des décideurs au niveau des directions ne sont pas stables, ils varient souvent sans cause objective. Les domaines de compétence de certains décideurs ne sont pas toujours explicitement formulés dans des textes réglementaires. viii) Les opportunités La subordination de l’aide internationale à la bonne gouvernance constitue une opportunité, de même la promotion de la transparence et de la bonne gouvernance.
8
ix) Recommandations Quelques recommandations ont été faites en vue du renforcement des capacités évaluatives nationales, elles concernent principalement les administrations publiques, les Acteurs Non Etatiques Congolais (ANEC), les collectivités locales et les organismes d’aide au développement.
9
1- Mandat et méthodologie : La présente étude est le résultat des investigations basées d'une part sur l'analyse des textes réglementaires et législatifs sur le contrôle, le suivi et l’évaluation des projets, programmes et politiques publiques, et d’autre part sur l’analyse de la pratique évaluative au Congo, pratique saisie à partir des données collectées auprès des acteurs économiques, politiques et de la société civile. Elle a été réalisée conformément aux termes de référence. Les termes de référence fixent des objectifs généraux et des objectifs spécifiques. L’objectif général de l’étude est la mise en place des programmes de renforcement des capacités évaluatives des programmes globaux de développement et des programmes sectoriels. De manière spécifique, il s’agit de mettre en évidence : · le dispositif institutionnel et juridique de l’évaluation : mandats, réglementations, mission des structures administratives ; ressources des services et /ou structures chargées de l’évaluation · :l’étendue de la pratique de l’évaluation commanditaires, objet de l’évaluation (politiques, programmes, projets, activités) ; forces et faiblesses, atouts, et contraintes ; liens fonctionnels (institutionnels et financiers) et dynamique des échanges entre acteurs et structures ; · les besoins de renforcement des capacités institutionnelles ; · un programme national de renforcement des capacités en Suivi et Evaluation. Au regard de ces termes de référence, les questions cruciales abordées par l’étude sont les suivantes : quel est l’état des lieux de la pratique de l’évaluation au Congo ? Quelles sont les forces et les faiblesses des capacités évaluatives, quelles sont les menaces et les opportunités ? Comment renforcer lescapacités évaluatives? 1.1. cadre conceptuel de l’étude : Telle que définie dans cette étude,l’évaluation projet, d’un programme ou d’une d’un politique, consiste en unemesure et une appréciation des effets observables (du projet, du programme ou de la politique publique) sur ses bénéficiaires. L’évaluation peut intervenir avant, pendant ou après la mise en œuvre d’un projet ou d’un programme. Le suivi une démarche de estcollecte régulière d’informations clés, permettant de mesurer et d’expliquer les écarts entre les prévisions et les réalisations. Le suivi est un instrument depréparation de l’évaluation,cette dernière peut intervenir pendant ou après la mise en œuvre d’un projet ou d’un programme, selon des modalités préétablies. Le suivi-évaluationconcerne lamise en évidence des écarts et les ajustements à envisager dans la mise en oeuvred’un programme ou d’un projet. Lacapacitédéfinie comme l’aptitude à définir et à réaliser des finalités, c’est-à-dire à est identifier et à comprendre des problèmes, à analyser des situations et à formuler des stratégies et des actions possibles pour y répondre. La définition durenforcement des capacitésretenue dans la présente étude, est celle adoptée lors de l’atelier de Harare (1999), organisé par le PNUD et l’UNICEF sur ce sujet. On entend par renforcement des capacités la création des conditions qui aident les acteurs en particuliers les évaluateurs) à jouer leur rôle dans la définition et la réalisation des finalités.
10
1.2. Contexte général Dans le cadre de leur politique économique, les différents gouvernements ont élaboré et mis en œuvre plusieurs plans et programmes de développement. Le plan de développement économique et social qui a mobilisé les ressources les plus importantes, est le plan quinquennal 1982-1986. La loi cadre de ce plan, disposait que tout projet inscrit au plan quinquennal devait faire l’objet d’étude d’analyse et d’une évaluation. La nécessité de l’évaluation s’imposait déjà dès 1981, c’est ainsi que le ministère du plan, chargé du volet investissement de ce plan s’était doté pour la circonstance d’une structure chargée des études, la direction des études technico-économiques des projets (D.E.T.E). Les attributions de la D.E.T.E limitaient en matière d’évaluation, aux études de faisabilité au suivi et au se contrôle technico-économique et financierPar la suite fut créé le Centre d’Etude et. d’évaluation des Projets d’Investissement (CEPI) dont l’objet est entre autres deréaliser l’évaluation économique et sociale des projets inscrits au budget d’investissement. Un certain nombre d’évaluations (évaluations ex ante,) ont été réalisées par le CEPI (Projet Ferco, Congo tôles etc.). Depuis 1990, aucune évaluation n’a plus été réalisée par le CEPI. D’autres bureaux d’études nationaux et étrangers ont réalisé des études pendant cette période (SEP-Développement, CIATA, BERETEC). La période récente (2000-2005) est marquée par la mise en œuvre du programme intérimaire post-conflit (2000-2002) et l’élaboration de la stratégie de lutte contre la pauvreté (2004-2007). Le PIPC n’a pas fait l’objet d’une évaluation. L’importance des défis à relever (réduction de la pauvreté et des inégalités, reconstruction, résorption de la dette intérieure et extérieure
), les engagements pris en vue de la réalisation des Objectifs du Millénaire pour le Développement ainsi que les nouvelles modalités de l’aide publique au développement (Déclaration de Paris sur l’efficacité de l’aide, l’initiative pour l’Afrique) ont conduit le gouvernement à adopter un document intérimaire de stratégie de réduction de la pauvreté (DSRP-I), « unique cadre de référence et de coordination de toutes les interventions en matière de développement ». Le DSRP-I s’articule autour de cinq (5) axes prioritaires : · la consolidation de la paix et la promotion de la bonne gouvernance ; · la consolidation du cadre macroéconomique avecle renforcement des mécanismes de contrôle, de suivi et d’évaluation des investissements publicscomme l’une des actions prioritaire; · l’amélioration de l’accès aux services sociaux de base et la protection sociale ; ·le développement des infrastructures ; · le renforcement de la lutte contre le VIH/SIDA. Le DSRP-I prévoit donc le renforcement du système de suivi et évaluation, il se limite cependant aux investissements publics. Il y a lieu d’étendre la pratique de l’évaluation à tous les projets et programmes et à tous les acteurs économiques, politiques et de la société civile, dans la mesure où ils sont « parties prenantes » au processus de lutte contre la pauvreté. 1.3. Méthodologie de l’enquête La collecte de données a été faite sur la base d’enquêtes menées auprès des acteurs et structures impliqués dans les actions de développement, notamment, les administrations publiques, les organisations du secteur privé (représentées par les syndicats patronaux) et de la société civile, les organes de contrôle, le parlement, les collectivités locales et les organismes d’aide au développement. Un questionnaire élaboré par le consultant
11
© 2010-2024 YouScribe