Synthèse module 2 Comment mettre en œuvre de véritables évaluations conjointes et

L.Montero

Informations

• Publié par: Mezat
• Nombre de lectures: 72
• Langue: Français

Extrait

Groupe Evaluation et aide au développement SYNTHÈSE Réunion du 18 décembre 2008 COMMENT METTRE EN ŒUVRE DE VERITABLES EVALUATIONS CONJOINTES ET PARTENARIALES ?

- 1 -

Participants Présents :O. Picavet (ECS), L. Montero (F3E), M. Guimezanes (SFE), Arnaud de Champris (SFE), P. Brouillet (AFD), L. Valette (MAEE), D. Sadoulet (MAEE), M. Roux (Ville de Chambery, Cités Unies France, F3E), J. Biro (CCFD), H. Lundgren (OCDE), C. Al Dabaghy (EHESS, AJECID), M. Vielajus (IRG), M. Ruleta (Consultant), N. Lecrivain (Eureval/C3E), C. Collin (Channel research), D. Neu (GRET), L. Lefebvre (SEE), Fadehel Martini (Ethic Nord/Sud), V. Quibuer (CIEDEL), V. Morillon (ADE), E. Clerckx (ADE), N. Subileau (Pluricité) Excusés :D. Voizot (MAEE), A. Du Buysson (MAEE), D. Decraene (MAEE), B. Chervalier (Minefi, DGTPE), M. Totté (Enda Intermonde), J.-D. Naudet (AFD), Gilles de Pas (Consultant) L. Denis (F3e),Y. Lechevallier(coop dec conseil) , B. Field (région ile de France), P. Hyughbaert (réseau IMPACT), M. Lory (OIF), M. Marouani IEDES La vie du groupe -La SFE a décidé d’assigner à chaque groupe de travail un parrain pour faciliter le dialogue entre les groupes et la SFE. Le parrain pour le groupe «Evaluation et aide au développement » est Arnaud de Champris, Vice-président de la SFE. -Concernant la création d’un forum pour le groupe, le lancement d’un Yahoo group se fera prochainement. Le forum Yahoo group doit être conçu par les membres du groupe comme un lieu d’échange d’information sur le sujet, animé par les membres eux-mêmes. Actualités : -Les journées sénégalaises de l’évaluation se sont déroulées fin octobre. Site :http://evaluation.francophonie.org/spip.php?article664 -La conférence de l’AFREA se déroulera du 30 mars au 3 avril, au Caire (Egypte). Elle aura pour thème l’impact. Elle est organisée en partenariat avec NONIE et 3IE. Site :http://evaluation.francophonie.org/spip.php?article607 Évaluations partenariales et évaluations conjointes : Les évaluations partenariales sont selon les normes du CAD/OCDE un type d’évaluation conjointe. Selon le CAD, les évaluations conjointes sont ainsi des «évaluations auxquelles participent différents organismes bailleurs et/ou leurs partenaires». Pour d’autres, les évaluations partenariales sont bien différentes, dans la mesure où l’hypothèse de convergence des intérêts des acteurs est moins probable que dans une évaluation conjointe. De plus,les enjeux de ces exercices sont différents dans la mesure où l’évaluation partenariale entre dans un processus de renforcement des capacités du partenaire. Plusieurs intervenants ont aussi mentionné la diversité de ce type d’évaluation qui rend toute standardisation difficile voire même surtout inutile: le type d’évaluation devant s’adapter à chaque situation. A ces pratiques s’ajoutent d’autres tentatives comme les contre-évaluations (le commanditaire mène une évaluation, suivie d’une contre évaluation par d’autres parties

- 2 -

prenantes afin d’infirmer ou confirmer les résultats de la 1ere évaluation) ou des évaluations parallèles ou croisées (pratique du MAEE consistant, pour deux acteurs de coopération, à évaluer parallèlement ou réciproquement leurs actions), pour avoir l’intégralité des points de vue et ainsi éviter l’écueil d’avoir une opinion ramenée au plus petit dénominateur commun. Ces démarches permettent aussi de renforcer l’objectivité et la crédibilité de l’évaluation. 1- L’intérêt de ce type d’évaluation pour les acteurs : -Les évaluations partenariales et conjointes sont un pas vers plus d’harmonisation, d’appropriation et de rationalisation, comme promu par la Déclaration de Paris, même si elles ne permettent pas de réaliser une harmonisation par elles-mêmes. -Ces évaluations avec un partenaire permettent de mieux se connaître soi-même. Elles touchent aux éléments culturels d’une organisation et lui font ainsi prendre conscience de ses modes de fonctionnement. -Ces types d’évaluation permettent également de répondre à des questions plus globales auxquelles un acteur seul ne peut pas répondre. -Elles bénéficient d’une légitimité et une crédibilité accrues. -Elles permettent le développement des capacités d’évaluation, surtout pour les évaluations partenariales. En intégrant plusieurs parties prenantes, elles permettent en effet la diffusion de bonnes pratiques, comme la publication du rapport, la composition du comité de pilotage, etc. -Ces évaluations permettent généralement une meilleure mise en débat des résultats, ce qui est crucial pour la crédibilité, l’efficacité et la portée des évaluations. 2- Comment mener ce type d’évaluation ? Les difficultés pratiques de ce type d’évaluation se sont finalement révélées plutôt limitées et peuvent se regrouper en 4 points : -Elles sont génératrices de complexité, quant au sujet à traiter, mais aussi dans les structures de gestion, car les parties prenantes peuvent avoir des intérêts divergents. -Le problème de la reddition des comptes spécifique à chaque organisation est un obstacle réel à la mise en place des évaluations conjointes. - Le problème du coût des évaluations est à relativiser. Le coût financier est moins élevé pour chaque commanditaire dans une évaluation conjointe, sauf pour le bailleur meneur, qui peut faire face à des coûts plus élevés. Il faut cependant mettre en balance l’énorme réduction des coûts de transaction pour le partenaire. Le surcoût d’une évaluation partenariale existe, mais peut être faible. Certaines bonnes pratiques ont été esquissées: -L’approche conjointe et/ou partenariale, doit se faire bien en amont du travail d’évaluation au sens strict du terme. Elle doit se réaliser dès la définition des objectifs de l’évaluation, la rédaction des termes de référence, etc., afin d’obtenir une réelle implication du co-bailleur et/ou du partenaire. L’évaluation partenariale doit permettre une réelle confrontation Nord / Sud, sur les objectifs mêmes de la coopération. -Elle doit perdurer après les résultats de l’évaluation également, lors de la publication du rapport, du suivi des recommandations, etc. Mais se pose alors le problème de la diversité des cultures des organisations. Il faut dès lors trouver le bon moment pour se séparer afin de donner leur pleine effectivité aux recommandations.

- 3 -

-Il est important de fixer un référentiel commun à toutes les parties prenantes aux évaluations conjointes/partenariales. -Il est important que l’équipe d’évaluateurs rassemble plusieurs sensibilités correspondant à la culture de chacune des institutions commanditaires. -Enfin, il faut prendre garde aux stratégies de faux-semblant qui font qu’on ne fait une évaluation conjointe / partenariale, que parce que c’est exigé mais sans réelle volonté politique. Cela conduit à faire semblant de travailler ensemble alors que l’on travaille et prend en compte les recommandations de façon propre. Des équilibres à trouver au cas par cas tout au long de l’évaluation : -Dans la détermination des principes/valeurs communs. Le respect des normes du CAD est important. Mais il est également nécessaire de convenir de principes et valeurs déontologiques et éthiques partagés. Il y a un équilibre à trouver dans ce domaine entre des principes trop contraignants et un travail sans référentiel commun. Les deux écueils peuvent empêcher des institutions de cultures différentes de travailler ensemble. -Dans la participation du politique, qui est nécessaire pour que l’évaluation ait un effet mais qui peut être dangereuse pour l’impartialité de l’évaluation. Il faut donc trouver un équilibre dans la participation du politique et du diplomatique à l’évaluation, entre ne pas les impliquer et être sous leur contrôle. - Dansla pratique des évaluations. On ne peut évaluer conjointement/de manière partenariale que ce qui a était fait conjointement/de manière partenariale. Le type d’évaluation doit toujours être adapté à l’objet de l’évaluation. Il ne faut pas systématiser cette pratique, mais l’appliquer lorsqu’elle apporte à l’objectif de l’évaluation. 3- Résumé des différentes interventions Michael Ruleta (consultant) aévoqué son expérience de 10 ans au sein du bureau d’évaluation du MAEE. Pour lui, «en travaillant avec les autres, on se comprend soi- même ».Les évaluations conjointes et partenariales sont donc une bonne pratique à développer. Il met en avant cependant les difficultés rencontrées par le MAEE (manque d’implication des acteurs, sentiment de menace, stratégies de faux-semblant, manque de convergence des perceptions, …), tout en pointant les progrès réalisés dans ce domaine. Il souligne notamment l’importance d’avoir une équipe complémentaires avec différentes approches et compétences. Il convient également de savoir, après une évaluation conjointe ou partenariale, se séparer pour tirer les enseignements utiles à chaque acteur. Enfin, il est selon lui difficile d’opérer une modélisation en ce domaine, le cadre du multiculturalisme, des partenariats, des interférences diplomatiques, inné à la coopération internationale rendant la tâche plus difficile encore. Hans Lundgren (Groupe sur l’évaluation du secrétariat du CAD-OCDE) a évoqué les efforts faits par le CAD pour faciliter les évaluations conjointes (les évaluations partenariales n’étant qu’un type d’évaluation conjointe pour l’OCDE), notamment par le biais de publications. Il a évoqué les intérêts de ce type d’évaluation (cahier des charges élargi, légitimité accrue, rationalisation, développement des capacités), mais aussi les obstacles à leur mise-en-œuvre (complexité, structures de gestion lourdes, coûts de transaction globaux parfois plus élevés, difficulté de reddition de comptes individuelle), en précisant que les évaluations conjointes s’intègrent pleinement dans la Déclaration de Paris pour l’efficacité de l’aide. Martin Vielajus (Institut de recherche et de débat sur la gouvernance - IRG)est revenu sur le mécanisme africain d’évaluation par les pairs (MAEP), mis en place à l’intérieur du NEPAD. Ce mécanisme se rapproche à la fois des évaluations conjointes et

- 4 -

partenariales. Il concerne 29 pays, et couvre quatre dimensions (démocratie et bonne gouvernance, gouvernance économique, gouvernement d’entreprise, développement socio-économique) et porte sur 200 indicateurs. Le mécanisme consiste en une autoévaluation par chaque État, suivie d’une contre-évaluation menée par un panel d’experts africains. Cela donne lieu à un rapport conjoint, puis à un plan d’action, pour répondre aux faiblesses identifiées par les deux évaluations. L’ambiguïté des objectifs de ce mécanisme (outil de contrôle au service des bailleurs internationaux ou moyen de repenser les processus politiques internes), ainsi que les problèmes d’implication de tous les acteurs dans certains pays, et la pertinence des indicateurs constituent les principales difficultés de ce mécanisme. Michel Roux (Commune de Chambéry)est revenu sur l’évaluation du programme de coopération décentralisée entre les villes de Chambéry (France) et de Ouahigouya (Burkina Faso), qui constitue une bonne expérience d’évaluation partenariale. Après avoir rappelé que la culture de l’évaluation n’est pas encore très développée au sein de la coopération décentralisée, Michel Roux a insisté sur l’importance de prendre du temps avec le partenaire pour l’élaboration des termes de référence et pour s’interroger réciproquement sur la pertinence du projet et des objectifs de la coopération («j’avais l’impression que cette interrogation se faisait plutôt de chaque côté, et même plutôt du coté du Nord…»). Il convient également de choisir un cabinet prêt à suivre cette démarche. Le comité de pilotage était pour cette évaluation divisé en deux, et les préconisations ont été travaillées pour servir à rebâtir le projet. M. Roux a rappelé que les enjeux n’étaient pas les mêmes au Nord et au Sud (la coopération représentant pour les villes du Sud une part importante de leur budget de fonctionnement). Enfin, il a souligné l’importance du suivi post-évaluation. Julie Biro (CCFD)a présenté l’évaluation du programme de médiateurs sanitaires conçu et mené par Romani Criss, partenaire du CCFD en Roumanie. Cette évaluation constituait une évaluation d’un type nouveau, demandée par le partenaire, sur un projet qui existait depuis plusieurs années, qui rencontrait quelques difficultés, et pour lequel les partenaires partageaient des valeurs communes. Cela a nécessité une adaptation des procédures (notamment par le F3E), ainsi qu’un travail de traduction du «jargon »de l’évaluation. L’évaluation s’est faite intégralement de manière participative, malgré certaines craintes (notamment par les responsables du projet qui se sont vus « évalués ») et a été suivie par une mise en œuvre des recommandations assistée par l’évaluatrice elle-même. Les résultats ont été publiés en France comme en Roumanie (audition devant la commission santé du Parlement roumain). Elle tire plusieurs enseignements de cette expérience, notamment le fait que les outils doivent rester souples et adaptables et que l’évaluation règle moins les problèmes qu’elle ne les soulève.

- 5 -