Évaluation d'impact des projets de développement
Évaluation d'impact des projets de développement
publics
1
Evaluation d’impact de programmes/projets de développement
Sommaire
Objectif Général ........................................................................................................................ 3
Objectifs spécifiques.................................................................................................................. 3
II- Résultats attendus .............................................................................................................................. 3
III- Méthodologie de formation.................................................................................................................. 3
IV- Contenu de formation ......................................................................................................................... 4
Module 1 : Rappel des principales phases du cycle de vie des projets de développement ........... 6
Chapitre I- Caractéristiques des projets ................................................................................................... 7
Chapitre II : Typologie des projets............................................................................................................ 9
Chapitre III : Le cycle de vie des projets .................................................................................................. 9
Module 2 : Démarche de conception des projets (Approches comparées ACL Vs GAR) ............. 11
Chapitre I : Méthode du Cadre Logique ................................................................................................. 12
Chapitre II : Approche de Gestion Axée sur les Résultats (GAR) .......................................................... 14
Module 3 : Etat des lieux de la pratique de la GRD dans l’espace UEMOA et aperçu de l’initiative
AfriK4R.................................................................................................................................................. 21
Chapitre 1 : Exigences liées à la bonne gouvernance des programmes et stratégies de développement
............................................................................................................................................................... 22
Chapitre II : Exigences liées à la demande croissante redevabilité........................................................ 23
Chapitre III : Exigences de production de résultats de développement (GRD, initiative AfriK4R) .......... 23
Bibliographie ........................................................................................................................................ 56
2
Evaluation d’impact de programmes/projets de développement
I- Objectifs pédagogiques
1.1 Objectif Général
La formation relative à l’évaluation d’impact des projets et programmes publics vise à améliorer
l’efficacité et l’efficience dans la mise en œuvre des programmes/projets.
De façon spécifique, il s’agira d’accroître la capacité technique des cadres de l’administration publique
en charge de la conception, du suivi et de l’évaluation des programmes/ projets de développement en
matière d’évaluation d’impacts particulièrement sur :
- les enjeux de l’évaluation d’impact des programmes/ projets de développement sur les
populations ;
- l’utilisation des méthodes, des critères et des outils d’évaluation d’impact avec études de cas ;
- la conception d’une évaluation d’impact ;
- la mise en œuvre d’une évaluation d’impact ;
- la construction des indicateurs d’impact ;
- la communication et l’utilisation des résultats d’évaluations d’impact.
3
Evaluation d’impact de programmes/projets de développement
IV- Contenu de formation
Module 1 : Rappel des principales phases du cycle de vie des projets de développement
Principaux points abordés :
1. Caractéristiques des projets
2. Typologie des projets
3. cycle de vie des projets
Module 3 : Etat des lieux de la pratique de la GRD dans l’espace UEMOA et aperçu de
l’initiative AfriK4R
Principaux points abordés :
1. Exigences liées à la bonne gouvernance des programmes et stratégies de
développement
2. Exigences liées à la demande croissante redevabilité
3. Exigences de production de résultats de développement (GRD, initiative AfriK4R)
4. Etat des lieux de la redevabilité dans l’espace UEOMA
4
Evaluation d’impact de programmes/projets de développement
3. Technique de randomisation
5
Evaluation d’impact de programmes/projets de développement
Module 1 : Rappel des principales phases du cycle
de vie des projets de développement
1. Caractéristiques des projets
2. Typologie des projets
3. cycle de vie des projets
6
Evaluation d’impact de programmes/projets de développement
Chapitre I - Caractéristiques des projets
La notion de projet bénéficie d’une pluralité d’approches qui se distinguent les unes des autres en
fonction des points de vue à partir desquels elle est appréhendée. Ainsi, le projet est souvent présenté
comme :
• Une image d'une situation, d'un état que l'on veut atteindre : c’est un dessein, une idée, une
intention, un plan, un programme, une résolution.
• Un travail, une rédaction préparatoire, un premier état de quelque chose: c’est un canevas, une
ébauche, une esquisse, un schéma.
• Tout ce par quoi l'homme tend à modifier le monde ou lui-même, dans un sens donné
(approche idéologique ou philosophique).
Ces différentes approches diffèrent fondamentalement de la définition prise en compte par les
spécialistes de la gestion de projet.
En effet, dans le jargon de la science de gestion des projets, «Un projet est un ensemble complexe
d’activités visant un objectif précis et connu au départ, dont l’atteinte est vérifiable objectivement
parce qu’elle correspond à la réalisation d’un produit».
La norme X-50 de l'AFNOR définit le projet comme : " Une démarche spécifique qui permet de
structurer méthodiquement et progressivement une réalité à venir " Cela signifie que le projet est
un processus de mise en œuvre d’activités spécifiques
et temporaires ayant pour but la production de biens livrables uniques permettant l’atteinte de résultats
précis.
Ainsi, loin d’être une fin en soi, le projet est un moyen pour réaliser efficacement un changement
permettant à un demandeur (personne physique ou morale), d’atteindre durablement des objectifs
prédéterminés.
Le projet se caractérise par son unicité, sa durée limitée, la multiplicité et la variété des intervenants
dans son exécution et par l’exigence de respect des contraintes de qualité, de coûts et de temps.
Selon le Project Management Institut (PMI), un projet est une activité réalisée une seule fois, doté
d’un début et d'une fin déterminée et qui vise à créer un produit ou un service unique. Il peut nécessiter
la participation d’une seule ou de milliers de personnes. Sa durée peut être de quelques jours ou de
plusieurs années. Les principales caractéristiques d’un projet se présentent comme suit :
Illustration des trois dimensions d'un projet
7
Evaluation d’impact de programmes/projets de développement
En vertu de cette approche, un projet sera considéré comme une réussite lorsque ses biens livrables
sont produits conformément aux attentes du client, à l'intérieur du délai imparti et du budget alloué à sa
réalisation. La mise en œuvre d’un projet doit respecter les critères d’efficience et d’efficacité :
L’efficience mesure le résultat obtenu au regard des ressources et des moyens mis en œuvre pour la
réalisation du produit ou du service désiré.
L’efficience porte alors sur le respect de la qualité, du temps et des coûts.
L’efficience consiste en définitive à bien faire la chose
L’efficacité porte sur l’atteinte des buts ou des résultats ciblés par le projet au cours de sa période
d’exploitation.
L’efficacité consiste alors à faire la bonne chose.
Le projet efficace et efficient est donc celui qui permet de bien faire ce qu’il faut pour résoudre
un problème précis à un moment donné.
Par ailleurs, il faut bien comprendre qu'un projet n'est pas un système fermé, il s'inscrit dans un
environnement plus ou moins complexe et il doit interagir avec cet environnement.
Le schéma ci-dessous, adapté de Briner et Geddes (1993), représente le fait que la réalisation d'un
projet est influencée par la politique de l'organisation, par certaines contraintes externes et par les
besoins de certaines personnes dans l'environnement de l'organisation autant qu'à l'intérieur de
l'organisation. Conséquemment, ces facteurs doivent être considérés tout au long du cycle de vie d'un
projet.
8
Evaluation d’impact de programmes/projets de développement
Chapitre II : Typologie des projets
Il existe plusieurs formes de projets identifiables en fonction de leur nature et leur finalité.
9
Evaluation d’impact de programmes/projets de développement
La dernière phase, la clôture du projet est l’occasion de procéder à la diffusion des extrants et à
l’évaluation sommative du projet.
A la fin de chacune des principales phases du projet et au début d’une nouvelle, le gestionnaire du
projet doit effectuer une revue générale du projet afin de s’assurer que les objectifs ainsi que l’objet du
projet sont toujours pertinents et réalisables, que rien n’a été oublié, que les risques ont été identifiés
est maîtrisés, que les parties prenantes sont toujours bien impliquées dans le projet, etc. Il doit aussi
voir s’il y a des changements à apporter, s’assurer que le projet intéresse toujours le promoteur et que
les bonnes décisions ont été prises par qui de droit pour la suite des travaux.
Le tableau du cycle de vie de projet permet de mettre en évidence quatre grandes phases essentielles
avec chacune des activités à mener et des livrables à fournir:
Idée de projet (identification d’une idée pour: saisir une opportunité, répondre à un besoin ou
résoudre un problème dans un environnement)
Conception (définition et analyses de faisabilité: avantages coûts rentabilité)
Planification (Préparation du plan d’exécution: définition des travaux, des responsabilités, des
ressources, du budget et ordonnancement des tâches)
Exécution (Produire et livrer les extrants: Travaux, leadership, team building, coordination,
gestion des risques et des changements)
Clôture (Livraison des extrants, préparer les rapports, dissolution de l’équipe, clôture
administrative)
Identification Définition
Réalisation Terminaison
Planification planification
Stratégique opérationnelle
10
Evaluation d’impact de programmes/projets de développement
Module 2 : Démarche de conception des projets
(Approches comparées ACL Vs GAR)
11
Evaluation d’impact de programmes/projets de développement
Chapitre I : Méthode du Cadre Logique
La Méthode du Cadre Logique (MCL) ou l’approche cadre Logique (ACL), a été mise au point en 1969
aux Etats-Unis par la firme Pratical Concepts Inc. (PIC), pour le compte de l’Agence Américaine pour le
Développement International (USAID).
L’idée de départ était d’élaborer une grille d’analyse simple et systémique, permettant de mieux
comprendre les implications et la complexité des projets américains d’aide pour le développement
international. Le succès de cet outil a amené plusieurs organisations à adopter la MCL et à y apporter
des adaptations particulières.
Le Cadre Logique est un instrument qui vise à renforcer les procédures de conception, d’exécution et
d’évaluation des projets. Aussi est-il conçu pour être utilisé pendant tout le cycle du projet.
Le Cadre Logique est un instrument simple, conçu pour assister les responsables des projets à :
- mettre de l’ordre dans leurs idées
- coordonner les activités et les investissements en vue de parvenir aux résultats escomptés
- définir des indicateurs de performance
- partager les responsabilités
- communiquer les informations relatives au projet de manière concise et précise.
La formulation en une seule phrase de toutes les composantes essentielles d’un projet ou d’un
programme
En effet, formuler toutes les composantes clés d’un projet ou d’un programme de manière
systématique, concise et cohérente permet de clarifier et de démontrer la logique qui sous-tend la
mise en œuvre de tout projet ou programme. Cette formulation permet également d’établir les différents
niveaux d’hiérarchisation des objectifs et partant, d’assurer qu’il n’existe aucun amalgame entre les
entrées et les sorties d’une part, et entre celles-ci et les objectifs d’autre part.
Cette formulation permet de poser les questions fondamentales et d’analyser les différentes faiblesses
en vue de fournir aux décideurs des informations plus judicieuses et plus pertinentes. Elle sert
également de canevas à une analyse systématique et logique des interactions entre les différents
éléments essentiels d’un projet bien conçu. Cette approche permet en outre l’amélioration de la
planification dans la mesure où elle met l’accent sur les rapports qui existent entre les éléments du
projet et les facteurs externes déterminants.
Les notions élémentaires de l’approche du cadre logique peuvent être enseignées de manière effective
en quelques jours.
12
Evaluation d’impact de programmes/projets de développement
L’utilité interne et externe en matière de conception et d’évaluation des processus
L’approche du Cadre Logique peut être utile pour la conception et l’évaluation internes des projets. Elle
peut également s’avérer utile pour les consultants externes commis en vue de concevoir et d’évaluer les
projets ou les programmes. En plus, le Cadre Logique appelle une approche pluridisciplinaire en
matière de conception et de supervision des projets.
L’approche du Cadre Logique permet de concevoir les activités du projet avec en esprit un objectif bien
précis. Elle facilite la compréhension mutuelle ainsi qu’une meilleure communication entre les
décideurs, les gestionnaires et les autres intervenants dans le cadre des projets. De même, l’utilisation
des Cadres Logiques assortis d’un mécanisme de suivi systématique garantit la continuité de l’approche
même lorsqu’ un membre initial du projet est muté ou remplacé.
L’établissement d’un cadre de suivi & évaluation permettant la comparaison des résultats
envisagés et concrets.
Avec des objectifs et des indicateurs de succès clairement définis bien avant le lancement du projet,
l’approche présente déjà un cadre d’évaluation. Il est généralement très difficile de procéder à une
évaluation rétrospective des projets surtout lorsque les objectifs initiaux n’ont pas été clairement
définis. L’approche du Cadre Logique permet alors d’élucider les rapports qui sous- tendent les
jugements de valeur en matière d’efficacité et d’efficience probables des projets autant qu’elle permet
d’identifier les principaux facteurs de succès de ces projets.
Dans sa structure de base, le cadre logique est un tableau de dimension 4 x 4 avec des lignes et des
colonnes. Les lignes représentent les niveaux d’objectifs du projet ainsi que les conditions critiques de
leur réalisation. Les colonnes quant à elles, indiquent comment l’atteinte des objectifs peut être vérifiée.
Nous présentons ci-dessous une illustration de la grille de cadre logique.
13
Evaluation d’impact de programmes/projets de développement
La logique verticale
Paramètres du projet Indicateurs objectivement Sources de Hypothèses
vérifiables vérification favorables
Objectif général :
Objectif (s)
spécifique (s):
Résultats :
La logique horizontale
La présentation du projet sous forme de Cadre Logique permet d’apprécier les facteurs de qualité et de
réussite notamment : la pertinence, la faisabilité, la durabilité et l’efficience.
La gestion axée sur les résultats (GAR) est une philosophie de gestion mettant l'accent sur l'obtention
des résultats. C’est une approche qui est à la fois globale et fondée sur le cycle de vie de la politique,
du projet/programme. Elle intègre la stratégie d'ensemble, les groupes cibles, les processus et les
mesures pour améliorer la prise de décision ainsi que pour influencer le changement.
Comme système de gestion, elle constitue un moyen d'améliorer l'efficacité et la responsabilité de la
gestion en assurant la participation des principaux intervenants à la définition de résultats escomptés
réalistes, en évaluant les risques, en suivant les progrès vers l'atteinte des résultats escomptés, en
intégrant les leçons apprises dans les décisions de gestion et les rapports sur le rendement.
Selon l’ACDI, la Gestion axée sur les résultats (GAR) est “un moyen pour améliorer l’efficacité et la
responsabilité de la gestion en faisant participer les principaux intervenants à la définition de résultats
escomptés, en évaluant les risques, en suivant les progrès vers l’atteinte de ces résultats, en intégrant
les leçons apprises dans les décisions de gestion et les rapports sur le rendement”.
14
Evaluation d’impact de programmes/projets de développement
Le PNUD présente la GAR comme “une stratégie ou méthode de gestion appliquée par une
organisation pour veiller à ce que ses procédures, produits et services contribuent à la réalisation de
résultats clairement définis.
Selon la Déclaration de Paris, “axer la gestion sur les résultats signifie gérer et mettre en œuvre l’aide
en se concentrant sur les résultats souhaités et en utilisant les données disponibles en vue d’améliorer
le processus de décision.”
La GAR est donc une approche qui se concentre de façon systématique sur les résultats, plutôt que
vers la réalisation
La GAR (en anglais Results based Management (RBM), est une méthode de gestion concentrée sur la
réalisation des résultats :
Elle responsabilise pour atteindre les résultats souhaités.
Elle permet de suivre les progrès pour atteindre les résultats
Elle mesure la performance
Il s’agit d’un outil que les bailleurs de fonds utilisent pour améliorer l’efficacité et l’imputabilité, en
mettant l’accent sur l’obtention de résultats réalistes et mesurables.
Les principes de la GAR sont appliqués à toutes les étapes du développement d’un projet ou d’un
programme (de la planification au suivi et à évaluation).
La GAR est un concept basé sur le travail d’équipe et une approche participative qui cherche à enligner
les efforts d’une organisation ou d’un projet avec les résultats attendus.
A l’instar d’autres méthodes de gestion de projets, la démarche de la GAR se fonde sur la matrice du
cadre logique avec une orientation des efforts des projets vers les résultats attendus (à savoir les
résultats, effets et impact du cadre logique classique).
La notion de « résultat » est le noyau dur de la Gestion Axée sur les Résultats.
15
Evaluation d’impact de programmes/projets de développement
Le résultat est défini comme « un changement descriptible ou mesurable qui découle d’une relation de
cause à effet ». Il est mesuré à l’aide d’indicateurs.
La GAR a pour objet de faciliter la tâche des acteurs qui essaient d’améliorer les conditions sociales
des collectivités.
La GAR n’est pas entièrement nouvelle dans le monde de la gestion de projet. Elle apporte
essentiellement un changement au niveau de l’importance qui était traditionnellement donnée aux
aspects opérationnels de la gestion de projet (p. ex. intrants et activités) et leurs résultats immédiats
(ex. effets tels que le nombre de personnes formées ou d’arbres plantés).
L’accent est maintenant davantage mis sur les résultats à plus long terme concernant les résultats
développementaux (effets et impacts), là où nous pouvons nous attendre à des changements
importants dans la vie des gens et au sein des collectivités.
L'adoption de la GAR constitue une tendance lourde chez l'ensemble des bailleurs de fonds.
Elle est conditionnée par la réduction des montants alloués à l'aide internationale et à l'exigence d'une
démonstration de résultats. La GAR s'inscrit dans les efforts menés pour promouvoir la
responsabilisation des acteurs en ce qui a trait à l’atteinte des résultats.
Phase 1 de la GAR : Analyse des parties prenantes (stakeholders analysis) pour leur implication
dans le projet (approche participative)
16
Evaluation d’impact de programmes/projets de développement
Les 4 étapes de l’analyse des parties prenantes
Étape 1: Identifier les parties prenantes
Étape 2: Appréciation de l’intérêt des parties prenantes et des impacts potentiels du projet sur
ces intérêts
Qui est précisément le Quel rôle vont-elles Vont-elles intervenir au Cette influence sera-t-
groupe? jouer? niveau des résultats? elle positive ou
Est-il défini de manière Ce rôle est-il actif ou Vont-elles plutôt négative?
cohérente? passif? intervenir au niveau du Peut-on mesurer ou
Toutes les parties sont- Sont-ils des processus? caractériser cette
elles dans la liste ou bénéficiaires directs ou influence?
avez-vous oublié les indirects? Est-ce une influence
opposants Y a-t-il des différences économique, politique
liées au genre? ou sociale?
17
Evaluation d’impact de programmes/projets de développement
Arbre d’analyse causale du problème
La chaîne des résultats se définie comme un ensemble de résultats obtenus dans un temps et liés les
uns aux autres dans une relation de cause à effet. Elle comprend des résultats à court terme, appelés
PRODUITS, des résultats à moyen terme appelés EFFETS et un résultat à long terme, appelé IMPACT.
18
Evaluation d’impact de programmes/projets de développement
L’impact n’est pas le fait d’un seul projet, mais de la combinaison des effets de plusieurs projets.
Cadre de résultats
(Cadre logique axé sur les résultats)
19
Evaluation d’impact de programmes/projets de développement
Cadre de mesure du rendement
Extrants
20
Evaluation d’impact de programmes/projets de développement
Module 3 : Etat des lieux de la pratique de la GRD
dans l’espace UEMOA et aperçu de l’initiative
AfriK4R
1. Exigences liées à la bonne gouvernance des programmes et stratégies de
développement
2. Exigences liées à la demande croissante redevabilité
3. Exigences de production de résultats de développement (GRD, initiative AfriK4R)
4. Etat des lieux de la redevabilité dans l’espace UEOMA
21
Evaluation d’impact de programmes/projets de développement
Le suivi évaluation est devenu au fil du temps, une des préoccupations majeures des organisations tant
publiques que privées. Son importance s'est accrue au fil du temps, car on s'est aperçu qu'il pouvait
être un outil de progrès non seulement pour les projets en cours de réalisation, mais aussi pour ceux à
réaliser dans l'avenir. C'est ainsi que dans la majorité des organisations, les chercheurs ce sont attelés
à identifier les méthodes et outils qui pouvaient permettre au suivi évaluation de contribuer efficacement
à l'atteinte des résultats. On peut donc affirmer que l'enjeu du suivi évaluation dans les projets et
programmes de développement n'est plus à démontrer. La valorisation de la fonction de suivi évaluation
répond notamment à des exigences de bonne gouvernance, de redevabilité et d’efficacité dans la
production de résultats de développement.
L'évaluation des politiques publiques prend une importance croissante pour plusieurs raisons liées
principalement aux interrogations sur la pertinence et la légitimité des 'interventions publiques. Dans ce
contexte, progressivement mais aussi difficilement, l'évaluation prend sa place dans la conduite de
l'action publique, en tant qu'élément de promotion de la Bonne Gouvernance.
La bonne gouvernance est ainsi devenue un enjeu central dans les débats sur le financement du
développement, avec une exigence forte pour le suivi et l’évaluation de l’action publique. C’est ainsi
qu’elle s’est retrouvée au cœur de l’initiative sur les pays pauvres très endettés. On retrouve cette
question de bonne gouvernance et de suivi évaluation dans les Documents Stratégiques de Réduction
de la Pauvreté. (DSRP).
22
Evaluation d’impact de programmes/projets de développement
Chapitre II : Exigences liées à la demande croissante redevabilité
On constate dans les Etats africains l’émergence de sociétés civiles de plus en plus fortes et
exigeantes, qui affirment leur volonté légitime d’exercer un contrôle citoyen sur les actions des
gouvernants. Ainsi, la demande en matière de suivi et l’évaluation des projets initiée tant par les
pouvoirs publics que par le secteur privé est croissante partout sur le continent pour rendre effective
l’exigence de redevabilité.
Les causes courantes identifiées par les partenaires au développement pour rendre compte de l’échec
des politiques publiques dans les pays africains sont généralement les suivantes :
1. L’insuffisance de liens clairs entre le projet et les priorités stratégiques ;
2. l’insuffisance du management d’un leadership affirmé ;
3. l’insuffisance d’engagement effectif des parties prenantes ;
4. le manque d’une approche efficace de gestion des risques ;
5. la faible attention accordée à certains événements affectant les différentes phases de gestion
de l’intervention et la livraison des résultats.
Face à ce constat, la grande question qu’il se pose est donc la suivante: Comment l’Afrique peut elle
rattraper son retard ? La réponse la plus évidente est qu’il faut parvenir à une amélioration croissante
de sa performance alliée à une utilisation rationnelle de ses ressources. D’où la problématique de la
création, de la gestion, de l’évaluation et de la promotion de la performance dans les administrations et
institutions avec une attention plus accrue à l’atteinte des résultats lors de la mise en œuvre des
programmes de développement.
L’application des principes et outils de la gestion axée sur les résultats (GAR) est devenue aujourd’hui
une exigence des partenaires au développement en Afrique.
L’intérêt de la communauté internationale pour la Gestion Axée sur les Résultats et le suivi-évaluation a
véritablement commencé avec la disparition du Bloc soviétique et la fin de la Guerre Froide.
23
Evaluation d’impact de programmes/projets de développement
En effet, dès lors les puissances ne vont plus octroyer l’aide au développement seulement pour des
raisons de géostratégie afin de maintenir les pays bénéficiaires sous leur coupe idéologique mais vont
dorénavant être plus regardants sur la gestion de l’aide et les résultats qu’elle permet de produire en
termes de développement. Cette tendance va progressivement se renforcer et devenir peu à peu l’une
des bases du système d’allocation de l’aide au développement au niveau international. Des
évènements importants dans cette dynamique sont la Déclaration du Millenium adoptée par l’ONU en
2000, l’élaboration des OMD en 2001, la Conférence de Monterrey en 2002, la réunion de Rome sur
l’harmonisation de l’aide en 2003, la Déclaration de Paris sur l’efficacité de l’aide au développement en
2005, la conférence de haut niveau d’Accra sur l’efficacité de l’aide en 2008 et dernièrement, le sommet
de haut niveau sur l’efficacité de l’aide tenu à Busan en 2011.
L’initiative AfriK4R
Aujourd’hui l'Afrique est confrontée à de nombreux défis qui affectent son processus de développement.
Dans un contexte général de forte croissance, le continent doit pouvoir traduire cette croissance en
réduction effective de la pauvreté, à travers un développement inclusif et la mise en place de systèmes
efficaces de prestations de services de qualité.
Dans cette perspective, la Communauté Africaine de Pratiques sur la Gestion Axée sur les Résultats de
Développement (AfCoP- GRD) s’est donnée comme ambition de contribuer à la transformation de
l'Afrique à travers le partage et l'utilisation de la gestion axée sur les résultats de développement en tant
que processus de gestion du changement pour soutenir les réformes institutionnelles pour un
changement durable sur le continent. Pour ce faire, l’AfCoP- GRD a élaboré un cadre d'action intitulé
l’initiative pour les résultats en l'Afrique (AfriK4R) qui est une approche régionale de la
problématique de développement visant à aider à concrétiser cette vision par la mobilisation des
leaders africains venus de tous les horizons des affaires publiques en faveur des résultats et de
l’intégration régionale.
L'initiative AfriK4R vise à renforcer: (i) les systèmes de gestion du secteur public pour favoriser le
développement d'États capables, (ii) les institutions pour une meilleure prestation de service, et (iii) la
convergence régionale à travers la GAR pour améliorer l'intégration régionale.
Dans le cadre de cette initiative, une Plate-forme africaine pour les résultats a été lancée en décembre
2012 à Tunis et comprend des réseaux thématiques s’intéressant aux résultats venant de plusieurs
pays d'Afrique, notamment AfrEA (réseau de suivi et d'évaluation), AFRISTAT (réseau des capacités
statistiques), AGDEN (réseau sur le genre), ANSA-Africa (réseau sur la redevabilité sociale); la plate-
24
Evaluation d’impact de programmes/projets de développement
forme du NEPAD (réseau de leadership) et CABRI (réseau de gestion des finances publiques). Le suivi
évaluation se positionne dans ce dispositif GAR comme une fonction essentielle et incontournable.
Rendre des comptes est, de la part de tous ceux qui exercent une autorité, une exigence démocratique. Et la
responsabilité de rendre des comptes, autrement dit la « redevabilité », constitue un des axes fondamentaux de
la gestion axée sur les résultats. La reddition de compte suppose l’évaluation de la performance et de l’efficacité
des actions. L’établissement de critères permettant de mesurer la performance des agents et des institutions
publics et de procédures de contrôles du respect des normes est un des éléments de la redevabilité. C’est le
vecteur de l’appropriation des politiques publiques par tous les acteurs de la société civile et par les populations
concernés.
Le principe de redevabilité est la base de toute évaluation des résultats et le fondement de la bonne
gouvernance.
Le champ de la redevabilité concerne l’ensemble du processus de mise en œuvre d’une politique publique : il
s’agit de l’obligation de rendre compte du fait qu’une action a été conduite dans le respect des règles et des
normes convenues, au regard des objectifs et du mandat fixés. Et ce champ est ouvert : il s’adresse aux medias,
aux communautés, aux citoyens, aux acteurs sociaux et économiques. La « redevabilité », sous l’angle de la
« participation » et de la « publicité », est présente dans l’évaluation de tous les piliers. Et dans le domaine des
programmes de développement, le fait de rendre des comptes s’étend aux partenaires non étatiques, à leur
responsabilité propre, à leur rôle et aux performances attendues. Enfin, les progrès de la « redevabilité »
s’inscrivent dans le cadre régional.
Pour évaluer de la capacité en GRD des pays de la zone UEMAO, « la redevabilité pour les résultats et les
partenariats » est déclinée autour de quatre axes :
La participation mesure, tant au niveau des politiques nationales que des programmes régionaux, la
manière dont la par de la société civile et le secteur privé dans le processus d’élaboration des
documents stratégiques, la force et l’indépendance des médias ainsi que la diffusion de l’information
dans le pays.
Les institutions redevables évaluent l’ensemble des dispositifs officiels garants de la reddition des
comptes comme un médiateur ou un protecteur des citoyens, le Parlement, la Justice et les instances
de luttes contre la corruption ; au niveau régional, l’existence d’une instance de redevabilité, la diffusion
des rapports, l’évaluation par les pairs et les débats parlementaires.
La prise de décision à partir des informations sur les résultats vise à mettre en évidence le niveau
de prise en compte des informations concernant les biens, équipements et services (extrants) mais
également les résultats, et de quelle manière les enseignements tirés des évaluations et des rapports de
performance ou les avis des citoyens sont pris en compte dans la décision.
1
Rapport synthèse d’évaluation de la GRD dans l’espace UEMOA, Secrétariat AfCoP GRD
25
Evaluation d’impact de programmes/projets de développement
Les partenariats s’attachent à la manière dont les partenaires techniques et financiers de l’Etat
établissent leurs priorités, et s’ils inscrivent leurs actions dans le cadre du plan stratégique, et la
capacité du gouvernement à favoriser l’alignement des partenaires sur le plan national, jusque dans les
procédures de reporting ; au niveau régional, l’implication des PTF et les capacités de coordination avec
les PTF et avec les bailleurs de fonds.
Pilier 6 : Redevabilité
Pays fortement engagé (>3) Pays dans la moyenne (entre 2,5 et 3) Pays faiblement engagé
(<2,5)
26
Evaluation d’impact de programmes/projets de développement
Module 4 : Enjeux de l’évaluation d’impact des
programmes/projets de développement
27
Evaluation d’impact de programmes/projets de développement
Chapitre I : Nature et typologie de l’évaluation de projets
1.1- Nature
Dans le domaine spécifique de la gestion des projets et suivant les plus récentes définitions approuvées
internationalement par les spécialistes du domaine, l’évaluation est perçue comme « une appréciation
aussi systématique et objective possible de la conception, la mise en œuvre et des résultats
d’un projet en cours ou achevé. Elle sert à déterminer la pertinence des objectifs du projet ainsi
que leur degré de réalisation, son efficience, son efficacité, son impact et sa viabilité au regard
du développement ». Une évaluation de projet devrait donc fournir des informations crédibles et utiles,
permettant d’intégrer les renseignements dans le processus de prise de décision tant par les
bénéficiaires que par les promoteurs d’un projet.
Plus précisément, l’évaluation de projet est un jugement d’expert porté à intervalles réguliers sur la
pertinence, l’efficacité, efficience, l’impact (attendus ou non) et la viabilité d’un projet au regard des
objectifs énoncés lors de la planification.
Plus qu’un simple jugement de valeur, une la réalisation d’une mission d’évaluation de projet obéit donc
au respect d’une démarche rationnelle basée sur des critères et des indicateurs objectivement
vérifiables sur le terrain.
L’objet de l’évaluation est d’estimer les impacts et d’analyser les processus d’un projet. Les objectifs
spécifiques sont semblables à ceux du suivi. Cependant, l’évaluation en général s’inscrit dans une
perspective à plus ou moins long terme et à grande échelle afin de rendre les résultats plus
particulièrement utiles à la planification, à l’évaluation de la durabilité, et pour la formulation de projets
futurs.
L’analyse et l'appréciation qui en sera tirée ne sont pas faites en référence à des normes
prédéterminées ni à un référentiel standard fermé. Le référentiel de l'évaluation est ouvert : il est
construit par un groupe constitué à cet effet, en fonction des finalités, des objectifs, des caractéristiques
spécifiques du projet/programme à évaluer.
La démarche d'évaluation demande donc un temps préalable et un travail déterminant pour la suite, de
définition précise de l'objet à évaluer, des critères à utiliser, de choix des questions à poser, et de
définition du système d'évaluation c'est-à-dire de la marche à suivre, des données à rassembler et des
personnes à associer ou à consulter.
L'évaluation est une recherche non pas individuelle mais collective, de faits appuyés sur des données
fiables. Il ne s'agit pas a priori de débusquer des écarts à la norme mais de mettre en évidence tous les
effets attribuables à l'objet évalué, attendus ou inattendus, qualifiés de positifs ou de négatifs. Si cette
analyse met en évidence des faiblesses ou des dysfonctionnements, l'évaluation doit être
accompagnée de recommandations pour les faire disparaître. Les réussites notables et les pratiques
particulièrement adaptées doivent aussi être mises en valeur.
28
Evaluation d’impact de programmes/projets de développement
1.2- Typologie de l’évaluation
On distingue, dans l'évaluation des politiques ou des projets/programmes, quatre cas de figure selon le
moment de l'évaluation dans le cycle de vie de la politique ou du projet/programme en question.
Evaluation à priori ou ex ante : faite au moment de la conception du
projet/programme avant son adoption définitive et sa mise en œuvre. Elle s'assure de la
pertinence et de la cohérence du projet/programme, en référence d'une part aux finalités
et aux effets souhaités et d'autre part au contexte. Elle veille à la faisabilité du
projet/programme et à l'existence d'objectifs opérationnels pouvant effectivement faire
l'objet d'un suivi.
Evaluation à posteriori ou ex post : faite après la fin du projet/programme, elle rend
compte, autant que faire se peut, de l'ensemble des effets observés et de l'impact global,
de leur pérennité (durabilité) et de leurs causes ainsi que de l'appréciation portée sur
l'efficacité, sur l'efficience (efficacité rapportée aux ressources mobilisées) et sur l'utilité du
de la politique ou du projet/programme évalué.
Evaluation intermédiaire (ou à mi parcours) : faite pendant la mise en œuvre, à peu
près à la moitié du cycle de vie du programme. Dans le cas où celui-ci est relativement
long, cette pratique permet d'apprécier la pertinence des objectifs par rapport à un
contexte évolutif et les éventuels écarts entre la mise en œuvre effective (les réalisations
faites et les premiers résultats constatés) et les intentions initiales. Elle permet de faire
des recommandations sur les corrections qui apparaissent nécessaires soit dans la
gestion soit dans les objectifs mêmes.
Evaluation concomitante (ou chemin faisant ou in itinere) : faite tout au long du
déroulement de l'action, cette pratique relève plutôt de l'analyse continue tant de l'état
d'avancement et du contexte que des réalisations faites et des résultats acquis. Ce type
d'évaluation permet dans le cas de programmes discutés ou sensibles, ou bien dans le
cas d'opérations expérimentales ou de projets pilotes, de rendre compte en continu et
d'associer au processus les différentes parties concernées.
Chaque évaluation doit se concentrer sur un élément essentiel. S’il y a trop d’objectifs, ils doivent être
classés par ordre de priorité, ou réduits en nombre.
Ainsi, une évaluation de l'impact d’un projet de développement juge les changements qui sont
intervenus dans le bien-être des populations et peuvent être attribués directement à un projet ou à un
programme donné.
L'évaluation contribue à améliorer l'efficacité des projets et programmes en fournissant des informations
en retour pendant toute la durée de l'intervention ou de la mesure prise par le maître d’ouvrage. C'est
un outil de prise de décisions pour les décideurs qui fait que l’on peut juger la valeur des actions. Les
informations qui proviennent des évaluations disent aux décideurs/managers s'il faut étendre, modifier
ou éliminer une politique ou un projet/programme particulier, et elles servent à établir un ordre de
priorité des mesures.
29
Evaluation d’impact de programmes/projets de développement
Les examens administratifs et le suivi du processus sont d'autres types d'évaluation, mais qui ne
donnent pas une estimation de l'ampleur des effets et n'en déterminent pas les causes. Une telle
analyse des causes est essentielle si l'on veut arriver à comprendre le rôle relatif de diverses
interventions pour des objectifs bien spécifiques et donc à concevoir des stratégies appropriées.
TYPES D’EVALUATIONS
Evaluation Ex- Evaluation Ex Evaluation Evaluation de fin Evaluation Ex
ante de ante de faisabilité intérimaire et de projet post (impact)
préfaisabilité formative (sommative)
30
Evaluation d’impact de programmes/projets de développement
1.3- Finalités d'une évaluation
Plusieurs caractéristiques propres à la démarche évaluative peuvent être observées. Elles concernent
surtout la finalité de l'évaluation, les objets à évaluer et les parties prenantes. L'évaluation possède
quatre grandes finalités qui intègrent les spécificités de l'objet à évaluer et les besoins en information
des parties prenantes. Ses finalités sont les suivantes (Rapport Banque mondiale, 2008) :
En matière de gestion de projets/programmes, le suivi et l'évaluation sont deux concepts différents mais
complémentaires. L'évaluation ne peut être facilement et correctement réalisée que s'il ya eu au
préalable un suivi rigoureux. En effet, l'évaluation s'effectue en s'appuyant sur l'exploitation des
informations générées par les instruments mis en place par le système de suivi du projet et les résultats
obtenus par le système d'évaluation auront une forte corrélation avec ceux du système de suivi. Dans
ce sens, le suivi est un outil au service de l'évaluation, interne (auto évaluation ou temps évaluatif
programmé par les équipes lors de la réalisation), mixte, ou externe. Dans les projets où le système de
suivi est faible ou inexistant, l'analyse du projet lors de l'évaluation est limitée et partielle. L'évaluation
dans ce cas sera l'occasion de mettre en place un dispositif de suivi évaluation, basé obligatoirement
sur les critères et indicateurs qui auront été utilisés dans le cadre du projet. Les différences entre le
suivi et l'évaluation peuvent être observées au niveau des objectifs, des principales activités et la
fréquence de réalisation.
Au niveau des objectifs, le suivi vise à améliorer l'efficience par la comparaison des réalisations
aux prévisions, la compréhension, la justification et le réajustement des écarts. L'évaluation
examine les relations qui existent entre les activités et les résultats, ce qui permet de fournir les
informations nécessaires à l'amélioration de l'efficacité du projet ;
Au niveau des activités, le suivi recueille régulièrement les informations nécessaires à la
compréhension de l'évolution du projet dans le sens de l'atteinte des objectifs ou non.
L'évaluation cherche systématiquement à mesurer les effets avec des méthodes rigoureuses ;
31
Evaluation d’impact de programmes/projets de développement
Au niveau de la fréquence le suivi est une démarche continue qui s'effectue depuis le début
jusqu'à la fin du projet. Il met en œuvre un dispositif outillé, qui permet la mesure continue des
différentes réalisations du projet pour fournir les informations nécessaires à la gestion
quotidienne. L'évaluation est intermittente et s'effectue à certains moments bien précis de la vie
du projet, elle s'intéresse aux effets produits par le projet même après sa fin. Il s'agit d'un outil
d'aide à la décision qui permet d'avoir la photographie d'un projet ou de son impact à un
moment donné pour l'apprécier par comparaison à une référence.
Suivi Evaluation
Principales · Définition des indicateurs, recueil régulier · Appréciation, mesure systématique des
activités d'informations, comparaison avec plan, effets, recherche des causalités par des
comptes rendus méthodes rigoureuses
32
Evaluation d’impact de programmes/projets de développement
Chapitre III : Principes et critères de la CAD/OCDE
Les principes pour l’évaluation de l’aide au développement ont été adoptés par le CAD de l’OCDE en
1991 et sont au cœur de l’approche adoptée par le Réseau en matière d’évaluation. Les principes
traitent de la gestion des systèmes d’évaluation au sein des organismes de développement et des
dispositifs institutionnels y afférents.
L’une des principales missions du Réseau du CAD sur l’évaluation du développement est d’élaborer
des normes et standards internationalement reconnus afin de renforcer l’évaluation, en théorie comme
dans la pratique. L’adhésion à des normes communes contribue à l’harmonisation des approches,
conformément aux engagements énoncés dans la Déclaration de Paris sur l’efficacité de l’aide.
Ces principes, qui ont valeur de référence internationale, guident les efforts déployés pour améliorer les
résultats du développement à travers une évaluation de qualité.
Les principes de base donnent des indications générales sur le rôle de l’évaluation dans la gestion de
l’aide. Ce sont :
- L’Impartialité et indépendance
- La Crédibilité
- L’Utilité
- La Participation des donneurs et des pays d’accueil
- La Coopération entre donneurs
- La Programmation des évaluations
- La Conception et mise en œuvre des études d’évaluation
- L’Établissement des rapports, communication des résultats et rétroaction de l’information
Les critères d’évaluation du CAD pour évaluer l’aide au développement sont fondés sur les principes
pour l’évaluation et servent de guide général des mesures pouvant être appliquées, et utiles pour
apprécier l’action menée en matière de développement.
Ainsi, lors de l’évaluation des programmes et projets de coopération pour le développement, il est
recommandé de prendre en compte les critères suivants, tirés des Principes du CAD pour l’évaluation
de l’aide au développement.
33
Evaluation d’impact de programmes/projets de développement
Critère de la Pertinence :
Mesure dans laquelle les activités d’aide correspondent aux priorités et aux politiques du groupe ciblé,
partenaires ou donneurs. L’évaluation de la pertinence d’un programme ou d’un projet doit prendre en
compte les points suivants:
Dans quelle mesure les objectifs du programme sont-ils toujours valides ?
Les activités menées dans le cadre du programme et les résultats observés sont-ils
compatibles avec la finalité globale et la concrétisation des objectifs fixés ?
Les activités menées dans le cadre du programme et les résultats observés sont-ils
compatibles avec l’impact et les effets escomptés ?
Critère de l’Efficacité :
Mesure du degré de réalisation des objectifs de l’activité d’aide, l’évaluation de l’efficacité d’un
programme ou d’un projet doit prendre en compte les points suivants:
Dans quelle mesure les objectifs ont-ils été atteints ou sont susceptibles de l’être ?
Quels ont été les principales raisons de la réalisation ou de la non-réalisation des objectifs?
Critère de l’Efficience :
L’efficience mesure les résultats (qualitatifs ou quantitatifs) obtenus par rapport aux moyens mis en
œuvre. Il s’agit d’un terme économique utilisé pour indiquer dans quelle mesure une activité d’aide
utilise les ressources les moins coûteuses possible pour produire les résultats escomptés. Cela
implique généralement de comparer les différentes approches utilisées pour atteindre les mêmes
résultats, de façon à déterminer si le processus le plus efficient a été retenu.
L’évaluation de l’efficience d’un programme ou d’un projet doit prendre en compte les points suivants:
• Les activités étaient-elles efficientes par rapport à leur coût ?
• Les objectifs ont-ils été atteints dans les délais prévus ?
• Le programme/projet a-t-il été mis en œuvre dans les meilleures conditions d’efficience au
vu des autres possibilités existantes ?
Critère de l’Impact :
Il s’agit des effets positifs et négatifs, directs ou indirects, intentionnels ou non, induits par une
intervention à l’appui du développement. L’évaluation d’impact doit prendre en considération les
résultats souhaités et les résultats involontaires, de même que les impacts positifs et négatifs de
facteurs externes, tels que l’évolution des termes de l’échange ou des conditions financières.
L’évaluation de la l’impact d’un programme ou d’un projet doit prendre en compte les points suivants:
Quelles sont les conséquences du programme/projet et comment s’expliquent-elles ?
Quel changement concret l’activité concernée a-t-elle apporté aux bénéficiaires ?
Critère de la Viabilité :
La viabilité permet de mesurer si les bienfaits d’une activité de développement ont des chances de
perdurer une fois que le donneur aura achevé de la financer. Les projets doivent être aussi bien
financièrement qu’environnementalement viables.
34
Evaluation d’impact de programmes/projets de développement
L’évaluation de la viabilité d’un programme ou d’un projet doit prendre en compte les points suivants:
Dans quelle mesure les bienfaits résultant d’un programme/projet perdurent-ils après le
retrait des bailleurs de fond ?
Quels sont les principaux facteurs qui influent sur la viabilité ou la non-viabilité d’un
programme/projet ?
Le Groupe des Nations Unies pour l’évaluation (GNUE), qui se compose de praticiens, a entrepris de
définir des normes afin de contribuer à la professionnalisation de l’évaluation et de fournir une
orientation aux bureaux d’évaluation chargés d’élaborer des politiques d’évaluation ou d’autres aspects
de leurs opérations.
Le Groupe d'évaluation des Nations Unies regroupe les unités professionnelles et les individus chargés
de l'évaluation au sein du système des Nations Unies
La mission principale du GNUE est de promouvoir l'indépendance, la crédibilité et l'utilité de la fonction
d'évaluation, l'évaluation au sein du système des Nations Unies.
Les normes identifiées par le GNUE, tentent de faciliter une collaboration de l’ensemble des acteurs du
système des Nations Unies par le respect des principes de base convenues. Elles sont un point de
référence en vue de renforcer, professionnaliser et améliorer la qualité de l’évaluation dans toutes les
entités des Nations Unies, y compris les fonds, les programmes et les institutions spécialisées.
Ces normes régissent le mode de fonctionnement de l’évaluation applicable dans le système des
Nations Unies.
Les règles d’évaluation déclinées par le GNUE, sont conçues à partir des normes régissant l’évaluation
existant au sein des entités des Nations Unies. Elles sont tirées des meilleures pratiques des membres
du Groupe des Nations Unies pour l’évaluation. Elles doivent aider à mettre en place un cadre
institutionnel, à gérer l’évaluation, ainsi qu’à réaliser et à utiliser des évaluations. Elles doivent aussi
permettre d’établir les qualifications requises des praticiens d’évaluation et leur déontologie.
Ces règles sont au nombre de cinquante un (51) et sont regroupés dans quatre (4) grandes catégories,
à savoir :
- Cadre Institutionnel et gestion de l’évaluation (7 règles)
- Qualifications et éthique (9 règles)
- Réalisations des évaluations (17 règles)
- Rapports d’évaluation (18 règles)
35
Evaluation d’impact de programmes/projets de développement
Chapitre V : Principes et standards de l’AfreA
L'Association Africaine d'Evaluation (AfrEA) a été fondée en 1999, en réponse à l'appel croissant de
l'Afrique pour le plaidoyer, le partage d'informations et le renforcement des capacités de pointe en
matière d'évaluation. Il s’agit d’une organisation visant à construire des ponts stratégiques pour les
évaluateurs africains afin de leur permettre de se connecter et d’échanger leurs expériences à travers
des réseaux de partager.
L’AfrEA est donc association but lucratif dont le siège est a Accra au Ghana. Elle cherche à développer
une communauté d'évaluateur africaine forte. Ses objectifs, tels qu'ils sont énoncés par les membres
fondateurs sont:
Soutenir les évaluations qui contribuent à un développement réel et durable en Afrique
Promotion de l'Afrique et de l'Afrique enracinée évaluation dirigée par le partage de points de
vue africains évaluation
Encourager le développement et la documentation des pratiques d'évaluation de la qualité
élevée et la théorie
Soutenir la création et la croissance des associations nationales d'évaluation et de groupes
d'intérêts spéciaux d'évaluation.
Faciliter le renforcement des capacités, le réseautage et le partage des théories d'évaluation,
techniques et outils entre les évaluateurs, décideurs, chercheurs et spécialistes du
développement
Avec le soutien de la Fondation Rockefeller et l'Agence suisse pour le développement (DDC), l'AfrEA a
élaboré un plan stratégique quinquennal qui identifie des partenaires potentiels tout en détaillant sa
vision, la mission et les domaines de travail avec ses valeurs et sa structure de gouvernance.
Les principes directeurs de l’AfrEA en matière d’évaluation sont les suivants :
Principes directeurs de l'utilité
Principes directeurs de faisabilité
Principes directeurs de protection
Principes directeurs de précision
36
Evaluation d’impact de programmes/projets de développement
Module 5 : Evaluation ex ante de l’impact socio
économique des projets
37
Evaluation d’impact de programmes/projets de développement
Chapitre I : L’environnement: rappel
1.1. Définition
Loi n°96-766 du 3 octobre 1996 portant Code de l’environnement de la Côte d’Ivoire, présente en sont
article 1er l’environnement come étant « L’ensemble des éléments physiques, chimiques, biologiques et
des facteurs socio-économiques, moraux et intellectuels susceptibles d’avoir un effet direct ou indirect,
immédiat ou à terme, sur le développement du milieu, des êtres vivants et des activités humaines »
« Le développement durable répond aux besoins du présent sans compromettre la capacité des
générations futures à répondre aux leurs. Le développement durable s’appuie sur une vision à long
terme qui prend en compte le caractère indissociable des dimensions environnementale, sociale et
économique des activités de développement. » (Ministère du Développement Durable Environnement
Faune et Parcs du Québec)
L’évaluation ou étude d’impacts socio-économiques est une procédure d’examen qui vise à estimer de
manière anticipée les conséquences qu’une initiative pourrait induire sur l’environnement social,
économique et culturel et à prévoir des mesures d’atténuation des conséquences négatives et
d’amplification des conséquences positives.
38
Evaluation d’impact de programmes/projets de développement
L’évaluation ou étude d’impacts socio-économiques s’inscrit dans le respect des principes du code
de l’environnement, à savoir:
- le principe de précaution,
- le principe d’action préventive,
- le principe du pollueur payeur,
- le principe de participation
Concepts
3. Résultat - effet - impact
3.1. Définitions
Exemple:
Dans la région X du pays les populations rurales souffrent du manque d’eau en quantité et en qualité.
Pour palier cette situation, les autorités conçoivent le projet “De l’Eau pour Tous” qui vise les objectifs
ci-après à l’horizon 2020 :
- fournir une quantité d’eau suffisante grâce à la réalisation de 12 puits aux normes techniques en
cours (diamètre, matériaux, débit...);
- réduire le travail des femmes;
- améliorer la santé des populations en assurant l’accès à une eau de bonne qualité sur le plan
bactériologique.
39
Evaluation d’impact de programmes/projets de développement
1.3- Typologie des impacts
Impact direct: résulte d’un lien de cause à Le forage assure la disponibilité de L’eau
effet entre le projet ou une de ses potable chez l’habitant
composantes et l’environnement Les animaux s’abreuvent au forage
Impact indirect: modification prévisible sur Les maladies d’origine hydrique diminuent
l’environnement qui ne résulte pas d’un lien La santé du bétail s’améliore
direct de cause à effet mais d’un impact
direct
Impact cumulatif: combinaison des (L’eau potable est disponible, les maladies
impacts dans le temps et dans l’espace hydriques diminuent:) la qualité de vie de la
d’un même projet qui engendre des population de la région s’améliore
additions et des interactions entre eux (Les animaux s’abreuvent au forage, leur
santé s’améliore: ) la production des
troupeaux augmente
Impact différé: Impact qui se manifeste Le développement d’AGR contribue à la
ultérieurement à l'implantation ou à la sédentarisation de la population de la
réalisation de l’initiative région
Impact résiduel: impact négatif qui persiste Les animaux dégradent les alentours du
après l’application d’une mesure forage
d’atténuation
1.4- Critères d’évaluation de l’importance d’un impact sur une composante de l’environnement
40
Evaluation d’impact de programmes/projets de développement
Chapitre II : Aspects institutionnels de l’évaluation environnementale
41
Evaluation d’impact de programmes/projets de développement
2.1- La politique et les procédures de la Banque Mondiale en matière d’évaluation économique et
sociale
Selon la Directive OP 4.01 de la Banque Mondiale les projets qui lui sont soumis par les États pour
financement doivent faire l’objet d’une évaluation environnementale et sociale élaborée par
l’emprunteur afin de garantir leur viabilité du point de vue de l’environnement. (L’instrument
d’évaluation environnementale et sociale utilisé dépend de la nature du projet)
En fonction des conclusions de l’étude, les projets sont classés selon 3 catégories:
Catégorie A : projet dont les incidences sur l’environnement sont envisagées très négatives,
névralgiques, diverses ou sans précédent (qui peuvent s’avérer irréversibles)
Catégorie B: projet dont les impacts négatifs que le projet est susceptible d’avoir sur les
populations humaines ou sur des zones importantes du point de vue de l’environnement sont moins
graves que ceux de la catégorie A
Catégorie C : projet dont la probabilité des impacts négatifs sur l’environnement est jugée minime
ou nulle. Une analyse environnementale et sociale n’est généralement pas nécessaire.
- L’emprunteur doit mettre en œuvre les mesures d’atténuation qui permettront d’amoindrir les
impacts prévus sur l’environnement, d’assurer le suivi des programmes, d’apporter les mesures
destinées à atténuer des impacts non prévus et de se conformer aux « normes » en matière
d’environnement;
- Au terme du projet, une description des impacts qui se sont réellement produits figure au
rapport d’achèvement du projet
42
Evaluation d’impact de programmes/projets de développement
Chapitre III : Les étapes de l’évaluation participative d’impacts socio-
économiques : Cas de l’Autorité du Bassin du Niger (ABN)
3.1- Place du processus dans le temps
Le processus d’évaluation d’impact s’enclenche dés lors que l’ABN (maître de l’ouvrage) décide de
réaliser un projet et, dans les États où la législation le prévoit lorsqu’elle en avise l’organisation
responsable des évaluations d’impacts environnementaux. Un avis de projet (ou notice) est émis. Il
décrit le projet, sa localisation, fait une évaluation préalable des impacts sur l’environnement
43
Evaluation d’impact de programmes/projets de développement
Le processus général de l’évaluation des impacts
Intrants Phases Produits
L’ABN élabore un avis de Tri préliminaire L’organisation pays
projet responsable des ÉIE décide
de la nécessité ou non d’une
ÉIE et de sa profondeur
Conception du projet
Mise en œuvre
technique, rapports
antérieurs
du projet
Avis d’autorisation Surveillance et suivi Rapports de surveillance et
de suivi
44
Evaluation d’impact de programmes/projets de développement
Module 6 : Evaluation d’impact ex post des projets :
Méthodes expérimentales et quasi- expérimentales
1. Techniques expérimentales
2. Techniques quasi expérimentales
3. Technique de randomisation
45
Evaluation d’impact de programmes/projets de développement
Chapitre I : Considérations générales
Judy L. Baker rappelle dans sa publication sur les méthodes d’évaluation de l’impact des projets2 que
"Malgré les milliards de dollars injectés dans l’aide au développement chaque année, nous savons
encore peu de chose de l’impact réel des projets sur les pauvres. Les bénéfices de la croissance
économique, les investissements en capital humain et la mise à disposition de filets de sécurité pour les
pauvres sont largement documentés.
Cependant, pour un programme ou projet spécifique d’un pays donné, les questions suivantes se
posent toujours : l’intervention produit-elle les bénéfices escomptés et quel a été l’impact global sur la
population? Le programme ou projet pourrait-il être mieux conçu pour atteindre les résultats
escomptés? Les ressources sont-elles dépensées de façon efficiente? On ne peut répondre à ces types
de questions que par une évaluation d’impact, une approche qui mesure les résultats d’une intervention
de programme en éliminant les autres facteurs possibles".
L’évaluation des politiques publiques est un exercice difficile techniquement et institutionnellement.
Techniquement, parce que de nombreux pièges attendent l’évaluateur: corrélation (entre une politique
et ses résultats) ne vaut pas causalité ; et l’évaluateur doit tenir compte des causalités inverses et des
interactions de la politique considérée avec de multiples autres facteurs ; il doit aussi être conscient du
fait que le bénéficiaire final d’un dispositif n’est pas forcément celui qui est visé, ou que la politique peut
avoir de multiples effets, parfois loin du champ initialement ciblé. Plusieurs techniques statistiques
permettent de contourner ces problèmes et de reconstruire ce qui se serait passé en l’absence de la
politique considérée.
Les méthodes expérimentales consistent à réaliser une simulation aléatoire dans laquelle le choix du
traitement et des groupes témoins est aléatoire au sein de quelques groupes de personnes bien définis.
Dans ce cas il ne doit y avoir aucune différence entre les deux groupes en plus du fait que le groupe
cible avait accès au programme. (Il peut toujours y avoir des différences en raison d’erreur
d’échantillonnage ; plus la taille des échantillons de traitement et de vérification est grande, moins il y a
d'erreur).
Les Méthodes Expérimentales : construisent le contrefactuel par assignation randomisée d’un groupe
de participants au projet (le groupe de traitement) et d’un groupe de non- participants (groupe témoin).
2
Evaluation de l’impact des projets de Développement sur la pauvreté. Manuel à l’attention des Praticiens,
mai 2000.
46
Evaluation d’impact de programmes/projets de développement
Portée et limites de l’approche expérimentale :
Elle exerce un grand attrait : application transparente grande qualité du contrefactuel, principe
simple: nécessite un petit échantillon. Intègre l’implémentation à l’évaluation.
Mais :
• Les expériences contrôlées ne s’appliquent pas à tous les projets raisons d’ordre éthique,
d’ordre pratique : politique expérimentée souvent à une échelle réduite ; il est impossible alors
d’extrapoler.
• La validité interne est fonction de la conception et de l’implémentation: problèmes d’attrition
(des individus disparaissent de l’échantillon).
Les méthodes quasi expérimentales sont les plus utilisées; parmi elles on principalement:
- les méthodes basées sur l’harmonisation ;
- les méthodes de la double différence ;
- les méthodes de vérification statistique ;
- les méthodes réflexives.
Les Méthodes Non Expérimentales obtiennent le contrefactuel par des techniques statistiques (Score
de Propension et Appariement, Doubles Différences, Variables Instrumentales, Regression
Discontinuity Design).
Ces méthodes quasi expérimentales (non aléatoires) peuvent être employées pour effectuer une
évaluation quand il n’est pas possible de constituer les groupes cible et de comparaison par une
conception expérimentale. Ces techniques produisent les groupes de comparaison qui ressemblent au
groupe cible, au moins dans des caractéristiques observées, par des méthodologies d’économétrie, qui
comprennent des méthodes correspondantes, des méthodes de différence doubles, des méthodes de
variables instrumentales et des comparaisons réflexives. Quand ces techniques sont employées, les
groupes de traitement et les groupes de comparaison sont d’habitude choisis après l’intervention en
employant des méthodes non aléatoires. Donc, des contrôles statistiques doivent être appliqués pour
traiter des différences entre les groupes cibles et les groupes de comparaison et des techniques de
correspondance sophistiquées doivent être utilisés pour constituer un groupe de comparaison qui est
aussi semblable que possible au groupe cible. Dans certains cas un groupe de comparaison est aussi
sélectionné avant le traitement, bien que la sélection ne soit pas aléatoire.
L’avantage principal des conceptions quasi-expérimentales est qu’elles peuvent partir de sources de
données existantes et sont ainsi souvent plus rapides et peu coûteuses à mettre en œuvre et elles
peuvent être exécutées après qu’un programme ait été mis en œuvre, compte tenu des données
existantes suffisantes. Les principaux inconvénients des techniques quasi expérimentales sont :
- la fiabilité des résultats est souvent réduite puisque la méthodologie est statistiquement
moins rigoureuse ;
- les méthodes peuvent être statistiquement complexes ; et
- il y a un problème de sélection biaisée.
En créant un groupe de comparaison plutôt que d’en choisir un aléatoirement, beaucoup de facteurs
peuvent affecter la fiabilité des résultats. La complexité statistique exige l’expertise considérable dans la
conception de l’évaluation et dans l’analyse et l’interprétation des résultats. Cela ne peut pas toujours
être possible, particulièrement dans certaines circonstances des pays en voie de développement.
47
Evaluation d’impact de programmes/projets de développement
Le troisième problème de distorsion de choix tient au fait que les sous-groupes d’une population cible
participe différemment à un programme, affectant ainsi l’échantillon et en fin de compte les résultats. Il y
a deux types de sélection biaisée : ceux en raison des différences observables ou autre dans les
données et ceux en raison des différences non observables (pas dans les données), souvent appelées
sélection biaisée. Une sélection biaisée observable pourrait comprendre les critères de choix par
lesquels un individu est identifié, comme l’emplacement géographique, la scolarisation ou la
participation au marché du travail. Les éléments non observables qui peuvent biaisé les résultats de
programme pourraient inclure la capacité individuelle, l’empressement à travailler, des rapports de
famille et un processus subjectif de choix (souvent politiquement orienté) des individus pour un
programme.
Les deux types de distorsion de sélection peuvent engendrer des résultats imprécis, comprenant une
sous estimation et surestimation d’impacts réels de programme d’impacts négatifs, quand les impacts
réels de programme sont positifs (et vice versa) et des impacts statistiquement insignifiants quand des
impacts réels de programme sont significatifs et vice versa.
Il est possible de maîtriser le biais par des techniques statistiques comme la combinaison, et les
variables instrumentales, mais il est très difficile de les corriger entièrement ce qui reste un défi principal
pour des chercheurs dans le domaine d’analyse d’impact.
Parmi les techniques de conception quasi-expérimentale, les techniques de combinaisons mixtes sont
généralement considérées comme une seconde meilleure alternative de la conception expérimentale.
La majorité de la littérature sur la méthodologie d’évaluation est centrée sur l’utilisation de ce type
d’évaluation, reflétant tant la fréquence d’utilisation des groupes de comparaison que les nombreux
défis posés par le fait d’avoir des groupes de comparaison moins meilleurs.
Depuis la fin des années 90, certains économistes du développement (notamment Michael Kremer,
Esther Duflo, Abhijit Barnerjee…) ont développé des outils pour appréhender les faits des politiques
économiques. Ils ont propulsé la théorie de la randomisation (évaluation aléatoire) et insistent sur les
micro-projets comme stratégie de développement efficace quand on s'y prend rationnellement.
Selon Shanta Devarajan : La randomisation (ou application par répartition aléatoire) des programmes
d’aide est actuellement considérée comme la « règle d’or » permettant d’évaluer l’impact de chaque
projet et de trouver les schémas d’intervention les plus efficaces possible.
Esther Duflo : La randomisation est une méthode qui est utilisée pour essayer d’évaluer l’impact d’un
programme ou d’un projet dans des domaines tels que l’éducation, la santé, la corruption, le crédit, etc.,
.
Le principe général: s’approcher au mieux de la méthode de l’essai clinique. On compare des
personnes gens qui ont bénéficié d’un traitement et des gens qui n’en ont pas bénéficié. Cela suppose
que les personnes dans l’échantillon d’étude ont des similitudes).
L’objectif de l’expérience randomisée est de travailler avec les partenaires de terrain (ONG,
Gouvernements locaux, Compagnies privées etc.) qui veulent mettre en application un programme pour
construire des conditions où ceux qui bénéficient du programme soient entièrement comparables à ceux
qui n’en bénéficient pas dans un premier temps.
48
Evaluation d’impact de programmes/projets de développement
sur les 200 depuis le début, ce qui permet de comparer par exemple la scolarisation des enfants sur les
deux types de villages. Puis, en général, quand l’expérience est terminée, on construit des écoles
partout.
L’interet du recours a la randomisation est de pouvoir établir des relations de causalité déterministe ou
probabiliste lors d’une évaluation d’impact.
Exemple : En supposant qu’une seule variable soit suffisante pour causer un phénomène, alors
l’observation de cette caractéristique implique nécessairement le phénomène. D’autre part si on
observe le phénomène chez un individu, alors celui-ci possède la caractéristique. Le lien entre la
variable explicative et le phénomène apparaît comme un lien de causalité de nature déterministe.
Exemple. Le fait de recevoir une subvention pour un ménage, n’entraîne pas nécessairement la
scolarisation des enfants en âge d’aller à l’école. Un ménage n’ayant pas reçu la subvention, par
ailleurs, peut scolariser ses enfants.
La liaison entre le facteur et son effet est souvent exprimée par des mesures statistiques d’association,
comme la différence de probabilité de scolariser les enfants entre deux ménages ou l’écart moyen entre
les mesures d’une certaine variable dans les deux groupes.
Toutefois, ces mesures n’indiquent pas nécessairement une relation de cause à effet. Elles peuvent
seulement témoigner d’une relation statistique.
Avant qu’une association observée entre une politique (ou un traitement) et un résultat ne soit déclarée
causale, certaines précautions doivent être prises pour établir un tel jugement.
En particulier, il faut s’assurer que les groupes soient comparables par rapport à toute caractéristique
des sujets (âge, genre, etc.) qui peut influencer l’association. Seul le traitement doit faire la différence.
49
Evaluation d’impact de programmes/projets de développement
Module 7 : Méthodes et outils de collecte et
d’analyse de données
1. Rappel des principes de l’enquête par questionnaire
2. Concevoir le questionnaire d’évaluation
3. Traitements et analyse des données collectées
4. Présentation et valorisation des résultats d’une évaluation d’impact
50
Evaluation d’impact de programmes/projets de développement
Chapitre I : Rappel des principes de l’enquête par questionnaire
Toute enquête, qu’elle soit réalisée dans le cadre d’une étude quantitative ou qualitative, est organisée
autour de quatre stades :
- la définition des objectifs, et la détermination de l’échantillon ;
- l’élaboration et la diffusion du questionnaire ;
- la collecte des données ;
- les traitements, analyses et diffusion des résultats.
Pour être fiable et efficace, une enquête doit être menée avec précaution. Il est donc nécessaire de
déterminer les objectifs de l’étude avant de définir sa mise en œuvre. La première phase d’une étude
consiste ainsi à définir précisément le problème qui doit être traité.
Afin de tirer le meilleur profit des résultats de l’étude, il est indispensable de savoir ce que l’on
recherche. Connaître les données dont on a besoin permet de concevoir un instrument capable de les
produire. C’est donc grâce à la détermination préalable des objectifs de l’enquête que des moyens
appropriés pourront être définis.
Dans le cadre d’un sondage, la réalisation de l’étude s’effectue sur une partie de la population appelée
échantillon. Mais la détermination de l’échantillon doit être calculée afin de fournir des informations et
des résultats cohérents avec ceux qui seraient obtenus si toute la population était interrogée. Il faut
donc d’abord définir la population mère pour être en mesure de déterminer un échantillon fiable et
représentatif.
C’est tout le problème de l’échantillonnage qui consiste à se poser plusieurs questions : qui interroger ?
Combien de personnes ? quel échantillon retenir et comment le sélectionner (échantillon représentatif
ou non, tirage aléatoire ou respect de quotas) ? Dans quelle mesure les résultats de cet échantillon
seront-ils fiables et représenteront-ils l’opinion de la population de base ?
Même si les contraintes budgétaires et les techniques employées fournissent des éléments de
réponses, la théorie des sondages nous apporte des enseignements précis fondés sur des hypothèses
contraignantes concernant la sélection des échantillons. Néanmoins, le savoir-faire et l’expérience
guident fortement pour déterminer l’échantillon à interroger.
Lorsque les objectifs de l’étude et l’échantillon à interroger sont fixés, il s’agit de définir les moyens mis
en œuvre pour l’étude. Si l’on envisage que l’enquête sera la méthode d’observation et de recueil des
informations, on doit alors opter pour une technique d’enquête. Celles-ci sont très diversifiées. La phase
d’élaboration du questionnaire consiste à :
- rédiger toutes les questions du questionnaire ;
- organiser et structurer le questionnaire ;
- mettre en page et diffuser le formulaire.
51
Evaluation d’impact de programmes/projets de développement
Le questionnaire est donc destiné à capter, dans la population interrogée, les éléments de réponses
aux questions que l’on se pose. Il a alors deux objectifs : provoquer une réaction chez les interviewés et
servir de support à l’interviewer qui pourra y enregistrer ses informations de façon complète et précise.
1.4- Le pré-test
La phase de conception d’un questionnaire s’achève en général par le test d’une enquête pilote qui
permet de valider, sur un nombre restreint de personnes, les choix effectués dans le cadre de l’étude.
Ce test permet de découvrir si le protocole d’étude est réaliste, si le contenu et la forme des questions
sont adaptés aux objectifs de l’étude. C’est aussi souvent l’occasion de découvrir des erreurs grossières
et des oublis, ou encore de vérifier la nécessité de chaque question posée et d’écarter éventuellement
celles qui ne permettent pas de répondre directement aux objectifs de l’étude. Le test d’une enquête
présente donc l’intérêt de rechercher la meilleure adaptation entre les objectifs de l’étude, les moyens
alloués et les méthodes choisies.
But :
• Collecter les données sur le terrain
• Analyser les données collectées
Sans données pertinentes, il est impossible d’établir des rapports entre un projet et ses résultats. En
outre, les méthodes de collecte doivent être choisies en fonction de la nature des données nécessaires
et des sources accessibles. La nature des données dépendra elle-même de la méthode d’évaluation
adoptée, des indicateurs utilisés pour obtenir les résultats et du type d’analyse à faire.
Les données collectées pendant une mission d’évaluation peuvent être classées en plusieurs
catégories :
Données quantitatives: Ce sont des observations numériques
Données qualitatives: Elles consistent en des observations correspondant à des catégories,
des attitudes et des perceptions personnelles
Données objectives: Elles sont fondées sur des faits observables qui ne font pas appel au
jugement personnel.
Données longitudinales: Elles sont recueillies sur une certaine période (pendant un an ou deux)
Données transversales: Elles sont recueillies simultanément auprès de différentes entités.
Données primaires: Elles sont recueillies par l’évaluateur à la source même (sur le terrain).
Données secondaires: Elles sont recueillies et consignées par une autre personne ou une autre
organisation, parfois à des fins différentes de celles de l’évaluation
52
Evaluation d’impact de programmes/projets de développement
Tableau des méthodes de collecte de données
Méthodes Caractéristiques
Consultation de rapports, de documents de planification, de publications.
Recherche Etude de dossiers concernant le projet ou le programme, analyse des études
documentaire de faisabilité du projet, lecture des rapports d’étapes, et des évaluations
antérieurs, etc.
Rencs
Consultations
53
Evaluation d’impact de programmes/projets de développement
Le tableau suivant présente les principales techniques d’analyse de données utilisées dans le cadre
d’une évaluation de projet :
Techniques Caractéristiques
Manipulation de données quantitatives et qualitatives pour générer
Analyse statistique des résultats. Présentation des résultats sous forme de tableaux
statistiques concis.
Analyse non statistique Analyse de données quantitatives
Ces analyses procurent une information sommaire sur la valeur de
l’investissement réalisé.
Dans l’analyse coût/avantage, on compare les résultats
Analyse coût/avantage et transformés en avantages monétaires aux coûts de
analyse coût/efficacité l’investissement réalisé.
Dans l’analyse coût/efficacité, on compare les résultats aux coûts,
sans les transformer en avantages monétaires
Travail à faire:
- Interpréter les données
- Rédiger les rapports
- Faire des recommandations
- Diffuser le rapport et suivre les décisions prises
En général, les principales parties d'un rapport d'évaluation peuvent être présentées de la manière
suivante:
• Le résumé du rapport
• Le texte principal du rapport
• Les conclusions et recommandations de l’évaluateur
• Les annexes
a- Le résumé du rapport
54
Evaluation d’impact de programmes/projets de développement
• Les outils et les méthodes de collecte ;
• Les résultats obtenus ;
• Les principales conclusions et leçons ;
• Les recommandations spécifiques.
NB : Tous ces éléments devront être développés dans le texte principal
Le texte principal d’un rapport d’évaluation peut commencer par une introduction décrivant le projet
faisant l’objet de l’évaluation et les objectifs de l'évaluation. Après l’introduction, il est surtout essentiel
que le corps du texte du rapport suivent au plus près les axes d'évaluation retenus dans les termes de
références, en décrivant les faits, en les interprétant et en les analysant par rapport aux questionnaire
d’enquête.
Les conclusions et recommandation d’un rapport d’évaluation sont d’une grande importance, car elles
permettent d’orienter la prise de décision du destinataire du rapport. C’est pourquoi doivent faire l’objet
d'un chapitre final distinct. Dans la mesure du possible, pour chaque conclusion il devrait y avoir une
recommandation correspondante.
55
Evaluation d’impact de programmes/projets de développement
Bibliographie
1. Boy J., Dudeck C., Kuschel, S., Management de projet – Fondement, méthodes, et techniques,
Paris, De Boeck Université s.a. 2000
2. Project Management Institut, A Guide to the project Management Body of Knowledge
(PMBOK), Upper Darby, Pa, Project Management Institut, 1996
3. Genest, B. A., Nguyen T. H., Principes et techniques de la gestion de projets, 2è édition, Laval
(Québec), Sigma Delta, 1995
4. "Les Secrets de la Conduite de Projet": Alain Fernandez, Editions d’Organisation, Paris 2003
5. "Managent des projets : Réalisation et Suivi du projet", Dominique Jaccard, Ecole d’Ingénieurs
du Canton de Vaud, 2002
6. "Suivi et Evaluation", G. Rubio, G. Prennushi, et K. Subbarao
7. "Evaluating the Poverty Impact of Projects": A Handbook for Practitioners” (Evaluer l'impact des
projets sur la pauvreté : un manuel destiné aux praticiens). Région Amérique latine et caraïbe
et Réseau de réduction de la pauvreté et de gestion économique, division pauvreté. Judy
Baker, Banque mondiale, Washington, D.C., 1999
8. "L’Informateur, les Cahiers didactiques en management public", Yves Poulin, Gestion de
projets, Fevrier 1999.
9. "Manuel de Gestion du cycle de projet: approche intégrée et cadre logique", Commission des
Communautés Européennes, Bruxelles, 1993.
10. "Cheminement d'une action de développement: de l'identification à l'action", Étienne Beaudoux
; Geneviève de Crombrugghe ; Francis Douxchamps ; Marie-Christine Gueneau ; Nieuwkerk ;
Paris, L'Harmattan, 1992 ; Chapitre [Link] de l’impact des projets de Développement sur
la pauvreté. Manuel à l’attention des Praticiens, Judy L. Baker, mai 2000.
11. Evaluation des politiques publiques, les notes du Conseil d’Analyse Economique n°1, Conseil
d’Analyse Economique, févriers 2013
56
Evaluation d’impact de programmes/projets de développement