suivre

Choisir

et évaluer
ce qu’il faut
Module

Pour une gestion orientée vers l'impact

5

Guide pratique de S&E des projets

 Table des matières du module 5
5.1 Choisir ce qu’il faut suivre et évaluer – présentation générale 3
5.1.1 Avoir présents à l’esprit les différents besoins d’information 4
5.1.2 Utilité de la matrice de S&E 4
5.1.3 Questions et indicateurs de performance 5
5.1.4 Comparer pour apprécier les changements 6
5.1.5 Actualiser les besoins d’information et les indicateurs 6
5.2 Déterminer ce que vous avez besoin de savoir 7
5.2.1 L’information pour et avec les différents acteurs 7
5.2.2 Le S&E pour les différents niveaux de la hiérarchie des objectifs 8
5.2.3 Les cinq questions clés 8
5.2.4 Être attentif aux préoccupations transversales 9
5.2.5 Ne pas oublier l’information opérationnelle 10
5.2.6 Suivre la qualité de l’intervention et son contexte afin d’expliquer les avancées du projet 10
5.2.7 Être à l’affût des effets imprévus 11
5.2.8 Le principe “trop d’information tue l’information” 12
5.3 Utiliser la matrice de S&E pour une planification détaillée 13
5.4. Se faire guider par les questions relatives à la performance 16
5.4.1 Qu’est-ce qu’une question relative à la performance? 16
5.4.2 Comment utiliser les questions relatives à la performance 17
5.5. Se concentrer sur l’information clé et sur les indicateurs appropriés 19
5.5.1 Besoin d’information pour repérer les changements 19
5.5.2 Les différents types d’indicateurs 21
5.5.3 Formuler un indicateur clair 22
5.5.4. Travailler avec des informations et des indicateurs qualitatifs 24
5.5.5. Vérifier la qualité des indicateurs 26
5.5.6. Identification participative des indicateurs (d’impact) 27
5.6. Possibilité de faire des comparaisons et rôle de l’information de référence 30
5.6.1 Nécessité d’une base de comparaison 30
5.6.2 Options pour permettre une analyse comparative 31
5.6.3 Préparer et utiliser votre information de référence 32
5.6.4. Alternatives possibles aux enquêtes de référence de type courant 33
5.7. Actualiser vos besoins d’information et vos indicateurs 35
Lectures complémentaires 36
Idées clés
• Pour obtenir un suivi-évaluation efficace, il faut d’abord
savoir quelle est l’information nécessaire, à qui et pour en faire
quoi.
• Pour pouvoir effectuer une gestion orientée vers l’impact, un système de S&E doit
Ce module doit permettre: permettre de suivre l’obtention des effets souhaités. Il doit aussi expliquer les
• aux responsables de projet – de superviser réussites et les échecs, et mettre en évidence les effets positifs ou négatifs imprévus.
la mise au point du système de S&E; • Vous aurez besoin d’informations qui vous aident à répondre à cinq types de
• aux agents de S&E – d’aider le personnel questions: pertinence, efficacité, efficience, impact et durabilité des actions du
chargé de mettre en œuvre le projet à: projet. N’oubliez pas de rechercher les informations qui vous aideront à savoir si le
formuler les questions relatives à la projet renforce l’égalité hommes-femmes et s’il sert au mieux les intérêts des
performance de manière à orienter groupes marginaux.
l’analyse des données, définir d’un • Efforcez-vous de ne recueillir que des informations qui sont réellement utilisées.
commun accord ce qu’il faut suivre et Évitez le piège fréquent qui consiste à rassembler trop de données de qualité
évaluer, et préciser qui doit faire quoi et limitée et à ne pas les analyser. Moins de données peuvent conduire à davantage
selon quel calendrier pour assurer le bon d’informations utiles.
fonctionnement du système d’informa-
tion; • Remplissez, en utilisant les six étapes indiquées, une matrice de S&E qui vous
fournira les éléments détaillés nécessaires pour mettre en œuvre votre système de
• aux consultants – d’aider le personnel de S&E.
S&E dans la mise au point de méca-
nismes de suivi appropriés et lors des
• Les enquêtes de référence – ou les autres procédés utilisés pour connaître la
révisions et mises à jour du système de situation de départ – doivent recevoir une attention particulière, car elles vous
S&E. permettront d’apprécier les changements intervenus.
• À mesure que le projet avance, il vous faudra revoir vos besoins d’information et
vos indicateurs. Tenez compte des nouveaux besoins d’information.

5-2
 GUIDE PRATIQUE DE S &E DES PRO JETS MODULE 5

5.1 Choisir ce qu’il faut suivre et évaluer – présentation

générale
Vous est-il déjà arrivé de vous apercevoir sur une route, en pleine vitesse, que vous ne vous dirigiez
pas dans la bonne direction? C’est ce qu’a vécu une coopérative chilienne dont les indicateurs de
suivi n’étaient pas pertinents 1.

Malgré plusieurs années de dur labeur, cette coopérative s’est retrouvée en décembre 1998 dans
l’impossibilité de rembourser l’un de ses emprunts. Sa structure était devenue trop lourde et ses
recettes ne suffisaient pas à couvrir ses dépenses de fonctionnement et autres. Elle employait
11 personnes pour seulement 100 hectares de cultures légumières.

Depuis 1994, elle avait réussi à organiser un grand nombre de petits agriculteurs avec peu de
soutien extérieur. Elle était pourvue d’une direction compétente, avait une bonne connaissance des
contraintes du marché et une vision claire de la façon de les surmonter. Elle bénéficiait de la
confiance de toutes les parties, y compris de l’Institut national de développement agricole (INDAP),
et se développait rapidement grâce à de plus gros emprunts et à de nouveaux dons. Les résultats
obtenus grâce aux premiers investissements étant considérés comme une preuve suffisante que
cette coopérative était viable, l’analyse critique des perspectives s’était de plus en plus relâchée.

Le suivi se limitait à relever les réalisations physiques: entrepôt plus vaste, systèmes d’irrigation
installés dans des exploitations, nouveaux camions, production supplémentaire, etc. On s’est peu
intéressé aux résultats économiques et financiers de ces investissements, et moins encore à leur
durabilité. “Nous n’avons jamais eu de méthode pour suivre le processus, nous suivions les
mauvais indicateurs, nous ne posions pas les bonnes questions et nous avions une vision beaucoup
trop limitée” déclare un membre de l’INDAP qui ajoute “à mon avis, la même chose s’est produite
dans la coopérative”. Un autre conseiller extérieur qui connaissait bien la situation a fait la
remarque suivante: “ils étaient comme deux aveugles [l’INDAP et la coopérative] au volant d’un
véhicule rapide”.

Pour parvenir là où vous le souhaitez, vous devez savoir quelles informations rechercher de façon à
orienter le parcours. Si vous ne posez pas les bonnes questions, vous n’aurez pas les réponses utiles.
Mais l’éventail des questions à se poser est large. Comment savoir ce qu’il faut choisir et qui il faut
associer au processus? Quel poids donner aux analyses d’impact et au suivi des dépenses opération-
nelles? Ainsi, au moment de préciser dans le détail ce qu’il faut suivre, documenter et analyser, les
acteurs et partenaires du projet se trouvent face à de nombreux choix.

1 Berdegué, J. 2001. Cooperating to Compete. Associative Peasant Business Firms in Chile. Thèse de doctorat publiée. Wageningen. Université
et centre de recherche de Wageningen. 5-3
 GUIDE PRATIQUE DE S &E DES PRO JETS MODULE 5

5.1.1 Avoir présents à l’esprit les différents besoins d’information

Pour décider des informations qu’il faudra retenir pour le S&E gardez présents à l’esprit les points
suivants:

1. Déterminez les besoins d’information des différents acteurs avec eux. Ne prenez pas seulement
en considération les besoins d’information des responsables du projet.

2. Assurez-vous d’inclure les informations qui vous permettent de répondre aux cinq questions de
base de l’évaluation (pertinence, efficacité, efficience, impact et durabilité).

3. Prenez en compte les informations qui vous aideront à déterminer si le projet traite bien les ques-
tions transversales telles que la qualité de la participation, l’équilibre des impacts sur les hommes
et les femmes, l’effet sur les plus pauvres.

4. N’oubliez pas d’inclure des informations à rechercher à chaque niveau de la hiérarchie des objec-
tifs: objectif général, objectifs spécifiques, réalisations et activités. Vous pourrez ainsi répondre
plus facilement aux cinq questions de l’évaluation (voir point 2).

5. Prévoyez suffisamment d’informations opérationnelles pour pouvoir déterminer si vos ressources

sont utilisées de façon optimale et si les opérations sont de bonne qualité.

6. Recherchez les informations qui peuvent vous aider non seulement à vérifier l’atteinte ou non
des objectifs mais surtout, à expliquer les résultats obtenus. Ce n’est qu’en sachant pourquoi il
se passe ou non quelque chose que vous serez en mesure de décider des mesures d’ajustement à
engager.

7. Soyez à l’affût des effets imprévus. Surveiller les informations relatives à la hiérarchie des objec-
tifs vous permettra seulement de vous tenir à jour sur ce que vous souhaitez réaliser. Recherchez
les impacts positifs et négatifs imprévus de façon à pouvoir prendre les mesures correctives néces-
saires.

8. Enfin et surtout, suivez le principe “trop d’information tue l’information”. Ne prenez en comp-
te une information que s’il est avéré que quelqu’un au sein du projet s’en servira pour améliorer
l’impact. Révisez régulièrement votre liste des besoins d’information afin de supprimer tout ce
qui ne paraît pas essentiel à la gestion de l’impact.

5.1.2 Utilité de la matrice de S&E

La méthode du cadre logique (MCL) que tous les projets du FIDA doivent appliquer ne fournit pas
d’indications détaillées sur les paramètres utiles à suivre. La matrice classique n’offre pas assez
d’espace pour faire figurer des observations détaillées sur le S&E. Deux colonnes seulement sont
proposées pour résumer le S&E: la colonne “indicateurs” et la colonne “moyens de vérification”
(voir module 4). Ce n’est pas suffisant pour permettre la mise en œuvre du S&E.

Pour rendre le S&E opérationnel, vous avez besoin de beaucoup plus de détails. Ceux-ci peuvent
être résumés dans une “matrice de S&E”, contenant les informations suivantes:

• Questions relatives à la performance;

• Besoins d’information et indicateurs;

• Exigences en informations de référence, nature et responsabilités.

• Méthodes de collecte des données, fréquence et responsabilités;

• Besoins en formulaires, organisation, formation, gestion des données, compétences, ressources et

responsabilités;

• Procédures et responsabilités pour l’analyse des données, l’établissement des rapports, la restitu-
tion de l’information et la mise en œuvre des mesures correctives.

5-4
GUIDE PRATIQUE DE S &E DES PRO JETS MODULE 5

Pour déterminer le niveau de détail auquel vous devez arriver prenez comme règle de base: “si chacun
sait ce qu’il doit faire, quand, pourquoi et pour qui, alors le niveau de détail est suffisant”. Jusqu’à ce
que vous arriviez à ce résultat, continuez à approfondir le sujet avec les personnes qualifiées.

L’établissement de la matrice de S&E après le démarrage du projet comporte six étapes:

1. Identifier les questions relatives à la performance.

2. Recenser les besoins en information et définir les indicateurs.

3. Déterminer les données de références dont vous avez besoin.

4. Sélectionner les méthodes de collecte de données à utiliser, par qui et avec quelle fréquence.

5. Déterminer les moyens pratiques nécessaires pour la collecte de l’information.

6. Organiser l’analyse des données, la restitution des informations et l’utilisation des résultats pour
améliorer le projet.

Le reste du module explique en détail comment utiliser la matrice de S&E. On trouve à l’annexe C
un exemple de matrice de S&E basée sur le cadre logique figurant à l’annexe B.

5.1.3 Questions et indicateurs de performance

Il n’est pas rare qu’après avoir bien détaillé les objectifs dans la matrice du cadre logique on passe
directement à l’énoncé des indicateurs. Il en résulte une série de problèmes car les gens se noient
dans les détails avant de s’être mis d’accord sur les raisons pour lesquelles les indicateurs qu’ils
proposent présentent un intérêt et sur la façon dont ils pourront aider la prise de décision.

Le fait de repérer les questions relatives à la performance à chaque niveau de la hiérarchie des
objectifs (voir point 2, sous 5.1.2 ci-dessus) avant de définir en détail les indicateurs vous permet
d’orienter la collecte d’informations sur ce qui fera vraiment progresser la compréhension et
améliorera la performance du projet. Les questions relatives à la performance sont très utiles pour
les projets qui cherchent à innover sur la façon de procéder en matière de développement. Par
exemple, le projet FODESA au Mali sous-traite toutes les activités. Il lui faut apprendre la façon de
mettre en œuvre correctement cette procédure et donc surveiller la qualité du processus et pas
seulement les réalisations.

Les questions relatives à la performance vous permettent de commencer à recenser les informations
dont vous avez besoin. Il peut s’agir d’indicateurs et, éventuellement, d’informations de référence
supplémentaires qui vous aideront à interpréter les informations fournies par les indicateurs.
Attention, ces derniers ne donneront jamais qu’une vue partielle de la situation. Ils représentent
une simplification ou une approximation d’une situation donnée. Un indicateur ne fait que mettre
en évidence des changements qui sont en général plus complexes.

Pratiquement n’importe quel sujet devant faire l’objet d’un suivi peut être évalué à l’aide d’indica-
teurs quantitatifs ou qualitatifs. De nombreux indicateurs sont exprimés au moyen d’adjectifs, dont
les plus courants sont les suivants: réussi, adapté, équitable, de qualité, effectif, participatif,
renforcé, performant. Lorsque vous utilisez des adjectifs, assurez-vous que toutes les personnes inté-
ressées sont d’accord sur leur signification.

En recourant à des indicateurs pour évaluer l’impact, vous essayez de caractériser globalement une
réalité qui est en fait composée de différents éléments. Un projet cherche en général à apprécier
l’impact qu’il a sur la “qualité de vie” ou “la réduction de la pauvreté”. Or, chaque composante du
projet apporte sa propre contribution: les activités dans le domaine de la santé ont réduit la
morbidité/mortalité, le développement agricole a contribué à augmenter les rendements et les
revenus, l’alphabétisation fonctionnelle a renforcé l’estime de soi, etc. Par conséquent un indica-
teur, ou même plusieurs, ne suffira pas à expliquer les changements. Lorsqu’il s’agit d’évaluer
l’impact, une analyse descriptive permet souvent de mieux appréhender les évolutions d’ensemble
que des indicateurs isolés.

5-5
 GUIDE PRATIQUE DE S &E DES PRO JETS MODULE 5

5.1.4 Comparer pour apprécier les changements

L’une de vos premières tâches concrètes, en tant que directeur de projet ou coordinateur de l’unité
de S&E, sera souvent d’établir une base de référence. Pour pouvoir constater un changement, il faut
un point de comparaison. Vous disposez de deux options, comportant chacune ses avantages et ses
inconvénients selon les cas, mais qui sont souvent complémentaires et toutes deux nécessaires
pour une appréciation fiable de l’impact attribuable au projet:

1. Comparer la situation “avant projet”, par exemple d’une communauté, d’une catégorie de
ménages ou d’une organisation, avec celle observée “avec projet”. Cela implique la répétition
dans le temps d’enquêtes comparables, avant et après le démarrage de l’action.

2. Comparer la situation “sans projet” avec la situation “avec projet” à un moment donné. Cela
nécessite de mener une enquête sur deux échantillons de personnes ou de communautés ana-
logues et dans la même zone, l’un ayant participé au projet (échantillon de bénéficiaires) et
l’autre non (échantillon témoin).

Dans la pratique ces deux types de comparaison sont souvent nécessaires pour pouvoir apprécier
non seulement des différences de situations (situation avant projet/avec projet, ou situation sans
projet/avec projet) mais aussi et surtout des différences dans des changements de situation (chan-
gement intervenu sans projet/changement intervenu avec projet). C’est notamment le cas quand
des facteurs externes au projet exercent une forte influence sur la situation des populations (condi-
tions climatiques, évolution des prix, changements de politiques, etc.) et qu’il faut donc chercher à
“isoler” l’effet spécifique du projet.

Pour obtenir la situation de référence “avant projet”, ou plus précisément juste avant le démarrage
de son action sur le terrain, il y a deux possibilités: i) mener une enquête de base et/ou utiliser les
données existantes pour l’année de démarrage du projet (“année 0”) sur l’ensemble de la zone d’in-
tervention prévue, mais sans savoir quels villages participeront ou non au projet et à partir de
quand (dans ce cas l’échantillon de villages ou ménages enquêtés devra être assez large), ou,
ii) mener des enquêtes-diagnostic dans les villages ou dans les départements au fur et à mesure
qu’ils “entrent” dans le projet. Dans ce deuxième cas on aura une enquête de référence “avant
projet” pour chaque “génération” de villages participants, donc une situation de référence plus
exacte. Par contre il sera plus difficile d’établir un échantillon témoin. Le choix de la méthode
dépendra de la nature du projet, de sa stratégie de mise en œuvre et des indicateurs retenus.

5.1.5 Actualiser les besoins d’information et les indicateurs

Un bon système de S&E est un système qui évolue dans le temps. À mesure que le projet avance,
les activités changent, les groupes évoluent et on comprend de mieux en mieux quelles sont les
informations utiles. Prévoyez donc une révision régulière de la liste des informations et des indica-
teurs nécessaires.

5-6
 GUIDE PRATIQUE DE S &E DES PRO JETS MODULE 5

5.2 Déterminer ce que vous avez besoin de savoir

5.2.1 L’information pour et avec les différents acteurs

Pour décider de ce que vous avez besoin de savoir, commencez par essayer de comprendre les
besoins d’information des différents acteurs concernés par le projet. Cela exige d’effectuer avec eux
l’analyse des informations dont ils ont besoin, soit en leur demandant d’établir leurs propres listes,
soit en révisant avec eux une liste qui leur est proposée. Chaque acteur aura tendance à axer ses
demandes en matière de S&E sur les domaines qui l’intéressent directement (voir tableau 5-1). Le
fait d’associer différents acteurs à l’identification des informations à suivre est aussi de nature à
améliorer les chances de celles-ci d’être utilisées.

Tableau 5-1. Exemples d’indicateurs demandés par différents acteurs dans un projet de vulgarisation “de paysan
à paysan” au Mexique 2

Bailleurs de fonds Agents de vulgarisation et conseillers techniques Agriculteurs

• Possibilités d’acquérir des • Appropriation du projet • Maîtrise de l’érosion

connaissances • Vulgarisation indirecte (nombre de parcelles • Nutrition et vitamines
• Conditions agroclima- expérimentales) • Rendements
tiques rencontrées • Impact des ateliers de formation • Qualité des productions agricoles
• Zones marginales • Changements dans le revenu et/ou le patrimoine • Travail, intrants
• Extension de l’impact par rapport à d’autres groupes
• Variété de la production agricole
• Constitution d’alliances • Efficacité à faire valoir le savoir-faire technique au (diversification)
et/ou de réseaux niveau local
• Revenu
• Sensibilisation aux • Changements dans les comportements
problèmes de la santé et • Facilité d’exécution des travaux agricoles
• Rendements
de l’équité hommes- • Travailler ensemble en tant que groupe
femmes • Acquisition de connaissances
• Génération d’un revenu indépendant
• Vision et appui à l’échelon • Persévérance
• Éviter de susciter les critiques des autres
local • Pérennité des résultats
• Confiance en soi
• [Travail avec] les popula- • Dévouement des agents de vulgarisation
tions indigènes • Diminution de l’exode
• Simplicité requise dans le langage et le
• Aptitude à parler la maniement des techniques • Création d’emplois
langue des paysans • Inculquer quelque chose d’utile, de pratique

Faites la liste de tous les acteurs concernés et organisez des réunions avec ces derniers afin de
définir leurs besoins d’information (voir encadré 5-1). Sachez que les besoins d’information ne
peuvent pas tous être prévus à l’avance. À mesure que le projet progresse et que les acteurs en
acquièrent une vision plus claire et une meilleure compréhension, il faudra les revoir avec eux.

L’unité de S&E du projet peut être amenée à coordonner la circulation de l’information pour
assurer que les différents éléments d’information se complètent (sans faire double emploi) et
organiser l’accès de chacun aux données et aux analyses de tous. Pour plus de détails sur l’élabora-
tion de la stratégie de communication du S&E, voir le module 6.

Encadré 5-1. Zimbabwe – Rassembler les idées avant de choisir des indicateurs

Dans un projet de développement de l’irrigation au Zimbabwe, lors de la révision du cadre logique, une première série d’indicateurs avait
été constituée par les personnels et les consultants du projet à l’occasion de visites dans les périmètres irrigués et au cours de discussions
avec des agriculteurs et des agricultrices, des responsables de district et des agents de vulgarisation. Pour affiner cette série d’indicateurs,
deux ateliers d’une journée et demie ont été organisés avec une quarantaine de participants chacun. Des explications ont d’abord été
fournies aux participants sur la conception et la justification du suivi du projet. Les réalisations attendues du projet et les indicateurs identifiés
ont été présentés aux participants. Les indicateurs relatifs aux périmètres irrigués ont été affinés avec les agriculteurs. Les indicateurs institu-
tionnels ont été affinés au cours d’entretiens avec les responsables du projet. Les relations institutionnelles et les attributions/rôles respectifs
en ce qui concerne le suivi au niveau du périmètre irrigué, au niveau du district et au niveau national ont également été traités.

2 Blauert, J. et Quintanar, E. 2000. “Seeking Local Indicators: Participatory Stakeholder Evaluation of Farmer-to-Farmer Projects, Mexico”.
In: M. Estrella (éd.), Learning from Change: Issues and Experiences in Participatory Monitoring and Evaluation. Londres: Intermediate Technology
Publications, p. 32 à 49. 5-7
 GUIDE PRATIQUE DE S &E DES PRO JETS MODULE 5

5.2.2 Le S&E pour les différents niveaux de la hiérarchie des objectifs

Commencez par déterminer vos besoins d’information par rapport à la hiérarchie des objectifs. A
chaque niveau de la hiérarchie des objectifs (objectif général, objectif spécifique, réalisations et
activités) correspondent des questions relatives à la performance, et par conséquent des besoins
d’information spécifiques. En général, à mesure que vous vous élevez dans la hiérarchie des
objectifs et que vous passez des activités à l’objectif général, le S&E tend à se compliquer (voir
tableau 5-2). Par exemple, au niveau des activités et des réalisations, vous pouvez très facilement
savoir quelles activités ont été achevées et quels en ont été les produits directs. Il s’agit là d’infor-
mations opérationnelles. En revanche, il est plus difficile de déterminer les effets combinés de
plusieurs réalisations.

Au niveau de l’impact, pour évaluer dans quelle mesure un projet a réduit la pauvreté et amélioré
les moyens de subsistance des bénéficiaires, il faut déterminer soigneusement quelles questions
relatives à la performance et quels indicateurs seront appropriés. En général, à mesure que vous
remontez les niveaux de la hiérarchie des objectifs, vous jugerez probablement nécessaire de
combiner information qualitative et quantitative, vous affranchissant progressivement des seuls
indicateurs quantitatifs pour juger des avancées du projet.

Tableau 5-2. Des besoins d’information variables selon le niveau hiérarchique de l’objectif

Niveau dans la hiérarchie des objectifs Que faut-il suivre et évaluer?

Activités Les activités programmées ont-elles été menées à bien dans les délais et dans les limites du
budget? Quelles activités non programmées ont-elles été mises en œuvre?

Réalisations Quels sont les produits et services concrets directement obtenus par le projet comme résultat
des activités menées?
Objectif spécifique (composante) Quels ont été les changements induits par les réalisations et dans quelle mesure sont-ils
susceptibles de contribuer à la réalisation de l’objectif spécifique du projet et à son impact
souhaité?
Globalement, sur la durée du projet, celui-ci a-t-il permis de réaliser les changements que
l’on puisse lui imputer de façon réaliste?
Objectif général Dans quelle mesure le projet a-t-il contribué aux finalités de long terme qui lui avaient été
fixées? Quelles ont été les conséquences imprévues – positives ou négatives – du projet?
Quelles en sont les raisons?

5.2.3 Les cinq questions clés

Après avoir identifié les informations de base nécessaires pour savoir si le projet se déroule comme
prévu, vous serez peut-être amenés à ajouter des besoins d’information supplémentaires. Il vous
faut être sûr de pouvoir couvrir les cinq grands domaines de l’évaluation (voir 2.1), que nous
appellerons ici “les cinq questions clés”:

1. Pertinence – Le projet était-il/est-il une bonne idée étant donné la situation à améliorer? S’attaque-
t-il aux priorités du groupe cible? Pourquoi?

2. Efficacité – L’objectif spécifique a-t-il été atteint? Les réalisations et activités prévues dans les dif-
férentes composantes ont-elles abouti? Pourquoi? La logique de l’intervention est-elle correcte?
Pourquoi?

3. Efficience – Les moyens (en ressources et en temps) ont-ils été utilisés de manière optimale pour
obtenir les résultats? Pourquoi? Que pouvait-on faire autrement pour améliorer la mise en œuvre
et maximiser ainsi l’impact, moyennant un coût acceptable et soutenable?

4. Impact – Dans quelle mesure le projet a-t-il contribué à la réalisation de ses finalités à long terme
(lutte contre la pauvreté, etc.)? Pourquoi? Quelles ont été les conséquences imprévues – positives
ou négatives – du projet? Pourquoi se sont-elles produites?

5. Durabilité – Une fois achevé, le projet aura-t-il des impacts positifs persistants? Pourquoi?
5-8
GUIDE PRATIQUE DE S &E DES PRO JETS MODULE 5

Le S&E des opérations se concentrera sur les aspects d’“efficacité” et d’“efficience”. Les analyses
plus stratégiques, par exemple au cours des bilans annuels et des missions de supervision, s’intéres-
seront davantage aux aspects de “pertinence”, d’“impact” et de “durabilité”. Certains projets sont
également invités à apporter la preuve de leur rentabilité (voir encadré 5-2).

Encadré 5-2. Comprendre la rentabilité

De plus en plus, les projets sont invités à apporter la preuve de leur rentabilité. Cela signifie qu’ils doivent montrer combien ils ont dépensé
par “bien” ou par “service” obtenu. Par exemple, pour chaque personne fréquentant le nouveau dispensaire, combien le projet a-t-il
dépensé en termes de temps de personnel, de formation, de kilomètres parcourus et de matériaux de construction? Le calcul peut s’effectuer
en comparant les coûts réels du projet et les prévisions de dépenses initiales. Une autre méthode plus courante consiste à calculer les coûts
unitaires et à les comparer avec les coûts correspondants dans des projets analogues. L’analyse coût/efficacité devrait permettre d’obtenir des
bénéfices maximums au moindre coût unitaire possible de chaque bénéfice – quelle que soit la manière dont le bénéfice est défini.

En pratique, cependant, ce type de calcul se révèle difficile quand on travaille sur des aspects immatériels tels que le renforcement des orga-
nisations locales, la sensibilisation aux problèmes des femmes, le renforcement de la démocratie, etc. Il n’est pas aussi facile de comptabiliser
une unité supplémentaire de “démocratie” que de chiffrer l’augmentation de fréquentation d’un dispensaire. De plus, ce qui est considéré
comme une utilisation “efficace” des ressources dans un contexte peut apparaître comme un gaspillage ailleurs.

5.2.4 Être attentif aux préoccupations transversales

Beaucoup de projets appuyés par le FIDA s’efforcent d’encourager l’égalité hommes-femmes parallè-
lement à la réduction de la pauvreté. Pour pouvoir apprécier correctement les résultats obtenus en
ce qui concerne l’égalité entre hommes et femmes, vous aurez besoin d’un système de S&E qui
différencie les données en fonction du sexe de la personne bénéficiaire. Sinon, le projet aura le plus
grand mal à démontrer qu’il atteint ses objectifs dans des domaines sensibles aux aspects de genre
comme “l’augmentation du pouvoir d’achat” ou “l’amélioration de l’accès à la terre”. Il faudra
formuler des indicateurs qui permettent la collecte et l’analyse de données par sexe. Les études de
base et les enquêtes thématiques intermédiaires devront également tenir compte de la spécificité
des sexes.

Dans un projet mis en œuvre au Zimbabwe, lors d’ateliers de préparation du système de suivi, il y a
eu entre les participants des débats animés sur les moyens d’adopter une perspective prenant en
compte la problématique hommes-femmes. Les problèmes de genre sont d’une importance cruciale
pour la réussite d’un projet, vu la persistance des disparités entre hommes et femmes du point de
vue du droit foncier, de la division du travail, de l’accès aux bénéfices, etc. Pourtant, ils n’avaient
pas été expressément pris en compte dans les objectifs du projet. L’intérêt porté à la question de
l’égalité entre hommes et femmes dans le suivi des changements induits par le projet a permis de
mettre en évidence qu’il s’agissait d’un problème transversal concernant l’ensemble de l’interven-
tion.

Vos besoins d’informations spécifiques sur la problématique hommes-femmes seront en rapport

avec vos objectifs, les exemples suivants ne sont donc mentionnés que pour servir de points de
repère:

• incidence des retards de croissance parmi les garçons et les filles;

• nombre et type de ménages participant à des activités génératrices de revenus en rapport avec le
microcrédit, spécialement les familles pauvres et très pauvres dont le chef est une femme;

• nombre de garçons et de filles déscolarisés;

• nombre d’agriculteurs et d’agricultrices satisfaisant leurs besoins alimentaires de base, accroisse-

ment de x% à y% de la population cible à l’achèvement du programme;

• nombre de maladies liées à la malnutrition parmi les femmes/les hommes et parmi les filles/les
garçons, réduction de x à y à l’achèvement du programme.

5-9
 GUIDE PRATIQUE DE S &E DES PRO JETS MODULE 5

D’autres disparités sociales jugées importantes par le projet devront également faire l’objet d’un
suivi adapté. Au Népal, par exemple, un projet distinguera les bénéficiaires non seulement par sexe,
mais aussi par caste et par groupe ethnique. L’équipe chargée de la mise en œuvre du projet sera
ainsi mieux à même de déterminer si les groupes les plus vulnérables bénéficient des réalisations.

5.2.5 Ne pas oublier l’information opérationnelle

L’information servant à la gestion des opérations du projet est tout aussi importante pour la perfor-
mance globale que l’information sur les résultats en matière de stratégie. Le suivi de l’information
opérationnelle est simple dans la plupart des projets, en particulier parce que le suivi des aspects
physiques et financiers n’implique que des comptages. Cependant, pour ne pas perdre inutilement
du temps et de l’énergie, il y a intérêt à limiter ce type de suivi au strict nécessaire. Pour les
domaines clés de la gestion opérationnelle, le tableau 5-3 énumère les principales fonctions de
gestion et les besoins d’information correspondants.

Tableau 5-3. Domaines clés de la gestion opérationnelle, fonctions de gestion et besoins d’information
Domaine de la Principales fonctions de gestion Besoins d’information
gestion opérationnelle

Planification du travail • Programmation annuelle, trimestrielle et hebdoma- • Listes détaillées des activités, des sous-activités
et suivi des activités daire des activités et des tâches pour l’obtention des réalisations
• Affectation de ressources aux activités • Listes des ressources nécessaires par activité
• Vérification du déroulement des activités et réponses • Avancement des activités et des tâches
aux problèmes
Gestion financière • Affectation de ressources financières aux activités et • Information générale sur la gestion financière
aux tâches du projet
• Suivi budgétaire
• Révision des budgets en fonction des besoins
Gestion des installa- • Achat et entretien de l’équipement • Registre des éléments d’actif
tions, des bâtiments • Affectation des équipements • Utilisation des véhicules
et de l’équipement
• Calendrier, normes et responsabilités pour la
maintenance du matériel
Gestion du personnel • Élaborer et suivre les programmes de travail du • Emploi du temps du personnel
personnel
• Évaluation du personnel
Gestion des contrats • Établissement des contrats • Copies des contrats
• Suivi de l’exécution des contrats • Date d’achèvement des contrats
• Information sur la qualité d’exécution des
engagements contractuels

5.2.6 Suivre la qualité de l’intervention et son contexte afin d’expliquer les

avancées du projet

En Indonésie, le personnel d’un projet s’exprimait ainsi: “Nous avons besoin de comprendre le lien
entre l’avancement des réalisations physiques et le bénéfice retiré de celles-ci par les familles rurales
pauvres. Par exemple, nous ne savons pas quels sont les effets sur les pauvres quand les données de
suivi indiquent qu’il a été construit 50 km de routes de desserte sur les 100 km programmés. Nous
ne savons donc pas quels sont les progrès obtenus grâce à nos investissements. Avec nos indica-
teurs physiques actuels, nous ne pouvons pas saisir le lien entre l’investissement, l’activité, les réali-
sations et les améliorations effectives”.

Pour expliquer les progrès – et pas seulement mesurer la portée quantitative – vous pouvez:

5-10
GUIDE PRATIQUE DE S &E DES PRO JETS MODULE 5

• suivre la qualité du processus de mise en œuvre;

• utiliser des méthodes qualitatives qui permettent de demander aux gens leur opinion sur le pro-
cessus;

• tenir à jour votre connaissance du contexte dans lequel le projet mène ses opérations.

En tant que directeur de projet ou coordonnateur de l’unité de S&E, vous constaterez sans doute
qu’il faut beaucoup de temps pour suivre la mise en œuvre des moyens, le déroulement des
activités et les réalisations obtenues. C’est pourtant indispensable. De plus, l’exemple de la coopéra-
tive chilienne – mentionné au début de la section 5 – montre que cela n’est pas suffisant. Vous
aurez besoin de savoir pourquoi quelque chose fonctionne bien ou mal pour adapter l’orientation
stratégique et procéder aux ajustements nécessaires. Le simple fait de savoir que vous avez, par
exemple, construit 86% des routes dans les délais prévus ne vous dit pas si ces routes sont de
bonne qualité, si elles sont situées là où il faut, et si elles ont un impact en termes de réduction de
la pauvreté, ou si les capacités locales nécessaires à leur entretien ont été créées.

Prenons un exemple pratique pour comprendre la relation entre les réalisations attendues et un
suivi qui explique les avancées du projet. Bon nombre de projets appuyés par le FIDA visent à
“renforcer les capacités” ou à “mettre en place des institutions locales”. Les indicateurs couram-
ment utilisés pour ce type d’activités peuvent être: “le nombre de groupes de paysans constitués”
ou “le nombre de vulgarisateurs formés”. Cependant, cela ne vous dit rien sur la qualité du travail
ou sur son impact. Vous pourrez avoir contribué à la création d’une centaine de groupements de
petits paysans mais constater six mois après la première réunion qu’il n’y en a plus que 18 qui
fonctionnent encore. Vous devrez donc suivre, par exemple, la qualité du processus entrepris pour
mettre en place les groupes, afin d’être ensuite mieux à même d’effectuer les ajustements néces-
saires pour aider les groupements à fonctionner sur la durée. Autre exemple: pour apprécier
l’impact des groupes, il vous faudra évaluer avec leurs membres comment leur appartenance au
groupement leur permet (ou non) d’améliorer leurs conditions de vie.

Dans la pratique, il faut recourir à des méthodes qualitatives pour que le suivi vous permette de
comprendre ce qui se cache derrière les chiffres (voir module 6 et annexe D).

Il est également indispensable, pour interpréter les réussites ou les échecs, de se tenir informé sur
l’environnement dans lequel se déroule le projet. Les moyens de suivre l’évolution du contexte
d’un projet sont évoqués en 2.2.3. Par exemple, les personnes impliquées dans le projet pourront se
tenir informées en utilisant les sources existantes et en faisant appel à leurs réseaux formels et
informels. Cependant les mises à jour de la connaissance du contexte sur des questions clés en
rapport avec le projet peuvent aussi être sous-traitées en tant que thèmes de recherche. Vous
pouvez aussi organiser un séminaire annuel auquel vous invitez des spécialistes à venir exposer les
tendances de certains paramètres. Les domaines à prendre en compte dépendent de la nature du
projet. Ceux qui retiennent généralement l’attention sont notamment: la législation, l’environne-
ment macroéconomique (marchés, prix), les politiques agricoles et les tendances des prix aux
niveaux national et international, la situation en ce qui concerne la pauvreté, les relations
hommes-femmes, le contexte organisationnel, l’évolution démographique et les tendances dans le
domaine de la santé.

5.2.7 Être à l’affût des effets imprévus

Les indicateurs sont d’une importance cruciale pour les projets. Ils représentent les informations
que vous savez utiles pour vous. Mais qu’en est-il des informations importantes sur ce à quoi nous
ne nous attendons pas? Dans l’exemple chilien, personne n’avait songé à s’arrêter sur les résultats
financiers des nouveaux investissements.

Certains projets inscrivent dans leurs évaluations annuelles, intermédiaires et terminales la

question des impacts positifs et négatifs imprévus qui ne font pas partie de la hiérarchie des

5-11
 GUIDE PRATIQUE DE S &E DES PRO JETS MODULE 5

objectifs. C’est là une bonne pratique de S&E. Le module 6 et l’annexe D décrivent plusieurs
méthodes d’analyse des impacts imprévus.

Les effets imprévus peuvent aussi être détectés grâce à des séances de réflexion plus fréquentes.
Quand vous décidez de ce qu’il faudra suivre, vous ne pouvez pas prévoir l’inconnu. Mais vous
pouvez prévoir du temps pour une réflexion sur l’inattendu. Demandez-vous “que s’est-il produit
d’inattendu en rapport avec telle activité, tel partenariat, telle réalisation, telle composante du
projet?”. Pour tirer cela au clair, il faut se poser les questions suivantes:

• Depuis la dernière fois que nous nous sommes réunis, qu’est-il arrivé que nous n’avions pas
prévu?

• En quoi était-ce différent de ce que nous avions escompté?

• Quelles sont les conséquences de ces événements imprévus pour notre travail (par exemple, pour
une activité spécifique, une relation avec une autre organisation ou une réalisation spécifique du
projet)?

5.2.8 Le principe “trop d’information tue l’information”

L’une des tâches les plus difficiles pour les projets est de maintenir le suivi dans les limites de leurs
possibilités.

Le principal motif de mécontentement des agents chargés du S&E est sans doute que le suivi d’un
grand nombre d’indicateurs se fait au détriment du “vrai” travail de mise en œuvre. Il est très
important de réduire la collecte des données au minimum nécessaire pour répondre aux besoins
essentiels en matière de gestion, de réflexion-capitalisation et de compte rendu. En voulant suivre
trop de choses, on risque de réduire à néant tout le système de S&E.

En Colombie, le projet PADEMER a rencontré de multiples difficultés en raison du grand nombre

d’indicateurs proposés dans le rapport de préévaluation. C’est ce qui a amené l’unité de suivi à
animer une révision des indicateurs avec l’unité nationale responsable de la coordination
technique et les ONG chargées de la mise en œuvre. Les différents partenaires se sont entendus
pour continuer à utiliser les indicateurs d’impact clés proposés dans le rapport de préévaluation
(“variation des revenus” et “création d’emplois”). Ensuite, des indicateurs ont été formulés pour les
cinq composantes du projet: développement productif, gestion des entreprises, marchés et
commercialisation, développement organisationnel et services financiers. À la place de la centaine
d’indicateurs initiaux, il n’y a plus que 18 indicateurs clés qui permettent de rendre compte des
changements que les acteurs concernés par le projet attendent de celui-ci.

Avec les personnes impliquées dans la définition détaillée du plan opérationnel de S&E, passez au
crible tous les indicateurs proposés avant d’accepter d’en assurer le suivi. Pour chaque indicateur ou
chaque élément d’information que vous-mêmes ou d’autres proposez de suivre et d’évaluer,
demandez-vous, “Qui a besoin d’utiliser cette information, quand et pour quoi faire exactement?”.

Si vous avez des doutes sur un indicateur, n’hésitez pas à l’exclure de votre système de S&E – aussi
tentant qu’il puisse être de penser que quelqu’un le trouvera peut-être utile. Inclure ce que vous
auriez envie de savoir ne peut que vous rendre la vie plus difficile. Essayez de n’inclure que ce que
vous avez besoin de savoir.

5-12
GUIDE PRATIQUE DE S &E DES PRO JETS MODULE 5

5.3 Utiliser la matrice de S&E pour une planification détaillée

5.3.1 À propos de la matrice de S&E

Pour rendre le S&E opérationnel, vous avez besoin d’un certain nombre de détails, qui peuvent être
récapitulés dans la matrice de S&E (voir tableau 5-4). La suite du présent module, ainsi que les
modules 6 à 8, expliquent comment utiliser chaque colonne. Dans ce paragraphe, nous décrirons
brièvement la matrice de S&E en examinant tour à tour chacune des colonnes.

Tableau 5-4. Contenu de la matrice de S&E

Questions Besoins Information de Collecte des Formulaires nécessaires, Analyse, établissement

relatives à la d’information et référence – données – planification, formation, des rapports, restitu-
performance indicateurs exigences, nature méthodes, gestion des données, compé- tion des informations,
et responsabilités fréquence et tences, ressources et mise en œuvre des
responsabilités responsabilités adaptations,
responsabilités

EXEMPLE – Réalisation 1 du projet

EXEMPLE – Activité 1.1 du projet:

5.3.2 Étape 1. Identifier les questions relatives à la performance

Au lieu de commencer par les indicateurs, commencez par formuler les questions relatives à la
performance. Il vous sera ainsi plus facile de concentrer la collecte de l’information sur ce que vous
utiliserez effectivement pour comprendre et améliorer la performance du projet. La définition des
questions relatives à la performance (indicateurs et méthodes de sélection) sera un processus
itératif: faites un choix initial, évaluez sa faisabilité, acceptez-le et utilisez-le ou bien rejetez-le et
cherchez l’option suivante. L’étape 1 est examinée plus en détail au point 5.4.

5.3.3 Étape 2. Identifier les besoins d’information et les indicateurs

À partir des questions relatives à la performance, il vous sera plus facile de choisir des indicateurs
utiles et de définir les autres besoins d’information pour lesquels il vous faudra collecter des
données. Seules sont nécessaires les données qui vous aident à apporter une réponse à vos
questions relatives à la performance. Vous pourrez ainsi éviter de collecter des informations qui
seraient difficiles à utiliser pour orienter la stratégie et les opérations du projet. Cette étape est
examinée plus en détail au point 5.5.

5.3.4 Étape 3. Savoir de quelle information de référence vous avez besoin

Beaucoup d’enquêtes de référence sont à la fois trop lourdes et sous-utilisées. Pour savoir si vous
avez besoin de réunir des informations de référence pour répondre à telle question relative à la
performance, demandez-vous d’abord si vous avez besoin de comparer des informations pour
pouvoir répondre à la question. Si ce n’est pas le cas, ou si l’information existe déjà, vous n’aurez
pas besoin alors d’informations de référence. Cette étape est examinée plus en détail au point 5.6.

5-13
 GUIDE PRATIQUE DE S &E DES PRO JETS MODULE 5

5.3.5 Étape 4. Quelle méthode de collecte des données utiliser, qui charger de la collecte
et quelle doit en être la fréquence?

Une fois que vous avez décidé de quelles informations vous avez besoin et quels indicateurs seront
utilisés, il vous faut choisir les méthodes à employer pour la collecte des données. Vous avez
plusieurs options: des méthodes plutôt qualitatives ou plutôt quantitatives, plus ou moins partici-
patives, et plus ou moins exigeantes en ressources. Chacune vous fournira des informations d’un
niveau de précision et de fiabilité variable.

Toute décision sur la méthode à employer implique nécessairement un compromis entre ces diffé-
rents facteurs (voir encadré 5-3). On est parfois amené à renoncer à l’utilisation d’un indicateur si
sa collecte, par exemple, se révèle trop coûteuse. Cela suppose également que vous vous demandiez
par qui la méthode sera utilisée. Ainsi, si les agents concernés n’ont pas les compétences requises
pour mettre en œuvre la méthode que vous jugez souhaitable, vous devrez prévoir une formation –
ou choisir une autre méthode si vous n’avez pas les ressources nécessaires pour cette formation.

Il vous faut également définir la fréquence des opérations de collecte. Elle variera en fonction des
questions et des indicateurs. Si un indicateur important doit être renseigné fréquemment, vous
serez peut-être amenés à réduire la fréquence des opérations de collecte pour un autre indicateur
moins important, ou tout simplement à rayer celui-ci de la liste. Différentes méthodes sont présen-
tées en détail dans le module 6 et à l’annexe D.

Encadré 5-3 Trouver un compromis entre le coût, la nature de l’information et la connaissance supplémentaire qu’elle apporte

Supposez que votre question relative à la performance soit formulée comme suit: “Quelles améliorations ont-elles été apportées à la sécurité
alimentaire des ménages à la suite des activités du projet?” Deux éléments principaux d’information devront être recherchés: 1) la nature et
l’ampleur des changements observés en ce qui concerne la sécurité alimentaire des ménages cibles et 2) la part de ces changements qui
peut être attribuée au projet. Les informations de ce type ne donnent pas lieu à des analyses très fréquentes, car elles évoluent lentement.
Une enquête effectuée environ une fois tous les deux ans devrait donc suffire pour renseigner la question considérée.

Pour recueillir des informations sur les changements intervenus en matière de sécurité alimentaire,
vous pourriez envisager trois méthodes différentes: i) une enquête détaillée sur les ménages
conduite par des chercheurs indépendants, ii) un processus d’évaluation participatif dans lequel les
femmes font leur propre suivi et échangent leurs observations, ou iii) des entretiens avec des
groupes ciblés de façon à étudier les changements intervenus dans des groupes sociaux spécifiques.
La première méthode serait la plus exigeante en ressources mais aussi la mieux en mesure de
produire des résultats quantifiés. La deuxième méthode peut aussi, si l’animation en est bien faite,
donner des résultats précis mais à un moindre coût que la première méthode et, de plus, elle
entraîne des débats qui sont susceptibles de produire des idées nouvelles. Un autre avantage de cette
méthode serait de permettre à la population féminine des villages de mieux comprendre le projet.
La troisième méthode donnerait les informations les moins précises et les moins quantifiables, mais
serait aussi la plus économe en ressources. Avant de vous engager dans des opérations de collecte
des données coûteuses, demandez-vous sérieusement si une méthode plus simple ne pourrait pas
vous fournir suffisamment d’informations, de qualité acceptable, pour répondre à vos besoins.

5.3.6 Étape 5. Prévoir les moyens nécessaires pour la collecte de l’information

Pour qu’une méthode vous permette d’obtenir les informations désirées, il vous faudra mettre en
place les conditions nécessaires pour qu’elle soit opérante. Ces conditions constituent un élément
que la polarisation sur le choix des indicateurs fait souvent oublier – bien que le succès en dépen-
de. Pour chaque méthode, demandez-vous si vous devez, et comment vous devez:
• établir des formulaires de saisie des données;
• mettre au point des fiches, des systèmes de classement et des bases de données pour ordonner et
stocker l’information;
• former le personnel, les partenaires ou membres des communautés locales qui seront impliqués
dans le système;

5-14
GUIDE PRATIQUE DE S &E DES PRO JETS MODULE 5

• vérifier et valider les données;

• organiser le S&E externe ou les expertises qui s’avéreraient nécessaires;
• décider à qui seront confiées les différentes tâches;
• veiller à ce que chacun dispose de moyens financiers et matériels suffisants.

Cette question est examinée plus en détail dans les modules 6 et 7.

5.3.7 Étape 6. Organiser l’analyse, la restitution et l’utilisation de l’information

Les unités de S&E sont souvent tellement pressées de démarrer la collecte des données qu’elles ne
s’intéressent pas suffisamment à la manière dont cette information sera utilisée pour mener les
analyses nécessaires et indiquer les changements à apporter au projet.

Pour être sûrs que les données seront utilisées – et pas seulement recueillies – demandez-vous
comment vous organiserez l’analyse de l’information pour chaque question relative à la perfor-
mance. Pour pouvoir apporter la réponse à une question relative à la performance, on est parfois
amené à analyser d’abord certaines informations éparses. Qui fera cette analyse? À quel moment?
Demandez-vous aussi sous quelle forme l’information devrait être présentée pour pouvoir être
utilisée par plusieurs catégories d’acteurs. Par exemple, une présentation visuelle, sous forme de
graphiques ou de cartes, serait-elle utile? Ou faut-il organiser plusieurs réunions au niveau des
communautés pour obtenir davantage de réactions à l’analyse initiale de l’information?

Et, surtout, demandez-vous comment l’information obtenue peut être utilisée pour vérifier les
avancées du projet et apporter à mesure les améliorations nécessaires. Cette question est examinée
plus en détail dans les modules 6 et 8.

5-15
 GUIDE PRATIQUE DE S &E DES PRO JETS MODULE 5

5.4. Se faire guider par les questions relatives à la performance

5.4.1 Qu’est-ce qu’une question relative à la performance?

Au moment du démarrage, la plupart des projets passent directement à la définition d’indicateurs

quantitatifs après avoir révisé la hiérarchie des objectifs énoncés dans la matrice du cadre logique
(voir 3.3). Il en résulte généralement de longues listes d’indicateurs quantitatifs uniquement axés
sur les valeurs cibles, laissant de côté d’autres informations essentielles pour expliquer les chiffres
obtenus. Si l’on ne comprend pas le “pourquoi” des choses, il est difficile d’ajuster la stratégie et les
opérations du projet pour générer davantage d’impact.

Essayez plutôt de commencer par définir les questions clés – les questions relatives à la performance
– auxquelles vous devez apporter une réponse pour chaque activité et réalisation, et pour l’objectif
spécifique et l’objectif général. En mettant d’abord l’accent sur les questions vous éviterez d’être
submergés par un trop grand nombre d’indicateurs qui, en définitive, ne vous apprendront rien sur
ce que vous avez réellement besoin de savoir pour améliorer le projet.

Les questions relatives à la performance vous aident à concentrer la recherche et l’analyse de l’infor-
mation sur ce qui est nécessaire pour savoir si le projet donne les résultats escomptés ou, sinon,
pourquoi. Une fois que vous avez formulé vos questions relatives à la performance, vous pouvez
choisir plus facilement l’information que vous avez besoin de suivre plutôt que celle que vous
auriez envie de suivre.

Les questions relatives à la performance vous permettent d’analyser ensemble différents types d’infor-
mation, en vous donnant une structure qui permet de les combiner. C’est un point particulièrement
important aux niveaux supérieurs de la hiérarchie des objectifs. Dès lors que vous pourrez vous
appuyer sur cette structure, vous serez en mesure de traiter les différents indicateurs aux différents
niveaux de la hiérarchie des objectifs afin d’en tirer la compréhension des évènements recherchée. Le
tableau 5-5 le montre clairement. Les projets qui n’auront pas posé les questions relatives à la perfor-
mance n’auront que les informations/indicateurs figurant dans la colonne de droite, qu’il leur faudra
alors interpréter en fonction de l’objectif général, de l’objectif spécifique ou de la réalisation.

Prenons un exemple qui a trait à la formation, élément commun à la plupart des projets. Supposez
que l’une des réalisations attendues de votre projet soit formulée ainsi “les agents de vulgarisation
agricole utilisent des méthodes plus nettement participatives dans leur travail avec les agriculteurs”.
L’activité correspondante du projet pourrait être “organiser cinq stages de formation de 10 jours à
l’intention d’un total de 60 agents de vulgarisation”. Il est évidemment facile d’enregistrer le
nombre de stages de formation organisés, leur durée et le nombre de participants. Au niveau “réali-
sation” du cadre logique, vous pourriez vous contenter d’additionner le nombre d’agents de vulgari-
sation ayant reçu une formation aux méthodes participatives. Mais, ce que vous vous proposez
d’obtenir, c’est sans doute que ces méthodes participatives soient effectivement utilisées à plus
grande échelle sur le terrain et, ensuite, que le projet contribue davantage à l’adoption de pratiques
agricoles améliorées parmi les paysans.

Un indicateur quantitatif pourrait être “le pourcentage d’agents de vulgarisation formés utilisant des
méthodes participatives sur le terrain”. Mais qu’entend-on par “participatif” et “utiliser”? Un tel
indicateur ne nous apprend rien sur l’ampleur ou la qualité de l’utilisation des méthodes en
question, et les informations qu’il fournit seront donc pratiquement sans intérêt. En l’occurrence,
une question relative à la performance serait plus utile. Par exemple, “les agents de vulgarisation
formés utilisent-ils réellement leur savoir-faire participatif sur le terrain?” Les rapports établis par les
agents de vulgarisation eux-mêmes sur la manière dont leur travail de terrain progresse peuvent être
complétés par des rapports émanant des agriculteurs avec lesquels les agents de vulgarisation sont
en contact. Ce n’est qu’en faisant les comptes, en mesurant la qualité de mise en œuvre des compé-
tences acquises et l’intérêt que les résultats suscitent chez les agriculteurs que vous pourrez obtenir
une réponse qui vous aide à déterminer si le projet est géré pour l’impact.

5-16
GUIDE PRATIQUE DE S &E DES PRO JETS MODULE 5

Tableau 5-5. Exemples de questions relatives à la performance et liens avec les besoins d’information et les indicateurs

Exemple d’objectif Exemples de questions relatives à Exemples de besoins d’information et d’indicateurs

la performance
Objectif général: • Quels types d’améliorations ont été • Types d’améliorations par groupe cible
amélioration durable obtenus suite à la diversité des revenus • Changements constatés dans le niveau de revenu
du revenu non résultant du projet? (augmentation /diminution) par groupe cible
agricole de 135 000 • Qui a bénéficié de ces améliorations?
• Jugement porté par la population elle-même quant aux causes
ménages pauvres
• Quels groupes cibles n’en ont pas de l’augmentation ou de la diminution des revenus
des basses terres de
bénéficié? • Pourcentage de ménages n’ayant pas bénéficié des
Penkalingo
• Quelle probabilité y a-t-il que les améliorations
améliorations soient durables? • Risques que les augmentations de revenu ne puissent être
• Quels sont les impacts imprévus maintenues
– négatifs ou positifs – de ce • Impacts négatifs (sociaux, écologiques, etc.) des activités
renforcement des activités génératrices génératrices de revenus
de revenus?
• Autres impacts positifs des activités génératrices de revenus sur
le développement

Objectif spécifique: • Quels types d’activités génératrices • Types d’activités génératrices de revenus créés
renforcer les activités de revenus ont été créés à la suite • Nombre de personnes exerçant une activité génératrice de
génératrices de du projet? revenus (pour chaque activité)
revenus pour les • Nombre de personnes qui se sont
groupes cibles du • Types d’activités génératrices de revenus jugés nécessaires par
engagées dans chaque type d’activités la population
projet nouvelles?

Réalisation 1: • Qui a bénéficié de quel type de service? • Types de services d’épargne/ crédit
services améliorés • Qui en a été exclu? • Nombre d’utilisateurs de chaque service
d’épargne et de
crédit à l’intention • Problèmes posés par les services et leurs causes
des pauvres • Nombre de membres du groupe cible exclus de chaque service
• Niveau des capacités locales disponibles pour assurer le
maintien des services

Réalisation 2: • Quels types de compétences ont été • Types de compétences acquises en gestion d’entreprise
acquisition de améliorés et combien de ménages ont • Niveau des compétences acquises (femmes/ hommes)
compétences en été concernés?
gestion d’entreprise • Nombre de membres du groupe cible (femmes/ hommes)
• Y a-t-il parité hommes-femmes dans ayant acquis de nouvelles compétences
parmi les ménages l’acquisition des compétences?
participants • Nombre de membres du groupe cible exclus du processus
• Ces compétences répondent-elles à un d’acquisition des compétences et pour quelles raisons?
besoin dans la zone du projet?
• Les nouvelles compétences acquises font-elles l’objet d’une
demande locale?

5.4.2 Comment utiliser les questions relatives à la performance

Les personnels de projet sont tellement habitués à s’intéresser directement aux indicateurs qu’ils
pourraient dans un premier temps être déconcertés à l’idée de commencer par les questions rela-
tives à la performance. La question suivante peut vous aider à formuler une bonne question relati-
ve à la performance pour chaque niveau de la hiérarchie des objectifs.

À quelles questions est-il nécessaire de répondre pour savoir dans quelle mesure on progresse
effectivement vers l’objectif visé et pour expliquer les éléments de réussite et d’échec auxquels on
parvient?

Les questions relatives à la performance peuvent être très simples. Par exemple, au niveau “activité”
de la hiérarchie des objectifs, tout ce que vous avez besoin de savoir est si l’activité a été convena-
blement conduite et à temps. De même, au niveau “réalisation” de la hiérarchie des objectifs, vous
pourrez souvent vous contenter d’un petit nombre de questions qu’il est relativement facile de
chiffrer. Dans le tableau 5-5, les questions correspondant au niveau “réalisation” sont: “Quels types

5-17
 GUIDE PRATIQUE DE S &E DES PRO JETS MODULE 5

de compétences ont été améliorés et combien de ménages ont été concernés?” “Y a-t-il une parité
hommes-femmes dans l’acquisition des compétences?” et “Ces compétences répondent-elles à un
besoin dans la zone du projet?”.

Aux niveaux “objectif spécifique” et “objectif général” de la hiérarchie des objectifs, les questions
relatives à la performance prennent un caractère plus qualitatif et présentent davantage d’intérêt
quand elles sont posées en combinaison avec d’autres questions. La raison en est qu’à ces niveaux
les changements observables sont le résultat de l’ensemble des activités ou réalisations. Pour éva-
luer la performance au niveau de l’objectif spécifique et de la finalité, vous devrez tenir compte des
interactions entre les changements observés à chaque niveau et vous demander si les changements
constatés peuvent être attribués aux activités ou aux réalisations du projet.

Certaines questions relatives à la performance sont particulièrement importantes dans le cas où les
projets s’efforcent d’innover dans le mode de conduite de certaines activités ou le mode d’obten-
tion de certaines réalisations. Il est alors essentiel de tirer les enseignements des nouvelles façons de
travailler. Par exemple, supposons que le projet ait prévu d’appuyer la création d’associations auto-
nomes d’irrigants. La meilleure façon d’effectuer cet appui n’apparaîtra peut-être qu’après plusieurs
tentatives et actions rectificatives. Ainsi, dans le projet FODESA, au Mali, la direction entreprendra
chaque année des bilans et des évaluations d’impact participatifs dans chaque communauté. Ces
examens et ces évaluations seront confiés à des ONG et à des consultants dans le cadre de contrats
de sous-traitance. Comme il s’agit là d’une méthode expérimentale, les principales questions rela-
tives à la performance à poser par FODESA pourraient être “Les villageois ont-ils le sentiment que
les sous-traitants animent la réalisation des bilans participatifs comme il le faudrait?” et
“L’information issue des bilans annuels aide-t-elle à orienter la stratégie et les opérations du projet?”
En fait, l’opération est en passe de devenir un mini-projet de recherche pour FODESA. À mesure que
les meilleures méthodes à employer pour conduire les bilans annuels au niveau des villages se
feront jour, les questions relatives à la performance évolueront et certaines seront même éliminées.

Les questions relatives à la performance n’ont pas besoin d’être compliquées – et elles ne sont pas
non plus nécessairement nombreuses. L’encadré 5-4 présente les questions relatives à la performan-
ce de base. Une fois que les questions relatives à la performance ont été arrêtées, vous pouvez déci-
der de quelles informations vous aurez besoin pour y répondre. Vous êtes ainsi amenés à choisir
des indicateurs.

Encadré 5-4. Les principales questions relatives à la performance pour chaque niveau de la hiérarchie des objectifs

• Activités – Qu’avons-nous fait réellement?

• Réalisations – Qu’avons-nous fourni grâce aux activités du projet (par exemple, nombre de personnes formées)?
• Effets – Qu’est-ce qui a été obtenu grâce aux réalisations (par exemple, dans quelle mesure les personnes formées utilisent-elles effective-
ment les nouvelles compétences)?
• Impacts – Qu’ont apporté les effets? (par exemple, dans quelle mesure les ONG ont-elles gagné en efficacité)? Quelle contribution est-elle
apportée à la réalisation de l’objectif général? Y a-t-il des impacts imprévus – positifs ou négatifs?
• Leçons tirées – Quels enseignements ont-ils été tirés du projet, lesquels d’entre eux peuvent-ils contribuer à en améliorer la mise en œuvre
ou à renforcer les connaissances dans des domaines pertinents?

5-18
GUIDE PRATIQUE DE S &E DES PRO JETS MODULE 5

5.5. Se concentrer sur l’information clé et sur les

indicateurs appropriés
Une fois que vous avez établi une liste de questions relatives à la performance, l’étape suivante
consiste à choisir les informations dont vous aurez besoin pour y répondre. Commencez par
vérifier s’il peut être répondu à la question au moyen d’un indicateur simple et fiable. Cela peut
être possible pour les activités et les réalisations. Si ça ne l’est pas (voir encadré 5-5), vous devrez
approfondir la réflexion, plus particulièrement aux niveaux supérieurs de la hiérarchie des objectifs
– objectif spécifique et objectif général – pour lesquels les indicateurs sont plus difficilement en
mesure de fournir les éléments nécessaires à l’appréciation des effets et des impacts.

Encadré 5-5. Savoir quand un indicateur unique n’est pas suffisant

Vous pourriez vous trouver face à l’objectif suivant:

“À la fin de la cinquième année du projet, 50% des familles de la zone du projet couvrent 25% de leurs besoins monétaires annuels en
vendant des services faisant appel aux compétences acquises grâce à la formation dispensée par le projet.”

Il n’y a pas d’indicateur unique capable de mesurer cet objectif. Vous aurez besoin de différents types d’informations:
• pourcentage de familles obtenant des revenus grâce aux compétences acquises dans les ateliers de formation proposés par le projet;
• montant des revenus des ménages ayant participé aux ateliers de formation proposés par le projet;
• besoins monétaires annuels des ménages.

5.5.1 Besoin d’information pour repérer les changements

La première chose est d’avoir une idée tout à fait claire de l’information dont vous avez besoin
pour répondre à votre question relative à la performance. Voulez-vous connaître les changements
intervenus en ce qui concerne:

• la présence de quelque chose (par exemple, le nombre de banques de semences ou le nombre d’es-
sais au champ conduits par des agriculteurs)?

• le type d’accès à une innovation ou à un nouveau service (par exemple, les conditions de vie se
sont-elles améliorées – ou dégradées – pour ceux qui participent aux essais de nouvelles cultures)?

• le niveau d’utilisation (par exemple, la fréquence avec laquelle chaque agriculteur fait appel à un
fonds rotatif ou à d’autres sources de crédit)?

• la portée d’une activité ou taux de couverture (par exemple, le nombre de membres du groupe de
crédit ou le nombre de personnes participant à des essais de maïs – et qui en est exclu)?

• la pertinence de l’innovation agricole (par exemple, les banques de semences permettent-elles ou

non de surmonter un problème de production majeur)?

• la qualité d’une innovation (par exemple la qualité des semences dans la banque de semences ou
l’efficacité d’une méthode de lutte intégrée contre le charançon du bananier)?

• l’effort nécessaire pour obtenir un changement (par exemple la main-d’œuvre nécessaire pour une
nouvelle gestion des sols avec labour en courbes de niveau)?

L’encadré 5-6 présente un cadre intéressant qui peut vous aider à repérer les changements qui vous
intéressent.

5-19
 GUIDE PRATIQUE DE S &E DES PRO JETS MODULE 5

Encadré 5-6. Identifier des indicateurs d’impact en utilisant le Cadre de développement communautaire 3

La Fondation interaméricaine a mis au point un Cadre de développement communautaire (Grassroots Development Framework – GDF) pour
mesurer les effets et l’impact des projets. Il repose sur l’idée que le développement communautaire produit des effets à trois niveaux – indivi-
duel, organisationnel, sociétal – et des impacts de deux types – concrets et abstraits. La combinaison des trois niveaux d’effets et des deux
types d’impacts permet de distinguer six grandes catégories d’objectifs de développement local, pour lesquelles peuvent être choisis des
indicateurs pertinents au regard des conditions locales:
• Au niveau individuel ou familial, les impacts concrets sont en rapport avec les changements intervenus dans la qualité de vie, notamment
en matière d’environnement et de moyens de subsistance de la population. Les impacts abstraits sont ceux qui sont liés aux capacités
personnelles, concernant les changements intervenus en termes d’attentes, de motivations et d’actions individuelles.
• Au niveau organisationnel ou de capital social, les impacts concrets ont trait à la gestion locale et expriment la capacité des organisations
et des municipalités à s’engager dans une action de développement local. Les impacts abstraits font référence à la volonté de collaboration
et les changements intervenus dans le système de valeurs et les pratiques de développement des dirigeants locaux.
• Au niveau de l’ensemble de la société, les impacts concrets se rapportent notamment à la création d’opportunités dans la société civile
pour l’institutionnalisation de la démocratie. Les impacts abstraits mesurent les changements dans le sens d’une culture citoyenne ou dans
le comportement collectif, vers une plus grande tolérance et un plus grand respect de la diversité sociale et culturelle.

Vous pouvez demander à différents groupes d’acteurs de discuter de chaque catégorie. Discutez avec les groupes la liste d’indicateurs
obtenus. Le classement des indicateurs par ordre de priorité peut vous donner une base solide pour évaluer l’impact, sachant que vous
travaillerez sur un large éventail d’impacts.

Quelle que soit l’information que vous recherchez, vous aurez besoin de comprendre les raisons des
changements que vous observez. Si ces changements ne correspondent pas aux prévisions, il faudra
vous poser la question, “Pourquoi y a-t-il davantage ou moins de changements qu’on ne le
prévoyait?” afin de pouvoir gérer le projet pour un meilleur impact (voir encadré 5-7).

Encadré 5-7. Les chiffres n’expliquent pas les causes

Dans le projet REP, au Ghana, le suivi des contacts avec les bénéficiaires a permis de développer leur participation en recueillant leurs idées et
leurs avis pour que la direction les examine et prenne les décisions voulues. Mais le dispositif reste encore centré sur des indicateurs quantita-
tifs. Par exemple, à l’issue de chaque formation, des formulaires d’évaluation sont adressés aux participants afin d’obtenir des informations
et/ou des appréciations sur des aspects tels que: les modalités d’enseignement (méthodes, matériels didactiques, attitude de l’enseignant),
le sentiment de l’intéressé quant à l’utilité immédiate et à long terme de la formation, les compétences techniques de l’enseignant et l’utilité
globale. Les personnes interrogées ne répondent que par “oui” ou par “non”. Cette méthode ne facilite pas la compréhension des causes.
L’interprétation des données se réduit à une simple addition du nombre de réponses, sans qu’on cherche à comprendre les causes et à
dégager des idées grâce à des questions ouvertes.

Vous aurez probablement besoin de toute une gamme d’informations pour répondre à vos ques-
tions relatives à la performance (voir encadré 5-8), notamment:

• d’indicateurs: indicateurs quantitatifs simples, indicateurs complexes ou composites, indices,

indicateurs qualitatifs (voir tableau 5-6);

• d’informations qualitatives ciblées;

• d’informations qualitatives ouvertes;

• d’informations générales;

• d’observations générales sur les interactions avec les bénéficiaires.

5-20 3 voir: www.iaf.org.

 GUIDE PRATIQUE DE S &E DES PRO JETS MODULE 5

Encadré 5-8. Plus que des indicateurs en Ouganda

Dans le cadre du programme DDSP en Ouganda, l’unité de planification de l’administration locale dans chaque district est chargée de suivre
le déroulement de la mise en œuvre des actions et d’en évaluer l’impact. Pour s’acquitter de ces responsabilités, elle recueille plusieurs types
d’informations:
• Des informations physiques et financières sur le déroulement du projet pour faciliter la prise de décisions (ou leur révision) sur les
dépenses et l’affectation des ressources, afin que le projet puisse continuer à fonctionner tout en restant dans les limites de son budget.
• Des informations sur la répartition des bénéfices procurés par le projet, par exemple, certaines personnes bénéficient peut-être davantage
que d’autres. Ce type d’information est intéressant pour les groupes qui souhaitent assurer l’équité et le respect du principe de responsa-
bilité.
• Les réactions de la population cible aux services et aux apports fournis par le projet. Ce type d’information peut contribuer à assurer l’ac-
ceptabilité et l’utilité des activités du projet.
• Des études sur les problèmes de mise en œuvre spécifiques auxquels se heurte le projet, afin de pouvoir en identifier la (les) cause(s) et
de recommander des solutions pratiques.
• Des informations concernant l’impact sur la population cible, plus spécialement en ce qui concerne les changements intervenus dans la
qualité de vie et les niveaux de vie (revenu, santé, autonomisation, rapport à l’environnement, etc.).
• D’autres informations afin d’assurer le respect des règles et du principe de redevabilité de manière à répondre aux exigences des
donateurs.

5.5.2 Les différents types d’indicateurs

Les indicateurs sont le type le plus courant d’information associée au S&E. Le tableau 5-7 décrit
différents types d’indicateurs.

Certains indicateurs sont simples et directs, en particulier ceux qui sont destinés à mesurer l’état
d’avancement des activités, comme “le nombre de kilomètres de canaux d’irrigation construits”.
D’autres indicateurs, tels que l’indice du développement humain (IDH) utilisé par le PNUD pour
classer les pays, comparent le bien-être des personnes en combinant plusieurs indicateurs pondérés.
Le tableau 5-6 donne des exemples d’indicateurs pour quatre catégories couramment utilisées.

Tableau 5-6 Exemple de quatre catégories d’indicateurs couramment utilisées dans les projets de développement rural 4
Sécurité alimentaire Pauvreté Renforcement des Renforcement du rôle des femmes
organisations de base
Changements intervenus Changements intervenus Changements intervenus Changements intervenus
dans: dans: dans: dans:
• la production alimentaire • le revenu réel • la participation des • le taux de scolarisation des filles
• la superficie cultivée des ménages groupes d’agriculteurs aux dans l’enseignement primaire
• l’accès à des revenus processus de décision au • le nombre de groupes de femmes
• les rendements des niveau local et au niveau
aliments de base non agricoles formés dans la zone du projet
du projet
• la consommation • l’accès au capital • le nombre de prêts approuvés
• la formation de groupes décaissés en faveur de groupes
d’aliments de base • l’accès à la main- autonomes d’agriculteurs
d’œuvre de femmes
• les prix des aliments dans la zone du projet
de base • l’accès aux moyens • le nombre de groupes de femmes
• l’aptitude des organisa- ayant accès à un deuxième et à
• l’accès aux marchés d’irrigation tions de base à conduire un troisième prêt
• les capacités de stockage • l’accès aux services leur propre suivi et à
essentiels évaluer leurs propres • le nombre de femmes membres
d’aliments de base à des associations locales de
la ferme • l’accès à l’eau potable progrès
production ou de prestation
• la malnutrition chronique • l’accès à l’éducation de • la capacité de commercia- de services
des enfants base liser sa propre production
• le pouvoir décisionnel des femmes
• le pourcentage d’enfants • l’accès aux services de • les modalités et les au niveau du ménage
(de moins de 5 ans) santé de base conditions financières
des opérations de • la participation des femmes au
atteints de retard de processus décisionnel aux niveaux
croissance commercialisation
local et du projet

4 FIDA. 2000. IFAD’s Revised Operating Model for Impact Management Process. FIDA: Rome. 5-21
 GUIDE PRATIQUE DE S &E DES PRO JETS MODULE 5

Tableau 5-7 Exemples de différents types d’indicateurs

Types Exemples Explication
d’indicateurs
Indicateurs • Kilomètres de routes construits Cet indicateur ne nécessite qu’une mesure unique d’une unité simple.
quantitatifs • Jours-personnes de formation dans la
simples matière X
• Rendement moyen de la culture X
dans les zones Y

Indicateurs • Nombre de mois pendant lesquels Ici, plusieurs éléments d’information différents entrent en jeu. Le nombre
quantitatifs les ménages connaissent des de mois, les ménages et les types de pénuries alimentaires. S’il n’est pas
complexes pénuries alimentaires précisé quels types de ménages connaissent tel ou tel type de pénuries
alimentaires et dans quelle mesure, l’indicateur ne sera pas très utile. Il
s’agit donc là d’un indicateur plus complexe que celui qui se borne à
mesurer un facteur simple comme le rendement moyen d’une culture.
Indicateurs • Nombre d’associations d’irrigants Ces indicateurs font appel à un critère qu’il faut définir et évaluer.
composites fonctionnant effectivement dans la “Fonctionnant effectivement” doit être défini et signifie que vous devrez
zone du projet évaluer chaque association. Il en va de même pour les plans villageois – ils
• Nombre de plans de développement doivent être évalués en fonction des critères de financement. Ce n’est
villageois achevés qui respectent les qu’après qu’ils pourront être comptés.
critères de financement
Indices • Indice de performance du système Les indices combinent plusieurs indicateurs différents pour permettre
d’irrigation une comparaison. L’indice du développement humain est un exemple
bien connu. Le maniement d’indices est une opération statistiquement
complexe et les indices ne sont généralement pas utilisés dans le S&E
des projets.
Indicateurs • Pourcentage de ménages ayant une Il s’agit là d’un indicateur qui n’est pas précis, mais qui est justement
indirects bicyclette utilisé comme une approximation, avec une certaine valeur symbolique.
L’exemple suggéré pourrait être un indicateur indirect du niveau de
bien-être dans une zone où les bicyclettes sont chères et où il est difficile
d’en acheter.
Indicateurs • Perception des bénéficiaires quant à L’information qualitative ouverte vous permet de savoir à quoi les gens
qualitatifs la performance globale du projet attachent de l’importance. Les questions ouvertes vous offrent la possibilité
ouverts de recueillir des informations concernant des aspects sur lesquels vous
n’auriez pas nécessairement pensé à poser des questions.
Indicateurs • Perception des bénéficiaires sur un L’information qualitative ciblée est importante quand vous recherchez une
qualitatifs aspect très spécifique du projet information spécifique.
ciblés

5.5.3 Formuler un indicateur clair

Pour être utile, un indicateur doit être clair. C’est ce qui permet de le mesurer. Pourtant, la plupart
des agents de projet le savent bien, définir un indicateur clair est plus difficile qu’il n’y paraît de
prime abord. De quoi a-t-on besoin pour définir un indicateur clair?

En examinant attentivement les questions relatives à la performance pour l’objectif général, le ou

les objectifs spécifiques, les résultats et les réalisations, vous pouvez déterminer de quel type de
données vous avez besoin pour répondre aux questions. Par exemple, si votre réalisation consiste à
“remettre en état des terres dégradées dans la zone X”, vous aurez probablement besoin d’un indi-
cateur du genre “superficie des terres dégradées remises en état”. Mais que faut-il entendre par
“dégradées” et “remises en état”?

Un indicateur clair englobe les éléments suivants:

• un groupe cible spécifié auquel s’appliquera l’indicateur;

• les unités de mesure spécifiques à utiliser pour l’indicateur;

5-22
GUIDE PRATIQUE DE S &E DES PRO JETS MODULE 5

• une période spécifique au cours de laquelle l’indicateur sera observé;

• une mention des informations de référence/des repères à utiliser aux fins de comparaison;

• des critères de qualité déterminée (si un qualificatif est nécessaire – voir infra);

• une aire géographique spécifique à laquelle l’indicateur s’appliquera.

Prenons par exemple un indicateur proposé dans un projet au Burkina Faso pour évaluer l’impact
au niveau de l’objectif spécifique du projet: “créations de petites entreprises dans la zone du projet,
en particulier par des femmes”. C’est une définition trop vague pour être mesurable. Formulé avec
plus de précision, cet indicateur deviendrait “nombre de nouvelles entreprises formelles et infor-
melles créées chaque année par des femmes dans la province X rapporté au nombre initial”. Un
autre exemple d’indicateur trop vague nous est fourni par un projet yéménite: “le nombre de
machines de traitement du fourrage”. Pour être plus précis, il faudrait formuler l’indicateur dans les
termes suivants: “l’augmentation annuelle du nombre de machines de traitement du fourrage de
type X achetées depuis le début du projet par ménage du groupe cible”.

Vous vous demandez peut-être si un indicateur qualitatif peut être spécifique. Par définition, un
indicateur qualitatif n’est pas aussi précis qu’un indicateur quantitatif, puisque vous le laissez déli-
bérément ouvert. Ce point est examiné plus en détail au point 5.5.4.

Il faut être particulièrement prudent quand on a affaire à des indicateurs comportant un adjectif.
On peut citer notamment “réalisé avec succès”, “utilisé de manière adéquate”, “effectivement
appliqué”, “sols dégradés” ou “population sous-alimentée”. Ces termes descriptifs se prêtent à de
multiples interprétations et peuvent donc être une source de confusion.

Un exemple courant nous est fourni par les projets qui visent à mettre en place des groupes de
microcrédit ou des plans communautaires. Parce que vous voulez savoir la qualité de ce que vous
contribuez à mettre en place, votre indicateur comportera probablement des adjectifs comme
“groupes de microcrédit fonctionnant de manière satisfaisante”, ou “plans communautaires partici-
patifs”. Par exemple, que signifie au juste un “plan communautaire participatif”? Cela veut-il dire
que 50% de la population adulte a été invitée à apporter des idées ou que 80% ont approuvé la
version finale du plan, ou que ce plan a été approuvé par le conseil du village? Il vous faudra
donner une définition précise de tout terme qui risque d’avoir des significations multiples.

Plus les indicateurs seront formulés avec précision, moins vous risquerez qu’ils suscitent des malen-
tendus parmi les personnes appelées à les utiliser quand viendra le moment de la collecte et de
l’analyse des données. Chercher à formuler des indicateurs locaux peut permettre d’obtenir des
résultats intéressants (voir encadré 5-9).

Encadré 5-9. Exemples d’indicateurs locaux de la pauvreté

• type et ampleur des obsèques (indicateur utilisé au Ghana et au Burkina Faso, dans des sociétés où les dépenses engagées pour les funé-
railles ont une grande importance)
• accès à des vêtements neufs pour les cérémonies (nombreuses zones géographiques)
• mariages différés en raison de l’impossibilité de constituer une dot (Somalie)
• utilisation régulière de chaussures (Inde)
• prise d’un troisième repas quotidien (diverses zones géographiques)
• possession (par les femmes) de suffisamment d’ustensiles de cuisine ou d’assiettes de taille appropriée et en nombre suffisant pour les
invités (Mali, Soudan)
• nombre de personnes ayant acheté une bicyclette (Burkina Faso)

Pour amener les gens à réfléchir sur des indicateurs possibles, en particulier sur des indicateurs qua-
litatifs qui peuvent être difficiles à formuler, voici quelques questions pouvant faciliter des réponses
concrètes:

• Si le projet va vers un échec, comment le saurez-vous? (Formulez ces indicateurs d’“échec” dans
un sens positif et vous saurez ce que vous souhaitez voir changer)

5-23
 GUIDE PRATIQUE DE S &E DES PRO JETS MODULE 5

• Que voulez-vous dire quand vous parlez de “nutrition améliorée”? (ou tout autre objectif/résul-
tat qui fait l’objet de vos discussions)

• Comment vous apercevrez-vous qu’il y a effectivement eu un impact?

• Pouvez-vous donner un exemple concret de la manière dont vous observez un impact?

Certaines méthodes peuvent également faciliter l’identification des indicateurs, par exemple la
notation matricielle ou les organigrammes d’impact (voir annexe D).

5.5.4. Travailler avec des informations et des indicateurs qualitatifs

Si dans le passé le S&E accordait une place centrale aux données quantitatives, les indicateurs
qualitatifs suscitent aujourd’hui de plus en plus d’intérêt, car on en attend des informations
permettant une compréhension plus approfondie de la situation. Les deux types d’indicateurs n’en
sont pas moins compatibles (voir encadré 5-10). Par exemple, pour évaluer la qualité d’un atelier
sur la lutte intégrée, vous pouvez recueillir les appréciations des agriculteurs ayant participé au
stage et établir des listes de leurs opinions sur les points forts, les points faibles et les améliorations
possibles. Une approche plus nettement quantitative consisterait à demander aux agriculteurs d’in-
diquer, selon une échelle de notation allant de 0 à 5, s’ils sont satisfaits de la qualité de la
formation dispensée, et à compter ensuite le nombre d’agriculteurs dans chaque catégorie. Il est
clair que le classement ne vous apprendra rien sur les améliorations à apporter, mais il vous
donnera une idée du degré de satisfaction.

Encadré 5-10. La dimension qualitative dans les indicateurs quantitatifs

Le consultant ougandais Dan Kisauza a une conception originale de l’utilisation du cadre logique: il aborde la construction du cadre logique
en commençant par se demander non pas ce que le personnel du projet devrait faire, mais comment il devrait concrétiser la vision du projet.
Une telle approche conduit à privilégier les aspects qualitatifs du projet plutôt que les aspects quantitatifs dans la formulation des indicateurs.
À l’élaboration des indicateurs il peut donc se substituer un exposé indiquant comment le personnel du projet entend conduire les activités
pour atteindre ses objectifs, en incorporant une dimension “processus” dans les plans. Par exemple, pour l’objectif général “sécurité alimen-
taire”, au lieu d’un indicateur quantitatif plutôt banal tel que “mise au point de deux nouvelles variétés de X”, le nouvel indicateur pourrait
être “mise au point de deux nouvelles variétés en collaboration avec les agriculteurs (avec des preuves de l’acceptation des variétés par les
agriculteurs)”.

Pour que des indicateurs qualitatifs puissent fournir des explications rigoureuses sur des questions
importantes, ils doivent être aussi spécifiques que les indicateurs quantitatifs. Spécifiez les indica-
teurs qualitatifs en définissant les points suivants:

• le domaine d’intérêt (en se basant sur votre question relative à la performance);

• le type de changement que vous cherchez à comprendre, y compris l’unité d’analyse (par
exemple les changements au niveau du ménage, du village, de la région);

• la période au cours de laquelle le changement sera observé;

• l’aire géographique dans laquelle l’indicateur s’appliquera.

Par exemple, “opinions de 25% des participants à chaque programme de formation sur le thème Y,
pour savoir si le programme les a aidés à mieux s’acquitter de leurs responsabilités dans leur
travail” est un indicateur beaucoup plus facile à appliquer qu’un indicateur que l’on rencontre très
fréquemment, tel que “compétences des participants à l’atelier”. Les règles sont les mêmes pour les
indicateurs qualitatifs que pour les indicateurs quantitatifs – ils doivent être mesurables, représenta-
tifs, fiables et réalistes.

S’agissant d’un indicateur qualitatif, on entend par “mesurable” la possibilité de trouver des
données s’y rapportant, et non la possibilité de compter ces données. Au Zimbabwe, par exemple,
il était spécifié dans un projet qu’il “se traduirait par des avantages majeurs non quantifiables pour

5-24
 GUIDE PRATIQUE DE S &E DES PRO JETS MODULE 5

les habitants de la zone du projet et pour la nation”. Les exemples mentionnés concernaient “la
capacité accrue des habitants à obtenir le concours d’agents de vulgarisation agricole et de
recherche agronomique” et “la définition d’une politique et d’un cadre de développement de
nature à favoriser les investissements publics en zones arides”.

Vous pourriez fort bien avoir à traiter des aspects qualitatifs du développement qui ne peuvent être
exprimés sous forme d’indicateurs conçus pour effectuer des mesures (voir encadré 5-11). “Le
processus de mobilisation sociale”, “la gestion collective” ou “l’établissement de liaisons avec les
prestataires de services” en sont quelques exemples. Dans les situations de ce genre, le recours à des
études de cas décrivant ce qui se passe dans une communauté peut aider à mieux comprendre les
processus (voir encadré 5-12).

Encadré 5-11. Mesurer ce qui n’est pas mesurable

Au Bangladesh, des projets appuyés par le FIDA travaillent avec des organisations à assise communautaire. Les opérateurs sont des ONG qui
doivent suivre le développement de ces organisations. Les progrès de ces organisations peuvent être contrôlés au moyen d’indicateurs tels
que: existence d’évaluations des besoins conduites par l’organisation elle-même, dirigeants démocratiquement élus et mobilisation des
ressources entreprise sur l’initiative de l’organisation. Ces indicateurs peuvent être examinés avec les organisations à l’occasion d’un atelier où
les participants peuvent aussi parler des mesures correctives nécessaires, et dire à qui il appartient de prendre ces mesures, au cas où les
organisations connaîtraient des difficultés.

Dans un programme sur la pauvreté rurale aux États-Unis 5, “la dynamisation des communautés” constituait un objectif de tout premier
ordre. Les indicateurs choisis comme critères de réussite étaient: “attitudes de la population (esprit communautaire), participation aux
élections, ramassage des ordures, nettoyage des bâtiments délabrés, pourcentage de ménages propriétaires de leur logement et capacité
communautaire mesurée par le nombre d’organisations communautaires de renforcement formées et l’aptitude à accéder aux ressources et à
produire des dirigeants”.

Encadré 5-12. Études qualitatives ciblées pour traiter d’aspects complexes du changement

Dans le programme WUPAP au Népal, les résultats de la stratégie du programme au niveau du village seront évalués de la manière suivante:
1. Mesurer quel a été le degré d’utilisation des approches participatives sur le terrain.
2. Montrer quelle a été la réaction de la communauté à l’ensemble du programme.
3. Mesurer les changements induits dans la vision de la communauté et en ce qui concerne le rôle présent et futur des pauvres, des femmes
et des enfants.
4. Indiquer les changements intervenus dans les attitudes et les modes d’approches des prestataires de services.
5. Évaluer dans quelle mesure la communauté est prête et a les moyens d’assumer davantage de responsabilités.
6. Étudier les avantages résultant des activités du programme et leur répartition entre les différents groupes.
7. Enregistrer les premiers signes d’impact sur les moyens de subsistance et les améliorations du bien-être matériel.
8. Suggérer les modifications à apporter au processus de mobilisation sociale, à la structure des organisations à assise communautaire et aux
modalités du partenariat.
Ces études de cas devraient être entreprises dans des organisations à assise communautaire déjà évoluées de différents districts et passeraient
par l’examen des dossiers, des plans et des rapports intérimaires, et des techniques participatives de ces organisations. La direction du
programme est chargée de présenter des conclusions et recommandations tirées de ces études de cas aux ateliers annuels organisés à l’inten-
tion des acteurs et bénéficiaires du programme.

Une composante essentielle de nombreux projets, qui renvoie à la question des indicateurs qualita-
tifs, concerne le développement institutionnel des organisations à assise communautaire. La
création et le renforcement de ces organisations sont considérés dans de nombreux projets appuyés
par le FIDA comme la condition clé pour que l’intervention ait un impact durable. De nombreux
projets doivent donc procéder à des évaluations portant sur des aspects comme la dynamique de
groupe, l’égalité et la transparence au sein du groupe, la propension du groupe à apprendre, etc.

L’évaluation de la qualité des organisations à assise communautaire fait de plus en plus souvent
appel à un système de notation. Cette méthode combine l’évaluation qualitative des progrès du
développement institutionnel et une notation quantifiée. L’encadré 5-13 donne un exemple de
l’application de cette méthode.

5 Community Partnership Center. 1998. Findings and Recommendations of the Community Partnership Center EZ/EC Learning Initiative.
Knoxville: Université du Tennessee. 5-25
 GUIDE PRATIQUE DE S &E DES PRO JETS MODULE 5

Encadré 5-13. L’utilisation d’un système de notation pour le développement organisationnel au Ghana

Au Ghana, le projet LACOSREP a pour perspective “la constitution d’associations d’irrigants répondant à un critère de cohésion sociale et
gérées démocratiquement”. Une note placée sur une échelle de 0 à 5 est donnée à chaque association d’irrigants pour divers aspects de
performance en matière d’organisation. Sont pris en compte l’“existence de statuts et leur pertinence”, “le niveau de démocratie dans les
élections aux postes de direction” et “la prise de décisions par consensus”. La mobilisation financière est un autre thème d’observation; le
système de notation est le même mais avec d’autres indicateurs tels que “aptitude des cadres à collecter les redevances pour l’usage de
l’eau”, “montants récoltés par rapport aux montants escomptés” et “utilisation judicieuse des fonds par l’association d’irrigants”.

5.5.5. Vérifier la qualité des indicateurs

Pour être mesurable, un indicateur doit être clair. Mais il y a aussi d’autres facteurs nécessaires pour
qu’il puisse servir. La nécessité d’avoir une série d’indicateurs gérable, donc limitée, oblige à
s’assurer que ceux-ci soient de grande qualité. Examinez chaque indicateur potentiel afin de vous
assurer qu’il est non seulement clairement défini, mais qu’il est aussi représentatif, fiable et réaliste.

Si un indicateur ne satisfait pas à l’un ou l’autre de ces critères (voir tableau 5-8), il ne pourra pas
vous aider à répondre à votre question relative à la performance et vous devrez le modifier ou lui
trouver un remplaçant.

Un indicateur est pleinement représentatif s’il couvre l’aspect ou les aspects les plus importants de
l’objectif que vous voulez suivre. Comme cela sera sans doute difficile pour les objectifs de niveau
supérieur, vous aurez sans doute besoin de plusieurs indicateurs pour être sûrs que votre série d’in-
dicateurs est représentative du type de changement que vous cherchez à interpréter.

Un indicateur a plus de chance d’être fiable s’il est précis, mesuré par une méthode normalisée
faisant appel à des procédures d’échantillonnage solides et cohérentes, et s’il reflète directement
l’objectif concerné. Il faut aussi qu’il soit solidement fondé, et qu’il ait un rapport bien établi ou
très probable avec l’objectif. Par exemple, le retard de croissance (taille insuffisante pour l’âge de
l’enfant) parmi les enfants est un indicateur solidement fondé du manque de nourriture, de
nombreuses études ayant démontré la relation de cause à effet.

Un indicateur est réaliste si les données qu’il requiert peuvent être obtenues moyennant un coût et
des efforts raisonnables. Pour savoir si un indicateur est réaliste, il faut l’envisager à la fois sous
l’angle financier et sous l’angle technique:

1. Prenez en compte le plafond de vos ressources budgétaires pour décider de ce que vous “avez besoin
de savoir”, sans chercher à inclure tout ce que vous auriez “envie de savoir”. La plupart des pro-
jets commencent par chercher à définir ce qu’ils aimeraient savoir, puis s’aperçoivent qu’il faut
trop d’efforts et d’argent pour réunir les données. En revanche établissez votre budget de S&E et
évaluez le volume de S&E envisageable avec le budget disponible. Demandez-vous quelles infor-
mations, et en quelle quantité, vous pouvez raisonnablement compter obtenir avec les ressources
que vous êtes prêts à consacrer à cette tâche. Cherchez aussi à savoir s’il est facile ou difficile de
se procurer les données voulues. Rappelez-vous que si certains indicateurs ne représentent appa-
remment qu’un coût financier supplémentaire minime, il en coûtera cependant du temps aux
enquêtés pour répondre et au personnel du projet pour entrer les données, les traiter et les ana-
lyser.

2. Assurez-vous que vous avez les ressources humaines nécessaires pour analyser les indicateurs. Le per-
sonnel chargé du S&E d’un projet au Maroc s’était toujours contenté d’enregistrer les progrès réa-
lisés dans la poursuite des objectifs chiffrés du projet. Il n’a pas tardé à constater ses limites quand
il s’est demandé comment il pourrait évaluer l’impact plus large du projet sur l’amélioration des
conditions de vie. Il a perçu, par exemple, la nécessité de déterminer dans quelle mesure le fait
de mettre en place des plantations le long des diguettes en courbe de niveau allait permettre
d’augmenter la production de matière sèche pour le bétail, s’il en résulterait une augmentation
du poids du bétail et, par conséquent, une amélioration du revenu des ménages. Mais le projet
s’est heurté à la difficulté de trouver des spécialistes compétents pour mener ce type d’analyse.

5-26
 GUIDE PRATIQUE DE S &E DES PRO JETS MODULE 5

3. Évitez les doubles emplois. Cherchez quelles organisations ont déjà en leur possession les infor-
mations dont vous avez besoin. Certaines données statistiques peuvent être aisément obtenues
en s’adressant aux institutions nationales (bureau national de statistiques, entreprises privées,
service du recensement, service des statistiques du Ministère de l’agriculture, banques, etc.). Il
s’agit là d’informations de base qui peuvent être d’une importance cruciale pour expliquer les
progrès réalisés. Des systèmes permettant d’accéder à ces données “secondaires” devraient être
mis en place au stade du démarrage. Par exemple, dans beaucoup de pays, des bureaux de statis-
tique conduisent des enquêtes sur les ménages et des recensements réguliers. Il est donc possible
de leur demander ces éléments. Il faut toutefois être vigilant sur la fiabilité de ces données.

Tableau 5-8. Décider si les indicateurs sont d’assez bonne qualité 6

Qualité de l’indicateur Que faire avec l’indicateur?

L’indicateur est mesurable, Bien, utilisez-le.

représentatif, fiable et réaliste.

L’indicateur est mesurable, fiable et Utilisez-le et essayez de trouver des types d’informations ou des indicateurs supplémentaires
réaliste, mais insuffisamment repré- jusqu’à être en mesure de répondre à la question relative à la performance.
sentatif.
L’indicateur est mesurable, repré- Est-il suffisamment fiable pour être utilisé si toutes les personnes concernées sont informées de
sentatif et réaliste, mais pas très ses défauts ! Dans l’affirmative, utilisez-le et essayez de trouver des informations supplémentaires
fiable. qui pourraient, prises ensemble, donner une image plus fiable. Sinon, renoncez-y et essayez
d’en trouver un autre à la place.
L’indicateur est mesurable, repré- Un autre indicateur – ou une autre série d’indicateurs – peut-il donner une représentation
sentatif et fiable, mais pas réaliste. valable de l’objectif? Dans l’affirmative, renoncez à l’indicateur initialement envisagé. Sinon,
réexaminez le “réalisme” de l’indicateur. Il y a peut-être un moyen plus novateur et plus
économique de se procurer les données nécessaires.
L’indicateur est mesurable et réaliste Est-il suffisamment fiable pour être utilisé si toutes les personnes concernées sont au courant de
mais insuffisamment représentatif et ses défauts? Dans l’affirmative, utilisez-le et essayez de trouver des informations supplémentaires
pas très fiable. qui donneraient une image plus fiable. Sinon, renoncez-y et essayez d’en trouver un autre à la
place. De toute façon, puisque l’indicateur présente deux défauts majeurs, mieux vaut y
renoncer que de le conserver.
L’indicateur est réaliste, mais non Renoncez-y
mesurable ou non représentatif ou
non fiable.

5.5.6. Identification participative des indicateurs (d’impact)

L’identification d’un indicateur peut faire appel à différentes méthodes et avec différents degrés de
participation des acteurs. Pour l’analyse des impacts en particulier, certains projets demandent aux
principaux intéressés de définir ce qu’ils considèrent comme des impacts et d’utiliser leurs propres
indicateurs pour les suivre et les évaluer. La méthode à employer pour l’identification participative
d’un indicateur est très peu différente de la méthode utilisée pour l’identification des indicateurs
en général.

1. Décidez quel aspect du S&E sera participatif – Est-ce que ce seront les aspects liés aux impacts du
projet ou ceux qui concernent la mise en œuvre (par exemple, les activités, la qualité des presta-
taires de services)?

2. Recherchez un accord entre tous les intéressés sur qui devrait être associé à l’identification des
indicateurs.

3. Organisez une réunion selon des modalités appropriées (date et heure, localité, locaux, anima-
tion) permettant à tous les groupes de participer utilement.

6 Tiré de: UICN. 2001. A Resource Kit on Sustainability Assessment. Gland: UICN. Télécharger le document original à l’adresse:
http://iucn.org/themes/eval/sustassess.htm. 5-27
 GUIDE PRATIQUE DE S &E DES PRO JETS MODULE 5

4. S’il y a plusieurs groupes d’acteurs, vous avez le choix entre deux options.

Option 1. Établissez une proposition d’indicateurs avec chaque groupe. Vous aboutirez ainsi à
une liste d’indicateurs possibles, à laquelle il manquera encore des précisions sur les indicateurs
et leur justification. Distribuez les listes à tous les groupes. Organisez une réunion avec les
représentants des groupes pour choisir les indicateurs les plus appropriés, les indicateurs
suggérés étant généralement trop nombreux. Décidez quels sont les plus adaptés aux questions
relatives à la performance qui vous intéressent tous. Commencez par définir des critères pour le
choix des indicateurs. Vous pouvez utiliser un système de notation matricielle pour faciliter
l’établissement de l’ordre de priorité (voir annexe D).
Option 2. L’équipe du projet et les partenaires de mise en œuvre peuvent établir une liste
initiale qui est ensuite remaniée avec les principaux acteurs concernés. Appliquez une méthode
analogue pour classer les indicateurs à suivre par ordre de priorité.

5. Définissez les unités d’analyse (par exemple, groupes de crédit, ménages, organisations commu-
nautaires) et la procédure d’échantillonnage.

6. Choisissez les méthodes de collecte des données (voir module 6). Une révision des indicateurs
peut être nécessaire si les méthodes se révèlent inadéquates.

7. Définissez les formats de traitement des données et choisissez les méthodes d’analyse (voir
modules 6 et 8).

8. Procédez à des essais préalables des indicateurs, des méthodes et de l’analyse des données.
Assurez-vous que les indicateurs sont adéquats et gérables et qu’ils vous procureront les infor-
mations dont vous avez besoin pour répondre aux questions relatives à la performance. Ne sau-
tez pas cette étape. Elle peut vous éviter de gaspiller bien des efforts et des ressources.

Sachez que pour associer plusieurs groupes d’acteurs à l’identification des indicateurs, il faut
prévoir un processus de négociation qui permettra de déterminer ce que la “réussite du projet”
signifie pour chaque groupe. Ce processus de négociation a une importance cruciale puisqu’il faut
ramener des vues et des priorités différentes à un nombre limité d’indicateurs. Assurez-vous que la
participation des bénéficiaires est réelle – et pas seulement symbolique.

Les négociations peuvent renforcer une vision partagée du développement, plus spécialement
quand on travaille avec des groupes très différents. On peut voir là un important avantage de
l’approche participative dans la mise en place du système de S&E.

Rappelez-vous que les indicateurs doivent être mis à jour en permanence, car les politiques de
développement ou les idées que les gens se font du développement évoluent, et les besoins d’infor-
mation changent.

Un bon exemple pour illustrer le lien entre appropriation des indicateurs par les bénéficiaires et
renforcement des capacités de ceux-ci nous vient d’un grand programme exécuté au Népal dans le
domaine de la foresterie. Les partenaires de mise en œuvre ont travaillé avec les groupes d’usagers
de la forêt en utilisant des séries parallèles d’indicateurs. Le personnel du projet a défini une série
d’indicateurs et l’autre a été proposée par les groupes eux-mêmes. Dans une des zones, une
troisième série d’indicateurs a été définie par les femmes à la base. Celles-ci avaient en effet des
préoccupations supplémentaires spécifiques qui n’apparaissaient pas dans la série initiale d’indica-
teurs proposée par les groupes d’usagers de la forêt.

Si vous optez pour l’identification des indicateurs en mode participatif et que votre projet suit une
approche générale participative, vous devrez faire preuve d’une souplesse supplémentaire. Les
projets de ce type débutent en général prudemment par des interventions limitées, basées sur des
diagnostics participatifs ou par des activités de renforcement des capacités. Ce n’est qu’à partir du
moment où les discussions ont abouti à un consensus sur les activités à entreprendre que vous
pourrez passer à l’identification des indicateurs proprement dite. Au cours de la vie de ces projets, il
arrive souvent que de nouveaux partenaires les rejoignent, que de nouvelles idées soient formulées

5-28
GUIDE PRATIQUE DE S &E DES PRO JETS MODULE 5

et que de nouveaux objectifs de développement apparaissent. Chaque innovation oblige à revoir

les indicateurs existants (voir encadré 5-14), comme l’ont montré les projets suivants:

• Dans un projet réalisé par une ONG dans le Nord-Est du Brésil, 17 seulement des 22 indicateurs
initialement choisis faisaient l’objet d’un suivi effectif, certains indicateurs et certaines méthodes
s’étant révélés trop difficiles à mettre en œuvre. Par exemple, l’indicateur “production des plants
de banane où sont appliquées des mesures de lutte contre le charançon comparée à la produc-
tion de parcelles témoins sans mesures de lutte contre le charançon” s’était révélé inapplicable.
Comparer la production de parcelles différentes mettant en jeu de nombreuses variables incon-
trôlables ne permettait pas d’obtenir un résultat fiable.

• Au Népal, il y avait au début très peu de conceptions partagées sur les domaines d’activité essen-
tiels, comme le “renforcement institutionnel” et “la réglementation de la production de bois
d’œuvre”, et les indicateurs étaient de qualité médiocre. Les indicateurs ont gagné en précision
à mesure que les intervenants s’appropriaient les objectifs du projet et accordaient leurs concep-
tions.

Encadré 5-14. Comment concilier la participation au S&E et des indicateurs stables?

Pour ceux qui visent à suivre les évolutions d’indicateurs définis une fois pour toutes, la participation des acteurs risque de poser un
problème. Toute modification apportée à un indicateur réduit la possibilité d’élaborer une série chronologique de données. Cependant, pour
qu’un processus de suivi soit un processus participatif, il faut y associer de nouveaux partenaires à mesure que le projet évolue. Un système
de S&E participatif doit s’adapter à l’évolution des besoins d’information, des compétences de ceux qui sont associés au système et des
niveaux de participation à mesure que de nouveaux partenaires arrivent et que d’autres s’en vont.

5-29
 GUIDE PRATIQUE DE S &E DES PRO JETS MODULE 5

5.6. Possibilité de faire des comparaisons et rôle de

l’information de référence

5.6.1 Nécessité d’une base de comparaison

Le suivi amène à évaluer une situation de façon répétée dans le temps. Le fait de disposer d’une
base initiale de comparaison vous aide à analyser ce qui a changé au cours d’une période donnée et
à comprendre si ce changement est un résultat imputable à la présence du projet. Vous avez donc
besoin d’informations qui vous renseignent sur la situation au départ avant le démarrage de l’inter-
vention. “L’information de référence” est l’expression généralement employée pour désigner ce
type d’informations. C’est l’information de référence qui servira ensuite de base de comparaison.

Une enquête de référence peut aussi aider à reformuler un projet au moment du démarrage. Le
projet PROCHALATE au Salvador a effectué très tôt une enquête de référence qui a permis à
l’équipe de détecter d’importantes divergences entre la situation réelle et les informations utilisées
comme base de diagnostic dans le rapport de préévaluation. Les objectifs de développement du
projet ont été modifiés à partir des nouvelles données.

La plupart des projets ont de grandes difficultés en matière d’information de référence. Rares sont
ceux qui arrivent à disposer des données de base leur permettant d’analyser les changements
induits par l’intervention. Parmi les problèmes rencontrés fréquemment, il y a le fait que les
enquêtes de référence sont réalisées trop tard ou pas du tout; qu’elles sont excessivement détaillées
ou trop générales et non pertinentes; qu’elles reposent sur un échantillon trop large dépassant les
capacités d’analyse de l’équipe du projet ou des partenaires de mise en œuvre; qu’elles ne prennent
pas en compte des échantillons témoins; qu’elles contiennent des données concernant des agricul-
teurs ne faisant pas partie du groupe cible; etc. Bien souvent, les enquêtes de référence ne satisfont
pas leur premier objectif qui est de servir de base aux évaluations, ce qui a pour conséquence
qu’elles sont rarement utilisées lors de la réalisation des évaluations d’impact.

Même si vous n’utilisez pas d’informations de référence, vous aurez besoin de définir des points de
comparaison pour savoir ce que le projet a effectivement permis de réaliser.

Dans les projets participatifs, il faut accorder encore davantage d’attention aux enquêtes de
référence. Ces projets démarrent souvent prudemment par des interventions modestes et diversi-
fiées. Vu les incertitudes initiales quant à leur orientation finale, il leur est difficile de savoir à un
stade précoce de quelles données exactement ils auront besoin pour établir leur référence de base.
Le concept d’enquête diagnostic par génération de villages “entrant au projet” pourrait être utile
(voir infra). D’autres organisations entreprennent des diagnostics participatifs ouverts qui consti-
tuent leur première base d’information de référence et qu’elles complètent par des enquêtes ciblées
une fois qu’elles ont une idée précise des données supplémentaires dont elles ont besoin.

5-30
GUIDE PRATIQUE DE S &E DES PRO JETS MODULE 5

5.6.2 Options pour permettre une analyse comparative

Pour apporter la preuve de l’impact d’un projet, il faut pouvoir comparer situation initiale et
situation résultant du projet. Pour cela, trois options sont possibles:

1. Comparer la différence entre la situation “avant” et “après” le démarrage du projet.

2. Observer les changements intervenus “avec” et “sans” projet. Il s’agit de comparer les change-
ments intervenus à l’intérieur de la zone du projet avec les changements observés dans des loca-
lités analogues en dehors de la sphère d’influence du projet.

3. Comparer les différences entre des groupes analogues – un groupe ayant travaillé avec le projet
et un autre dit “échantillon témoin” qui n’est pas influencé par le projet.

Chaque option a ses avantages et ses inconvénients (voir tableau 5-9). Les trois options peuvent
toutes être utilisées avec ou sans indicateurs préétablis, et selon des approches plus qualitatives ou
plus quantitatives.

Dans le projet TNWP, en Inde, les responsables du projet ont utilisé un échantillon témoin (voir
option 3 au tableau 5-9). Les enquêtes de référence ont porté sur le groupe cible potentiel et sur un
groupe témoin. La sélection initiale des bénéficiaires aux fins de l’enquête de référence a été
effectuée par les ONG locales, et a été suivie d’une enquête auprès de ces bénéficiaires pour vérifica-
tion. L’enquête de référence portant sur le groupe cible et l’échantillon témoin a été complétée par
des données économiques recueillies au cours des trois années de mise en œuvre, sur la base d’un
échantillon, dans des villages des trois districts de la zone du projet.

Tableau 5-9. Avantages et inconvénients de différentes méthodes de comparaison

Méthode de Base de comparaison Avantage Inconvénient

comparaison
Avant/après le projet Changements intervenus au cours • Les moments pour effectuer la • Il faut savoir quels sont les
du temps dans la zone du projet collecte des données sont clai- autres facteurs ayant influencé
rement identifiés le résultat
• Les changements observés
peuvent être difficiles à
expliquer, d’autres facteurs
entrant en jeu
Avec/sans projet Changements observés dans une • Peut permettre d’expliquer plus • Il peut être difficile de trouver
zone géographique où le projet facilement les causes du chan- des zones géographiques
était présent et une autre où il ne gement comparables
l’était pas
Échantillon témoin/ Changements observés dans les • Répond bien à l’aspect impact • Il se pose le problème moral de
Groupe cible groupes ciblés par le projet et sur le groupe cible du projet savoir que certains groupes
dans des groupes analogues non • Peut aider à expliquer les exclus des possibilités de déve-
ciblés causes du changement loppement sont néanmoins
utilisés pour mesurer le chan-
• Le groupe témoin étant dans la gement
même zone que le groupe
cible, le problème des dispa- • On ne peut pas savoir avec
rités dues à des différences certitude si les deux groupes
géographiques ne se pose pas sont comparables
• Des changements apportés au
projet à mi-parcours fausseront
les constatations

5-31
 GUIDE PRATIQUE DE S &E DES PRO JETS MODULE 5

5.6.3 Préparer et utiliser votre information de référence

Étant donné qu’il est possible de réunir toutes sortes d’informations sur une situation donnée et
que les projets ne sont pas toujours clairs au départ quant aux détails de leurs activités, combien de
temps et d’efforts devriez-vous raisonnablement consacrer à l’établissement d’une base d’informa-
tions de référence? La matrice de S&E (voir 5.3) prévoit une étape spécifique où il vous est
demandé de décider si tel ou tel besoin d’information nécessite ou non que soient recueillies des
informations de référence. Vous n’aurez pas besoin d’informations de référence pour toutes les
informations.

Les enquêtes de référence qui vont à l’essentiel sont conçues en fonction de l’objectif – l’état initial
n’est mesuré que pour des aspects clés du projet. Cela implique qu’il faut que leur mise au point ne
débute qu’une fois révisée la matrice du cadre logique du projet. Néanmoins, si le rapport de
préévaluation précise suffisamment clairement les besoins d’information, un projet peut entre-
prendre assez tôt la collecte d’informations de référence. En plus des informations qui ont trait à
votre hiérarchie d’objectifs, vous aurez toujours besoin d’informations complémentaires sur le
contexte du projet pour pouvoir expliquer les changements observés. Si vous avez besoin à la fois
d’informations qualitatives et d’informations quantitatives pour répondre aux questions relatives à
la performance, vous devrez également inclure ces deux types d’informations dans votre enquête
de référence.

Gardez à l’esprit les points suivants quand vous préparez votre enquête de référence:

1. Limitez la collecte des données à ce que vous allez utiliser. Il faut donc que vous sachiez ce que vous
utiliserez. En fait, ne rassemblez que des informations de référence ayant un rapport direct avec
les questions relatives à la performance et les indicateurs que vous avez définis. Ne perdez pas de
temps à collecter d’autres informations.

2. Planifiez votre enquête de référence comme n’importe quelle autre enquête. Comme pour toute opéra-
tion de collecte et d’analyse des données, vous devrez prévoir les phases suivantes une fois que
vous aurez une idée claire de l’information à réunir:

• Cherchez à savoir quelles sont les informations déjà disponibles que vous pouvez utiliser,
et vérifiez leur qualité.
• Cherchez à savoir où vous pourrez trouver l’information.
• Choisissez les méthodes (voir annexe D).
• Décidez quelles sont les ressources nécessaires.
• Décidez qui sera chargé de la collecte, de l’analyse et de l’utilisation des données – et
arrêtez le calendrier de chacune de ces opérations.
• Décidez à quel moment et selon quelles modalités l’information de référence sera révisée
au cours de la durée de vie du projet.

3. Veillez à ce que l’information de référence reste réaliste. L’information de référence ne sera jamais par-
faite. Mais mieux vaut une base de référence de taille modeste mais qui sert, qu’un bilan plus
complet qui prend la poussière sur une étagère.

4. Faites preuve d’imagination dans le choix des méthodes. Les méthodes à employer pour la collecte
des données de suivi sont les mêmes que pour les enquêtes de référence. En fait, elles devraient
être les mêmes pour que les données soient comparables. On peut de façon classique mener une
enquête quantitative ou un diagnostic rural participatif, mais des vidéos et des photos peuvent
être également utilisées. Au Venezuela, le projet PRODECOP a mis en place une base d’informa-
tions de référence participative sous forme de vidéos. Chaque fois que le travail démarrait dans
une nouvelle communauté, l’équipe du projet travaillait avec les résidents de la localité pour pro-
duire un film vidéo illustrant les moyens de subsistance et les niveaux de vie locaux. Trois ans
plus tard, des films vidéo dans les mêmes communautés seront réalisés pour montrer ce qui se
sera amélioré par suite de l’intervention du projet. En Chine, le Programme alimentaire mondial

5-32
GUIDE PRATIQUE DE S &E DES PRO JETS MODULE 5

utilise des photographies des logements des bénéficiaires, prises “avant” et “après” son inter-
vention, pour évaluer l’impact de ses programmes “vivres-contre-travail” sur les participants.
Voir aussi le module 6 et l’annexe D, où sont suggérées d’autres méthodes possibles.

5. Veillez à ce que les problèmes de pauvreté et la problématique hommes-femmes ne soient pas oubliés dans
l’enquête de référence. Le projet PADEMER en Colombie a mené 302 enquêtes par l’intermédiaire
de ses partenaires de mise en œuvre. Le problème de l’équité entre hommes et femmes consti-
tuait une composante importante de l’enquête de référence. L’enquête ne se limitait pas à diffé-
rencier les données de base selon le genre, mais analysait également les disparités entre hommes
et femmes en ce qui concerne, par exemple, la durée de la journée de travail, le temps consacré
aux micro-entreprises rurales et les différences en termes de revenu et d’emploi.

Encadré 5-15. Cartographier les éléments de départ pour servir de base aux futures comparaisons

L’un des projets du Programme bassins versants en Guinée qui visait à la gestion des ressources naturelles selon des modes d’utilisation
durable et équitable par les villages et les communautés rurales de développement a aidé ces communautés à effectuer leurs propres
analyses et à définir leurs priorités de développement. Dans le cadre du diagnostic préalable au projet, les habitants établissent des cartes
détaillées de leur village en y indiquant les ressources disponibles d’après les résultats de leur analyse, les modes d’utilisation et de propriété
de ces ressources, ainsi que les problèmes et les difficultés. Ces cartes détaillées représentent un inventaire des problèmes liés aux ressources
et servent de base pour la préparation des projets villageois. Toutes les activités envisagées sont représentées sur les cartes et comprennent la
conservation des sols et de l’eau, la petite irrigation, la plantation et la protection des boisements, etc. Les cartes restent dans les villages et
sont affichées dans un endroit approprié accessible à tous les membres du groupe. Pendant les réunions et lors des examens du projet, elles
sont utilisées pour suivre les activités du projet et résoudre les problèmes.

L’information de référence n’a d’intérêt que si elle est utilisée. Sinon, ce n’est qu’une perte de
temps. Pour que l’information de référence soit activement utilisée, il faut:

• savoir quand vous devrez passer à la série suivante de collecte des données et qui en sera chargé;

• prévoir un budget adéquat pour toutes les phases ultérieures de la collecte des données que vous
estimez nécessaires pour procéder régulièrement à des comparaisons;

• quand vous disposerez d’une deuxième série de données, prévoir un moment avec ceux que les
données intéressent pour comparer l’information, analyser les constatations et, le cas échéant,
convenir des mesures correctives nécessaires.

5.6.4. Alternatives possibles aux enquêtes de référence de type courant

Les responsables de nombreux projets estiment qu’il est difficile de conduire une enquête de
référence de façon satisfaisante et dans les délais voulus. Il n’est donc pas surprenant que le recours
aux enquêtes de référence soit de plus en plus contesté. Quelques alternatives aux enquêtes de
référence de type courant sont en train d’être développées.

1. Prendre comme point de départ les premières mesures effectuées. Une variante possible consiste à
déterminer s’il y a eu amélioration ou recul par rapport aux premières mesures effectuées ou par
rapport à une situation souhaitée, qui est votre objectif.

2. Établissement de descriptifs à partir d’enquêtes de référence calées sur les années d’”adhésion” au projet
des communautés ou organisations bénéficiaires. Cette variante implique que l’information de réfé-
rence dont on a besoin pour établir les descriptifs requis ne soit pas recueillie en une seule fois
l’année de démarrage du projet, mais progressivement à mesure que des groupes de villages, des
districts ou des institutions de microfinance “entrent” ou “adhérent” au projet (ou sont sélec-
tionnés par ce dernier). Cette notion d’enquête de référence “par génération de bénéficiaires”
représente une option intermédiaire entre une enquête de référence complète et une évaluation
d’impact entièrement rétrospective. Notez qu’il peut s’avérer nécessaire de compléter les infor-
mations provenant d’une enquête de référence de ce type par des informations sur le contexte
général.

5-33
 GUIDE PRATIQUE DE S &E DES PRO JETS MODULE 5

3. Utilisation optimale de la documentation existante. D’autres encore résolvent les problèmes de l’in-
formation de référence en obtenant un descriptif de la situation initiale à partir de la documen-
tation existante, méthode qui ne nécessite pas la collecte de données sur le terrain. (voir encadré
5-16).

Encadré 5-16. Une approche originale pour la collecte de données de référence dans un projet de réduction de la pauvreté
en milieu pastoral au Kenya 7

Dans le nord-est du Kenya, le projet de développement pastoral du Wagir a débuté par une série de diagnostics ruraux participatifs conduits
de façon intensive avec les communautés afin de déterminer la finalité et la stratégie du projet. Il avait été d’abord envisagé de recueillir des
informations de référence qui serviraient de point de comparaison pour évaluer ensuite tous les aspects du projet. Mais après réflexion, les
responsables du projet ont eu des doutes: ne seraient-ils pas en train d’utiliser les éleveurs comme sources d’information plutôt que de leur
donner un rôle de véritables acteurs du projet? Trop de place ne serait-elle pas accordée aux données quantitatives? Les aspects qualitatifs ne
seraient-ils pas laissés de côté et la nature participative du projet compromise? Au lieu de cela, le projet a donc:
• combiné les conclusions des premiers diagnostics ruraux participatifs avec celles de diagnostics ultérieurs analogues dans un “document
de base” auquel avaient été intégrées des données de sources secondaires afin de placer ces perspectives dans un contexte plus large;
• mis en place avec les communautés plusieurs systèmes participatifs afin de suivre en continu différents aspects du projet;
• conduit une évaluation d’impact participative d’indicateurs clés choisis par les éleveurs eux-mêmes;
• régulièrement suivi sur une longue période un échantillon aléatoire de ménages pour appréhender les changements en cours dans la
situation des ménages et analyser ce qui pouvait être imputé aux activités du projet.

Sans recourir à une enquête de référence de type courant, le système de S&E du projet faisait ainsi appel à un éventail de méthodes suffi-
samment large pour permettre l’interprétation des changements en matière de développement et du rôle du projet dans ceux-ci. De plus,
les processus renforçaient, au sein de l’organisation chargée de la mise en œuvre (OXFAM) et dans les associations d’éleveurs, le sens d’une
responsabilité commune pour la réalisation des objectifs du projet.

5-34 7 Action Aid. 2000. ALPS: Accountability, Learning and Planning System. Londres: Action Aid.
GUIDE PRATIQUE DE S &E DES PRO JETS MODULE 5

5.7. Actualiser vos besoins d’information et vos indicateurs

Il faut, comme pour les autres aspects du S&E, mettre à jour vos besoins d’information et vos indi-
cateurs. Cette mise à jour est indispensable, ne serait-ce que parce qu’un projet évolue.

Pour évaluer périodiquement un indicateur, demandez-vous simplement, “Qui utilise (ou va

utiliser) l’information?” Si personne ne l’utilise, abandonnez l’indicateur ou modifiez-le. Si vous
détectez des lacunes importantes, comblez-les en vous demandant de quelles informations vous
avez besoin.

La mise à jour est également indispensable dans les variantes plus nettement participatives de S&E,
car les personnes impliquées sont seulement en train de découvrir ce qu’est le S&E à mesure
qu’elles le mettent en pratique. Au début, rares sont ceux qui savent ce qui fait qu’un indicateur est
approprié ou pas, quelles méthodes existent et lesquelles sont les meilleures, à quels intervalles les
données devraient être recueillies et quelles sortes d’informations seront vraiment utiles.

Dans les projets participatifs, les indicateurs varieront également en raison des différences entre
localités et à mesure que les groupes évoluent. Au Zimbabwe, un projet de développement de l’irri-
gation utilise une série d’indicateurs de base pour l’ensemble des 36 périmètres d’irrigation. À cela
s’ajoutent des indicateurs supplémentaires et plus spécifiques pour chaque périmètre, selon que les
agriculteurs le jugent nécessaire et selon le rythme de développement du périmètre.

En révisant et en remaniant votre liste de besoins d’information et d’indicateurs, vous vous doterez
d’un système de S&E de plus en plus pertinent et viable.

5-35
 GUIDE PRATIQUE DE S &E DES PRO JETS MODULE 5

Lectures complémentaires

Germann, D., Gohl, E. et Schwarz, B. 1996. Participative Impact Monitoring. Stuttgart: FAKT. Pochette de quatre ouvrages disponibles
en anglais (nombre limité d’exemplaires gratuits pour le Sud). Les brochures 1 et 2 sont également disponibles en français et en
portugais. Pour commander, s’adresser à: [email protected] ou à FAKT GmbH, Gänsheidestr. 43, D-70184 Stuttgart, Allemagne.

MacGillivray, A., Weston, C. et Unsworth, C. 1998. Communities Count! A Step-by-Step Guide to Community Sustainability Indicators. Londres:
NEF. Télécharger à: http://www.neweconomics.org/ (Chercher l’expression “communities count” et vous serez dirigé sur le lien).

Morgoluis, R. et Salafsky, N. 1998. Measures of Success: Designing, Managing, and Monitoring Conservation and Development Projects.
Washington, DC: Island Press. Pour commander, s’adresser à: http://www.islandpress.org/books/

Oakley, P., Pratt, B. et Clayton, A. 1998. Outcomes and Impact: Evaluating Change in Social Development. Oxford: INTRAC. Pour commander,
s’adresser à: [email protected] ou INTRAC, P.O. Box 563, Oxford, OX2 6RZ, Royaume-Uni.

Sites Internet consacrés aux indicateurs: http://www.sustainablemeasures.com/. Note. Ce site détaillé concerne essentiellement les indicateurs
applicables au Nord et leur utilisation pour l’évaluation de la durabilité.

Liste des fascicules du guide

Module 1. Présentation du guide Annexe A. Terminologie du suivi-évaluation

Module 2. Utiliser le suivi-évaluation pour une gestion orientée vers l’impact Annexe B. Exemple annoté de matrice du cadre logique
d’un projet (concerne le module 3)
Module 3. Lier la conception des projets, la programmation annuelle
et le suivi-évaluation Annexe C. Exemple annoté de matrice de suivi-évaluation
(concerne le module 5)
Module 4. Concevoir et mettre en place le système de suivi-évaluation
Annexe D. Méthodes et outils de suivi-évaluation
Module 5. Choisir ce qu’il faut suivre et évaluer
(concerne les modules 3, 6 et 8)
Module 6. Collecter, gérer et communiquer l’information
Annexe E. Modèles de profils de poste et de termes de
Module 7. Mobiliser les capacités nécessaires et assurer des conditions de référence pour les principales tâches de suivi-
fonctionnement optimales évaluation (concerne le module 7)
Module 8. Organiser la réflexion critique pour améliorer l’action

5-36