About the Author(s)


Urbain B. Tsala Email symbol
Cameroon Development Evaluation Association (CaDEA), Yaoundé, Cameroon

African Evaluation Association (AfrEA), Afrique Centrale, Yaoundé, Cameroon

Département de Sociologie, Université de Yaoundé, Yaoundé, Cameroon

Citation


Tsala, U.B., 2019, ‘La Chaîne des Résultats et la Théorie du Changement pour améliorer le cadre conceptuel d’une évaluation d’impact’, African Evaluation Journal 7(1), a277. https://doi.org/10.4102/aej.v7i1.277

Original Research

La Chaîne des Résultats et la Théorie du Changement pour améliorer le cadre conceptuel d’une évaluation d’impact

Urbain B. Tsala

Received: 19 Aug. 2017; Accepted: 01 Dec. 2018; Published: 18 July 2019

Copyright: © 2019. The Author(s). Licensee: AOSIS.
This is an Open Access article distributed under the terms of the Creative Commons Attribution License, which permits unrestricted use, distribution, and reproduction in any medium, provided the original work is properly cited.

Abstract

Contexte: Le présent article s’inscrit dans le contexte africain où la lutte contre la pauvreté est une récurrence et les projets de développement n’arrivent pas toujours à produire l’incidence positive, que l’on est en droit d’espérer, sur les conditions et le cadre de vie des populations.

Objectif: Cet article a pour objectif de contribuer de manière significative à la vulgarisation et à l’amélioration de la pratique de l’évaluation en Afrique.

Méthode: L’auteur est parti de son expérience, et s’est concentré sur les problèmes et défis qui semblent caractériser les pratiques dans ce domaine. Par la suite, l’auteur a cherché dans la littérature non seulement des explications aux défis identifiés pendant la première partie de l’investigation, mais aussi et surtout des pistes de solutions pour en venir à bout afin que les projets de développement aient l’impact que l’on est en droit d’en attendre. Cette approche a conduit l’auteur à explorer deux outils théoriques : la chaîne des résultats et la théorie du changement.

Résultat: L’article montre que ces deux outils, lorsqu’ils sont utilement conçus au moment de la phase conceptuelle du projet ou du programme, ils permettent véritablement de prendre en compte l’impact, et par là même de procéder à des ajustements conséquents pendant la phase de mise en œuvre.

Conclusion: Cet article ouvre enfin sur un vaste chantier qui concerne la mise en œuvre d’outils stratégiques et opérationnels innovants qui sont censés promouvoir un plus grand impact” des projets et des programmes de développement en Afrique.

Mots clés: sciences sociales ; management ; projets ; suivi-évaluation, théorie du changement, chaîne de résultats, gestion de projet, impact, résultat, effet.

Abstrait

Results Chain and Theory of Change to improve the conceptual framework of an impact assessment

Background: This article describes the African context where the fight against poverty is continuous and development projects do not always produce the expected positive impact on the living conditions and environment of the populations.

Objectives: The article aims to provide significant contribution to the extension and improvement of evaluation practice in Africa.

Method: Author started from his professional experience, and focused on the problems and challenges that seem to characterise practices in this area. He subsequently carried out a literature review not only to find explanations for the challenges identified during the first part of the investigation, but also, and above all, to come up with possible solutions to overcome these challenges so that development projects can produce their expected impact. This approach led the author to two theoretical tools: results chain and theory of change.

Results: The article show that these tools when usefully designed at the conceptual phase of the project or program, they can go a long way in mainstreaming the impact, leading to substantial adjustments during the implementation phase.

Conclusion: The article opens up a vast project for the implementation of strategic and innovative operational tools to make sure development projects and programs produce the expected impact in Africa.

Keywords: social sciences; management; projects; monitoring-evaluation, theory of change, results chain, project management, impact, result, effect.

Introduction : Problématique des évaluations d’impact

L’évaluation pose des questions très précises par rapport à la conception du projet, à sa mise en œuvre, aux produits et aux effets obtenus ainsi qu’aux changements durables induits. Une étude réalisée en 1997 par le Comité d’Aide au Développement de l’Organisation de Coopération et de Développement Économique (CAD-OCDE) a montré que « la plupart des évaluations des actions menées par les Organisations de Solidarité Internationale (OSI) sont trop qualitatives, tournées vers l’efficience et trop peu centrées sur l’impact » (Graugnard, G et Heeren N, 1999). Dans la pratique, les évaluations finales de plusieurs projets confirment très souvent que les objectifs fixés ont été atteints et aussi que la viabilité des actions engagées est assurée (Banque Mondiale, 2000). Pourtant, dans de nombreux cas, les résultats atteints au terme de l’intervention disparaissent rapidement quelques temps après la fin de celle-ci (PNUD, 2002).

Il s’observe généralement que les pratiques et les modes de fonctionnement pourtant efficaces mis en place par les projets sont progressivement abandonnés, les bâtiments désaffectés, les équipements techniques inutilisés et souvent hors d’usage. Graugnard and Heeren (1999) ont interprété ces défaillances comme le résultat de plusieurs facteurs y compris les suivants : (1) les interventions sont conçues et mises en œuvre pour produire des résultats immédiats, mais ces derniers ne permettent pas toujours de créer les conditions d’un changement durable ; ou (2) les évaluations restent trop centrées sur la capacité d’un projet ou d’un programme à atteindre les objectifs fixés dans le cadre logique, et ne réussissent pas suffisamment à capturer les changements réels induits par l’action. Dans le cadre du présent article, un accent particulier sera mis sur le deuxième facteur.

Dans la pratique, on observe aussi que les évaluations post-projets sont de plus en plus rares. La raison qui est le plus souvent invoquée par les organismes de financement est que ces évaluations sont un luxe, donc ne sont pas nécessaires1. Par conséquent, il existe peu de preuves réelles de mesure d’impact et de durabilité à long terme. Une étude comparative d’évaluations d’impact de huit (08) projets et post-projets réalisée par Valuing Voices2 a montré que les évaluations post-projets avaient une plus-value certaine. En effet, cette étude révèle, entre autres, que ces évaluations peuvent contribuer à une meilleure compréhension de l’impact et de la durabilité et produire des résultats inattendus et émergents (ce qui a émergé après la mise en œuvre) des années après la clôture du projet. Plus important, elles indiquent comment on peut concevoir et mettre en œuvre un projet pour un meilleur impact et une durabilité assurée. Les évaluations d’impact permettent aussi de mettre en évidence les avantages de la planification de la mesure de la durabilité et d’impact dès le début du projet, voire à partir de sa phase conceptuelle. L’étude de Valuing Voices a ainsi permis de mettre au point une liste de contrôle de l’évaluation, un outil parmi tant d’autres, permettant de mesurer la durabilité et l’impact dès le début du projet. Ce qui participe de la recherche des voies et moyens permettant d’améliorer le cadre conceptuel d’évaluation d’impact.

Les politiques, programmes et projets de développement sont généralement conçus pour améliorer les résultats, par exemple, pour augmenter les revenus, faciliter l’apprentissage ou faire reculer le taux d’ incidence d’ une certaine maladie. Savoir si les changements espérés se sont effectivement produits ainsi que leur durabilité est une question de politique publique importante, et pourtant rarement considérée. L’évaluation d’impact permet de prendre en compte cette préoccupation. Ce type particulier d’évaluation porte sur des relations de cause à effet et amène à apporter des réponses précises aux questions fondamentales telles que : (1) Quels changements peuvent être attribués spécifiquement au projet ? (2) Le projet a-t-il généré des changements susceptibles de lui être attribués? (3) Les conditions de réalisation d’une bonne évaluation d’impact ont-elles été abordées depuis la conception du projet ? (4) Sinon, comment prendre en compte l’impact dans la gestion du projet depuis sa conception ?

La mise en place d’une démarche de mesure d’impact permet de mieux appréhender les changements intervenus et en relation avec la mise en œuvre d’une activité, de nourrir le dialogue et la communication auprès des parties prenantes et d’accompagner la prise de décision. Cependant, de nombreuses évaluations d’impact font le plus souvent face à des difficultés qui tiennent à une insuffisance ou à l’absence d’un cadre conceptuel bien pensé et bien formalisé de mesure des changements attendus de la mise en œuvre d’un projet/programme, d’une politique publique, etc. Dans ces conditions, plusieurs missions d’évaluations mi-parcours et/ou finales se retrouvent à reconstituer le cadre conceptuel de l’évaluation d’impact a posteriori en vue de rendre possible la mesure des changements intervenus à la suite de la mise en œuvre du projet/programme ou de la politique publique. Le présent article voudrait anticiper sur cette difficulté éventuelle en proposant l’élaboration d’un cadre conceptuel de mesure d’impact à partir de deux outils méthodologiques complémentaires : la chaîne de résultats et la théorie du changement. Outre l’introduction et la conclusion, l’article est articulé autour de quatre sections : la première section apporte des précisions sur la notion d’impact ; la deuxième section propose quelques éléments constitutifs du cadre conceptuel de mesure d’impact ; enfin, les troisième et quatrième sections présentent les deux outils complémentaires, à savoir la chaîne de résultats et la théorie du changement qui permettent d’anticiper sur l’impact.

Comprendre la notion d’impact

Pour bien comprendre la notion d’impact, il importe de la situer par rapport aux concepts voisins de résultat et d’effet. D’où la nécessité de les délimiter.

Les termes résultat, effet et impact sont trois notions différentes d’une chaîne de résultats qui, dans l’usage donnent lieu à une grande diversité d’interprétations, créant ainsi une difficulté réelle à identifier exactement ce qu’est l’impact. Toutefois, il existe quelques nuances qui permettent de les délimiter.

ENCADRE N°1: La notion de «Résultat», source de confusion !

Le terme ‘résultat’ est utilisé à la fois au deuxième et au troisième niveau de la hiérarchie des objectifs ; à l’objectif spécifique correspondent des indicateurs de résultat et au niveau des résultats correspondent des indicateurs de réalisation directes…

Source : Commission européenne – Lignes directrices – gestion du cycle de projet, 2004 http://ec.europa.eu/europeaid/multimedia/publications/documents/tools/europeaid_adm_pcm_guidelines_2004_fr.pdf

La notion de résultat

De manière générale, les résultats sont l’expression d’un ensemble de changements à la fois qualitatifs et quantitatifs induits directement par la mise en œuvre des activités d’un projet. En étroite relation avec les objectifs du projet, ils sont clairement établis dans les documents du projet. Le terme en lui-même est porteur de confusion à cause de la hiérarchisation3 des résultats qui apparaît dans la conception des projets. Par ailleurs, selon que l’on se situe dans le domaine de la planification des projets ou de l’évaluation, cette terminologie peut revêtir une signification différente. En planification, il désigne le plus souvent le premier niveau d’objectifs de la matrice du cadre logique, celui des produits ou réalisations attendues. En évaluation des projets, il désigne parfois les effets (outcomes) obtenus au niveau de l’objectif spécifique (purpose). C’est pour cette raison que certaines institutions comme le Fonds International pour le Développement Agricole (FIDA) utilisent très peu ce terme, sauf dans un sens générique. Pour d’autres auteurs comme Judy L. Baker, « les résultats sont les conséquences ou changements directement attribuables aux activités du projet » et ceux-ci peuvent être mesurés au niveau des intrants, des extrants, des objectifs et du but du projet4.

La notion d’effet

Un « effet » est « ce qu’une action de développement doit accomplir ou a accompli à court ou à moyen terme ». Il s’agit des changements tangibles sur les plans comportemental, institutionnel et social qui surviennent sur une période de trois à dix ans, généralement à la suite d’investissements coordonnés à court terme, faits dans le renforcement des capacités individuelles et organisationnelles des principaux acteurs (Glossaire Comité d’aide au développement de l’Organisation de coopération et de développement économiques [CAD/OCDE], 2002 CAD/OCDE, 2002). En règle générale, les effets conjuguent les réalisations du projet et lesdynamiques ou contraintes issues du milieu dans lequel se déroule le projet qui fait l’objet d’une evaluation. Contrairement aux produits qui sont relativement faciles à prévoir dans le cadre de la conception du projet, les effets quant à eux sont relativement difficiles à esquisser. Toutefois, avec un peu d’expérience, on peut y arriver, mais avec une marge d’incertitude liée aux objectifs propres des bénéficiaires et des stratégies à mettre en œuvre pour y parvenir. Les effets couvrent un champ plus large que celui prévu par le projet et celui-ci augmente avec le temps. Ils concernent une population plus large que le public cible et couvrent des domaines d’activités plus nombreux que ceux prévus au départ.

Notion d’impact

Selon l’OCDE5, l’impact est généralement défini comme l’ensemble des changements qui découlent directement ou indirectement d’une action. Cette analyse peut concerner l’individu, sa famille, une entreprise ou l’environnement local ou national, en fonction de plusieurs domaines (économique, social, anthropologique, sanitaire, etc.). La mesure de l’impact est généralement rattachée à un domaine précis, aux objectifs et aux intérêts des différentes parties prenantes. L’impact d’un projet qualifie généralement l’ensemble des changements induits par les réalisations. Pour les bénéficiaires d’un projet, il représente les changements intervenus dans leurs conditions de vie tels qu’eux-mêmes et leurs partenaires les perçoivent ainsi que tout changement durable dans leur environnement auquel le projet aura contribué, qu’il soit positif, négatif, voulu ou imprévu. On parle souvent d’impact d’un projet en référence à l’objectif général ou finalité, c’est-à dire au niveau le plus élevé de la hiérarchie des objectifs.

Dans la littérature et dans la pratique, plusieurs débats ont cours sur la notion d’impact et la manière d’en rendre compte. Certains auteurs assimilent l’évaluation d’impact à une forme expérimentale fondée sur le principe de la constitution d’un ou plusieurs groupes dits « expérimentaux » (ou de traitement) et d’un groupe dit de « contrôle » (formé de façon aléatoire)6. Cette approche dont l’objectivité reste toutefois discutable, appelée Essai Contrôlé Randomisé (ECR) est fondée sur les principes de randomisation et d’échantillonnage aléatoire7. Une fois fixée la durée d’une intervention quelconque et identifiée la période nécessaire pour que les résultats attendus se produisent, une ECV compare les effets observés parmi les différents groupes (traitement et contrôle) en vue d’isoler l’effet lié à l’intervention. Finalement, l’ECR consiste à évaluer au moyen d’un ensemble d’indicateurs préétablis, la capacité du projet ou plus généralement d’une intervention, à atteindre ou non ses objectifs. Cette approche présente l’avantage d’établir solidement des liens de cause à effets permettant de relier le résultat obtenu à l’intervention.

Plus généralement, le terme impact est constitutif d’une diversité d’éléments qui invite à une classification en tiroirs8.

Ainsi, dans cette logique des tiroirs, on peut retenir la définition suivante:

« L’impact d’une action de développement, c’est la situation issue de l’ensemble des changements significatifs et durables, positifs ou négatifs, prévus ou imprévus, dans la vie et l’environnement des personnes et des groupes et pour lesquels un lien de causalité direct ou indirect peut être établi avec l’action de développement9 ».

Il est à remarquer que dans la conception d’un projet ou d’un programme, prévoir l’impact présente encore plus de difficultés que d’anticiper les effets tant et si bien que de nombreux facteurs indépendants du projet sont susceptibles de se combiner avec les résultats et les effets de l’action.

Éléments constitutifs du cadre conceptuel de mesure d’impact

Le cadre conceptuel de la mesure d’impact d’un projet/d’un programme/d’une politique publique devrait normalement se construire à la phase de son élaboration pour anticiper les difficultés qui apparaissent très souvent à l’occasion des évaluations mi-parcours et finales. Il s’agit donc ici de mettre en place toutes les conditions nécessaires à la réalisation future de l’évaluation d’impact.

ENCADRE N°2: Un impact ou plusieurs impacts pour une même action de développement?

L’évaluation d’impact (mi-parcours ou ex-post) doit répondre à la question fondamentale suivante : quels changements significatifs durables, positifs ou négatifs, prévus ou imprévus dans la vie des principales cibles et dans leur environnement, avec un lien de causalité direct ou indirect avec l’action menée, sont observables ou en bonne voie d’être réalisés? Au stade de la conception du cadre d’évaluation d’impact (ex-ante), il est relativement moins, du moins pour le commun des mortels, de prévoir les changements qui n’auront pas de lien de causalité avec l’action. D’où la question fondamentale se focalisera sur les prévisions de changements durables, positifs ou négatifs dans la vie et l’environnement des cibles, justifiant d’un lien de causalité direct ou indirect avec l’action envisagée.

Le cadre conceptuel de l’évaluation d’impact sera construit autour de cinq questions auxquelles il faudra apporter des réponses claires et pertinentes (Tableau 1).

TABLEAU 1: Définition de la notion d’impact sous forme de tiroirs.

Le tableau ci-dessous peut résumer le cadre conceptuel de mesure d’impact.

Il faut noter que le dispositif/système de suivi et d’évaluation intègre tous les éléments cités en amont. Dans le cadre du présent article, les développements qui suivent ne vont pas porter une attention particulière sur cet outil. Avant d’aborder les aspects relatifs au changement, à la chaîne de résultats et aux indicateurs, intéressons-nous à la mesure d’impact. Dans l’élaboration du cadre conceptuel de mesure d’impact, il sera toujours judicieux de préciser à quel niveau on souhaiterait mesurer ou apprécier les changements induits par l’action. Et à ce propos, on peut assez facilement distinguer différentes échelles de mesure d’impact : échelle individuelle ou « micro », échelle « méso » et échelle « macro ».

TABLEAU 2: Cadre conceptuel de mesure d’impact.
L’échelle micro

Dans la plupart des évaluations pour lesquelles l’échelle de mesure d’impact est clairement précisée: il s’agit de la dimension microéconomique/microsociale, celle des individus, des ménages et des entreprises. L’unité « ménage » est alors privilégiée afin de disposer d’un système bien identifié au plan comptable permettant une mesure aisée de l’impact. Dans un nombre de cas au moins aussi nombreux, c’est l’individu qui est privilégié comme unité d’analyse, notamment en tant que client. Cette option convient autant à l’approche marketing de l’impact qu’à l’étude de l’impact social.

L’échelle méso

L’échelle méso économique ou méso sociale est adoptée d’une façon intéressante par certains auteurs, en complément de l’échelle micro. Il s’agit par exemple d’étudier l’impact ou le changement sur les différents partenaires de l’action envisagée à l’échelle géographique.

L’échelle macro

Il s’agit d’un niveau plus grand, à l’échelle nationale par exemple sur le plan macroéconomique, justifié par un poids important dans les agrégats macroéconomiques.

Le cadre théorique du changement pour envisager la mesure d’impact

Généralités sur la théorie du changement

« Une théorie du changement (ToC) est une vision explicitement documentée (et donc évaluable) de la façon dont on pense que le changement induit par un projet ou programme doit se produire. Une ToC peut être définie de différentes façons, allant des plus générales aux plus précises. Les plus précises impliquent la définition de multiples étapes ; elles ont plus de valeur en tant que guide pour la mise en œuvre de projets et sont plus faciles à évaluer. Mais les plus génériques peuvent aussi avoir des implications très utiles » (Davies, Monitoring the KCPP, 2008). Une revue sur la ToC, réalisée par Comic Relief, définit la ToC comme étant « Un processus continu de réflexion visant à étudier le changement en profondeur, y compris comment il se produit – et ce que cela signifie pour ce à quoi contribuent les organisations dans un contexte, un secteur particulier et/ou un groupe de personnes ». (Theory of change review. A report commissioned by Comic Relief, Cathy James, Sept. 2011, Page 2)

ENCADRE N°3: Cas illustratif de délimitation de l’échelle de mesure d’impact: Cas du PADFA au Cameroun.

Ce cadre conceptuel a été développé par Rick Davies pour aider à déterminer quel changement social on souhaite voir produire une action (projet/programme, etc.) et pourquoi. C’est en quelque sorte votre feuille de route vers le changement.

Une théorie du changement permet d’apporter des réponses précises et pertinentes aux questions suivantes:

  • Quel est le type d’impact ou d’effet général qu’on souhaite produire à travers l’action envisagée ?
  • Quels sont les types d’effets spécifiques souhaités, en fonction des personnes ou des publics ciblés ?
  • Quels sont les moyens par lesquels on souhaite voir produire ce changement ?
  • Quels sont les moyens par lesquels on souhaite mesurer et/ou apprécier notre degré de réussite ?

Ces questionnements constituent l’architecture d’une théorie de changement, laquelle aidera à organiser les différents aspects du projet/programme ou de la politique publique, tout en guidant les actions.

Ci-dessous une illustration, sous forme d’encadré, d’exemples de questions formulées par la Fondation canadienne Filles d’Action http://www.girlsactionfoundation.ca/ dans le cadre de l’élaboration de sa théorie de changement.

ENCADRE N°4: Exemples de questions formulées par la Fondation filles d’action Canada dans le cadre de l’élaboration de sa théorie de changement.
Comment concevoir votre théorie du changement

Nous présentons ci-dessous un schéma détaillé pouvant servir de guide et aider à concevoir et à visualiser sa propre théorie du changement en expliquant plus spécifiquement chacune de ses composantes. Le Tableau 3 ci-dessous qui illustre le cas de la « Fondation Filles d’Action Canada » complète cette présentation théorique.

TABLEAU 3: Cadre conceptuel de la Théorie du Changement.
L’énoncé de la vision

C’est une courte description du monde que l’on souhaite créer par le biais de la mise en place de l’action envisagée. Cette vision devrait être décrite en termes généraux pour donner une vue d’ensemble. Il s’agit d’une description générale des effets à long terme que l’on souhaite provoquer avec l’action envisagée.

Énoncer les besoins

La décision de mettre en œuvre une action fait généralement suite à l’identification d’un besoin qui doit être clairement énoncé. En expliquant clairement le besoin auquel l’action envisagée est appelée à répondre, on parvient aisément à justifier l’énoncé de la vision, à évoquer les postulats sur lesquels le travail sera fondé et à légitimer les approches et méthodes nécessaires pour générer le changement. Dans la plupart des cas, la formulation du besoin devrait s’appuyer sur des études, des exemples concrets ou des témoignages. Le besoin auquel on tente de pallier devrait également être reflété dans la section des résultats que l’on souhaite atteindre.

Postulats/hypothèses

À partir du besoin cerné et de l’énoncé de la vision, il est fort probable qu’une idée des meilleurs moyens pour accomplir le changement souhaité aide à formuler des hypothèses pour y parvenir. Ce sont les prémisses, les enseignements et les réflexions qui permettent de penser au moyen de produire le changement.

Les limites ou les défis

Il est possible qu’il soit décidé d’ajouter une courte description des limites et des défis qui s’opposent à l’action envisagée, selon le contexte dans lequel on évolue.

Exemples: le financement instable et/ou à court terme complique le travail en faveur du changement social ; la population jeune change sans arrêt ; ou encore, les politiques gouvernementales concernant les enjeux touchant spécifiquement les femmes sont difficiles à influencer.

ENCADRE N°5: Exemple d’objectif : cas de la Fondation filles d’action Canada.
Approches ou cadres théoriques

Il s’agit de l’approche ou de la théorie approuvée qui appuiera les hypothèses et qui aidera à l’élaboration des méthodes et objectifs. Exemple : une approche ou un cadre théorique d’un projet fondé sur cinq principes fondamentaux tel que l’éducation populaire : l’éducation populaire, l’analyse féministe intégrée, l’action et les changements sociaux, les forces des filles et une approche organique.

Méthodes ou objectifs

Les méthodes ou objectifs sont les moyens que l’on met en œuvre pour répondre au besoin cerné. La façon de procéder est déterminée par l’approche retenue. Il s’agit essentiellement du résumé des objectifs de l’action envisagée.

Résultats ou changements

Il est aussi utile de réfléchir sur les effets qu’auront les activités à mener dans le cadre du projet/programme. Un programme donné peut avoir un large éventail de résultats et apporter plusieurs avantages aux bénéficiaires directs ou indirects qui sont visés ou impliquées dans la mise en œuvre du projet/programme. Les résultats sont alors projetés à court, à moyen et à long terme.

La chaîne des résultats pour envisager la mesure d’impact

Compréhension de la notion de chaîne des résultats

Selon le glossaire publié en 2002 par le CAD/OCDE en page 33, la chaîne de résultats est une

« suite de relations de cause à effet qui mènent d’une action de développement à l’atteinte des objectifs. La chaîne des résultats commence par la mise à disposition des ressources (intrants), se poursuit par les activités et leurs extrants. Elle conduit aux effets (réalisations) et aux impacts et aboutit à une rétroaction ».

La chaîne de résultats est une représentation logique et plausible de la manière dont une séquence d’intrants, d’activités et d’extrants produits par un projet entre en interaction avec le comportement des bénéficiaires pour réaliser un impact donné. Elle est un outil qui établit une logique causale du début à la fin du projet, depuis la mise à disposition des ressources jusqu’aux objectifs à long terme. Cette chaîne est généralement composée des éléments suivants :

  • Intrants : ressources dont dispose le projet, y compris le personnel et le budget
  • Activités : actions entreprises ou travaux réalisés pour transformer les intrants en extrants
  • Extrants12: biens et services tangibles produits par les activités du projet (les extrants sont sous le contrôle direct de l’agence chargée de l’exécution du projet)
  • Résultats intermédiaires (effets) : résultats susceptibles d’être atteints lorsque la population bénéficiaire utilise les extrants du projet (résultats généralement atteints à court et moyen terme)
  • Résultats finaux (impact) : objectifs finaux du projet (ils peuvent subir l’influence de nombreux facteurs et sont généralement atteints à plus long terme).

Une fois fixée la finalité de ces activités, leur impact va donc s’apprécier à travers les changements qui sont en rapport avec elle. Ceci pour dire que l’impact d’un projet mesure les changements intervenus dans la vie des bénéficiaires auxquels le projet a contribué (changements induits par les réalisations). Pour atteindre la finalité du projet, on met en œuvre un certain nombre d’activités concrètes, mais celles-ci n’ont pas d’impact direct par elles-mêmes.

La terminologie utilisée pour désigner les différents éléments de la chaîne des résultats varie sensiblement selon les différentes agences de coopération, au risque de s’y perdre. Nous présentons ci-dessous quelques modèles pertinents : FIDA, CAD/OCDE, UE, ACDI et PNUD.

Terminologie et définitions du FIDA

Le FIDA a mis en place en 2003 un ‘Système de Gestion des Résultats et de l’Impact’(SYGRI). Le ‘Manuel des résultats de premier et deuxième niveau’ (2007) propose une hiérarchie des résultats utilisés. Elle est schématisée ainsi que l’illustre la Figure 1 ci-dessous.

FIGURE 1: Chaîne des résultats : Modèle du FIDA13.

Terminologie et définitions Comité d’aide au développement de l’Organisation de coopération et de développement économiques

Selon le glossaire publié en 2002 par le CAD/OCDE la chaîne des résultats peut être reconstituée comme l’illustre la Figure 2 ci-dessous.

FIGURE 2: Chaîne des résultats : Modèle CAD/OCDE.

Dans le Document de référence ‘Les bonnes pratiques émergentes pour une gestion axée sur les résultats de développement’ (3ème édition) un schéma présente ainsi la chaîne de résultats.

Cette nouvelle présentation n’apporte pas de changements très significatifs. On peut toutefois remarquer que : le terme ‘intrants’ supplante le terme ‘ressources’; le terme ‘effets’ supplante le terme ‘réalisations’ et ce niveau est plus nettement scindé entre les ‘effets à court terme’ et les ‘effets à moyen terme’.

Terminologie et définitions de la Commission européenne

A la Commission européenne la terminologie varie selon les sources utilisées. Le site web de l’Unité Évaluation (http://ec.europa.eu/europeaid/evaluation/methodology/glossary/glo_fr.htm) présente un glossaire mettant en évidence quelques écarts avec les concepts du CAD, surtout par rapport aux trois niveaux d’objectifs les plus élevés, qualifiés d’effets (Figure 3).14

FIGURE 3: Chaîne des résultats: Modèle simplifié de l’UE14.

Terminologie et définitions de l’Agence Canadienne de Développement International

L’Agence Canadienne de Développement International (ACDI), précurseur de la Gestion Axée sur les Résultats (GAR), a révisé en 2008 sa chaîne des résultats ainsi que les définitions y relatives. Ainsi, la chaîne de résultats (modèle logique) est définie comme « La relation déterminante ou logique entre les intrants, les activités, les extrants et les résultats d’une politique, d’un programme ou d’une initiative donnée ». Elle est illustrée par les deux Figures 4 et 5 ci-dessous.

FIGURE 4: Chaîne des résultats : Modèle de l’ACDI15.

FIGURE 5: Chaîne des résultats : Modèle logique ACDI/Termes et définitions.

FIGURE 6: Chaîne de résultats : Modèle du PNUD.

Terminologie PNUD

Le ‘Guide de la planification, du suivi et de l’évaluation axés sur les résultats du développement’ édité par le PNUD en 2009 présente une chaîne des résultats proche de celle du CAD/OCDE.

La Figure 7 ci-dessous qui est une autre manière d’illustrer cette chaîne des résultats (comme on peut le faire avec les autres modèles) met un accent particulier sur le fait que les effets, ou alors l’impact, constatés peuvent ne pas être directement liés à l’action évaluée, mais à d’autres interventions.

FIGURE 7: Illustration de la chaîne des résultats inspirée du modèle du PNUD.

Il montre surtout aussi que l’impact qui est le résultat ultime (finalité, situation/changement souhaité à long terme) résulte de la combinaison de plusieurs effets et renforce la thèse selon laquelle, pour un même projet, il y a non pas plusieurs « impacts », mais un « impact ».

Plus bas, à travers un cas concret du Fonds Spécial d’Intervention Intercommunal (FEICOM) au Cameroun, est illustrée une autre manière de présenter la chaîne des résultats. Une telle présentation (Tableau 4) a l’avantage de distinguer clairement les indicateurs d’activités, de produits, d’effets et d’impact.

TABLEAU 4: Modèle CAD/OCDE de la chaîne de résultats.
TABLEAU 5: Illustration d’un cas pratique de la chaîne des résultats des investissements du FEICOM avec les indicateurs correspondants.

Conclusion

Le présent article a pour but de montrer dans quelle mesure il s’avère nécessaire de mettre en place un cadre conceptuel d’évaluation d’impact bien avant la mise en œuvre d’un projet/programme ou d’une politique publique. Il s’agit en réalité d’élaborer un cadre d’évaluation d’impact ex-ante qui évite des difficultés qu’on pourrait rencontrer lors de la conduite des evaluations d’impact à mi-parcours ou finales. Dans ce but, l’article a présenté un cadre conceptuel à l’appui de deux outils majeurs et complémentaires que sont le cadre théorique de la technique du Changement le Plus Significatif (CPS) et la chaîne de résultats. Il était essentiel dans le cadre de ce travail de délimiter les concepts de résultats, effet et impact qui prêtent très souvent à équivoque. Mettre en place un cadre conceptuel de mesure d’impact ex-ante présente au moins deux avantages. Il permet : (1) d’orienter et d’ajuster les activités du projet/programme en permanence vers l’impact et (2) d’aider à procéder à des ajustements conséquents pendant la mise en œuvre du projet en vue d’atteindre pas seulement les réalisations mais aussi, et surtout, les effets et l’impact escomptés. Tout cela en procédant à la révision/adaptation de la stratégie de mise en œuvre en temps utile. En un mot, il augmente les chances de succès du projet/programme. Cependant, s’il est plus aisé d’anticiper les produits et réalisations d’un projet, il l’est moins pour ce qui concerne les effets, et plus encore pour ce qui est de l’impact. En ce sens, la chaîne des résultats ou le cadre du CPS ne garantissent pas l’accomplissement sans faille des effets et impact anticipés.

La lutte contre la pauvreté en Afrique est un défi permanent des stratégies de développement actuellement mises en œuvre, lesquelles ont en commun pour finalité l’amélioration des conditions et du cadre de vie des populations à travers la promotion de la gouvernance aussi bien au niveau central qu’au niveau local. Tous les projets de développement initiés ou mis en œuvre se doivent impérativement de lier leurs activités à cette finalité. Cela veut dire qu’un accent particulier soit mis sur l’impact des projets, c’est-à-dire des changements durables à moyen et long terme plutôt que sur des réalisations qui disparaissent rapidement au terme du projet. C’est là un vaste chantier de réflexion pour la conception et la mise en œuvre des politiques de développement performantes, avec une incidence réelle et avérée sur la pauvreté.

Finalement, l’objectif du présent article était de contribuer de manière significative à la vulgarisation et à l’amélioration de la pratique de l’évaluation d’impact pour permettre de hisser les incidences à long terme des actions de développement à la hauteur des attentes et en tenant compte de l’évolution du contexte dans lequel elles s’exercent. Le souci majeur ici est de mettre en évidence la nécessité de concevoir des projets et programmes orientés vers l’impact et de vulgariser la pratique d’une forme d’évaluation plus complète (activités, produits, effets, impact) pour accroître l’efficacité des politiques de développement en Afrique.

Remerciements

Intérêts concurrents

L’auteur déclare ne pas avoir de relations financières ou personnelles susceptibles de l’avoir influencé de manière inappropriée dans la rédaction de cet article.

Contributions d’auteur

Je déclare que je suis le seul auteur de cet article de recherche.

Considérations éthiques

Cet article a suivi toutes les normes éthiques pour la recherche sans contact direct avec des sujets humains ou animaux.

Le financement

Cette recherche n’a reçu aucune subvention spécifique d’aucun organisme de financement des secteurs public, commercial ou à but non lucratif.

Déclaration de disponibilité des données

Le partage de données n’est pas applicable à cet article car aucune nouvelle donnée n’a été créée ou analysée dans cette étude.

Avertissement

Les points de vue et opinions exprimés dans cet article n’engagent que leurs auteurs et ne reflètent pas nécessairement la politique ou la position officielles des agences affiliées à leurs auteurs.

Références

Baker, J.L., 2000, Évaluation de l’impact des projets de développement sur la pauvreté, Banque mondiale. Manuel à l’attention des praticiens. Banque Mondiale, Washington DC, USA. 196p.

Bureau de l’évaluation du PNUD, 2002, Guide du Suivi et de l’évaluation axés sur les résultats. Programme des Nations Unies pour le développement. New York, NY, 143p.

Comité d’aide au développement (CAD), Organisation pour l’économie Coopération et développement (OCDE), 2002, Glossaire des principaux termes relatifs à l’évaluation et la gestion axée sur les résultats, viewed n.d., from http://www.oecd.org/dataoecd/29/21/2754804.pdf.

Davies, R., 2018, Monitoring The Katine Community Partnerships Project (KCPP), The Second Visit Report, viewed n.d., from http://www.mande.co.uk.

Fonds International de DéveloppementAgricole (FIDA), pour une gestion orientée versl’impact, Guide pratique de S & E des projets.

Graugnard, G et Heeren, N, Guide méthodologique, l’évaluation d’impact, prise en compte de l’impact et construction d’indicateurs d’impact, F3E, CIEDEL, juin 1999.

James, C., 2011, Theory of change review: A report commissioned by Comic Relief, viewed n.d. from https://www.actknowledge.org/resources/documents/James_ToC.pdf.

White, H., Shagun, S. & De Hoop, T., 2014, Essais contrôlés randomisés (ECR) - Notes méthodologiques-Evaluation d’impact n°7, Centre de recherche Innocenti, Florence.

Zivetz, L., Cekan, J. & Robbins, K., 2017, Building the evidence case for post project evaluation: Case study review and evaluability checklists, Valuing Voices, viewed n.d., from http://valuingvoices.com/wp-content/uploads/2013/11/The-case-for-post-project-evaluation-Valuing-Voices-Final-2017.pdf.

Footnotes

1. Exception faite de l’Agence Japonaise de Coopération Internationale (JICA) et l’OCDE

2. The case for post-project evaluation Valuing Voices. Final Report for Michael Scriven’s Faster, Forward Fund Published 6/17, presented at the American Evaluation Association Conference 11/17, featured on Better Evaluation 12/17

3. Exemple d’hiérarchisation apparenté à la chaîne des résultats : activité - intrants/ressources - produit ou extrant - résultat intermédiaire - résultat final

4. Judy L. Baker, Evaluation de l’impact des projets de développement, Banque Mondiale, mai 2000.

5. Cf. glossaire publié en 2002 par le CAD/OCDE

6. Aussi connu comme « groupe témoin », le groupe de contrôle devient « groupe de comparaison » si formé d’une façon non aléatoire).

7. La randomisation et l’échantillonnage aléatoire sont deux techniques distinctes. L’échantillonnage aléatoire désigne la façon dont un échantillon est composé à partir d’une ou plusieurs populations, tandis que la randomisation désigne la façon dont les individus ou les groupes sont inclus dans un groupe expérimental ou dans un groupe contrôle. Généralement, les ECR utilisent à la fois l’échantillonnage aléatoire (pour pouvoir faire des déductions sur une population) et la randomisation (qui caractérise l’ECR).

8. Pour de plus amples détails, se référer à : Graugnard, G et Heeren, N, Guide méthodologique, l’évaluation d’impact, prise en compte de l’impact et construction d’indicateurs d’impact, F3E, CIEDEL, juin 1999.

9. Op cit. Page 10.

10. Graugnard, G et Heeren, N, Guide méthodologique, l’évaluation d’impact, prise en compte de l’impact et construction d’indicateurs d’impact, F3E, CIEDEL, juin 1999.

11. On entend la notion de « capabilités » telle qu’A. Sen l’a définie comme tout ce qui contribue à accroître la possibilité et donc la liberté pour un individu de décider de sa vie, présente et à venir.

12. Les extrants sont aussi désignés par le terme « produits » par certaines institutions, auteurs et praticiens de l’évaluation

13. FIDA – SYGRI – Manuel des résultats de premier et deuxième niveau (2007) : http://www.ifad.org/operations/rims/handbook/f.pdf

14. Commission européenne – Lignes directrices – gestion du cycle de projet http://ec.europa.eu/europeaid/multimedia/publications/documents/tools/europeaid_adm_pcm_guidelines_2004_fr.pdf

15. ACDI – Gestion axée sur les résultats – Énoncé de principe 2008 : Définitions révisées des principaux termes : http://www.acdi-cida.gc.ca/acdi-cida/acdi-cida.nsf/fra/ANN-102094249-J4B


 

Crossref Citations

1. Editorial – 2019: Omniscience of monitoring and evaluation
Mark A. Abrahams
African Evaluation Journal  vol: 7  issue: 1  year: 2019  
doi: 10.4102/aej.v7i1.433