Article Information

Authors:
Mark A. Abrahams1
Guy B. Nkamleu2

Affiliations:
1Division for Lifelong Learning, University of the Western Cape, South Africa

2Principal Evaluator, African Development Bank, Tunisia

How to cite this article:
Abrahams, M.A. & Nkamleu, G.B, 2014, ‘Where theory meets practice in African Evaluation’, African Evaluation Journal 2(1), Art. #100, 4 pages. http://dx.doi.org/10.4102/aej.v2i1.100

Copyright Notice:
© 2014. The Authors. Licensee: AOSIS OpenJournals.

This is an Open Access article distributed under the terms of the Creative Commons Attribution License, which permits unrestricted use, distribution, and reproduction in any medium, provided the original work is properly cited.

African Evaluation Journal
Where theory meets practice in African Evaluation
In This Editorial...
Open Access

The 7th African Evaluation Association (AfrEA) Conference held in Yaounde, Cameroon from 03 to 07 March 2014 turned out to be a simmering cauldron of stimulating exchanges amongst participants from all corners of the world. Although the main constituency was African participants, the conference pulled a diversity of people from Australia, Canada, New Zealand, Thailand, Malaysia, the United Kingdom (UK), Europe and the United States (US). The many partners included the Bill and Melinda Gates Foundation, the UNDP, the Ministry for Foreign Affairs of Finland, UNICEF, the Rockerfeller Foundation, USAID, OXFAM, the MasterCard Foundation and others who contributed to make this event possible. The conference comprised a total of 16 strands and some of them, not represented in the papers included in this edition were, Agriculture and Food Security, Strengthening VOPEs, Impact Evaluation, Evaluation perspectives in francophone countries, Made in Africa evaluation and Gender-responsive and equity-focused evaluation.

The conference theme, ‘Evaluation for Development: From analysis to impact’ was covered in most of the papers perused. The conference provided an opportunity for presenters to gather intelligence, to share ongoing research, to allow for disparate ideas to engage each other, for theoretical assumptions to be challenged, for policy strategies to be chartered, for ideological positions to be argued and for the organisation to consider its place, space and modes of operation in relation to the conference theme and the overall vision of the organisation. Before and during the conference, presenters were informed that a conference edition of the journal would be forthcoming and submitted conference papers would be considered for the review process. Subsequently, a total of 15 submissions were selected and authors invited to submit revised versions of their conference papers. Eight of these are included here and others will be accommodated in future editions. We appreciate the tremendous efforts of reviewers and authors who diligently attended to comments and recommendations. Without the generous financial support of UNICEF, this edition would not have been possible. We, the editors, the authors, AfrEA and evaluators across the African continent, are extremely grateful.

Baradei and her colleagues Abdelhamid and Wally presented their paper as part of the ‘Linking Evaluation to Policy Making’ strand at the conference. The paper engages with challenges of development monitoring and evaluation (DME) in Egypt post the 2011 revolution. They state that interest in this topic arose after the Arab Spring revolutions in several Arab countries and the increasing calls for holding governments accountable. We are presented with the main stakeholder groups identified as having an influence and interest in the field of DME in Egypt. These stakeholder groups were surveyed to solicit primary information from the DME field about the current status quo of the practice, the perceived vision for more effective DME and the prerequisites for achieving that vision. One conclusion reached is that the post-revolution era in Egypt is characterised by a demanding public opinion that analyses and criticises each announcement and that DME can provide more tangible results achieved and disclosed by both development organisations and the government.

From the ‘Evaluating Poverty Alleviating’ strand, Prince argues that since poverty is increasingly recognised as a multidimensional phenomenon, it suggests that alternative approaches to poverty measurement reflecting this multidimensionality may point towards alternative policies for poverty alleviation. He states that household expenditure appears to be significantly and positively related to changes in gross domestic product (GDP) per capita. However, when the HPI is regressed on GDP per capita, no statistically significant relationship is observed, even when controlling for a range of other indicators, calling into question the relationship between economic growth and well-being in much of sub-Saharan Africa. This finding suggests that development policies that focus primarily on economic growth as a means to addressing multidimensional deprivation may be misplaced. His main conclusion is that growth, as measured by increases in GDP per capita, is not an unalloyed good for the poor. If the metrics used in measuring poverty are wrong, then so, too, will be the inference that we draw about what makes for good policy.

Van Rensburg presented her paper in the ‘Knowledge Management and Dissemination’ strand. She reflects on the use of organisation memory (OM) and its contribution to knowledge management and learning. The paper advocates for an awareness of OM and explains how evaluators can ensure they access OM and utilise it more effectively when conducting evaluations, especially when collecting data and disseminating results. The author advises that evaluators need to have an understanding of OM, and to be able to access, use and contribute to OM for knowledge generation and enhanced decision making. Evaluators also need to take more responsibility for disseminating results of evaluations to enhance OM. She concludes that OM is critical for a comprehensive evaluation as it allows for broader knowledge to be included in evaluations for policy decisions.

Rosales et al. presented their paper in the hugely popular ‘African Strategies for Health’ strand. According to them, there are no current well-established guidelines or common methodologies on how to assess the situation of newborn care in countries with weak health information systems, especially when addressing situational needs in rural settings. Their study confirms the weak coverage of essential newborn care practices in Warrap State, South Sudan. They conclude that collecting information on health care behaviours around essential newborn indicators (thermal, cord and eye care and breastfeeding) can be reliably achieved, especially in hard-to-reach areas, at community level. A further recommendation is for future studies that can determine the consistency of results across diverse cultural contexts. This is necessary to better understand, and therefore better respond, to the low coverage of essential newborn care in South Sudan.

Noltze also presented his paper in the ‘African Strategies for Health’ strand. The paper reflects on the use of Sector-wide approaches (SWAps) that were introduced as a response to donor fragmentation and non-adjusted and parallel programming. He states that whilst these are still widely used, recent experiences from Africa provide a less positive assessment with regard to development effectiveness of interventions embedded in the context of health SWAps. As an alternative, he proposes contribution analysis, a theory-based evaluation approach, to manage the methodological challenges using the Rwandan-German cooperation on performance-based financing as an example. The Rwandan-German strategy focused on health system strengthening by promoting primary health care and operated within a SWAp structure. The conceptual backbone to contribution analysis is examining and testing the theory of change of an intervention against logic and evidence. The author states that the evaluation strategy was flexible enough to incorporate different data collection tools and analytical methods to test different causal links in a systematic manner.

The ‘Donor and Market-related’ strand accommodated the paper by Assefa and his colleagues Rivera and Vencatachellum from the African Development Bank. They investigated the development effectiveness of the African Development Bank Group-financed projects using 229 concluded projects between 2004 and 2012 to assess the major determinants of project performance. It affirmed that country policies and institutions, and country capacity in general, is positively correlated with project performance, whilst parallel project implementation units were not correlated. It also established that at the micro level, the age of a project, the quality of project design and the choice of programming instrument were also important determinants of project success.

Michele Tarsilla presented this paper as one of the keynote addresses at the conference. He states that despite the copious resources allocated by international development partners to enhance African countries’ capacity to evaluate the performance and impact of development programmes and policies over the last few decades, these Evaluation Capacity Building (ECB) efforts do not seem to have yielded the expected results. The paper aims to provide a critical overview of the different Evaluation Capacity Building (ECB) initiatives undertaken by international development partners in Africa. What they are currently doing in Africa that is working well with respect to ECD, what they could improve upon their past Evaluation Capacity Building (ECB) efforts. Taken from the article, the use of ‘ECD’ is explained as follows: … Evaluation capacity building (ECB) and evaluation capacity development (ECD) are often used interchangeably, but a growing number of practitioners use them differently. For instance, Tarsilla (2012; 2014) defines ECB as the combination of ad-hoc activities (e.g., evaluation training, mentoring and coaching) implemented in a specific and often narrow setting. Furthermore, Tarsilla qualifies ECD as a broader and longer-term process aimed at increasing not only individual knowledge, skills and attitudes, but also organisations’ capabilities and system's readiness.”

Finally, given the limited space in this journal to accommodate all the papers presented at the conference and our inability to read or listen to all the presentations, we invited the coordinators of the ‘Technology and Market-based African Evaluation Solutions’ and ‘Technology-Enabled Monitoring & Evaluation’ strands to share their experiences of the conference by summarising the papers presented during the conference. There were very many poster presentations at the conference and the best poster is shared here with an explanatory note. The poster was designed by Madame TABI née ZOBO Marie Henriette from Cameroon.

Journal Africain D’évaluation
Là où la théorie rencontre la pratique de l’évaluation en Afrique

La 7e conférence de l'African Evaluation Association (AfrEA), qui s'est tenue à Yaoundé au Cameroun du 03 au 07 mars 2014, s'est avérée être un bouillonnement d’échanges stimulants entre les participants venus du monde entier. Bien que la plupart des participants étaient Africains, la conférence a attiré une diversité de personnes venus d'Australie, du Canada, de Nouvelle-Zélande, de Thaïlande, de Malaisie, du Royaume-Uni, d'Europe et des États-Unis. Parmi les nombreux partenaires figuraient la Fondation Bill & Melinda Gates, le PNUD, le ministère des Affaires étrangères de Finlande, l'UNICEF, la Fondation Rockefeller, USAID, OXFAM, la Fondation MasterCard et d'autres qui ont contribué à rendre cet événement possible. La conférence a présenté un total de 16 volets et certains d'entre eux, non représentés dans les communications inclus dans cette édition étaient les suivants: Agriculture et Sécurité Alimentaire, Renforcement des VOPR, Évaluation de l'Impact, les perspectives d’Évaluation dans les pays francophones, l’évaluation Made in Africa (Fabriqué en Afrique) et l’évaluation Favorable à l’Égalité des Sexes et Axée sur la Parité.

Le thème de la conférence, « l’Évaluation pour le Développement: De l'analyse à l'impact », a été couvert par la plupart des communications consultées. La conférence a été l'occasion pour les présentateurs de recueillir des renseignements, de partager les recherches en cours, de permettre aux idées disparates de se confronter les unes aux autres, de contester des hypothèses théoriques, d’élaborer des stratégies politiques, de débattre de positions idéologiques et de permettre à l'organisation de réfléchir à sa place, sa sphère et ses modes de fonctionnement relatifs au thème de la conférence et à la vision globale de l'organisation. Avant et pendant la conférence, les présentateurs ont été informés qu'une édition de la revue consacrée à la conférence allait suivre et que les communications soumises seraient étudiées pour passer le processus d'examen. Par la suite, un total de 15 soumissions ont été sélectionnées et leurs auteurs invités à soumettre des versions révisées de leurs communications. Huit d'entre elles sont incluses ici et d'autres seront incluses dans les prochaines éditions. Nous apprécions les efforts considérables déployés par les relecteurs et les auteurs qui ont assidûment repris les commentaires et recommandations. Sans le généreux soutien financier de l'UNICEF, cette édition n'aurait pas été possible. Nous, les éditeurs, les auteurs, AfrEA et les évaluateurs venus de tout le continent africain en sommes extrêmement reconnaissants.

Baradei et ses collègues Abdelhamid et Wally ont présenté leur communication dans le cadre du volet « Lier l’Évaluation à l’Élaboration des Politiques » de la conférence. La communication aborde les difficultés de suivi et d’évaluation du développement (DME, Development Monitoring and Evaluation) en Égypte après la révolution de 2011. Ils affirment que l'intérêt pour ce sujet est apparu après les révolutions du Printemps arabe dans plusieurs pays arabes et les appels de plus en plus pressants visant à tenir les gouvernements redevables. Les principaux groupes d'intervenants reconnus comme ayant une influence et un intérêt dans le domaine du DME en Égypte nous ont été présentés. Ces groupes d'intervenants ont été interrogés afin de recueillir des informations de première main dans le domaine du DME sur le statu quo actuel de la pratique, la vision perçue d'un DME plus efficace et les conditions préalables à la réalisation de cette vision. Une des conclusions statue que l’ère postrévolutionnaire en Égypte se caractérise par une opinion publique exigeante qui analyse et critique chaque annonce, et que le DME peut fournir des résultats plus tangibles, obtenus et divulgués à la fois par les organisations de développement et par le gouvernement.

Lako et Djeukam Evaluent l'efficacité du ciblage de la subvention des branchements d'eau potable en milieu urbain, et concluent qu'un préalable fondamental à la desserte des ménages pauvres, est un meilleur ciblage de ces derniers. Pour ce faire les auteurs proposent une méthode pour la construction d'indicateurs objectifs et mesurables sur lesquels peut s'appuyer la décision de choix des ménages pouvant bénéficier des subventions de branchement d'eau potable. À travers l’étude de cas portant sur un projet d'amélioration de l'accès à l'eau potable et à l'assainissement des populations pauvres de la ville de Yaoundé, les auteurs montrent comment l'analyse factorielle et en particulier, l'analyse en composante principale, l'analyse factorielle des correspondances, et l'analyse des correspondances multiples, peut être utilisée pour favoriser le ciblage des bénéficiaires de tels projets de développement.

À propos du volet « Évaluation de la Réduction de la Pauvreté », Prince fait valoir que, puisque la pauvreté est de plus en plus reconnue comme un phénomène multidimensionnel, des approches alternatives à la mesure de la pauvreté reflétant cette multidimensionnalité peuvent probablement inspirer des politiques alternatives pour réduire la pauvreté. Il affirme que les dépenses des ménages semblent être significativement et positivement liées aux variations du produit intérieur brut (PIB) par habitant. Cependant, lorsque l'IPH est calculé par régression en fonction du PIB par habitant, aucune relation statistiquement significative n'est observée, même après contrôle d'une gamme d'autres indicateurs, ce qui met en cause la relation entre la croissance économique et le bien-être dans une grande partie de l'Afrique subsaharienne. Cette découverte suggère que les politiques de développement qui se concentrent avant tout sur la croissance économique comme moyen de traiter la privation multidimensionnelle peuvent se fourvoyer. Sa principale conclusion est que la croissance, telle que mesurée par les augmentations du PIB par habitant, n'est pas la panacée pour les pauvres. Si les paramètres utilisés pour mesurer la pauvreté sont mauvais, mauvaise sera également la conclusion que nous tirons sur ce qui fait une bonne politique.

Van Rensburg a présenté sa communication dans le cadre du volet « Gestion des Connaissances et Diffusion ». Elle présente une réflexion sur l'utilisation de la Mémoire Organisationnelle (MO) et sa contribution à la gestion des connaissances et à l'apprentissage. La communication défend l'idée d'une prise de conscience de la MO et explique comment les évaluateurs peuvent s'assurer qu'ils accèdent à la MO et l'utilisent plus efficacement lors du déroulement des évaluations, en particulier lors de la collecte des données et de la diffusion des résultats. L'auteur recommande que les évaluateurs aient une compréhension de la MO, et qu'ils soient en mesure d'accéder, d'utiliser et de contribuer à la MO pour la production de connaissances et l'amélioration du processus décisionnel. Les évaluateurs ont également besoin d'assumer plus de responsabilité quant à la diffusion des résultats des évaluations pour améliorer la MO. Elle conclut que la MO est essentielle à une évaluation complète car elle permet à une connaissance plus large d’être incluse dans les évaluations destinées aux décisions politiques.

Kochou et Rwenge analysent les facteurs sociaux liés à la non-utilisation des services de soins prénatals ou de leur utilisation inadéquate en Côte d'Ivoire. Et relèvent que les déterminants les plus importants des comportements étudiés sont, dans l'ordre, l'ethnie, le degré de modernité, la perception de la distance et le niveau de vie du ménage. Les femmes les plus concernées par des comportements à risques sont étrangères ou de culture apparentées. En outre ces femmes sont non modernes, perçoivent les centres de santé comme difficilement accessibles et vivent dans les ménages pauvres. Les auteurs concluent que l'on devrait mettre un point d'honneur à sensibiliser les femmes ayant les caractéristiques culturelles susmentionnées ainsi que leurs partenaires sur les risques associés à la non-utilisation des services de soins prénatals, améliorer leur accès à ces services et leur condition de vie.

Rosales et al. ont présenté leur communication dans le cadre du très populaire volet « Stratégies Africaines pour la Santé ». Selon eux, il n'existe pas de lignes directrices actuelles bien établies ou de méthodologies communes sur la façon d’évaluer la situation des soins néonatals dans les pays dotés de mauvais systèmes d'information sur la santé, en particulier en termes de réponse aux besoins conjoncturels dans des contextes ruraux. Leur étude confirme la faible couverture des pratiques de soins néonatals essentiels dans l’État de Warrap au Soudan du Sud. Ils concluent que la collecte d'informations sur les comportements de soins de santé, effectuée sur la base d'indicateurs essentiels sur les nouveau-nés (protection thermique, soins du cordon ombilical et des yeux, ainsi qu'allaitement), peut être réalisée de manière fiable, surtout dans les lieux difficiles à atteindre, au niveau communautaire. Une autre recommandation s'adresse aux futures études qui peuvent déterminer la cohérence des résultats parmi les divers contextes culturels. Cela est nécessaire pour mieux comprendre, et donc mieux répondre, à la faible couverture des soins néonatals essentiels au Soudan du Sud.

Noltze a également présenté sa communication dans le cadre du volet « Stratégies Africaines pour la Santé ». La communication apporte une réflexion sur l'utilisation des approches sectorielles (SWAp, Sector-Wide Approach) qui ont été introduites pour répondre à la fragmentation des donateurs et aux programmations non-actualisées et parallèles. Il affirme que, bien que celles-ci soient encore largement utilisées, les expériences récentes venues d'Afrique fournissent une évaluation moins positive eu égard à l'efficacité du développement des interventions intégrées dans le contexte d'approches sectorielles de la santé. Comme alternative, il propose une analyse des contributions, une approche de l’évaluation fondée sur la théorie pour gérer les défis méthodologiques, en prenant comme exemple la coopération rwando-allemande sur le financement fondé sur les résultats. La stratégie rwando-allemande s'est axée sur le renforcement du système de santé par la promotion de soins de santé primaires et fonctionnant au sein d'une structure conforme à l'approche sectorielle. La base conceptuelle de l'analyse de contribution est l'examen et le test de la théorie du changement d'une intervention contre la logique et les preuves. L'auteur affirme que la stratégie d’évaluation était assez souple pour intégrer différents outils de collecte de données et des méthodes analytiques destinées à tester différents liens de causalité de manière systématique.

Le volet « Donateur et relations avec le marché » comprenait la communication d'Assefa et de ses collègues Rivera et Vencatachellum de la Banque africaine de développement. Ils ont étudié l'efficacité du développement des projets financés par le Groupe de la Banque africaine de développement en se penchant sur 229 projets achevés entre 2004 et 2012 afin d’évaluer les principaux déterminants des résultats d'un projet. Il a affirmé que les politiques nationales, les institutions et la capacité des pays en général est en corrélation positive avec les résultats du projet, alors que les unités parallèles de mise en æuvre de projets n’étaient pas corrélées. Il a également établi que, au niveau micro, l’âge d'un projet, la qualité de la conception du projet et le choix de l'instrument de programmation étaient également d'importants déterminants de la réussite du projet.

Michele Tarsilla a présenté cette communication dans le cadre des discours liminaires de la conférence. Il affirme que, malgré les ressources abondantes allouées par les partenaires internationaux de développement pour renforcer les capacités des pays africains à évaluer les résultats et l'impact des programmes et politiques de développement au cours des dernières décennies, ces efforts de Renforcement des Capacités Évaluatives (RCE) ne semblent pas avoir produit les résultats escomptés. La communication vise à fournir un aperçu critique des différentes initiatives de Renforcement des Capacités Évaluatives (RCE) menées par les partenaires internationaux de développement en Afrique : ce qu'ils font actuellement en Afrique et fonctionne correctement en termes de DCE (Développement des Capacités Évaluatives), ce qu'ils pourraient améliorer sur la base de leurs efforts passés de Renforcement des Capacités Évaluatives (RCE). Extrait de l'article, l'utilisation du terme « DCE » est expliquée comme suit : « Le Renforcement des Capacités Évaluatives (RCE) et le Développement des Capacités Évaluatives (DCE) sont souvent utilisés de façon interchangeable, mais un nombre croissant de praticiens les utilisent différemment. Par exemple, Tarsilla (2012; 2014) définit le RCE comme la combinaison d'activités ad hoc (par exemple, la formation de l’évaluation, le mentorat et l'encadrement) mises en æuvre dans un contexte spécifique et souvent étroit. En outre, Tarsilla qualifie le DCE de processus plus large et à plus long terme visant à accroître non seulement les connaissances, compétences et attitudes individuelles, mais aussi les capacités des organisations et l’état de préparation du système ».

Enfin, compte tenu de l'espace limité de cette revue quant à la publication de toutes les communications présentées à la conférence, et notre incapacité à lire ou écouter toutes les présentations, nous avons invité les coordinateurs des volets « Technologie et Solutions Évaluatives Africaines Fondées sur le Marché » et « Suivi & Évaluation Fondés sur la Technologie » à partager leurs expériences de la conférence en résumant les communications présentées lors de la conférence. Il y avait de très nombreuses affiches de présentation à la conférence et les meilleures affiches avec une note explicative sont partagées ici. L'affiche a été conçue par Mme TABI, née Zobo Marie Henriette, du Cameroun.



Crossref Citations

No related citations found.