Assessing Impacts of International Volunteer Cooperation Daniel Buckles, Jacques Chevalier and Philippe Fragnier
Session Overview • Presentation on IA • CoP Example • Hands-on practice • Closing discussion on experiences of CoP
Impact Assessment: Why this topic? • Innovation with IVC programs undocumented • Impacts? • Impacts of different approaches? • Reasons? • dominance of narrow accountability frameworks • narrow range of Impact Assessment (IA) methods • not adapted to IVC
What is impact assessment? Monitoring and Impact Assessment Evaluation • Time frame of results (immediate, intermediate, • Years after participation ultimate/final) • After years of hosting • System boundaries (people and goals) • Regional/national • Causality (linear cause- • HIV rates to gender relations effect / involving multiple factors and actors • Education/income/cultural shifts
Design to fit purpose and context Weight given to each aspect may vary, depending on purpose and context • IA questions? No IA methodology, only IA questions Tools to discuss: • IA questions? IA purpose • IA context • • IA questions?
Meaningful IA brings together collaborative fact-finding, interpretation and action Tools to: • Tap into real diversity of views • Mobilize relevant evidence • Co-create and share the story • Combine rigor with care
• Exploring the problems • Knowing the actors • Assessing the options • Understanding systems
Attribution and Contribution
• Mid-program review • 13 countries, 120 partners, 65 cooperation projects • Various sectors (health, economy, basic education Photo: Michel Huneault, Bolivie
HIV/AIDS prevention and treatment in Burkina Faso • Intervention • Observed changes in the domain (various sources) • National and Canadian volunteers • Outreach • 7 Partner organizations • Support and care • Two year period • Leadership and governance • Reduce incidence of HIV/ • Gender equity AIDS • Engagement in policy dialogue • Magnitude of change moderate
Intervention scope • Jointly interacting with others • Moderate scale • Indirect contribution • Moderate obstacles
Overall result • Observed change • moderate • Default scenario • no progress • Overall result positive and significant • distance between default and observed change
Methodology of the intervention • Rationale/credible means • Gaps in use of resources • Very deliberate and methodical • Evidence used is good
Final Judgment and Recommendations • Judgment • In light of all factors and actors, the contribution of the intervention to meaningful change is moderate • Recommendations • Reinforce work on prevention • Consolidate gains on mother- to-child transmission, through national volunteers • Build capacities to raise funds
Fédération Nununa Burkina Faso De 2009 à 2011, Uniterra a contribué au renforcement des Méthod e capacités institutionnelles de la Fédération Nununa, réseau de coopératives qui regroupre 4600 productrices de beurre de karité. 3 Ø Majeur Plusieurs autres organisations nationales ou internationales les 2,5 appuient également. La collaboration avec Uniterra a permis des 2 résultats documentés pour la semi-industrialisation : 1. 1,5 Série1 Augmentation du revenu annuel des femmes et du membership 1 de Nununa.2. Réduction significative de la pénibilité et du temps 0,5 de production. 3. Réduction des quantités de bois et d’eau pour la 0 Efficacité Efficience Délibéré Vérifiable production; protection des arbres de karité, gestion des eaux Ø Modéré usées et des déchets solides. Les dirigeants de Nununa considèrent leur démarche efficace et efficiente (3) car toutes les étapes de la semi-industrialisation ont été Portée de l'intervention planifiées, réalisées et suivies avec soin 3 malgré quelques variations au niveau des 3 2,5 2,5 coûts. Ils s’attribuent ainsi un mérite élevé (3) Ø Faible Série2 2 2 Mérite dans la réduction des coûts de production, la 1,5 1,5 1 standardisation de la qualité du beurre et Série1 0,5 1 l’augmentation des volumes. Ils donnent à 0 1 0,5 Uniterra un mérite moyen (2) confirmant 0 l’utilité de l’appui des volontaires. Rôle Proximité Échelle Obstacles Série1 2 3 3 3 Ø Aucun Nununa appuyée par plusieurs partenaires dont Uniterra a mis en place des équipements et amélioré les techniques de Considérant les résultats de cette phase pilote de semi- transformation qui ont permis l’augmentation des revenus industrialisation et de gestion durable des ressources et des déchets, Nununa souhaite développer son unité à plus grande moyens des productrices. Des études de faisabilité, de marché, le Ø Recul développement de nouveaux produits, la gestion des impacts échelle afin d’accroitre encore la production et les revenus des femmes. On demande à Uniterra de contribuer avec d’autres environnementaux ont été appuyés par des volontaires. La transformation de l’Union en Fédération de coopératives a volontaires spécialisés et d’être plus souple pour autoriser la demandé beaucoup de travail et de persuasion aux leaders. Les prolongation de certains mandats. résultats globaux sont significatifs.
Main Lessons • Most interventions show moderate to small contributions to meaningful change • Partners recognize contribution of volunteers to capacity building, when combined with other supports • Organizations more professional, better governed, more gender equity • Timing of volunteer contributions has significant impact on results 16
… main lessons • Various insights emerging from evidence mobilized and the reasoning shared among participants • Adjustments to plans and more realistic and evidence-based engagement with donors • Staff and partners appreciated the technique; more reflexive and additional thinking compared to only assessing indicators; but more demanding and complex 17
Impact Assessment Motivations • When you do impact assessment, what is the main motivation(s) behind it? • Experienced with IA – place an X in figure reflecting motivation(s) • Never involved in IA – place an O in figure reflecting perception
The Socratic Wheel
The Socratic Wheel
Socratic Learning Skill area Initial Expected Expected Initial Final Real rating rating progress rating rating progress revised A B B – A C D D – C Business 2 8 6 1 5 4 planning Advocacy 4 8 4 6 8 2 Safety 6 6 0 5 6 1
Wheel Design Options • Assess profiles, set priorities, monitor progress, evaluate final results? • Several wheels to represent and compare? • Spokes for criteria or activities (against criteria)? • Individual, subgroup or collective assessments? • Criteria generated, negotiated, supplied? • Use indicators or progress markers? • Weighting of criteria?
Experiences from the Community of Practice
Recommend
More recommend
