What If We Evaluated the Impact of Evaluations Themselves?


From Esther Duflo to the Counterfactual of Institutional Learning

What if we applied the same standards of causal reasoning to our own evaluations that we expect from the programmes we evaluate? This article proposes extending counterfactual thinking beyond the effects of development interventions to examine how evaluations influence decisions, learning and institutional change. After all, demonstrating what works is one thing. Getting organisations to act on that knowledge is quite another.

Duflo’s Revolution and an Uncomfortable Question

In 2019, Esther Duflo was awarded the Nobel Prize in Economic Sciences, alongside Abhijit Banerjee and Michael Kremer, for their experimental approach to alleviating global poverty. Their work helped establish a fundamental question in impact evaluation: how can we know whether an intervention actually produces the results we attribute to it?

The answer involves establishing a credible counterfactual: what would have happened if the intervention had never taken place?

Randomised controlled trials (RCTs) have made a decisive contribution to answering this question, allowing researchers to identify causal effects with a level of rigour that simple comparisons between beneficiaries and non-beneficiaries rarely achieve (Banerjee & Duflo, 2009).

In Poor Economics, Banerjee and Duflo (2011) also demonstrate how experimentation can challenge widely held assumptions about poverty and inform more effective development interventions.

But identifying a causal effect does not answer every evaluation question.

Sigue leyendo →

Cómo hacer Útil la Teoría del Cambio en evaluaciones


“La Teoría del Cambio no debe quedarse en el papel. Su verdadero valor emerge cuando estructura el análisis y guía la toma de decisiones.”

Introducción: El dilema de la ToC decorativa

La Teoría del Cambio (TdC) ha ganado terreno como herramienta estratégica en el diseño y evaluación de programas. Desde UNICEF hasta USAID, pasando por GIZ, UNDP y fundaciones globales, todos la usan. Pero hay un problema frecuente: se elabora al inicio y luego se abandona.

La TdC queda como un gráfico bonito, un anexo más. Pero no se actualiza, no estructura hipótesis ni se conecta con la matriz evaluativa.

Entonces, ¿cómo lograr que la TodC sea realmente útil y no solo decorativa?

Este post ofrece reflexiones: cómo operativizar la TdC para que sirva como brújula metodológica en el análisis evaluativo, basada en experiencias y contrastada con buenas prácticas globales.

Sigue leyendo →

Teorías del Cambio: Perspectivas Críticas para el Futuro de la Evaluación


El libro recientemente publicado, “Theories of Change in Reality | Strengths, Limitations and Future Directions”, es un análisis profundo de las teorías del cambio y su aplicación en la evaluación y desarrollo de intervenciones. Durante más de medio siglo, los evaluadores han empleado estas teorías para esbozar la lógica causal que subyace en cómo una intervención busca lograr el cambio deseado.

Desde su concepción en la evaluación de programas, este enfoque se ha adoptado de manera más generalizada para propósitos que abarcan desde el diseño hasta la gestión de programas. Dado que las teorías del cambio siguen siendo utilizadas para múltiples propósitos, es un momento oportuno para que la comunidad de evaluación (donde se originó el enfoque) ofrezca su perspectiva sobre las fortalezas y limitaciones del enfoque, así como sus direcciones futuras.

Para proporcionar estas perspectivas, se invitó a casi 30 de los principales evaluadores y teóricos de programas del mundo a proporcionar un breve ensayo sobre el pasado, el presente y el futuro de las teorías del cambio. Este libro presenta sus ideas, organizadas en cinco temas principales:

  1. El uso de teorías del cambio en contextos más amplios de políticas públicas.
  2. Utilizar teorías del cambio para establecer la causalidad.
  3. Desarrollar teorías de cambio que reflejen las perspectivas de múltiples partes interesadas.
  4. Utilizar teorías del cambio para comprender procesos de cambio social más amplios.
  5. Aplicar enfoques de teorías del cambio para múltiples propósitos.

Al compartir estas diversas perspectivas, el libro busca proporcionar a los evaluadores y a los teóricos de programas emergentes, perspectivas críticas para informar la práctica futura.

Resumen de las ideas principales del libro:

Sigue leyendo →

La solidez de nuestras teorías del cambio en evaluación


Interesante artículo «Refining Theories of Change» (Dhillon & Vaca, 2018) que reflexiona en torno a la ¨solidez¨ del desarrollo en un proceso evaluativo basado en la teoría del cambio (TdC). Da algunas pautas a seguir o sugiere comprobar el nivel de los siguientes aspectos críticos:

  • Basado en evidencias: TdC basadas en análisis crítico relevante conducido de una manera sistemática antes de alcanzar conclusiones
  • Relaciones causales explícitas: Indicación clara de qué elementos son causados por o son el resultado de qué elementos
  • Precisión de la representación y detalle suficiente: Correlación entre la intervención y la complexidad de la TdC (evitando sobre simplificación o sobre detalle)
  • Precedencia: Lógica probada o demostrada para llegar a los resultados esperados
  • Relevancia visual: Los elementos más importante son visualmente mayores o más llamativos 
  • Nivel de participación: TdC desarrolladas por un amplio grupo de actores con perspectivas diversas y conocimiento agregado  profundo sobre cómo el programa trabaja.

Sigue leyendo →

Teorías derivadas de estudios para orientar el desarrollo de teorías del cambio


En muchos casos, las teorías derivadas de los estudios pueden orientar el desarrollo de la teoría del cambio. Por ejemplo:

Una evaluación llevada a cabo en África —que examinó los impactos del desarrollo de capacidades en la institucionalización, la preparación y respuesta ante situaciones de emergencia, y la reducción del riesgo de desastres en el sector educativo—identificó cuatro teorías basadas en estudios en las que podía fundamentarse.

(1) El modelo de cambio en tres pasos de Lewin hace hincapié (a) en las fuerzas impulsoras que facilitan u obstaculizan el cambio, y (b) en el modo en que las personas que participan en este acuerdan que es necesario, colaboran con miras a la obtención del resultado deseado y recaban el apoyo de los líderes pertinentes. Sigue leyendo →