What If We Evaluated the Impact of Evaluations Themselves?


From Esther Duflo to the Counterfactual of Institutional Learning

What if we applied the same standards of causal reasoning to our own evaluations that we expect from the programmes we evaluate? This article proposes extending counterfactual thinking beyond the effects of development interventions to examine how evaluations influence decisions, learning and institutional change. After all, demonstrating what works is one thing. Getting organisations to act on that knowledge is quite another.

Duflo’s Revolution and an Uncomfortable Question

In 2019, Esther Duflo was awarded the Nobel Prize in Economic Sciences, alongside Abhijit Banerjee and Michael Kremer, for their experimental approach to alleviating global poverty. Their work helped establish a fundamental question in impact evaluation: how can we know whether an intervention actually produces the results we attribute to it?

The answer involves establishing a credible counterfactual: what would have happened if the intervention had never taken place?

Randomised controlled trials (RCTs) have made a decisive contribution to answering this question, allowing researchers to identify causal effects with a level of rigour that simple comparisons between beneficiaries and non-beneficiaries rarely achieve (Banerjee & Duflo, 2009).

In Poor Economics, Banerjee and Duflo (2011) also demonstrate how experimentation can challenge widely held assumptions about poverty and inform more effective development interventions.

But identifying a causal effect does not answer every evaluation question.

Sigue leyendo →

¿Y si evaluáramos el impacto de las propias evaluaciones?


De Esther Duflo al contrafactual del aprendizaje institucional

¿Y si aplicáramos a nuestras propias evaluaciones la misma exigencia causal que pedimos a los programas que evaluamos? Este artículo propone trasladar la lógica del contrafactual desde los efectos de las intervenciones hacia la influencia de las evaluaciones sobre las decisiones, el aprendizaje y el cambio institucional. Porque una cosa es demostrar qué funciona y otra, bastante diferente, conseguir que ese conocimiento cambie algo.

La revolución de Duflo y una pregunta incómoda

En 2019, Esther Duflo recibió el Nobel de Economía, junto con Abhijit Banerjee y Michael Kremer, por su contribución al enfoque experimental para combatir la pobreza. Su trabajo ayudó a consolidar una pregunta fundamental en la evaluación de impacto: ¿cómo sabemos que una intervención produce realmente los resultados que le atribuimos?

La respuesta pasa por construir un contrafactual creíble: ¿qué habría ocurrido si la intervención no hubiera existido?

Los ensayos controlados aleatorizados (RCT) han contribuido decisivamente a responder esta pregunta, permitiendo identificar efectos causales con un rigor difícil de alcanzar mediante simples comparaciones entre beneficiarios y no beneficiarios (Banerjee & Duflo, 2009).

En Poor Economics, Banerjee y Duflo (2011) muestran, además, cómo la experimentación puede cuestionar ideas ampliamente aceptadas sobre la pobreza y orientar intervenciones más eficaces.

Pero identificar un efecto causal no resuelve todas las preguntas.

Sigue leyendo →