Diseños y Métodos para la Evaluación de Impacto: un viaje necesario hacia la diversidad metodológica


En el vagón central de nuestro Tren de Libros de Evaluación sube hoy una publicación que va a ser una referencia para quienes trabajamos entre proyectos, políticas públicas y el desafío de comprender sus efectos reales. Se trata de Diseños y Métodos para la Evaluación de Impacto, un texto escrito con la claridad, el rigor y la calidez intelectual que caracterizan a un querido colega y amigo, Pablo Rodríguez Bilella. Una obra que, más allá de revisar métodos, recupera algo esencial: la evaluación como un acto de aprendizaje, responsabilidad y honestidad intelectual.

A continuación, te propongo un recorrido estructurado por doce ejes de análisis que permiten apreciar la riqueza, actualidad y pertinencia del libro.

1. Resumen general del libro y su objetivo principal

El texto plantea una visión amplia y matizada sobre qué es realmente una evaluación de impacto, alejándose de la rigidez que ha dominado ciertos debates en las últimas dos décadas. El objetivo central es ampliar el marco de comprensión: una evaluación de impacto no es sinónimo de ensayos aleatorizados, sino de cualquier aproximación sistemática y empírica orientada a comprender los efectos —esperados y no esperados— de una intervención.

Sigue leyendo

Evaluar en movimiento: Michael Quinn Patton y la revolución de la Evaluación durante el desarrollo


1. Resumen general del libro y su objetivo principal

El libro de Michael Quinn Patton, «Developmental Evaluation: Applying Complexity Concepts to Enhance Innovation and Use» (2011), que lo hemos traducido siempre en este blog por:  Evaluación durante el desarrollo (EDD): aplicar conceptos de complejidad para potenciar la innovación y el uso”, representa una de las obras más influyentes en la evolución contemporánea de la evaluación.

Su objetivo principal es ofrecer un marco conceptual y práctico para evaluar iniciativas en contextos de alta incertidumbre, innovación o cambio continuo, donde los modelos de intervención no están cerrados.

Patton parte de una observación sencilla pero revolucionaria: los modelos clásicos de evaluación —formativa (para mejorar) y sumativa (para juzgar resultados)— no sirven bien en entornos de innovación. Cuando un programa aún está “en construcción”, la evaluación debe estar presente durante su desarrollo, no al margen ni al final.

La EDD, por tanto, se convierte en una herramienta de aprendizaje y adaptación que acompaña la innovación mientras sucede. Es la evaluación que viaja dentro del tren, no la que espera en la estación final para levantar acta.

Sigue leyendo

Broadening the Range of Designs and Methods for Impact Evaluation


1) Resumen general y objetivo principal

En esta parada del Tren Libros de Evaluación analizamos en historico informe Broadening the Range of Designs and Methods for Impact Evaluation (DFID Working Paper 38, 2012) de los autores: Eliot D. Stern, Nicoletta Stame, John Mayne, Kim Forss, Rick Davies y Barbara Befani. (eba.se) Este informe nace para resolver un problema práctico: los métodos dominantes de evaluación de impacto (EI) —sobre todo experimentales y estadísticos— sólo encajan con una fracción de los programas reales, especialmente en cooperación y políticas públicas complejas. Su objetivo es ampliar el repertorio y ofrecer criterios de selección que prioricen la adecuación al contexto y a las preguntas evaluativas, no la adhesión a una jerarquía rígida de métodos. De hecho, el equipo afirma que “alternativas a los diseños experimentales y cuasi-experimentales pueden alcanzar igual robustez y credibilidad: son diferentes pero equivalentes” (“different but equal”). (assets.publishing.service.gov.uk)

2) Análisis detallado de capítulos y secciones clave

Sigue leyendo

El impacto de la evaluación y otros cronopios: políticas, rayaduras y resiliencia


Ha sido una semana tremenda. Comenzamos con el seminario de la política de evaluación de la cooperación española (ver mi post anterior y dejémoslo en minúsculas todo hasta que nos sorprendan ;-), pero ha habido muchas más cosas a lo largo de la semana…

Tengo que preparar un post sobre la dichosa evaluación de impacto y la manía de algunos de denigrar a un sector de sector (de evaluación)…claro que  a veces nos denigramos solos…sin ayuda de nadie. Voy a intentar confrontar las ideas desde los sesudos lobbys pro RCT (randomised control trials), con las de otros puntos de vista…a ver qué sacamos de claro si ordenamos todo (desde mi subjetiva visión). Para ello tiraré de hemeroteca y preguntaré a algún compañero…Por ahora recomiendo la saludable lectura de este documento titulado Impact Evaluation for Improving Development (ie4id) con autoría de un montón de caras conocidas, y por no saltarme a uno, no menciono a ninguno…

Por otro lado también esta semana ha sido interesante recibir comentarios sobre la reunión en Ciudad del Cabo del “International symposium The politics of poverty research and pro-poor policy making: Learning from the practice of policy dialogue”. Me han llegado muy interesantes reflexiones desde la Evidence Based Policy in Development Network.

Por último llamar la atención sobre el concepto de resiliencia. Este concepto no es nuevo, me acompañó todo un verano en la única asignatura para septiembre de mi carrera de agrónomo, por tanto gran recuerdo mío y de otros sufridores de la resistencia de materiales…Recibo información de diferentes direcciones como un concepto de relieve en el sector humanitario (seguridad alimentaria). Incluso parece que comunicar bien este concepto puede salvar vidas…si lo hubieramos sabido quizás hubiera sido más llevadera aquel verano.