En el vagón central de nuestro Tren de Libros de Evaluación sube hoy una publicación que va a ser una referencia para quienes trabajamos entre proyectos, políticas públicas y el desafío de comprender sus efectos reales. Se trata de “Diseños y Métodos para la Evaluación de Impacto”, un texto escrito con la claridad, el rigor y la calidez intelectual que caracterizan a un querido colega y amigo, Pablo Rodríguez Bilella. Una obra que, más allá de revisar métodos, recupera algo esencial: la evaluación como un acto de aprendizaje, responsabilidad y honestidad intelectual.
A continuación, te propongo un recorrido estructurado por doce ejes de análisis que permiten apreciar la riqueza, actualidad y pertinencia del libro.
1. Resumen general del libro y su objetivo principal
El texto plantea una visión amplia y matizada sobre qué es realmente una evaluación de impacto, alejándose de la rigidez que ha dominado ciertos debates en las últimas dos décadas. El objetivo central es ampliar el marco de comprensión: una evaluación de impacto no es sinónimo de ensayos aleatorizados, sino de cualquier aproximación sistemática y empírica orientada a comprender los efectos —esperados y no esperados— de una intervención.
1. Resumen general del libro y su objetivo principal
El libro de Michael Quinn Patton, «Developmental Evaluation: Applying Complexity Concepts to Enhance Innovation and Use» (2011), que lo hemos traducido siempre en este blog por: “Evaluación durante el desarrollo (EDD): aplicar conceptos de complejidad para potenciar la innovación y el uso”, representa una de las obras más influyentes en la evolución contemporánea de la evaluación.
Su objetivo principal es ofrecer un marco conceptual y práctico para evaluar iniciativas en contextos de alta incertidumbre, innovación o cambio continuo, donde los modelos de intervención no están cerrados.
Patton parte de una observación sencilla pero revolucionaria: los modelos clásicos de evaluación —formativa (para mejorar) y sumativa (para juzgar resultados)— no sirven bien en entornos de innovación. Cuando un programa aún está “en construcción”, la evaluación debe estar presente durante su desarrollo, no al margen ni al final.
La EDD, por tanto, se convierte en una herramienta de aprendizaje y adaptación que acompaña la innovación mientras sucede. Es la evaluación que viaja dentro del tren, no la que espera en la estación final para levantar acta.
En esta parada del Tren Libros de Evaluación analizamos en historico informe Broadening the Range of Designs and Methods for Impact Evaluation (DFID Working Paper 38, 2012) de los autores: Eliot D. Stern, Nicoletta Stame, John Mayne, Kim Forss, Rick Davies y Barbara Befani. (eba.se) Este informe nace para resolver un problema práctico: los métodos dominantes de evaluación de impacto (EI) —sobre todo experimentales y estadísticos— sólo encajan con una fracción de los programas reales, especialmente en cooperación y políticas públicas complejas. Su objetivo es ampliar el repertorio y ofrecer criterios de selección que prioricen la adecuación al contexto y a las preguntas evaluativas, no la adhesión a una jerarquía rígida de métodos. De hecho, el equipo afirma que “alternativas a los diseños experimentales y cuasi-experimentales pueden alcanzar igual robustez y credibilidad: son diferentes pero equivalentes” (“different but equal”). (assets.publishing.service.gov.uk)
2) Análisis detallado de capítulos y secciones clave
Los tres casos principales en que los diseños de métodos mixtos ayudan a fortalecer la evaluación son:
1) Cuando las diferentes preguntas de evaluación requieren diferentes métodos, o cuando una sola pregunta de la evaluación requiere de más de un método para responder a todos sus componentes.
2) Cuando métodos diferentes se utilizan para responder a los mismos elementos de una sola pregunta, aumenta la confianza en la validez y fiabilidad de los resultados de la evaluación.
3) Cuando los resultados de un método se utilizan para ayudar a diseñar las futuras fases de la evaluación
Aunque se ha hecho un gran progreso en la aplicación de métodos mixtos, y a pesar de un aumento, lento pero constante, en los estudios publicados en los países en desarrollo, los evaluadores siguen teniendo que enfrentar una serie de retos si quieren aplicar adecuadamente métodos mixtos en el seguimiento y evaluación de los proyectos y políticas en estos contextos de desarrollo. Algunas de las limitaciones prácticas, desafíos o amenazas de los métodos mixtos son las siguientes:Sigue leyendo →
Como se mencionó en el post anterior «Una introducción a los métodos mixtos de evaluación«, en evaluación debemos considerar cuidadosamente cómo se van a integrar los diferentes métodos utilizados para un diseño de evaluación coherente. Tres de las formas más comunes en que las técnicas se pueden combinar para lograr los propósitos descritos en ese post anterior son las siguientes:(1) combinaciones paralelas, (2) combinaciones secuenciales, y (3) combinaciones de multinivel.Sigue leyendo →
Los métodos cuantitativos y cualitativos todavía son considerados por algunos como dos rivales o dos opciones incompatibles (Patton los compara con niños de dos años que todavía no son capaces de jugar juntos). Para la mayoría de las intervenciones de desarrollo, no hay un método único que pueda describir adecuadamente y analizar las interacciones que se inter-relacionan con los sistemas complejos. Los métodos mixtos permiten la triangulación —o análisis comparativo— que nos permite capturar y cotejar realidades complejas y nos puede proporcionar una comprensión completa, desde diversas perspectivas, el éxito (o falta de él) de las políticas, los servicios o programas.
La utilización de métodos mixtos ha pasado a ser parte de la ortodoxia, demandada u ofrecida de forma habitual por/a las agencias donantes. Sin embargo, en el pasado se ha abusado del término, ya que a cualquier mezcla de diferentes técnicas y de cualquier manera, se le ha querido llamar “métodos mixtos”. Es probable que los métodos mixtos pronto se conviertan en el estándar para la mayoría de las evaluaciones. Pero el uso de métodos mixtos por sí solo no es suficiente, sino que debería aplicarse en múltiples niveles (Bamberger, 2012)
En los últimos años ha existido un interés creciente por los métodos mixtos en el campo de la evaluación en general, así como en las diversas formas en que las metodologías cuantitativas y cualitativas pueden ser sistemáticamente combinadas. Existen diferentes diseños evaluativos con métodos mixtos, siendo los más habituales aquellos que ponen el énfasis del lado cualitativo. Este tipo de diseños, en los que la parte cualitativa es la dominante, pueden ser útiles para explorar (1) temas complejos e innovadores o (2) conglomerados de intervenciones, por poner dos posibles ejemplos habituales en Cooperación al Desarrollo.
Una evaluación de métodos mixtos integra sistemáticamente dos o más métodos de evaluación, potencialmente en todas las etapas del proceso de evaluación, por lo general sobre la base de datos tanto cuantitativos como cualitativos.
Evaluaciones de métodos mixtos pueden utilizar (1) varios diseños, por ejemplo la incorporación de (1.1) RCT (ensayos aleatorios controlados, en sus siglas en inglés Randomised Control Trials) y (1.2) estudios de caso. También pueden incluir diferentes (2) técnicas de recolección de datos, tales como (2.1) observaciones estructuradas, (2.2) entrevistas a informantes clave, (2.3) encuestas de hogares, y las (2.4) revisiones de los datos secundarios existentes. En resumen, una evaluación de métodos mixtos implica la integración sistemática de los diferentes tipos de principios, enfoques, técnicas y datos, por lo general procedentes de diferentes diseños. Como resultado de ello, las evaluaciones de métodos mixtos requieren (a) una planificación avanzada y (b) una gestión cuidadosa en cada etapa del proceso de evaluación.
Los tres casos principales en que los diseños de métodos mixtos ayudan a fortalecer la evaluación son:
1) Cuando las diferentes preguntas de evaluación requieren diferentes métodos, o cuando una sola pregunta de la evaluación requiere de más de un método para responder a todos sus componentes.
2) Cuando métodos diferentes se utilizan para responder a los mismos elementos de una sola pregunta, aumenta la confianza en la validez y fiabilidad de los resultados de la evaluación.
3) Cuando los resultados de un método se utilizan para ayudar a diseñar las futuras fases de la evaluación.
Otros beneficios que se pueden obtener mediante el uso de diseños de métodos o estrategias de recolección de datos mixtos son:
1) Facilitan la revelación de resultados inesperados
2) Puede proporcionar una comprensión más profunda de por qué el cambio está o no ocurriendo como estaba previsto
3) Permiten capturar una gama más amplia de perspectivas de lo que podría ser capturado por un solo método.
REFERENCIAS
Bamberger, M. (2012), Introducción a los métodos mixtos de la evaluación de impacto. Notas sobre la Evaluación de Impacto, nº 3. InterAction
"TripleAD": Aprendiendo a Aprender para el Desarrollo 