En esta parada del Tren Libros de Evaluación analizamos en historico informe Broadening the Range of Designs and Methods for Impact Evaluation (DFID Working Paper 38, 2012) de los autores: Eliot D. Stern, Nicoletta Stame, John Mayne, Kim Forss, Rick Davies y Barbara Befani. (eba.se) Este informe nace para resolver un problema práctico: los métodos dominantes de evaluación de impacto (EI) —sobre todo experimentales y estadísticos— sólo encajan con una fracción de los programas reales, especialmente en cooperación y políticas públicas complejas. Su objetivo es ampliar el repertorio y ofrecer criterios de selección que prioricen la adecuación al contexto y a las preguntas evaluativas, no la adhesión a una jerarquía rígida de métodos. De hecho, el equipo afirma que “alternativas a los diseños experimentales y cuasi-experimentales pueden alcanzar igual robustez y credibilidad: son diferentes pero equivalentes” (“different but equal”). (assets.publishing.service.gov.uk)
2) Análisis detallado de capítulos y secciones clave
Una sala imponente. Mármoles brillantes. El eco de pasos firmes resuena mientras se abren las puertas del Gran Tribunal Evaluativo. En el estrado, un jurado severo observa en silencio. Tres evaluadores —con estilos distintos, trajes de lógica y argumentos afilados— se preparan para defender su enfoque. El caso: evaluar un programa de prevención comunitaria en municipios priorizados. El reto: demostrar cuál enfoque evaluativo explica mejor cómo, por qué y con qué efectos funciona.
Escena I: El caso a resolver
Objeto evaluativo:
Un programa implementado por una Agencia y aliados locales para fortalecer capacidades municipales, prevenir violencia en comunidades y usar un sistema de información (SIGADENAH) en decisiones locales.
En tiempos marcados por crisis ecológicas, desigualdades estructurales y disputas epistémicas sobre qué cuenta como conocimiento válido, la evaluación enfrenta una encrucijada histórica. Ya no basta con identificar “qué funciona”; debemos preguntarnos también cómo, para quién y en qué condiciones funciona, y bajo qué marcos epistémicos, culturales y políticos se construye ese juicio.
La validez en evaluación, tradicionalmente entendida como una dimensión técnica, se transforma en este contexto en una categoría relacional, ética y situada. Este texto propone una relectura integral y crítica de las formas de validez, integrando sus expresiones clásicas con nuevos aportes emergentes desde perspectivas decoloniales, feministas, participativas y ecológicas.
2.Fundamentos teóricos: de la neutralidad al compromiso epistemológico
Los aportes desarrollados aquí se fundamentan en un corpus diverso que incluye la crítica pospositivista a la neutralidad del conocimiento (Schwandt, 2009; Patton, 2011), las epistemologías del Sur (Sousa Santos, 2018), la evaluación transformativa (Mertens, 2009) y la práctica culturalmente receptiva (Hood, 2009; Chilisa, 2012). También se apoyan en enfoques de sistemas complejos (Greene, 2007; Patton, 2011) y pedagogías críticas como la de Freire (1970), así como en evaluaciones participativas con base en justicia social (Cousins & Whitmore, 1998; Mark & Henry, 2004).
Desde esta perspectiva surge la idea de validación crítica: un proceso dialógico, situado y plural que reconoce las tensiones entre formas de validez y busca equilibrarlas en función del propósito evaluativo y el contexto sociopolítico.
3.Las valideces: clásicas y críticas
3.1.Las valideces clásicas: continuidad necesaria con revisión crítica
Validez interna
Enfocada en la relación causal entre intervención y resultados, es central en diseños experimentales (Shadish et al., 2002; Gertler et al., 2016). No obstante, puede omitir factores contextuales o dinámicas de poder, como han señalado evaluaciones realistas (Pawson & Tilley, 1997).
Validez externa
Remite a la generalización de resultados. Investigaciones como la de Vivalt (2020) muestran la variabilidad de efectos cuando se replican programas en contextos distintos. Cartwright & Hardie (2012) advierten contra la ilusión de universalidad.
La evaluación realista es un tipo de método de evaluación basado en la teoría utilizado en la evaluación de programas sociales. Se basa en los fundamentos epistemológicos del realismo crítico. Con base en teorías específicas, la evaluación realista proporciona una lente alternativa a las técnicas de evaluación empirista para el estudio y la comprensión de programas y políticas. Esta técnica supone que el conocimiento es un producto social e histórico, por lo que el contexto social y político, así como los mecanismos teóricos, deben considerarse en el análisis de la efectividad del programa o la política. Sigue leyendo →
"TripleAD": Aprendiendo a Aprender para el Desarrollo 