Esta mañana mi hijo me despertó con un mensaje urgente, como si hubiese estallado la Tercera Guerra Mundial:
“¡Rick Davies ha muerto, noooo!”
Yo, todavía en estado de hibernación cerebral, entendí lo peor: que había muerto nuestro Rick Davies, el evaluador. Ese hombre que logró poner métricas a lo inmedible, que inventó una gramática para que los proyectos sociales no naufragaran en informes huecos. Mi hijo, estudiante de Políticas, y yo habíamos hablado tanto de evaluación que la confusión parecía lógica.
Pero no: hablaba del otro Rick Davies. El de Supertramp. El de The Logical Song, Dreamer, Goodbye Stranger. El hombre que convirtió un teclado eléctrico en el instrumento de nuestra educación sentimental.
Por un momento, sentí que me habían matado dos veces al mismo Rick Davies.
“La Teoría del Cambio no debe quedarse en el papel. Su verdadero valor emerge cuando estructura el análisis y guía la toma de decisiones.”
Introducción: El dilema de la ToC decorativa
La Teoría del Cambio (TdC) ha ganado terreno como herramienta estratégica en el diseño y evaluación de programas. Desde UNICEF hasta USAID, pasando por GIZ, UNDP y fundaciones globales, todos la usan. Pero hay un problema frecuente: se elabora al inicio y luego se abandona.
La TdC queda como un gráfico bonito, un anexo más. Pero no se actualiza, no estructura hipótesis ni se conecta con la matriz evaluativa.
Entonces, ¿cómo lograr que la TodC sea realmente útil y no solo decorativa?
Este post ofrece reflexiones: cómo operativizar la TdC para que sirva como brújula metodológica en el análisis evaluativo, basada en experiencias y contrastada con buenas prácticas globales.
En tiempos marcados por crisis ecológicas, desigualdades estructurales y disputas epistémicas sobre qué cuenta como conocimiento válido, la evaluación enfrenta una encrucijada histórica. Ya no basta con identificar “qué funciona”; debemos preguntarnos también cómo, para quién y en qué condiciones funciona, y bajo qué marcos epistémicos, culturales y políticos se construye ese juicio.
La validez en evaluación, tradicionalmente entendida como una dimensión técnica, se transforma en este contexto en una categoría relacional, ética y situada. Este texto propone una relectura integral y crítica de las formas de validez, integrando sus expresiones clásicas con nuevos aportes emergentes desde perspectivas decoloniales, feministas, participativas y ecológicas.
2.Fundamentos teóricos: de la neutralidad al compromiso epistemológico
Los aportes desarrollados aquí se fundamentan en un corpus diverso que incluye la crítica pospositivista a la neutralidad del conocimiento (Schwandt, 2009; Patton, 2011), las epistemologías del Sur (Sousa Santos, 2018), la evaluación transformativa (Mertens, 2009) y la práctica culturalmente receptiva (Hood, 2009; Chilisa, 2012). También se apoyan en enfoques de sistemas complejos (Greene, 2007; Patton, 2011) y pedagogías críticas como la de Freire (1970), así como en evaluaciones participativas con base en justicia social (Cousins & Whitmore, 1998; Mark & Henry, 2004).
Desde esta perspectiva surge la idea de validación crítica: un proceso dialógico, situado y plural que reconoce las tensiones entre formas de validez y busca equilibrarlas en función del propósito evaluativo y el contexto sociopolítico.
3.Las valideces: clásicas y críticas
3.1.Las valideces clásicas: continuidad necesaria con revisión crítica
Validez interna
Enfocada en la relación causal entre intervención y resultados, es central en diseños experimentales (Shadish et al., 2002; Gertler et al., 2016). No obstante, puede omitir factores contextuales o dinámicas de poder, como han señalado evaluaciones realistas (Pawson & Tilley, 1997).
Validez externa
Remite a la generalización de resultados. Investigaciones como la de Vivalt (2020) muestran la variabilidad de efectos cuando se replican programas en contextos distintos. Cartwright & Hardie (2012) advierten contra la ilusión de universalidad.
Este post esta dentro de la serie «Repensar la ayuda» en el contexto actual en el que la cooperación internacional para el desarrollo está atravesando un momento de transformación rápida y profunda. Más allá de los recortes presupuestarios o los factores geopolíticos externos, lo que hoy está en juego es la capacidad del sector para adaptarse a un mundo cambiante, reconectarse con las prioridades de la ciudadanía global y reposicionarse como una herramienta estratégica al servicio del bien público global.
Factores como la inflación global, el auge del nacionalismo o el retorno de conflictos (como Ucrania o Gaza), junto con cambios políticos en países clave, han generado un entorno más incierto. Sin embargo, los desafíos más críticos son internos: estructuras organizativas rígidas, liderazgos complacientes, accountability simbólica y culturas institucionales que penalizan la transparencia. Estas condiciones han limitado la capacidad de innovar, aprender y responder eficazmente.
Este post propone que esta situación no es una condena, sino una oportunidad para rediseñar el futuro del desarrollo. Superarla requiere reformas estructurales, una renovación del contrato político con la sociedad y una transformación profunda de la cultura organizacional del sector. La buena noticia es que existen experiencias, aprendizajes y propuestas concretas para lograrlo.
Evaluabilidad vs. Preparación para la implementación: dos diagnósticos clave en cooperación
En el mundo de la cooperación internacional, actuar rápido no siempre significa actuar bien. Entre presiones por mostrar resultados, ciclos políticos cortos y fondos condicionados, muchas organizaciones tropiezan con dos errores comunes:
🛑 Evaluar sin que haya nada real que evaluar
🛑 Lanzar una estrategia sin estar preparados para implementarla
Para evitar ambos tropiezos, existen dos herramientas poderosas pero frecuentemente confundidas:
👉 la Evaluability Assessment (análisis de evaluabilidad)
👉 y la Readiness Assessment (valoración de preparación para la implementación)
No son lo mismo. No sirven para lo mismo. Y no deben usarse al mismo tiempo.
Pero juntas, pueden marcar la diferencia entre una intervención exitosa y un costoso malentendido.
🔍 Evaluabilidad vs. Preparación: ¿cuál es cuál?
Diagnóstico
¿Qué pregunta responde?
¿Cuándo se usa?
¿Para quién?
Evaluability Assessment
¿Tiene sentido evaluar esta intervención ahora?
Antes de lanzar una evaluación
Equipos de evaluación, donantes
Readiness Assessment
¿Estamos listos para implementar esta intervención?
Carol H. Weiss (1927–2013) nos dejó un legado que sigue guiando a generaciones de evaluador@s. Su pensamiento crítico, su rigor y su humanidad siguen vivos en cada evaluación que busca transformar con sentido. En un momento en el que la rendición de cuentas, la mejora continua y la toma de decisiones informada son más cruciales que nunca, el papel de la evaluación de programas y políticas públicas cobra una relevancia estratégica. En este contexto, el libro Evaluation: Methods for Studying Programs and Policies de Carol H. Weiss, se ha convertido en una obra esencial para cualquier persona que trabaje o se interese por la evaluación seria, crítica y aplicada.
Compartimos este análisis en profundidad para quienes desean comprender no solo cómo evaluar, sino también para qué y desde dónde evaluar: un enfoque que va más allá de los métodos, e interpela el sentido mismo de los programas sociales y las políticas públicas.
1. Resumen general
Este libro es una obra fundamental en el campo de la evaluación de programas y políticas públicas. Weiss ofrece una guía exhaustiva sobre cómo diseñar, implementar y utilizar evaluaciones para mejorar programas sociales y políticas. Destaca la importancia de comprender la teoría subyacente de los programas y cómo esta teoría guía el proceso de evaluación.
1. Resumen General: El capítulo «Evaluation for Practice Improvement and Organizational Learning» de Patricia J. Rogers y Bob Williams, incluido en el «Handbook of Evaluation» (2006), explora cómo la evaluación puede ser utilizada no solo para medir el desempeño, sino también para mejorar las prácticas y fomentar el aprendizaje organizacional (Rogers y Williams, 2006).
2. Análisis de Capítulos
Introducción: Presenta la importancia de la evaluación como herramienta para la mejora continua y el aprendizaje dentro de las organizaciones.
Fundamentos Teóricos: Discute las teorías subyacentes que apoyan la evaluación para la mejora de la práctica y el aprendizaje organizacional.
Métodos y Enfoques: Describe diversos métodos y enfoques de evaluación que pueden ser utilizados para estos fines.
Estudios de Caso: Como extra en este post algunos ejemplos prácticos de cómo la evaluación ha sido implementada exitosamente en diferentes contextos organizacionales (después del capitulo del libro)
Conclusiones y Recomendaciones: Ofrece conclusiones sobre la efectividad de estos enfoques y recomendaciones para su implementación.
Análisis de Capítulos
1) Introducción La evaluación es una herramienta esencial para la mejora continua y el aprendizaje dentro de las organizaciones. Permite identificar áreas de mejora, medir el progreso y asegurar que las prácticas y procesos estén alineados con los objetivos organizacionales (Rogers y Williams, 2006). La evaluación no solo ayuda a mejorar la eficiencia y efectividad, sino que también fomenta una cultura de transparencia y responsabilidad (Shaw et al., 2006).
2) Fundamentos Teóricos Las teorías subyacentes que apoyan la evaluación para la mejora de la práctica y el aprendizaje organizacional incluyen:
Teoría del Control y Evaluación Organizacional: Esta teoría se centra en cómo las organizaciones pueden utilizar la evaluación para controlar y mejorar sus procesos internos (Greene, 2006).
Teoría del Aprendizaje Organizacional: Propuesta por Watkins y Marsick, esta teoría sugiere que las organizaciones deben fomentar un entorno de aprendizaje continuo para mejorar su desempeño (Watkins y Marsick, 1993).
Teoría de la Mejora Continua: Basada en la filosofía Kaizen, esta teoría enfatiza la importancia de realizar pequeños cambios incrementales para lograr mejoras significativas a largo plazo (Imai, 1986).
3) Métodos y Enfoques Existen diversos métodos y enfoques de evaluación que pueden ser utilizados para la mejora de la práctica y el aprendizaje organizacional:
Evaluación por Objetivos (MBO): Este método se centra en establecer y evaluar el cumplimiento de objetivos específicos (Drucker, 1954).
Evaluación 360 Grados: Involucra la retroalimentación de múltiples fuentes, incluyendo supervisores, compañeros y subordinados (Lepsinger y Lucia, 1997).
Evaluación Basada en Competencias: Evalúa las habilidades y competencias específicas necesarias para el desempeño efectivo en el trabajo (Boyatzis, 1982).
Evaluación de Desempeño: Utiliza indicadores de rendimiento para medir la eficacia y eficiencia de los empleados (Aguinis, 2009).
La «Evaluación Durante el Desarrollo» (Developmental Evaluation, DE) es un enfoque innovador que se centra en la adaptación y la innovación en entornos complejos e inciertos. Este método, desarrollado por Michael Quinn Patton, se diferencia de las evaluaciones tradicionales al integrarse en el proceso de desarrollo de una intervención, proporcionando retroalimentación en tiempo real y permitiendo ajustes continuos.
Ideas Clave
Definición y Propósito: La DE se compara con la I+D+i en el sector privado, facilitando la retroalimentación casi en tiempo real y centrando el seguimiento en los efectos positivos del proyecto. Es especialmente útil para la innovación, el cambio radical y la replicabilidad en contextos complejos y de crisis.
Comparación con Evaluaciones Tradicionales: A diferencia de las evaluaciones tradicionales que se centran en el control del proyecto y la mejora de la intervención, la DE apoya la innovación y la adaptación. Los evaluadores en DE están integrados en el proceso, generando marcos para la interpretación y supervisando modelos en desarrollo.
Principios y Estándares: La DE se basa en principios como el propósito de desarrollo, el rigor de la evaluación, el nicho de innovación, las perspectivas de la complejidad, el pensamiento sistémico, la co-creación y los comentarios oportunos. Estos principios se combinan con normas de evaluación del UNEG, como la independencia, la imparcialidad, la credibilidad y la igualdad de género y derechos humanos.
Productos y Procesos de Evaluación: La calidad de la evaluación en DE se expresa tanto en productos de evaluación (informes, resúmenes de aprendizaje, presentaciones) como en procesos de evaluación (relaciones, discusiones evaluativas, toma de decisiones basada en datos). Un enfoque convencional que solo valore los informes finales perdería importantes interacciones de evaluación del día a día.
Calificación y Métodos de Datos: La valoración de las evaluaciones en DE se realiza calificando el grado en que los productos y procesos de evaluación exhiben estándares de calidad. Este proceso debe ser realizado por un evaluador externo independiente utilizando métodos como la revisión de productos, entrevistas con informantes clave y entrevistas con el personal de evaluación.
Pasos para Evaluar la Calidad: El proceso de evaluación de la calidad en DE consta de tres pasos principales: determinación del alcance, implementación y revisión y aprobación. Este proceso asegura una valoración completa y precisa de la calidad de las evaluaciones durante el desarrollo.
El objetivo del informe «Choosing Appropriate Evaluation Methods: A Tool for Assessment and Selection» por Barbara Befani y Michael O’Donnell (2016) es proporcionar una herramienta que ayude a los evaluadores a seleccionar métodos de evaluación adecuados para diferentes contextos y necesidades, mejorando así la calidad y relevancia de las evaluaciones[1].
Innovación: La innovación principal de este informe radica en su enfoque sistemático para la selección de métodos de evaluación, utilizando una serie de preguntas y criterios que guían a los usuarios a través del proceso de toma de decisiones de manera lógica y estructurada[1].
Utilidad y Valor Añadido: La herramienta es útil para evaluadores y comisionados de evaluaciones, ya que facilita la comprensión de las ventajas y desventajas comparativas de diferentes métodos de evaluación. Además, promueve una toma de decisiones informada y razonada, lo que puede mejorar la calidad y efectividad de las evaluaciones[1].
Partes del Informe
Introducción: Explica la importancia de seleccionar métodos de evaluación apropiados y los desafíos asociados.
Dimensiones de la Apropiación: Detalla los criterios y dimensiones que deben considerarse al elegir métodos de evaluación.
Funcionamiento de la Herramienta: Describe cómo utilizar la herramienta para seleccionar métodos de evaluación.
Uso y Limitaciones: Discute las aplicaciones prácticas y las limitaciones de la herramienta.
Anexos: Proporciona información adicional y ejemplos de uso de la herramienta[1].
En un mundo cada vez más complejo, la necesidad de enfoques innovadores en la Monitoreo y Evaluación (M&E) es crucial. El reciente documento de UNDP sobre el «MEL Sandbox» explora cómo los profesionales pueden equilibrar la predicción y la emergencia en sus prácticas de M&E. Este post desglosa los puntos clave y las implicaciones de este enfoque, destacando su importancia para evaluadores y evaluadoras.
Contenido del documento MEL Sandbox
a) Relevancia del texto para evaluadores y evaluadoras
El documento es relevante para los y las evaluadoras porque ofrece una perspectiva fresca sobre cómo manejar la tensión entre la necesidad de resultados predecibles y la flexibilidad para adaptarse a cambios inesperados. Este equilibrio es esencial para la efectividad de las intervenciones en contextos complejos.
b) Puntos más relevantes del texto
Equilibrio entre Predicción y Emergencia: El texto destaca la importancia de reconocer el valor tanto de la predictibilidad como de la emergencia. La predictibilidad es útil a corto plazo y en contextos con pocos actores, mientras que la emergencia es crucial para cambios a largo plazo y en sistemas complejos.
Creatividad en MEL: Katherine Haugh introduce el concepto de la «zona de creatividad en MEL», donde se desarrollan y prueban nuevos enfoques que equilibran la predictibilidad y la emergencia.
Mejora de Prácticas Existentes: Howard White aboga por mejorar el uso de enfoques de MEL existentes en lugar de crear nuevos, enfatizando la importancia de la retroalimentación y el aprendizaje continuo.
Prácticas Emergentes: Ivan Tibemanya comparte experiencias sobre cómo las prácticas emergentes pueden complementar la predictibilidad, destacando la importancia de la flexibilidad y la adaptación en los marcos de responsabilidad.
"TripleAD": Aprendiendo a Aprender para el Desarrollo 