Carol H. Weiss (1927–2013) nos dejó un legado que sigue guiando a generaciones de evaluador@s. Su pensamiento crítico, su rigor y su humanidad siguen vivos en cada evaluación que busca transformar con sentido. En un momento en el que la rendición de cuentas, la mejora continua y la toma de decisiones informada son más cruciales que nunca, el papel de la evaluación de programas y políticas públicas cobra una relevancia estratégica. En este contexto, el libro Evaluation: Methods for Studying Programs and Policies de Carol H. Weiss, se ha convertido en una obra esencial para cualquier persona que trabaje o se interese por la evaluación seria, crítica y aplicada.
Compartimos este análisis en profundidad para quienes desean comprender no solo cómo evaluar, sino también para qué y desde dónde evaluar: un enfoque que va más allá de los métodos, e interpela el sentido mismo de los programas sociales y las políticas públicas.
1. Resumen general
Este libro es una obra fundamental en el campo de la evaluación de programas y políticas públicas. Weiss ofrece una guía exhaustiva sobre cómo diseñar, implementar y utilizar evaluaciones para mejorar programas sociales y políticas. Destaca la importancia de comprender la teoría subyacente de los programas y cómo esta teoría guía el proceso de evaluación.
En este documento se cuenta que la ayuda internacional se encuentra en un punto de inflexión. El reciente informe publicado por el Global Management Initiative (GMI), titulado Western Aid Cooperation in Meltdown, lanza una advertencia urgente a la comunidad internacional: el modelo de cooperación occidental está en crisis profunda, y el sector no puede continuar operando bajo las mismas lógicas del pasado. En un contexto marcado por el colapso de la arquitectura financiera tradicional del desarrollo, el documento no solo diagnostica una crisis estructural sin precedentes, sino que exige una transformación radical en la forma en que entendemos el papel de la cooperación en el mundo actual.
El detonante inmediato de esta crisis ha sido la suspensión abrupta de contratos de USAID bajo la administración MAGA en Estados Unidos, sumada a recortes sostenidos en los presupuestos de ayuda de países europeos clave. Esta combinación ha generado impactos devastadores en millones de personas, el cierre de organizaciones, la pérdida de capacidades operativas y una creciente fragmentación del sector.
No obstante, el análisis del GMI va más allá del financiamiento. El informe conecta esta crisis con una erosión profunda del multilateralismo, ataques al sistema de Naciones Unidas y una creciente hostilidad hacia los valores liberales que han sido históricamente la base de la cooperación internacional: derechos humanos, igualdad de género, diversidad y justicia climática.
El artículo de Tom Aston (2024) ofrece una revisión de las tendencias emergentes en la evaluación de blogs, podcasts y webinars durante la segunda mitad de 2024. Se centra en tres temas principales: la narración de historias desde múltiples perspectivas, la sostenibilidad en medio de la ‘policrisis’ y las promesas y posibles trampas de la evaluación feminista. Además, aborda dos metatendencias relacionadas con los desafíos de establecer límites evaluativos y buscar explicaciones parsimoniosas.
Ideas Centrales:
Narración de Historias y Pluralismo Epistemológico:
La importancia de considerar múltiples perspectivas y formas de conocimiento en la evaluación (Aston, 2024; Bremner & Lee, 2023).
La necesidad de reflexionar sobre la posición y el poder en la narración de historias, destacando la influencia de las epistemologías indígenas y la decolonización del sector (Aston, 2024; Inclusive Rigour Co-Lab, 2024).
La reciprocidad y la relacionalidad como elementos clave en el proceso evaluativo (Bremner & Lee, 2023).
Participación, Interpretación y Validez:
La evaluación participativa debe ser explícita en sus posiciones ontológicas, epistemológicas y metodológicas (Tapella & Menese, 2024).
La triangulación de perspectivas, fuentes, teorías y técnicas como medio para lograr credibilidad en la evaluación (Tapella & Menese, 2024; Denzin, 1970).
La flexibilidad en los métodos y la importancia de la construcción colectiva del conocimiento (Tapella & Menese, 2024).
Sostenibilidad en la ‘Policrisis’:
La creciente atención a la sostenibilidad ambiental y el cambio climático en la evaluación (Aston, 2024; Patton, 2024).
La necesidad de integrar consideraciones ambientales en todas las evaluaciones y adoptar enfoques sistémicos (Macfarlan, 2022; Patton, 2024).
La importancia de la colaboración y el intercambio de conocimientos para abordar los desafíos ambientales (Bernabè, 2024).
Evaluación Feminista:
La evaluación feminista como una herramienta para abordar las desigualdades de género y promover la justicia social (Podems, 2010; GEI, 2024a).
Los desafíos políticos y prácticos de adoptar una perspectiva feminista en la evaluación (Podems, 2010; Bardasi & Fraser, 2024).
La necesidad de datos desagregados por género y la inclusión de diversas voces y perspectivas (Criado-Perez, 2019).
1. Resumen General: El capítulo «Evaluation for Practice Improvement and Organizational Learning» de Patricia J. Rogers y Bob Williams, incluido en el «Handbook of Evaluation» (2006), explora cómo la evaluación puede ser utilizada no solo para medir el desempeño, sino también para mejorar las prácticas y fomentar el aprendizaje organizacional (Rogers y Williams, 2006).
2. Análisis de Capítulos
Introducción: Presenta la importancia de la evaluación como herramienta para la mejora continua y el aprendizaje dentro de las organizaciones.
Fundamentos Teóricos: Discute las teorías subyacentes que apoyan la evaluación para la mejora de la práctica y el aprendizaje organizacional.
Métodos y Enfoques: Describe diversos métodos y enfoques de evaluación que pueden ser utilizados para estos fines.
Estudios de Caso: Como extra en este post algunos ejemplos prácticos de cómo la evaluación ha sido implementada exitosamente en diferentes contextos organizacionales (después del capitulo del libro)
Conclusiones y Recomendaciones: Ofrece conclusiones sobre la efectividad de estos enfoques y recomendaciones para su implementación.
Análisis de Capítulos
1) Introducción La evaluación es una herramienta esencial para la mejora continua y el aprendizaje dentro de las organizaciones. Permite identificar áreas de mejora, medir el progreso y asegurar que las prácticas y procesos estén alineados con los objetivos organizacionales (Rogers y Williams, 2006). La evaluación no solo ayuda a mejorar la eficiencia y efectividad, sino que también fomenta una cultura de transparencia y responsabilidad (Shaw et al., 2006).
2) Fundamentos Teóricos Las teorías subyacentes que apoyan la evaluación para la mejora de la práctica y el aprendizaje organizacional incluyen:
Teoría del Control y Evaluación Organizacional: Esta teoría se centra en cómo las organizaciones pueden utilizar la evaluación para controlar y mejorar sus procesos internos (Greene, 2006).
Teoría del Aprendizaje Organizacional: Propuesta por Watkins y Marsick, esta teoría sugiere que las organizaciones deben fomentar un entorno de aprendizaje continuo para mejorar su desempeño (Watkins y Marsick, 1993).
Teoría de la Mejora Continua: Basada en la filosofía Kaizen, esta teoría enfatiza la importancia de realizar pequeños cambios incrementales para lograr mejoras significativas a largo plazo (Imai, 1986).
3) Métodos y Enfoques Existen diversos métodos y enfoques de evaluación que pueden ser utilizados para la mejora de la práctica y el aprendizaje organizacional:
Evaluación por Objetivos (MBO): Este método se centra en establecer y evaluar el cumplimiento de objetivos específicos (Drucker, 1954).
Evaluación 360 Grados: Involucra la retroalimentación de múltiples fuentes, incluyendo supervisores, compañeros y subordinados (Lepsinger y Lucia, 1997).
Evaluación Basada en Competencias: Evalúa las habilidades y competencias específicas necesarias para el desempeño efectivo en el trabajo (Boyatzis, 1982).
Evaluación de Desempeño: Utiliza indicadores de rendimiento para medir la eficacia y eficiencia de los empleados (Aguinis, 2009).
El informe Lessons and learning in foresight use for international organizations de IDRC explora cómo las organizaciones internacionales están utilizando la prospectiva para enfrentar desafíos globales complejos y dinámicos. El documento destaca la importancia de adoptar enfoques sistemáticos y colaborativos para anticipar futuros posibles y deseados, y subraya la necesidad de un cambio de mentalidad y liderazgo en el desarrollo internacional.
Análisis de capítulos
Introducción: Presenta el contexto y la metodología del informe.
¿Por qué usan la prospectiva las organizaciones?: Examina las razones detrás del uso de la prospectiva por parte de organizaciones y gobiernos.
Lecciones aprendidas: Detalla las 22 lecciones principales sobre el uso de la prospectiva, incluyendo liderazgo, colaboración y tácticas organizacionales.
Visión de futuro: Propone una lista de deseos para la prospectiva en las organizaciones.
Cambio organizacional y liderazgo: Discute la integración profunda de la prospectiva en las organizaciones de desarrollo.
Modelo inclusivo de alfabetización futura: Presenta un modelo para aprender sobre futuros inclusivos.
Conclusión: Resume los hallazgos clave y la importancia de la prospectiva para el desarrollo internacional.
Temas y mensajes principales
Interconexión de desafíos globales: La necesidad de abordar problemas sociales, ambientales y tecnológicos de manera integrada.
Cambio de mentalidad: La importancia de adoptar una visión a largo plazo y un enfoque proactivo.
Colaboración y liderazgo: La necesidad de liderazgo y colaboración para implementar la prospectiva de manera efectiva.
La «Evaluación Durante el Desarrollo» (Developmental Evaluation, DE) es un enfoque innovador que se centra en la adaptación y la innovación en entornos complejos e inciertos. Este método, desarrollado por Michael Quinn Patton, se diferencia de las evaluaciones tradicionales al integrarse en el proceso de desarrollo de una intervención, proporcionando retroalimentación en tiempo real y permitiendo ajustes continuos.
Ideas Clave
Definición y Propósito: La DE se compara con la I+D+i en el sector privado, facilitando la retroalimentación casi en tiempo real y centrando el seguimiento en los efectos positivos del proyecto. Es especialmente útil para la innovación, el cambio radical y la replicabilidad en contextos complejos y de crisis.
Comparación con Evaluaciones Tradicionales: A diferencia de las evaluaciones tradicionales que se centran en el control del proyecto y la mejora de la intervención, la DE apoya la innovación y la adaptación. Los evaluadores en DE están integrados en el proceso, generando marcos para la interpretación y supervisando modelos en desarrollo.
Principios y Estándares: La DE se basa en principios como el propósito de desarrollo, el rigor de la evaluación, el nicho de innovación, las perspectivas de la complejidad, el pensamiento sistémico, la co-creación y los comentarios oportunos. Estos principios se combinan con normas de evaluación del UNEG, como la independencia, la imparcialidad, la credibilidad y la igualdad de género y derechos humanos.
Productos y Procesos de Evaluación: La calidad de la evaluación en DE se expresa tanto en productos de evaluación (informes, resúmenes de aprendizaje, presentaciones) como en procesos de evaluación (relaciones, discusiones evaluativas, toma de decisiones basada en datos). Un enfoque convencional que solo valore los informes finales perdería importantes interacciones de evaluación del día a día.
Calificación y Métodos de Datos: La valoración de las evaluaciones en DE se realiza calificando el grado en que los productos y procesos de evaluación exhiben estándares de calidad. Este proceso debe ser realizado por un evaluador externo independiente utilizando métodos como la revisión de productos, entrevistas con informantes clave y entrevistas con el personal de evaluación.
Pasos para Evaluar la Calidad: El proceso de evaluación de la calidad en DE consta de tres pasos principales: determinación del alcance, implementación y revisión y aprobación. Este proceso asegura una valoración completa y precisa de la calidad de las evaluaciones durante el desarrollo.
El objetivo del informe «Choosing Appropriate Evaluation Methods: A Tool for Assessment and Selection» por Barbara Befani y Michael O’Donnell (2016) es proporcionar una herramienta que ayude a los evaluadores a seleccionar métodos de evaluación adecuados para diferentes contextos y necesidades, mejorando así la calidad y relevancia de las evaluaciones[1].
Innovación: La innovación principal de este informe radica en su enfoque sistemático para la selección de métodos de evaluación, utilizando una serie de preguntas y criterios que guían a los usuarios a través del proceso de toma de decisiones de manera lógica y estructurada[1].
Utilidad y Valor Añadido: La herramienta es útil para evaluadores y comisionados de evaluaciones, ya que facilita la comprensión de las ventajas y desventajas comparativas de diferentes métodos de evaluación. Además, promueve una toma de decisiones informada y razonada, lo que puede mejorar la calidad y efectividad de las evaluaciones[1].
Partes del Informe
Introducción: Explica la importancia de seleccionar métodos de evaluación apropiados y los desafíos asociados.
Dimensiones de la Apropiación: Detalla los criterios y dimensiones que deben considerarse al elegir métodos de evaluación.
Funcionamiento de la Herramienta: Describe cómo utilizar la herramienta para seleccionar métodos de evaluación.
Uso y Limitaciones: Discute las aplicaciones prácticas y las limitaciones de la herramienta.
Anexos: Proporciona información adicional y ejemplos de uso de la herramienta[1].
En un mundo cada vez más complejo, la necesidad de enfoques innovadores en la Monitoreo y Evaluación (M&E) es crucial. El reciente documento de UNDP sobre el «MEL Sandbox» explora cómo los profesionales pueden equilibrar la predicción y la emergencia en sus prácticas de M&E. Este post desglosa los puntos clave y las implicaciones de este enfoque, destacando su importancia para evaluadores y evaluadoras.
Contenido del documento MEL Sandbox
a) Relevancia del texto para evaluadores y evaluadoras
El documento es relevante para los y las evaluadoras porque ofrece una perspectiva fresca sobre cómo manejar la tensión entre la necesidad de resultados predecibles y la flexibilidad para adaptarse a cambios inesperados. Este equilibrio es esencial para la efectividad de las intervenciones en contextos complejos.
b) Puntos más relevantes del texto
Equilibrio entre Predicción y Emergencia: El texto destaca la importancia de reconocer el valor tanto de la predictibilidad como de la emergencia. La predictibilidad es útil a corto plazo y en contextos con pocos actores, mientras que la emergencia es crucial para cambios a largo plazo y en sistemas complejos.
Creatividad en MEL: Katherine Haugh introduce el concepto de la «zona de creatividad en MEL», donde se desarrollan y prueban nuevos enfoques que equilibran la predictibilidad y la emergencia.
Mejora de Prácticas Existentes: Howard White aboga por mejorar el uso de enfoques de MEL existentes en lugar de crear nuevos, enfatizando la importancia de la retroalimentación y el aprendizaje continuo.
Prácticas Emergentes: Ivan Tibemanya comparte experiencias sobre cómo las prácticas emergentes pueden complementar la predictibilidad, destacando la importancia de la flexibilidad y la adaptación en los marcos de responsabilidad.
Según Patton, “La evaluación es una actividad. El pensamiento evaluativo es una forma de hacer negocios. Esta distinción es fundamental. La evaluación es más útil y realmente se usa cuando el programa y la cultura organizacional manifiestan un pensamiento evaluativo”.
Thomas Archibald y su equipo definen el «Pensamiento evaluativo» como:
Aplicar el pensamiento crítico en el contexto de la evaluación.
Estar motivado por una actitud de curiosidad y una creencia en el valor de la evidencia.
Implicar la identificación de supuestos, plantear preguntas reflexivas y buscar una comprensión más profunda.
Utilizar la reflexión, la toma de perspectiva e informar las decisiones en preparación para la acción.
Algunos retos para la evaluación de programas en el presente y futuro pasan por adaptarse a un entorno cada vez más complejo y dinámico. Aquí hay algunos aspectos clave de este desafío:
Medición de Impacto a Largo Plazo: Evaluar el impacto sostenible de los programas en contextos cambiantes sigue siendo un desafío significativo.
Integración de Nuevas Tecnologías: La incorporación de tecnologías avanzadas como la inteligencia artificial y el análisis de big data puede mejorar la precisión y eficiencia de las evaluaciones, pero también requiere nuevas habilidades y enfoques.
Relevancia Estratégica: Asegurar que los temas evaluados sean estratégicamente relevantes y alineados con los objetivos a largo plazo de las organizaciones es crucial para maximizar el impacto de las evaluaciones.
Implementación de Recomendaciones: Las recomendaciones de las evaluaciones a menudo no se implementan de manera efectiva, lo que limita su capacidad para generar cambios significativos.
Coordinación y Colaboración: Mejorar la coordinación entre los departamentos de evaluación y otros departamentos dentro de las organizaciones es esencial para evitar duplicidades y asegurar una utilización eficiente de los recursos.
Abordar estos retos requiere un enfoque holístico y adaptativo, que combine la innovación tecnológica con una comprensión profunda de los contextos locales y las necesidades estratégicas de las organizaciones.
