Evaluation

Rick Davies: El Músico y el Evaluador

Posted by

0


Esta mañana mi hijo me despertó con un mensaje urgente, como si hubiese estallado la Tercera Guerra Mundial:

“¡Rick Davies ha muerto, noooo!”

Yo, todavía en estado de hibernación cerebral, entendí lo peor: que había muerto nuestro Rick Davies, el evaluador. Ese hombre que logró poner métricas a lo inmedible, que inventó una gramática para que los proyectos sociales no naufragaran en informes huecos. Mi hijo, estudiante de Políticas, y yo habíamos hablado tanto de evaluación que la confusión parecía lógica.

Pero no: hablaba del otro Rick Davies. El de Supertramp. El de The Logical Song, Dreamer, Goodbye Stranger. El hombre que convirtió un teclado eléctrico en el instrumento de nuestra educación sentimental.

Por un momento, sentí que me habían matado dos veces al mismo Rick Davies.

Sigue leyendo →

Perspectivas Modernas en Evaluación de Programas: Un Enfoque Inclusivo

Posted by

0


Como continuacion del post anterior Fundamentos de la Evaluación de Programas: Un libro esencial, dentro de la serie Libros de Evaluación, vamos a desarrollar cómo el modelo revolucionario de «Fundamentos de la Evaluación de Programas» de Shadish, Cook & Leviton se enriqueció desde su hito fundacional (1991) con los debates que lo rebasaron.

1. El legado que no caduca: ¿por qué las cinco familias de evaluación sigue siendo su sección más citada?

Mapa integrador y lenguaje común. Antes de 1991, los enfoques convivían como islas (experimentos, modelos de uso, enfoques de valores, etc.). La propuesta de Shadish, Cook y Leviton ofreció un marco taxonómico que ordenó el campo en cinco familias —experimental, descriptiva/cualitativa, centrada en el uso, centrada en valores y centrada en el contexto— y lo convirtió en un idioma compartido para docencia y práctica. Manuales y artículos posteriores lo adoptaron como “paradigma de referencia” para ubicar debates y decisiones metodológicas.

Puente entre teoría y práctica. La clasificación no prescribe “una” forma de evaluar; normaliza la pluralidad y la convierte en elecciones razonadas (qué valoramos, cómo construimos evidencia, para quién y para qué se usa). Esa “neutralidad operativa” explica su alta citación en currículos y en artículos de revisión.

Estandariza preguntas nucleares. El propio Shadish (1998) muestra cómo el campo discute de manera recurrente cinco ejes (valor, conocimiento, uso, cambio del evaluando y práctica), que encajan con la arquitectura del libro de 1991, reforzando su función de marco metateórico.

Resultado: la clasificación facilitó comparabilidad entre teorías, ayudó a estructurar cursos y a “situarse” en diseños complejos. Por eso sigue apareciendo en revisiones y marcos actuales que explican “de dónde venimos” antes de introducir enfoques contemporáneos.

Por tanto y como ya tratamos en nuestro anterior post Fundamentos de la Evaluación de Programas: Un libro esencial, Shadish, Cook y Leviton (1991) revolucionaron la evaluación al proponer cinco familias teóricas (experimental, descriptiva, centrada en el uso, en valores y en contexto). Fue un mapa epistémico común que:

  • Ordenó un campo fragmentado, funcionando como lenguaje pedagógico y referencia en programas académicos.
  • Actuó como puente entre diversidad y unidad, validando la pluralidad en lugar de imponer un modelo único.
  • Se convirtió en un “esqueleto del campo” citado en manuales, cursos universitarios y artículos de revisión.

2. Más allá del mapa: perspectivas que lo rebasan

Sigue leyendo →

UN80: La contribución de la Evaluación para potenciar la reforma de la ONU

Posted by

0


1.Introducción

    Este post esta dentro de la serie «Repensar la ayuda». En su 80.º aniversario, la ONU no se limita a celebrar. Se embarca en una transformación institucional de gran envergadura. Lanza UN80, una reforma orientada a reducir burocracia, revisar mandatos, fortalecer coherencia y avanzar hacia una arquitectura organizacional más eficiente y adaptada a los desafíos globales.

    Desde un enfoque de evaluación con intención transformadora, surge una oportunidad única: explorar cómo la evaluación puede contribuir activamente a maximizar el impacto y la sostenibilidad de esta reforma.

    2. ¿Qué es UN80 y por qué importa?

      UN80 es una iniciativa del Secretario General António Guterres, lanzada el 12 de marzo de 2025, centrada en tres grandes líneas: eficiencia interna, revisión de mandatos y reestructuración organizacional (Stimson Center, 2025).

      Sigue leyendo →

      Evaluación con propósito: el legado vivo de Carol H. Weiss

      Posted by

      0


      Carol H. Weiss (1927–2013) nos dejó un legado que sigue guiando a generaciones de evaluador@s. Su pensamiento crítico, su rigor y su humanidad siguen vivos en cada evaluación que busca transformar con sentido. En un momento en el que la rendición de cuentas, la mejora continua y la toma de decisiones informada son más cruciales que nunca, el papel de la evaluación de programas y políticas públicas cobra una relevancia estratégica. En este contexto, el libro Evaluation: Methods for Studying Programs and Policies de Carol H. Weiss, se ha convertido en una obra esencial para cualquier persona que trabaje o se interese por la evaluación seria, crítica y aplicada.

      Compartimos este análisis en profundidad para quienes desean comprender no solo cómo evaluar, sino también para qué y desde dónde evaluar: un enfoque que va más allá de los métodos, e interpela el sentido mismo de los programas sociales y las políticas públicas.

      1. Resumen general

      Este libro es una obra fundamental en el campo de la evaluación de programas y políticas públicas. Weiss ofrece una guía exhaustiva sobre cómo diseñar, implementar y utilizar evaluaciones para mejorar programas sociales y políticas. Destaca la importancia de comprender la teoría subyacente de los programas y cómo esta teoría guía el proceso de evaluación.

      2. Análisis de capítulos

      El libro se estructura en varios capítulos clave:

      Sigue leyendo →

      Evaluación Durante el Desarrollo: Innovación y Adaptación en Entornos Complejos

      Posted by

      0


      La «Evaluación Durante el Desarrollo» (Developmental Evaluation, DE) es un enfoque innovador que se centra en la adaptación y la innovación en entornos complejos e inciertos. Este método, desarrollado por Michael Quinn Patton, se diferencia de las evaluaciones tradicionales al integrarse en el proceso de desarrollo de una intervención, proporcionando retroalimentación en tiempo real y permitiendo ajustes continuos.

      Ideas Clave

      1. Definición y Propósito: La DE se compara con la I+D+i en el sector privado, facilitando la retroalimentación casi en tiempo real y centrando el seguimiento en los efectos positivos del proyecto. Es especialmente útil para la innovación, el cambio radical y la replicabilidad en contextos complejos y de crisis.
      2. Comparación con Evaluaciones Tradicionales: A diferencia de las evaluaciones tradicionales que se centran en el control del proyecto y la mejora de la intervención, la DE apoya la innovación y la adaptación. Los evaluadores en DE están integrados en el proceso, generando marcos para la interpretación y supervisando modelos en desarrollo.
      3. Principios y Estándares: La DE se basa en principios como el propósito de desarrollo, el rigor de la evaluación, el nicho de innovación, las perspectivas de la complejidad, el pensamiento sistémico, la co-creación y los comentarios oportunos. Estos principios se combinan con normas de evaluación del UNEG, como la independencia, la imparcialidad, la credibilidad y la igualdad de género y derechos humanos.
      4. Productos y Procesos de Evaluación: La calidad de la evaluación en DE se expresa tanto en productos de evaluación (informes, resúmenes de aprendizaje, presentaciones) como en procesos de evaluación (relaciones, discusiones evaluativas, toma de decisiones basada en datos). Un enfoque convencional que solo valore los informes finales perdería importantes interacciones de evaluación del día a día.
      5. Calificación y Métodos de Datos: La valoración de las evaluaciones en DE se realiza calificando el grado en que los productos y procesos de evaluación exhiben estándares de calidad. Este proceso debe ser realizado por un evaluador externo independiente utilizando métodos como la revisión de productos, entrevistas con informantes clave y entrevistas con el personal de evaluación.
      6. Pasos para Evaluar la Calidad: El proceso de evaluación de la calidad en DE consta de tres pasos principales: determinación del alcance, implementación y revisión y aprobación. Este proceso asegura una valoración completa y precisa de la calidad de las evaluaciones durante el desarrollo.

      Sigue leyendo →

      El Pensamiento Evaluativo: Un Faro en la Oscuridad Organizacional

      Posted by

      0


      En las profundidades de la gestión y planificación, el pensamiento evaluativo (PE) se erige como un faro guía para las organizaciones. Como un hilo conductor, atraviesa cada área central de operaciones, tejido en la trama misma de la eficacia y la mejora continua.

      1. Desarrollo y Diseño del Programa:
        • Evaluar el contexto de servicios y programas es como cartografiar un territorio desconocido. Identificamos brechas, redundancias y tendencias, trazando rutas hacia la excelencia.
        • Nuestra capacidad de crecimiento se mide con datos, y los hallazgos de la evaluación se entrelazan en el diseño del programa.
        • Múltiples partes interesadas se sientan alrededor de la mesa, compartiendo visiones y tejiendo modelos de programas que guían la implementación.
        • La evaluabilidad se cultiva desde el inicio, integrando procesos de reflexión y aprendizaje en los ciclos regulares.
      2. Gestión de Programas:
        • Monitoreo constante, como un vigía en la torre, nos permite ajustar el rumbo. Reflexionamos sobre lo que funciona y lo que no, identificando oportunidades de mejora.
        • Datos en tiempo real son brújulas para adaptaciones y correcciones. La calidad del programa se pule en el yunque de la evaluación constante.
      3. Evaluación del Programa:
        • Datos, como piedras preciosas, describen características, actividades y resultados. Múltiples partes interesadas interpretan y usan estos tesoros.
        • Compartimos los hallazgos en formatos útiles, nutriendo el aprendizaje y la mejora continua. Las estrategias y herramientas de evaluación son llaves maestras.
        • La formación y el apoyo son cimientos sólidos para la evaluación significativa.
      4. Interacción con las Poblaciones Objetivo:
        • Las necesidades de las poblaciones objetivo se miden periódicamente. La satisfacción de los beneficiarios y otros indicadores de calidad son estrellas que guían nuestro rumbo.
        • La voz de l@s beneficiari@s se entrelaza con los datos de resultados, creando un tapiz de mejora.
      5. Desarrollo de Capacidades del Personal:
        • Evaluamos anualmente el desarrollo del personal, preparándonos para los cambios y adoptando las mejores prácticas emergentes.
        • El impacto de talleres y seminarios web se mide en capacidades y crecimiento.

      La línea de fondo del pensamiento evaluativo:

      • Amplio Alcance y Arraigo Profundo:
        • Se extiende más allá de las actividades de evaluación, impregnando cada rincón de la organización.
        • No es un islote aislado, sino una corriente que fluye a través de programas, propósitos y personas.
        • Su raíz está en la curiosidad natural y el deseo de aprender y mejorar.
      • Habilidades, Actitudes y Enfoque:
        • Requiere habilidades, recursos y capacidades.
        • Las actitudes y los hábitos son su suelo fértil.
        • Da vida, significado y valor a actividades que podrían ser meras obligaciones.
      • Enfoque Dirigido:
        • Asegura que nuestro trabajo esté enfocado, basado en hechos y orientado a objetivos.
        • Al cultivar una cultura organizacional con este hábito, las consultas valiosas reemplazan las cargas requeridas.

      En esta danza entre datos, atención, reflexión y decisión, el pensamiento evaluativo no es una carga, sino un farol que ilumina el camino hacia la excelencia.  El pensamiento evaluativo no solo ilumina, sino también transforma.

      Let’s improve the use and influence of evaluations

      Posted by

      0


       We revisit Betterevaluation’s «Seven Strategies for Improving Evaluation Use and Influence» where (the peerless) Patricia Rogers tells us What can we do to support the use of evaluation? How can we support the constructive use of the findings and evaluation processes?

      This is a long-standing challenge. Some may object that the use of evaluations has been the focus of discussion for more than 40 years, and it’s not something that is currently fully working. This will continue for a few more years if we are not aware of the challenges and assume the correct mitigation strategies.

      That’s what the Patricia Rogers’ list of strategies for improving evaluation use can tell us about:

      1. Let’s Identify the intended users and intended uses of the evaluation from the start.

      When we identify the intended users, let’s be as specific as possible, and let’s be clear about who the main intended evaluation users are.

      2. Let’s anticipate barriers to use. Some examples:

      Sigue leyendo →

      Diseños de métodos mixtos en evaluación

      Posted by

      0


      Los tres casos principales en que los diseños de métodos mixtos ayudan a fortalecer la evaluación son:

      1) Cuando las diferentes preguntas de evaluación requieren diferentes métodos, o cuando una sola pregunta de la evaluación requiere de más de un método para responder a todos sus componentes.

      2) Cuando métodos diferentes se utilizan para responder a los mismos elementos de una sola pregunta, aumenta la confianza en la validez y fiabilidad de los resultados de la evaluación.

      3) Cuando los resultados de un método se utilizan para ayudar a diseñar las futuras fases de la evaluación

      Hoja de Ruta II: Desarrollo Agrario y Rural – Roadmap II: Agriculture and Rural Development – Roadmap II: Agriculture et développement rural

      Posted by

      0


      Hoja de Ruta II: Desarrollo Agrario y Rural

      Otro tema que voy a tratar en el futuro es el tratamiento que se da y se ha dado en la Cooperación para el Desarrollo al sector Agrario o al enfoque de desarrollo rural. Aquí presento las tres grandes líneas que trataré de desarrollar. Quedará recogido bajo la categoría Desarrollo Agrario y Rural

      La política agraria y rural de donantes y socios.

      Las intervenciones de Cooperación Internacional en el sector Agrario o con el enfoque de desarrollo rural

      Evaluación de intervenciones de Cooperación Internacional en el sector Agrario o con el enfoque de desarrollo rural

       ENGLISH

      Roadmap II: Agriculture and Rural Development

      Another topic that I will develop in the future is how is treated agriculture and rural development  approaches within the International Cooperation. Here I present three major lines that I will try to develop. It will be recorded under the category “Agricultural and Rural Development”

      Rural and agricultural policy for donors and partners.

      Agriculture or rural development interventions in International Cooperation

       

      Evaluation of agriculture or rural development interventions in International Cooperation

       

       

      FRANÇAISE

      Roadmap II: Agriculture et développement rural

      Un autre sujet que je vais developer à l’avenir est le traitement que a été donné dans la coopération pour le développement à l’agriculture et au développement rural. Ici, je présente trois grands axes qui je vais développer. Ils serons inscrites dans la catégorie de développement agricole et rural

      Politique agricole et rural de donateurs et de partenaires.

      Les interventions de la coopération internationale dans l’agriculture ou du développement rural  

      Evaluation des interventions de la coopération internationale dans l’agriculture ou du développement rural

       

       

      Hoja de ruta – RoadMap -Feuille de route

      Posted by

      0


      Hoja de ruta sobre evaluación en cooperación al desarrollo

       

      Voy a desarrollar una hoja de ruta de algunos de los elementos que me gustaría tratar en el futuro sobre evaluación. No están todos los que son ni son todos los que están, incluso habrá cambios pero para eso van cambiando las rutas según pasa el tiempo y el temporal.

       

      Estará bajo la categoría aprendiendo a aprender en cooperación.

       

      Hoja de ruta sobre evalaución en la cooperación al desarrollo

      1.La historia de la evaluación

      El caso de la cooperación al desarrollo

      2.Teoría de la evaluación: teorías de prácticas

      Papel de la teoría en la práctica de la evalaución

      Evaluación de programas sociales

      Fundamentos de la Evaluación de programas (Shadish):

      – Fase I:Dotando de evidencias a la resolución de problemas sociales

      -Fase II:Generación de alternativas enfatizando la utilidad y el pragmatismo

      -Fase III:Tratando de integrar el pasado

      -Evaluando para mejorar los programas

      La ciencia de valorar (Scriven)

      Evaluación repondente y métodos cualitativos (Stake)

      Diseños de evaluación funcionalespara mundo de acomodación política

      Evaluaciones conducidas por la teoría, a medida y comprensivas

      El caso de la cooperación al desarrollo

      3. El futuro de la evaluación

      Visiones de la evaluación en el nuevo milenio

      La visión interdisciplinar (Scriven)

      Respondiendo a retos emergentes de gestión

      Evaluación que empodera (Fetterman)

      Cuarta generación de evalauciones en el nuevo milenio (Lincoln)

      La visión inclusiva de la evaluación (Metens)

      El caso de la cooperación al desarrollo

       

      ENGLISH

       

       

      Roadmap for evaluation and evaluation in development cooperation

       

      I develop a roadmap of some of the elements related to evaluation that I will develop in this blog in the future. Probably they will change as our routes are changing over time.

       

      It will be under the category «Learning to learn»

      Roadmap of EVALUATION in development cooperation

       

       

      1.The history of the evaluation

      The case of development cooperation

       

      2.Theory of evaluation: theories of practice

      Role of theory in the practice of EVALUATION
      Evaluation of social programs

      Foundations of program evaluation (Shadish):

      – Phase I: Providing evidence to solving social problems

      -Phase II: Generation of alternatives emphasizing the usefulness and practicality

      Phase-III: Trying to integrate the past

      -Evaluations to improve programs

      The science of valuing (Scriven)
      Qualitative evaluation methods (Stake)

      Designs of functional evaluation in a world of political accommodation

      Driven theory Evaluations, tailored and comprehensive  

      The case of development cooperation

       

      3. The future of evaluation

      Visions of the evaluation in the new millennium

      Interdisciplinary vision (Scriven)

      Responding to emerging management challenges  

      Empowerment Evaluation (Fetterman)

      Fourth generation evalautions in the New Millennium (Lincoln)

      The inclusive vision of the evaluation (Metens)

      The case of the development cooperation

       

      (Française)

       

      Feuille de route pour l´evaluation et l´evaluation de la coopération au développement

       

      Je vais élaborer une feuille de route de certains des éléments autour de l´evalution que je voudrais developper à l’avenir. Il y aura des changements, mais nos routes sont en train de changer au fil du temps

       

      Sera dans la catégorie «Apprendre à apprendre»

       

      Feuille de route de l´ÉVALUATION dans la coopération au développement

       

      1.L ‘histoire de l’évaluation

      Le cas de la coopération au développement

       

      2.Théorie de l’évaluation: les théories de la pratique

      Rôle de la théorie à la pratique de l’évaluation

      Evaluation des programmes sociaux

      Fondements de l’évaluation de programmes (Shadish):

      – Phase I: Fournir des evidences pour résoudre les problèmes sociaux

      -Phase II: Production de alternatives en mettant l’accent sur l’utilité et la

      praticabilité Phase III: Essayer d’intégrer le passé

      -Évaluations pour améliorer les programmes

      La science de la valoration(Scriven)

      Méthodes d’évaluation qualitatives (Stake)

      Modèles d’évaluation functionales 

      Les évaluations conduites par la théorie

      Le cas de la coopération au développement

       

      3. L’avenir de l’évaluation

      Visions de l’évaluation dans le nouveau millénaire

      Vision interdisciplinaire (Scriven)

      Répondre aux nouveaux défis de la gestion

      Empowerment Evaluation (Fetterman)

      Quatrième génération evalautiones dans le nouveau millénaire (Lincoln)

      La vision inclusive de l’évaluation (Metens)

      Le cas de la coopération au développement