Evaluar en movimiento: Michael Quinn Patton y la revolución de la Evaluación durante el desarrollo


1. Resumen general del libro y su objetivo principal

El libro de Michael Quinn Patton, «Developmental Evaluation: Applying Complexity Concepts to Enhance Innovation and Use» (2011), que lo hemos traducido siempre en este blog por:  Evaluación durante el desarrollo (EDD): aplicar conceptos de complejidad para potenciar la innovación y el uso”, representa una de las obras más influyentes en la evolución contemporánea de la evaluación.

Su objetivo principal es ofrecer un marco conceptual y práctico para evaluar iniciativas en contextos de alta incertidumbre, innovación o cambio continuo, donde los modelos de intervención no están cerrados.

Patton parte de una observación sencilla pero revolucionaria: los modelos clásicos de evaluación —formativa (para mejorar) y sumativa (para juzgar resultados)— no sirven bien en entornos de innovación. Cuando un programa aún está “en construcción”, la evaluación debe estar presente durante su desarrollo, no al margen ni al final.

La EDD, por tanto, se convierte en una herramienta de aprendizaje y adaptación que acompaña la innovación mientras sucede. Es la evaluación que viaja dentro del tren, no la que espera en la estación final para levantar acta.

Sigue leyendo

El (p)arte del Pensamiento Evaluativo


Retomamos las ideas de Thomas Archibald sobre «Habilidades de pensamiento crítico y evaluativo para la evaluación transformadora». Nos centramos en el «Pensamiento evaluativo para la evaluación transformadora«

Según Patton, “La evaluación es una actividad. El pensamiento evaluativo es una forma de hacer negocios. Esta distinción es fundamental. La evaluación es más útil y realmente se usa cuando el programa y la cultura organizacional manifiestan un pensamiento evaluativo”.

Thomas Archibald y su equipo definen el «Pensamiento evaluativo» como:

  1. Aplicar el pensamiento crítico en el contexto de la evaluación.
  2. Estar motivado por una actitud de curiosidad y una creencia en el valor de la evidencia.
  3. Implicar la identificación de supuestos, plantear preguntas reflexivas y buscar una comprensión más profunda.
  4. Utilizar la reflexión, la toma de perspectiva e informar las decisiones en preparación para la acción.

Sigue leyendo

El Pensamiento Evaluativo: Un Faro en la Oscuridad Organizacional


En las profundidades de la gestión y planificación, el pensamiento evaluativo (PE) se erige como un faro guía para las organizaciones. Como un hilo conductor, atraviesa cada área central de operaciones, tejido en la trama misma de la eficacia y la mejora continua.

  1. Desarrollo y Diseño del Programa:
    • Evaluar el contexto de servicios y programas es como cartografiar un territorio desconocido. Identificamos brechas, redundancias y tendencias, trazando rutas hacia la excelencia.
    • Nuestra capacidad de crecimiento se mide con datos, y los hallazgos de la evaluación se entrelazan en el diseño del programa.
    • Múltiples partes interesadas se sientan alrededor de la mesa, compartiendo visiones y tejiendo modelos de programas que guían la implementación.
    • La evaluabilidad se cultiva desde el inicio, integrando procesos de reflexión y aprendizaje en los ciclos regulares.
  2. Gestión de Programas:
    • Monitoreo constante, como un vigía en la torre, nos permite ajustar el rumbo. Reflexionamos sobre lo que funciona y lo que no, identificando oportunidades de mejora.
    • Datos en tiempo real son brújulas para adaptaciones y correcciones. La calidad del programa se pule en el yunque de la evaluación constante.
  3. Evaluación del Programa:
    • Datos, como piedras preciosas, describen características, actividades y resultados. Múltiples partes interesadas interpretan y usan estos tesoros.
    • Compartimos los hallazgos en formatos útiles, nutriendo el aprendizaje y la mejora continua. Las estrategias y herramientas de evaluación son llaves maestras.
    • La formación y el apoyo son cimientos sólidos para la evaluación significativa.
  4. Interacción con las Poblaciones Objetivo:
    • Las necesidades de las poblaciones objetivo se miden periódicamente. La satisfacción de los beneficiarios y otros indicadores de calidad son estrellas que guían nuestro rumbo.
    • La voz de l@s beneficiari@s se entrelaza con los datos de resultados, creando un tapiz de mejora.
  5. Desarrollo de Capacidades del Personal:
    • Evaluamos anualmente el desarrollo del personal, preparándonos para los cambios y adoptando las mejores prácticas emergentes.
    • El impacto de talleres y seminarios web se mide en capacidades y crecimiento.

La línea de fondo del pensamiento evaluativo:

  • Amplio Alcance y Arraigo Profundo:
    • Se extiende más allá de las actividades de evaluación, impregnando cada rincón de la organización.
    • No es un islote aislado, sino una corriente que fluye a través de programas, propósitos y personas.
    • Su raíz está en la curiosidad natural y el deseo de aprender y mejorar.
  • Habilidades, Actitudes y Enfoque:
    • Requiere habilidades, recursos y capacidades.
    • Las actitudes y los hábitos son su suelo fértil.
    • Da vida, significado y valor a actividades que podrían ser meras obligaciones.
  • Enfoque Dirigido:
    • Asegura que nuestro trabajo esté enfocado, basado en hechos y orientado a objetivos.
    • Al cultivar una cultura organizacional con este hábito, las consultas valiosas reemplazan las cargas requeridas.

En esta danza entre datos, atención, reflexión y decisión, el pensamiento evaluativo no es una carga, sino un farol que ilumina el camino hacia la excelencia.  El pensamiento evaluativo no solo ilumina, sino también transforma.

El pensamiento evaluativo para transformar la evaluación  y las organizaciones


Uno de los roles de la función de evaluación es el desarrollo de pensamiento evaluativo a todos los niveles posibles.

I.) El pensamiento evaluativo (PE)

(1) es un enfoque disciplinado para la indagación y la práctica reflexiva que nos ayuda a emitir juicios sólidos, basados en evidencias, como un hábito.

(2) no es aplicable sólo en/a la evaluación (o unidades de evaluación) sino en toda la organización y fases de la gestión,

(3) tiene una dimensión de desarrollo de capacidades a nivel individual, organizacional y estructural

Thomas Archibald y su equipo han definido “Pensamiento evaluativo» de la siguiente manera:

(1) aplica el pensamiento crítico en el contexto de la evaluación,

(2) motivado por (a) una actitud de curiosidad y (b) una creencia en el valor de la evidencia, que

(3) implica (a) identificar supuestos, (b) plantear preguntas reflexivas, (c) buscar una comprensión más profunda

(4) por medio de (a) la reflexión y (b) la toma de perspectiva, e (c) informar las decisiones en preparación para la acción». Sigue leyendo

El pensamiento evaluativo en el diseño y seguimiento de intervenciones


El pensamiento evaluativo puede reforzar el ciclo de gestión y planificación, mejorando la calidad del diseño y del sistema de seguimiento de las intervenciones:

1.Desarrollo y diseño de la intervención

  • Cómo incorporar aprendizajes y hallazgos de evaluaciones previas en el diseño de intervenciones.
  • Seguimiento sistemáticamente y regularmente: (1) el contexto para identificar brechas, redundancias y tendencias, (2) estructura y capacidad organizacional
  • Participación: Involucrar a múltiples grupos de partes interesadas (beneficiarios, personal, gestores, expertos, etc.) en el diseño y la planificación del programa.
  • Desarrollar y documentar teorías del cambio y modelos de intervención para guiar la implementación.
  • Mejorar la evaluabilidad y desarrollar estrategias/sistemas de seguimiento y evaluación desde el diseño
  • Integrar procesos de reflexión, aprendizaje y mejora en los ciclos regulares de gestión del programa.

Sigue leyendo

Pensamiento evaluativo para la evaluación transformadora


Siguiendo con nuestra serie sobre «Pensamiento evaluativo»,  exploramos el post de Thomas Archibald sobre «Habilidades de pensamiento crítico y evaluativo para la evaluación transformadora» y nos centramos en la parte referida a Pensamiento evaluativo para la evaluación transformadora

Según Patton, “La evaluación es una actividad. El pensamiento evaluativo es una forma de hacer negocios. Esta distinción es fundamental. Se deriva de estudios de uso de la evaluación. La evaluación es más útil, y realmente se usa, cuando el programa y la cultura organizacional manifiestan un pensamiento evaluativo «.

Thomas Archibald y su equipo han definido “Pensamiento evaluativo» de la siguiente manera:

(1) aplica el pensamiento crítico en el contexto de la evaluación,

(2) motivado por (a) una actitud de curiosidad y (b) una creencia en el valor de la evidencia, que

(3) implica (a) identificar supuestos, (b) plantear preguntas reflexivas, (c) buscar una comprensión más profunda

(4) por medio de (a) la reflexión y (b) la toma de perspectiva, e (c) informar las decisiones en preparación para la acción». Sigue leyendo

Incorporando el pensamiento evaluativo y la gestión adaptativa en la implementación de los ODS


Fuente: WB site

Dentro de nuestras series sobre «ODS«, «Pensamiento evaluativo» y «Gestión Adaptativa«, y como parte de los muy interesantes boletines sobre evaluación de la OIT (Organización Internacional del Trabajo), tenemos este relevante documento relacionado con los «Mecanismos que incorporan el pensamiento evaluativo y la gestión adaptativa para apoyar la implementación de los ODS ” de 2016, escrito por Robert Lahey.

La introducción de los Objetivos de Desarrollo Sostenible (ODS) ha significado que nuestras organizaciones tengan que mirar tanto hacia adentro como hacia afuera mientras trabajan para optimizar su contribución a los ODS a través de sus propias agendas. La forma de trabajar en esa dirección no debería ser un «negocio como de costumbre» para los miembros de nuestras organizaciones en el futuro. Sin embargo, hay muchos desafíos que enfrentamos con la implementación de los ODS. El pensamiento evaluativo, que involucre a todos los equipos/miembros de la Organización y no solo a los Evaluadores, ofrece una forma útil de ayudar a identificar dónde y cómo los equipos de nuestras organizaciones pueden realizar las intervenciones necesarias para abordar directamente desafíos particulares. Sigue leyendo

El pensamiento evaluativo en nuestro trabajo cotidiano


Siguiendo con nuestra línea sobre «Pensamiento evaluativo» (PE), en el post de la aea365, «El pensamiento evaluativo como una forma de trabajar «, (24 de enero de 2017) por Guy Sharrock (Catholic Relief Services), Tom Archibald y Jane Buckley, como continuación de otra publicación de l a aea365 del 29 de abril de 2012, «Pensamiento evaluativo: El «Je Ne Sais Quoi«, describieron lo que aprendieron de su trabajo acerca del pensamiento evaluativo en Etiopía y Zambia.

Indicaban que se está produciendo un cambio de paradigma en la comunidad de ayuda que se aleja de los modelos lineales de cambio a modelos más dinámicos, reflexivos y receptivos. Esto requiere un manejo adaptativo. Requiere «equipos con habilidades e intereses en el aprendizaje y la reflexión» y el reconocimiento de que «el pensamiento evaluativo es indispensable para tomar decisiones informadas».

Definido como pensamiento crítico en el contexto de M&E motivado por una actitud de curiosidad y una creencia en el valor de la evidencia, el proceso de pensamiento evaluativo se resume en los siguientes puntos (Buckley, Archibald & Rochim, 2015):

  • Supuestos/Hipótesis: descubriendo las hipótesis que guían nuestras decisiones, acciones y elecciones
  • Validando: Animar a cuestionar y a tomar múltiples perspectivas para validar nuestros supuestos/hipótesis para perseguir comprensión más profunda
  • Tomar decisiones: posibilitando decisiones basadas en la evidencia en la preparación de acción y gestión adaptativa

Sigue leyendo

El pensamiento evaluativo en el ciclo de gestión y planificación


De nuevo sobre «Pensamiento evaluativo«(PE), contamos con este post «Pensamiento evaluativo en el diseño, gestión y evaluación de programas» en el que se analiza el PE aplicado al diseño, la gestión, la prestación de servicios y la evaluación de programas.

La Fundación Bruner ha identificado una lista de algunos de los comportamientos en las organizaciones que son indicativos del pensamiento evaluativo en cada área central de operaciones. Éstos son algunos ejemplos de este informe, indicando que las organizaciones utilizan el pensamiento evaluativo en:

1.Desarrollo y diseño del programa

Evaluar sistemáticamente el contexto de los servicios y programas para identificar brechas, redundancias y tendencias.

• Evaluar sistemática y regularmente (con datos) nuestra propia capacidad de crecimiento y nuestras capacidades para nuevos servicios.

• Incorporar los hallazgos de la evaluación en el diseño del programa.

• Involucrar a múltiples grupos de partes interesadas (beneficiarios, personal, gerentes, expertos, etc.) en el diseño y la planificación del programa.

• Desarrollar y documentar teorías y modelos de programas para guiar la implementación.

• Mejorar la evaluabilidad y desarrollar estrategias de evaluación desde/en el momento del diseño del programa para asegurar que la recopilación de datos sea significativa y manejable y esté integrada en las operaciones del programa.

• Integrar procesos de evaluación, reflexión, aprendizaje y mejora en los ciclos regulares del programa.

2.Gestión de programas Sigue leyendo

El pensamiento evaluativo en la práctica


Siguiendo con nuestra serie sobre «Pensamiento Evaluativo«, el post «Fomentar y practicar el pensamiento evaluativo» comparte algunos consejos para fomentar y practicar el pensamiento evaluativo dentro de nuestras organizaciones.

1. El contexto adecuado

Hay cinco principios clave para promover el pensamiento evaluativo (PE) en las organizaciones:

1. Seamos oportunistas. Aprovechemos las oportunidades para desarrollar la motivación intrínseca.

2. Empecemos poco a poco y vayamos despacio.

3. Brindemos oportunidades para aprender y practicar el pensamiento evaluativo.

4. Estemos preparad@s para combatir los prejuicios y la resistencia.

5. Practiquemos en múltiples contextos y junto a compañer@s.

2.Comenzar

El pensamiento evaluativo es un enfoque más que un conjunto de prácticas o estrategias distintas. Pero hay algunas estrategias tácticas que construyen el hábito y desarrollan las habilidades. Sigue leyendo