Cómo hacer Útil la Teoría del Cambio en evaluaciones


“La Teoría del Cambio no debe quedarse en el papel. Su verdadero valor emerge cuando estructura el análisis y guía la toma de decisiones.”

Introducción: El dilema de la ToC decorativa

La Teoría del Cambio (TdC) ha ganado terreno como herramienta estratégica en el diseño y evaluación de programas. Desde UNICEF hasta USAID, pasando por GIZ, UNDP y fundaciones globales, todos la usan. Pero hay un problema frecuente: se elabora al inicio y luego se abandona.

La TdC queda como un gráfico bonito, un anexo más. Pero no se actualiza, no estructura hipótesis ni se conecta con la matriz evaluativa.

Entonces, ¿cómo lograr que la TodC sea realmente útil y no solo decorativa?

Este post ofrece reflexiones: cómo operativizar la TdC para que sirva como brújula metodológica en el análisis evaluativo, basada en experiencias y contrastada con buenas prácticas globales.

Sigue leyendo

El Pensamiento Evaluativo: Un Faro en la Oscuridad Organizacional


En las profundidades de la gestión y planificación, el pensamiento evaluativo (PE) se erige como un faro guía para las organizaciones. Como un hilo conductor, atraviesa cada área central de operaciones, tejido en la trama misma de la eficacia y la mejora continua.

  1. Desarrollo y Diseño del Programa:
    • Evaluar el contexto de servicios y programas es como cartografiar un territorio desconocido. Identificamos brechas, redundancias y tendencias, trazando rutas hacia la excelencia.
    • Nuestra capacidad de crecimiento se mide con datos, y los hallazgos de la evaluación se entrelazan en el diseño del programa.
    • Múltiples partes interesadas se sientan alrededor de la mesa, compartiendo visiones y tejiendo modelos de programas que guían la implementación.
    • La evaluabilidad se cultiva desde el inicio, integrando procesos de reflexión y aprendizaje en los ciclos regulares.
  2. Gestión de Programas:
    • Monitoreo constante, como un vigía en la torre, nos permite ajustar el rumbo. Reflexionamos sobre lo que funciona y lo que no, identificando oportunidades de mejora.
    • Datos en tiempo real son brújulas para adaptaciones y correcciones. La calidad del programa se pule en el yunque de la evaluación constante.
  3. Evaluación del Programa:
    • Datos, como piedras preciosas, describen características, actividades y resultados. Múltiples partes interesadas interpretan y usan estos tesoros.
    • Compartimos los hallazgos en formatos útiles, nutriendo el aprendizaje y la mejora continua. Las estrategias y herramientas de evaluación son llaves maestras.
    • La formación y el apoyo son cimientos sólidos para la evaluación significativa.
  4. Interacción con las Poblaciones Objetivo:
    • Las necesidades de las poblaciones objetivo se miden periódicamente. La satisfacción de los beneficiarios y otros indicadores de calidad son estrellas que guían nuestro rumbo.
    • La voz de l@s beneficiari@s se entrelaza con los datos de resultados, creando un tapiz de mejora.
  5. Desarrollo de Capacidades del Personal:
    • Evaluamos anualmente el desarrollo del personal, preparándonos para los cambios y adoptando las mejores prácticas emergentes.
    • El impacto de talleres y seminarios web se mide en capacidades y crecimiento.

La línea de fondo del pensamiento evaluativo:

  • Amplio Alcance y Arraigo Profundo:
    • Se extiende más allá de las actividades de evaluación, impregnando cada rincón de la organización.
    • No es un islote aislado, sino una corriente que fluye a través de programas, propósitos y personas.
    • Su raíz está en la curiosidad natural y el deseo de aprender y mejorar.
  • Habilidades, Actitudes y Enfoque:
    • Requiere habilidades, recursos y capacidades.
    • Las actitudes y los hábitos son su suelo fértil.
    • Da vida, significado y valor a actividades que podrían ser meras obligaciones.
  • Enfoque Dirigido:
    • Asegura que nuestro trabajo esté enfocado, basado en hechos y orientado a objetivos.
    • Al cultivar una cultura organizacional con este hábito, las consultas valiosas reemplazan las cargas requeridas.

En esta danza entre datos, atención, reflexión y decisión, el pensamiento evaluativo no es una carga, sino un farol que ilumina el camino hacia la excelencia.  El pensamiento evaluativo no solo ilumina, sino también transforma.

Estrategias para el uso evaluativo


Fuente

Retomamos el post Conscientes de las barreras para el uso evaluativo basado en Patricia Rogers, y la pregunta ¿Qué podemos hacer para apoyar el uso de la evaluación? ¿Cómo podemos apoyar el uso constructivo de los hallazgos y los procesos de evaluación?

El uso de la evaluación ha sido el centro de discusión durante más de 40 años (iii más de 40 iii). De eso trata esta lista de estrategias para mejorar el uso de las evaluaciones:

1. Identifiquemos l@s usuari@s previst@s y los usos previstos de la evaluación desde el principio

2. Anticipemos las barreras de uso. Algunos ejemplos: La credibilidad y la relevancia, los recursos y  el compromiso y la apertura a recibir hallazgos negativos

3. Identifiquemos los procesos clave y los momentos en los que se necesitan hallazgos.

4.Seleccionemos formatos de informes de evaluación adecuados, ajustados a cada audiencia y garanticemos su accesibilidad

Sigue leyendo

Let’s improve the use and influence of evaluations


 We revisit Betterevaluation’s «Seven Strategies for Improving Evaluation Use and Influence» where (the peerless) Patricia Rogers tells us What can we do to support the use of evaluation? How can we support the constructive use of the findings and evaluation processes?

This is a long-standing challenge. Some may object that the use of evaluations has been the focus of discussion for more than 40 years, and it’s not something that is currently fully working. This will continue for a few more years if we are not aware of the challenges and assume the correct mitigation strategies.

That’s what the Patricia Rogers’ list of strategies for improving evaluation use can tell us about:

1. Let’s Identify the intended users and intended uses of the evaluation from the start.

When we identify the intended users, let’s be as specific as possible, and let’s be clear about who the main intended evaluation users are.

2. Let’s anticipate barriers to use. Some examples:

Sigue leyendo

Conscientes de las barreras para el uso evaluativo


Revisamos de nuevo Estrategias para mejorar el uso y la influencia de la evaluaciones (I y II) en torno a lo presentado por Betterevaluation en «Siete estrategias para mejorar el uso y la influencia de la evaluación«, donde (la sin par) Patricia Rogers nos cuenta ¿Qué podemos hacer para apoyar el uso de la evaluación? ¿Cómo podemos apoyar el uso constructivo de los hallazgos y los procesos de evaluación?

Este es un desafío desde hace mucho, demasiado tiempo: el uso de la evaluación ha sido el centro de discusión durante más de 40 años (iii más de 40 iii). Seguirá sin duda por algunos más si no somos más conscientes de los retos para el uso y asumimos estrategias de mitigación.

De eso trata esta lista de estrategias para mejorar el uso de las evaluaciones:

1. Identifiquemos l@s usuari@s previst@s y los usos previstos de la evaluación desde el principio

Cuando identifiquemos a l@s usuari@s previst@s, seamos lo más específicos posibles, tengamos claro quiénes son l@s principales usuari@s previst@s.

Sigue leyendo

Estrategias para mejorar el uso y la influencia de las evaluaciones (I)


Siguiendo con nuestra sección sobre «Uso evaluativo«, traemos lo presentado por Betterevaluation en «Siete estrategias para mejorar el uso y la influencia de la evaluación«, donde Patricia Rogers nos cuenta ¿Qué se puede hacer para apoyar el uso de la evaluación? ¿Cómo pueden l@s evaluador@s, gestor@s de evaluación y otras personas involucradas o  relacionadas con las evaluaciones, apoyar el uso constructivo de los hallazgos y los procesos de evaluación?

Este es un desafío desde hace mucho tiempo: el uso de la evaluación ha sido el centro de discusión durante más de 40 años (y seguirá por algunos más)

Esto es parte de la lista de estrategias de Patricia Rogers para antes, durante y después de una evaluación, y acciones que pueden ser tomadas por diferentes personas involucradas en la evaluación.

1. Identificar l@s usuari@s previst@s y los usos previstos de la evaluación desde el principio

L@s recién llegad@s a la evaluación a menudo pasan directamente a elegir métodos para la recopilación de datos; L@s profesionales experimentad@s y aquell@s familiarizad@s con la extensa investigación sobre el uso de la evaluación saben la importancia de identificar l@s usuari@s y usos previstos desde el principio. Cuando identifique a l@s usuari@s previst@s, seamos lo más específico posible, tengamos claro quiénes son l@s principales usuari@s previst@s y consideremos si se puede utilizar la presentación pública de informes sobre los hallazgos, por ejemplo, para alentar a las organizaciones y equipos «propietarios» de las evaluaciones a responder a los hallazgos. Sigue leyendo

Criterios de evaluación del CAD en la práctica: desarrollo del éxito a partir de fracasos y malas prácticas II


Comenzamos en el post anterior “Criterios de evaluación del CAD en la práctica: éxito a partir de fracasos y malas prácticas la discusión sobre de la reforma de los criterios, y cómo esto implicaba oportunidades, aunque los viejos retos continúan, estos retos tienen que ver con su (I) propósito, (II) uso, (III) claridad y (IV) aplicabilidad·práctica”. Sigamos en este post con los principios de uso evaluativo:

(II) Principios de uso de los criterios de evaluación

  1. Criterios no contextualizados: los criterios (y preguntas) (a) son el resultado de “cortar y pegar” versus (b) los criterios deben ser contextualizados, entendidos en el contexto de (i) evaluación individual, (ii) intervención y (iii) partes interesadas.
  2. Aplicación mecánica: En muchas ocasiones se observa (a) la aplicación mecánica de todos los criterios y (b) demasiadas preguntas en relación con los recursos disponibles. En lugar de ello son buenas prácticas:

(a) Aplicación adaptativa / flexible en función de la «evaluación de necesidades / evaluabilidad» (necesidades de la intervención, contexto y partes interesadas)

(b) Enfoque y enmarcar los usuarios, prioridades, criterios y preguntas en relación con la valoración de la evaluabilidad

(c) Priorizar las preguntas y establecer 10 preguntas máximo. (las más relevantes para los usuarios directos y ninguna más) Sigue leyendo

La reforma criterios de evaluación del CAD: una oportunidad, los retos continúan


En diciembre de 2019, el CAD de la OCDE [Comité de Asistencia para el Desarrollo de la Organización para la Cooperación y el Desarrollo Económicos] adoptó los ‘Criterios de evaluación: definiciones adaptadas y principios de uso‘ aprobados anteriormente (actualmente disponible en inglés y francés, y casi en fase final la traducción al español).

La reciente reforma de los criterios de evaluación del CAD trató de abordar algunas fallas y malas prácticas relacionadas con (a) confusión de la aplicabilidad de los criterios de evaluación, (b) adecuación a las nuevas prioridades políticas (Agenda 2030…). Sigue leyendo

La síntesis de los hallazgos de las evaluaciones.


Como parte del «RTD TIG Week» de la AEA, «La síntesis de estudios de imitación ayuda a responder preguntas de política realmente importantes» Gretchen Jordan, pasaba el mensaje de que las grandes preguntas que nos piden que respondamos requieren que avancemos hacia el uso de marcos lógicos de evaluación acordados y adaptados al tipo y contexto del programa para aprender de la síntesis de los hallazgos de las evaluaciones.

Además nos indica cinco pasos para una evaluación de síntesis para informar la política de investigación e innovación:

1. Acuerde la (s) pregunta (s) que serán respondidas por la evaluación de síntesis. Un ejemplo es «¿Qué impactos técnicos, económicos y sociales han ocurrido y qué programas y otros factores contribuyen a ellos?»

2. Diseñe un conjunto de evaluaciones de tal manera que sus hallazgos puedan sintetizarse de manera creíble. Consulte los modelos lógicos genéricos, los indicadores y el glosario propuestos en “Evaluación de los resultados de la investigación financiada con fondos públicos…”, el documento del Grupo de interés temático sobre investigación, tecnología y desarrollo de 2015. Sigue leyendo

Evaluando para la gestión adaptativa


En relación a los enfoques adaptativos, desde el sitio «BetterEvaluation» nos ofrecen los «Desafíos para usar la evaluación para la gestión adaptativa«:

Teorías de cambio pobremente conceptualizadas

• Falta de entorno adecuado para llevar a cabo procesos de cambio.

• Capacidad del equipo del programa para actividades de evaluación.

• Capacidad de los directivos para la gestión adaptativa, por ejemplo, (1) la capacidad de gestionar cuando hay niveles más altos de incertidumbre, (2) la capacidad de tomar (suficientemente buenas) decisiones con datos incompletos que pueden no cumplir con todos los estándares de calidad Sigue leyendo