El pensamiento evaluativo en el diseño y seguimiento de intervenciones


El pensamiento evaluativo puede reforzar el ciclo de gestión y planificación, mejorando la calidad del diseño y del sistema de seguimiento de las intervenciones:

1.Desarrollo y diseño de la intervención

  • Cómo incorporar aprendizajes y hallazgos de evaluaciones previas en el diseño de intervenciones.
  • Seguimiento sistemáticamente y regularmente: (1) el contexto para identificar brechas, redundancias y tendencias, (2) estructura y capacidad organizacional
  • Participación: Involucrar a múltiples grupos de partes interesadas (beneficiarios, personal, gestores, expertos, etc.) en el diseño y la planificación del programa.
  • Desarrollar y documentar teorías del cambio y modelos de intervención para guiar la implementación.
  • Mejorar la evaluabilidad y desarrollar estrategias/sistemas de seguimiento y evaluación desde el diseño
  • Integrar procesos de reflexión, aprendizaje y mejora en los ciclos regulares de gestión del programa.

Sigue leyendo

La descolonización de la evaluación


En relación a las dinámicas de poder en la producción de conocimiento Foucault (1977) observa que lo que sabemos y cómo sabemos se basa en prácticas humanas, políticas y de poder históricos cambiantes y diversos. En la producción de conocimiento existen múltiples centros de poder en constante lucha; conflicto, compromiso y negociación, y el grupo más fuerte establece sus propias reglas sobre lo que se puede conocer y cómo se puede conocer. Un juego de la verdad no relacionado con el poder no es posible, por lo que la humanidad instala cada una de sus violencias en un sistema de reglas y así avanza de dominación en dominación.

El sector del desarrollo internacional ha enfrentado reiterados llamamientos para su descolonización desde hace tiempo, tanto en la teoría como en la práctica. Sin embargo, la comprensión hegemónica del desarrollo y a quién debe servir continúan dominando (en la teoría y en la práctica). A pesar de no ser un debate nuevo, con demasiada frecuencia surgen problemas con las fuentes de financiación, la dinámica de poder en la metodología y el sesgo en la elaboración de perfiles de investigación y evaluación. Es urgente reflexionar y tener una comprensión común sobre lo que se entiende por descolonización del desarrollo y cómo podemos emprender la investigación o evaluación a través de la lente de la descolonización. Sigue leyendo

Síntesis de evaluaciones: tesoros, oportunidades y retos


Seguimos hablando de “Síntesis” con el documento “Compendio revisado de métodos de evaluación (2019-2020)”, del “Grupo de trabajo de métodos” del Grupo de Evaluación de Naciones Unidas (UNEG), donde encontramos que la síntesis de evaluaciones intenta (1) combinar el conocimiento de evaluación existente y los hallazgos relevantes para un tema en forma de nuevos productos de conocimiento, para (2) apoyar una mejor difusión de los resultados de las evaluaciones y (3) ayudar en el diseño de nuevas evaluaciones. (4) Aborda el desafío de la “sobrecarga de información”, (5) entregando productos que destilan evidencia relevante para la toma de decisiones y (6) se lleva a cabo siguiendo un proceso bien estructurado.

A continuación se exponen ventajas, desventajas, oportunidades y retos:

1.Ventajas

• Ahorro en costos directos e indirectos (tanto para evaluador@s como para los grupos evaluados).

• Se enfoca en analizar factores estructurales / comunes de éxito / fracaso.

• Aumenta la percepción de solidez a medida que se basa en hallazgos anteriores, en lugar de comenzar desde cero. Sigue leyendo

Síntesis de evaluaciones: concepto y opciones


Desde la plataforma BetterEvaluation comparten este post “Sintetizar datos a través de evaluaciones“, donde se presentan enfoques y técnicas con el objetivo de responder a preguntas sobre un tipo de intervención en lugar de sobre un solo caso, respondiendo a preguntas como “¿Funcionan estos tipos de intervenciones?” o “¿Para quién, de qué manera y en qué circunstancias funcionan?” La tarea consiste en localizar la evidencia (que a menudo implica búsquedas bibliográficas en bases de datos, con especial énfasis en la búsqueda de estudios inéditos), evaluar su calidad y relevancia para decidir si incluirla o no, extraer la información relevante y sintetizarla. Las diferentes opciones utilizan diferentes estrategias y tienen diferentes definiciones de lo que constituye evidencia creíble.

Opciones para sintetizar procesos y/o productos evaluativos:

  1. Lecciones aprendidas del proceso evaluativo: las lecciones aprendidas pueden desarrollarse a partir del proceso de evaluación a medida que los evaluadores reflexionan sobre sus experiencias al realizar la evaluación.
  2. Mejor síntesis de evidencia: una síntesis que, como una síntesis realista, se basa en una amplia gama de evidencia (incluidos estudios de casos individuales) y explora el impacto del contexto, y también se basa en un enfoque iterativo y participativo para construir y usar una base de conocimientos. .
  3. Revisión sistemática: una síntesis que adopta un enfoque sistemático para buscar, evaluar, extraer y sintetizar evidencia de múltiples estudios. (1) Metanálisis, (2) metaetnografía y (3) síntesis realista son diferentes tipos de revisión sistemática.

Sigue leyendo

Evaluación del desarrollo de capacidades


Siguiendo nuestra sección de “desarrollo de capacidades“, y más concreto “desarrollo de capacidades y FAO“, en la línea del “Mejorando las prácticas de FAO para el apoyo del Desarrollo de Capacidades de los países miembros” (FAO, 2012), en el documento “Marco de evaluación del desarrollo de capacidades” (también) de la FAO de 2019 , se indica que el desarrollo de la capacidades es una modalidad fundamental del apoyo de la cooperación internacional en los países en los que trabaja. La mayoría de las intervenciones brindan algún tipo de apoyo para el desarrollo de capacidades que abarca los niveles individual, institucional y del entorno propicio, mientras que aproximadamente una cuarta parte se centra en capacitaciones individuales. En los informes de evaluación, hay evidencias concretas de que se han desarrollado capacidades en determinados grupos destinatarios. Sin embargo, es más difícil identificar los impactos a largo plazo y de mayor nivel, como en el entorno de políticas, la mejora de la estructura institucional y los sistemas de conocimiento.

A. Algunos factores que hicieron que el proceso de desarrollo de capacidades fuera exitoso fueron:

(1) mayor uso de la experiencia local y las instituciones nacionales,

(2) trabajar en múltiples niveles de influencia,

(3) evaluación participativa de las necesidades a nivel individual e institucional, Sigue leyendo

Los siete secretos de un buen seguimiento y evaluación


Jess Dart de Clear Horizon Consulting  comparte sus siete secretos para un buen monitoreo y evaluación. Aquí están las ideas ahora no tan secretas para ayudar a mejorar su seguimiento y evaluación (M&E):

  1. Muchas iniciativas de M&E fracasan, así que adoptemos el M&E como algo que primero debe satisfacer las necesidades de nuestra propia organizació.
  2. ¡Un buen seguimiento y evaluación es deliberado! Fijemos, acotemos, el alcance bien.
  3. ¡Desarrollemos un modelo lógico de programa de manera participativa desde el principio! Generemos apropiación y claridad
  4. Desarrollemos preguntas de evaluación REALES para enmarcar nuestro plan de M&E, ¡y no muchas preguntas!
  5. Elijamos métodos mixtos para contar la historia de su programa
  6. Desarrollemos la capacidad del personal de nuestra organización en M&E: es el trabajo de todos
  7. Empleemos el arte de la gestión japonesa para informar: ¡comencemos pensando en el final, con el final en mente!

Sigue leyendo

Impacto de COVID-19 en las evaluaciones de acción humanitaria


Cuando se cumple un año ya del comienzo, y siguiendo con nuestra serie sobre “evaluación y COVID” o “COVID19” interesante este borrador sobre “Prácticas en evolución en la evaluación de la acción humanitaria: desafíos pasados, presentes y futuros” de Scott Chaplowe, Ann Marie Castleman y Minji Cho

COVID-19 ha exacerbado las necesidades humanitarias en todo el mundo. A medida que las agencias humanitarias adaptan su programación para satisfacer estas necesidades emergentes, los enfoques de evaluación también deben adaptarse y evolucionar. , Ha habido una serie de publicaciones, orientaciones, declaraciones y protocolos relacionados con la evaluación en respuesta al COVID-19 (por ejemplo, ALNAP, 2020; Evaluation in Crisis, 2020; Patton, 2020; PNUD, 2020; UNFPA, 2020). A continuación se resumen algunas de las consideraciones clave para la Evaluación de la Acción Humanitaria (EAH) relacionadas con COVID-19 identificadas por organizaciones humanitarias:

1 No hacer daño. La crisis ha subrayado este principio en términos de los riesgos de salud y seguridad de la interacción cara a cara durante la recopilación de datos y de sobrecargar a las partes interesadas cuyos recursos y capacidades ya pueden verse afectados por la pandemia de COVID-19.

2 Análisis de evaluabilidad. Existe una mayor necesidad de análisis de contexto / riesgo para evaluar en qué medida se puede evaluar una intervención de manera confiable y creíble durante la crisis del COVID-19 (IED-OIOS, 2020; IEO / PNUD y OECD / DAC, 2020; PNUD, 2020; PMA, 2020; UNICEF, 2020)

3 Aplazamiento de la evaluación. El aplazamiento es una opción viable si los resultados de la evaluación seguirán siendo útiles para la toma de decisiones en un momento posterior, aunque se debe tener cuidado de evitar una acumulación de evaluaciones que resultará imposible de realizar (PNUD, 2020; PMA, 2020). . Sigue leyendo

Pensamiento evaluativo para la evaluación transformadora


Siguiendo con nuestra serie sobre “Pensamiento evaluativo”,  exploramos el post de Thomas Archibald sobre “Habilidades de pensamiento crítico y evaluativo para la evaluación transformadora” y nos centramos en la parte referida a Pensamiento evaluativo para la evaluación transformadora

Según Patton, “La evaluación es una actividad. El pensamiento evaluativo es una forma de hacer negocios. Esta distinción es fundamental. Se deriva de estudios de uso de la evaluación. La evaluación es más útil, y realmente se usa, cuando el programa y la cultura organizacional manifiestan un pensamiento evaluativo “.

Thomas Archibald y su equipo han definido “Pensamiento evaluativo” de la siguiente manera:

(1) aplica el pensamiento crítico en el contexto de la evaluación,

(2) motivado por (a) una actitud de curiosidad y (b) una creencia en el valor de la evidencia, que

(3) implica (a) identificar supuestos, (b) plantear preguntas reflexivas, (c) buscar una comprensión más profunda

(4) por medio de (a) la reflexión y (b) la toma de perspectiva, e (c) informar las decisiones en preparación para la acción”. Sigue leyendo

Estrategias para mejorar el uso y la influencia de la evaluaciones (II)


Continuamos con nuestra sección sobre “Uso evaluativo“, con lo presentado por Betterevaluation en su segunda entrega de las “7 estrategias para mejorar el uso y la influencia de la evaluación” sugeridas por Patricia Rogers sobre ¿Qué se puede hacer para apoyar el uso de la evaluación? Ya comenzamos en el post anterior Estrategias para mejorar el uso y la influencia de las evaluaciones (I) y ahora seguimos con la lista de estrategias de Patricia Rogers para antes, durante y después de una evaluación, y acciones que pueden ser tomadas por diferentes personas involucradas en la evaluación:

  1. Seleccionemos formatos de informes de evaluación adecuados, ajustados a cada audiencia y garanticemos su accesibilidad

Hay muchas opciones nuevas para informar los hallazgos de las evaluaciones. Tomar las decisiones correctas puede aumentar la probabilidad de que otros actores conozcan los hallazgos y comprendan lo que significan y por qué son importantes. Es probable que se necesite una variedad de diferentes productos de conocimiento y procesos de informes durante el período de evaluación y después de su finalización formal. Estás muy documentados diferentes formas innovadoras de informar los resultados Sigue leyendo

Estrategias para mejorar el uso y la influencia de las evaluaciones (I)


Siguiendo con nuestra sección sobre “Uso evaluativo“, traemos lo presentado por Betterevaluation en “Siete estrategias para mejorar el uso y la influencia de la evaluación“, donde Patricia Rogers nos cuenta ¿Qué se puede hacer para apoyar el uso de la evaluación? ¿Cómo pueden l@s evaluador@s, gestor@s de evaluación y otras personas involucradas o  relacionadas con las evaluaciones, apoyar el uso constructivo de los hallazgos y los procesos de evaluación?

Este es un desafío desde hace mucho tiempo: el uso de la evaluación ha sido el centro de discusión durante más de 40 años (y seguirá por algunos más)

Esto es parte de la lista de estrategias de Patricia Rogers para antes, durante y después de una evaluación, y acciones que pueden ser tomadas por diferentes personas involucradas en la evaluación.

1. Identificar l@s usuari@s previst@s y los usos previstos de la evaluación desde el principio

L@s recién llegad@s a la evaluación a menudo pasan directamente a elegir métodos para la recopilación de datos; L@s profesionales experimentad@s y aquell@s familiarizad@s con la extensa investigación sobre el uso de la evaluación saben la importancia de identificar l@s usuari@s y usos previstos desde el principio. Cuando identifique a l@s usuari@s previst@s, seamos lo más específico posible, tengamos claro quiénes son l@s principales usuari@s previst@s y consideremos si se puede utilizar la presentación pública de informes sobre los hallazgos, por ejemplo, para alentar a las organizaciones y equipos “propietarios” de las evaluaciones a responder a los hallazgos. Sigue leyendo