Las cinco competencias en evaluación según UNEG


image-12

Dentro de nuestra sección de «Competencias«, continuamos y profundizamos el pasado post ¿Qué son las competencias? donde se definían las competencias en evaluación  basadas en el informe de UNEG El marco de competencias de evaluación de Naciones Unidas (2016).

Las secciones de este informe están organizadas por competencias, indicando las expectativas para los diferentes niveles de evaluador@s, jef@s de unidad de evaluación y l@s que comisionan/gestionan evaluaciones. Las competencias se expresan intencionalmente como habilidades y destrezas y no como una lista de acciones o tareas.

Se basa en el supuesto de que l@s evaluador@s deben tener las bases profesionales necesarias y habilidades técnicas para asegurar que el diseño y los procesos de evaluación sean consistentes con los principios y requisitos éticos, que las evaluaciones cumplan con las normas y estándares apropiados del UNEG, que las evaluaciones se gestionen de manera eficiente y que los hallazgos se comuniquen claramente de una manera apropiada para la audiencia.

Sin embargo, aunque l@s evaluador@s tienen la mayor responsabilidad por la calidad y credibilidad de las evaluaciones, l@s jef@s de las unidades de evaluación y l@s que comisionan también desempeñan funciones clave. Los roles de l@s usuari@s de la evaluación también son importantes, ya que los usuari@s participan en la identificación de la necesidad de evaluaciones, la seguridad financiera y la promoción del uso de la información de las evaluaciones en la programación basada en evidencia para mejorar los logros hacia los ODS.

1. Fundamentos profesionales: aquellas competencias que son fundamentales para la práctica de la evaluación. Incluyen ética, estándares, una base de conocimientos y práctica reflexiva. Tod@s l@s involucrad@s en el proceso de evaluación deben estar familiarizados con las Normas y Estándares de Evaluación del UNEG. Sin embargo, l@s evaluador@s son responsables de un conocimiento profundo de los estándares y de ponerlos en práctica.

Sigue leyendo →

El desarrollo de capacidades para la «traducción» de conocimiento


El conocimiento debe destilarse antes de que esté listo para su aplicación. Es esencial sintetizar la información existente para contextualizar e integrar los hallazgos de un estudio de investigación individual dentro de un cuerpo de conocimiento más amplio.

El trabajo de ODI, para traducir el conocimiento y promover debates de políticas más informados por la evidencia, ha arrojado seis lecciones clave:

1. Las capacidades básicas para la traducción de conocimientos deben abordarse de manera integrada.

2. Se necesita un enfoque específico para garantizar que se creen vínculos entre las capacidades a diferentes niveles.

3. La traducción de conocimientos se basa en las capacidades tanto de la oferta como de la demanda para promover la adopción de la investigación.

4. Adaptar las iniciativas a los contextos locales es fundamental para su éxito, por lo que una buena comprensión del contexto político es fundamental.

Sigue leyendo →

Aprendizaje sobre la gestión basada en resultados


3267227227_660b6ab4f4_b

Continuando con un post anterior sobre el «sueño del aprendizaje de evaluaciones y revisiones de la gestión basada en resultados«, adentrándonos un poco más en el contenido de este documento, de marzo de 2019, desde la OCDE: “Aprendizaje de evaluaciones y revisiones de la gestión basada en resultados” por Janet Vähämäki y Chantal Verger.

El propósito último de la cooperación al desarrollo es lograr resultados, (1) lo que significa generar un cambio tangible y sostenible para (a) las personas, (b) las sociedades y ( c)  el medio ambiente. (2) Para que esto suceda, la gestión basada en resultados requiere que los actores responsables del desarrollo establezcan: (a) objetivos claros con los resultados esperados, (b) metas e indicadores, y (c) un sistema para medir cómo se están desempeñando en relación con sus metas. También necesitan (3) utilizar la información generada sobre el desempeño y los resultados de la cooperación para el desarrollo (a) para la rendición de cuentas y la comunicación, así como (b) para la toma de decisiones y el aprendizaje.

Sigue leyendo →

El pensamiento evaluativo en el diseño y seguimiento de intervenciones


El pensamiento evaluativo puede reforzar el ciclo de gestión y planificación, mejorando la calidad del diseño y del sistema de seguimiento de las intervenciones:

1.Desarrollo y diseño de la intervención

  • Cómo incorporar aprendizajes y hallazgos de evaluaciones previas en el diseño de intervenciones.
  • Seguimiento sistemáticamente y regularmente: (1) el contexto para identificar brechas, redundancias y tendencias, (2) estructura y capacidad organizacional
  • Participación: Involucrar a múltiples grupos de partes interesadas (beneficiarios, personal, gestores, expertos, etc.) en el diseño y la planificación del programa.
  • Desarrollar y documentar teorías del cambio y modelos de intervención para guiar la implementación.
  • Mejorar la evaluabilidad y desarrollar estrategias/sistemas de seguimiento y evaluación desde el diseño
  • Integrar procesos de reflexión, aprendizaje y mejora en los ciclos regulares de gestión del programa.

Sigue leyendo →

La descolonización de la evaluación


En relación a las dinámicas de poder en la producción de conocimiento Foucault (1977) observa que lo que sabemos y cómo sabemos se basa en prácticas humanas, políticas y de poder históricos cambiantes y diversos. En la producción de conocimiento existen múltiples centros de poder en constante lucha; conflicto, compromiso y negociación, y el grupo más fuerte establece sus propias reglas sobre lo que se puede conocer y cómo se puede conocer. Un juego de la verdad no relacionado con el poder no es posible, por lo que la humanidad instala cada una de sus violencias en un sistema de reglas y así avanza de dominación en dominación.

El sector del desarrollo internacional ha enfrentado reiterados llamamientos para su descolonización desde hace tiempo, tanto en la teoría como en la práctica. Sin embargo, la comprensión hegemónica del desarrollo y a quién debe servir continúan dominando (en la teoría y en la práctica). A pesar de no ser un debate nuevo, con demasiada frecuencia surgen problemas con las fuentes de financiación, la dinámica de poder en la metodología y el sesgo en la elaboración de perfiles de investigación y evaluación. Es urgente reflexionar y tener una comprensión común sobre lo que se entiende por descolonización del desarrollo y cómo podemos emprender la investigación o evaluación a través de la lente de la descolonización. Sigue leyendo →

Síntesis de evaluaciones: tesoros, oportunidades y retos


Seguimos hablando de «Síntesis» con el documento «Compendio revisado de métodos de evaluación (2019-2020)», del «Grupo de trabajo de métodos» del Grupo de Evaluación de Naciones Unidas (UNEG), donde encontramos que la síntesis de evaluaciones intenta (1) combinar el conocimiento de evaluación existente y los hallazgos relevantes para un tema en forma de nuevos productos de conocimiento, para (2) apoyar una mejor difusión de los resultados de las evaluaciones y (3) ayudar en el diseño de nuevas evaluaciones. (4) Aborda el desafío de la “sobrecarga de información”, (5) entregando productos que destilan evidencia relevante para la toma de decisiones y (6) se lleva a cabo siguiendo un proceso bien estructurado.

A continuación se exponen ventajas, desventajas, oportunidades y retos:

1.Ventajas

• Ahorro en costos directos e indirectos (tanto para evaluador@s como para los grupos evaluados).

• Se enfoca en analizar factores estructurales / comunes de éxito / fracaso.

• Aumenta la percepción de solidez a medida que se basa en hallazgos anteriores, en lugar de comenzar desde cero. Sigue leyendo →

Síntesis de evaluaciones: concepto y opciones


Desde la plataforma BetterEvaluation comparten este post «Sintetizar datos a través de evaluaciones«, donde se presentan enfoques y técnicas con el objetivo de responder a preguntas sobre un tipo de intervención en lugar de sobre un solo caso, respondiendo a preguntas como «¿Funcionan estos tipos de intervenciones?» o «¿Para quién, de qué manera y en qué circunstancias funcionan?» La tarea consiste en localizar la evidencia (que a menudo implica búsquedas bibliográficas en bases de datos, con especial énfasis en la búsqueda de estudios inéditos), evaluar su calidad y relevancia para decidir si incluirla o no, extraer la información relevante y sintetizarla. Las diferentes opciones utilizan diferentes estrategias y tienen diferentes definiciones de lo que constituye evidencia creíble.

Opciones para sintetizar procesos y/o productos evaluativos:

  1. Lecciones aprendidas del proceso evaluativo: las lecciones aprendidas pueden desarrollarse a partir del proceso de evaluación a medida que los evaluadores reflexionan sobre sus experiencias al realizar la evaluación.
  2. Mejor síntesis de evidencia: una síntesis que, como una síntesis realista, se basa en una amplia gama de evidencia (incluidos estudios de casos individuales) y explora el impacto del contexto, y también se basa en un enfoque iterativo y participativo para construir y usar una base de conocimientos. .
  3. Revisión sistemática: una síntesis que adopta un enfoque sistemático para buscar, evaluar, extraer y sintetizar evidencia de múltiples estudios. (1) Metanálisis, (2) metaetnografía y (3) síntesis realista son diferentes tipos de revisión sistemática.

Sigue leyendo →

Evaluación del desarrollo de capacidades


Siguiendo nuestra sección de «desarrollo de capacidades«, y más concreto «desarrollo de capacidades y FAO«, en la línea del «Mejorando las prácticas de FAO para el apoyo del Desarrollo de Capacidades de los países miembros» (FAO, 2012), en el documento «Marco de evaluación del desarrollo de capacidades» (también) de la FAO de 2019 , se indica que el desarrollo de la capacidades es una modalidad fundamental del apoyo de la cooperación internacional en los países en los que trabaja. La mayoría de las intervenciones brindan algún tipo de apoyo para el desarrollo de capacidades que abarca los niveles individual, institucional y del entorno propicio, mientras que aproximadamente una cuarta parte se centra en capacitaciones individuales. En los informes de evaluación, hay evidencias concretas de que se han desarrollado capacidades en determinados grupos destinatarios. Sin embargo, es más difícil identificar los impactos a largo plazo y de mayor nivel, como en el entorno de políticas, la mejora de la estructura institucional y los sistemas de conocimiento.

A. Algunos factores que hicieron que el proceso de desarrollo de capacidades fuera exitoso fueron:

(1) mayor uso de la experiencia local y las instituciones nacionales,

(2) trabajar en múltiples niveles de influencia,

(3) evaluación participativa de las necesidades a nivel individual e institucional, Sigue leyendo →

Los siete secretos de un buen seguimiento y evaluación


Jess Dart de Clear Horizon Consulting  comparte sus siete secretos para un buen monitoreo y evaluación. Aquí están las ideas ahora no tan secretas para ayudar a mejorar su seguimiento y evaluación (M&E):

  1. Muchas iniciativas de M&E fracasan, así que adoptemos el M&E como algo que primero debe satisfacer las necesidades de nuestra propia organizació.
  2. ¡Un buen seguimiento y evaluación es deliberado! Fijemos, acotemos, el alcance bien.
  3. ¡Desarrollemos un modelo lógico de programa de manera participativa desde el principio! Generemos apropiación y claridad
  4. Desarrollemos preguntas de evaluación REALES para enmarcar nuestro plan de M&E, ¡y no muchas preguntas!
  5. Elijamos métodos mixtos para contar la historia de su programa
  6. Desarrollemos la capacidad del personal de nuestra organización en M&E: es el trabajo de todos
  7. Empleemos el arte de la gestión japonesa para informar: ¡comencemos pensando en el final, con el final en mente!

Sigue leyendo →

Impacto de COVID-19 en las evaluaciones de acción humanitaria


Cuando se cumple un año ya del comienzo, y siguiendo con nuestra serie sobre «evaluación y COVID» o «COVID19» interesante este borrador sobre «Prácticas en evolución en la evaluación de la acción humanitaria: desafíos pasados, presentes y futuros» de Scott Chaplowe, Ann Marie Castleman y Minji Cho

COVID-19 ha exacerbado las necesidades humanitarias en todo el mundo. A medida que las agencias humanitarias adaptan su programación para satisfacer estas necesidades emergentes, los enfoques de evaluación también deben adaptarse y evolucionar. , Ha habido una serie de publicaciones, orientaciones, declaraciones y protocolos relacionados con la evaluación en respuesta al COVID-19 (por ejemplo, ALNAP, 2020; Evaluation in Crisis, 2020; Patton, 2020; PNUD, 2020; UNFPA, 2020). A continuación se resumen algunas de las consideraciones clave para la Evaluación de la Acción Humanitaria (EAH) relacionadas con COVID-19 identificadas por organizaciones humanitarias:

1 No hacer daño. La crisis ha subrayado este principio en términos de los riesgos de salud y seguridad de la interacción cara a cara durante la recopilación de datos y de sobrecargar a las partes interesadas cuyos recursos y capacidades ya pueden verse afectados por la pandemia de COVID-19.

2 Análisis de evaluabilidad. Existe una mayor necesidad de análisis de contexto / riesgo para evaluar en qué medida se puede evaluar una intervención de manera confiable y creíble durante la crisis del COVID-19 (IED-OIOS, 2020; IEO / PNUD y OECD / DAC, 2020; PNUD, 2020; PMA, 2020; UNICEF, 2020)

3 Aplazamiento de la evaluación. El aplazamiento es una opción viable si los resultados de la evaluación seguirán siendo útiles para la toma de decisiones en un momento posterior, aunque se debe tener cuidado de evitar una acumulación de evaluaciones que resultará imposible de realizar (PNUD, 2020; PMA, 2020). . Sigue leyendo →