Un enfoque para valorar la calidad de las evaluaciones durante el desarrollo


routine_new_things

Fuente

Siguiendo con nuestra sección “Evaluación durante el desarrollo“, ya comentamos en el post “Control de calidad de las evaluaciones durante el desarrollo (o adaptativas)” que la Oficina de Evaluación de UNFPA ha desarrollado un nuevo y relevante “Marco de Garantía de calidad y valoración de las evaluaciones durante el desarrollo (o adaptativas) en UNFPA” para ayudar a la Oficina de evaluación y a terceros a valorar la calidad de las evaluaciones durante el desarrollo (o evaluaciones adaptativas) ejecutadas por/para esta agencia. 

En este informe se indica que el enfoque para valorar la calidad de las evaluaciones durante el desarrollo (o adaptativas) se organiza en torno a seis características clave:

1. Una combinación de principios de evaluación durante el desarrollo y normas de evaluación del UNEG

2. Énfasis tanto en (a) informes de evaluación (productos) como (b) proceso de evaluación

3. Calificar la adherencia de la evaluación a las prácticas mínimas para cada principio / estándar.

4. Tres fuentes de datos y métodos

5. Un proceso de cinco pasos

6. Opciones para la escalada, replicación o ampliación

Cada una de estas características clave se describe a continuación:

Sigue leyendo

Control de calidad de las evaluaciones durante el desarrollo (o adaptativas)


La Oficina de Evaluación de UNFPA ha desarrollado un nuevo y relevante “Marco de Garantía de calidad y valoración de las evaluaciones durante el desarrollo (o adaptativas) en UNFPA” para ayudar a la Oficina de evaluación y a terceros a valorar la calidad de las evaluaciones durante el desarrollo (o evaluaciones adaptativas) ejecutadas por/para la agencia. En este informe se señalan algunas tensiones que hay que afrontar para garantizar la calidad de las evaluaciones durante el desarrollo (o adaptativas)

Varias tensiones son inevitables en la aplicación de los principios de la evaluación durante el desarrollo en las evaluaciones gestionadas por organizaciones y afectarán la calidad de la evaluación. Estas tensiones no pueden (re) resolverse; más bien, deben abordarse como desafíos de diseño y gestionarse de forma creativa.

Grandes tensiones: Existen tres tensiones principales para garantizar la calidad en las evaluaciones de desarrollo gestionadas por las organizaciones. Se relacionan con (a) propósito, (b) relaciones y (c) gestión y/o administración.

1 Tensiones relacionadas con el propósito

La tensión de propósito principal es (a) entre la evaluación durante el desarrollo como un proceso interno para apoyar el desarrollo y (b) la adaptación de una intervención y el uso más tradicional de la evaluación como un mecanismo para informar y rendir cuentas a un organismo superior o externo.

(1) Por un lado, el objetivo de la evaluación durante desarrollo es (a) proporcionar a las partes interesadas de la iniciativa retroalimentación en tiempo real sobre los resultados de sus esfuerzos, (b) generar nuevos aprendizajes sobre los desafíos que están tratando de abordar, identificar y (c) reflexionar críticamente sobre las fortalezas y debilidades en su trabajo y (d) para permitir adaptaciones basadas en datos a sus objetivos y enfoque general. Esto incluye la necesidad de que (e) los usuarios principales de la evaluación utilicen conjuntamente los hallazgos, las implicaciones y las opciones que surgieron en el proceso para tomar decisiones sobre dónde y cómo desarrollar la intervención, en lugar de confiar en las recomendaciones del equipo de evaluación.

Sigue leyendo

La evaluación en la rendición de cuentas para resultados de planes estratégicos


Fuente

La función de evaluación puede reforzar el ciclo de gestión y planificación, mejorando la calidad del diseño y del sistema de seguimiento de los Planes Estratégicos de nuestras organizaciones.

A través de la Política de Evaluación y el Plan de Trabajo de evaluación de nuestras organizaciones se pueden fomentar las siguientes áreas de trabajo clave en la organización: (a) refuerzo del marco institucional en evaluación, (b) desarrollo de capacidades en evaluación (incluye fomento del pensamiento evaluativo y trabajo conjunto con equipos de planificación y seguimiento), (c) gestión del conocimiento y (d) la ejecución de diferentes tipos de evaluaciones. Desde estas áreas de trabajo se pueden apoyar los planes estratégicos de la organización:

1.Desarrollo y diseño del Plan Estratégico

1.1 Asegurar que existen sistemas para la incorporación en el diseño de los aprendizajes previos (desde sistemas de seguimiento, evaluaciones previas…) 

1.2 Mejorar la evaluabilidad desde el diseño: calidad del diseño, del seguimiento, del uso de la información de diseño y seguimiento, de la accesibilidad de las partes interesadas.

1.3 Apoyar a desarrollar y documentar teorías del cambio (TdC) y modelos de intervención para guiar el diseño y la implementación. TdC para asegurar que existe(n):

Sigue leyendo

Evaluación durante el desarrollo de la gestión basada en resultados en UNFPA


lp_figure_0

Ya hemos discutido en otros posts sobre las “evaluaciones durante el desarrollo” (developmental evaluation) que (1) ayudan a identificar opciones innovadoras en condiciones complejas, inciertas y dinámicas asociadas con el desarrollo de una nueva iniciativa. También (2) tienen una visión de futuro y se centran en la utilización.

Ya comentamos que éste es un término de traducción no sencilla en español, nosotros optamos por “Evaluación durante el desarrollo” y UNFPA traduce “Developmental Evaluation” como “Evaluación Adaptativa”: En el informe “Evaluación adaptativa de la gestión basada en resultados en UNFPA (2019)“, se indica  que la “evaluación durante el desarrollo” (o evaluación adaptativa) fue el enfoque más apropiado para proporcionar a UNFPA, retroalimentación crítica en tiempo real y aportes evaluativos para la toma de decisiones para avanzar la gestión basada en resultados (GBR) de UNFPA al siguiente nivel.

La evaluación llevó a cabo un análisis de las causas fundamentales de los desafíos persistentes en la GBR, que revelaron cinco tensiones creativas (lagunas y desafíos). También presentó seis puntos de influencia  (o puntos de apalancamiento) que guían el desarrollo de soluciones de GBR y, por lo tanto, para pasar a la siguiente etapa de la GBR. La siguiente figura captura la interacción entre las tensiones creativas y los puntos de influencia, destacando un camino de cambio para la GBR en el UNFPA.

El examen estratégico independiente externo de la función de evaluación del UNFPA (2017-2018) recomendó que la Oficina de Evaluación debería orientar la función de evaluación hacia un mejor equilibrio entre la rendición de cuentas, el apoyo a las decisiones y los propósitos de aprendizaje, adaptando continuamente sus enfoques y procesos de evaluación para informar y apoyar mejor a la logro de la misión del UNFPA en contextos desafiantes y que cambian rápidamente, incluso integrando mejor los avances pertinentes en la teoría y la práctica de la evaluación. En respuesta, la Oficina de Evaluación elaboró ​​y puso en marcha la Estrategia de evaluación 2018-2021, que incluía, entre otras, la prioridad de (1) aumentar las evaluaciones impulsadas por la demanda y (2) diversificar la oferta de tipologías de evaluaciones, incluso mediante la innovación. En este contexto, la Oficina de Evaluación, respondiendo a una demanda específica del personal directivo superior y en consonancia con la Estrategia de Evaluación 2018-2021, decidió experimentar con esta evaluación “durante el desarrollo” o “adaptativa” de la GBR en UNFPA.

Para impulsar la GBR a su punto máximo en el UNFPA, es fundamental (1) fomentar la participación continua de las partes interesadas en la creación conjunta y (2) el desarrollo de soluciones de GBR, con decisiones y acciones rápidas de la organización para aprovechar el impulso generado por la evaluación.

¿Cuál era el contexto de la gestión basada en resultados en UNFPA?

Desde la introducción de la gestión basada en resultados en el UNFPA en el año 2000, se han realizado avances considerables en el desarrollo de sistemas formales, marcos y herramientas para presentar informes sobre los resultados en UNFPA. Sin embargo, los desafíos continúan en la utilización de los resultados para la adaptación y como impulso para el aprendizaje organizacional.

Sigue leyendo

Tengo un sueño: una Teoría del Cambio para la Gestión Basada en Resultados


Fuente

En general los enfoques de Gestión Basada en Resultados en las organizaciones de desarrollo son (a) inconsistentes, (b) subóptimos, incluso (c) contraproducentes y, a veces, (d) todos a un tiempo.

Además la mala aplicación de la Gestión Basada en Resultados tiene con frecuencia “efectos no esperados” como (a) la fijación en la medida, (b) la fijación en la rendición de cuentas externa (subóptimo) o (c) la burocracia.

1. Los retos organizacionales para implantar la GBR son complejos y sistémicos.

2. Es por ello que se necesita un “liderazgo” al más alto nivel, que ofrezca apoyo, dirección y adaptación continuos., para lograr una acción colectiva en la organización hacia esa GBR.

ii Atención !! Aquí entendemos Liderazgo como comprensión, apropiación y compromiso “práctico y continuopor la GBR. Sin duda este es el tramo o punto que más se acerca a la (pura) ciencia ficción en este relato: me gustaría que me indicaseis si conocéis algún liderazgo organizacional que haya tenido tal “comprensión, apropiación y compromiso práctico y continuo” por la GBR.

Sigue leyendo

Las cinco competencias en evaluación según UNEG


image-12

Dentro de nuestra sección de “Competencias“, continuamos y profundizamos el pasado post ¿Qué son las competencias? donde se definían las competencias en evaluación  basadas en el informe de UNEG El marco de competencias de evaluación de Naciones Unidas (2016).

Las secciones de este informe están organizadas por competencias, indicando las expectativas para los diferentes niveles de evaluador@s, jef@s de unidad de evaluación y l@s que comisionan/gestionan evaluaciones. Las competencias se expresan intencionalmente como habilidades y destrezas y no como una lista de acciones o tareas.

Se basa en el supuesto de que l@s evaluador@s deben tener las bases profesionales necesarias y habilidades técnicas para asegurar que el diseño y los procesos de evaluación sean consistentes con los principios y requisitos éticos, que las evaluaciones cumplan con las normas y estándares apropiados del UNEG, que las evaluaciones se gestionen de manera eficiente y que los hallazgos se comuniquen claramente de una manera apropiada para la audiencia.

Sin embargo, aunque l@s evaluador@s tienen la mayor responsabilidad por la calidad y credibilidad de las evaluaciones, l@s jef@s de las unidades de evaluación y l@s que comisionan también desempeñan funciones clave. Los roles de l@s usuari@s de la evaluación también son importantes, ya que los usuari@s participan en la identificación de la necesidad de evaluaciones, la seguridad financiera y la promoción del uso de la información de las evaluaciones en la programación basada en evidencia para mejorar los logros hacia los ODS.

1. Fundamentos profesionales: aquellas competencias que son fundamentales para la práctica de la evaluación. Incluyen ética, estándares, una base de conocimientos y práctica reflexiva. Tod@s l@s involucrad@s en el proceso de evaluación deben estar familiarizados con las Normas y Estándares de Evaluación del UNEG. Sin embargo, l@s evaluador@s son responsables de un conocimiento profundo de los estándares y de ponerlos en práctica.

Sigue leyendo

El desarrollo de capacidades para la “traducción” de conocimiento


El conocimiento debe destilarse antes de que esté listo para su aplicación. Es esencial sintetizar la información existente para contextualizar e integrar los hallazgos de un estudio de investigación individual dentro de un cuerpo de conocimiento más amplio.

El trabajo de ODI, para traducir el conocimiento y promover debates de políticas más informados por la evidencia, ha arrojado seis lecciones clave:

1. Las capacidades básicas para la traducción de conocimientos deben abordarse de manera integrada.

2. Se necesita un enfoque específico para garantizar que se creen vínculos entre las capacidades a diferentes niveles.

3. La traducción de conocimientos se basa en las capacidades tanto de la oferta como de la demanda para promover la adopción de la investigación.

4. Adaptar las iniciativas a los contextos locales es fundamental para su éxito, por lo que una buena comprensión del contexto político es fundamental.

Sigue leyendo

Aprendizaje sobre la gestión basada en resultados


3267227227_660b6ab4f4_b

Continuando con un post anterior sobre el “sueño del aprendizaje de evaluaciones y revisiones de la gestión basada en resultados“, adentrándonos un poco más en el contenido de este documento, de marzo de 2019, desde la OCDE: “Aprendizaje de evaluaciones y revisiones de la gestión basada en resultados” por Janet Vähämäki y Chantal Verger.

El propósito último de la cooperación al desarrollo es lograr resultados, (1) lo que significa generar un cambio tangible y sostenible para (a) las personas, (b) las sociedades y ( c)  el medio ambiente. (2) Para que esto suceda, la gestión basada en resultados requiere que los actores responsables del desarrollo establezcan: (a) objetivos claros con los resultados esperados, (b) metas e indicadores, y (c) un sistema para medir cómo se están desempeñando en relación con sus metas. También necesitan (3) utilizar la información generada sobre el desempeño y los resultados de la cooperación para el desarrollo (a) para la rendición de cuentas y la comunicación, así como (b) para la toma de decisiones y el aprendizaje.

Sigue leyendo

El pensamiento evaluativo en el diseño y seguimiento de intervenciones


El pensamiento evaluativo puede reforzar el ciclo de gestión y planificación, mejorando la calidad del diseño y del sistema de seguimiento de las intervenciones:

1.Desarrollo y diseño de la intervención

  • Cómo incorporar aprendizajes y hallazgos de evaluaciones previas en el diseño de intervenciones.
  • Seguimiento sistemáticamente y regularmente: (1) el contexto para identificar brechas, redundancias y tendencias, (2) estructura y capacidad organizacional
  • Participación: Involucrar a múltiples grupos de partes interesadas (beneficiarios, personal, gestores, expertos, etc.) en el diseño y la planificación del programa.
  • Desarrollar y documentar teorías del cambio y modelos de intervención para guiar la implementación.
  • Mejorar la evaluabilidad y desarrollar estrategias/sistemas de seguimiento y evaluación desde el diseño
  • Integrar procesos de reflexión, aprendizaje y mejora en los ciclos regulares de gestión del programa.

Sigue leyendo

La descolonización de la evaluación


En relación a las dinámicas de poder en la producción de conocimiento Foucault (1977) observa que lo que sabemos y cómo sabemos se basa en prácticas humanas, políticas y de poder históricos cambiantes y diversos. En la producción de conocimiento existen múltiples centros de poder en constante lucha; conflicto, compromiso y negociación, y el grupo más fuerte establece sus propias reglas sobre lo que se puede conocer y cómo se puede conocer. Un juego de la verdad no relacionado con el poder no es posible, por lo que la humanidad instala cada una de sus violencias en un sistema de reglas y así avanza de dominación en dominación.

El sector del desarrollo internacional ha enfrentado reiterados llamamientos para su descolonización desde hace tiempo, tanto en la teoría como en la práctica. Sin embargo, la comprensión hegemónica del desarrollo y a quién debe servir continúan dominando (en la teoría y en la práctica). A pesar de no ser un debate nuevo, con demasiada frecuencia surgen problemas con las fuentes de financiación, la dinámica de poder en la metodología y el sesgo en la elaboración de perfiles de investigación y evaluación. Es urgente reflexionar y tener una comprensión común sobre lo que se entiende por descolonización del desarrollo y cómo podemos emprender la investigación o evaluación a través de la lente de la descolonización. Sigue leyendo