Ma(nua)l para gestor@s: Cómo diseñar una evaluación y morir en el intento


Inspirado en el post “Principios metodológicos para diseñar evaluaciones de alta calidad” y en un taller reciente sobre “Estructuras liberadoras” en evaluación (en concreto de la estructura “Triz“), desarrollé en este post una tormenta perfecta, de cómo asegurar que un proceso evaluativo sea inútil, un fracaso, un infierno, una absoluta pérdida de tiempo y una pesadilla para l@s implicad@s. Aquí mis consejos para gestor@s de evaluación:

1.El evaluando, nuestro enemigo a derrotar: Consideremos al programa y/ o equipo evaluado como como sujetos sospechosos, alumn@s díscol@s, siempre descontent@s e incómodos con ser evaluad@s, que siempre esconden algo y merecen un castigo. Tolerancia cero, nuestro objetivo es hacerles ver sus propias costuras que, además, son muchas.

2.El equipo evaluador, es@s impostor@s. Desconfiemos del equipo evaluador, que por naturaleza son una élite aburridísima, malcriada y sabelotodo, pero que en el fondo están llen@s de prejuicios y ningun@ se libra del síndrome de dunning-kruger. Cuanto peor se les trate, más nos respetarán. Si hay que conseguir un cambio, que sea que los evaluador@s terminen con lo que se merecen, con el síndrome del/ la impostor/a.

Sigue leyendo

Principios metodológicos para diseñar evaluaciones de alta calidad


En el reciente informe “Evaluación de las intervenciones de desarrollo internacional: una descripción general de los enfoques y métodos“, se discute acerca de algunos de los principios metodológicos clave del diseño de la evaluación que proporcionan las bases para la selección, adaptación y uso de enfoques y métodos de evaluación en el contexto de evaluación del desarrollo. El informe se centra solo en cuestiones metodológicas y no discute otros aspectos clave del diseño, como el uso previsto de la evaluación por parte de las partes interesadas.

Los principios discutidos también se refieren a la evaluación en general, pero son especialmente pertinentes para diseñar evaluaciones independientes en un contexto de desarrollo internacional. Consideran que los siguientes principios metodológicos son importantes para diseñar y desarrollar evaluaciones de alta calidad:

1. Dar la debida consideración a los aspectos metodológicos de la calidad de la evaluación en el diseño: enfoque, consistencia, confiabilidad y validez

Sigue leyendo

Un enfoque para valorar la calidad de las evaluaciones durante el desarrollo


routine_new_things

Fuente

Siguiendo con nuestra sección “Evaluación durante el desarrollo“, ya comentamos en el post “Control de calidad de las evaluaciones durante el desarrollo (o adaptativas)” que la Oficina de Evaluación de UNFPA ha desarrollado un nuevo y relevante “Marco de Garantía de calidad y valoración de las evaluaciones durante el desarrollo (o adaptativas) en UNFPA” para ayudar a la Oficina de evaluación y a terceros a valorar la calidad de las evaluaciones durante el desarrollo (o evaluaciones adaptativas) ejecutadas por/para esta agencia. 

En este informe se indica que el enfoque para valorar la calidad de las evaluaciones durante el desarrollo (o adaptativas) se organiza en torno a seis características clave:

1. Una combinación de principios de evaluación durante el desarrollo y normas de evaluación del UNEG

2. Énfasis tanto en (a) informes de evaluación (productos) como (b) proceso de evaluación

3. Calificar la adherencia de la evaluación a las prácticas mínimas para cada principio / estándar.

4. Tres fuentes de datos y métodos

5. Un proceso de cinco pasos

6. Opciones para la escalada, replicación o ampliación

Cada una de estas características clave se describe a continuación:

Sigue leyendo

Control de calidad de las evaluaciones durante el desarrollo (o adaptativas)


La Oficina de Evaluación de UNFPA ha desarrollado un nuevo y relevante “Marco de Garantía de calidad y valoración de las evaluaciones durante el desarrollo (o adaptativas) en UNFPA” para ayudar a la Oficina de evaluación y a terceros a valorar la calidad de las evaluaciones durante el desarrollo (o evaluaciones adaptativas) ejecutadas por/para la agencia. En este informe se señalan algunas tensiones que hay que afrontar para garantizar la calidad de las evaluaciones durante el desarrollo (o adaptativas)

Varias tensiones son inevitables en la aplicación de los principios de la evaluación durante el desarrollo en las evaluaciones gestionadas por organizaciones y afectarán la calidad de la evaluación. Estas tensiones no pueden (re) resolverse; más bien, deben abordarse como desafíos de diseño y gestionarse de forma creativa.

Grandes tensiones: Existen tres tensiones principales para garantizar la calidad en las evaluaciones de desarrollo gestionadas por las organizaciones. Se relacionan con (a) propósito, (b) relaciones y (c) gestión y/o administración.

1 Tensiones relacionadas con el propósito

La tensión de propósito principal es (a) entre la evaluación durante el desarrollo como un proceso interno para apoyar el desarrollo y (b) la adaptación de una intervención y el uso más tradicional de la evaluación como un mecanismo para informar y rendir cuentas a un organismo superior o externo.

(1) Por un lado, el objetivo de la evaluación durante desarrollo es (a) proporcionar a las partes interesadas de la iniciativa retroalimentación en tiempo real sobre los resultados de sus esfuerzos, (b) generar nuevos aprendizajes sobre los desafíos que están tratando de abordar, identificar y (c) reflexionar críticamente sobre las fortalezas y debilidades en su trabajo y (d) para permitir adaptaciones basadas en datos a sus objetivos y enfoque general. Esto incluye la necesidad de que (e) los usuarios principales de la evaluación utilicen conjuntamente los hallazgos, las implicaciones y las opciones que surgieron en el proceso para tomar decisiones sobre dónde y cómo desarrollar la intervención, en lugar de confiar en las recomendaciones del equipo de evaluación.

Sigue leyendo

La evaluación en la rendición de cuentas para resultados de planes estratégicos


Fuente

La función de evaluación puede reforzar el ciclo de gestión y planificación, mejorando la calidad del diseño y del sistema de seguimiento de los Planes Estratégicos de nuestras organizaciones.

A través de la Política de Evaluación y el Plan de Trabajo de evaluación de nuestras organizaciones se pueden fomentar las siguientes áreas de trabajo clave en la organización: (a) refuerzo del marco institucional en evaluación, (b) desarrollo de capacidades en evaluación (incluye fomento del pensamiento evaluativo y trabajo conjunto con equipos de planificación y seguimiento), (c) gestión del conocimiento y (d) la ejecución de diferentes tipos de evaluaciones. Desde estas áreas de trabajo se pueden apoyar los planes estratégicos de la organización:

1.Desarrollo y diseño del Plan Estratégico

1.1 Asegurar que existen sistemas para la incorporación en el diseño de los aprendizajes previos (desde sistemas de seguimiento, evaluaciones previas…) 

1.2 Mejorar la evaluabilidad desde el diseño: calidad del diseño, del seguimiento, del uso de la información de diseño y seguimiento, de la accesibilidad de las partes interesadas.

1.3 Apoyar a desarrollar y documentar teorías del cambio (TdC) y modelos de intervención para guiar el diseño y la implementación. TdC para asegurar que existe(n):

Sigue leyendo

Evaluación durante el desarrollo de la gestión basada en resultados en UNFPA


lp_figure_0

Ya hemos discutido en otros posts sobre las “evaluaciones durante el desarrollo” (developmental evaluation) que (1) ayudan a identificar opciones innovadoras en condiciones complejas, inciertas y dinámicas asociadas con el desarrollo de una nueva iniciativa. También (2) tienen una visión de futuro y se centran en la utilización.

Ya comentamos que éste es un término de traducción no sencilla en español, nosotros optamos por “Evaluación durante el desarrollo” y UNFPA traduce “Developmental Evaluation” como “Evaluación Adaptativa”: En el informe “Evaluación adaptativa de la gestión basada en resultados en UNFPA (2019)“, se indica  que la “evaluación durante el desarrollo” (o evaluación adaptativa) fue el enfoque más apropiado para proporcionar a UNFPA, retroalimentación crítica en tiempo real y aportes evaluativos para la toma de decisiones para avanzar la gestión basada en resultados (GBR) de UNFPA al siguiente nivel.

La evaluación llevó a cabo un análisis de las causas fundamentales de los desafíos persistentes en la GBR, que revelaron cinco tensiones creativas (lagunas y desafíos). También presentó seis puntos de influencia  (o puntos de apalancamiento) que guían el desarrollo de soluciones de GBR y, por lo tanto, para pasar a la siguiente etapa de la GBR. La siguiente figura captura la interacción entre las tensiones creativas y los puntos de influencia, destacando un camino de cambio para la GBR en el UNFPA.

El examen estratégico independiente externo de la función de evaluación del UNFPA (2017-2018) recomendó que la Oficina de Evaluación debería orientar la función de evaluación hacia un mejor equilibrio entre la rendición de cuentas, el apoyo a las decisiones y los propósitos de aprendizaje, adaptando continuamente sus enfoques y procesos de evaluación para informar y apoyar mejor a la logro de la misión del UNFPA en contextos desafiantes y que cambian rápidamente, incluso integrando mejor los avances pertinentes en la teoría y la práctica de la evaluación. En respuesta, la Oficina de Evaluación elaboró ​​y puso en marcha la Estrategia de evaluación 2018-2021, que incluía, entre otras, la prioridad de (1) aumentar las evaluaciones impulsadas por la demanda y (2) diversificar la oferta de tipologías de evaluaciones, incluso mediante la innovación. En este contexto, la Oficina de Evaluación, respondiendo a una demanda específica del personal directivo superior y en consonancia con la Estrategia de Evaluación 2018-2021, decidió experimentar con esta evaluación “durante el desarrollo” o “adaptativa” de la GBR en UNFPA.

Para impulsar la GBR a su punto máximo en el UNFPA, es fundamental (1) fomentar la participación continua de las partes interesadas en la creación conjunta y (2) el desarrollo de soluciones de GBR, con decisiones y acciones rápidas de la organización para aprovechar el impulso generado por la evaluación.

¿Cuál era el contexto de la gestión basada en resultados en UNFPA?

Desde la introducción de la gestión basada en resultados en el UNFPA en el año 2000, se han realizado avances considerables en el desarrollo de sistemas formales, marcos y herramientas para presentar informes sobre los resultados en UNFPA. Sin embargo, los desafíos continúan en la utilización de los resultados para la adaptación y como impulso para el aprendizaje organizacional.

Sigue leyendo

Tengo un sueño: una Teoría del Cambio para la Gestión Basada en Resultados


Fuente

En general los enfoques de Gestión Basada en Resultados en las organizaciones de desarrollo son (a) inconsistentes, (b) subóptimos, incluso (c) contraproducentes y, a veces, (d) todos a un tiempo.

Además la mala aplicación de la Gestión Basada en Resultados tiene con frecuencia “efectos no esperados” como (a) la fijación en la medida, (b) la fijación en la rendición de cuentas externa (subóptimo) o (c) la burocracia.

1. Los retos organizacionales para implantar la GBR son complejos y sistémicos.

2. Es por ello que se necesita un “liderazgo” al más alto nivel, que ofrezca apoyo, dirección y adaptación continuos., para lograr una acción colectiva en la organización hacia esa GBR.

ii Atención !! Aquí entendemos Liderazgo como comprensión, apropiación y compromiso “práctico y continuopor la GBR. Sin duda este es el tramo o punto que más se acerca a la (pura) ciencia ficción en este relato: me gustaría que me indicaseis si conocéis algún liderazgo organizacional que haya tenido tal “comprensión, apropiación y compromiso práctico y continuo” por la GBR.

Sigue leyendo

Las cinco competencias en evaluación según UNEG


image-12

Dentro de nuestra sección de “Competencias“, continuamos y profundizamos el pasado post ¿Qué son las competencias? donde se definían las competencias en evaluación  basadas en el informe de UNEG El marco de competencias de evaluación de Naciones Unidas (2016).

Las secciones de este informe están organizadas por competencias, indicando las expectativas para los diferentes niveles de evaluador@s, jef@s de unidad de evaluación y l@s que comisionan/gestionan evaluaciones. Las competencias se expresan intencionalmente como habilidades y destrezas y no como una lista de acciones o tareas.

Se basa en el supuesto de que l@s evaluador@s deben tener las bases profesionales necesarias y habilidades técnicas para asegurar que el diseño y los procesos de evaluación sean consistentes con los principios y requisitos éticos, que las evaluaciones cumplan con las normas y estándares apropiados del UNEG, que las evaluaciones se gestionen de manera eficiente y que los hallazgos se comuniquen claramente de una manera apropiada para la audiencia.

Sin embargo, aunque l@s evaluador@s tienen la mayor responsabilidad por la calidad y credibilidad de las evaluaciones, l@s jef@s de las unidades de evaluación y l@s que comisionan también desempeñan funciones clave. Los roles de l@s usuari@s de la evaluación también son importantes, ya que los usuari@s participan en la identificación de la necesidad de evaluaciones, la seguridad financiera y la promoción del uso de la información de las evaluaciones en la programación basada en evidencia para mejorar los logros hacia los ODS.

1. Fundamentos profesionales: aquellas competencias que son fundamentales para la práctica de la evaluación. Incluyen ética, estándares, una base de conocimientos y práctica reflexiva. Tod@s l@s involucrad@s en el proceso de evaluación deben estar familiarizados con las Normas y Estándares de Evaluación del UNEG. Sin embargo, l@s evaluador@s son responsables de un conocimiento profundo de los estándares y de ponerlos en práctica.

Sigue leyendo

El desarrollo de capacidades para la “traducción” de conocimiento


El conocimiento debe destilarse antes de que esté listo para su aplicación. Es esencial sintetizar la información existente para contextualizar e integrar los hallazgos de un estudio de investigación individual dentro de un cuerpo de conocimiento más amplio.

El trabajo de ODI, para traducir el conocimiento y promover debates de políticas más informados por la evidencia, ha arrojado seis lecciones clave:

1. Las capacidades básicas para la traducción de conocimientos deben abordarse de manera integrada.

2. Se necesita un enfoque específico para garantizar que se creen vínculos entre las capacidades a diferentes niveles.

3. La traducción de conocimientos se basa en las capacidades tanto de la oferta como de la demanda para promover la adopción de la investigación.

4. Adaptar las iniciativas a los contextos locales es fundamental para su éxito, por lo que una buena comprensión del contexto político es fundamental.

Sigue leyendo

Aprendizaje sobre la gestión basada en resultados


3267227227_660b6ab4f4_b

Continuando con un post anterior sobre el “sueño del aprendizaje de evaluaciones y revisiones de la gestión basada en resultados“, adentrándonos un poco más en el contenido de este documento, de marzo de 2019, desde la OCDE: “Aprendizaje de evaluaciones y revisiones de la gestión basada en resultados” por Janet Vähämäki y Chantal Verger.

El propósito último de la cooperación al desarrollo es lograr resultados, (1) lo que significa generar un cambio tangible y sostenible para (a) las personas, (b) las sociedades y ( c)  el medio ambiente. (2) Para que esto suceda, la gestión basada en resultados requiere que los actores responsables del desarrollo establezcan: (a) objetivos claros con los resultados esperados, (b) metas e indicadores, y (c) un sistema para medir cómo se están desempeñando en relación con sus metas. También necesitan (3) utilizar la información generada sobre el desempeño y los resultados de la cooperación para el desarrollo (a) para la rendición de cuentas y la comunicación, así como (b) para la toma de decisiones y el aprendizaje.

Sigue leyendo