Evaluación durante el desarrollo en teoría versus práctica


de-la-teoria-la-practica-y-viceversa

Hoy nos referimos a una investigación sobre la aplicación práctica de la “Evaluación durante el desarrollo o Evaluación adaptativa” (ED), a través del artículo “Evaluación durante el desarrollo en teoría versus práctica: lecciones de tres pilotos de evaluación del desarrollo

(1) Contexto de la investigación:

1.Los profesionales de la evaluación durante el desarrollo (DE) recurren a la teoría de DE para tomar decisiones de diseño e implementación.

2.Sin embargo, l@s profesional@s de DE pueden experimentar dificultades para comprender completamente cómo implementar DE utilizando la teoría porque es un método agnóstico (Patton, 2016). En cambio, DE es un enfoque basado en principios.

(2) Propósito de la investigación:

1.Este artículo presenta un examen empírico de cómo se aplicó (o no) la teoría DE durante tres casos piloto de DE.

2.Su análisis tiene como objetivo comprender mejor (1) cómo se utiliza la teoría ED en la práctica para ampliar la base de pruebas y (2) fortalecer la implementación futura de DE.

(3) Enfoque de la investigación:

1.Un consorcio de tres organizaciones implementó tres proyectos piloto de DE a través de la Agencia de los Estados Unidos para el Desarrollo Internacional (USAID) desde noviembre de 2016 a septiembre de 2019.

2.Los autores, que participaron en el consorcio, no implementaron los DE, sino que realizaron un estudio o una metaevaluación. a través de los pilotos de DE.

Sigue leyendo

Evaluación centrada en principios


Otra de las aportaciones de MQ Patton es sobre la evaluación centrada en principios. El pensamiento centrado en principios es para personas impulsadas por principios que participan en cambios basados ​​en principios. Un principio de eficacia proporciona una guía sobre cómo pensar o comportarse hacia algún resultado deseado (ya sea explícito o implícito) basado en normas, valores, creencias, experiencia y conocimiento. Un principio de alta calidad proporciona orientación sobre qué hacer, es útil para informar decisiones y acciones, proporciona inspiración como expresión de valores, es relevante para diversos contextos y situaciones y puede ser evaluado. Evaluar un principio implica examinar su significado para aquellos que se espera que lo sigan, si se está cumpliendo en la práctica y, si se cumple, si conduce a los resultados deseados.

¿Por qué principios?

Nos encontramos el cambio por todos lados, nos envuelve desde todas las direcciones, es omnipresente. Tenemos opciones sobre cómo afrontar, comprometernos y afrontar el cambio. Los principios informan y orientan esas elecciones. Lo hacen diciéndonos cómo actuar.

Sigue leyendo

Ma(nua)l para gestor@s: Cómo diseñar una evaluación y morir en el intento


Inspirado en el post “Principios metodológicos para diseñar evaluaciones de alta calidad” y en un taller reciente sobre “Estructuras liberadoras” en evaluación (en concreto de la estructura “Triz“), desarrollé en este post una tormenta perfecta, de cómo asegurar que un proceso evaluativo sea inútil, un fracaso, un infierno, una absoluta pérdida de tiempo y una pesadilla para l@s implicad@s. Aquí mis consejos para gestor@s de evaluación:

1.El evaluando, nuestro enemigo a derrotar: Consideremos al programa y/ o equipo evaluado como como sujetos sospechosos, alumn@s díscol@s, siempre descontent@s e incómodos con ser evaluad@s, que siempre esconden algo y merecen un castigo. Tolerancia cero, nuestro objetivo es hacerles ver sus propias costuras que, además, son muchas.

2.El equipo evaluador, es@s impostor@s. Desconfiemos del equipo evaluador, que por naturaleza son una élite aburridísima, malcriada y sabelotodo, pero que en el fondo están llen@s de prejuicios y ningun@ se libra del síndrome de dunning-kruger. Cuanto peor se les trate, más nos respetarán. Si hay que conseguir un cambio, que sea que los evaluador@s terminen con lo que se merecen, con el síndrome del/ la impostor/a.

Sigue leyendo

Principios metodológicos para diseñar evaluaciones de alta calidad


En el reciente informe “Evaluación de las intervenciones de desarrollo internacional: una descripción general de los enfoques y métodos“, se discute acerca de algunos de los principios metodológicos clave del diseño de la evaluación que proporcionan las bases para la selección, adaptación y uso de enfoques y métodos de evaluación en el contexto de evaluación del desarrollo. El informe se centra solo en cuestiones metodológicas y no discute otros aspectos clave del diseño, como el uso previsto de la evaluación por parte de las partes interesadas.

Los principios discutidos también se refieren a la evaluación en general, pero son especialmente pertinentes para diseñar evaluaciones independientes en un contexto de desarrollo internacional. Consideran que los siguientes principios metodológicos son importantes para diseñar y desarrollar evaluaciones de alta calidad:

1. Dar la debida consideración a los aspectos metodológicos de la calidad de la evaluación en el diseño: enfoque, consistencia, confiabilidad y validez

Sigue leyendo

Un enfoque para valorar la calidad de las evaluaciones durante el desarrollo


routine_new_things

Fuente

Siguiendo con nuestra sección “Evaluación durante el desarrollo“, ya comentamos en el post “Control de calidad de las evaluaciones durante el desarrollo (o adaptativas)” que la Oficina de Evaluación de UNFPA ha desarrollado un nuevo y relevante “Marco de Garantía de calidad y valoración de las evaluaciones durante el desarrollo (o adaptativas) en UNFPA” para ayudar a la Oficina de evaluación y a terceros a valorar la calidad de las evaluaciones durante el desarrollo (o evaluaciones adaptativas) ejecutadas por/para esta agencia. 

En este informe se indica que el enfoque para valorar la calidad de las evaluaciones durante el desarrollo (o adaptativas) se organiza en torno a seis características clave:

1. Una combinación de principios de evaluación durante el desarrollo y normas de evaluación del UNEG

2. Énfasis tanto en (a) informes de evaluación (productos) como (b) proceso de evaluación

3. Calificar la adherencia de la evaluación a las prácticas mínimas para cada principio / estándar.

4. Tres fuentes de datos y métodos

5. Un proceso de cinco pasos

6. Opciones para la escalada, replicación o ampliación

Cada una de estas características clave se describe a continuación:

Sigue leyendo

Control de calidad de las evaluaciones durante el desarrollo (o adaptativas)


La Oficina de Evaluación de UNFPA ha desarrollado un nuevo y relevante “Marco de Garantía de calidad y valoración de las evaluaciones durante el desarrollo (o adaptativas) en UNFPA” para ayudar a la Oficina de evaluación y a terceros a valorar la calidad de las evaluaciones durante el desarrollo (o evaluaciones adaptativas) ejecutadas por/para la agencia. En este informe se señalan algunas tensiones que hay que afrontar para garantizar la calidad de las evaluaciones durante el desarrollo (o adaptativas)

Varias tensiones son inevitables en la aplicación de los principios de la evaluación durante el desarrollo en las evaluaciones gestionadas por organizaciones y afectarán la calidad de la evaluación. Estas tensiones no pueden (re) resolverse; más bien, deben abordarse como desafíos de diseño y gestionarse de forma creativa.

Grandes tensiones: Existen tres tensiones principales para garantizar la calidad en las evaluaciones de desarrollo gestionadas por las organizaciones. Se relacionan con (a) propósito, (b) relaciones y (c) gestión y/o administración.

1 Tensiones relacionadas con el propósito

La tensión de propósito principal es (a) entre la evaluación durante el desarrollo como un proceso interno para apoyar el desarrollo y (b) la adaptación de una intervención y el uso más tradicional de la evaluación como un mecanismo para informar y rendir cuentas a un organismo superior o externo.

(1) Por un lado, el objetivo de la evaluación durante desarrollo es (a) proporcionar a las partes interesadas de la iniciativa retroalimentación en tiempo real sobre los resultados de sus esfuerzos, (b) generar nuevos aprendizajes sobre los desafíos que están tratando de abordar, identificar y (c) reflexionar críticamente sobre las fortalezas y debilidades en su trabajo y (d) para permitir adaptaciones basadas en datos a sus objetivos y enfoque general. Esto incluye la necesidad de que (e) los usuarios principales de la evaluación utilicen conjuntamente los hallazgos, las implicaciones y las opciones que surgieron en el proceso para tomar decisiones sobre dónde y cómo desarrollar la intervención, en lugar de confiar en las recomendaciones del equipo de evaluación.

Sigue leyendo

La evaluación en la rendición de cuentas para resultados de planes estratégicos


Fuente

La función de evaluación puede reforzar el ciclo de gestión y planificación, mejorando la calidad del diseño y del sistema de seguimiento de los Planes Estratégicos de nuestras organizaciones.

A través de la Política de Evaluación y el Plan de Trabajo de evaluación de nuestras organizaciones se pueden fomentar las siguientes áreas de trabajo clave en la organización: (a) refuerzo del marco institucional en evaluación, (b) desarrollo de capacidades en evaluación (incluye fomento del pensamiento evaluativo y trabajo conjunto con equipos de planificación y seguimiento), (c) gestión del conocimiento y (d) la ejecución de diferentes tipos de evaluaciones. Desde estas áreas de trabajo se pueden apoyar los planes estratégicos de la organización:

1.Desarrollo y diseño del Plan Estratégico

1.1 Asegurar que existen sistemas para la incorporación en el diseño de los aprendizajes previos (desde sistemas de seguimiento, evaluaciones previas…) 

1.2 Mejorar la evaluabilidad desde el diseño: calidad del diseño, del seguimiento, del uso de la información de diseño y seguimiento, de la accesibilidad de las partes interesadas.

1.3 Apoyar a desarrollar y documentar teorías del cambio (TdC) y modelos de intervención para guiar el diseño y la implementación. TdC para asegurar que existe(n):

Sigue leyendo

Evaluación durante el desarrollo de la gestión basada en resultados en UNFPA


lp_figure_0

Ya hemos discutido en otros posts sobre las “evaluaciones durante el desarrollo” (developmental evaluation) que (1) ayudan a identificar opciones innovadoras en condiciones complejas, inciertas y dinámicas asociadas con el desarrollo de una nueva iniciativa. También (2) tienen una visión de futuro y se centran en la utilización.

Ya comentamos que éste es un término de traducción no sencilla en español, nosotros optamos por “Evaluación durante el desarrollo” y UNFPA traduce “Developmental Evaluation” como “Evaluación Adaptativa”: En el informe “Evaluación adaptativa de la gestión basada en resultados en UNFPA (2019)“, se indica  que la “evaluación durante el desarrollo” (o evaluación adaptativa) fue el enfoque más apropiado para proporcionar a UNFPA, retroalimentación crítica en tiempo real y aportes evaluativos para la toma de decisiones para avanzar la gestión basada en resultados (GBR) de UNFPA al siguiente nivel.

La evaluación llevó a cabo un análisis de las causas fundamentales de los desafíos persistentes en la GBR, que revelaron cinco tensiones creativas (lagunas y desafíos). También presentó seis puntos de influencia  (o puntos de apalancamiento) que guían el desarrollo de soluciones de GBR y, por lo tanto, para pasar a la siguiente etapa de la GBR. La siguiente figura captura la interacción entre las tensiones creativas y los puntos de influencia, destacando un camino de cambio para la GBR en el UNFPA.

El examen estratégico independiente externo de la función de evaluación del UNFPA (2017-2018) recomendó que la Oficina de Evaluación debería orientar la función de evaluación hacia un mejor equilibrio entre la rendición de cuentas, el apoyo a las decisiones y los propósitos de aprendizaje, adaptando continuamente sus enfoques y procesos de evaluación para informar y apoyar mejor a la logro de la misión del UNFPA en contextos desafiantes y que cambian rápidamente, incluso integrando mejor los avances pertinentes en la teoría y la práctica de la evaluación. En respuesta, la Oficina de Evaluación elaboró ​​y puso en marcha la Estrategia de evaluación 2018-2021, que incluía, entre otras, la prioridad de (1) aumentar las evaluaciones impulsadas por la demanda y (2) diversificar la oferta de tipologías de evaluaciones, incluso mediante la innovación. En este contexto, la Oficina de Evaluación, respondiendo a una demanda específica del personal directivo superior y en consonancia con la Estrategia de Evaluación 2018-2021, decidió experimentar con esta evaluación “durante el desarrollo” o “adaptativa” de la GBR en UNFPA.

Para impulsar la GBR a su punto máximo en el UNFPA, es fundamental (1) fomentar la participación continua de las partes interesadas en la creación conjunta y (2) el desarrollo de soluciones de GBR, con decisiones y acciones rápidas de la organización para aprovechar el impulso generado por la evaluación.

¿Cuál era el contexto de la gestión basada en resultados en UNFPA?

Desde la introducción de la gestión basada en resultados en el UNFPA en el año 2000, se han realizado avances considerables en el desarrollo de sistemas formales, marcos y herramientas para presentar informes sobre los resultados en UNFPA. Sin embargo, los desafíos continúan en la utilización de los resultados para la adaptación y como impulso para el aprendizaje organizacional.

Sigue leyendo

Tengo un sueño: una Teoría del Cambio para la Gestión Basada en Resultados


Fuente

En general los enfoques de Gestión Basada en Resultados en las organizaciones de desarrollo son (a) inconsistentes, (b) subóptimos, incluso (c) contraproducentes y, a veces, (d) todos a un tiempo.

Además la mala aplicación de la Gestión Basada en Resultados tiene con frecuencia “efectos no esperados” como (a) la fijación en la medida, (b) la fijación en la rendición de cuentas externa (subóptimo) o (c) la burocracia.

1. Los retos organizacionales para implantar la GBR son complejos y sistémicos.

2. Es por ello que se necesita un “liderazgo” al más alto nivel, que ofrezca apoyo, dirección y adaptación continuos., para lograr una acción colectiva en la organización hacia esa GBR.

ii Atención !! Aquí entendemos Liderazgo como comprensión, apropiación y compromiso “práctico y continuopor la GBR. Sin duda este es el tramo o punto que más se acerca a la (pura) ciencia ficción en este relato: me gustaría que me indicaseis si conocéis algún liderazgo organizacional que haya tenido tal “comprensión, apropiación y compromiso práctico y continuo” por la GBR.

Sigue leyendo

Las cinco competencias en evaluación según UNEG


image-12

Dentro de nuestra sección de “Competencias“, continuamos y profundizamos el pasado post ¿Qué son las competencias? donde se definían las competencias en evaluación  basadas en el informe de UNEG El marco de competencias de evaluación de Naciones Unidas (2016).

Las secciones de este informe están organizadas por competencias, indicando las expectativas para los diferentes niveles de evaluador@s, jef@s de unidad de evaluación y l@s que comisionan/gestionan evaluaciones. Las competencias se expresan intencionalmente como habilidades y destrezas y no como una lista de acciones o tareas.

Se basa en el supuesto de que l@s evaluador@s deben tener las bases profesionales necesarias y habilidades técnicas para asegurar que el diseño y los procesos de evaluación sean consistentes con los principios y requisitos éticos, que las evaluaciones cumplan con las normas y estándares apropiados del UNEG, que las evaluaciones se gestionen de manera eficiente y que los hallazgos se comuniquen claramente de una manera apropiada para la audiencia.

Sin embargo, aunque l@s evaluador@s tienen la mayor responsabilidad por la calidad y credibilidad de las evaluaciones, l@s jef@s de las unidades de evaluación y l@s que comisionan también desempeñan funciones clave. Los roles de l@s usuari@s de la evaluación también son importantes, ya que los usuari@s participan en la identificación de la necesidad de evaluaciones, la seguridad financiera y la promoción del uso de la información de las evaluaciones en la programación basada en evidencia para mejorar los logros hacia los ODS.

1. Fundamentos profesionales: aquellas competencias que son fundamentales para la práctica de la evaluación. Incluyen ética, estándares, una base de conocimientos y práctica reflexiva. Tod@s l@s involucrad@s en el proceso de evaluación deben estar familiarizados con las Normas y Estándares de Evaluación del UNEG. Sin embargo, l@s evaluador@s son responsables de un conocimiento profundo de los estándares y de ponerlos en práctica.

Sigue leyendo