Ma(nua)l para gestor@s: Cómo diseñar una evaluación y morir en el intento


Inspirado en el post «Principios metodológicos para diseñar evaluaciones de alta calidad» y en un taller reciente sobre «Estructuras liberadoras» en evaluación (en concreto de la estructura «Triz«), desarrollé en este post una tormenta perfecta, de cómo asegurar que un proceso evaluativo sea inútil, un fracaso, un infierno, una absoluta pérdida de tiempo y una pesadilla para l@s implicad@s. Aquí mis consejos para gestor@s de evaluación:

1.El evaluando, nuestro enemigo a derrotar: Consideremos al programa y/ o equipo evaluado como como sujetos sospechosos, alumn@s díscol@s, siempre descontent@s e incómodos con ser evaluad@s, que siempre esconden algo y merecen un castigo. Tolerancia cero, nuestro objetivo es hacerles ver sus propias costuras que, además, son muchas.

2.El equipo evaluador, es@s impostor@s. Desconfiemos del equipo evaluador, que por naturaleza son una élite aburridísima, malcriada y sabelotodo, pero que en el fondo están llen@s de prejuicios y ningun@ se libra del síndrome de dunning-kruger. Cuanto peor se les trate, más nos respetarán. Si hay que conseguir un cambio, que sea que los evaluador@s terminen con lo que se merecen, con el síndrome del/ la impostor/a.

Sigue leyendo

Control de calidad de las evaluaciones durante el desarrollo (o adaptativas)


La Oficina de Evaluación de UNFPA ha desarrollado un nuevo y relevante «Marco de Garantía de calidad y valoración de las evaluaciones durante el desarrollo (o adaptativas) en UNFPA» para ayudar a la Oficina de evaluación y a terceros a valorar la calidad de las evaluaciones durante el desarrollo (o evaluaciones adaptativas) ejecutadas por/para la agencia. En este informe se señalan algunas tensiones que hay que afrontar para garantizar la calidad de las evaluaciones durante el desarrollo (o adaptativas)

Varias tensiones son inevitables en la aplicación de los principios de la evaluación durante el desarrollo en las evaluaciones gestionadas por organizaciones y afectarán la calidad de la evaluación. Estas tensiones no pueden (re) resolverse; más bien, deben abordarse como desafíos de diseño y gestionarse de forma creativa.

Grandes tensiones: Existen tres tensiones principales para garantizar la calidad en las evaluaciones de desarrollo gestionadas por las organizaciones. Se relacionan con (a) propósito, (b) relaciones y (c) gestión y/o administración.

1 Tensiones relacionadas con el propósito

La tensión de propósito principal es (a) entre la evaluación durante el desarrollo como un proceso interno para apoyar el desarrollo y (b) la adaptación de una intervención y el uso más tradicional de la evaluación como un mecanismo para informar y rendir cuentas a un organismo superior o externo.

(1) Por un lado, el objetivo de la evaluación durante desarrollo es (a) proporcionar a las partes interesadas de la iniciativa retroalimentación en tiempo real sobre los resultados de sus esfuerzos, (b) generar nuevos aprendizajes sobre los desafíos que están tratando de abordar, identificar y (c) reflexionar críticamente sobre las fortalezas y debilidades en su trabajo y (d) para permitir adaptaciones basadas en datos a sus objetivos y enfoque general. Esto incluye la necesidad de que (e) los usuarios principales de la evaluación utilicen conjuntamente los hallazgos, las implicaciones y las opciones que surgieron en el proceso para tomar decisiones sobre dónde y cómo desarrollar la intervención, en lugar de confiar en las recomendaciones del equipo de evaluación.

Sigue leyendo