La Teoría del Cambio de la Nueva Política de Evaluación de UNICEF


Muy interesante cómo la Política de Evaluación de UNICEF (2018) contiene su propia Teoría del Cambio que “nos cuenta cómo ve la historia”, los facilitadores y las barreras, para llegar a los resultados esperados. La nueva política de evaluación (o la política revisada) está destinada a apoyar a UNICEF en la entrega de los productos de la teoría del cambio para la evaluación que se describen a continuación:

(1) evaluaciones independientes, creíbles y útiles a nivel corporativo, regional y de país,

(2) evaluaciones desarrolladas de acuerdo con (a) las normas y estándares del UNEG y (b) las normas de cobertura de la política de evaluación

(3) apoyadas por (a) la mejora de la capacidad y la profesionalidad del personal de UNICEF para realizar y gestionar evaluaciones y (b) el desarrollo de la capacidad nacional de evaluación;

(4) eficaz (a) gestión del conocimiento de la evidencia de evaluación y (b) colaboración con otras funciones en UNICEF y sus socios para mejorar el aprendizaje de las evaluaciones; (c) demanda generada de (i) evidencias de evaluación, y su uso, (ii) dentro de UNICEF y por la Junta Ejecutiva y sus socios. Sigue leyendo

Usos y abusos de las evaluaciones: Teoría, Retórica y Práctica


Con la misma editorial que publicó parte de mi tesis sobre la gestión de la información en las organizaciones de desarrollo, estoy en estos momentos completando otra publicación sobre “la gestión del conocimiento y el uso de las evaluaciones”.

Aunque aparece en repetidas ocasiones en el lV plan Director y en el Plan de Evaluaciones de la Cooperación Española, no hay mucha literatura que hable explícitamente sobre la “gestión del conocimiento de las evaluaciones”(os animo a sentir lo frústrante que es googlear “knowledge management of evaluations”). Sin embargo al contactar con algunos colegas a nivel internacional, la mayoría me refieren al concepto de “uso de las evaluaciones”. Sigue leyendo

El impacto de la evaluación y otros cronopios: políticas, rayaduras y resiliencia


Ha sido una semana tremenda. Comenzamos con el seminario de la política de evaluación de la cooperación española (ver mi post anterior y dejémoslo en minúsculas todo hasta que nos sorprendan ;-), pero ha habido muchas más cosas a lo largo de la semana…

Tengo que preparar un post sobre la dichosa evaluación de impacto y la manía de algunos de denigrar a un sector de sector (de evaluación)…claro que  a veces nos denigramos solos…sin ayuda de nadie. Voy a intentar confrontar las ideas desde los sesudos lobbys pro RCT (randomised control trials), con las de otros puntos de vista…a ver qué sacamos de claro si ordenamos todo (desde mi subjetiva visión). Para ello tiraré de hemeroteca y preguntaré a algún compañero…Por ahora recomiendo la saludable lectura de este documento titulado Impact Evaluation for Improving Development (ie4id) con autoría de un montón de caras conocidas, y por no saltarme a uno, no menciono a ninguno…

Por otro lado también esta semana ha sido interesante recibir comentarios sobre la reunión en Ciudad del Cabo del “International symposium The politics of poverty research and pro-poor policy making: Learning from the practice of policy dialogue”. Me han llegado muy interesantes reflexiones desde la Evidence Based Policy in Development Network.

Por último llamar la atención sobre el concepto de resiliencia. Este concepto no es nuevo, me acompañó todo un verano en la única asignatura para septiembre de mi carrera de agrónomo, por tanto gran recuerdo mío y de otros sufridores de la resistencia de materiales…Recibo información de diferentes direcciones como un concepto de relieve en el sector humanitario (seguridad alimentaria). Incluso parece que comunicar bien este concepto puede salvar vidas…si lo hubieramos sabido quizás hubiera sido más llevadera aquel verano.

Un documento marco que aspira a ser la nueva Política de Evaluación de la Cooperación Española


Los días 10 y 11 de Diciembre tuvieron lugar las Jornadas sobre evaluación y cooperación para el desarrollo. La apretada agenda sirvió para recibir una mirada evaluativa desde las redes internacionales de evaluación, desde los organismos multilaterales y bilaterales, así como de hablar sobre el borrador de la nueva Política de Evaluación. El propósito era fomentar la reflexión sobe los principales desafíos en evaluación, presentar el nuevo borrador e intercambiar experiencias.

La calidad de los ponentes  y el grado de intercambio de experiencias fue muy alto. El borrador de la Política de Evaluación no quiere definirse como plan, ni como documento de reflexión teórica, se define como un documento marco que articule la política de evaluación. Hay que felicitar a la División de Evaluación y Gestión del Conocimiento de la SGCID por todo ello.

Algunas de mis reflexiones van en el mismo sentido de lo ya expuesto sobre el III Plan Director en mi artículo en REEDES: a pesar de la voluntad de la División de Evaluación, para que esta Política,  llamada documento marco, no se quede otra vez en la retórica de un documento, habrá que prestar atención a la validez interna y externa de la dicha política. Mis reflexiones no sólo se centran en el Ministerio de Asuntos Exteriores o en la Adminsitración General del Estado sino en todos los actores del sistema, puesto que creo que esto debería ser un ejercicio de corresponsabilidad:

A. A nivel  de validez interna habrá que asegurar (i) el compromiso y liderazgo político al máximo nivel, (ii) la claridad, articulación y plausibilidad de lo esperado (priorización y secuenciación de acciones, el despliegue de incentivos y capacidades adecaudas).

(1) Garantizar que el compromiso y liderazgo político con la función de evaluación al máximo nivel sea real. El compromiso político se pondrá a prueba con dos elementos básicos: (i) el grado de apoyo y respuesta a las directrices y recomendaciones de las unidades de evaluación del sistema, (ii) Los recursos puestos en juego a pesar de las restricciones presupuestarias. Ya deberíamos tener suficientes aprendizajes pasados de planificaciones retóricas que sólo al final esperan encontrar capacidades y recursos.

(2) Asegurar (i) la localización exacta de los desafíos a considerar y (ii) su priorización y su posterior selección y secuenciación en función de las capacidades reales del sistema y de los mecanismos de incentivos a desplegar.

(3) Desplegar los incentivos (son esenciales). Para acertar con los incentivos habrá que trabajar no sólo la oferta sino también la demanda evaluativa. ¿Por qué en el pasado los esfuerzos no funcionaron como se esperaba?. Este tema es demasiado extenso para tratarlo aquí, hablamos de mecanismos que permitan incentivos, correcciones, reorientaciones, adaptaciones… pero algunos de los elementos a considerar pasarían por la necesidad de aumentar la rendición de cuentas (que es a la vez un medio y un fin de la evaluación) para hacer realidad el aprendizaje desde la evaluación. La rendición de cuentas y el aprendizaje son dos caras de la misma moneda. Lamentablemente la estrategia del “buenismo evaluativo” (aprender es bueno luego todos deberíamos evaluar) no ha funcionado…Además el peligro de que solo evalúen los buenos, puede derivar en que solo evalúen los tontos (si son sancionados) y al final no evalúe nadie voluntariamente. Hay que equilibrar el aprendizaje con la (mutua) rendición de cuentas (entendida como ejercicio de responsabilidad) para poder mejorar y para legitimar el sistema de evaluación.

(4) No dejar para el final el tema de las capacidades (recursos humanos, financieros, organización…).  Un aprendizaje del pasado es que la ausencia de capacidades ha sido un letal desincentivo y una señal de debilidad del compromiso político real (punto primero de esta lista).

B. A nivel de validez externa, hará falta seguir de cerca a esta política (si queremos que se convierta en una “P”olítica) y habrá que rendir cuentas como sistema de evaluación.  Sin ese continuo seguimiento, adaptación y reorientación volveremos a asistir al espectáculo de una caja mágica que pierde el rumbo y legitimidad al perder el contacto con la realidad…Además los futuros desarrollos de este documento marco habrán de contextualizar y clarificar el propósito (prioridades) y qué mecanismos de cambio van a considerar.

Estuvo bien encontrar de nuevo a la comunidad evaluativa del sector de la cooperación (decisores, gestores, ejecutores, académicos de evaluación). A día de hoy tenemos grandes retos pero no creo que seamos peores que la de otros países (Reino Unido, Holanda, Noruega…), pero sí nos han faltado ciertos incentivos, liderazgo y compromiso contiuo…

Y me repito porque lo merece: “Hay que felicitar a la División de Evaluación y Gestión del Conocimiento de la SGCID por todo ello”