Mejorando la evaluación y la gestión adaptativa


A partir de ODI tuvimos este post Pinceladas sobre programación adaptativa, y desde   BetterEvaluation éste otro Evaluando para la gestión adaptativa, que nos daban claves para mejorar y usar la evaluación para la gestión adaptativa:

  • Existe un considerable interés en el concepto de desarrollo adaptativo en diferentes sectores del desarrollo.
  • En la comunidad internacional no se suele usar la etiqueta “desarrollo adaptativo”, pero en muchos casos ya están realizando un trabajo en esa dirección. La “mejora de la calidad” es uno de esos enfoques probados.
  • La mejora de la calidad depende de los problemas, es iterativa y flexible. La metodología y los principios se pueden usar para identificar, probar e implementar cambios en cualquier contexto o parte de un sistema.
  • La mejora de la calidad se está utilizando con éxito, pero todavía hay una experiencia limitada y evidencias de cómo aplicar sus valores y filosofía más allá del nivel del proyecto e integrarlo dentro de las estructuras y sistemas nacionales.
  • El pensamiento de sistemas y el análisis del contexto de la economía política, pueden ayudar a integrar la mejora de la calidad en intervenciones complejas, y sostener sus logros.

Sigue leyendo

Evaluación y “Capacidades & Gestión/Programación” adaptativas


Las soluciones a algunos de los retos o fallos en nuestros sistemas de evaluación vienen de nuestra capacidad de utilizar “enfoques y capacidades” adaptativas :

I. Enfoques adaptativos: gestión y programación adaptativa

A. Los enfoques adaptativos se orientan:

(1) hacia la cambiante utilización de los procesos/productos de la función de evaluación en contextos cambiantes:

(i) asesorar sobre la mejor manera de medir y monitorear,

(ii) proporcionar evidencia de alta calidad y

(iii) hacer que la evidencia y las lecciones sean mucho más accesibles para los formulador@s de políticas y

(2) hacia una demanda evaluativa todavía por reforzar

(3) hacia la producción de evaluaciones. Sigue leyendo

Evaluación y gestión adaptativa durante la respuesta al COVID 19


En estos tiempos inciertos durante la respuesta al COVID 19, retomamos el post “Enfoques adaptativos frente a los fallos en nuestros sistemas de evaluación“, donde se indicaba que las soluciones a algunos de los retos o fallos en nuestros sistemas de evaluación señalados en los dos posts anteriores… En qué estamos fallando (más) para el uso evaluativo: en la(s) evidencia(s)/resultados o en la(s) pregunta(s)/procesos ¿En qué estamos fallando (más): en la oferta o en la demanda evaluativa? (I) …vienen de nuestra capacidad de utilizar enfoques adaptativos .

Los enfoques adaptativos en la función de evaluación durante la respuesta al COVID se orientarían:

(1) hacia la cambiante utilización de los procesos/productos de la función de evaluación en tiempos de COVID 19: (i) asesorar sobre la mejor manera de medir y monitorear, (ii) proporcionar evidencia de alta calidad y (iii) hacer que la evidencia y las lecciones sean mucho más accesibles para los formuladores de políticas) y

(2) hacia una demanda evaluativa por reforzar (dado que está en gran medida saturada de carga de trabajo) y no tanto (o no solo)

(3) hacia la producción de evaluaciones.

Hemos tratado en numerosas ocasiones sobre enfoques adaptativos, pero recordemos en especial dos posts anteriores sobre enfoques adaptativos: Sigue leyendo

Enfoques adaptativos en el desarrollo de capacidades en evaluación


Siguiendo con nuestra serie sobre enfoques adaptativos, Kristie A. Thomas, publicó en el blog de la AEA el siguiente post: “Semana ToE TIG: aplicación de un marco de cambio adaptativo a la enseñanza de la evaluación” (18 de febrero de 2020)

Kristie explicaba cómo usar el cambio adaptativo para informar un enfoque de desarrollo de capacidades en evaluación, reflejado en los desafíos que a menudo encuentra cuando enseña la evaluación (por ejemplo, ansiedad, resistencia o enfado de los estudiantes con algunas partes del curso; creencia de que la evaluación es inútil o incluso perjudicial).

Abordar estos desafíos requiere un marco de cambio adaptativo. En otras palabras, si el curso  expone a los participantes los materiales didácticos, pero sin prestar atención a sus actitudes y normas sobre la evaluación, es poco probable que salgan con una comprensión sólida de los materiales o una apreciación de su importancia.

Se sugieren varias estrategias para combatir estas actitudes y normas: Sigue leyendo

Evaluando para la gestión adaptativa


En relación a los enfoques adaptativos, desde el sitio “BetterEvaluation” nos ofrecen los “Desafíos para usar la evaluación para la gestión adaptativa“:

Teorías de cambio pobremente conceptualizadas

• Falta de entorno adecuado para llevar a cabo procesos de cambio.

• Capacidad del equipo del programa para actividades de evaluación.

• Capacidad de los directivos para la gestión adaptativa, por ejemplo, (1) la capacidad de gestionar cuando hay niveles más altos de incertidumbre, (2) la capacidad de tomar (suficientemente buenas) decisiones con datos incompletos que pueden no cumplir con todos los estándares de calidad Sigue leyendo

Gestionar mejor: lo que tod@s podemos hacer para contribuir al éxito de la ayuda al desarrollo


Relacionado con nuestros posts pasados sobre la rendición de cuentas, interesante publicación “Gestionar mejor: lo que tod@s podemos hacer para contribuir al éxito de la ayuda” de Dan Honig (5 de febrero de 2020) en el que parte de la idea o afirmación de que “la gestión a través de controles sólo de arriba hacia abajo, se convierte en un objetivo en sí mismo, socavando el éxito de los proyectos”. Estos controles poco útiles a menudo surgen de la necesidad de tener en cuenta únicamente: (1) el rendimiento; (2) los ciclos políticos o las legislaturas o (3) las juntas ejecutivas, que inducen a las agencias a (a) ejercer controles estrictos de los procesos y (b) orientar los proyectos hacia lo que se puede medir y reportar.

El libro de Dan Honig 2018, “Navigation by Judgment“, presenta (1) datos empíricos cuantitativos de una base de datos de 14,000 proyectos y (2) evidencia cualitativa de ocho estudios de casos en apoyo de esta afirmación. Escribió el libro en parte porque supuso que sería útil mostrar a las agencias de ayuda al desarrollo y a los decisores, datos empíricos que demostraban el problema: que el primer paso para cambiar era el reconocimiento. Pero después de hablar sobre su libro con las agencias y decisores, estuvo seguro de que si bien su diagnóstico de 2018 fue correcto, su teoría del cambio fue totalmente errónea.

Las personas que trabajan en las agencias de desarrollo, desde el personal de campo hasta los gerentes senior, en general (1) ya comprenden la naturaleza del problema. (2) Han experimentado de primera mano la tensión entre la presentación de informes y el rendimiento, (3) se han enfrentado a las limitaciones que les impiden hacer lo que, en su opinión profesional, es más probable que logre los objetivos de su agencia (que comparten en gran medida). No necesitan datos empíricos para decirles lo que viven todos los días. Sorprendentemente, los decisores están de acuerdo también. Como decía un director ejecutivo del Banco Mundial: “Sé que cuando establezco objetivos, no obtengo lo que quiero. Pero es la única forma en que puedo mover el sistema, la única forma en que puedo dirigir; si renuncio a esa palanca, ¿qué tengo? ¿Por qué estoy aquí? ” Sigue leyendo

Enfoques adaptativos frente a los fallos en nuestros sistemas de evaluación


Las soluciones a algunos de los retos o fallos en nuestros sistemas de evaluación señalados en los dos posts anteriores…

En qué estamos fallando (más) para el uso evaluativo: en la(s) evidencia(s)/resultados o en la(s) pregunta(s)/procesos

¿En qué estamos fallando (más): en la oferta o en la demanda evaluativa? (I)

…vienen de nuestra capacidad de utilizar enfoques adaptativos que, en el fondo, son enfoques (a) hacia la (a veces incierta, heterogénea y cambiante) utilización y (b) hacia la (a veces volatil, oportunista y caprichosa) demanda y no tanto (o no solo) (c) hacia la producción de evaluaciones.

Hemos tratado en numerosas ocasiones sobre enfoques adaptativos, pero recordemos en especial dos posts anteriores sobre enfoques adaptativos:

A. En este posts definíamos “La gestión adaptativa es (1) un proceso estructurado e iterativo de toma de decisiones robusta frente a la incertidumbre, (2) con el objetivo de reducir la incertidumbre a través de la continua supervisión del sistema. Sigue leyendo

En qué estamos fallando (más) para el uso evaluativo: en la(s) evidencia(s)/resultados o en la(s) pregunta(s)/procesos


Fuente OBS busines.school

Puestos a soñar, porque cualquiera de los dos respuestas “podría” estar bien (las compraríamos ahora mismo), y si hay que mojarse (si sólo hubiese sitio para una respuesta en este bote), por qué apostaríamos para fomentar el uso evaluativo: (1) por una cultura de resultados (evidencia) y datos o (2) por una cultura del cuestionamiento (aprendizaje) y la colaboración.

Estos días me llegan varios artículos o mensajes sobre la importancia de una cultura de trabajo o decisión basada en “la evidencia y los datos”. Por ejemplo:

(1) Este artículo: “Cuatro recomendaciones para promover políticas públicas basadas en evidencia“, me quedo con lo de “basadas en la evidencia” (y paso a ponerle adjetivo a la palabra “evidencias”, ¿evidencias de qué? ¿sólo de resultados? ¿también evidencias de colaboración, de aprendizaje colectivo, de impacto colectivo o, por qué no, evidencias de  sentido común…), y también…

(2) Este twit sobre “construir una cultura de datos, evidencias y usoSigue leyendo

¿En qué estamos fallando (más): en la oferta o en la demanda evaluativa? (I)


De acuerdo, la respuesta irá por barrios y una respuesta facilona será “estamos fallando en ambas, oferta y demanda evaluativa”. Clarifiquemos: aquí entiendo “demanda evaluativa” (la demanda de evaluaciones) y “oferta evaluativa” (l@s evaluador@s disponibles para esas evaluaciones).

Pero como cuando todo es relevante o pertinente, corremos el peligro de la irrelevancia y, por ende, la impertinencia (porque no logramos priorizar), aquí voy a pediros por favor hay que “mojarse” (no es momento de nadar y guardar la ropa). Y el primero en mojarme seré yo, y lo hago desde mi visión (fruto de mi formación y experiencia):

Está claro que un sistema o “mercado” de evaluación necesita de un cierto ajuste de demanda y de oferta evaluativa. En mi opinión estos últimos años se está desarrollando una mejora sustancial de la oferta: (1) métodos sofisticados para evaluar procesos complejos, (2) métodos rigurosos para evaluar el impacto, (3) una multiplicidad de webinars/cursos/formaciones y (4) diversidad de métodos y estándares que hacen difícil una especialización total, sino más bien sectorial y fragmentada…) Sigue leyendo

Un sueño: Aprendizaje de evaluaciones y revisiones de la gestión basada en resultados


Muy interesante documento, de marzo de 2019, desde la OCDE: “Aprendizaje de evaluaciones y revisiones de la gestión basada en resultados” por Janet Vähämäki y Chantal Verger.

Algunas ideas/preguntas en torno a las que gira: ¿Qué hemos aprendido al implementar la gestión basada en resultados en las organizaciones de cooperación para el desarrollo? ¿Qué progreso y beneficios se pueden ver? ¿Cuáles son los principales desafíos y consecuencias no deseadas? ¿Existen buenas prácticas para abordar estos desafíos?

Para responder a estas preguntas, este documento revisa y analiza los resultados de varias evaluaciones y revisiones de los sistemas de gestión basados ​​en resultados realizados por miembros del Comité de Asistencia para el Desarrollo (CAD), la Secretaría de la Comunidad de Resultados de la OCDE / CAD y otros organismos en los últimos cuatro años. (2015-2018). También se basa en lecciones emergentes de nuevos métodos para gestionar los resultados de la cooperación al desarrollo. Sigue leyendo