Evaluación y gestión adaptativa durante la respuesta al COVID 19


En estos tiempos inciertos durante la respuesta al COVID 19, retomamos el post “Enfoques adaptativos frente a los fallos en nuestros sistemas de evaluación“, donde se indicaba que las soluciones a algunos de los retos o fallos en nuestros sistemas de evaluación señalados en los dos posts anteriores… En qué estamos fallando (más) para el uso evaluativo: en la(s) evidencia(s)/resultados o en la(s) pregunta(s)/procesos ¿En qué estamos fallando (más): en la oferta o en la demanda evaluativa? (I) …vienen de nuestra capacidad de utilizar enfoques adaptativos .

Los enfoques adaptativos en la función de evaluación durante la respuesta al COVID se orientarían:

(1) hacia la cambiante utilización de los procesos/productos de la función de evaluación en tiempos de COVID 19: (i) asesorar sobre la mejor manera de medir y monitorear, (ii) proporcionar evidencia de alta calidad y (iii) hacer que la evidencia y las lecciones sean mucho más accesibles para los formuladores de políticas) y

(2) hacia una demanda evaluativa por reforzar (dado que está en gran medida saturada de carga de trabajo) y no tanto (o no solo)

(3) hacia la producción de evaluaciones.

Hemos tratado en numerosas ocasiones sobre enfoques adaptativos, pero recordemos en especial dos posts anteriores sobre enfoques adaptativos: Sigue leyendo

Enfoques adaptativos en el desarrollo de capacidades en evaluación


Siguiendo con nuestra serie sobre enfoques adaptativos, Kristie A. Thomas, publicó en el blog de la AEA el siguiente post: “Semana ToE TIG: aplicación de un marco de cambio adaptativo a la enseñanza de la evaluación” (18 de febrero de 2020)

Kristie explicaba cómo usar el cambio adaptativo para informar un enfoque de desarrollo de capacidades en evaluación, reflejado en los desafíos que a menudo encuentra cuando enseña la evaluación (por ejemplo, ansiedad, resistencia o enfado de los estudiantes con algunas partes del curso; creencia de que la evaluación es inútil o incluso perjudicial).

Abordar estos desafíos requiere un marco de cambio adaptativo. En otras palabras, si el curso  expone a los participantes los materiales didácticos, pero sin prestar atención a sus actitudes y normas sobre la evaluación, es poco probable que salgan con una comprensión sólida de los materiales o una apreciación de su importancia.

Se sugieren varias estrategias para combatir estas actitudes y normas: Sigue leyendo

Evaluando para la gestión adaptativa


En relación a los enfoques adaptativos, desde el sitio “BetterEvaluation” nos ofrecen los “Desafíos para usar la evaluación para la gestión adaptativa“:

Teorías de cambio pobremente conceptualizadas

• Falta de entorno adecuado para llevar a cabo procesos de cambio.

• Capacidad del equipo del programa para actividades de evaluación.

• Capacidad de los directivos para la gestión adaptativa, por ejemplo, (1) la capacidad de gestionar cuando hay niveles más altos de incertidumbre, (2) la capacidad de tomar (suficientemente buenas) decisiones con datos incompletos que pueden no cumplir con todos los estándares de calidad Sigue leyendo

Gestionar mejor: lo que tod@s podemos hacer para contribuir al éxito de la ayuda al desarrollo


Relacionado con nuestros posts pasados sobre la rendición de cuentas, interesante publicación “Gestionar mejor: lo que tod@s podemos hacer para contribuir al éxito de la ayuda” de Dan Honig (5 de febrero de 2020) en el que parte de la idea o afirmación de que “la gestión a través de controles sólo de arriba hacia abajo, se convierte en un objetivo en sí mismo, socavando el éxito de los proyectos”. Estos controles poco útiles a menudo surgen de la necesidad de tener en cuenta únicamente: (1) el rendimiento; (2) los ciclos políticos o las legislaturas o (3) las juntas ejecutivas, que inducen a las agencias a (a) ejercer controles estrictos de los procesos y (b) orientar los proyectos hacia lo que se puede medir y reportar.

El libro de Dan Honig 2018, “Navigation by Judgment“, presenta (1) datos empíricos cuantitativos de una base de datos de 14,000 proyectos y (2) evidencia cualitativa de ocho estudios de casos en apoyo de esta afirmación. Escribió el libro en parte porque supuso que sería útil mostrar a las agencias de ayuda al desarrollo y a los decisores, datos empíricos que demostraban el problema: que el primer paso para cambiar era el reconocimiento. Pero después de hablar sobre su libro con las agencias y decisores, estuvo seguro de que si bien su diagnóstico de 2018 fue correcto, su teoría del cambio fue totalmente errónea.

Las personas que trabajan en las agencias de desarrollo, desde el personal de campo hasta los gerentes senior, en general (1) ya comprenden la naturaleza del problema. (2) Han experimentado de primera mano la tensión entre la presentación de informes y el rendimiento, (3) se han enfrentado a las limitaciones que les impiden hacer lo que, en su opinión profesional, es más probable que logre los objetivos de su agencia (que comparten en gran medida). No necesitan datos empíricos para decirles lo que viven todos los días. Sorprendentemente, los decisores están de acuerdo también. Como decía un director ejecutivo del Banco Mundial: “Sé que cuando establezco objetivos, no obtengo lo que quiero. Pero es la única forma en que puedo mover el sistema, la única forma en que puedo dirigir; si renuncio a esa palanca, ¿qué tengo? ¿Por qué estoy aquí? ” Sigue leyendo

Enfoques adaptativos frente a los fallos en nuestros sistemas de evaluación


Las soluciones a algunos de los retos o fallos en nuestros sistemas de evaluación señalados en los dos posts anteriores…

En qué estamos fallando (más) para el uso evaluativo: en la(s) evidencia(s)/resultados o en la(s) pregunta(s)/procesos

¿En qué estamos fallando (más): en la oferta o en la demanda evaluativa? (I)

…vienen de nuestra capacidad de utilizar enfoques adaptativos que, en el fondo, son enfoques (a) hacia la (a veces incierta, heterogénea y cambiante) utilización y (b) hacia la (a veces volatil, oportunista y caprichosa) demanda y no tanto (o no solo) (c) hacia la producción de evaluaciones.

Hemos tratado en numerosas ocasiones sobre enfoques adaptativos, pero recordemos en especial dos posts anteriores sobre enfoques adaptativos:

A. En este posts definíamos “La gestión adaptativa es (1) un proceso estructurado e iterativo de toma de decisiones robusta frente a la incertidumbre, (2) con el objetivo de reducir la incertidumbre a través de la continua supervisión del sistema. Sigue leyendo

En qué estamos fallando (más) para el uso evaluativo: en la(s) evidencia(s)/resultados o en la(s) pregunta(s)/procesos


Fuente OBS busines.school

Puestos a soñar, porque cualquiera de los dos respuestas “podría” estar bien (las compraríamos ahora mismo), y si hay que mojarse (si sólo hubiese sitio para una respuesta en este bote), por qué apostaríamos para fomentar el uso evaluativo: (1) por una cultura de resultados (evidencia) y datos o (2) por una cultura del cuestionamiento (aprendizaje) y la colaboración.

Estos días me llegan varios artículos o mensajes sobre la importancia de una cultura de trabajo o decisión basada en “la evidencia y los datos”. Por ejemplo:

(1) Este artículo: “Cuatro recomendaciones para promover políticas públicas basadas en evidencia“, me quedo con lo de “basadas en la evidencia” (y paso a ponerle adjetivo a la palabra “evidencias”, ¿evidencias de qué? ¿sólo de resultados? ¿también evidencias de colaboración, de aprendizaje colectivo, de impacto colectivo o, por qué no, evidencias de  sentido común…), y también…

(2) Este twit sobre “construir una cultura de datos, evidencias y usoSigue leyendo

¿En qué estamos fallando (más): en la oferta o en la demanda evaluativa? (I)


De acuerdo, la respuesta irá por barrios y una respuesta facilona será “estamos fallando en ambas, oferta y demanda evaluativa”. Clarifiquemos: aquí entiendo “demanda evaluativa” (la demanda de evaluaciones) y “oferta evaluativa” (l@s evaluador@s disponibles para esas evaluaciones).

Pero como cuando todo es relevante o pertinente, corremos el peligro de la irrelevancia y, por ende, la impertinencia (porque no logramos priorizar), aquí voy a pediros por favor hay que “mojarse” (no es momento de nadar y guardar la ropa). Y el primero en mojarme seré yo, y lo hago desde mi visión (fruto de mi formación y experiencia):

Está claro que un sistema o “mercado” de evaluación necesita de un cierto ajuste de demanda y de oferta evaluativa. En mi opinión estos últimos años se está desarrollando una mejora sustancial de la oferta: (1) métodos sofisticados para evaluar procesos complejos, (2) métodos rigurosos para evaluar el impacto, (3) una multiplicidad de webinars/cursos/formaciones y (4) diversidad de métodos y estándares que hacen difícil una especialización total, sino más bien sectorial y fragmentada…) Sigue leyendo

Un sueño: Aprendizaje de evaluaciones y revisiones de la gestión basada en resultados


Muy interesante documento, de marzo de 2019, desde la OCDE: “Aprendizaje de evaluaciones y revisiones de la gestión basada en resultados” por Janet Vähämäki y Chantal Verger.

Algunas ideas/preguntas en torno a las que gira: ¿Qué hemos aprendido al implementar la gestión basada en resultados en las organizaciones de cooperación para el desarrollo? ¿Qué progreso y beneficios se pueden ver? ¿Cuáles son los principales desafíos y consecuencias no deseadas? ¿Existen buenas prácticas para abordar estos desafíos?

Para responder a estas preguntas, este documento revisa y analiza los resultados de varias evaluaciones y revisiones de los sistemas de gestión basados ​​en resultados realizados por miembros del Comité de Asistencia para el Desarrollo (CAD), la Secretaría de la Comunidad de Resultados de la OCDE / CAD y otros organismos en los últimos cuatro años. (2015-2018). También se basa en lecciones emergentes de nuevos métodos para gestionar los resultados de la cooperación al desarrollo. Sigue leyendo

Un enfoque basado en la evidencia


Un enfoque basado en la evidencia es el uso “sistematico, explícito y juicioso” de la mejor evidencia actual en las decisiones del programa.

Ayuda a los equipos a comprender qué enfoques tienen más probabilidades de funcionar y en qué contextos, lo cual es clave para una gestión eficiente de las inversiones en conservación. Un enfoque basado en la evidencia es un proceso que abarca la identificación, el uso y la generación de evidencia. Los enfoques basados ​​en la evidencia son un componente crítico de la gestión adaptativa y un elemento importante de la responsabilidad del programa. Los equipos que adoptan un enfoque basado en la evidencia utilizan la evidencia para apoyar su análisis del problema, su comprensión de la solución y el diseño de los enfoques estratégicos utilizados para implementar la solución. Sigue leyendo

La creatividad adaptativa: adaptador@s o innovador@s


En Creatividad adaptativa: el ajuste del individuo a su entorno Ana Maria Aguilera nos cuenta y desarrolla sobre la creatividad adaptativa o la creatividad entendida como un factor de adaptación al entorno. Es una visión inspirada en la Teoría de Charles Darwin (1859), desde la que se entiende que, dependiendo de la situación, la adaptación del individuo puede dificultar o dar soporte a la creatividad en la búsqueda continua del ajuste individuo-medio. Sigue leyendo