Revisando las implicaciones de la pandemia para l@s evaluador@s


Reviso el post de hace ahora casi dos años de MQPatton del 23 de Marzo de 2020, Implicaciones en la evaluación de la actual pandemia,  MQPAtton nos da su visión sobre la pandemia y las implicaciones que puede tener para la evaluación. Esta era su opinión sobre dónde estabamos y hacia dónde deberíamos ir como evaluador@s:

  1. Adaptemos ahora los planes y diseños de evaluación.
  2. Seamos proactivos: esto no va a pasar rápidamente.
  3. Centrémonos en el uso, no en nosotr@s.
  4. Reglas de datos en tiempo real.
  5. Consideremos el estándar de rigor «suficientemente bueno». Separarse del rigor como un estándar metodológico absoluto.
  6. Todo cambia en una crisis. Abraza el cambio, no te resistas.
  7. Participa en el pensamiento sistémico.
  8. Piensa globalmente, actúa localmente.
  9. Prepárate para defender el valor de la evaluación.
  10. Tengamos conocimiento, seamos un verificadores de hechos.
  11. Modela el pensamiento evaluativo sistemático.
  12. Aboga por mejores datos.
  13. Destaquemos la necesidad de una transformación hacia la sostenibilidad global a más largo plazo.
  14. Sigue aprendiendo.
  15. Apoyarse mutuamente como comunidad de evaluación.

Sigue leyendo

Impacto de COVID-19 en las evaluaciones de acción humanitaria


Cuando se cumple un año ya del comienzo, y siguiendo con nuestra serie sobre «evaluación y COVID» o «COVID19» interesante este borrador sobre «Prácticas en evolución en la evaluación de la acción humanitaria: desafíos pasados, presentes y futuros» de Scott Chaplowe, Ann Marie Castleman y Minji Cho

COVID-19 ha exacerbado las necesidades humanitarias en todo el mundo. A medida que las agencias humanitarias adaptan su programación para satisfacer estas necesidades emergentes, los enfoques de evaluación también deben adaptarse y evolucionar. , Ha habido una serie de publicaciones, orientaciones, declaraciones y protocolos relacionados con la evaluación en respuesta al COVID-19 (por ejemplo, ALNAP, 2020; Evaluation in Crisis, 2020; Patton, 2020; PNUD, 2020; UNFPA, 2020). A continuación se resumen algunas de las consideraciones clave para la Evaluación de la Acción Humanitaria (EAH) relacionadas con COVID-19 identificadas por organizaciones humanitarias:

1 No hacer daño. La crisis ha subrayado este principio en términos de los riesgos de salud y seguridad de la interacción cara a cara durante la recopilación de datos y de sobrecargar a las partes interesadas cuyos recursos y capacidades ya pueden verse afectados por la pandemia de COVID-19.

2 Análisis de evaluabilidad. Existe una mayor necesidad de análisis de contexto / riesgo para evaluar en qué medida se puede evaluar una intervención de manera confiable y creíble durante la crisis del COVID-19 (IED-OIOS, 2020; IEO / PNUD y OECD / DAC, 2020; PNUD, 2020; PMA, 2020; UNICEF, 2020)

3 Aplazamiento de la evaluación. El aplazamiento es una opción viable si los resultados de la evaluación seguirán siendo útiles para la toma de decisiones en un momento posterior, aunque se debe tener cuidado de evitar una acumulación de evaluaciones que resultará imposible de realizar (PNUD, 2020; PMA, 2020). . Sigue leyendo

El fracaso de la gestión del conocimiento durante la pandemia


 

En el post El fracaso de la gestión del conocimiento, nos basamos en el el artículo “Una síntesis de los factores de falla en la gestión del conocimiento” (Frost, 2014), que refería a los factores por los que han fracasado algunas iniciativas para la gestión del conocimiento.

Si retomamos aquel post y lo referimos a nuestra gestión del conocimiento en torno a la respuesta al COVID: pensemos en la gestión del conocimiento y el aprendizaje entre la primera y segunda ola del COVID-19, lo que fue y lo que pudo haber sido: Las causas o factores causales se refieren a las cuestiones organizativas y administrativas generales que se requerían/requieren para implementar la gestión del conocimiento con éxito (o no).

Causas del fracaso de la gestión del conocimiento durante la respuesta a la pandemia:

  1. Falta de indicadores de desempeño y beneficios medibles
  2. Insuficientes incentivos o apoyos desde el equipo de dirección / gestión senior
  3. Planificación, diseño, coordinación y evaluación inadecuados
  4. Capacidad inadecuada de los gestores del conocimiento y de los que trabajan ese conocimiento
  5. Problemas con la cultura organizacional
  6. Estructura organizativa inadecuada

Sigue leyendo

La evaluación no está siendo una prioridad durante la pandemia: desafíos pasados


Retomamos el post Evaluando en tiempos de pandemia (basado en un post de abril de 2020, por Jos Vaessen & Estelle Raimondo del Banco Mundial): efectivamente estos últimos 8 meses desde la gestión y ejecución de evaluaciones hemos tenido desafíos (a) éticos, (b) conceptuales y (c) metodológicos que han afectado/están afectado a nuestra capacidad para usar las evaluaciones:

1.Desafíos éticos:

Desde un punto de vista ético, los planes de trabajo de evaluación inevitablemente han necesitado/están necesitando ajustes y plazos más largos/dilatados.

En primer lugar, donde la evaluación podría haber sido un componente clave para comprender si las intervenciones de salud pública y otras intervenciones prioritarias (por ejemplo, protección social y redes de seguridad social para ciudadan@s (vulnerables)) han funcionando y cómo funcionan, l@s evaluador@s deberían haber sido integrad@s (aunque, por desgracia, no lo han sido en demasiados casos):  (1) no solo para poder recopilar los mejores datos posibles y realizar las mejores evaluaciones posibles para informar a los responsables de la toma de decisiones durante la crisis, (2) sino también para corroborar debates críticos que tienen y tendrán lugar una vez que la crisis esté terminando.

En segundo lugar, la evaluación ha tratado/está tratado de no ejercer presión innecesaria sobre instituciones y sistemas públicos demasiado sobrecargados, el enfoque ha sido reducir (y priorizar) las interacciones directas con colegas operativos que trabajan en sectores relacionados con la crisis, mientras se han intensificado los esfuerzos para llevar a cabo el trabajo evaluativo de manera diferente dadas las limitaciones. Sin embargo en la práctica, ¿ha sido o está siendo relevante la evaluación para las estrategias y operaciones desplegadas frente al C-19?

En tercer lugar, una consideración ética más sutil ha sido/está siendo cumplir las condiciones necesarias para que las evaluaciones sean útiles y se utilicen. ¿Podemos esperar que nuestra audiencia escuche? L@s evaluador@s han tratado/están tratando de ser proactiv@s y no depender de mecanismos institucionales, no tan bien preparadas ​​para regular la demanda, producción y uso de evaluaciones de cara al aprendizaje y mejora.

Resumiendo mi percepción (ojalá me equivoque): en general la evaluación ha sido de nuevo: (a) vencida por los procedimientos (burocracia) – que tanto aman las instituciones (porque es a lo poco a lo que rinden cuentas), procedimientos tan indiferentes o reñidos a menudo tanto con el «aprendizaje», como con los «resultados» («business as usual»)-, (b) vencida por el activismo ciego ligado a los procedimientos pero, sobre todo, (b) vencida por la falta de liderazgo y capacidad estratégica-: más allá «del deseo y del debería», la evaluación no está siendo, ni una prioridad, ni relevante, durante la respuesta al C-19 (pero no quiero ser dogmático, corregidme por favor si me equivoco).

Sigue leyendo

La fuerza: Admitir nuestro fracaso en la respuesta al COVID


Es difícil para las instituciones públicas y organizaciones de desarrollo reconocer que no cumplimos con nuestras metas y objetivos; es tan difícil confrontarse a cómo la opinión pública o los financiadores reaccionarán ante tal fracaso (aunque no nos preguntamos tanto acerca de la opinión de l@s beneficiari@s de nuestras acciones). La paradoja es que hacemos todo lo posible para evitar hablar de las situaciones de fracaso, aunque (en teoría) todos sabemos que el fracaso es el mejor maestro y tenemos que estar abiertos y hablar sobre nuestros fracasos para poder aprender. Más que eso, reconocer abiertamente el fracaso es a menudo un catalizador para la innovación que hace que nuestro trabajo sea bueno o excelente.

Para abordar este enigma, necesitamos un cambio de paradigma en la forma en que la sociedad civil ve el fracaso. Esto podría comenzar con un diálogo abierto y honesto sobre lo que funciona y lo que no es así. De la mism forma que ya contamos que se propone en el sitio “Admitting Failure” para respaldar y alentar a las organizaciones a (no sorprendentemente) admitir el fracaso. Sigue leyendo

Más problemas estructurales de los gobiernos para aprender en tiempos de COVID


 

Siguiendo con COVID y barreras gubernamentales para el aprendizaje, profundizamos un poco más sobre estas barreras y cómo los gobiernos desperdician grandes sumas de dinero y crean planes masivos que pocas veces funcionan, siendo la mayoría de las veces las causas relativas a problemas estructurales y sistémicos:

• Las personas que hacen la política están desconectadas culturalmente de las personas que se verán afectadas.

• El fenómeno generalizado del pensamiento grupal o “burbujas de información” significa que l@s responsables políticos que toman decisiones habitan en una burbuja y reciben información y conocimiento solo de algunas fuentes afines.

 “Prejuicio intelectual”: los supuestos no cuestionados de que algunas soluciones son mejores que otras

 “Desconexión operativa”, donde las personas que toman decisiones sobre políticas se desconectan de las personas que tienen que ponerlas en funcionamiento.

• La presión a corto plazo de los medios para que se “vea que está haciendo algo” Sigue leyendo

Retos para el liderazgo en tiempos de Covid-19


Siguiendo con nuestra serie sobre impacto colectivo, en el que el liderazgo es fundamental para ese tipo de colaboración, retomamos el muy interesante informe, Liderazgo en tiempos de Covid-19 sobre “Cualidades, habilidades y prácticas esenciales” por Doug Reeler y Desiree Paulsen: Cuando enfrentamos una crisis compleja, impredecible e invisible, como el Covid-19, entonces se requiere un liderazgo de una calidad completamente diferente: los líderes deben ser más artistas que científicos, más facilitadores que presidentes, activando el autocontrol en las personas que lideramos:

1.Teniendo en cuenta el contexto global: El desafío es tomarse un tiempo regularmente para agudizar nuestras perspectivas y aclarar las opciones que tenemos para la toma de decisiones

2.¿Liderazgo de control o facilitador? Invitar al equipo/personal a dar su opinión, compartir y discutir sus perspectivas puede permitir que se tomen mejores decisiones, a menudo ahorrando más tiempo después más adelante. Sigue leyendo

La evaluación busca responsabilidad


Retomando nuestro post anterior ¿Busca la evaluación culpables?, en el que indicamos que la evaluación busca reforzar la responsabilidad (rendición de cuentas) y no tanto busca culpables: en un sentido amplio ya hemos hablado de lo que se entiende por rendición de cuentas : al “conjunto de derechos y responsabilidades existentes entre los ciudadanos y las instituciones que afectan a su vida”.

La rendición de cuentas incluye tres dimensiones:

(1) Obligatoriedad: derecho a obtener una respuesta por parte de la ciudadanía y la obligación de darla por parte de las instituciones.

(2) Exigibilidad: capacidad para asegurar que una acción se lleva a cabo y sancionar si ello no ocurre.

(3) Evaluabilidad: valoración positiva o negativa de las instituciones (Newell y Bellour, 2002 y Blagescu, de Las Casas y Lloyd, 2005 en Toledano et al, 2008: 18). Sigue leyendo

COVID y barreras gubernamentales para el aprendizaje


Retomamos el post Barreras culturales para el Aprendizaje Gubernamental, basado en ¿Por qué nuestros gobiernos no aprenden?,  porque es muy relevante ahora con la pandemia del COVID (y las olas y segundas olas y las que tengan que venir…). Observamos que los gobiernos (a diferentes niveles nacional, regional, local..) tienen aciertos y cometen errores , pero ¿por qué no aprenden de estos aciertos y  errores? ¿Por qué seguir repitiendo los mismos errores? Mirando esto en términos de Aprendizaje Organizacional, y comparando con las dimensiones de una Cultura de Aprendizaje, existen varias barreras culturales para el Aprendizaje Gubernamental:

 Corto plazo.  Todos los incentivos están a favor de ser decisivos y no deliberativos, de actuar y de ser vistos, y luego seguir adelante. 

 Una cultura  del “conocedor/a” en lugar de una cultura “aprendiz/a”. Existen vacíos masivos de habilidades y conocimientos en el gobierno y, sin embargo, no parece haber un deseo ardiente de llenar estos vacíos.

 Falta de honestidad y “decir la verdad al poder”.

 Una falta de desafío a “la verdad o el saber que se dan por buenos y aceptados”. Sin este desafío, el problema de el Pensamiento de Grupo nunca desaparece. ¿Dónde estaba la voluntad de preguntar” nos estamos perdiendo algo”? Sin desafío y discusion, los errores se perpetúan.

Evaluación y gestión adaptativa durante la respuesta al COVID 19


En estos tiempos inciertos durante la respuesta al COVID 19, retomamos el post «Enfoques adaptativos frente a los fallos en nuestros sistemas de evaluación«, donde se indicaba que las soluciones a algunos de los retos o fallos en nuestros sistemas de evaluación señalados en los dos posts anteriores… En qué estamos fallando (más) para el uso evaluativo: en la(s) evidencia(s)/resultados o en la(s) pregunta(s)/procesos ¿En qué estamos fallando (más): en la oferta o en la demanda evaluativa? (I) …vienen de nuestra capacidad de utilizar enfoques adaptativos .

Los enfoques adaptativos en la función de evaluación durante la respuesta al COVID se orientarían:

(1) hacia la cambiante utilización de los procesos/productos de la función de evaluación en tiempos de COVID 19: (i) asesorar sobre la mejor manera de medir y monitorear, (ii) proporcionar evidencia de alta calidad y (iii) hacer que la evidencia y las lecciones sean mucho más accesibles para los formuladores de políticas) y

(2) hacia una demanda evaluativa por reforzar (dado que está en gran medida saturada de carga de trabajo) y no tanto (o no solo)

(3) hacia la producción de evaluaciones.

Hemos tratado en numerosas ocasiones sobre enfoques adaptativos, pero recordemos en especial dos posts anteriores sobre enfoques adaptativos: Sigue leyendo