El pensamiento evaluativo en la práctica


Siguiendo con nuestra serie sobre «Pensamiento Evaluativo«, el post «Fomentar y practicar el pensamiento evaluativo» comparte algunos consejos para fomentar y practicar el pensamiento evaluativo dentro de nuestras organizaciones.

1. El contexto adecuado

Hay cinco principios clave para promover el pensamiento evaluativo (PE) en las organizaciones:

1. Seamos oportunistas. Aprovechemos las oportunidades para desarrollar la motivación intrínseca.

2. Empecemos poco a poco y vayamos despacio.

3. Brindemos oportunidades para aprender y practicar el pensamiento evaluativo.

4. Estemos preparad@s para combatir los prejuicios y la resistencia.

5. Practiquemos en múltiples contextos y junto a compañer@s.

2.Comenzar

El pensamiento evaluativo es un enfoque más que un conjunto de prácticas o estrategias distintas. Pero hay algunas estrategias tácticas que construyen el hábito y desarrollan las habilidades. Sigue leyendo →

¿Cuál es la diferencia entre evaluación y pensamiento evaluativo?


Siguiendo con el post inicial sobre Pensamiento Evaluativo, y como se indica en el post «Pensamiento evaluativo: el corazón de la evaluación (significativa y útil)«, el pensamiento evaluativo:

(1) Se aplica de manera más amplia y está profundamente arraigado que las actividades/los procesos de evaluación.

(2) Está integrado en toda la organización y en todas sus operaciones. No se limita a un programa, un propósito, un punto en el tiempo.

(3) Está motivado por la curiosidad natural y las ganas de aprender y mejorar.

La evaluación es el «qué» y el pensamiento evaluativo es el «por qué».

La evaluación requiere ciertas habilidades, recursos y capacidades. El pensamiento evaluativo también requiere ciertas actitudes, motivos y hábitos.

Es posible evaluar sin pensamiento evaluativo. Pero hacerlo a menudo es doloroso y sin sentido. Sigue leyendo →

Enfoques adaptativos en la función de evaluación


 

De cara a cumplir en la práctica su mandato en torno a la utilidad, credibilidad e independencia, los enfoques adaptativos en la función de evaluación se pueden orientar (a) hacia la mejora de la adaptabilidad a contextos cambiantes, (b) hacia la demanda y (c) hacia la oferta evaluativa:

(1) Hacia la cambiante utilización de los procesos/productos de la función de evaluación en contextos cambiantes:

(1.1) Previo a la fase de evaluación: Integración / (Inter) Relación / Involucramiento con los equipos de planificación:

(a) desarrollar capacidades (formación, trabajo en red, asesoría, planificación conjunta…) (a) integrando un enfoque de pensamiento evaluativo y (b) sobre la mejor manera de medir y hacer identificación, planificación y seguimiento (de cara a la mejora de la evaluabilidad de los procesos),

(b) apoyar y fortalecer la gestión del conocimiento de todas las fuentes de conocimiento posibles pero, en especial, la gestión del conocimiento de las evaluaciones (tanto propias como de otras organizaciones)

(1.2) Con posterioridad a la evaluación: a partir de las evaluaciones proporcionar evidencia de alta calidad y hacer que la evidencia y las lecciones sean mucho más accesibles para los formulador@s de políticas y a la gestión basada en resultados.

(2) Hacia una demanda evaluativa todavía por reforzar

Sigue leyendo →

Iniciativa de Evaluación Global (GEI): no sin «Impacto Colectivo»


Fuente

Continuando con el post «Comienzo de la Iniciativa de Evaluación Global (GEI)«, la GEI necesita de un enfoque de impacto colectivo, de otra forma será otra más de las iniciativas similares que existen, contribuyendo aún más a la dispersión y fragmentación de esfuerzos para el desarrollo de marcos y capacidades de seguimiento y evaluación (M&E) para promover el uso de evidencia en la toma de decisiones públicas, mejorar la rendición de cuentas y contribuir a lograr mejores resultados.

GEI es una asociación innovadora que reúne a una coalición amplia y diversa de gobiernos, organizaciones de desarrollo (inter) nacionales y locales y expertos en M&E para aunar recursos financieros y técnicos para coordinar y expandir los esfuerzos de M&E a nivel mundial.

El gran reto será hacer reales/efectivas palabras como «coalición», «coordinación» y «asociación innovadora», para que el GEI sea en la práctica diferente a otras tantas experiencias (de coalición, asociación, coordinación) que se quedaron en casi nada (bueno sí, consiguieron «aunar algunos recursos» pero poca sostenibilidad e impacto).

El concepto de impacto colectivo: (1) se articuló por primera vez en el artículo de Stanford Social Innovation Review en 2011, (2) se basa en la idea de que para que las organizaciones contribuyan a soluciones duraderas a los problemas sociales a gran escala, deben (a) coordinar sus esfuerzos y (b) trabajar juntos en torno a un objetivo claramente definido.

Recordemos que el «Impacto Colectivo» es el compromiso de un grupo de actores de diferentes sectores con una agenda común para resolver un problema social específico, utilizando una «forma estructurada de colaboración». He entrecomillado «colaboración» porque en mi experiencia, con cierto  «buenismo», se suelen dar por sentado que la colaboración es fácil, o que es gratis o que no necesita tiempo, ni compromiso(s), recursos o sacrificios («Buenismo», buenas palabras e intenciones, sobran, lo que falta en la práctica es ese «impacto colectivo«) Sigue leyendo →

Mejorando la evaluación y la gestión adaptativa


A partir de ODI tuvimos este post Pinceladas sobre programación adaptativa, y desde   BetterEvaluation éste otro Evaluando para la gestión adaptativa, que nos daban claves para mejorar y usar la evaluación para la gestión adaptativa:

  • Existe un considerable interés en el concepto de desarrollo adaptativo en diferentes sectores del desarrollo.
  • En la comunidad internacional no se suele usar la etiqueta “desarrollo adaptativo”, pero en muchos casos ya están realizando un trabajo en esa dirección. La “mejora de la calidad” es uno de esos enfoques probados.
  • La mejora de la calidad depende de los problemas, es iterativa y flexible. La metodología y los principios se pueden usar para identificar, probar e implementar cambios en cualquier contexto o parte de un sistema.
  • La mejora de la calidad se está utilizando con éxito, pero todavía hay una experiencia limitada y evidencias de cómo aplicar sus valores y filosofía más allá del nivel del proyecto e integrarlo dentro de las estructuras y sistemas nacionales.
  • El pensamiento de sistemas y el análisis del contexto de la economía política, pueden ayudar a integrar la mejora de la calidad en intervenciones complejas, y sostener sus logros.

Sigue leyendo →

Evaluación y «Capacidades & Gestión/Programación» adaptativas


Las soluciones a algunos de los retos o fallos en nuestros sistemas de evaluación vienen de nuestra capacidad de utilizar «enfoques y capacidades» adaptativas :

I. Enfoques adaptativos: gestión y programación adaptativa

A. Los enfoques adaptativos se orientan:

(1) hacia la cambiante utilización de los procesos/productos de la función de evaluación en contextos cambiantes:

(i) asesorar sobre la mejor manera de medir y monitorear,

(ii) proporcionar evidencia de alta calidad y

(iii) hacer que la evidencia y las lecciones sean mucho más accesibles para los formulador@s de políticas y

(2) hacia una demanda evaluativa todavía por reforzar

(3) hacia la producción de evaluaciones. Sigue leyendo →

Cuando la participación en la evaluación daña a l@s participantes


En los procesos participativos, incluyendo la evaluación participativa y/o la participación en la evaluación hemos de tener en cuenta: (1) Contexto, (2) Riesgo de tiranías, (3) Errores comunes, (4) Dinánmicas de poder, (5) Las implicaciones de la coproducción de conocimiento:

I. Contextos no participativos

Hay que ser conscientes de que hay contextos donde, sin unos requisitos previos, la participación no es una técnica efectiva, pertinente o viable.

Los procesos participativos:

(1) han sido utilizados en ocasiones como soluciones técnicas y de gestión para lo que básicamente eran problemas políticos.

(2) se han pretendido dar en contextos de desarrollo:

(a) donde la participación no es “realmente” participación,

(b) donde la cultura y la política de una organización impiden procesos realmente participativos al no ser posible que los implicados determinen qué, cómo o para qué se hacen las cosas. Sigue leyendo →

Comienzo de la Iniciativa de Evaluación Global (GEI)


Hoy da comienzo/se inaugura la Iniciativa de Evaluación Global (GEI) : una asociación global inclusiva para el desarrollo de marcos y capacidades de seguimiento y evaluación (M&E) (a) sostenibles y (b) apropiados por  los países para (i) promover el uso de evidencia en la toma de decisiones públicas, (ii) mejorar la rendición de cuentas y (iii) lograr mejores resultados.

Parte de la hipótesis de que una mejor evidencia contribuye a mejores políticas y, en última instancia, a mejorar la calidad de vida.

A nivel mundial, el 91 % de las estrategias nacionales de desarrollo de los países, aprobadas desde 2015, se refieren a la agenda 2030 y los Objetivos de Desarrollo Sostenible (ODS); sin embargo, de acuerdo con la Alianza Global para la Cooperación Efectiva para el Desarrollo, sólo el 35 % de ellos tienen datos y sistemas confiables para rastrear el progreso de sus políticas y programas.

En respuesta a esta brecha global en los sistemas y capacidades de M&E, GEI es una asociación que pretende (a) ser innovadora, (b) reunir a una amplia y diversa coalición de gobiernos, organizaciones de desarrollo (inter) nacionales y locales, y expertos en M&E para aunar recursos financieros y técnicos para coordinar y expandir los esfuerzos de M&E a nivel mundial.

«Ninguna institución tiene los recursos para abordar las brechas globales actuales en la capacidad de seguimiento y evaluación. Para abordar la escala de la necesidad se requerirán esfuerzos coordinados por amplias coaliciones y GEI es un paso en esa dirección, proporcionando una base sobre la que se puede construir. » – Alison Evans, vicepresidenta del Banco Mundial & Director General del Grupo de Evaluación Independiente Sigue leyendo →

El fracaso de la gestión del conocimiento durante la pandemia


 

En el post El fracaso de la gestión del conocimiento, nos basamos en el el artículo “Una síntesis de los factores de falla en la gestión del conocimiento” (Frost, 2014), que refería a los factores por los que han fracasado algunas iniciativas para la gestión del conocimiento.

Si retomamos aquel post y lo referimos a nuestra gestión del conocimiento en torno a la respuesta al COVID: pensemos en la gestión del conocimiento y el aprendizaje entre la primera y segunda ola del COVID-19, lo que fue y lo que pudo haber sido: Las causas o factores causales se refieren a las cuestiones organizativas y administrativas generales que se requerían/requieren para implementar la gestión del conocimiento con éxito (o no).

Causas del fracaso de la gestión del conocimiento durante la respuesta a la pandemia:

  1. Falta de indicadores de desempeño y beneficios medibles
  2. Insuficientes incentivos o apoyos desde el equipo de dirección / gestión senior
  3. Planificación, diseño, coordinación y evaluación inadecuados
  4. Capacidad inadecuada de los gestores del conocimiento y de los que trabajan ese conocimiento
  5. Problemas con la cultura organizacional
  6. Estructura organizativa inadecuada

Sigue leyendo →

La evaluación no está siendo una prioridad durante la pandemia: desafíos pasados


Retomamos el post Evaluando en tiempos de pandemia (basado en un post de abril de 2020, por Jos Vaessen & Estelle Raimondo del Banco Mundial): efectivamente estos últimos 8 meses desde la gestión y ejecución de evaluaciones hemos tenido desafíos (a) éticos, (b) conceptuales y (c) metodológicos que han afectado/están afectado a nuestra capacidad para usar las evaluaciones:

1.Desafíos éticos:

Desde un punto de vista ético, los planes de trabajo de evaluación inevitablemente han necesitado/están necesitando ajustes y plazos más largos/dilatados.

En primer lugar, donde la evaluación podría haber sido un componente clave para comprender si las intervenciones de salud pública y otras intervenciones prioritarias (por ejemplo, protección social y redes de seguridad social para ciudadan@s (vulnerables)) han funcionando y cómo funcionan, l@s evaluador@s deberían haber sido integrad@s (aunque, por desgracia, no lo han sido en demasiados casos):  (1) no solo para poder recopilar los mejores datos posibles y realizar las mejores evaluaciones posibles para informar a los responsables de la toma de decisiones durante la crisis, (2) sino también para corroborar debates críticos que tienen y tendrán lugar una vez que la crisis esté terminando.

En segundo lugar, la evaluación ha tratado/está tratado de no ejercer presión innecesaria sobre instituciones y sistemas públicos demasiado sobrecargados, el enfoque ha sido reducir (y priorizar) las interacciones directas con colegas operativos que trabajan en sectores relacionados con la crisis, mientras se han intensificado los esfuerzos para llevar a cabo el trabajo evaluativo de manera diferente dadas las limitaciones. Sin embargo en la práctica, ¿ha sido o está siendo relevante la evaluación para las estrategias y operaciones desplegadas frente al C-19?

En tercer lugar, una consideración ética más sutil ha sido/está siendo cumplir las condiciones necesarias para que las evaluaciones sean útiles y se utilicen. ¿Podemos esperar que nuestra audiencia escuche? L@s evaluador@s han tratado/están tratando de ser proactiv@s y no depender de mecanismos institucionales, no tan bien preparadas ​​para regular la demanda, producción y uso de evaluaciones de cara al aprendizaje y mejora.

Resumiendo mi percepción (ojalá me equivoque): en general la evaluación ha sido de nuevo: (a) vencida por los procedimientos (burocracia) – que tanto aman las instituciones (porque es a lo poco a lo que rinden cuentas), procedimientos tan indiferentes o reñidos a menudo tanto con el «aprendizaje», como con los «resultados» («business as usual»)-, (b) vencida por el activismo ciego ligado a los procedimientos pero, sobre todo, (b) vencida por la falta de liderazgo y capacidad estratégica-: más allá «del deseo y del debería», la evaluación no está siendo, ni una prioridad, ni relevante, durante la respuesta al C-19 (pero no quiero ser dogmático, corregidme por favor si me equivoco).

Sigue leyendo →