Enfoques adaptativos en la función de evaluación


 

De cara a cumplir en la práctica su mandato en torno a la utilidad, credibilidad e independencia, los enfoques adaptativos en la función de evaluación se pueden orientar (a) hacia la mejora de la adaptabilidad a contextos cambiantes, (b) hacia la demanda y (c) hacia la oferta evaluativa:

(1) Hacia la cambiante utilización de los procesos/productos de la función de evaluación en contextos cambiantes:

(1.1) Previo a la fase de evaluación: Integración / (Inter) Relación / Involucramiento con los equipos de planificación:

(a) desarrollar capacidades (formación, trabajo en red, asesoría, planificación conjunta…) (a) integrando un enfoque de pensamiento evaluativo y (b) sobre la mejor manera de medir y hacer identificación, planificación y seguimiento (de cara a la mejora de la evaluabilidad de los procesos),

(b) apoyar y fortalecer la gestión del conocimiento de todas las fuentes de conocimiento posibles pero, en especial, la gestión del conocimiento de las evaluaciones (tanto propias como de otras organizaciones)

(1.2) Con posterioridad a la evaluación: a partir de las evaluaciones proporcionar evidencia de alta calidad y hacer que la evidencia y las lecciones sean mucho más accesibles para los formulador@s de políticas y a la gestión basada en resultados.

(2) Hacia una demanda evaluativa todavía por reforzar

Sigue leyendo

Iniciativa de Evaluación Global (GEI): no sin “Impacto Colectivo”


 

Continuando con el post “Comienzo de la Iniciativa de Evaluación Global (GEI), la GEI necesita de un enfoque de impacto colectivo, de otra forma será otra más de las iniciativas similares que existen, contribuyendo aún más a la dispersión y fragmentación de esfuerzos para el desarrollo de marcos y capacidades de seguimiento y evaluación (M&E) para promover el uso de evidencia en la toma de decisiones públicas, mejorar la rendición de cuentas y contribuir a lograr mejores resultados.

GEI es una asociación innovadora que reúne a una coalición amplia y diversa de gobiernos, organizaciones de desarrollo (inter) nacionales y locales y expertos en M&E para aunar recursos financieros y técnicos para coordinar y expandir los esfuerzos de M&E a nivel mundial.

El gran reto será hacer reales/efectivas palabras como “coalición”, “coordinación” y “asociación innovadora”, para que el GEI sea en la práctica diferente a otras tantas experiencias (de coalición, asociación, coordinación) que se quedaron en casi nada (bueno sí, consiguieron “aunar algunos recursos” pero poca sostenibilidad e impacto).

El concepto de impacto colectivo: (1) se articuló por primera vez en el artículo de Stanford Social Innovation Review en 2011, (2) se basa en la idea de que para que las organizaciones contribuyan a soluciones duraderas a los problemas sociales a gran escala, deben (a) coordinar sus esfuerzos y (b) trabajar juntos en torno a un objetivo claramente definido.

Recordemos que el “Impacto Colectivo” es el compromiso de un grupo de actores de diferentes sectores con una agenda común para resolver un problema social específico, utilizando una “forma estructurada de colaboración”. He entrecomillado “colaboración” porque en mi experiencia, con cierto  “buenismo”, se suelen dar por sentado que la colaboración es fácil, o que es gratis o que no necesita tiempo, ni compromiso(s), recursos o sacrificios (“Buenismo”, buenas palabras e intenciones, sobran, lo que falta en la práctica es ese “impacto colectivo“) Sigue leyendo

Mejorando la evaluación y la gestión adaptativa


A partir de ODI tuvimos este post Pinceladas sobre programación adaptativa, y desde   BetterEvaluation éste otro Evaluando para la gestión adaptativa, que nos daban claves para mejorar y usar la evaluación para la gestión adaptativa:

  • Existe un considerable interés en el concepto de desarrollo adaptativo en diferentes sectores del desarrollo.
  • En la comunidad internacional no se suele usar la etiqueta “desarrollo adaptativo”, pero en muchos casos ya están realizando un trabajo en esa dirección. La “mejora de la calidad” es uno de esos enfoques probados.
  • La mejora de la calidad depende de los problemas, es iterativa y flexible. La metodología y los principios se pueden usar para identificar, probar e implementar cambios en cualquier contexto o parte de un sistema.
  • La mejora de la calidad se está utilizando con éxito, pero todavía hay una experiencia limitada y evidencias de cómo aplicar sus valores y filosofía más allá del nivel del proyecto e integrarlo dentro de las estructuras y sistemas nacionales.
  • El pensamiento de sistemas y el análisis del contexto de la economía política, pueden ayudar a integrar la mejora de la calidad en intervenciones complejas, y sostener sus logros.

Sigue leyendo

Evaluación y “Capacidades & Gestión/Programación” adaptativas


Las soluciones a algunos de los retos o fallos en nuestros sistemas de evaluación vienen de nuestra capacidad de utilizar “enfoques y capacidades” adaptativas :

I. Enfoques adaptativos: gestión y programación adaptativa

A. Los enfoques adaptativos se orientan:

(1) hacia la cambiante utilización de los procesos/productos de la función de evaluación en contextos cambiantes:

(i) asesorar sobre la mejor manera de medir y monitorear,

(ii) proporcionar evidencia de alta calidad y

(iii) hacer que la evidencia y las lecciones sean mucho más accesibles para los formulador@s de políticas y

(2) hacia una demanda evaluativa todavía por reforzar

(3) hacia la producción de evaluaciones. Sigue leyendo

Cuando la participación en la evaluación daña a l@s participantes


En los procesos participativos, incluyendo la evaluación participativa y/o la participación en la evaluación hemos de tener en cuenta: (1) Contexto, (2) Riesgo de tiranías, (3) Errores comunes, (4) Dinánmicas de poder, (5) Las implicaciones de la coproducción de conocimiento:

I. Contextos no participativos

Hay que ser conscientes de que hay contextos donde, sin unos requisitos previos, la participación no es una técnica efectiva, pertinente o viable.

Los procesos participativos:

(1) han sido utilizados en ocasiones como soluciones técnicas y de gestión para lo que básicamente eran problemas políticos.

(2) se han pretendido dar en contextos de desarrollo:

(a) donde la participación no es “realmente” participación,

(b) donde la cultura y la política de una organización impiden procesos realmente participativos al no ser posible que los implicados determinen qué, cómo o para qué se hacen las cosas. Sigue leyendo

Comienzo de la Iniciativa de Evaluación Global (GEI)


Hoy da comienzo/se inaugura la Iniciativa de Evaluación Global (GEI) : una asociación global inclusiva para el desarrollo de marcos y capacidades de seguimiento y evaluación (M&E) (a) sostenibles y (b) apropiados por  los países para (i) promover el uso de evidencia en la toma de decisiones públicas, (ii) mejorar la rendición de cuentas y (iii) lograr mejores resultados.

Parte de la hipótesis de que una mejor evidencia contribuye a mejores políticas y, en última instancia, a mejorar la calidad de vida.

A nivel mundial, el 91 % de las estrategias nacionales de desarrollo de los países, aprobadas desde 2015, se refieren a la agenda 2030 y los Objetivos de Desarrollo Sostenible (ODS); sin embargo, de acuerdo con la Alianza Global para la Cooperación Efectiva para el Desarrollo, sólo el 35 % de ellos tienen datos y sistemas confiables para rastrear el progreso de sus políticas y programas.

En respuesta a esta brecha global en los sistemas y capacidades de M&E, GEI es una asociación que pretende (a) ser innovadora, (b) reunir a una amplia y diversa coalición de gobiernos, organizaciones de desarrollo (inter) nacionales y locales, y expertos en M&E para aunar recursos financieros y técnicos para coordinar y expandir los esfuerzos de M&E a nivel mundial.

“Ninguna institución tiene los recursos para abordar las brechas globales actuales en la capacidad de seguimiento y evaluación. Para abordar la escala de la necesidad se requerirán esfuerzos coordinados por amplias coaliciones y GEI es un paso en esa dirección, proporcionando una base sobre la que se puede construir. ” – Alison Evans, vicepresidenta del Banco Mundial & Director General del Grupo de Evaluación Independiente Sigue leyendo

El fracaso de la gestión del conocimiento durante la pandemia


 

En el post El fracaso de la gestión del conocimiento, nos basamos en el el artículo “Una síntesis de los factores de falla en la gestión del conocimiento” (Frost, 2014), que refería a los factores por los que han fracasado algunas iniciativas para la gestión del conocimiento.

Si retomamos aquel post y lo referimos a nuestra gestión del conocimiento en torno a la respuesta al COVID: pensemos en la gestión del conocimiento y el aprendizaje entre la primera y segunda ola del COVID-19, lo que fue y lo que pudo haber sido: Las causas o factores causales se refieren a las cuestiones organizativas y administrativas generales que se requerían/requieren para implementar la gestión del conocimiento con éxito (o no).

Causas del fracaso de la gestión del conocimiento durante la respuesta a la pandemia:

  1. Falta de indicadores de desempeño y beneficios medibles
  2. Insuficientes incentivos o apoyos desde el equipo de dirección / gestión senior
  3. Planificación, diseño, coordinación y evaluación inadecuados
  4. Capacidad inadecuada de los gestores del conocimiento y de los que trabajan ese conocimiento
  5. Problemas con la cultura organizacional
  6. Estructura organizativa inadecuada

Sigue leyendo

La evaluación no está siendo una prioridad durante la pandemia: desafíos pasados


Retomamos el post Evaluando en tiempos de pandemia (basado en un post de abril de 2020, por Jos Vaessen & Estelle Raimondo del Banco Mundial): efectivamente estos últimos 8 meses desde la gestión y ejecución de evaluaciones hemos tenido desafíos (a) éticos, (b) conceptuales y (c) metodológicos que han afectado/están afectado a nuestra capacidad para usar las evaluaciones:

1.Desafíos éticos:

Desde un punto de vista ético, los planes de trabajo de evaluación inevitablemente han necesitado/están necesitando ajustes y plazos más largos/dilatados.

En primer lugar, donde la evaluación podría haber sido un componente clave para comprender si las intervenciones de salud pública y otras intervenciones prioritarias (por ejemplo, protección social y redes de seguridad social para ciudadan@s (vulnerables)) han funcionando y cómo funcionan, l@s evaluador@s deberían haber sido integrad@s (aunque, por desgracia, no lo han sido en demasiados casos):  (1) no solo para poder recopilar los mejores datos posibles y realizar las mejores evaluaciones posibles para informar a los responsables de la toma de decisiones durante la crisis, (2) sino también para corroborar debates críticos que tienen y tendrán lugar una vez que la crisis esté terminando.

En segundo lugar, la evaluación ha tratado/está tratado de no ejercer presión innecesaria sobre instituciones y sistemas públicos demasiado sobrecargados, el enfoque ha sido reducir (y priorizar) las interacciones directas con colegas operativos que trabajan en sectores relacionados con la crisis, mientras se han intensificado los esfuerzos para llevar a cabo el trabajo evaluativo de manera diferente dadas las limitaciones. Sin embargo en la práctica, ¿ha sido o está siendo relevante la evaluación para las estrategias y operaciones desplegadas frente al C-19?

En tercer lugar, una consideración ética más sutil ha sido/está siendo cumplir las condiciones necesarias para que las evaluaciones sean útiles y se utilicen. ¿Podemos esperar que nuestra audiencia escuche? L@s evaluador@s han tratado/están tratando de ser proactiv@s y no depender de mecanismos institucionales, no tan bien preparadas ​​para regular la demanda, producción y uso de evaluaciones de cara al aprendizaje y mejora.

Resumiendo mi percepción (ojalá me equivoque): en general la evaluación ha sido de nuevo: (a) vencida por los procedimientos (burocracia) – que tanto aman las instituciones (porque es a lo poco a lo que rinden cuentas), procedimientos tan indiferentes o reñidos a menudo tanto con el “aprendizaje”, como con los “resultados” (“business as usual”)-, (b) vencida por el activismo ciego ligado a los procedimientos pero, sobre todo, (b) vencida por la falta de liderazgo y capacidad estratégica-: más allá “del deseo y del debería”, la evaluación no está siendo, ni una prioridad, ni relevante, durante la respuesta al C-19 (pero no quiero ser dogmático, corregidme por favor si me equivoco).

Sigue leyendo

¿Cuándo dejaremos de llorar porque en España no hay evaluación?


Un interesante artículo sobre el estado de la evaluación en España: ¿Quién mide el impacto de las políticas públicas? El otro gran déficit de España: evaluar la gestión de Isabel M. Ruiz

Algunas reacciones y apuntes al artículo:

1.Aparece claro ese mantra que en la comunidad evaluadora repetimos y repetimos como plañider@s, pero sin aparente avance: “España sufre una falta de cultura evaluadora …y sigue siendo una asignatura pendiente.”

2.Pero este mantra o frase parece que es contradictoria con la siguiente frase: “La exigencia ahora es máxima; ni la sociedad ni los organismos comunitarios van a darse por satisfechos con el mero hecho de “hacer cosas” de cualquier forma y con cualquier resultado.”

La falta de cultura evaluadora tiene su origen no en la falta de voluntad política, sino en la falta de capacidad de la sociedad para pedir rendición de cuentas (eso hace que los políticos no tengan incentivos otros que no sea hacer su voluntad partidista, sectaria o personal, en su “juego de tronos” habitual)

3.La evaluación y la cultura de evaluación son de difícil aplicación si no existe un marco de rendición de cuentas que lo faciliten: recordemos la necesidad de “responsabilidad, exigibilidad y evaluabilidad” en el post La evaluación busca responsabilidad

Así, bajo esos marcos de rendición de cuentas se dan/posibilitan las evaluaciones de la Comisión Europea (Fondos Europeos) y, en general, de los fondos de la Cooperación al Desarrollo (AECID/DGPOLDES, NNUU, Bancos…): otra cosa es que realmente sean útiles y sirvan para aprender/mejorar (la utilidad es otra historia a contar en otro momento) Sigue leyendo

La evaluación busca responsabilidad


Retomando nuestro post anterior ¿Busca la evaluación culpables?, en el que indicamos que la evaluación busca reforzar la responsabilidad (rendición de cuentas) y no tanto busca culpables: en un sentido amplio ya hemos hablado de lo que se entiende por rendición de cuentas : al “conjunto de derechos y responsabilidades existentes entre los ciudadanos y las instituciones que afectan a su vida”.

La rendición de cuentas incluye tres dimensiones:

(1) Obligatoriedad: derecho a obtener una respuesta por parte de la ciudadanía y la obligación de darla por parte de las instituciones.

(2) Exigibilidad: capacidad para asegurar que una acción se lleva a cabo y sancionar si ello no ocurre.

(3) Evaluabilidad: valoración positiva o negativa de las instituciones (Newell y Bellour, 2002 y Blagescu, de Las Casas y Lloyd, 2005 en Toledano et al, 2008: 18). Sigue leyendo