¿Cuándo dejaremos de llorar porque en España no hay evaluación?


Un interesante artículo sobre el estado de la evaluación en España: ¿Quién mide el impacto de las políticas públicas? El otro gran déficit de España: evaluar la gestión de Isabel M. Ruiz

Algunas reacciones y apuntes al artículo:

1.Aparece claro ese mantra que en la comunidad evaluadora repetimos y repetimos como plañider@s, pero sin aparente avance: “España sufre una falta de cultura evaluadora …y sigue siendo una asignatura pendiente.”

2.Pero este mantra o frase parece que es contradictoria con la siguiente frase: “La exigencia ahora es máxima; ni la sociedad ni los organismos comunitarios van a darse por satisfechos con el mero hecho de “hacer cosas” de cualquier forma y con cualquier resultado.”

La falta de cultura evaluadora tiene su origen no en la falta de voluntad política, sino en la falta de capacidad de la sociedad para pedir rendición de cuentas (eso hace que los políticos no tengan incentivos otros que no sea hacer su voluntad partidista, sectaria o personal, en su “juego de tronos” habitual)

3.La evaluación y la cultura de evaluación son de difícil aplicación si no existe un marco de rendición de cuentas que lo faciliten: recordemos la necesidad de “responsabilidad, exigibilidad y evaluabilidad” en el post La evaluación busca responsabilidad

Así, bajo esos marcos de rendición de cuentas se dan/posibilitan las evaluaciones de la Comisión Europea (Fondos Europeos) y, en general, de los fondos de la Cooperación al Desarrollo (AECID/DGPOLDES, NNUU, Bancos…): otra cosa es que realmente sean útiles y sirvan para aprender/mejorar (la utilidad es otra historia a contar en otro momento) Sigue leyendo

La evaluación busca responsabilidad


Retomando nuestro post anterior ¿Busca la evaluación culpables?, en el que indicamos que la evaluación busca reforzar la responsabilidad (rendición de cuentas) y no tanto busca culpables: en un sentido amplio ya hemos hablado de lo que se entiende por rendición de cuentas : al “conjunto de derechos y responsabilidades existentes entre los ciudadanos y las instituciones que afectan a su vida”.

La rendición de cuentas incluye tres dimensiones:

(1) Obligatoriedad: derecho a obtener una respuesta por parte de la ciudadanía y la obligación de darla por parte de las instituciones.

(2) Exigibilidad: capacidad para asegurar que una acción se lleva a cabo y sancionar si ello no ocurre.

(3) Evaluabilidad: valoración positiva o negativa de las instituciones (Newell y Bellour, 2002 y Blagescu, de Las Casas y Lloyd, 2005 en Toledano et al, 2008: 18). Sigue leyendo

¿Busca la evaluación culpables?


En el artículo Evaluar ahora, y no cuando ya sea tarde Cristina Monge indicaba que “adolecemos de una falta de cultura de evaluación en el conjunto de las administraciones públicas y en otras organizaciones privadas que resulta todo un hándicap para la gestión”. “Probablemente porque se ve como un proceso en busca de culpables, con ánimo inquisitorial y estigmatizador; pero siendo cierto que, en algunos casos, quien lo propone puede estar buscando ese efecto, tal situación podría combatirse sistematizando la evaluación de manera que forme parte de los procesos de gestión habituales.”

En varias ocasiones en declaraciones recientes sobre la evaluación  se hace referencia a que “la evaluación no busca culpables”, sino aprendizajes. Mi experiencia me dice que si por culpables nos referimos a “responsables”, habría que matizarlo. Las instituciones no suelen tener en su deseo el aprender por aprender, ya que suelen tener siempre otras prioridades y urgencias.  Sin una rendición del cuentas hacia ese aprendizaje organizacional. la evaluación nunca será una prioridad institucional. Quizás la forma de reposicionar la importancia de la evaluación, es mejorar la rendición de cuentas de las instituciones públicas. Y esto está relacionado con lo que Cristina Mongue llama “institucionalizar la evaluación” Sigue leyendo

Recomendaciones para el empoderamiento y la rendición de cuentas


 

En línea con nuestras publicaciones sobre rendición de cuentas o sobre empoderamiento y participación, Duncan Green publicó “Once recomendaciones para trabajar en el empoderamiento y la rendición de cuentas en lugares complicados / peligrosos” (21 de febrero de 2020), como resultado del programa “Acción para el empoderamiento y la rendición de cuentas” (A4EA), en el que Duncan ha estado involucrado esporádicamente, ahora analizando los resultados de sus primeros 3 años de investigación, ya han identificado algunos “temas recurrentes” importantes en sus 5 países de enfoque (Egipto, Mozambique, Myanmar, Nigeria y Pakistán). ¿El resultado? “Once recomendaciones para trabajar en el empoderamiento y la rendición de cuentas en entornos frágiles, afectados por conflictos o violencia“.

Son solo seis páginas de recomendaciones para los donantes que buscan apoyar cosas buenas en algunos de los lugares más complicados y peligrosos del mundo. Pero para aquellos para quienes incluso eso es demasiado largo para ser leído, aquí hay algunos puntos destacados:

1.‘Piense detenidamente sobre el lenguaje más apropiado”: ha sido útil en algunos casos utilizar un lenguaje con menos carga política para transmitir mensajes similares; por ejemplo, hablar sobre “trabajar juntos” en lugar de “acción colectiva” o “crear un cambio positivo en la vida de las personas” en lugar de “empoderamiento”. También ha ayudado a ser lo más específico posible sobre lo que se está avanzando “. Sigue leyendo

Gestionar mejor: lo que tod@s podemos hacer para contribuir al éxito de la ayuda al desarrollo


Relacionado con nuestros posts pasados sobre la rendición de cuentas, interesante publicación “Gestionar mejor: lo que tod@s podemos hacer para contribuir al éxito de la ayuda” de Dan Honig (5 de febrero de 2020) en el que parte de la idea o afirmación de que “la gestión a través de controles sólo de arriba hacia abajo, se convierte en un objetivo en sí mismo, socavando el éxito de los proyectos”. Estos controles poco útiles a menudo surgen de la necesidad de tener en cuenta únicamente: (1) el rendimiento; (2) los ciclos políticos o las legislaturas o (3) las juntas ejecutivas, que inducen a las agencias a (a) ejercer controles estrictos de los procesos y (b) orientar los proyectos hacia lo que se puede medir y reportar.

El libro de Dan Honig 2018, “Navigation by Judgment“, presenta (1) datos empíricos cuantitativos de una base de datos de 14,000 proyectos y (2) evidencia cualitativa de ocho estudios de casos en apoyo de esta afirmación. Escribió el libro en parte porque supuso que sería útil mostrar a las agencias de ayuda al desarrollo y a los decisores, datos empíricos que demostraban el problema: que el primer paso para cambiar era el reconocimiento. Pero después de hablar sobre su libro con las agencias y decisores, estuvo seguro de que si bien su diagnóstico de 2018 fue correcto, su teoría del cambio fue totalmente errónea.

Las personas que trabajan en las agencias de desarrollo, desde el personal de campo hasta los gerentes senior, en general (1) ya comprenden la naturaleza del problema. (2) Han experimentado de primera mano la tensión entre la presentación de informes y el rendimiento, (3) se han enfrentado a las limitaciones que les impiden hacer lo que, en su opinión profesional, es más probable que logre los objetivos de su agencia (que comparten en gran medida). No necesitan datos empíricos para decirles lo que viven todos los días. Sorprendentemente, los decisores están de acuerdo también. Como decía un director ejecutivo del Banco Mundial: “Sé que cuando establezco objetivos, no obtengo lo que quiero. Pero es la única forma en que puedo mover el sistema, la única forma en que puedo dirigir; si renuncio a esa palanca, ¿qué tengo? ¿Por qué estoy aquí? ” Sigue leyendo

El choque entre la contra-burocracia y el desarrollo


En su libro Politics, Andrew Heywood (1997) indica que el propósito de la contra-burocracia es compensar el desequilibrio en la relación entre los políticos (amateurs, temporales y demasiados en número) por un lado y, por otro, sus funcionarios (oficiales profesionales) permanentes.

En el ensayo  The Clash of Counter-Bureaucracy and Development, Andrew Natsios en 2010 describe lo que él ve como los obstáculos más disruptivos para el trabajo de desarrollo en agencias como USAID: capas y capas de burocracia. Da una explicación de primera mano de cómo esta “contra-burocracia” (1) desfigura la práctica de desarrollo de USAID e incluso (2) compromete los objetivos de seguridad nacional de Estados Unidos. Sobre todo, argumenta que, (3) el énfasis de la contra-burocracia en la medición fácil está en desacuerdo con el hecho de que los programas de transformación son a menudo los menos medibles e involucran elementos de riesgo e incertidumbre. Sigue leyendo

La colaboración en 3 pasos


Hoy resumimos en 3 pasos los conductores de la colaboración, que tienen que ver con (1) compromiso, claridad de prioridades y objectivos, (2) existencia de capacidades, reciprocidad, participantes elegidos, (3) facilitación y rendición de cuentas.

1)Liderazgo y apropiación:

El propósito y los resultados deseados de la colaboración deben ser claros

El éxito colaborativo requiere la aceptación y el compromiso de las agendas individuales.

El compromiso con la colaboración de las organizaciones debe ir más allá de las personas que participan.

Las colaboraciones efectivas requieren perspectivas diversas, si no distintas. Sigue leyendo

La Rendición de Cuentas de/en la Política de Evaluación de UNICEF


Como epílogo a los posts anteriores sobre la Política de Evaluación ( post anterior, II y III). En relación a la rendición de cuentas, el Director de Evaluación de UNICEF informará el estado de implementación de la política de evaluación a la Junta Ejecutiva como parte del informe anual sobre la función de evaluación, que incluirá:

(a) el progreso hacia el logro de los resultados identificados en la teoría del cambio para la función de evaluación, incluido el desarrollo de la capacidad de evaluación;

(b) una presentación de las actividades de evaluación y el programa de trabajo para el año actual y el siguiente;

(c) una descripción objetiva de las evaluaciones realizadas, junto con una evaluación del estado, la calidad y la utilidad de las evaluaciones;

(d) progreso en el estado de implementación de las acciones acordadas en las respuestas de gestión de las evaluaciones;

(e) una síntesis de los principales hallazgos, conclusiones y lecciones de las evaluaciones del desempeño de UNICEF, incluidas las evaluaciones del desempeño de la función de evaluación; y

(f) un examen de los desafíos encontrados en las metodologías para realizar y usar las evaluaciones Sigue leyendo

La colaboración en 11 pasos


Hoy recordamos los  once pasos o conductores de la colaboración, que tienen que ver con claridad de prioridades y objectivos, existencia de capacidades, reciprocidad, participantes elegidos, facilitación, compromiso y rendición de cuentas.

Conductor n.º 1: el propósito y los resultados deseados de la colaboración deben ser claros e identificados por un grupo más grande que el de la colaboración formal en sí.

Conductor n. ° 2: aunque implícito en el anterior, las colaboraciones efectivas requieren recursos/capacidades efectiv@s.

Conductor n. ° 3: la equidad de la reciprocidad debe impulsar a los actores a colaborar.

Conductor n. ° 4: el éxito colaborativo requiere la aceptación y el compromiso de las agendas individuales. Sigue leyendo

Asimetrías en la rendición de cuentas


Cerramos aquí el ciclo iniciado en dos posts anteriores:  “La rendición de cuentas: ese palabro…” y el post “La mutua rendición de cuentas: ilusión o realidad años después, analizando las asimetrías en la rendición de cuentas.

Un tipo de rendición de cuentas olvidada es la “interna y de arriba a abajo”. La forma de gestionar la cooperación es diferente si se prima la rendición de cuentas sobre el aprendizaje. Intentar satisfacer la rendición de cuentas y el aprendizaje al mismo tiempo es difícil. Para observar las características diferenciales de la evaluación como aprendizaje o rendición de cuentas se recomienda Cracknell (2000:57).

Siendo la rendición de cuentas necesaria, no es lo mismo un enfoque de seguimiento y evaluación centrado en satisfacer a otros agentes de los que dependes y a los que rindes cuentas, que centrarse en primar más el aprendizaje de las lecciones para mejorar el desempeño (Cassen, 1985 en Cracknell, 2000). La primera, la rendición de cuentas, tiende a mirar hacia el pasado y a buscar errores, mientras que el segundo, el aprendizaje, tiende a basarse más en la crítica constructiva hacia el futuro. Sin embargo aunque la información resultante en cada una de estas orientaciones puede no ser utilizable en la otra (Binnendijk, 1999), se puede llegar a un equilibrio o compromiso en el que la exigencia de rendición de cuentas puede implicar aprendizajes y el aprendizaje puede llevar asociado la rendición de cuentas. De esta forma aprendizaje y rendición de cuentas son dos caras de una misma moneda que, bien utilizada, sirve para mejorar la organización.

La Declaración de París indica que “una de las mayores prioridades para países socios y donantes es ampliar la rendición de cuentas y la transparencia en la utilización de los recursos para el desarrollo” (2005). Para ello, señala que “los donantes se deberían comprometer a proporcionar información transparente y completa en tiempo oportuno sobre los flujos de la ayuda con el objetivo de que las autoridades de países socios puedan presentar informes presupuestarios completos a sus parlamentos y ciudadanos. Asimismo tanto donantes como socios se deberían comprometer a evaluar conjuntamente los avances de la implementación de los compromisos acordados sobre la eficacia de la ayuda al desarrollo, incluidos los compromisos de cooperación.

O´Donelll (1999 en Toledano et al., 2008:17) distingue entre rendición de cuentas horizontal (RCH) y vertical (RCV). La rendición de cuentas horizontal es la relación entre iguales de control entre agencias del estado, y la rendición de cuentas vertical es la relación entre desiguales (superior-subordinado o principal-agente) y de control de la sociedad hacia el estado. Los mecanismos de rendición de cuentas vertical se refieren a

(1) la rendición de cuentas electoral o

(2) la rendición de cuentas social o capacidad de los subordinados y de la sociedad para vigilar, interpelar y sancionar a los superiores si no cumplen con las normas.

El mecanismo más común de rendición de cuentas hacia los donantes, por medio de informes de seguimiento o finalización y evaluaciones ex-post, sirve sobre todo para propósitos funcionales porque se centran en la rendición de cuentas de los fondos y en medir impactos de corto plazo. Sin embargo la rendición de cuentas de las ONGD hacia los donantes debería ser más flexible e innovadora, y se podría realizar, en la práctica, no sólo a través de informes, evaluaciones y valoraciones del desempeño, sino también a través de la puesta en valor de la participación (como un fin y medio de desarrollo), por medio de la auditoría social (que se basa en la rendición de cuentas entre organizaciones y gentes) y la autorregulación (a nivel de sector). Cada uno de estos últimos mecanismos se distingue por sus herramientas, sus procesos, el tipo de rendición de cuentas (hacia arriba, hacia abajo, interna, externa, funcional y estratégica).

Como indica Ebrahim (2003) la rendición de cuentas en la práctica ha priorizado los aspectos “externos y de abajo a arriba”, mientras que los mecanismos “internos y de arriba abajo” no se han desarrollado al mismo nivel. Por tanto, los donantes y ONGD se han basado más en rendición de cuentas a corto plazo y funcionales, y no tanto en procesos estratégicos de largo plazo necesarios para el cambio político y social.

Aunque en principio los agentes de la cooperación utilizan los recursos de los donantes para alcanzar los objetivos tanto propios, como los de los donantes; los intereses de agentes (ONGD incluidas) y donantes pueden no coincidir, debido a:

(1)  que cada uno pone mayor énfasis en determinados aspectos (por ejemplo unos en crecimiento, otros en pobreza…), o

(2) a diferentes horizontes temporales o

(3) a aspectos organizacionales (por ejemplo mientras que los donantes están preocupados por un alto desempeño al mínimo coste posible, otros agentes pueden interesarse más por una financiación continuada, por la minimización de esfuerzos o la diversificación de recursos).

Como no es realista ni racional que los donantes controlen de forma continua el desempeño de los agentes (como las ONGD), el resultado final es el de la asimetría de poder y de información: las agencias y departamentos donantes tienen el poder que les otorga la decisión sobre la financiación, pero las ONGD tienen más información de un contexto en el que resultados, objetivos específicos y generales son difíciles de observar y medir.

Conscientes de las limitaciones del seguimiento de gabinete, algunas agencias han tratado de desarrollar métodos o herramientas de control para hacerlo más realista. Sin embargo el aumentar los recursos para conseguir que las agencias tengan un seguimiento o control directo más estrecho de los agentes, puede ser adecuado desde la consideración de intervenciones muy grandes; pero no es eficiente en el caso de las intervenciones múltiples y pequeñas de las ONGD.

En cualquier caso la dicotomía rendición de cuentas / aprendizaje no está resuelta en la cooperación al desarrollo, siendo un problema estructural de difícil solución. Hay autores que indican que optar por ambos objetivos (rendición de cuentas y aprendizaje) no es posible (Smith, 1998 en Cracknell, 2000); otros indican que sí es posible tal combinación, y que el problema es la concepción simplista y unilateralista de la rendición de cuentas. Cada vez hay más voces que critican que entre los actores del Norte (sean estos ONGD o agencias/departamentos financiadores), en la práctica, predomina la rendición de cuentas de abajo a arriba. Así, para los donantes la principal preocupación es ejecutar según el marco normativo o como mucho medir “si mi ayuda ha tenido éxito” y en menos medida valorar “por qué sí/no obtuvimos resultados” o si el socio está creado las condiciones para el desarrollo. Hay que indicar la importancia de conseguir un equilibrio entre rendición de cuentas y aprendizaje en cada organización para optar por las bondades de cada uno de los enfoques: un desequilibrio hacia la rendición de cuentas cierra las posibilidades de abrirse al aprendizaje, pero un desequilibrio hacia el aprendizaje puede implicar una dramática flexibilidad en el caso de no conseguir ningún resultado.

Mientras que desde la Declaración de París y la Agenda de Acción de Accra cobra cada vez más fuerza la necesidad de agregar, a

(1) la tradicional percepción de la rendición de cuentas (hacia los donantes),

(2) la rendición de cuentas de los donantes hacia la sociedad civil (del Norte y del Sur) y hacia las ONGD y

(3) de las ONGD hacia los beneficiarios; otros autores indican que estas sugerencias no son realistas dada la asimetría de recursos y poder, por un lado entre donantes y ONGD, y por otro, entre beneficiarios y ONGD.

El hecho de que los mecanismos de rendición de cuentas de los donantes hacia los demás (acerca de aspectos como su democracia interna, legitimidad y capacidad) no se han desarrollado lo suficiente en ambos sentidos (de abajo arriba y de arriba abajo) contribuye a deslegitimar la validez del sistema de control de calidad de las actuaciones.

En otras palabras: ¿cómo pueden sentirse legitimados algunos actores para demandar aspectos como eficiencia, participación, transparencia o fortaleza institucional, cuando a nivel interno las decisiones de esos actores no son ni eficientes, ni democráticas, ni transparentes? Este contexto imperfecto contribuye a que las ONGD y agentes involucrados se esfuercen menos en conseguir legitimidad externa e interna, que en protegerse de las interferencias y del abusivo potencial de exigencia de cuentas emanado desde los donantes, o bien en sobrevivir en un entorno cada vez más competitivo y de transparencia selectiva, pero en el que, además, la competencia es imperfecta, al no basarse sólo en el impacto en el desarrollo de las ONGD, sino en otras cosas (como el éxito de la relación y financiación con donantes o del fundraising). Y es que, la cantidad no es sinónimo de calidad de la ayuda.

Aunque poco frecuentes, sin embargo, hay experiencias en las que las ONGD han reducido con éxito estas asimetrías para aumentar su influencia en los donantes, en la opinión pública e incluso para incentivar a su propio personal. Algunos mecanismos son, en primer lugar, la reducción de la dependencia extrema de unos pocos financiadores; y en segundo lugar, a través del uso estratégico de algunos de los recursos propios no necesariamente escasos, y con posibilidad de ser controlados por las ONGD (como información, aprendizaje, legitimidad, ética, profesionalidad, democracia y participación interna, reputación…). Claro está que esto conlleva un esfuerzo y una apuesta por dotarse de una legitimidad interna, una ética, un valor e incentivos no monetarios, una gestión organizacional, por desgracia no tan frecuentes en el entorno de la Cooperación al Desarrollo.

Referencias

Cracknell, B. E. 2000, Evaluating Development Aid. Issues, problems and solutions, Sage edn, Sage.

Ebrahim, A. 2005, NGOs and organisational change. Discourse, reporting and learning Cambridge University Press, New York.

Rodríguez-Ariza, C. (2009). La gestión de la información en organizaciones de desarrollo. Serie CECOD. Número 11

Toledano, J. M., Guimaraes, J., Illán, C., & Farber, V. 2008, Buenas prácticas en la cooperación para el desarrollo. Rendición de cuentas y transparencia, La Catarata, Madrid.