Algunos desafíos de los métodos mixtos de evaluación en contextos de desarrollo


Seguimos con los desafíos o amenazas de los métodos mixtos de evaluación, tras el tema iniciado con los dos anteriores posts  Una introducción a los métodos mixtos de evaluación  y  Cómo integrar métodos mixtos de evaluación.

Aunque se ha hecho un gran progreso en la aplicación de métodos mixtos, y a pesar de un aumento, lento pero constante, en los estudios publicados en los países en desarrollo, los evaluadores siguen teniendo que enfrentar una serie de retos si quieren aplicar adecuadamente métodos mixtos en el seguimiento y evaluación de los proyectos y políticas en estos contextos de desarrollo. Algunas de las limitaciones prácticas, desafíos o amenazas de los métodos mixtos son las siguientes: Sigue leyendo

Cómo integrar métodos mixtos de evaluación


Como se mencionó en el post anterior «Una introducción a los métodos mixtos de evaluación«, en evaluación debemos considerar cuidadosamente cómo se van a integrar los diferentes métodos utilizados para un diseño de evaluación coherente. Tres de las formas más comunes en que las técnicas se pueden combinar para lograr los propósitos descritos en ese post anterior son las siguientes: (1) combinaciones paralelas, (2) combinaciones secuenciales, y (3) combinaciones de multinivel. Sigue leyendo

Una introducción a los métodos mixtos de evaluación


Los métodos cuantitativos y cualitativos todavía son considerados por algunos como dos rivales o dos opciones incompatibles (Patton los compara con niños de dos años que todavía no son capaces de jugar juntos). Para la mayoría de las intervenciones de desarrollo, no hay un método único que pueda describir adecuadamente y analizar las interacciones que se inter-relacionan con los sistemas complejos. Los métodos mixtos permiten la triangulación —o análisis comparativo— que nos permite capturar y cotejar realidades complejas y nos puede proporcionar una comprensión completa, desde diversas perspectivas, el éxito (o falta de él) de las políticas, los servicios o programas.

La utilización de métodos mixtos ha pasado a ser parte de la ortodoxia, demandada u ofrecida de forma habitual por/a las agencias donantes. Sin embargo, en el pasado se ha abusado del término, ya que a cualquier mezcla de diferentes técnicas y de cualquier manera, se le ha querido llamar “métodos mixtos”. Es probable que los métodos mixtos pronto se conviertan en el estándar para la mayoría de las evaluaciones. Pero el uso de métodos mixtos por sí solo no es suficiente, sino que debería aplicarse en múltiples niveles (Bamberger, 2012)

En los últimos años ha existido un interés creciente por los métodos mixtos en el campo de la evaluación en general, así como en las diversas formas en que las metodologías cuantitativas y cualitativas pueden ser sistemáticamente combinadas. Existen diferentes diseños evaluativos con métodos mixtos, siendo los más habituales aquellos que ponen el énfasis del lado cualitativo. Este tipo de diseños, en los que la parte cualitativa es la dominante, pueden ser útiles para explorar (1) temas complejos e innovadores o (2) conglomerados de intervenciones, por poner dos posibles ejemplos habituales en Cooperación al Desarrollo.

Una evaluación de métodos mixtos integra sistemáticamente dos o más métodos de evaluación, potencialmente en todas las etapas del proceso de evaluación, por lo general sobre la base de datos tanto cuantitativos como cualitativos.

Evaluaciones de métodos mixtos pueden utilizar (1)  varios diseños, por ejemplo la incorporación de (1.1) RCT (ensayos aleatorios controlados, en sus siglas en inglés Randomised Control Trials) y (1.2) estudios de caso. También pueden incluir diferentes (2) técnicas de recolección de datos, tales como (2.1) observaciones estructuradas, (2.2) entrevistas a informantes clave, (2.3) encuestas de hogares, y las (2.4) revisiones de los datos secundarios existentes. En resumen, una evaluación de métodos mixtos implica la integración sistemática de los diferentes tipos de principios, enfoques, técnicas y datos, por lo general procedentes de diferentes diseños. Como resultado de ello, las evaluaciones de métodos mixtos requieren (a) una planificación avanzada y (b) una gestión cuidadosa en cada etapa del proceso de evaluación.

Los tres casos principales en que los diseños de métodos mixtos ayudan a fortalecer la evaluación son:

1) Cuando las diferentes preguntas de evaluación requieren diferentes métodos, o cuando una sola pregunta de la evaluación requiere de más de un método para responder a todos sus componentes.

2) Cuando métodos diferentes se utilizan para responder a los mismos elementos de una sola pregunta, aumenta la confianza en la validez y fiabilidad de los resultados de la evaluación.

3) Cuando los resultados de un método se utilizan para ayudar a diseñar las futuras fases de la evaluación.

Otros beneficios que se pueden obtener mediante el uso de diseños de métodos o estrategias de recolección de datos mixtos son:

1) Facilitan la revelación de resultados inesperados

2) Puede proporcionar una comprensión más profunda de por qué el cambio está o no ocurriendo como estaba previsto

3) Permiten capturar una gama más amplia de perspectivas de lo que podría ser capturado por un solo método.

REFERENCIAS

Bamberger, M. (2012), Introducción a los métodos mixtos de la evaluación de impacto. Notas sobre la Evaluación de Impacto, nº 3. InterAction

Rodríguez Ariza, C. & Monterde, R, (2014) Estrategias cualitativas de evaluación en la Cooperación para el Desarrollo: viejos debates y nuevos retos. Serie CECOD de Documentos de Trabajo del Centro de Estudios de Cooperación al Desarrollo, Número 29

Y ahí va la canción que hace juego, juego mixto:

Evaluación de la complejidad


En el anterior post Comprendiendo la “Evaluación durante el desarrollo” (Developmental Evaluation), introducíamos los conceptos básicos sobre un enfoque de evaluación que ha tratado de integrar la ciencia de la complejidad. Escojo un fragmento de la publicación Estrategias cualitativas de evaluación en la Cooperación para el Desarrollo: viejos debates y nuevos retos, que realicé en 2014 con Rafael Monterde.

La ciencia de la complejidad ha sido utilizada para describir y explicar el comportamiento de los sistemas naturales y biológicos, que se caracterizan por (1) dinámica no lineal y (2) propiedades emergentes sobre la base de diversas poblaciones de individuos que interactúan entre sí y son capaces de experimentar la auto-organización espontánea.

La investigación en la gestión organizacional y la psicología del comportamiento indican que los sistemas humanos también se comportan de una manera compleja. El modelo operativo de la ciencia de la complejidad llama a la complejidad en la acción y da lugar a los Sistemas Adaptativos Complejos (SAC).  Un sistema adaptativo complejo  es un tipo especial de sistema complejo; es complejo en el sentido de que es diverso y conformado por múltiples elementos interconectados; y adaptativo, porque tiene la capacidad de cambiar y aprender de la experiencia.  Lo que distingue a los CAS de los SMA (sistemas multiagentes) puros es su enfoque de propiedades de alto nivel y característica, como autosimilaridad, complejidademergencia, y autoorganización. Un SMA es definido simplemente como un sistema compuesto de múltiples agentes interactuando. En CAS los agentes así como los sistemas son adaptativos, el sistema es autosimilar. Un CAS es una compleja y autosimilar colectividad de interacciones de agentes adaptativos. Los CAS se caracterizan por un alto grado de capacidad adaptativa, lo que les proporciona resiliencia frente a la perturbación. Otras propiedades importantes son la adaptación (homeostasis), comunicación, cooperación, especialización, organización espacial y temporal, y, por supuesto, reproducción.

La teoría de SAC ofrece una forma diferente de pensar acerca de las organizaciones y sistemas, incluyendo cómo debe desarrollarse una política para ellos, cómo deben ser gestionados, cómo la innovación puede propagarse dentro de y cómo deben ser evaluados (Sibthorpe, Glasgow y Longstaff, 2004).

 

Un tema de interés creciente en la evaluación, especialmente la evaluación del desarrollo, es cómo podemos aplicar las ideas y métodos de ciencia de la complejidad en la evaluación. La complejidad tiene aplicaciones importantes (1) en la forma de tratar los programas y las políticas, (2) en la forma en que recopilamos y analizamos los datos y (c) cómo se reporta hallazgos y apoyamos su uso. La palabra complejidad a veces se ha menospreciado como «término moderno que se utiliza para evitar la rendición de cuentas y la planificación». Pero no todo es complejo: Una intervención  puede tener algunos (a)  elementos simples, algunos (b) aspectos complicados y (c) algunos aspectos complejos, y es más útil identificarlos por separado que clasificar toda una intervención como compleja.

Muchas evaluaciones tienen que lidiar con programas con (1) múltiples componentes, (2) múltiples niveles de implementación, (3) múltiples organismos de ejecución, (4) con múltiples agendas y (5) cadenas causales largas con muchos resultados intermedios o con resultados que sólo pueden lograrse a través de un “paquete de causalidad” que involucra múltiples intervenciones o contextos favorables. En estas situaciones, las evaluaciones deben basarse en un modelo lógico incluya información sobre (a) diferentes componentes esenciales de uso común en la intervención, (b) que funcionan de manera diferente en diferentes contextos, o (c) que sólo funcionan en combinación con otros programas o entornos favorables. Es esencial informar al respecto en términos de “(a) lo que funciona, (b) para quién, (c) en qué contextos”.

Muchas evaluaciones tratan con programas que involucran estrategias emergentes y sensibles y procesos causales que no pueden ser completamente controlados o predecirse con antelación, ya que el programa se desarrolla y cambia con el tiempo. En estas situaciones, las evaluaciones tienen que ser capaces de identificar y documentar los socios, las estrategias y los resultados emergentes, en lugar de sólo prestar atención a los objetivos y metas pre-establecidas. Una evaluación en tiempo real puede ayudar a saber lo que está funcionando y para informar de cara a la adaptación continua y el aprendizaje. Una evaluación efectiva no implica necesariamente la construcción de un modelo detallado de cómo funciona la intervención y el cálculo de la combinación óptima de las actividades de ejecución – porque la combinación de lo que se necesita, lo que es posible y lo que va a ser óptimo, estarán siempre cambiando. Para mayor detalle sobre la particularización de los conceptos de complejidad en el sector de la Ayuda al Desarrollo y la Acción Humanitaria, véase Ramalingam et. al. (2008)

Aunque en el discurso y la retórica las evaluaciones en general dan la apariencia de prestar atención a las consecuencias no deseadas de las intervenciones, la mayoría de los diseños de evaluación dedican todo su presupuesto para la evaluación de la ejecución prevista y el logro de metas. Sigue siendo una excepción el tipo de trabajo de campo abierto a captar efectos no deseados o esperados, reales y dinámicas emergentes. Es útil para identificar los posibles impactos negativos durante el diseño del programa a fin de garantizar y establecer los procesos de seguimiento. Esto a su vez ayuda a la identificación de nuevos impactos negativos que deben ser evaluados. Una vez que se hayan identificado los posibles efectos no deseados o negativos se debe posibilitar desde el diseño la evaluación de los resultados y los impactos no deseados reales a medida que ocurren. Para ello la recolección de datos permanece abierta hacia resultados no deseado e inesperado mediante la inclusión de algunas preguntas abiertas en las entrevistas y cuestionarios, y propiciando la comunicación de los resultados inesperados. Apuntamos algunas opciones:

(1) Entrevistas con informantes clave: pidiendo al personal identificar los posibles impactos negativos, basados en su experiencia, en programas similares. Los críticos del programa pueden ser especialmente útiles.

(2) Teoría programa negativa: la identificación de las formas en que las actividades del programa pueden producir impactos negativos, en lugar de sus impactos previstos.

(3) Evaluación de riesgos: identificación de los impactos negativos potenciales, su probabilidad de ocurrir y cómo podrían evitarse.

(4) Informes de sucesos inusuales

REFERENCIAS

Ramalingam, B., Jones, H., Reba, T., y Young, J. (2008) Exploring the science of complexity: Ideas and implications for development and humanitarian efforts. Overseas Development Institute (ODI).

Rodríguez Ariza, C. & Monterde, R, (2014) Estrategias cualitativas de evaluación en la Cooperación para el Desarrollo: viejos debates y nuevos retos. Serie CECOD de Documentos de Trabajo del Centro de Estudios de Cooperación al Desarrollo, Número 29

Sibthorpe, B., & Glasgow, N., and Longstaff, D. (2004) Complex adaptive systems: A different way of thinking about health care systems. The Australian National University.

Lo sabíamos…o puede que sí o puede que no:

 

La Alta dirección como factor de éxito para la Gestión del Conocimiento


De nuevo me refiero con una traducción libre y enriquecida a  esa fuente inagotable de conocimiento que es Nick Milton y su post referido a  «seis factores de éxito para la Gestión del Conocimiento«, donde nos explica la visión uno de los profesionales más experimentados de la disciplina de la gestión del conocimiento (Rob Koene, Gestor del Conocimiento de la Empresa Fluor)

Crédito: Teamvision

Según Rob Koene, la ejecución de actividades de Gestión de Conocimiento tendrá más éxito cuando:

  1. La Alta Dirección entiende la necesidad (Motivación: ¿por qué?), el valor (Contenido: ¿qué?) y la utilidad (Propósito: ¿Para qué?) de la Gestión del Conocimiento (Comprensión: no hay necesidad de convencerlos)
  2. La Alta Dirección apoya proactivamente, promoviendo y reconociendo los beneficios de la gestión del conocimiento (Aptitud y Actitud)
  3. La Alta Dirección pone a disposición suficientes capacidades de manera continua para la Gestión del Conocimiento (Compromiso hacia las Capacidades desplegadas)
  4. Las actividades de Gestión del Conocimiento están gestionadas por un equipo dedicado, fuerte y entusiasta, y lo hace como parte de su carrera. (Visión a largo plazo de la gestión del conocimiento)
  5. Los puntos focales, campeones y expertos en la Gestión del Conocimiento son identificados, activos y visibles (Visibilidad)
  6. A menos que nuestra empresa esté enfocada sólo hacia el sector de la Tecnología de la Información o  el sector de la Gestión de recursos humanos, no permitamos que los departamentos de Tecnologías de la Información o de Recursos Humanos  ejecuten en solitario las actividades de Gestión del Conocimiento. A pesar de que suelen tener buenas  intenciones: por lo general los servicios de Tecnologías de la Información se centran en la automatización, por lo que la gestión del Conocimiento se dirigirá a automatización (mientras) que los departamentos de Recursos Humanos se centrarán  en la formación, que es sin duda un elemento en la Gestión del Conocimiento, aunque es sólo una parte del gran paquete que conforma la gestión del Conocimiento.

Buenos colegas,  Nick Milton (BP) y Rob Koene (Fluor) provienen del sector empresarial: si alguien ha conocido una organización de desarrollo (pública o no) con una «Alta dirección» que cumpla con 1, 2 o 3 (Comprensión, Aptitud, Actitud, Compromiso hacia las capacidades para la Gestión del Conocimiento)…por favor que me lo cuente para hacerle un post monográfico…por favor…¿o estamos hablando de ciencia ficción?

La reducción del riesgo de desastres


Voy a iniciar un ciclo de posts relacionados con la gestión del riesgo de desastres (DRM-disaster risk management) y con la resiliencia. El seguimiento, la evaluación, la gestión del conocimiento son transversales a dichos conceptos. El post de hoy es una introducción al concepto de reducción del riesgo de desastres.

Un enfoque basado en derechos reconoce los derechos de todos los seres humanos a (i) realizar su potencial y (ii) tener la oportunidad de vivir libres de la pobreza en un mundo seguro y más equitativo. Esto incluye el derecho a: (1) la vida y la seguridad; (2) medios de vida sostenibles; (3) ser escuchado; (4) tener una identidad; y (5) tener acceso a servicios sociales básicos.

La protección de derechos son todas las actividades tendientes a conseguir el pleno respeto de los derechos de las personas de conformidad con la letra y el espíritu de la normativa pertinente ( (a) derechos humanos, (b) derecho humanitario y (c)derecho de los refugiados). Los agentes de desarrollo y humanitarios y los defensores de derechos humanos deberán realizar esas actividades en forma imparcial y no basándose en la raza, el origen étnico o nacional, la lengua, o el sexo (CICR, 1999).

Los profesionales de ayuda humanitaria y del desarrollo comparten un objetivo común: el empoderamiento de las mujeres, los hombres y los niños para disfrutar de sus derechos humanos básicos y la protección permanente de esos derechos.

El riesgo es la  combinación de la probabilidad de que se produzca un evento y sus consecuencias negativas (EIRD, 2009). Por lo tanto, las estrategias de desarrollo y las respuestas humanitarias necesitan incorporar medidas para reducir los principales riesgos para el cumplimiento de este objetivo, ya que  los impactos de los desastres continúan siendo un gran obstáculo para ello. Además, los innumerables desastres de pequeña escala no reportados ejercen una presión acumulativa sobre la salud, la vida y los medios de vida.

Los desastres se reconocen dentro del sector de ayuda humanitaria y del desarrollo como situaciones que provocan trastornos graves en la vida de una comunidad o sociedad, de los cuales la mayoría de las personas no pueden recuperarse sin la asistencia externa de terceros a menudo fuera de su comunidad o sociedad. Generalmente (a) implican la pérdida masiva de (i) vidas, (ii) infraestructura y otros activos y (b) afectan (i) el bienestar, (ii) la seguridad, (iii) la salud y (iv) los medios de vida de las personas. Algunos impactos son (1) inmediatos (una inundación o un terremoto) y otros (2) diferidos (una sequía) ya que son causados por la forma en que las personas reaccionan frente a la situación e intentan recuperarse de la misma.

Los desastres (a) no son interrupciones inevitables del desarrollo a los que se responde con la rápida distribución de ayuda de emergencia, (b) sino el resultado de riesgos no controlados dentro del proceso de desarrollo propiamente dicho. Estos riesgos no controlados se producen cuando ocurre una amenaza, como una plaga o una sequía, en la que (i) las personas, (ii) los bienes y (iii) los sistemas (1) se ven expuestos y (2) son vulnerables a sus efectos.

Una amenaza es un (1) fenómeno o acontecimiento (por ejemplo: inundación, ciclón, terremoto), (2) actividad humana (por ejemplo: conflicto civil), o (3) condición peligrosa que pueden ocasionar (a) la muerte, lesiones u otros impactos a la salud, al igual que (b) daños a la propiedad, (c) la pérdida de medios de vida y de servicios, (d) trastornos sociales y económicos, o (e) daños ambientales. Las amenazas pueden ser (i) individuales, (ii) combinadas o (iii) secuenciales en origen y efectos. Cada una de ellas se caracteriza por su ubicación, intensidad, frecuencia y probabilidad. Comprender la naturaleza y la probabilidad de tales peligros es de importancia crítica para la seguridad y protección de las personas y la comunidad (EIRD, 2009).

El riesgo de desastres supone la pérdida potencial – de vidas, de la salud, de los medios de vida, de los bienes y servicios – que podría sufrir una determinada comunidad o sociedad durante un determinado periodo debido al desastre. El riesgo de desastres puede reducirse considerablemente desde el lado del desarrollo y desde el lado de la acción humanitaria:

(A) Desde el desarrollo reforzando estrategias encaminadas a disminuir la vulnerabilidad y la exposición a las amenazas en el marco de acciones generales para abordar la pobreza, la desigualdad y la negación de los derechos fundamentales.

La vulnerabilidad son las características y las circunstancias de una comunidad, sistema o bien que los hacen susceptibles a los efectos dañinos del cambio climático y las amenazas. La vulnerabilidad puede ser determinada por la interacción entre (1) la exposición y (2) la sensibilidad a una serie de factores de gobernanza, sociales, económicos, políticos y ambientales interrelacionados (Oxfam GB, 2010).

Existen diversos aspectos de la vulnerabilidad que surgen de varios factores físicos, sociales, económicos y ambientales. Entre los ejemplos se incluyen (1) el diseño inadecuado y la construcción deficiente de los edificios, (2) la protección inadecuada de los bienes, (3) la falta de información y de concientización pública, (4) un reconocimiento oficial limitado (a) del riesgo y (b) de las medidas de preparación y (5) la desatención a una gestión ambiental sensata o prudente. La vulnerabilidad varía considerablemente dentro de una comunidad y en el transcurso del tiempo.

La exposición en general significa (a) estar físicamente en la zona afectada por el fenómeno climático, o (b) depender de bienes, sistemas, instituciones u otras personas que están en esa zona. Las medidas del grado de exposición pueden incluir (1) la cantidad de personas o (2) los tipos de bienes en una zona. Estos pueden combinarse con la vulnerabilidad específica de los elementos expuestos a una amenaza en particular con el fin de calcular los riesgos cuantitativos relacionados con esa amenaza en la zona bajo estudio (EIRD, 2009).

(B) Desde las operaciones de respuesta humanitaria a desastres y otras crisis se pueden diseñar e implementar de tal forma que se proteja el derecho a la vida de las personas afectadas y otros derechos básicos en el corto y mediano plazo.

 

El enfoque de reducción del riesgo de desastres se refiere a  esfuerzos sistemáticos dirigidos al análisis y a la gestión de los factores causales de los desastres, lo que incluye (1)  la reducción del grado de exposición a las amenazas, (2)  la disminución de la vulnerabilidad de la población y la propiedad, (3) una gestión sensata de los suelos y del medio ambiente y (4) la mejora de la preparación ante los eventos adversos (EIRD, 2009).

 

REFERENCIAS

ICRC (1999) ICRC Ecogia Protection Seminars (1996-2000). Geneva, Switzerland.

EIRD (2009) Terminology on Disaster Risk Reduction. Geneva, Switzerland. Disponible en línea en: www.unisdr.org/files/7817_UNISDRTerminologyEnglish.pdf

Marilise Turnbull, Charlotte L. Sterrett, Amy Hilleboe  (2013) Hacia la Resiliencia. Una Guía para la Reducción del Riesgo de Desastres y Adaptación al Cambio Climático.  Practical Action Publishing Ltd.

Oxfam GB (2010) Gender, Disaster Risk Reduction, and Climate Change Adaptation: A Learning Companion. Oxfam Disaster Risk Reduction and Climate Change Adaptation. Resources. Oxford, UK.

Asimetrías en la rendición de cuentas


Cerramos aquí el ciclo iniciado en dos posts anteriores:  «La rendición de cuentas: ese palabro…» y el post «La mutua rendición de cuentas: ilusión o realidad años después«, analizando las asimetrías en la rendición de cuentas.

Un tipo de rendición de cuentas olvidada es la “interna y de arriba a abajo”. La forma de gestionar la cooperación es diferente si se prima la rendición de cuentas sobre el aprendizaje. Intentar satisfacer la rendición de cuentas y el aprendizaje al mismo tiempo es difícil. Para observar las características diferenciales de la evaluación como aprendizaje o rendición de cuentas se recomienda Cracknell (2000:57).

Siendo la rendición de cuentas necesaria, no es lo mismo un enfoque de seguimiento y evaluación centrado en satisfacer a otros agentes de los que dependes y a los que rindes cuentas, que centrarse en primar más el aprendizaje de las lecciones para mejorar el desempeño (Cassen, 1985 en Cracknell, 2000). La primera, la rendición de cuentas, tiende a mirar hacia el pasado y a buscar errores, mientras que el segundo, el aprendizaje, tiende a basarse más en la crítica constructiva hacia el futuro. Sin embargo aunque la información resultante en cada una de estas orientaciones puede no ser utilizable en la otra (Binnendijk, 1999), se puede llegar a un equilibrio o compromiso en el que la exigencia de rendición de cuentas puede implicar aprendizajes y el aprendizaje puede llevar asociado la rendición de cuentas. De esta forma aprendizaje y rendición de cuentas son dos caras de una misma moneda que, bien utilizada, sirve para mejorar la organización.

La Declaración de París indica que “una de las mayores prioridades para países socios y donantes es ampliar la rendición de cuentas y la transparencia en la utilización de los recursos para el desarrollo” (2005). Para ello, señala que “los donantes se deberían comprometer a proporcionar información transparente y completa en tiempo oportuno sobre los flujos de la ayuda con el objetivo de que las autoridades de países socios puedan presentar informes presupuestarios completos a sus parlamentos y ciudadanos. Asimismo tanto donantes como socios se deberían comprometer a evaluar conjuntamente los avances de la implementación de los compromisos acordados sobre la eficacia de la ayuda al desarrollo, incluidos los compromisos de cooperación.

O´Donelll (1999 en Toledano et al., 2008:17) distingue entre rendición de cuentas horizontal (RCH) y vertical (RCV). La rendición de cuentas horizontal es la relación entre iguales de control entre agencias del estado, y la rendición de cuentas vertical es la relación entre desiguales (superior-subordinado o principal-agente) y de control de la sociedad hacia el estado. Los mecanismos de rendición de cuentas vertical se refieren a

(1) la rendición de cuentas electoral o

(2) la rendición de cuentas social o capacidad de los subordinados y de la sociedad para vigilar, interpelar y sancionar a los superiores si no cumplen con las normas.

El mecanismo más común de rendición de cuentas hacia los donantes, por medio de informes de seguimiento o finalización y evaluaciones ex-post, sirve sobre todo para propósitos funcionales porque se centran en la rendición de cuentas de los fondos y en medir impactos de corto plazo. Sin embargo la rendición de cuentas de las ONGD hacia los donantes debería ser más flexible e innovadora, y se podría realizar, en la práctica, no sólo a través de informes, evaluaciones y valoraciones del desempeño, sino también a través de la puesta en valor de la participación (como un fin y medio de desarrollo), por medio de la auditoría social (que se basa en la rendición de cuentas entre organizaciones y gentes) y la autorregulación (a nivel de sector). Cada uno de estos últimos mecanismos se distingue por sus herramientas, sus procesos, el tipo de rendición de cuentas (hacia arriba, hacia abajo, interna, externa, funcional y estratégica).

Como indica Ebrahim (2003) la rendición de cuentas en la práctica ha priorizado los aspectos “externos y de abajo a arriba”, mientras que los mecanismos “internos y de arriba abajo” no se han desarrollado al mismo nivel. Por tanto, los donantes y ONGD se han basado más en rendición de cuentas a corto plazo y funcionales, y no tanto en procesos estratégicos de largo plazo necesarios para el cambio político y social.

Aunque en principio los agentes de la cooperación utilizan los recursos de los donantes para alcanzar los objetivos tanto propios, como los de los donantes; los intereses de agentes (ONGD incluidas) y donantes pueden no coincidir, debido a:

(1)  que cada uno pone mayor énfasis en determinados aspectos (por ejemplo unos en crecimiento, otros en pobreza…), o

(2) a diferentes horizontes temporales o

(3) a aspectos organizacionales (por ejemplo mientras que los donantes están preocupados por un alto desempeño al mínimo coste posible, otros agentes pueden interesarse más por una financiación continuada, por la minimización de esfuerzos o la diversificación de recursos).

Como no es realista ni racional que los donantes controlen de forma continua el desempeño de los agentes (como las ONGD), el resultado final es el de la asimetría de poder y de información: las agencias y departamentos donantes tienen el poder que les otorga la decisión sobre la financiación, pero las ONGD tienen más información de un contexto en el que resultados, objetivos específicos y generales son difíciles de observar y medir.

Conscientes de las limitaciones del seguimiento de gabinete, algunas agencias han tratado de desarrollar métodos o herramientas de control para hacerlo más realista. Sin embargo el aumentar los recursos para conseguir que las agencias tengan un seguimiento o control directo más estrecho de los agentes, puede ser adecuado desde la consideración de intervenciones muy grandes; pero no es eficiente en el caso de las intervenciones múltiples y pequeñas de las ONGD.

En cualquier caso la dicotomía rendición de cuentas / aprendizaje no está resuelta en la cooperación al desarrollo, siendo un problema estructural de difícil solución. Hay autores que indican que optar por ambos objetivos (rendición de cuentas y aprendizaje) no es posible (Smith, 1998 en Cracknell, 2000); otros indican que sí es posible tal combinación, y que el problema es la concepción simplista y unilateralista de la rendición de cuentas. Cada vez hay más voces que critican que entre los actores del Norte (sean estos ONGD o agencias/departamentos financiadores), en la práctica, predomina la rendición de cuentas de abajo a arriba. Así, para los donantes la principal preocupación es ejecutar según el marco normativo o como mucho medir “si mi ayuda ha tenido éxito” y en menos medida valorar “por qué sí/no obtuvimos resultados” o si el socio está creado las condiciones para el desarrollo. Hay que indicar la importancia de conseguir un equilibrio entre rendición de cuentas y aprendizaje en cada organización para optar por las bondades de cada uno de los enfoques: un desequilibrio hacia la rendición de cuentas cierra las posibilidades de abrirse al aprendizaje, pero un desequilibrio hacia el aprendizaje puede implicar una dramática flexibilidad en el caso de no conseguir ningún resultado.

Mientras que desde la Declaración de París y la Agenda de Acción de Accra cobra cada vez más fuerza la necesidad de agregar, a

(1) la tradicional percepción de la rendición de cuentas (hacia los donantes),

(2) la rendición de cuentas de los donantes hacia la sociedad civil (del Norte y del Sur) y hacia las ONGD y

(3) de las ONGD hacia los beneficiarios; otros autores indican que estas sugerencias no son realistas dada la asimetría de recursos y poder, por un lado entre donantes y ONGD, y por otro, entre beneficiarios y ONGD.

El hecho de que los mecanismos de rendición de cuentas de los donantes hacia los demás (acerca de aspectos como su democracia interna, legitimidad y capacidad) no se han desarrollado lo suficiente en ambos sentidos (de abajo arriba y de arriba abajo) contribuye a deslegitimar la validez del sistema de control de calidad de las actuaciones.

En otras palabras: ¿cómo pueden sentirse legitimados algunos actores para demandar aspectos como eficiencia, participación, transparencia o fortaleza institucional, cuando a nivel interno las decisiones de esos actores no son ni eficientes, ni democráticas, ni transparentes? Este contexto imperfecto contribuye a que las ONGD y agentes involucrados se esfuercen menos en conseguir legitimidad externa e interna, que en protegerse de las interferencias y del abusivo potencial de exigencia de cuentas emanado desde los donantes, o bien en sobrevivir en un entorno cada vez más competitivo y de transparencia selectiva, pero en el que, además, la competencia es imperfecta, al no basarse sólo en el impacto en el desarrollo de las ONGD, sino en otras cosas (como el éxito de la relación y financiación con donantes o del fundraising). Y es que, la cantidad no es sinónimo de calidad de la ayuda.

Aunque poco frecuentes, sin embargo, hay experiencias en las que las ONGD han reducido con éxito estas asimetrías para aumentar su influencia en los donantes, en la opinión pública e incluso para incentivar a su propio personal. Algunos mecanismos son, en primer lugar, la reducción de la dependencia extrema de unos pocos financiadores; y en segundo lugar, a través del uso estratégico de algunos de los recursos propios no necesariamente escasos, y con posibilidad de ser controlados por las ONGD (como información, aprendizaje, legitimidad, ética, profesionalidad, democracia y participación interna, reputación…). Claro está que esto conlleva un esfuerzo y una apuesta por dotarse de una legitimidad interna, una ética, un valor e incentivos no monetarios, una gestión organizacional, por desgracia no tan frecuentes en el entorno de la Cooperación al Desarrollo.

Referencias

Cracknell, B. E. 2000, Evaluating Development Aid. Issues, problems and solutions, Sage edn, Sage.

Ebrahim, A. 2005, NGOs and organisational change. Discourse, reporting and learning Cambridge University Press, New York.

Rodríguez-Ariza, C. (2009). La gestión de la información en organizaciones de desarrollo. Serie CECOD. Número 11

Toledano, J. M., Guimaraes, J., Illán, C., & Farber, V. 2008, Buenas prácticas en la cooperación para el desarrollo. Rendición de cuentas y transparencia, La Catarata, Madrid.

Lágrimas en la lluvia del V Plan Director de la Cooperación Española


En relación con el post anterior Propuestas de ACADE para el V Plan Director de la Cooperación Española, que ACADE (Asociación de Profesionales por la Calidad de la Cooperación para el Desarrollo) formula al Gobierno, a las fuerzas políticas parlamentarias y a la sociedad, quería volver sobre los tres primeras propuestas, que considero fundamentales. La primera se refiere al aumento pautado (racional) de la ayuda internacional, la segunda a la necesaria reforma del marco institucional / legal, y la tercera referida a la mejora de las capacidades. Estas son asignaturas pendientes cuyas demandas se repiten periódicamente y que impiden una Cooperación Española relevante, eficiente, eficaz y sostenida: (1) Compromiso y Liderazgo sostenido, (2) Marco Institucional y Administrativo y (3) Capacidades.

1.- Compromiso en materia presupuestaria que suponga un proceso pautado de expansión de los recursos asignados a la ayuda internacional.

2.- Reformas institucionales y legislativas necesarias para garantizar que se está en condiciones de hacer una gestión eficiente de los recursos. Es necesario reformar

(1) la arquitectura del sistema, hoy caracterizada por una elevada dispersión y una limitada coordinación de las instituciones responsables.

(2)  los marcos administrativos y legislativos que condicionan la ejecución de la ayuda, que impiden que España pueda actuar con instrumentos que otros donantes tienen, como la ayuda programática, la cooperación financiera, la asistencia técnica ágil, las asociaciones estratégicas con la sociedad civil y la academia o la alianza con actores internacionales, no solo públicos.

3.- Ampliación de las capacidades técnicas e institucionales del sistema. Esto supone poder:

(1) Recursos humanos y organizacionales: (a) captar y dar empleo en condiciones adecuadas al personal experto que se requiere, (b) poner en marcha una política activa de recursos humanos que permita que los trabajadores en este ámbito puedan tener una trayectoria profesional previsible y (c) promover un cambio organizacional que afecte a la estructura, a los procedimientos y a la cultura de trabajo de las instituciones implicadas.

(2) Articular una política de formación y gestión del conocimiento adaptada a los nuevos retos del contexto e integrada en la cultura organizativa de las instituciones líder de la cooperación española.

Sigamos proponiendo para contar con los medios para conseguir los fines: empleo en condiciones adecuadas, política activa de recursos humanos, trayectoria profesional previsible, cambio organizacional, formación y gestión del conocimiento…y por supuesto compromiso y liderazgo político sostenido.

…de otra forma el V Plan Director de la Cooperación Española será una(as) página(s) más de retórica burocrática…y tantos esfuerzos se seguirán perdiendo como lágrimas en la lluvia…

Propuestas de ACADE para el V Plan Director de la Cooperación Española


ACADE (Asociación de Profesionales por la Calidad de la Cooperación para el Desarrollo) formula al Gobierno, a las fuerzas políticas parlamentarias y a la sociedad las siguientes propuestas en relación con el futuro Plan Director:

La Cooperación Española se encuentra en una situación de debilidad extrema, consecuencia de más de ocho años de sucesivos recortes presupuestarios, que le han conducido a una pérdida de presencia internacional, al adelgazamiento o extinción de alguna de sus acciones más significativas,al vaciamiento de recursos humanos en puestos clave de la estructura operativa y a una fragilidad notable del sistema en su conjunto, que ha conducido al desánimo a una parte de los gestores y actores implicados.

En estas condiciones, la elaboración del Vº Plan Director de la Cooperación Española constituye una oportunidad única para producir un cambio sustancial en la situación. No cabe espacio para la rutina ni para retoques menores a través de un Plan Director de transición: lo que se requiere es una respuesta audaz y comprometida, que afronte las reformas que el sistema requiere y revierta el proceso de estos últimos años, para poner a España en condiciones de cumplir con los compromisos que plantea la Agenda 2030 para el Desarrollo Sostenible, aprobada en Naciones Unidas.

Tras la elaboración de un Manifiesto para las fuerzas políticas en defensa de la política de cooperación, en otoño de 2016, secundado por más de 200 firmas de profesionales de la cooperación y la realización de unos talleres en mayo de 2017 sobre el Plan Director, ACADE quiere formular al Gobierno, a las fuerzas políticas parlamentarias y a la sociedad las siguientes propuestas en relación con el futuro Plan Director:

1.- El Plan Director debe estar acompañado de un firme y expreso compromiso en materia presupuestaria que suponga un proceso pautado de expansión de los recursos asignados a la ayuda internacional. No cabe contemplar de modo silencioso el retroceso que se ha producido en la posición relativa de nuestro país entre los donantes de la OCDE, con caídas de la ayuda que superan las de países (como Portugal o Irlanda) que han padecido más severamente la crisis. El proceso de expansión de los recursos que se demanda debiera situar la AOD en el 0,40% del PNB al final de la presente legislatura. Ese crecimiento de la ayuda debe ir acompañado de una rápida recuperación de los recursos asignados a la ayuda humanitaria, dada la severidad de las crisis asociadas a hambrunas y conflictos que sacuden al escenario internacional.

2.- De forma paralela a la elaboración del Plan Director, el gobierno debe proceder a las reforma sin stitucionales y legislativas necesarias para garantizar que se está en condiciones de hacer una gestión eficiente de los recursos. Es necesario reformar la arquitectura del sistema, hoy caracterizada por una elevada dispersión y una limitada coordinación de las instituciones responsables. Y es requerido también modificar los marcos administrativos y legislativos que condicionan la ejecución de la ayuda, que impiden que España pueda actuar con instrumentos que otros donantes tienen, como la ayuda programática, la cooperación financiera, la asistencia técnica ágil, las asociaciones estratégicas con la sociedad civil y la academia o la alianza con actores internacionales, no solo públicos.

3.- Ese proceso debe acompañarse de otro paralelo de ampliación de las capacidades técnicas e institucionales del sistema. Esto supone poder captar y dar empleo en condiciones adecuadas al personal experto que se requiere, poner en marcha una política activa de recursos humanos que permita que los trabajadores en este ámbito puedan tener una trayectoria profesional previsible y promover un cambio organizacional que afecte a la estructura, a los procedimientos y a la cultura de trabajo de las instituciones implicadas. También supone articular una política de formación y gestión del conocimiento adaptada a los nuevos retos del contexto e integrada en la cultura organizativa de las instituciones líder de la cooperación española.

4.- Dada la pertenencia a la UE, España debe estar en condiciones de practicar la cooperación delegada, haciéndose cargo de la gestión o coordinación de acciones compartidas entre socios europeos. Ahora bien, esa implicación no debe eximir a la cooperación española de definir sus propias políticas y acciones, contando con los recursos y capacidades para hacerlas realidad. Adicionalmente, es importante que España se distancie de las tendencias que se observan en la UE hacia la securitización de ámbitos sensibles de la cooperación para el desarrollo, como pueda ser el caso de las migraciones. Las actividades que se hagan en este y otros campos deben estar presididas por los objetivos y normas propias de la acción de desarrollo y orientadas a brindar oportunidades de vida digna a las personas, especialmente las más vulnerables, para que el principio de coherencia de políticas no sea un lema vacío.

5.- El Plan Director que se requiere debe distanciarse de las orientaciones de planes precedentes y,en lugar de hacer una selección cerrada de prioridades sectoriales, debiera centrar la atención en la formulación de unos propósitos estratégicos claros y en la definición de los métodos de trabajo y de los recursos instrumentales para asentar la implicación y las alianzas entre múltiples actores diversos de la sociedad española.

6.- Aunque España debe cumplir los compromisos internacionales que le obligan a destinar una parte de la ayuda internacional a los países con mayores dificultades (países menos desarrollados o con Estados frágiles), debe también mantener su especial relación, sostenida en el tiempo, con los países de renta media. También estos países requieren del apoyo internacional para superar los déficits estructurales que padecen y para sumarse de forma activa a la implementación de la Agenda 2030. No basta con reconocer que se debe mantener la cooperación con este tipo de países, en especial los más vulnerables, sino también entender que el tipo de cooperación que se requiere es distinto a la practicada con los países más pobres.

7.- La Agenda 2030 no sólo convoca a los poderes públicos sino a todos los actores sociales a un esfuerzo conjunto para hacer realidad los ODS. Por su ambición y universalidad, esos objetivos no se conseguirán si no se logra implicar en la tarea a actores diversos, que sumen capacidades, recursos y experiencias propias. Los actores de la cooperación, y muy particularmente los actores públicos (ministerios de la AGE, comunidades autónomas, ayuntamientos y universidades), deben orientar su esfuerzo a facilitar esos vínculos de trabajo en común, reconociendo la diversidad de intereses y miradas que les caracteriza.

8.- El Plan Director debe entender y afirmar el papel clave que la sociedad civil tiene en España y Europa para impulsar las políticas, las alianzas y el apoyo social que requiere la Agenda 2030 y velar por su efectivo cumplimiento; y en los países en desarrollo, como agente activo en la defensa de los derechos humanos, la articulación de la voz de los sectores sociales excluidos, como mecanismo de presión y de exigencia de rendición de cuentas a los poderes públicos y como proveedor de servicios complementarios a las comunidades, allí donde el Estado no llegue.

9.- En suma, ACADE apoya que se defina un Plan Director comprometido, con voluntad seria de revertir la situación de extrema debilidad en la que se encuentra la cooperación española y con vocación de ilusionar e implicar activamente al conjunto de los actores sociales.

 

Asociación de Profesionales por la Calidad de la Cooperación para el Desarrollo (ACADE)

Madrid, junio de 2017

La mutua rendición de cuentas: ilusión o realidad…años después


Retomamos un tema ya tratado en un post anterior:  La rendición de cuentas: ese palabro…Pues hoy a ese palabro le vamos a añadir un adjetivo:»mutua rendición de cuentas».

El tema de la mutua rendición de cuentas en la ayuda internacional era ya  actualidad alrededor de la Agenda de Acción de Accra (2008) tras la tercera reunión de algo nivel sobre la Calidad de la Ayuda. Y ello es debido a que en la Cooperación Internacional, en todos los socios del desarrollo,  aunque existen mecanismos de control, todavía se ha de avanzar más en la calidad de los sistemas de rendición de cuentas.

La rendición de cuentas en los socios de desarrollo tiene un componente de rendición de cuentas “doméstica” –en el interior de cada país, tanto del socio como del donante– y un componente de rendición “mutua” de cuentas que se realiza en el ámbito del país socio y en el ámbito internacional”.  La  ambición de trabajar en este sentido es grande, ya que además de avanzar en la rendición de cuentas mutua, hay que trabajar en la doméstica, y dentro de ésta en la rendición de cuentas vertical (de arriba a abajo) y al interno de las organizaciones.

El camino y los retos de la Cooperación en socios y donantes son largos y arduos si se quiere cumplir con los compromisos  en este sentido, ya que esa posición se caracteriza por:

(1) El énfasis del rol de los parlamentos y de la sociedad civil en la rendición de cuentas interna en el país socio y en el país donante;

(2) El énfasis en una rendición de cuentas que incluya los ámbitos locales y la participación ciudadana;

(3) La importancia de la escala internacional o multilateral de la rendición de cuentas (rendición de cuentas externa);

(4) Avanzar en los efectos que el conjunto de políticas tanto del socio como del donante producen sobre el desarrollo (coherencia de políticas).

La rendición de cuentas “desde la perspectiva de los donantes” implica:

(i) Un acuerdo sobre roles y responsabilidades claras y acordadas;

(ii) La ejecución de las áreas de responsabilidad acordadas;

(iii) La necesidad de información y rendir cuentas de las acciones llevadas a cabo;

(iv) La obligación de ajustarse a los estándares de ejecución acordados (Toledano et al., 2008).

Para una mayor profundidad en los mecanismos de la Mutua Rendición de Cuentas se recomienda la lectura de “Study of Existing Mechanisms to Promote Mutual Accountability (MA) Between Donors and Partner Countries at the international level” (Droop, Isenman y Mlalazi, 2008) y de “Mutual Accountability at the Country level. A concept and Emerging Good Practice Paper” (Steer, Wathne y Driscoll, 2009)

Y dando un paso más, la “mutua” rendición de cuentas trata de crear un asociación más equilibrada entre donantes y gobiernos receptores vinculando a los actores a través de valores compartidos y compromisos en un proceso voluntario. La Declaración de París y la Agenda de Acción de Accra señalan los parámetros de la mutua rendición de cuentas en términos de  (1) quién es sujeto de rendición de cuentas, (2) para qué y (3) cómo; señalando que las líneas de rendición de cuentas entre donantes y socios están conectadas con las de cada uno con sus sociedades.

A pesar del camino marcado por la Declaración de París y Agenda de Acción de Accra, la mutua rendición de cuentas es todavía una práctica emergente y no existe una definición práctica de mutua rendición de cuentas aunque, como indican Steer y Wathne (2009), sí hay suficiente experiencia para distinguir algunos elementos críticos en un proceso de Mutua Rendición Cuentas. Estos elementos implican diferentes espacios y procesos que ayudan a:

(i) definir la agenda dentro de la que los compromisos de mutua rendición de cuentas se encuentran,

(ii) proveer incentivos para seguir los compromisos

(iii) cambiar el comportamiento (teniendo en cuenta por ejemplo los riesgos relacionales y la reputación de los actores). Los cambios en el comportamiento de forma sostenida dentro de las relaciones de la ayuda son posibles si los tres elementos siguientes están unidos en un proceso iterativo.

A) Para generar una agenda compartida a través de objetivos específicos y compromisos recíprocos, es preciso ser capaces de generar

(1) acuerdos sobre estrategias de desarrollo y resultados de desarrollo y

(2) acuerdos sobre la eficacia de la ayuda.

B) El seguimiento y revisión de estos compromisos y acciones, el progreso hacia la dotación de agendas compartidas se deberá seguir y revisar continuamente. La focalización en los objetivos y en las estrategias de reducción de la pobreza ha aumentado los esfuerzos de los gobiernos para medir resultados, y también han llegado a ser comunes iniciativas para medir el progreso en la medición de la eficacia de la ayuda. Se están desarrollando, aunque de forma muy lenta:

(1) sistemas mejorados para el seguimiento de actividades y flujos de ayuda de los donantes de forma individual y agregada

(2) bases de datos transparentes.

Sin embargo, la integración de los socios en los esfuerzos de seguimiento se han de reforzar, como lo demuestra lo incipiente de algunos de sus procesos asociados:

(1) los hallazgos de los esfuerzos de seguimiento deben ser más y mejor utilizados por donantes y socios (como ejemplo la utilización de informes sobre seguimiento de la pobreza que sean demandados por los parlamentos);

(2) la sociedad civil debe tomar un papel más importante en el seguimiento del desarrollo y los resultados de la eficacia de la ayuda, tanto (i)  como participantes en procesos oficiales de revisión, (ii) como socios en esfuerzos de seguimiento independientes. En general, por tanto, la habilidad y de los parlamentos y sociedad civil para hacer seguimiento de los gobiernos y de los donantes permanece limitado, debido a problemas de compromiso, liderazgo o capacidad.

C) Para mejorar el debate, diálogo y negociación, aunque no hay una fórmula simple, sí hay un número importante de elementos críticos que aumentan la probabilidad de que se alcance la Mutua Rendición de Cuentas, y existen algunos retos y factores de éxito críticos, que pasan por aumentar la

(i) confianza recíproca;

(ii) coherencia a través de apropiación y liderazgo;

(iii) capacidad e información;

(iv) incentivos creíbles y

(v) complementariedad (Steer y Wathne, 2009).

 

Referencias

Droop, J., Isenman, P., & Mlalazl, B. 2008, Study of Existing Mechanisms to Promote Mutual Accountability (MA) Between Donors and Partner Countries at the international level) OECD / DAC, París.

Rodríguez-Ariza, C. (2009). La gestión de la información en organizaciones de desarrollo. Serie CECOD. Número 11

Steer, L. & Wathne, C. 2009, Mutual Accountability at country level: emerging good practice. Background Note.  ODI, London.

Steer, L., Wathne, C. & Driscoll, R. 2009, Mutual Accountability at the Country level. A Concept and Emerging Good Practice Paper. ODI, London.

Toledano, J. M., Guimaraes, J., Illán, C., & Farber, V. 2008, Buenas prácticas en la cooperación para el desarrollo. Rendición de cuentas y transparencia, La Catarata, Madrid.

Y para continuar pensando en estos palabros intentemos seguir poco a poco empezando por los países pequeños…como un@ mism@…