Errores comunes en los procesos participativos


Fuente: Errores en los procesos de consenso

Desarrollamos algunas debilidades y amenazas acerca de la participación mal entendida y errores comunes en los procesos participativos:

Improvisación: se falla en planificar el proceso y en explicarlo a la gente, y se “queda corto”; los métodos deben ser seleccionados en función de un objetivo claro;

Superficialidad: se recolectan pocos datos, sin cruzar los métodos para profundizar y “triangular” las fuentes;

Premura: se corre hacia las conclusiones, omitiendo la profundización de aspectos poco claros o inexplicados; Sigue leyendo

De retóricos mantras en el desarrollo y la cooperación: la participación (Parte II)


Ya indicamos en el post anterior De retóricos mantras en el desarrollo y la cooperación: la participación, que la participación es un concepto de múltiples acepciones por ello cuando se hable técnicamente de participación se debería comenzar  presentando cuál es nuestro concepto de participación.

A continuación vamos a describir algunos contextos singulares en los que, a pesar de que se habla de “participación”, realmente hay ausencia de participación o participación mal entendida en la identificación, seguimiento y evaluación. Como se ha visto, la participación puede llevar a compartir conocimiento y a negociar las relaciones de poder, al activismo político o al fortalecimiento de movimientos sociales, pero también puede aumentar las injusticias y opresiones si no se consideran algunos aspectos críticos.

La participación es un concepto íntima y esencialmente asociado al concepto de poder, de capacidad real de decisión o de codecisión. Las articulaciones del poder son a veces poco visibles desde el exterior, y están inmersas en las prácticas culturales y organizacionales. Los conceptos de participación, poder y empoderamiento, a veces, simplifican en exceso. Hay que evitar crear simplificaciones o expectativas demasiado ingenuas: (1) sobre las motivaciones y comportamientos en los procesos participativos, (2) sobre las complejas relaciones de poder, (3) sobre la relación entre y al interior de donantes y beneficiarios de la cooperación, (4) sobre la construcción del conocimiento y de las normas sociales.

Para analizar las dinámicas de participación es interesante utilizar enfoques que analicen la dinámica del poder. Gaventa (2005), investigador del IDS, explica en su “Cubo del Poder”  cómo se ejerce el poder, cómo diferentes intereses pueden ser apartados de la toma de decisiones y qué estrategias se necesitan para aumentar la inclusión. Se describe así que el poder es ejercido a través de tres dimensiones del poder: (1) Espacios: cuáles son y cómo se crean las diferentes arenas en las que tiene lugar la toma de decisiones (espacios cerrados, invitación a espacios o espacios exigidos) (2) Rostros: grado de visibilidad del poder (visible, oculto o invisible); (3) Niveles: Local, nacional o global. A su vez este concepto ha sido recogido en otros estudios como Guijt & Seeboldt, (2009), en O´Neil, Foresti & Hudson (2007) y en Lutrell et al (2007) e incluso en alguna evaluación (DANIDA, 2009).

El cubo del poder en relación a la participación

Chambers (1997) es uno de los autores que resalta que el concepto de poder se simplifica en exceso. Cuestiones como “¿De quién es la realidad que cuenta?” subrayan la existencia de diferentes y a veces contrastadas versiones de la realidad, lo que significa ir más allá del estrecho conocimiento epistemológico, para ir  hacia una reflexión acerca de las situaciones en las que la participación es o no necesaria, o incluso es tiránica. La epistemología (1) es también llamada teoría del conocimiento, (2) es una rama de la filosofía cuyo objeto de estudio es el conocimiento científico, es decir, (3) es la doctrina de los fundamentos y métodos del conocimiento científico y (4) se ocupa de problemas tales como las circunstancias históricas, psicológicas y sociológicas que llevan a la obtención del conocimiento, y los criterios por los cuales se lo justifica o invalida.

Por otro lado otros autores se han centrado en lo que se denomina “voz”, que se refiere a la capacidad para expresar puntos de vista e intereses y a ejercitar esa capacidad. La voz en el contexto del desarrollo se refiere no sólo a gente pobre (“poor”) sino también a gente sin poder (“powerless”), o sin la capacidad para expresar su visión y sus intereses en un esfuerzo para influir en las prioridades de los procesos de toma de decisiones. En la mayoría de los contextos la falta de voz implica falta de rendición de cuentas (O´Neil, Foresti y Hudson, 2007: v).

Por otro lado el lenguaje de la participación como “supuesto” empoderamiento puede enmascarar realmente una mera preocupación en la eficiencia de recursos, o una asociación entre retórica y práctica en la participación, además de un énfasis en el nivel local de intervención para ocultar la no participación a nivel más global o político.

Para finalizar algunos críticos de la “participación mal entendida” la consideran como una forma política de control y de dar importancia al nivel personal sobre el nivel político, de obscurecer las diferencias en el poder local a través de la sublimación acrítica de “la comunidad”. En este sentido, la participación (mal entendida o aplicada) sería un “elemento más que contribuye a la despolitización del desarrollo”, al utilizar un lenguaje de emancipación para hacernos creer que se incluyen a las poblaciones marginales en un débil discurso o proyecto de modernización. Ferguson (1994) llega a decir que “si la cooperación al desarrollo es una maquinaria de anti-política, la participación engrasa sus ruedas”.

Aunque no es cierto que las prácticas participativas necesariamente representen la despolitización del desarrollo, al menos hay que asumir que (1) la participación puede ser una forma más de control, y que (2) sus consecuencias –si se aplica de forma efectiva– no son previsibles y sus elementos no pueden ser predeterminados por completo. El “desarrollo participativo” puede abrir nuevos espacios para la acción política, sin embargo, hablar de la participación como liberación individual o fin de la “sujeción al sistema” es una sobre simplificación de los efectos del “poder de la participación”. Sin embargo, para re-politizar la participación, el empoderamiento ha de ser redefinido como un proceso coherente (de arriba abajo y de abajo arriba), abierto y flexible, de construcción de proyectos políticos en una gran variedad de marcos y escalas temporales y espaciales (o como indica Gaventa (2005) espacios, rostros y niveles de poder).

Para terminar hay que señalar que si se apuesta por la participación como proceso de desarrollo (1) se ha de contar con los recursos necesarios y (2) se tiene que estar abierto al diálogo, pero también preparado para el conflicto y su resolución dialogada o incluso para la pérdida de poder. Hay que ser conscientes que la “participación” es fuente de riqueza, pero también fuente de posibles conflictos.

REFERENCIAS

Chambers, R. 1997, Whose reality counts?. Putting the first last. ITDG Publishing, London.

Ferguson, J. 1994, The antipolitics machine: “development, depolitization and bureaucratic power in Leshoto” University of Minesota Press, Mineapolis.

Danida. 2009.Thematic Evaluation of support by Danish NGO´s to civil society in Ghana and Ethiopia. Evaluation Department, Ministry of Foreign Affairs/Danida, Denmark. Copenague.

Gaventa, J. 2005, Reflections of the Uses of the ‘Power Cube’ Approach for Analyzing the Spaces, Places and Dynamics of Civil Society Participation and Engagement’ CFP Evaluation Series No 4.

Guijt, I. & Seeboldt, S. 2009, “The power of understanding power” Capacity.org.

Lutrell, C., Bird, K., Byrne, S., Carter, J., & Chakravarti, D. 2007, “The Power Cube Explained”. The platform on livelihoods, equity and empowerment, Poverty-wellbeing.net.

O’Neill, T., Foresti, M. & Hudson, A., 2007, ‘Evaluation of Citizens’ Voice and Accountability: Review of the Literature and Donor Approaches’

Rodríguez-Ariza, C. (2010) “La gestión de la información en organizaciones de desarrollo (vol.II) El caso de los departamentos de las administraciones públicas españolas que trabajan a través de las ONGD. Un reto y un compromiso asociado a la agenda de calidad de la ayuda”. Nº 11 / 2010

Por qué lo llaman amor cuando realmente quieren decir sexo


Gaps

Gaps Fuente Bridge the gaps

No hace falta haber trabajado mucho en el sector de la cooperación al desarrollo para empezar a acostumbrarse a su jerga. Esa jerga tan indescifrable para los ajenos al sector. Se manosea el lenguaje en nuestro sector hasta perder su sentido, posibilitando que algún mago innovador quiera venir a darle sentido creando otra palabra mágica (palabras mantra, clave, atractivas para un@s poc@s, para sus propios intereses y necesidades, siendo esos un@s poc@s en pocos casos los beneficiarios). Se inventan nuevos palabros porque se quiere añadir algo nuevo (y algo mejor que lo anterior que sabemos que era malo sin necesidad de evaluarlo/comprenderlo o era malo porque quizás no participamos en su invención o ejecución), pero al cabo se va alargando la confusión hasta el infinito…

Y es que cualquier palabro de la corriente principal de la cooperación al desarrollo puede significar todo o nada…por eso cuando me reúno con alguien más que yo mismo, suelo invitar a clarificar el significado de los términos utilizados en cada contexto determinado en el que se utilizan, para no llevarse a sorpresas.

Y es que estamos acostumbrados a que con las palabras se busque el cielo, el amor infinito, la solución final, para que al cabo cuando se ve lo que en el terreno esas palabras significan nos lleven a que es más de lo mismo: nada o casi nada.

Por ejemplo tomemos tres palabras a las que últimamente dedico mis días y en ocasiones parte de mis noches: participación, gestión del conocimiento y coordinación. Les contaré lo que en mi experiencia más próxima quieren decir o lo que ambicionan decir y lo que al cabo significan :

La participación ambiciona ser un proceso que empodera a la gente hasta poder auto-gestionarse para tomar sus propias decisiones resolviendo los problemas identificados por si mismos …sin embargo he visto cómo se confunde participación con compartir información o meramente con aceptar algunas preguntas (más que nada se aceptan preguntas por la forma)…

Gap en participación. Fuente: aksjonsprogrammet

La gestión del conocimiento ambiciona la recolección, manejo, internalización e institucionalización de aprendizajes para la mejora del desempeño organizacional…sin embargo se confunde gestión del conocimiento con envío de información en ocasiones en formatos vistosos y sofisticados

La gestión del conocimiento mal entendida como solo compartir información. Fuente: mbotngen

La coordinación ambiciona la eficiente y eficaz implementación, seguimiento y evaluación conjunta de intervenciones identificadas y planificadas de forma conjunta para responder a necesidades, prioridades y retos relevantes y conjuntos…sin embargo se confunde coordinación con control o -de nuevo- con compartir o enviar información (a veces no sistematizada, ni necesaria)

 

Gap en la coordinación. Fuente: truongtuyetvy

Como vemos las tres palabras anteriores, se concretizan en la práctica en lo único: el mero envío de información…y ahí mi reflexión: para qué tanto cortejo, tanto adorno, tanta expectativa, tanta parafernalia, tanto preludio, si al final es todo lo mismo…¿algo es mejor que nada?…vale, vale pero mi pregunta: ¿y de ahí algún día surgirá el amor?…y algunos me dirán que no espere ni eso, que ¿para qué el amor si lo que importa es la diversión?…pues a lo mejor tienen su punto de razón y soy yo el romántico perdido…

Pues ahí va la canción de la semana:

CARLA MORRISON  – Me Encanta

“Me Encanta”

Me encanta el sabor de tus besos, me asusta el sentir que te quiero.
Quiero controlar mis deseos, pero tu aroma incita mis besos.[Coro]
Y mi piel Comienza a confundir lo que tus caricias quieren decir y a mi cuerpo,
En tu cuerpo esto no puede suceder respeto a alguien le debo de tener
Son tus besos y mis besos, voy a fugarme otra vez no quiero herirme, no se
Tengo miedo mucho miedo es importante lo es, mi corazón ya no cree esta
Seco ya muy seco.Tus preguntas te alimentan tu ego, y me siento importante
De nuevo. Tengo rato mirándote de lejos me gusta los encuentros secretos[Coro]
Y mi piel Comienza a confundir lo que tus caricias quieren decir y a mi cuerpo,
En tu cuerpo esto no puede suceder respeto a alguien le debo de tener
Son tus besos y mis besos, voy a fugarme otra vez no quiero herirme, no se
Tengo miedo mucho miedo es importante lo es, mi corazón ya no cree esta
Seco ya muy seco…voy a fugarme otra vez no quiero herirme, no se
Tengo miedo mucho miedo es importante lo es, mi corazón ya no cree esta
Seco ya muy seco…oooh.!

 

De retóricos mantras en el desarrollo y la cooperación: la participación


Inicio un espacio para modas y modismos. Voy a traeros del baúl de los recuerdos un palabro que por desgracia ya no es lo que fue, aunque ha sido sustituido por otros palabros como apropiación armonización y alineamiento o empoderamiento…Nuestra invitada de hoy es uno de los mayores mantras de la cooperación y el desarrollo…señores, señoras con todos ustedes: la PARTICIPACION.

Como ya hiciera en otras ocasiones y para no perder el impulso, hago un remake de un texto de una de mis publicaciones de 2010 (ya seis años han pasado, cuando todos éramos más jóvenes y atrevidos): La gestión de la información en organizaciones de desarrollo (Rodríguez-Ariza, C. , 2010: 6). Aunque viejuno…sigue siendo de actualidad.

Si hablamos de participación y gestión de la información, entendemos que un proceso es participativo cuando las personas tienen incidencia en el uso de la información, las decisiones en base a esa información y la implementación de las decisiones.

Por tanto la participación no es un estado puntual, sino más bien una “escalera” –o un continuo– entre la pasividad o participación manipulada, la consulta para el suministro de información, la participación por incentivos o funcional (reactiva), la participación interactiva (activa), y la participación auto gestionada (proactiva).

Escalera de la participación

Como anécdota sobre la larga trayectoria de las reflexiones en torno a la participación: la escalera de la participación surgió en 1969

Aunque la participación es una consecuencia real y potencial del desarrollo, la participación de los implicados en las acciones de desarrollo es un proceso que no es fácil ni evidente. Cuando ese proceso participativo se trata de implementar o describir es fácil que surjan obstáculos. Se puede encontrar un descripción de algunos de ellos como aversión al riesgo, el trabajo extra, la inercia, el hábito o la rutina, los intereses creados, la dificultad de delegar y de distribuir el poder, en esta publicación de hace 15 años (iii) del legendario Robert Chambers (84 años ya, pero sólo cuatro más que Robert Redford y Woody Allen…), junto a otros compañeros del Institute of Development Studies (IDS): The new dinamic of aid: power, procedures and relationships (Chambers, R; Pettit, J. Scott-Villiers, P.,2001). Es interesante cómo estos conceptos también son estudiados desde una disciplina que me fascina: la psicología social

Los procesos participativos no son sólo un fin en sí mismos, sino que deben ser un medio y han de ser utilizados en coherencia con los objetivos de desarrollo que se persiguen. Hay algunos errores por desgracia muy comunes que pueden reducir el impacto positivo de la participación. Y es que hoy en día y desde hace un tiempo a cualquier reunión de más de dos personas se le puede acuñar el manoseado término de participativo. Pero un proceso participativo tiene grandes amenazas que pueden llevar a la desconfianza y a la decepción de los participantes hacia éste y futuros procesos participativos. Algunos son la improvisación, la premura, la exclusión, la imposición, la manipulación o la falta de devolución de productos (Pretty, 1995). Por tanto algunos de los errores comunes y algunas de las debilidades y amenazas que dan lugar a unos procesos de participación descafeinados, “no reales ni representativos” son las siguientes (Elaboración propia a partir de Pretty (1995):

-Improvisación: se falla en planificar el proceso y en explicarlo a la gente, y se “queda corto”; los métodos deben ser seleccionados en función de un objetivo claro;

-Superficialidad: se recolectan pocos datos, sin cruzar los métodos para profundizar y “triangular” las fuentes;

-Premura: se corre hacia las conclusiones, omitiendo la profundización de aspectos poco claros o inexplicados;

-Exclusión: se omite la integración en el proceso ciertos miembros de la comunidad, generalmente los más marginados, los menos poderosos, los más críticos…;

-Imposición: se abandona la actitud de facilitador en algún momento del proceso y se imponen ideas, dejando de escuchar y aprender;

-Manipulación: el proceso participativo se lleva a cabo sólo para satisfacer las necesidades de los técnicos o de algunos líderes que manipulan el proceso para confortar sus propuestas;

-Falta de compromiso: se crea confusión si el proceso participativo no resulta de un compromiso inicial claro con la gente: objetivos, resultados esperados, devolución de los productos a la comunidad;

-Decepción: un proceso participativo despierta expectativas de la gente. Si no se le da el seguimiento esperado, se habrá otra vez “extraído” información sin devolver nada, y la credibilidad del método mismo quedará afectada en la comunidad.

Por tanto algunos de los aspectos esenciales en los procesos participativos son: (1) contar con las relaciones estructurales y la capacidad y habilidad de la gente para negociar, pues lo que determina realmente la participación es el poder de decisión; encontrar métodos y técnicas a través de los que la gente puede jugar un papel real. Por ello el éxito de la participación depende en gran medida del grado de organización de la gente y de la flexibilidad de cada actor. (2) Contar con las limitaciones técnicas y operativas del enfoque, que hacen necesaria la evaluación continua de las herramientas metodológicas utilizadas. (3) Contar con las limitaciones conceptuales y políticas de la participación: (i) hay que señalar la importancia de los diferentes objetivos en la práctica de la participación, si es un fin o un medio, y de la aplicabilidad y pertinencia de las técnicas participativas; (ii) aspectos como diversidad y diferenciación no son claros cuando se habla de participación; (iii) la participación puede ser una forma de cooptación política y requerir contribuciones de los participantes en forma de trabajo, dinero u otros tipos de transferencias en los costes del trabajo. Esto puede enmascarar una situación de centralismo en nombre de la descentralización (Biggs & Smith 1998, Stirrat y Henkel 1997).

Y es que tal y como describe el profesor que conocí en la Universidad de Manchester, Richard Heeks (1999) la participación con facilidad puede devenir una tiranía (la tiranía de la participación): (1) Tiranía de toma de decisiones y control si ignora los procesos de decisión existentes y legítimos. (2) Tiranía del grupo si las dinámicas de grupos llevan a decisiones tomadas de forma (participativa) que refuerzan a los ya de por sí más fuertes. (3) Tiranía del método si los métodos participativos sustituyen algunas ventajas que otros métodos pueden proporcionar. De esta forma es fácil que la participación sea una tiranía cuando se ignora el contexto (falta de capacidades, recursos humanos, tiempo…), los riesgos (ignorar las razones para la no participación, presiones de grupo y riesgos de participar) o el objetivo (participación no responsable, no representativa, burocrática o de interés particular).

Finalizamos con dos reflexiones interesantes: la primera de Guijt y Shah (1998 en Heeks, 1999:2) indicando que los procesos participativos han sido utilizados en ocasiones como soluciones técnicas y de gestión para lo que básicamente eran problemas políticos . La segunda, señalando que hay contextos de desarrollo donde la participación no es “realmente” participación, donde la cultura y la política de una organización impiden procesos realmente participativos al no ser posible que los implicados determinen qué, cómo o para qué se hacen las cosas (Biggs, 1998 en Heeks, 1999:3). Por tanto hay que ser conscientes de que hay contextos donde, sin unos requisitos previos, la participación no es una técnica efectiva, pertinente o viable.

No todo vale compañer@s cuando hablamos de participación…aunque siga siendo verdad que lo importante (normalmente…o después de este post a veces) es participar

Y como siempre…a ver si nos vemos…o nos seguimos viendo…participando de verdad

REFERENCIAS CITADAS

 

Biggs, S. & Smith, G. (1998) “Beyond methodologies: Coalition Building for participatory technology development“, World Development, vol. 26, no. 2, pp. 239-248.

Heeks, R. (1999) “The Tyranny of Participation in Information Systems: Learning from Development Projects“, IDPM Working Papers, vol. 4. IDPM, Manchester.

Chambers, R; Pettit, J. & Scott-Villiers, P. (2001) “The new dynamic of aid: power, procedures and relationships“, IDS Policy Briefing no. 15. IDS, Brighton.

Pretty, J. N. (1995) “Participatory Learning for Sustainable Agriculture“, World Development, vol. 23, no. 8, pp. 1247-1263.

Rodríguez-Ariza, C. (2010) “La gestión de la información en organizaciones de desarrollo (vol.II) El caso de los departamentos de las administraciones públicas españolas que trabajan a través de las ONGD. Un reto y un compromiso asociado a la agenda de calidad de la ayuda”. Nº 11 / 2010

Stirrat, R. & Henkel, H. (1997) “The development gift: the problem of reciprocity in the ONG World”, Annals of the American Academy of Political Science, vol. 554, p. 80.

 

Usos y abusos de las evaluaciones: Teoría, Retórica y Práctica


Con la misma editorial que publicó parte de mi tesis sobre la gestión de la información en las organizaciones de desarrollo, estoy en estos momentos completando otra publicación sobre “la gestión del conocimiento y el uso de las evaluaciones”.

Aunque aparece en repetidas ocasiones en el lV plan Director y en el Plan de Evaluaciones de la Cooperación Española, no hay mucha literatura que hable explícitamente sobre la “gestión del conocimiento de las evaluaciones”(os animo a sentir lo frústrante que es googlear “knowledge management of evaluations”). Sin embargo al contactar con algunos colegas a nivel internacional, la mayoría me refieren al concepto de “uso de las evaluaciones”.

La discusión en torno al “uso de las evaluaciones” es un tema que ha sido y sigue siendo importante en el mundillo de los locos de la evaluación. Así está reciente la publicación que recoge una buena sistematización en castellano:“Determinación de los principios básicos para lograr una mayor calidad y utilización de las evaluaciones” de mi colega Rafael Monterde (mundialmente conocido por su blog Evaluateca). Recientemente (2013) ha sido publicado el libro “Enhancing Evaluation Use” con Marlène Läubli Loud y John Mayne como editores.

Finalmente el próximo mes, los días 20 y 21 de marzo tendrá lugar la conferencia CDI Conference: Improving the use of M&E processes and findings, organizada en Wageningen por el equipo de Cecile Custer.

Pero volviendo a la “gestión del conocimiento” de las evaluaciones: ¿tiene sentido tratarlo más allá del mero”uso”? Creo que sí porque, aunque se solapan de manera importante, el enfoque de “gestión del conocimiento de evaluaciones” añade matices que no tiene el “uso de evaluaciones”.

La “gestión del conocimiento” es un instrumento que posibilita el uso de las evaluaciones. Porque el conocimiento surgido del proceso evaluativo·”debería” ser recopilado, sistematizado, almacenado y difundido…para poder ser utilizado de forma óptima. Y entonces estamos hablando de una estrategia de gestión del conocimiento y de agentes de cambio, esto es de gestores (de la evaluación o del conocimiento surgido de la misma). Aun así el concepto de  “gestión del conocimiento” tiene tantos registros que también es un campo a acotar (qué entendemos por conocimiento, usos y usuarios del conocimiento, quién y para qué se construye el conocimiento, el conocimiento tiene claras implicaciones de género)

Retos de la gestión del conocimiento

¿Cuáles son los mayores obstáculos para la gestión del conocimiento de las evaluaciones? De nuevo Nick Milton nos indica algunos: (1) El conocimiento se concibe como poder individual o no colectivo. (2) El sub-óptimo rol de lo colectivo y las nuevas relaciones, del trabajo en equipo y la colaboración. (4) El enfoque local no se percibe como oportunidad para el desarrollo de comunidades de práctica. (5) Respeto y relación de confianza como principios de los intercambios. (6) Las personas, a menudo con mucha razón, tienen miedo de que los fallos o errores se penalizarán, y por lo tanto no están dispuestos a compartir lo que pueden ver como un fracaso. (7) Los trabajadores sienten que no se les paga para compartir. (8) Las personas que sienten que no tienen tiempo para compartir. Esta es una barrera muy real, ya que la mayoría de la gente está ” a tope ” en todo momento. Así que tenemos que hacer que el intercambio de conocimientos tan rápido y eficiente como sea posible, porque realmente no tenemos tiempo para no compartir.

También según Milton un marco de la gestión del conocimiento es un sistema completo de personas, procesos, tecnología y gestión, que asegura que la gestión del conocimiento se aplica de forma sistemática y eficaz para aplicar y utilizar la evaluación (su proceso y sus resultados). Por tanto en el caso de las evaluaciones, necesitamos actores implicados, gestores, procesos, tecnología y gestión para asegurar su uso.

Usos y abusos de las evaluaciones

Como se indica en el libro de Lübli y Mayne, la deficiente utilización de las evaluaciones en las organizaciones es un tema recurrente en la literatura sobre evaluaciones. Y los artículos sobre evaluaciones de éxito en las organizaciones son más difíciles de encontrar; quizás debido a los desincentivos para hacerlo o porque cuando se hace, por muy bien que se haga, parece ser “documentación gris”, propaganda o panfletos institucionales vamos. Pero en esa dirección, en la de evaluaciones exitosas, en este momento se están desarrollando interesantes procesos como el de las evaluaciones que marcan la diferencia.

Volviendo a la deficiencia del uso, por un lado la literatura da pistas sobre cómo solventar esos retos, algunos pasan por: (1) producir mejores evaluaciones, (2) acercarse a los decisores políticos, (3) construir una cultura de evaluación, (4) comunicar mejor. Hay además otro cuerpo de publicaciones sobre aprendizaje organizacional que se centra en (1) cómo aprenden las organizaciones, (2) cómo la evaluación se relaciona con el aprendizaje organizacional. Mi experiencia es que a problemas complejos, soluciones complejas (cualquier estudiante de álgebra o cálculo lo sabe). Los retos de la vida real son una mezcla de los anteriores más unos cuantos más…empezando por la existencia o no de verdadera voluntad de cambio en los dirigentes, líderes o mandamases que centralizan poder y decisiones…aunque en menor medida centralicen rendición de cuentas…

Usos y usuarios, Racionalidad y Motivación de las evaluaciones

El uso de las evaluaciones está directamente relacionado con quién, qué, por qué, para qué se usan y se implican en las evaluaciones.

¿Quiénes usan las evaluaciones? ¿Qué usos? Los usuarios y los usos están relacionados. Podemos encontrar (a) usuarios de evaluación esperados o intencionales o intencionados (implicados o no), (b) usuarios no esperados, lo que también se llama “otras audiencias”. En este segundo apartado es en el que se diferencia la “Evaluación Enfocada a la Utilidad” (recordemos aquí a Ricardo Ramírez y Dal Brodhead  por no citar siempre al omnipresente Patton) y la “Gestión del Conocimiento de las Evaluaciones” en sentido más amplio. Y éste es uno de los grandes retos: ¿Por qué desde hace años las evaluaciones en todo el mundo vienen repitiendo las mismas conclusiones y recomendaciones?¿Por qué no se aprende ni del mal ajeno ni del propio? ¿Cómo lograr que utilicen la evaluación grupos o individuos que no se han implicado directamente en el proceso evaluativo?

Relacionado con el tipo de uso, hay muchas clasificaciones en base al uso de las evaluaciones (es especialmente interesante la “Investigación sobre el uso de las evaluaciones” de Johnson et al (2009)). También hay instituciones como el CAD (The DAC Network on Development Evaluation – 30 years of strengthening learning in development), UNEG (Report of the UNEG Evaluation Practice Exchange (EPE) 2013 Seminar), ECG (Knowledge Generation and Sharing by Multilateral Development Banks) o el propio DFID (ODI: Strengthening learning from research and evaluation: going with the grain ) que han profundizado en esa dirección. Mi ambición ha sido tener una visión sistémica, tratando de comprender la teoría del cambio de la evaluación y el rol del conocimiento que va surgiendo en cada una de sus fases. Esto puede dar cabida a todos ellos, y de alguna forma contiende tanto los postulados de los más recientes y completos marcos teóricos sobre el uso de evaluaciones (como los de Kirkhart (2000) y Henry & Mark (2003). Por ello enfoco la gestión del conocimiento de la evaluación situada en un marco que divide el contexto, diseño, proceso, estructura y resultados de la evaluación. El propio manual de gestión de evaluaciones de la Cooperación Española tiene un marcado enfoque de “proceso” evaluativo. En este proceso podemos distinguir la fase de (1) diseño evaluativo (que culmina con la realización de los TdR y la selección del equipo evaluador y su propuesta), (2) la ejecución de la evaluación y (3) la difusión y comunicación de resultados. Aunque cuando la gente piensa en una evaluación tiene en mente la parte de la ejecución, cuando se piensa en “el uso”, nos solemos centrar en la parte de difusión y comunicación. Sin embargo la gestión del conocimiento de la evaluación comienza en su fase de diseño. Claro está que esta gestión del conocimiento puede ser emergente o planificada. El conocimiento que surge en cada fase, puede ser gestionado o no y puede ser utilizado o no. Hay muchos usos o utilidades normalmente olvidados, basados en conocimiento tácito, por citar dos ejemplos: (1) los evaluadores externos independientes de recopilar y aprender las ofertas ganadoras en las licitaciones, (2) los gestores de la evaluación de sistematizar fortalezas y debilidades de los a veces poco participativos comités de seguimiento de las evaluaciones.

En cada una de estas tres fases a su vez, adaptando a partir de Verdung (1997), el uso de la evaluación puede ser: (1) Uso directo e interno, para la toma de decisiones inmediata de los usuarios esperados (uso instrumental), (2) Uso indirecto interno o externo, para usuarios no esperados u otras audiencias más amplias (uso conceptual), (3) Uso de proceso y (4) Uso retórico, ya que se evalúa porque hay que evaluar, de cara a la galería, pero sin pretender en realidad un propósito más allá de la autojustificación o autolegitimación (uso justificativo, legitimitativo, ritual, simbólico…). Este cuarto uso es considerado como ilegítimo, es decir como un “abuso” evaluativo, aunque por desgracia predomine mucho. Sin embargo hemos de señalar que en determinados “contextos y estructuras” en las que se da el proceso evaluativo no se da la más mínima opción a los otros tres tipos de uso. Contandriopoulos & Brousselle (2012) en su “Evaluation models and evaluation use”,  describen algunas de las barreras impuestas  por el “contexto del uso”: ideología y actores polarizados, que da lugar a la inexistencia de arena política para discutir y presentar de forma honesta fracasos y logros .

La capacidad de influencia por la gestión del conocimiento de las evaluaciones

En un mundo ideal desde el diseño de la evaluación se establecería una estrategia de gestión del conocimiento, con el fin de (1) establecer usos por fases y de (2) establecer los diferentes niveles de influencia, a “nivel individual, relacional o colectivo”

Dada la importancia de que sea un proceso planificado y no emergente, 3ie y ODI señalan lo ventajoso de que se presente un plan de Influencia política, que identifique: (1) qué cambios (incluyendo la Teoría del Cambio) en la actitud, el discurso, los procedimientos, el contenido de la política o la legislación , o los comportamientos , y (2) a qué partes interesadas o campeones del cambio (los responsables políticos, los medios de comunicación, organizaciones de la sociedad civil, asociaciones profesionales y comerciales clave de política sindicatos, grupos religiosos , etc) se dirigen.

El gran reto es comprender en profundidad la Teoría del Cambio de nuestra evaluación y en especial visualizar antes de tiempo y abrir la caja negra del proceso final de utilización o uso- ¿Podemos tener claro cómo son los procesos de influencia de las evaluaciones?¿En nuestros propias organizaciones, contextos y procesos evaluativos cómo identificar los mecanismos que favorecen los usos que nos proponemos? Tenemos una interesante profundización en el concepto de “mecanismos” de cambio en evaluación basada en teoría de programas en este artículo de Astbury y Leeuw (2010)

Algunas recetas para los inquietos

Aunque lo más importante es resolver los cuellos de botella estructurales, también se pueden dar algunos mecanismos para mejorar el uso de las evaluaciones. Y estos mecanismos son muy variados: Hay muchas maneras de comunicar, compartir o difundir información de las evaluaciones a las audiencias más amplias más allá de los usuarios esperados. Es esencial determinar los mecanismos del cambio que permitan o desatasquen dichos procesos de influencia. Para que la información de las evaluaciones sea fácil de usar ha de ser gestionada de forma que se transforme en un conocimiento de fácil acceso y atractivo para el público. A continuación se presentan algunos productos o procesos de la fase de difusión y comunicación, típicas acciones de gestión del conocimiento, muchas de los cuales pueden ser requisitos para los evaluadores en los TdR: (1) Elaborar diferentes formatos, con resúmenes concisos adaptados a audiencias diversas, en un lenguaje sencillo que permita circular ampliamente (2) Situar en los sitios web públicos de la organización los informes de evaluación y otros productos basados en las evaluaciones, siempre muy claros y a poder ser en las lenguas locales. (3) Organizar reuniones con las partes interesadas para discutir las lecciones de la evaluación. (4) Incorporar hallazgos de la evaluación y las lecciones aprendidas en las publicaciones existentes en la organización, tales como informes anuales, boletines de noticias o boletines. (5) Difundir las conclusiones y lecciones en las asambleas y reuniones anuales y foros con los medios de comunicación. (6) Desarrollar formatos adaptados sobre las actividades, los logros y retos de la organización. (5) Elaborar resúmenes concisos  en un lenguaje sencillo y circular ampliamente. (6) Publicar un artículo para una revista académica con base en los hallazgos de la evaluación. (7) Presentar una ponencia en una conferencia relacionada con el área objeto de evaluación. (8) Invitar a los evaluadores, investigadores y académicos locales a discutir los datos recogidos por la evaluación o para discutir la metodología y los métodos aplicados en la evaluación de la evaluación. (9) Compartir los hallazgos, recomendaciones y lecciones aprendidas en las sesiones y talleres de capacitación del personal, las contrapartes gubernamentales y otros socios. (10)  Compartir las lecciones a través de redes de conocimiento, notas sobre prácticas dentro y fuera de la organización. (11) Elaborar una respuesta de gestión a la evaluación por parte de la organización. Hacer su seguimiento y exponerlo públicamente.

La ficción del desarrollo


“Contar es casi siempre un regalo, incluso cuando lleva e inyecta veneno el cuento, también es un vínculo y otorga confianza” (Javier Marías)

En esta ocasión traigo juntas algunas de mis pasiones: literatura, desarrollo y evaluación. La evaluación tiene de arte y de ciencia. Este post está dedicado a una de las personas que más me han influido tanto por su arte, como por su ciencia: mi padre. De él aprendí por qué subimos las montañas…“porque están ahí”….

La evaluación es una ciencia inabarcable y es un arte que se va perfeccionando y tomando nuevos matices con su práctica (y teoría). Ciencia y arte requieren de altas dosis de suerte y razonamiento. Forma parte de ello el arte y la ciencia de contar historias. Un evaluador ha de saber contar historias. Y es que esto del desarrollo da para muchas historias. El reto es escucharlas, construirlas y contarlas bien…y que te escuchen, que ése es otro cantar. A veces el problema no es la historia o el/la relator/a, sino una audiencia sorda, aunque un buen enfoque evaluativo ha de estar preparado ante tal eventualidad.

Contar historias o relatos nos ayuda a compartir nuestro conocimiento poniéndolo en contexto y dotándolo de emoción. Podemos compartir así conocimiento tácito y explícito. Las historias o relatos por otro lado llaman nuestra atención aumentando la posibilidad de escuchar y aprender. Pero a veces la potencia de contar y escuchar historias deja atrás…hasta los mismísimos RCTs. Y es que una buena narrativa o historia es mejor que muchos documentos, incluidas evaluaciones, especialmente cuando están basados en anécdotas…

Podemos encontrar muchos enfoques en base a contar historias en la evaluación de programas. Y por ejemplo la técnica de los “Cambios más significativos” (Most Significant Changes) se basa en seleccionar historias. La misma evaluación basada en la teoría de programa ha de ser capaz de reproducir la historia de “lo que ha pasado y por qué ha pasado” entremezclando a sus protagonistas: el diseño, el contexto, la estructura, el proceso y los resultados del programa.

Numerosas organizaciones recurren a ello, contando historias “de personas, de gente”, que es lo que más llega “a las personas, a la gente”. Ahora por ejemplo Oxfam Intermon demuestra el poder del arte para contar historias que lleguen a la gente en su proyecto “Un arte que agita conciencias”, en el que reivindica las bondades y necesidad de la cooperación para el desarrollo. A pesar de que no son buenos tiempos para la lírica.

Recientemente en base a una conferencia en el IDS que se emitió en la BBC (Popular Representations of Development: Insights from Novels, Films, Television and Social Media) ha habido un debate en la red KM4Dev sobre la ficción en el desarrollo. Supongo que muchos profesionales del desarrollo tendrán el gusanillo de escribir, aunque serán menos los que se dediquen a ello de forma más o menos sistemática (ya no digo profesional).

Por otro derrotero, pero dentro de la familia Oxfam, en uno de sus recientes posts, “Cautionary-tales-for-development-folk”, Duncan Green habla del libro escrito por un viejo conocido mío, Neil McDonald. Conocí a Neil en una misión en Ecuador para el proyecto Futuros Humanitarios. Este proyecto, Futuros Humanitarios, y la técnica que utilizaba, los “escenarios de futuro“, me recordaba a la técnica de la psicohistoria en esa saga de novelas de Asimov, la Fundación, que leí cuando era más joven (y vuelta a la ficción, los libros, la literatura y al desarrollo…y es que como decía Rilke “nuestra verdadera patria es la infancia”). Entonces, hace casi 7 años, Neil me pareció un escocés sabio y experimentado en temas de desarrollo, del que se podía aprender mucho…(y algo cascarrabias 😉 ). De él escuché el comentario:“Si no fuera por la cantidad de gente incompetente dentro de las instituciones, no habría trabajo para consultores independientes como nosotros”. Claro que en se dan casos como el de España en el que los consultores o asesores a menudo son más incompetentes que los funcionarios.

Otro de los comentarios que recuerdo de Neil fue: “En el mundo anglosajón, todo trabajador humanitario o del desarrollo acaba publicando un libro”.  No se refería a un libro sobre el desarrollo, sino a ficción, cuentos, novelas…Pues parece que Neil ya ha hecho realidad la publicación de sus sueños. “Cautionary-tales-for-development-folk” es su libro de ficción.

Pero hay muchas formas de contar la misma historia, de ahí el actual auge en evaluación de tendencias como la visualización de datos, infografías y comics. Pero esa es otra historia y tendrá que ser contada en otro momento.

El poder (para) ser capaz


Un tema clave en la Cooperación al Desarrollo es el de  las relaciones de poder en la cadena de la ayuda. Las relaciones jerárquicas, la asimetría de poder, añaden un grado de complejidad al ya de por sí complejo sector.  Ya lo trataré…

Y luego está el tema del uso del poder al interno de las organizaciones y de la diferencia entre la misión, el presupuesto a ejecutar y las capacidades reales de gestión de muchas de ellas. Claro que algunas tienen un “overhead” desmesurado, que de todo hay.

Y es que creo también que en muchas organizaciones de desarrollo no predicamos con el ejemplo. Vendemos la participación desde estructuras jerárquicas y centralizadas…tan viejo como el mundo.