Con la misma editorial que publicó parte de mi tesis sobre la gestión de la información en las organizaciones de desarrollo, estoy en estos momentos completando otra publicación sobre “la gestión del conocimiento y el uso de las evaluaciones”.

Aunque aparece en repetidas ocasiones en el lV plan Director y en el Plan de Evaluaciones de la Cooperación Española, no hay mucha literatura que hable explícitamente sobre la “gestión del conocimiento de las evaluaciones”(os animo a sentir lo frústrante que es googlear “knowledge management of evaluations”). Sin embargo al contactar con algunos colegas a nivel internacional, la mayoría me refieren al concepto de “uso de las evaluaciones”.

La discusión en torno al “uso de las evaluaciones” es un tema que ha sido y sigue siendo importante en el mundillo de los locos de la evaluación. Así está reciente la publicación que recoge una buena sistematización en castellano:“Determinación de los principios básicos para lograr una mayor calidad y utilización de las evaluaciones” de mi colega Rafael Monterde (mundialmente conocido por su blog Evaluateca). Recientemente (2013) ha sido publicado el libro “Enhancing Evaluation Use” con Marlène Läubli Loud y John Mayne como editores.

Finalmente el próximo mes, los días 20 y 21 de marzo tendrá lugar la conferencia CDI Conference: Improving the use of M&E processes and findings, organizada en Wageningen por el equipo de Cecile Custer.

Pero volviendo a la “gestión del conocimiento” de las evaluaciones: ¿tiene sentido tratarlo más allá del mero”uso”? Creo que sí porque, aunque se solapan de manera importante, el enfoque de “gestión del conocimiento de evaluaciones” añade matices que no tiene el “uso de evaluaciones”.

La “gestión del conocimiento” es un instrumento que posibilita el uso de las evaluaciones. Porque el conocimiento surgido del proceso evaluativo·”debería” ser recopilado, sistematizado, almacenado y difundido…para poder ser utilizado de forma óptima. Y entonces estamos hablando de una estrategia de gestión del conocimiento y de agentes de cambio, esto es de gestores (de la evaluación o del conocimiento surgido de la misma). Aun así el concepto de  “gestión del conocimiento” tiene tantos registros que también es un campo a acotar (qué entendemos por conocimiento, usos y usuarios del conocimiento, quién y para qué se construye el conocimiento, el conocimiento tiene claras implicaciones de género)

Retos de la gestión del conocimiento

¿Cuáles son los mayores obstáculos para la gestión del conocimiento de las evaluaciones? De nuevo Nick Milton nos indica algunos: (1) El conocimiento se concibe como poder individual o no colectivo. (2) El sub-óptimo rol de lo colectivo y las nuevas relaciones, del trabajo en equipo y la colaboración. (4) El enfoque local no se percibe como oportunidad para el desarrollo de comunidades de práctica. (5) Respeto y relación de confianza como principios de los intercambios. (6) Las personas, a menudo con mucha razón, tienen miedo de que los fallos o errores se penalizarán, y por lo tanto no están dispuestos a compartir lo que pueden ver como un fracaso. (7) Los trabajadores sienten que no se les paga para compartir. (8) Las personas que sienten que no tienen tiempo para compartir. Esta es una barrera muy real, ya que la mayoría de la gente está » a tope » en todo momento. Así que tenemos que hacer que el intercambio de conocimientos tan rápido y eficiente como sea posible, porque realmente no tenemos tiempo para no compartir.

También según Milton un marco de la gestión del conocimiento es un sistema completo de personas, procesos, tecnología y gestión, que asegura que la gestión del conocimiento se aplica de forma sistemática y eficaz para aplicar y utilizar la evaluación (su proceso y sus resultados). Por tanto en el caso de las evaluaciones, necesitamos actores implicados, gestores, procesos, tecnología y gestión para asegurar su uso.

Usos y abusos de las evaluaciones

Como se indica en el libro de Lübli y Mayne, la deficiente utilización de las evaluaciones en las organizaciones es un tema recurrente en la literatura sobre evaluaciones. Y los artículos sobre evaluaciones de éxito en las organizaciones son más difíciles de encontrar; quizás debido a los desincentivos para hacerlo o porque cuando se hace, por muy bien que se haga, parece ser “documentación gris”, propaganda o panfletos institucionales vamos. Pero en esa dirección, en la de evaluaciones exitosas, en este momento se están desarrollando interesantes procesos como el de las evaluaciones que marcan la diferencia.

Volviendo a la deficiencia del uso, por un lado la literatura da pistas sobre cómo solventar esos retos, algunos pasan por: (1) producir mejores evaluaciones, (2) acercarse a los decisores políticos, (3) construir una cultura de evaluación, (4) comunicar mejor. Hay además otro cuerpo de publicaciones sobre aprendizaje organizacional que se centra en (1) cómo aprenden las organizaciones, (2) cómo la evaluación se relaciona con el aprendizaje organizacional. Mi experiencia es que a problemas complejos, soluciones complejas (cualquier estudiante de álgebra o cálculo lo sabe). Los retos de la vida real son una mezcla de los anteriores más unos cuantos más…empezando por la existencia o no de verdadera voluntad de cambio en los dirigentes, líderes o mandamases que centralizan poder y decisiones…aunque en menor medida centralicen rendición de cuentas…

Usos y usuarios, Racionalidad y Motivación de las evaluaciones

El uso de las evaluaciones está directamente relacionado con quién, qué, por qué, para qué se usan y se implican en las evaluaciones.

¿Quiénes usan las evaluaciones? ¿Qué usos? Los usuarios y los usos están relacionados. Podemos encontrar (a) usuarios de evaluación esperados o intencionales o intencionados (implicados o no), (b) usuarios no esperados, lo que también se llama “otras audiencias”. En este segundo apartado es en el que se diferencia la “Evaluación Enfocada a la Utilidad” (recordemos aquí a Ricardo Ramírez y Dal Brodhead  por no citar siempre al omnipresente Patton) y la “Gestión del Conocimiento de las Evaluaciones” en sentido más amplio. Y éste es uno de los grandes retos: ¿Por qué desde hace años las evaluaciones en todo el mundo vienen repitiendo las mismas conclusiones y recomendaciones?¿Por qué no se aprende ni del mal ajeno ni del propio? ¿Cómo lograr que utilicen la evaluación grupos o individuos que no se han implicado directamente en el proceso evaluativo?

Relacionado con el tipo de uso, hay muchas clasificaciones en base al uso de las evaluaciones (es especialmente interesante la “Investigación sobre el uso de las evaluaciones” de Johnson et al (2009)). También hay instituciones como el CAD (The DAC Network on Development Evaluation – 30 years of strengthening learning in development), UNEG (Report of the UNEG Evaluation Practice Exchange (EPE) 2013 Seminar), ECG (Knowledge Generation and Sharing by Multilateral Development Banks) o el propio DFID (ODI: Strengthening learning from research and evaluation: going with the grain ) que han profundizado en esa dirección. Mi ambición ha sido tener una visión sistémica, tratando de comprender la teoría del cambio de la evaluación y el rol del conocimiento que va surgiendo en cada una de sus fases. Esto puede dar cabida a todos ellos, y de alguna forma contiende tanto los postulados de los más recientes y completos marcos teóricos sobre el uso de evaluaciones (como los de Kirkhart (2000) y Henry & Mark (2003). Por ello enfoco la gestión del conocimiento de la evaluación situada en un marco que divide el contexto, diseño, proceso, estructura y resultados de la evaluación. El propio manual de gestión de evaluaciones de la Cooperación Española tiene un marcado enfoque de “proceso” evaluativo. En este proceso podemos distinguir la fase de (1) diseño evaluativo (que culmina con la realización de los TdR y la selección del equipo evaluador y su propuesta), (2) la ejecución de la evaluación y (3) la difusión y comunicación de resultados. Aunque cuando la gente piensa en una evaluación tiene en mente la parte de la ejecución, cuando se piensa en “el uso”, nos solemos centrar en la parte de difusión y comunicación. Sin embargo la gestión del conocimiento de la evaluación comienza en su fase de diseño. Claro está que esta gestión del conocimiento puede ser emergente o planificada. El conocimiento que surge en cada fase, puede ser gestionado o no y puede ser utilizado o no. Hay muchos usos o utilidades normalmente olvidados, basados en conocimiento tácito, por citar dos ejemplos: (1) los evaluadores externos independientes de recopilar y aprender las ofertas ganadoras en las licitaciones, (2) los gestores de la evaluación de sistematizar fortalezas y debilidades de los a veces poco participativos comités de seguimiento de las evaluaciones.

En cada una de estas tres fases a su vez, adaptando a partir de Verdung (1997), el uso de la evaluación puede ser: (1) Uso directo e interno, para la toma de decisiones inmediata de los usuarios esperados (uso instrumental), (2) Uso indirecto interno o externo, para usuarios no esperados u otras audiencias más amplias (uso conceptual), (3) Uso de proceso y (4) Uso retórico, ya que se evalúa porque hay que evaluar, de cara a la galería, pero sin pretender en realidad un propósito más allá de la autojustificación o autolegitimación (uso justificativo, legitimitativo, ritual, simbólico…). Este cuarto uso es considerado como ilegítimo, es decir como un “abuso” evaluativo, aunque por desgracia predomine mucho. Sin embargo hemos de señalar que en determinados “contextos y estructuras” en las que se da el proceso evaluativo no se da la más mínima opción a los otros tres tipos de uso. Contandriopoulos & Brousselle (2012) en su “Evaluation models and evaluation use”,  describen algunas de las barreras impuestas  por el “contexto del uso”: ideología y actores polarizados, que da lugar a la inexistencia de arena política para discutir y presentar de forma honesta fracasos y logros .

La capacidad de influencia por la gestión del conocimiento de las evaluaciones

En un mundo ideal desde el diseño de la evaluación se establecería una estrategia de gestión del conocimiento, con el fin de (1) establecer usos por fases y de (2) establecer los diferentes niveles de influencia, a “nivel individual, relacional o colectivo”

Dada la importancia de que sea un proceso planificado y no emergente, 3ie y ODI señalan lo ventajoso de que se presente un plan de Influencia política, que identifique: (1) qué cambios (incluyendo la Teoría del Cambio) en la actitud, el discurso, los procedimientos, el contenido de la política o la legislación , o los comportamientos , y (2) a qué partes interesadas o campeones del cambio (los responsables políticos, los medios de comunicación, organizaciones de la sociedad civil, asociaciones profesionales y comerciales clave de política sindicatos, grupos religiosos , etc) se dirigen.

El gran reto es comprender en profundidad la Teoría del Cambio de nuestra evaluación y en especial visualizar antes de tiempo y abrir la caja negra del proceso final de utilización o uso- ¿Podemos tener claro cómo son los procesos de influencia de las evaluaciones?¿En nuestros propias organizaciones, contextos y procesos evaluativos cómo identificar los mecanismos que favorecen los usos que nos proponemos? Tenemos una interesante profundización en el concepto de “mecanismos” de cambio en evaluación basada en teoría de programas en este artículo de Astbury y Leeuw (2010)

Algunas recetas para los inquietos

Aunque lo más importante es resolver los cuellos de botella estructurales, también se pueden dar algunos mecanismos para mejorar el uso de las evaluaciones. Y estos mecanismos son muy variados: Hay muchas maneras de comunicar, compartir o difundir información de las evaluaciones a las audiencias más amplias más allá de los usuarios esperados. Es esencial determinar los mecanismos del cambio que permitan o desatasquen dichos procesos de influencia. Para que la información de las evaluaciones sea fácil de usar ha de ser gestionada de forma que se transforme en un conocimiento de fácil acceso y atractivo para el público. A continuación se presentan algunos productos o procesos de la fase de difusión y comunicación, típicas acciones de gestión del conocimiento, muchas de los cuales pueden ser requisitos para los evaluadores en los TdR: (1) Elaborar diferentes formatos, con resúmenes concisos adaptados a audiencias diversas, en un lenguaje sencillo que permita circular ampliamente (2) Situar en los sitios web públicos de la organización los informes de evaluación y otros productos basados en las evaluaciones, siempre muy claros y a poder ser en las lenguas locales. (3) Organizar reuniones con las partes interesadas para discutir las lecciones de la evaluación. (4) Incorporar hallazgos de la evaluación y las lecciones aprendidas en las publicaciones existentes en la organización, tales como informes anuales, boletines de noticias o boletines. (5) Difundir las conclusiones y lecciones en las asambleas y reuniones anuales y foros con los medios de comunicación. (6) Desarrollar formatos adaptados sobre las actividades, los logros y retos de la organización. (5) Elaborar resúmenes concisos  en un lenguaje sencillo y circular ampliamente. (6) Publicar un artículo para una revista académica con base en los hallazgos de la evaluación. (7) Presentar una ponencia en una conferencia relacionada con el área objeto de evaluación. (8) Invitar a los evaluadores, investigadores y académicos locales a discutir los datos recogidos por la evaluación o para discutir la metodología y los métodos aplicados en la evaluación de la evaluación. (9) Compartir los hallazgos, recomendaciones y lecciones aprendidas en las sesiones y talleres de capacitación del personal, las contrapartes gubernamentales y otros socios. (10)  Compartir las lecciones a través de redes de conocimiento, notas sobre prácticas dentro y fuera de la organización. (11) Elaborar una respuesta de gestión a la evaluación por parte de la organización. Hacer su seguimiento y exponerlo públicamente.