Evaluación y Gestión del conocimiento, ¿moda o necesidad?


En el pasado congreso de la RELAC tuve el privilegio de facilitar un taller sobre gestión del conocimiento y evaluación. Además tuve la suerte de conocer en persona a dos evaluadoras y especialistas latinoamericanas en gestión del conocimiento como Branda Buchelli y Kemly Camacho. Ya hace más de diez años Brenda Buchelli publicaba sobre gestión del conocimiento, veamos este trabajo sobre comunidades de aprendizaje publicado en INTRAC Comunidades de Aprendizaje: Lecciones Aprendidas sobre experiencias en América Latina. Kemly Camacho ha aportado aspectos muy interesantes para la discusión sobre gestión del conocimiento en la comunidad KM4DEV: Aportes para una discusión Latinoamericana

También conocí gracias a Juan José Portillo las experiencias de la oficina independiente de evaluación del GEF en gestión del conocimiento y evaluación.

Pero tratemos de centrar el tema. A veces es más fácil tratar de comprender algo empezando por lo que no es. Y hay veces que es mejor empezar de nuevo, de cero. Como dirían esos modernos pepitos grillos, los electroduendes, hay que enseñar a desaprender cómo se deshacen las cosas. Por cierto que el enlace tiene un regalo de la bruja avería, responsable en tanas ocasiones de que no se dé el crimen del aprendizaje.

Y es que la gestión del conocimiento trata de aprender a aprender, pero ello implica en parte aprender a desaprender. Normalmente cuando se unen los conceptos gestión del conocimiento y evaluación, en demasiadas ocasiones nos referimos no tanto a la gestión del conocimiento sino a la mera gestión de la información o a la mera difusión de las evaluaciones.

Es intuitivo hablar del ciclo del conocimiento como un ciclo incremental, un ciclo en el que se va añadiendo valor-

Por “datos” entendemos el material recogido no analizado (tablas, acontecimientos, figuras…) de los informes de identificación y seguimiento

El concepto de “información” se refiere al conjunto de datos analizados, diseñados para tomar decisiones y ser transmitidos o recibidos a/por un tomador de decisiones.

Almacenamos, compartimos, difundimos con un click mucha información. Pero para nuestra desgracia ahí se queda la información, mucha información eso sí, cada vez más y con suerte hasta a veces útil, pero de ahí no sale conocimiento…

El “conocimiento” conlleva la reacción humana a la información

El factor humano, la persona, las personas, son difíciles hoy en día de tener en cuenta. La reacción humana a la información es difícil de considerar, de encajar, en la sociedad de la tecnología y de la burocracia administrativa, en la que todo se resuelve con una aplicación, con una base de datos, con una norma y un procedimiento administrativo…

Y ese factor humano, ese conocimiento humano no formalizado, codificado o explicitado, es lo que trata el conocimiento tácito. La gestión del conocimiento tácito es una parte esencial de la gestión del conocimiento, si tenemos en cuenta que el conocimiento explícito es sólo la punta del iceberg, como indica la imagen del iceberg del conocimiento.

La gestión del conocimiento es un campo multidisciplinar que cubre un terreno muy amplio. Esta multidisciplinareidad es una espada de doble filo ya que por un lado es una ventaja porque casi todo el mundo puede encontrar algo familiar en la Gestión del conocimiento pero, sin embargo, como desventaja los escépticos señalan que la Gestión del conocimiento no debería ser una disciplina con un único cuerpo de conocimiento, de forma que para ellos Gestión del conocimiento sería simplemente un sinónimo de gestión de la información. Sin embargo gestión de la información y gestión del conocimiento son diferentes…

La gestión de la información abarca cómo se recopila, se transfiere, almacena y accede la información. Es un campo interdisciplinar que se centra en la información como un recurso con un énfasis en la recolección. Se refiere a proporcionar un acceso transparente y estandarizado a la información, tanto dentro como fuera de la organización.

La gestión del conocimiento es asegurar que las personas (dentro de una organización o comunidad, sociedad…) aprendan las lecciones obtenidas de la experiencia y con garantía de que se transmite. Da sentido a la información en el contexto de sus usuarios.

Como indicaba ya al inicio, si volvemos a lo nuestro y al nexo gestión del conocimiento y evaluación, hasta el momento hay pocas publicaciones o pocos textos explícitamente sobre evaluación y gestión del conocimiento- y claro menos en castellano. En muchos de los casos nos referimos por gestión del conocimiento a la difusión de las evaluaciones, siendo ésta tan solo una de las partes del ciclo de gestión del conocimiento –pongamos por ejemplo el modelo de Dalkir que indica el ciclo captura, difusión e internalización del conocimiento. La potencialidad de la disciplina de la gestión del conocimiento podría aplicarse también a la captura del conocimiento existente o a la internalización o contextualización del conocimiento ya difundido por las evaluaciones.

Además normalmente se pierden otros nexos posibles entre la gestión del conocimiento y la evaluación…

  1. Gestión del conocimiento como herramienta para el diseño y proceso evaluativo.
  2. Gestión del conocimiento como disciplina de diferente propósito que puede convivir, cohabitar, mezclarse y solaparse en el respeto mutuo con la evaluación.
  3. Gestión del conocimiento de las evaluaciones –del diseño, del proceso y del producto evaluativo
  4. Evaluación como insumo para la gestión del conocimiento
  5. Evaluación de las estrategias de gestión del conocimiento

 

La gestión del conocimiento tuvo un mayor desarrollo hace más de 40 años en la empresa privada, pongamos el ejemplo de las petroleras, donde eran completamente conscientes de que el conocimiento y su buena gestión podían significar beneficios empresariales y la supervivencia de la organización. En el sector social y en la administración pública la gestión del conocimiento entró después tímida, parcial, voluntarista e intermitentemente. En el taller estuvimos discutiendo del por qué. Mi visión es la misma de por qué la evaluación no se extiende. Mi punto de vista es que por desgracia en los sectores sociales y medioambientales no funcionan correctamente los canales de rendición de cuentas. Y siendo aprendizaje y rendición de cuentas dos caras de la misma moneda, cuando no hay rendición de cuentas no hay aprendizaje. Seguimos teniendo dificultades para valorar el beneficio social y el beneficio medio ambiental. Esto implica que no solo no podemos, sabemos o queremos, sancionar a los que producen prejuicio social o ambiental sino, lo que es peor, no podemos, sabemos o queremos, incentivar y diferenciar a los que producen grandes beneficios sociales o ambientales. Como resultado no se sabe o conoce a los que producen beneficios sociales y ambientales. Tampoco parece que conocerlos sea una prioridad. Esto hace que el conocimiento, más allá de la retórica general o del voluntarismo particular, no tenga valor en los sectores públicos, sociales o asociativos relacionados con lo social o medio ambiental.

Recordemos que para que se dé el crimen del aprendizaje organizacional, han de encontrarse motivación, medios y oportunidades. A pesar de ello a día de hoy, y a veces luchando contra la apatía de sus direcciones, muchas organizaciones están tratando de unir gestión del conocimiento y evaluación. En la mayoría de los casos es un reto tanto en contenido como en estructura organizacional, siendo a la vez una oportunidad y un desafío. Como hemos dicho la información de una parte de los procesos de seguimiento y evaluación podría ser un insumo fundamental para los procesos de gestión del conocimiento y, de manera similar, las herramientas y técnicas de gestión del conocimiento podrían ayudar a mantener un mejor seguimiento y evaluación.

Al mismo tiempo, existen diferencias sutiles entre los enfoques de la evaluación y de la gestión del conocimiento. Una diferencia importante es que la evaluación trata de buscar un equilibrio entre el aprendizaje y la rendición de cuentas. La gestión del conocimiento se centra más en el aprendizaje y la reflexión y en la forma de compartir lo aprendido de las intervenciones. Sin embargo de hecho son complementarias, y requieren algunas habilidades que se superponen, como la capacidad para recoger, analizar y resumir e interpretar datos- aunque los profesionales de la gestión del conocimiento ponen un mayor énfasis en capacidades diferentes relacionadas con la persona, la psicología o la construcción del conocimiento.

A continuación presentamos este cuadro y comentarios que proceden de Ian Thorpe quien por motivos pedagógicos hace una comparación entre los extremos de la gestión del conocimiento y evaluación-

Diferencia y complementariedad-GC y E

Evaluación Gestión del conocimiento
Foco explícito en rendición de cuentas hacia el donante Foco implícito limitado  en rendición de cuentas hacia el beneficiario
Objetiva Subjetiva
Observación Reflexión
Externa – hecha por evaluadores Interna – hecha por los gestores de programas
Meticulosa Confusa
Foco en conocimiento explícito observable Fuerte enfoque en el conocimiento tácito, saber hacer y la experiencia.
Lenta Rápida
Cara Relativamente barata
Enfocada a los datos Enfocada en la gente y en las relaciones
Independiente del programa Integrada como parte del programa
Selectiva / estratégica Ubicua
Aspectos macro Aspectos micro

 

La gestión del conocimiento y la evaluación son DIFERENTES y COMPLEMENTARIAS-

  1. La gestión del conocimiento y la evaluación son DIFERENTES. Se prestan a diferentes tipos de preguntas y situaciones-

Si desea retroalimentación barata/ rápida podría ser mejor usar herramientas de gestión del conocimiento como las revisiones posteriores a la acción. No se puede evaluar todo porque serían demasiados recursos – y en el tiempo que se haya completado una evaluación la situación ya podría haber cambiado.

Si se desea explorar con rigor y en profundidad lo que ocurrió en un programa, o evidencia sólida para la ampliación tras un nuevo enfoque una evaluación dará algo mucho más pertinente que un proceso de Gestión del conocimiento.

  1. COMPLEMENTARIOS- Pero también es interesante comparar los resultados de los dos enfoques para el mismo proyecto o tipo de trabajo

– ¿Se apoyan entre sí o se contradicen?

 

…mmm con este punto y aparte tomo distancia y me pongo en vuestra piel, algunos estaréis pensando como mi filósofo de cabecera, G. Marx, Claro que lo entiendo, incluso un niño de cuatro años podría entenderlo. ¡ Que me traigan un niño de cinco años ¡

Un recordatorio final-El crimen del aprendizaje y la gestión del conocimiento no se darán mientras no se den las motivaciones, los medios y las oportunidades…como precondición para valorar el conocimiento…pero sobre todo se necesitan motivaciones, lo que incluye un liderazgo fuerte que encuentre, dé sentido, apoye, posibilite, demande e incentive la gestión del conocimiento, sus principios y finalidades…sin un liderazgo verdadero la gestión del conocimiento no pasará de ser una moda, otra moda…y la historia se repite, sin liderazgo todo cuesta mucho más, de ahí lo importante de contar con los mejores líderes posibles en todos los procesos de nuestra organización o sociedad. Pero líder no es sólo el director general o el jefe de un departamento, por supuesto fundamentales. Tod@s nosotr@s somos líderes y tenemos posibilidad de poner en valor y dar sentido a estos procesos. Tenemos más capacidad de influencia de lo que creemos. Sin buenos líderes o lideresas no somos nada, como diría la canción sin ti no soy nada ¡ …desarrollemos nuestro yo líder positivo para influir en otros.

Asociacionismo en evaluación, sí PODEMOS, pero no sólo con buenas intenciones, y van dos


 

A raíz de mi pasado post sobre asociacionismo en evaluación, mi colega y sin embargo amigo Pablo Rodríguez-Bilella contestó con su propio post VOPEs, asociacionismo, y evaluación… una #eval conversación…Cuando sea mayor, espero ser tan prolífico como Pablo…siempre es un honor caer al borde del caos…Retomo pues la #eval conversación, con los temas que Pablo dijo que yo dije, aunque si lo dije…seguro que no fue tan bien como él –es lo que pasa cuando los artistas transforman palabras en mensajes que calan…y en eso consiste la evaluación en parte, en moldear adecuadamente diferentes discursos en uno solo que cale…Uno empieza con ánimo estos posts porque sabe que al menos uno le va a leer, uno además de uno mismo me refiero, y digo uno, porque quiero creer que Pablo tomará unos minutos de su multi social agenda para leer lo prometido y esperado. Pero vamos al grano –

Pablo dice que yo dije que el tema del asociacionismo en evaluación está de moda

Evalpartners se autodefine como un movimiento global para reforzar un contexto apropiado para la evaluación a diferentes niveles, basado en el compromiso de las VOPEs, organizaciones voluntarias para la influencia y promoción de la evaluación para mejorar la política pública. 2015 es el año internacional de la evaluación.

Nos hemos de felicitar porque se haya conseguido que el asociacionismo en evaluación esté de moda, pero hemos de conseguir que la moda dure y tenga el mayor efecto o influencia estructural posible –lo que Evalpartners llama contexto yo lo llamo estructura, para diferenciarlo de factores externos -o contexto- que son muy difíciles de influir y nos influyen más a nosotros que al contrario.

Marco Segone dijo en la charla inaugural de la EES en Dublín, que con EVALPARTNERS se quería posicionar la evaluación en la arena políticaPor cierto voy a utilizar este vídeo en un taller de desarrollo de capacidades en evaluación, no centralmente para hablar de Evalpartners, que también, sino para hablar sobre la importancia del liderazgo en evaluación. Y es que es un gran mensaje, una auténtica frase que engancha de Evalpatners, parecida al Yes we can de Obama, a la de M.L.King, Tengo un sueño ¡¡ nuestro sueño ¡¡ …pero cuidado, a veces corremos el riesgo de que nuestros sueños se hagan realidad…las arenas políticas son movedizas…recordemos que la política con minúsculas convive demasiado con la retórica…

Esta vez es wikipedia la que señala que la retórica es la disciplina transversal a distintos campos de conocimiento que se ocupa de estudiar y de sistematizar procedimientos y técnicas de utilización del lenguaje, puestos al servicio de una finalidad persuasiva y estética, añadida a su finalidad comunicativa. La retórica es lo que queda cuando pasa la exaltación de la amistad durante una borrachera colectiva…El ciclo político tiene necesariamente una parte importante de retórica en el corto plazo, para avanzar quizás -en el mejor de los casos- hacia mejoras concretas y reales en el largo plazo. El peligro de esta moda que nos toca, es que vendrán toneladas de buenas intenciones, muchas más reuniones en hoteles de lujo, muchas fotos, cócteles, discursos, muchos compromisos institucionales, pactos, acuerdos, declaraciones al más alto nivel, atención  ¡ todos quietos ¡ más fotos, …y el riesgo de la retórica aumentará de manera exponencial.

Una de las formas de controlar esta retórica –que como dije siempre ha de existir porque hablamos de política-, sería el compromiso y los medios desde el principio para el aprendizaje y la mutua rendición de cuentas sobre lo que se hace y cómo, por qué, para qué y en especial para quién se hacen las actividades y procesos de fortalecimiento de la función y sistemas de evaluación. ¡Para quién se hacen las cosas¡. Las desequilibradas relaciones de poder no son explícitas pero están ahí normalmente, tanto en la sociedad, en la política, en el sector de la ayuda y en los sistemas de evaluación, como en administraciones públicas, agencias donantes multi y bilaterales, ONGD internacionales, boards de las asociaciones de evaluación…Yo entiendo que Evalpartners se ha hecho para las las personas, especialmente las que tienen menos poder, sean funcionari@s, voluntari@s, evaluador@s o implicad@s en procesos de desarrollo.

La evaluación, al menos mi forma de entender y creer en la evaluación, es sinónimo de más equidad, mutua rendición de cuentas, transparencia, democracia, distribución de poder…La función de evaluación no vive ajen al mundo, aunque a veces parezca que sí, por la pureza de la que se quiere revestir en ocasiones…Las relaciones de poder existen en todos estos actores, sistemas, procesos y estructuras evaluativas. Los cambios por tanto que se persiguen son enormes y la posibilidad de frustración grande. Por eso la importancia de gestionar y modular expectativas, al menos en el muy corto plazo, y de tener una estrategia de influencia y gestión del conocimiento en el medio largo plazo. Supongo que lo que tendría que salir del 2015 es una hoja de ruta en la que la evaluación se integre realmente en la ronda de desarrollo que sigue a estos objetivos de desarrollo del milenio –El Post 2015- …aparte del buenismo y las buenas intenciones…

Si las VOPEs -Organizaciones Voluntarias para la Evaluación Profesional- tienen una función social, un objetivo social, tendrían que saber interiorizarla, conocer sus retos y explicarlos. O metiéndonos ya en nuestro particular argot ininteligible para el común de los mortales, tendrían que conocer la diferencia entre la teoría del cambio que querían y la que está ocurriendo. Un reto para cada una de las VOPEs en sus contextos concretos será poner la evaluación más allá de la arena política, esto es, en la arena social, tanto en la de los valores sociales como en la de la práctica social…estando un poco más cerca de que la mutua rendición de cuentas y la evaluación sean demandadas activamente por la sociedad ¡

Por tanto, sobre modas, ojalá la moda evaluativa fuera tan potente como para que no sólo políticos, planificadores, gestores, sino-y aquí está un reto mayúsculo- la ciudadanía comprendiese la importancia de la evaluación y todo este ciclo no sea algo desde nosotros los geeks, freakis o raritos de la evaluación –desde diversas situaciones de poder recordemos- hacia nosotros los geeks, freakis o raritos, para darnos palmaditas, hacer amigos y de paso conseguir o intercambiar algo de poder o de trabajo…Lo de que mi madre comprenda lo que hago en evaluación en el sector del desarrollo, lo dejo por imposible, porque aunque Evalpartners se lo propusiera no lo conseguiría ni en un año evaluativo entero…contárselo a mis hijos es otra historia, no menos difícil pero con sus retos…sobre todo cuando tus hijos te dicen que los padres de sus amigos tienen oficios de verdad como médico o profesor…

El problema también es cuando algunas VOPEs no funcionan y son parte del problema, como en España, que muchos partidos no funcionan y son también la causa del problema a superar…¡¡¡ ciencia de la complejidad causa y efecto son uno ¡¡¡. Ahora que muchas VOPES son todavía jóvenes -aunque otras estén envejeciendo prematuramente-, quizás venga a cuento establecer la comparación entre las VOPES y los partidos políticos, comparación que gira en torno al ciclo de vida de una organización.

En España está tomando fuerza lo que antes era un movimiento social y ahora se ha convertido en partido –PODEMOS. Aunque no sin ciertos temores porque parece que nos están vendiendo el cielo nuevamente, la razón de ser y la base de la fortaleza de PODEMOS -y esto sonará a muchos colegas de América Latina- es que en estos momentos estamos pasando por una etapa de gran desafección política, unida a importantes inequidades sociales. Se comenta que los modelos de partidos forjados en nuestra transición ya no funcionan. Esos modelos de partidos, modelos asociativos, tomaron al asalto el estado y han impuesto durante más de 35 años una forma de funcionamiento que ya se está agotando. En mi opinión también forma parte de la triste herencia de nuestra dictadura y de su nefasto efecto sobre las prácticas sociales e institucionales…algo que tarda varias generaciones en recuperarse…Y es que en mi país, ese país que pretende dar lecciones de gobernabilidad a América Latina, la corrupción vuelve a estar de moda, y no es algo superfluo, sino algo verdaderamente sistémico-estructural, aunque nuestros políticos sigan sin reconocerlo o pretendan que no se puede hacer más. Me gustaría pues que la mutua rendición de cuentas estuviera de moda en España, aunque fuese transitoria, porque algo quedaría y beneficiaría y mucho a la función de evaluación. Dejo para otro día discutir si el origen de todo es que los españoles somos más permisivos, o corruptos, o permisivos frente a la corrupción que los noruegos o los daneses, o a que hay menos control –o a razones histórico estructurales relacionadas con la desconfianza del ciudadano en todo lo político y público. Dejo aquí las reflexiones de Antonio Muñoz Molina de cómo una cultura civil muy degradada ha fomentado en España el ejercicio de poder sin responsabilidad, en su artículo sobre la Corrupción y el mérito.

A mi padre le hubiera encantado analizar este fenómeno como continuación de su tesis doctoral sobre los partidos políticos como grandes organizaciones que actúan en el mercado a la manera de las compañías oligopólicas o, en términos politológicos, con un modelo organizativo del partido cartel. Quizás dentro de poco será algo del pasado…

Pero para cerrar esta divagación localista-perdón compañeros de América-, ¡ Podemos ¡, sí podemos encontrar una similitud quizás con las VOPEs, como ya he dicho, con el concepto de ciclo de vida de un partido y la importancia de saber encontrar el nicho o cuándo un modelo ha llegado a su decadencia…para mejorarlo o sustituirlo…en lugar de crear-

-i.-asociaciones sin una finalidad clara -durante un año fui socio de IDEAS y debo ser un poco zote, porque no logré llegar a saber la diferencia entre ser socio y no serlo…como sí me queda clarísimo el valor añadido de mi pertenencia a la AEA y con mi pertenencia a la EES

-ii-. asociaciones superpuestas o paralelas –en América Latina hay dos por ejemplo, la REDLACME y la RELAC, no llego a comprender bien por qué

-iii- o seguir con modelos que no funcionan…

…y para ello se ha de evaluar el funcionamiento de las VOPEs, encontrando además cuál es el mejor equilibrio entre el valor añadido que los socios pueden esperar de sus asociaciones y el valor añadido que los socios dan a las asociaciones…

Otro día sigo con algo más que Pablo dijo que yo dije…

2) Pablo dijo que yo dije que es una deuda que las VOPEs cumplan su importante función social: carrera profesional, superación de la fragmentación y aislamiento del colectivo de evaluadores, desconexión entre “bases” y “elites” de las VOPEs;

3) Pablo dijo que yo dije que algunos problemas que podrían superarse si, al menos e inicialmente, tomaran de su propia medicina, esto es, la evaluación de las VOPEs mismas

…pero esa otra historia que deberá ser contada en otro momento…

Todo pasa y todo queda pero lo nuestro es pasar (*)


Cuando llega el verano, incluso aunque no lleguen las vacaciones, o lleguen tarde, o lleguen a medias, uno para un poco el ritmo y trata de tomar perspectiva. El ritmo biológico a veces pasa página con el ritmo escolar, que por esta parte del mundo empieza en el otoño y no con el comienzo del año, como en otras partes del mundo. Cuando era pequeño, o más pequeño, el paso del verano significaba un cambio, el paso a algo nuevo, especialmente significativo, con cambios como primaria, secundaria, la universidad…Pero uno se va haciendo mayor y pierde perspectiva y cae en la tentación de que las cosas no cambian tanto. Pero los hijos sí que cambian, de hora en hora…son nuestros relojes vitales.

“Algo debe cambiar para que todo siga igual y nada cambie” es la expresión central del “gatopardismo”. Éste era el leitmotiv de un blog que mantuve un tiempo y gracias al cual conocí a muy buena gente (entre 2007 y 2012). Con algunas de aquellas personas sigo manteniendo contacto. Áquel fue el que me inició en este mundillo de los blogs y gracias al que he escrito otros hasta llegar a éste, menos personal y más profesional. Estas semanas he encontrado interesantes posts referidos a las bondades de los blogs, algunas de las cuales yo ya cité en un post anterior. En esa dirección esta misma semana Duncan Green reflexiona en su post sobre por qué es interesante ser un blogger en el sector del desarrollo. Como curiosidad para mejorar en eficacia y eficiencia bloggera aconsejo echarle un ojo a los posts de Chris Lysy sobre errores comunes de los bloggeros y sobre diferentes estilos de los bloggeros, en su mayoría referidos al sector de la evaluación.

Pero volvamos al “Algo debe cambiar para que todo siga igual y nada cambie”. Aunque esta expresión tiene una interpretación negativa, también podría ser positiva, como yo escribía en la nota principal sobre mi antiguo blog: “En un mundo en cambio continuo nos afanamos en encontrar nuestro centro de gravedad permanente. Pero nada es permanente (nunca lo fue y hoy menos). Describir el cambio es contar nuestra adaptación a las buenas y malas realidades personales y globales. Frente a la homogeneidad hacia la que nos lleva ese cambio (el consumismo, la superficialidad, la competitividad despiadada); hay realidades que desde lo personal a lo colectivo merece la pena arriesgarse a cambiar, como los procesos de injusticia económica, social y medioambiental. Y otras realidades no han de cambiar, han de continuar y enriquecerse mutuamente, como la diversidad personal, ideológica, cultural, social y medioambiental. Para ello es necesario (no suficiente claro está) un proceso en red (como este blog), de participación, de ideas, de intercambios, de abajo a arriba, de lo local a lo global

Y perdonad que solo en el cuarto párrafo entre al asunto: La expresión de moda (buzzword) “teoría del cambio” está ahora en la cresta de la ola de los mantras de la gestión de la cooperación internacional. Para mí la teoría del cambio, es algo así como el relato, cuento o historia como cada cual ve la realidad desde su lado, teniendo en cuenta todos los elementos escénicos, desde el contexto o los recursos, hasta el motivo o la forma cómo se hacen las cosas. Y es que poco a poco la ya famosa “teoría del cambio” (ToC), está situándose en posiciones privilegiadas. Estas últimas semanas seguimos encontrando referencias: Enrique Mendizábal, que en 2011 ya había compartido una interesante síntesis sobre la discusión sobre la ToC, nos indicaba que antes que contar la teoría del cambio deberíamos comprender cómo el cabio ocurre. Y cerrando el círculo, incluso Duncan Green ha reflexionado hace unas semanas sobre lo que es una teoría del cambio y cómo la utilizamos.

Tenemos mantra de la Teoría del Cambio para rato. Como tantos otros mantras, esta nueva estrella del video intentará matar a la estrella de la radio, que después de tantos años sigue siendo nuestro colega “el marco lógico” (EML), tan denostado de un tiempo a esta parte, pero sin el que parece que no podemos vivir.

El EML es una forma entre muchas de expresar una Teoría del cambio, pero me como el sombrero si dentro de poco algún donante visionario no empieza a exigirlo como una novedad revolucionaria…y entonces empezará su fin. El problema del EML y tantos otros intentos fallidos no está en sí mismo como técnica, sino en cómo y para qué se utilizan…cualquiera de estas herramientas que simplemente “ayudan a pensar”, pierden sentido si solo sirven para pedir financiación o para rendir cuentas en un sentido estrecho y miope…

Y voy terminando…Yo pensaba que no, pero esto de la evaluación es muy parecido al mundo de la farándula. Y es que casi todo en la vida es así. Y como la gente de la farándula uno sale a hacer sus bolos. Pues bien, estas últimas semanas mi blog ha sido una foto fija, nada ha cambiado. La razón: he estado viajando debido al arte y oficio de la evaluación. He visitado varios países de África, Angola, Burundi, Senegal y Gambia y uno de América Latina, Perú, y no he tenido tiempo para otras facetas artísticas. “He visto cosas que no creeríais”, decía Roy Batty el replicante en Blade Runner. Bueno pues yo no me meto en lo que crea la gente, pero he visto cosas que yo no creía que vería:

1. Ahí fuera hay gente magnífica….los primeros son los últimos. Los proyectos tratan de comprender los sistemas que quieren contribuir a cambiar (Lewin dixit)…Nada como viajar para comprenderse mejor, para tomar perspectiva, para desoxidarse de tanta burocracia como suele haber en los países de origen de los donantes, tan cerca de Mordor. Y también estoy pensando en coordinadores y oficiales de terreno que, a veces sin recursos, se empeñan en hacer sus tareas de la mejor forma posible.

2. Estos años de vino y rosas de la cooperación española hemos creado maravillas y…auténticos monstruos. En mi último lugar de destino, encontré varios jefes de programa de bello título (el programa) pero desesperados porque no sabían cómo o dónde gastarse el dinero (varios millones de euros)…y otros programas que sí lo sabían pero cuyo título era cuestionado…en fin hubo un secretario de estado en mi juventud que dijo aquello de que “la pobreza es una cuestión de estadística”, mis vivencias en el lado oscuro burocrático también añadiría aquello de que para otros  “la pobreza es una cuestión de titulares”…a veces de un solo día o de una hora, o de unos minutos…Andy Warhol y sus diez minutos de gloria…buscamos la gloria, o la fama, pero la fama cuesta…a veces se consigue con esfuerzo…y otras no (se consigue o se consigue sin esfuerzo…sobre todo en países sin sistemas meritocráticos).

3. Pocas veces algo es como parece, no demos las cosas por hechas. Los prejuicios, las ideas preconcebidas, no son buenos compañeros. He tenido gratas sorpresas con evaluaciones que me parecían arduas y al contrario, otras que parecían espléndidas se han complicado.

(*)»Cantares» de Antonio Machado, cantado por Joan Manuel Serrat…

Utilidad de hablar de la utilidad de las evaluaciones


Voy a tratar de convenceros de que una de mis mañanas fue bien «utilizada».

A comienzos de febrero terminó la serie de talleres sobre “Determinación de los principios básicos para lograr mayor calidad y utilidad de las evaluaciones”, auspiciados por el CECOD y facilitados por el compañero y sin embargo amigo, Rafael Monterde, Monty, conocido mundialmente (y parte del extranjero) por su blog Evaluateca.

Antes de comenzar el sarao, y en relación directa con la “utilidad”, comentamos que si fuéramos a todos los eventos de este tipo no tendríamos tiempo para trabajar, siempre que tu trabajo no fuera asistir a este tipo de saraos claro, que seguro que trabajos de ese tipo haylos. Lo mismo puede pasar con las redes sociales supongo, esos miles de microsaraos por los que hoy por hoy nos movemos todos los días (o sus noches). Y esto es también una reflexión enfocada a la utilidad de nuestro quehacer (i). Pero un detalle, a los asistentes se nos pagó por nuestra participación, lo cual me parece increible en nuestro sector, tan acostumbrado a no valorar que el matra de la «participación» implica recursos (tiempo, organización, preparación…). Donde tantas veces gente con salarios fijos (y a veces muy pero que muy altos) crean el espejismo de la utilidad de la participación de gente (muchas veces sin oficio ni beneficio) que nunca recibe feedback alguno por haberle hecho el trabajo a los otros.

El tema de este sarao que menciono era el de la “utilidad de las evaluaciones”: Cómo aumentarla.

Claro que no se puede hablar de “utilidad en evaluación” sin mencionar a Patton, el que esto escribe ha podido tocar a Patton, vamos que Patton existe y no es una deificación de todas las bondades de un evaluador…

Pero volvamos al sarao: Hubo una interesante presentación para poner el Marco de trabajo, e incluso se mencionaron a otros autores como Kirkhart o Henry&Mark. Me pregunto si no fue un poco pesado para los “practitioners” más duros, para mí fue interesante, aprendí cosas nuevas y se planteó un enfoque de trabajo interesante: Se introdujeron los conceptos o enfoques de las esferas de lo individual, lo relacional y lo colectivo. Este enfoque está próximo de la sociología social.

Mi reflexión fue, bueno algunas de las ideas que surgieron fueron…perdón por sacar el ego en primer plano, pero por algo este blog es el mío (digo yo)…bueno también trataré de tomar una perspectiva global, pero no podré evitar sesgar lo que allí aconteció 😉 :

-Surgieron propuestas muy interesantes e innovadoras. Miento. Surgieron propuestas útiles…vale, mejor….casi todo está ya inventado, sólo hace falta ponerlo en práctica (por desgracia,nos empeñamos en seguir inventando la rueda sin preguntarnos por qué en el pasado otros infelices mejor preparados que nosotros no lo consiguieron)

-Es importante aprovechar todos los momentos de cara a la utilidad. Se mencionaron aspectos como fomentar la síntesis de evaluaciones , trabajar más a la demanda y alguien mencionó la necesidad de susurrar en los oídos de los políticos (esto me recuerda a la película de “El hombe que susurraba a los caballos”, y es que a veces los políticos se hacen, parecen o los tomamos por niños…o animalitos, digo yo que si están ahí por algo será, o debería ser.

-Como siempre, se mencionó la importancia de la transparencia y del accountability para aprender, materia que en España no pasa de ser ciencia ficción, por desgracia. Si no, veamos lo que ha sucedido tras años de absoluta impunidad e irresponsabilidad política…

-Después pensé que no se habló nada de la relación entre «poder» y «utilidad»: Introducir en el análisis el poder. Las relaciones de poder están en todas partes. Como ejemplo, el presentador y la audiencia tienen un nivel de poder diferente. Aunque el presentador me comentó que le hubiera gustado estar entre la audiencia, lo cierto es que tenía diferente poder, tiene el poder de vehicular y “hacer” utilizar ideas, enfoques, tiempos…ya sabemos que el poder es calentito ¡

El impacto de la evaluación y otros cronopios: políticas, rayaduras y resiliencia


Ha sido una semana tremenda. Comenzamos con el seminario de la política de evaluación de la cooperación española (ver mi post anterior y dejémoslo en minúsculas todo hasta que nos sorprendan ;-), pero ha habido muchas más cosas a lo largo de la semana…

Tengo que preparar un post sobre la dichosa evaluación de impacto y la manía de algunos de denigrar a un sector de sector (de evaluación)…claro que  a veces nos denigramos solos…sin ayuda de nadie. Voy a intentar confrontar las ideas desde los sesudos lobbys pro RCT (randomised control trials), con las de otros puntos de vista…a ver qué sacamos de claro si ordenamos todo (desde mi subjetiva visión). Para ello tiraré de hemeroteca y preguntaré a algún compañero…Por ahora recomiendo la saludable lectura de este documento titulado Impact Evaluation for Improving Development (ie4id) con autoría de un montón de caras conocidas, y por no saltarme a uno, no menciono a ninguno…

Por otro lado también esta semana ha sido interesante recibir comentarios sobre la reunión en Ciudad del Cabo del “International symposium The politics of poverty research and pro-poor policy making: Learning from the practice of policy dialogue”. Me han llegado muy interesantes reflexiones desde la Evidence Based Policy in Development Network.

Por último llamar la atención sobre el concepto de resiliencia. Este concepto no es nuevo, me acompañó todo un verano en la única asignatura para septiembre de mi carrera de agrónomo, por tanto gran recuerdo mío y de otros sufridores de la resistencia de materiales…Recibo información de diferentes direcciones como un concepto de relieve en el sector humanitario (seguridad alimentaria). Incluso parece que comunicar bien este concepto puede salvar vidas…si lo hubieramos sabido quizás hubiera sido más llevadera aquel verano.

Un documento marco que aspira a ser la nueva Política de Evaluación de la Cooperación Española


Los días 10 y 11 de Diciembre tuvieron lugar las Jornadas sobre evaluación y cooperación para el desarrollo. La apretada agenda sirvió para recibir una mirada evaluativa desde las redes internacionales de evaluación, desde los organismos multilaterales y bilaterales, así como de hablar sobre el borrador de la nueva Política de Evaluación. El propósito era fomentar la reflexión sobe los principales desafíos en evaluación, presentar el nuevo borrador e intercambiar experiencias.

La calidad de los ponentes  y el grado de intercambio de experiencias fue muy alto. El borrador de la Política de Evaluación no quiere definirse como plan, ni como documento de reflexión teórica, se define como un documento marco que articule la política de evaluación. Hay que felicitar a la División de Evaluación y Gestión del Conocimiento de la SGCID por todo ello.

Algunas de mis reflexiones van en el mismo sentido de lo ya expuesto sobre el III Plan Director en mi artículo en REEDES: a pesar de la voluntad de la División de Evaluación, para que esta Política,  llamada documento marco, no se quede otra vez en la retórica de un documento, habrá que prestar atención a la validez interna y externa de la dicha política. Mis reflexiones no sólo se centran en el Ministerio de Asuntos Exteriores o en la Adminsitración General del Estado sino en todos los actores del sistema, puesto que creo que esto debería ser un ejercicio de corresponsabilidad:

A. A nivel  de validez interna habrá que asegurar (i) el compromiso y liderazgo político al máximo nivel, (ii) la claridad, articulación y plausibilidad de lo esperado (priorización y secuenciación de acciones, el despliegue de incentivos y capacidades adecaudas).

(1) Garantizar que el compromiso y liderazgo político con la función de evaluación al máximo nivel sea real. El compromiso político se pondrá a prueba con dos elementos básicos: (i) el grado de apoyo y respuesta a las directrices y recomendaciones de las unidades de evaluación del sistema, (ii) Los recursos puestos en juego a pesar de las restricciones presupuestarias. Ya deberíamos tener suficientes aprendizajes pasados de planificaciones retóricas que sólo al final esperan encontrar capacidades y recursos.

(2) Asegurar (i) la localización exacta de los desafíos a considerar y (ii) su priorización y su posterior selección y secuenciación en función de las capacidades reales del sistema y de los mecanismos de incentivos a desplegar.

(3) Desplegar los incentivos (son esenciales). Para acertar con los incentivos habrá que trabajar no sólo la oferta sino también la demanda evaluativa. ¿Por qué en el pasado los esfuerzos no funcionaron como se esperaba?. Este tema es demasiado extenso para tratarlo aquí, hablamos de mecanismos que permitan incentivos, correcciones, reorientaciones, adaptaciones… pero algunos de los elementos a considerar pasarían por la necesidad de aumentar la rendición de cuentas (que es a la vez un medio y un fin de la evaluación) para hacer realidad el aprendizaje desde la evaluación. La rendición de cuentas y el aprendizaje son dos caras de la misma moneda. Lamentablemente la estrategia del “buenismo evaluativo” (aprender es bueno luego todos deberíamos evaluar) no ha funcionado…Además el peligro de que solo evalúen los buenos, puede derivar en que solo evalúen los tontos (si son sancionados) y al final no evalúe nadie voluntariamente. Hay que equilibrar el aprendizaje con la (mutua) rendición de cuentas (entendida como ejercicio de responsabilidad) para poder mejorar y para legitimar el sistema de evaluación.

(4) No dejar para el final el tema de las capacidades (recursos humanos, financieros, organización…).  Un aprendizaje del pasado es que la ausencia de capacidades ha sido un letal desincentivo y una señal de debilidad del compromiso político real (punto primero de esta lista).

B. A nivel de validez externa, hará falta seguir de cerca a esta política (si queremos que se convierta en una “P”olítica) y habrá que rendir cuentas como sistema de evaluación.  Sin ese continuo seguimiento, adaptación y reorientación volveremos a asistir al espectáculo de una caja mágica que pierde el rumbo y legitimidad al perder el contacto con la realidad…Además los futuros desarrollos de este documento marco habrán de contextualizar y clarificar el propósito (prioridades) y qué mecanismos de cambio van a considerar.

Estuvo bien encontrar de nuevo a la comunidad evaluativa del sector de la cooperación (decisores, gestores, ejecutores, académicos de evaluación). A día de hoy tenemos grandes retos pero no creo que seamos peores que la de otros países (Reino Unido, Holanda, Noruega…), pero sí nos han faltado ciertos incentivos, liderazgo y compromiso contiuo…

Y me repito porque lo merece: “Hay que felicitar a la División de Evaluación y Gestión del Conocimiento de la SGCID por todo ello”

Primer Congreso Internacional de Estudios de Desarrollo


Esta semana tuvo lugar en Santander el I Congreso Internacional de Estudios de Desarrollo. Una oportunidad, desde el respeto, para encontrar, intercambiar, polemizar. Podemos encotnrar todas las ponencias en esta dirección

Por cierto mi ponencia está también ahí: De la política a la práctica: limitantes y precursores del cambio en la implementación de la Política de Desarrollo en España.

En general estuvo muy bien. Notaba un poco de pesimismo y frustración en algunos de los grupos. Hay que seguir…

La insoportable levedad de la función de evaluación


Demasiadas cosas juntas, demasiados frentes…¿cómo conseguir fomentar la cultura de evaluación?…sin motivación de los líderes políticos, sin sociedad civil que demande resultados (como mucho se contenta con auditorías), sin recursos, ni tiempo ni personas para pensar y aprender…y ¿a quién le importa? (como diría Alaska…cada loco con su tema…en fin