No hay profesionalización sin evaluación


 

Por casualidad, como suelen ser las cosas en un sector sin profesionalización, me comuniqué con mi colega eternamente al borde del caos, Pablo Rodríguez Bilella, y le comenté de la posibilidad de, en la próxima conferencia de la RELAC, hacer «algo conjunto» en relación a profesionalización de la evaluación. También recientemente hablé con María José Soler Fraile, presidenta de APROEVAL, sobre la necesidad de trabajar conjuntamente todas las asociaciones de evaluación de habla hispana, y mencionamos el tema de trabajar conjuntamente sobre el tema de la profesionalización.

Fruto de ese azar supe que el caótico y siempre complejo Pablo estaba escribiendo un artículo sobre el tema de la profesionalización en evaluación y, como buenos latinos, nos retamos a un intercambio «e-post-olar» con la posibilidad de atraer a otros desgraciados de este sector no profesionalizado…Como es habitual él se adelantó, él que es una metralleta de las redes sociales: Evaluación y profesionalización: ¿extraña pareja? (parte 1)…bueno pues ahora toca el momento de la remontada…

En este primer post para no perder el rumbo voy a filosofar…aunque  en muchos aspectos coincidimos Pablo y yo  (o, más humilde, coincido yo con él)

Y es que la evaluación es política, es técnica y…es filosofía (cómo entiendo yo aquí filosofía: dígase de lo que el vulgo evaluativo (yo incluido) piensa de las teorías evaluativas…aunque algunos quijotes y sancho panzas no dejen de decir aquello de que no hay mejor práctica que una buena teoría)

Pues en esta introducción doy tres ideas y hago un ejercicio de gestión del conocimiento, rescatando tres fragmentos de tres posts pasados:

 

1.Veo dos retos para la profesionalización de la evaluación: (1) centrarse demasiado en la cuestión técnica (tecnocrática) cuando la evaluación también es (o sobre todo es) política; y, si se consigue el progreso de la profesionalización, (2) centrarse sólo en el binomio  político y tecnocrático, con cuerpos de élite corporativos que se olvidan de su origen y de su fin social. Las asociaciones de evaluación deben cumplir su rol, sin caer en la trampa (1) de la tecnocracia y, cuando se relacionan con el tan peligroso y atractivo mundo del poder, (2) de venderse, sin escuchar a las bases y a la sociedad…ya lo sé, un circo de tres pistas, pero es lo que tiene la evaluación que, recordemos, es política, técnica y filosofía…y ojo ya hay hasta un congreso próximo sobre el rol de la evaluación en la era de la post verdad: Measuring What Matters in a Post-Truth Society

2.No es solo necesaria la profesionalización de la evaluación, sino que no olvidemos el rol transversal de la evaluación para el resto de profesiones: sin evaluación no hay profesionalización. Algunos de los campos más profesionalizados (funcionariado, medicina…) lo consiguieron a través de la incorporación de sistemas de control de calidad (integrando la doble vertiente de rendición de cuentas y aprendizaje que implica la evaluación)

3.No hay evaluación sin rendición de cuentas…y el mayor garante de la rendición de cuentas es el parlamento. Las Asociaciones de Evaluación (VOPEs) son importantes, pero debido a ese binomio técnico y político, hay que hacer lo posible para incorporar a los agentes de cambio político (como el parlamento) y social (otras asociaciones, academia y los medios de comunicación). EvalPartners tiene iniciativas muy interesantes para involucrar a los Parlamentos Nacionales en los procesos de desarrollo de capacidades en evaluación.

Por tanto, no podemos perder de vista que el camino hacia la profesionalización no es sólo técnico (tecnocrático), sino también político. Y ahí a veces nos pillan a los evaluadores, tan acostumbrados a nuestro trabajo solitario y sistemático con tantos nexos con la investigación (más centrados en el rigor, en la independencia y en la objetividad) y tan poco acostumbrados a la gestión y a la política (más sucia, menos independiente y más dada al regateo, al mercadeo y a los compromisos -a veces a cualquier precio-…de cara a la utilidad…o al pragmatismo)…cuánto cuesta en evaluación ese equilibrio tan inestable entre rigor, independencia y utilidad…

Tomo del post de Pablo un párrafo clave que marca el titánico camino que hay por delante para profesionalizar la evaluación. La fuente es de ese gran evaluador que fue primero técnico, después político y ahora una referencia (filosófica):

 

 

«Bob Picciotto, desde el marco de la sociología de las profesiones, sintetiza algunas de las características que debe construir una agenda para la profesionalización de evaluación:

(1) el reconocimiento público que la ocupación promueve el interés general; 

(2) procesos reconocidos de desarrollo disciplinar (educación especializada, exposición continua a la práctica de expertos);

(3) autonomía profesional (la propia profesión controla la contratación, la calidad de la formación, la aprobación de directrices profesionales, la aplicación de normas éticas, etc.);

(4) el acceso a la práctica (la institucionalización de la experiencia profesional mediante la educación terciaria de alta calidad y una amplia gama de posibles restricciones sobre el acceso a la práctica profesional: designación, acreditación, certificación, licencias).»

En mi próximo post centraré un poco más el tema y trataré de hablar del proceso que está realizando el grupo de profesionalización del Sociedad Europea de Evaluación del que soy miembro.

Tres ideas  ya contadas y tres antiguos posts sobre evaluación, carreras profesional y asociacionismo: Y como prometido, dejo aquí  los tres posts del pasado, terminando aquí esta primera e-post-ola.

 

Asociacionismo en evaluación –capítulo primero

(Octubre de 2014)

Más que nunca necesitamos del asociacionismo para aumentar nuestro capital social, humano y técnico, aumentando la capacidad de análisis, escucha, respuesta y servicio. Pero no debe ser fácil cuando hasta ahora no se ha llegado a las bases con una propuesta de verdadero trabajo en red y mutuamente beneficiosa, en la que se den soluciones de forma proactiva a problemas comunes o colectivos, en el que las bases se involucren de forma también proactiva y los boards o élites dirigentes, actúen para el pueblo y con el pueblo, y en representación de y con sus miembros

Acade: ¿por qué la sociedad española no se ha movilizado ante la reducción de la ayuda?

(28 Octubre del 2013)

“La sociedad civil organizada ha cambiado su papel y ya no habla en nombre de otros”. Aquí se mencionaron movimientos como el 15 M o las redes sociales. “No se necesitaba a la ciudadanía y la cooperación se ha dedicado a otras cosas…y se han perdido a las bases”. No se tuvo la suficiente visión de que la “sociedad civil organizada es capaz de crear opinión y estar sintonía con la sociedad. Luchar contra las desigualdades no implica sólo luchar contra la pobreza”. “La sociedad civil (organizada) ha tenido un problema de comunicación, aunque también ha habido problemas con el papel del liderazgo público”. A este punto durante el turno de palabra indiqué que no sólo era un problema de comunicación en el sentido de enviar el mensaje (de convencer), sino en el de escuchar. Pero hubo más sobre este punto:

-“El sector de ONGD está fragmentado. Pero el problema del apoyo social no es sólo de España. No se ha sido capaz de demostrar que la ayuda sirve para algo, de que la ayuda funciona”. Por otra parte hay muchos“peligros buscando atajos del norte al sur”.

– La base no se necesitaba porque estaban los profesionales. Se buscó “la profesionalización pero no un liderazgo asociativo” con el apoyo de las bases.

-“Ha habido un problema de mala gestión del accountability, ya que se ha entendido un accountability hacia el financiador. En España no tenemos conciencia de que lo público es de todos. Se debería haber hablado con la sociedad sobre los avances. No ha existido una política de transparencia”.”No ha habido suficiente diálogo y después el dinero público se ha retirado.”.

En este punto también señalé algunas ideas durante el turno de palabra de la jornada: Las afirmaciones anteriores, de ser ciertas, “iban en contra elementos básicos de la democracia participativa”. En un colectivo y sector para el que el concepto de participación parece tan importante, esto aumenta la carga de retórica de su discurso (o sus discursos). Repitamos: ¿No se necesitaba a la ciudadanía? ¿No había una política pública de estado?. También señalé que al binomio política vs tecnocracia había que añadir las dinámicas personalistas (o grupales) de poder. Éstas implican que el único deseo de cambio que se desea es “quítate tú para ponerme yo”, para mandar, mandar porque puedo. También es de señalar la magnitud de la retórica de una política ilustrada debido a la distancia con la sociedad civil, y que a su vez ha dado lugar a más distancia entre la sociedad y la política.

¿Carrera profesional en la cooperación española? La soledad de la carrera de fondo

(22 Mayo 2013)

…es un sector de profesionales poco valorado, desestructurado, sin sentimiento de cuerpo y, en consecuencia, en el que prima más el “qué hay de lo mío” y el “sálvese quien pueda”, que una visión colectiva sobre cómo debería ser un sector profesional en coherencia con la agenda de eficacia, en la que “de verdad” primaran los intereses de los más pobres (destinatarios por la vía de la apropiación y alineamiento de la ayuda) y de la sociedad española (demandantes de reducción de la pobreza con la máxima eficacia, eficiencia, pertinencia e impacto posible). En este marco la Cooperación Española continuamente se está descapitalizando de sus profesionales, ya que no existen ni mecanismos, ni contextos, ni incentivos para dar la oportunidad o contar con los mejores profesionales en los puestos de responsabilidad y decisión.

Como resultado de los desincentivos anteriores las Agencias, Departamentos públicos y las ONGD españolas tienen una gran rotación de personal tanto de personal directivo, como técnico. Estos cambios hacen más necesarias las estrategias de Gestión del Conocimiento y tienen el peligro de tender a una visión cortoplacista y no estratégica. Asimismo en dichos Departamentos Públicos no suele haber objetivos ni indicadores claros a nivel organizacional, ni mecanismos eficaces de rendición de cuentas de forma bidireccional a los más altos niveles jerárquicos.” (Rodríguez Ariza, Carlos, 2009, página 32) La gestión de la información en las organizaciones de desarrollo (vol. II)

Eval Central Game Over: Being Chris Lysy


As I explained in my post evaluation and data visualisation, Chris Lysy is a huge and passionate artist and evaluator…

Results logic chain by Chris Lysy

Results logic chain by Chris Lysy

Self description by Chris Lysy

Self description by Chris Lysy

Chris Lysy gave us EvalCentral and at one point he decided to take it away. He has his reasons, which can be read in his post turning off of the EvalCentral auto pilot. My admiration for Chris implies that I wonder what is being Chris Lysy…

But my point is that EvalCentral had become a kind of «public good» and had its own life, so I missed a period of reflection on the different alternatives for EvalCentral (including a the hand over to another person / institution that could manage the EvalCentral platform)

Maybe there is something I do not understand about it, so I asked my colleague Sara Vaca, Spanish evaluator, dataviz nerd and friend, to talk on my behalf to Chris during the coming Congress of the American Evaluation Association and to discuss on it…

Even if I am not convinced, Chris says the following in his post turning off of the EvalCentral auto pilot :

I launched Eval Central just about 6 years ago. At that time there were only so many evaluators actively engaged in writing for the web.

For those interested in evaluation, it was hard to find evaluation bloggers. And then when you found one it was possible they had already quit blogging.

For new evaluation bloggers, it was hard to connect and build an audience.

I created Eval Central as a sort of automated matchmaker. It gave an audience to new bloggers, and gave those interested in evaluation an automated discovery tool that delivered relevant evaluation stories right to their inbox each day.

But times have changed.

Now it’s even easier to add your voice to the world. You can still do it with your own WordPress blog, but you could also write a post directly on LinkedIN, Medium, or any number of other publications. In just a couple of clicks from an account you already possess.

Subsequently, the original design of Eval Central just isn’t working the way I would like it to work. So, after a lot of thought, I decided to break it.

Starting soon, Eval Central will be a Medium Publication. And instead of bringing together blogs, I’ll be bringing together evaluators interested in writing and curating evaluating content.

There will be no more auto-pilot. Every post that appears on this site will be the result of a writer or curator deciding it should be here. I will need help.

If you’re interested in writing or curating for Eval Central, send me an email > chris@freshspectrum.com.

 

Dear Chris, many thanks for all your creativity and associative work, I wonder what means «after a lot of thought«…does it imply evaluative thinking or evaluative tools?…as a (former) member of the deceased EvalCentral I can say that nobody consulted me anything…

I am a romantic developmental evaluator, I would have liked a bit of contact and discussion between the Evalcentral participants…because in my perception EvalCentral was a living being that existed beyond Chris Lysy…

Could we think in reviving something similar to Evalcentral? Could it make sense and be still relevant something like Evalcentral? I think so…I do not know if other evaluation colleagues think like me…

I use to end my posts with a song, I selected this one. From the other side of the Atlantic I want to invite to start a period of reflection (to my American evaluation colleagues -including ALL the Americans not only these of the northern part),  (as I said I am a romantic): is it worth EvalCentral as we knew it?…

…long life to Eval Central…

 

Evaluación y Análisis Organizacional


La organización

Esta vez retomo uno de los enfoques que más he utilizado en mis evaluaciones: el análisis organizacional. Y es que en el enfoque de evaluación basado en la teoría de programa (Ligero, 2011) es esencial analizar los elementos organizacionales para comprender cómo se ejecutan los procesos que dan lugar a las actividades. Sigue leyendo →

La gestión del conocimiento de las evaluaciones


Ya discutimos en el post Evaluación y Gestión del conocimiento, ¿moda o necesidad? la diferencia entre gestión del conocimiento y evaluación. Vamos a dar una vuelta de tuerca para hablar de la gestión del conocimiento de las evaluaciones. Este tema es la introducción de mi publicación «La gestión del conocimiento de las evaluaciones: Teoría, retórica y práctica» (Rodríguez-Ariza, 2014)

La aplicación sistemática de marcos de gestión del conocimiento podría añadir más valor al uso de las evaluaciones. Podemos considerar que un proceso evaluativo es de calidad cuando cumple principios como el rigor, la credibilidad, la utilidad, el uso, y la integración o participación de las partes interesadas. Por tanto, la calidad de los procesos evaluativos viene determinada por varios factores, uno de los cuales es el uso. Aunque en la práctica la línea divisoria entre dichos principios es muy sinuosa, también es cierto que podemos encontrar evaluaciones creíbles y rigurosas que no han sido utilizadas e, inversamente, encontramos que se han utilizado recomendaciones basadas en procesos poco rigurosos, pero de alta credibilidad. Incluso el hecho de que una evaluación sea “útil”, no significa que se utilice. Este post se centra específicamente en la gestión del conocimiento de las evaluaciones que permite la utilidad y uso de dichas evaluaciones.

¿Tiene sentido tratar la “gestión del conocimiento” de las evaluaciones más allá del mero ”uso”? Aunque gestión del conocimiento y uso son términos que se solapan de manera importante, el enfoque de “gestión del conocimiento de evaluaciones”, añade matices que no incorpora el concepto de “uso de evaluaciones”.

La “gestión del conocimiento” es un instrumento que posibilita el uso de las evaluaciones, porque el conocimiento surgido del proceso evaluativo debería ser recopilado, almacenado, ordenado, sistematizado, accedido, compartido, comunicado y difundido para poder ser utilizado de forma óptima y desde los primeros pasos del diseño evaluativo. Y entonces estamos hablando de una estrategia de gestión del conocimiento de las evaluaciones que para ser operacionalizada ha de contar con agentes de cambio, esto es, de gestores de la evaluación o brokers/gestores del conocimiento surgido de la evaluación. Aun así el concepto de “gestión del conocimiento” tiene tantos registros que también es un campo a acotar: (1) qué entendemos por conocimiento, usos y usuarios del conocimiento, (2) quién y para qué se construye el conocimiento.

La gestión del conocimiento optimiza los usos, las formas de usar, los usuarios y los momentos de uso de las evaluaciones. Las evaluaciones se pueden utilizar (a) de muchas maneras diferentes (ya vimos en otro de mis post los tipos de usos evaluativos), (b) por actores diferentes (directos o indirectos), (c) en momentos diferentes (corto, medio o largo plazo). Las recomendaciones pueden no ser seguidas inmediatamente, pudiendo existir usos difusos en el más largo plazo.

La institucionalización de la gestión del conocimiento de las evaluaciones en la estructura y cultura de la organización es un factor clave para mejorar su uso. El conocimiento de las evaluaciones está subutilizado por lo que la gestión del conocimiento tiene amplio margen para mejorar la utilización hacia la mejora y el cambio.

El trazar el aprendizaje y utilidad con respecto a las evaluaciones es complejo, no es una tarea sencilla y directa:

(1) el conocimiento que se utiliza para la toma de decisiones proviene de muchas fuentes, no sólo de las evaluaciones;

(2) con una correcta gestión del conocimiento de las evaluaciones, el conocimiento generado en cualquier contexto de la intervención evaluada puede ser aplicado un tiempo después en un contexto totalmente diferente al de la intervención;

(3) además si una evaluación fue importante para la toma de decisiones en el pasado, esa evaluación puede carecer de importancia o ser olvidada un tiempo después;

(4) la acumulación de evaluaciones útiles pero no utilizadas es frustrante sí, parecer inútil, pero una sistematización posterior puede dar lugar finalmente a importantes toma de decisiones.

La siguiente lista nos da pistas sobre elementos a asegurar para poder realizar la gestión del conocimiento de las evaluaciones. Elementos a sistematizar para la gestión del conocimiento de las evaluaciones (Adaptado a partir de Baguna en Visser et al, 2014:27):

1.Saber cómo: procesos, procedimientos, técnicas y herramientas que podemos utilizar para desarrollar e implementar calidad en el sistema de Evaluación con potencial para la alta utilidad

2.Saber por qué: visiones estratégicas para comprender el contexto de los roles de los actores implicados y el valor de sus acciones. Se necesita hacer un análisis de situación, acordando el propósito del sistema de Evaluación, e internalizando el por qué una evaluación se va a realizar (y no otro tipo de actividad similar)

3.Saber qué: son los hechos, datos, conocimientos, aprendizajes o prácticas que se quieren compartir y utilizar de las evaluaciones

4.Saber quién: incluye el conocimiento sobre relaciones, contactos, intermediarios, campeones, intermediarios y redes para mejorar el uso de las evaluaciones

5.Saber dónde: es la habilidad para navegar y encontrar la información correcta en las evaluaciones para la acción o toma de decisión efectiva.

6.Saber cuándo: es el sentido del tiempo, de la ventana temporal, para la correcta utilización de las evaluaciones, para tomar una decisión, o para parar algo.

Un marco de la gestión del conocimiento de las evaluaciones sería un sistema completo de personas, tecnología y procesos/gestión, que asegure que la gestión del conocimiento de las evaluaciones se aplica de forma sistemática y eficaz para aplicar y utilizar las evaluaciones (su diseño, proceso, sus resultados en su contexto y estructura evaluativa). Por tanto en el caso de las evaluaciones, necesitamos actores implicados, gestores, procesos, tecnología y gestión para asegurar su uso.

Marco de gestión del conocimiento

Marco de gestión del conocimiento

 

Marco de la gestión del conocimiento (Basado en Milton, 2010):

1.Las personas y los gestores del conocimiento: Tienen que establecerse en la organización (1) las personas responsables , (2) las funciones de gestión del conocimiento, siendo necesarias comunidades de prácticas para compartir y reutilizar el conocimiento tácito, comportamientos tales como la búsqueda y el intercambio de conocimientos necesitan ser incentivados, y para convertirse en “ la forma de trabajar.

2.Los procesos de gestión del conocimiento: tiene que haber un proceso validado y probado para la captura, destilación, análisis, almacenamiento, aplicación y reutilización el conocimiento, y también para innovar.

3.Las tecnologías de gestión del conocimiento: las personas y el proceso deben ser apoyadas por la tecnología, que permita que el conocimiento que sea encontrado y accesible (en bases de datos, en la Intranet, en determinadas personas). Desempeña un papel importante en la gestión del conocimiento, al proporcionar la tecnología para permitir que la gente se comunique.

4.El gobierno de la gestión del conocimiento sin un sistema de gobernanza que promueva y reconozca el intercambio y la reutilización del conocimiento, todo intento de introducir la gestión del conocimiento será más difícil.

A continuación presentamos como ejemplo de marco de gestión del conocimiento de evaluaciones a nivel internacional la plataforma web DEREC (DAC Evaluation Resource Center), la base de datos de evaluaciones de la Red de Evaluación del CAD/OCDE (Evalnet) (CAD-Comité de Ayuda al Desarrollo):

1.DEREC es un almacén de evaluaciones, en el que de forma amigable se pueden hacer búsquedas empleando filtros (por país, sector, organismo comanditario).

2.El gobierno de DEREC lo tiene la Red Eval Net

3.Los gestores de DEREC son parte de la Secretaría de Evalnet (funcionarios del CAD). También realizan su mantenimiento.

4.Los procesos de gestión del conocimiento: en Evalnet se hace un seguimiento del funcionamiento de DEREC, se anima a (1) introducir nuevas evaluaciones a los miembros de Evalnet, (2) a obtener información sobre las actividades de evaluación de otros miembros, de cara a realizar planificaciones conjuntas de evaluaciones entre los miembros de Evalnet.

ŸŸ5.La tecnología: DEREC es una base de datos robusta a la que se van subiendo las evaluaciones de organismos bilaterales y multilaterales.

Pues hasta aquí llegamos esta semana…y que de entre toda esta teoría, retórica y práctica recordemos al menos allí donde solíamos gritar…

 

REFERENCIAS CITADAS

Milton, N. (2010). Knoco stories. From the knowledge management front-line. Retrieved Enero 2014

Rodríguez Ariza, C.  (2014). La gestión del conocimiento y el uso de las evaluaciones. Teoría, Retórica y Práctica. Serie CECOD de Documentos de Trabajo del Centro de Estudios de Cooperación al Desarrollo

Visser, I; Kusters, C.S.L; Guijt, I; Roefs, M; Buizer, N. (2014). Improving the Use of Monitoring & evaluation processes and findings

 

 

Sigue leyendo →

Las islas del conocimiento y el proceso de aprendizaje


En ocasiones nos pasa que tenemos muchas ideas que contar pero nunca encontramos el momento o la manera de hacerlo. Incluso puede que las anotemos en diferentes formatos (desde una servilleta de papel, el cuaderno de toda la vida o hasta el OneNote). Pero paradójicamente también nos sucede que nos sentimos paralizados llegado ese momento de la creación en el que uno ha de encontrar el estado de ánimo, el tiempo y el espacio para contar algo especial, diferente, único, algo digno que decir y ser contado.

Quiero que este post sea mi reentrée, después de un tiempito, y siendo especial no contaré nada de especial, sino más de lo mismo.

Empiezo con una referencia a un post de ese enorme blog que es Brain Pickings…titulado «The islands of Knowledge: How to live with mystery in a culture obsessed with certainty and definitive answers» (Las islas del conocimiento: Cómo vivir con misterio en una cultura obsesionada con la certeza y las respuestas definitivas): Sigue leyendo →

La #RELAC2015 son personas, colegas, amigos


He visto cosas que no creeríais

Hace ya una semana que volví de la conferencia de la RELAC e iba siendo el momento de contar. Ha sido una gran experiencia, una experiencia enorme. ¿Qué más adjetivos poner? Inolvidable, entrañable, intensa y bien organizada.

Comentaba a varias personas que si lo hubiera sabido hubiera atendido otras conferencias de la RELAC….las comparaciones son odiosas, pero en esta conferencia me he sentido querido, acogido y me han hecho sentir que podía tener o ser un valor añadido…

Mi primera RELAC. Cuántas personas, colegas y amig@s ¡¡ Muchas gracias a las personas de la organización.

Mi mayor reto ha sido impartir un taller pre conferencia sobre gestión del conocimiento y evaluación. Después de estar casi 8 horas como maestro de ceremonias mezclando ponencias, discusión y trabajo colectivo, tener que pasar por otra ponencia y otros dos paneles fue un paseo…pero trataré de ello en otro post.

Estos días tengo un deber pendiente, si no lo hago ahora después costará mucho más, y es el deber de tratar de contactar y retomar el contacto con los vistos y conocidos. A algun@s les pediré sus presentaciones.

No sé por qué suelo ir a contracorriente – o sí, pero mi yo inconsciente no me lo ha chivado todavía- pocas veces contradictoriamente me siento cómodo en actividades gregarias. La ceremonia de la antorcha…confieso que me deja un poco frío…sobre todo sabiendo lo que supe después … Los símbolos tienen poder, pero también su escenificación refleja las relaciones de poder deseables, existentes o deseadas o a veces los símbolos generan confusión…lo importante son las personas, no los símbolos ni los que escenifican los símbolos…claro que a veces es difícil ir más allá…en este mundo tan dado a los mensajes telegráficos, a los destellos luminosos, al sentimiento fácil en el corto plazo, cuesta mantener el pulso a la emoción y apoyos continuos.

Sé de la importancia de la institucionalización de la evaluación, sé de la necesidad de la voluntad política. Por eso me surgía una media sonrisa cuando, al igual que en mi país, muchos ponentes se referían a la necesidad de institucionalizar la evaluación a pesar de la baja voluntad política. Recordemos que la voluntad política sin medios y oportunidades de desarrollo es mera retórica….sigo convenido que la sociedad civil es el principal medio de cambio…la educación, la formación de la sociedad es la semilla para la rendición de cuentas y la evaluación.

Hubo alguna sesión pero he echado en falta un poco más de representación de la sociedad civil en las ponencias plenarias, del rol de la sociedad civil en la evaluación, en la transparencia y en la rendición de cuentas…sobre todo tratándose de América Latina y la RELAC, una red que representa una región en el que la sociedad civil ha sido y es tan fuerte en la reivindicación de derechos y obligaciones.

AH ¡ Y encontré muchas ganas de aprender sobre gestión del conocimiento y evaluación…

Encontré personas, que eran colegas que espero pasen a ser amig@s

En el panel sobre experiencias en evaluación desde la práctica visioné la famosa escena de Blade Runner que también abre este post. Utilizaba el símil del replicante para hablar de cómo el evaluador es el que más aprende en un proceso evaluativo, aprendizaje que en muchos casos está y queda sub utilizado. Amig@s, os invito a escribir ya para que nuestras lágrimas en la lluvia formen un mar….

Asociacionismo en evaluación –capítulo primero


He vuelto de la conferencia de la Sociedad Europea de Evaluación en Dublín con sentimientos algo contradictorios.
Ésta es la quinta conferencia de la EES a la que acudo. Sevilla 2002 siendo doctorando, Berlín 2004 doctorando, Lisboa 2008 siendo gestor de evaluaciones para la DGPOLDE, Praga 2010 siendo gestor de evaluaciones y…Dublín siendo evaluador independiente…
Hay gente que he seguido viendo desde hace doce años y otras caras nuevas. Lo que no ha dejado de cambiar es la comida y el precio…
-La comida…ya ha ganado el estilo anglosajón del MAL-comer en el que si no eres nórdico o anglosajón, ni comes ni haces networking…
-El precio…desde alrededor de 300 hasta más de 500 euros…y eso lo indiqué en la asamblea de miembros, que una conferencia que se centraba en la equidad no puede tener esos precios claramente injustos, 1. Porque cobra igual a un miembro del Banco Mundial al que financia su institución, que a un consultor independiente con familia numerosa, que no tiene asegurado sus ingresos para el próximo mes. 2. Porque da becas a personas de lo que denominan países en desarrollo sin incluir criterios de renta para ello…iguales pero diferentes…
Pero el precio de la conferencia es la punta del iceberg del problema del número de socios…Me queda claro que el tema del asociacionismo en evaluación no se ha resuelto ni en España ni en Europa. La EES necesita más socios dinámicos y proactivos y menos precio en sus cuotas…
Podríamos correr el riesgo de pensar que el asociacionismo no sirve…pero aplicando el esquema del cooperativismo agrario en el que se decía lo mismo, la misma respuesta puede servir…solo nos acordamos del asociacionismo cuando las cosas van mal…y cuando las cosas van mal, nada funciona…
El tema del asociacionismo en evaluación está de moda…en España tenemos la Sociedad Española de Evaluación y dos asociaciones o redes nuevas de dos másteres o magísteres de evaluación, la red internacional de evaluación y la asociación de profesionales de evaluación. Ello en ciernes del 2015, año internacional de la evaluación y el proceso Evalpartners…
Y ese es otro tema, como conseguir que las asociaciones cumplan su importante función social…cuando es una necesidad clara en nuestro gremio que como tantos otros en España no tiene carrera profesional y está fragmentado, dividido, desconfiado…que vive más del oportunismo que del desarrollo de oportunidades…
Más que nunca necesitamos del asociacionismo para aumentar nuestro capital social, humano y técnico, aumentando la capacidad de análisis, escucha, respuesta y servicio. Pero no debe ser fácil cuando hasta ahora no se ha llegado a las bases con una propuesta de verdadero trabajo en red y mutuamente beneficiosa, en la que se den soluciones de forma proactiva a problemas comunes o colectivos, en el que las bases se involucren de forma también proactiva y los boards o élites dirigentes, actúen para el pueblo y con el pueblo, y en representación de y con sus miembros…para ello haría falta –entre otras cosas – un ejercicio importante de mutua rendición de cuentas y aprendizaje- una dosis de nuestra propia medicina, vamos, de EVALUACION- Una evaluación de lo que este tipo de asociaciones o redes de evaluación han querido y venido haciendo, de su público objetivo deseado y real…pero esa es otra historia que tendrá que ser contada en otro momento…

La ficción del desarrollo


«Contar es casi siempre un regalo, incluso cuando lleva e inyecta veneno el cuento, también es un vínculo y otorga confianza» (Javier Marías)

En esta ocasión traigo juntas algunas de mis pasiones: literatura, desarrollo y evaluación. La evaluación tiene de arte y de ciencia. Este post está dedicado a una de las personas que más me han influido tanto por su arte, como por su ciencia: mi padre. De él aprendí por qué subimos las montañas…«porque están ahí»…. Sigue leyendo →

¿Carrera profesional en la cooperación española? La soledad de la carrera de fondo


Quiero iniciar un período de reflexión en torno a la carrera profesional en la Cooperación Española. Siempre he creído que el tema del aprendizaje, la calidad y la construcción de capacidades son caras de la misma moneda. Como da para mucho, prefiero empezar por algo fácil y qué más fácil que… autoplagiándome. Aquí dejo un texto de una publicación de hace 4 años, pero que se escribió hace más de 5 años. Texto que me temo que sigue siendo de actualidad y que sigo manteniendo íntegramente. Entonces la crisis financiera empezaba, pero parecía lejos del sector de la Cooperación Española que, salvo excepciones, vivía en la burbuja de su luna de miel con el poder («el anillo único para dominarlos a todos») y la financiación («mi tesoro»). Y es que digan lo que digan los Planes Directores (de la Cooperación Española), nuestra crisis es social-colectiva, de valores y de visión común (y sí, quien esté libre de pecado que tire la primera piedra, pero como decía un amigo (en el futuro) «alguien tendrá que poner el cascabel al gato»)…Y bueno sí, lo escribí yo, pero como no lo habréis leído pues os dará igual digo yo…

(Rodríguez Ariza, Carlos, 2009, página 32) La gestión de la información en las organizaciones de desarrollo (vol. II)

“El tema de los Recursos humanos es uno de los más débiles en la Cooperación Española  (1) En la Cooperación Española en general (sin meternos en sector público o no) no existe una carrera profesional que garantice que un profesional con una determinada formación, conocimiento y experiencia pueda optar en igualdad de condiciones (en términos de concurrencia, publicidad y mérito) a determinados puestos de responsabilidad o decisión. (2) Los procesos de reclutamiento suelen ser poco transparentes, primando el reclutamiento de recursos endógenos. (3) En España, uno de los países de menos productividad de la UE, en general prima la concurrencia en base al precio, no a la calidad, debido en parte a que son muy débiles los mecanismos de rendición de cuentas y a que la cultura de evaluación es también muy débil. (4) Los responsables de Agencias, Departamentos y ONGD no basan su agenda en evidencias. No hay evaluación sistemática ni de resultados ni de buen desempeño organizacional, por lo que no se determinan de forma sistemática aprendizajes o fracasos que discriminen la buena gestión y el buen desempeño. (4) La Educación para el Desarrollo es muy débil (La sociedad española (aparte de un reducido sector cercano a las ONGD, lo que a veces se viene en llamar “sociedad civil organizada”) se ha quedado anclada en las manifestaciones de 1994 en torno al 0,7%, de forma que, en general, no demanda resultados de desarrollo sino que, debido al desconocimiento del sector y su evolución, se centra sólo en la necesidad de “cuentas claras”. Los esfuerzos en Educación para el Desarrollo tendrán que avanzar en el sentido de que la sociedad demande eficacia y resultados de desarrollo a las Organizaciones de Desarrollo (“0,7 para qué”). Sin embargo no es claro que en estos momentos pueda ser asumido por la sociedad el grado de riesgo e incluso fracaso que toda intervención en desarrollo lleva asociado. De ahí la importancia de las Capacidades… ) (5) Para finalizar indicar que a esto no ayuda los conflictos por intereses particulares que existe en entre algunos sectores de la cooperación, divididos por la ideología o por la pertenencia a determinadas instituciones o cuerpos (públicos y privados), sin lograr hasta el momento una visión colectiva, y que en muchos casos persiguen la visibilidad y el poder.

Uno de los efectos de lo anterior es un sector de profesionales poco valorado, desestructurado, sin sentimiento de cuerpo y, en consecuencia, en el que prima más el “qué hay de lo mío” y el “sálvese quien pueda”, que una visión colectiva sobre cómo debería ser un sector profesional en coherencia con la agenda de eficacia, en la que “de verdad” primaran los intereses de los más pobres (destinatarios por la vía de la apropiación y alineamiento de la ayuda) y de la sociedad española (demandantes de reducción de la pobreza con la máxima eficacia, eficiencia, pertinencia e impacto posible). En este marco la Cooperación Española continuamente se está descapitalizando de sus profesionales, ya que no existen ni mecanismos, ni contextos, ni incentivos para dar la oportunidad o contar con los mejores profesionales en los puestos de responsabilidad y decisión.

Como resultado de los desincentivos anteriores las Agencias, Departamentos públicos y las ONGD españolas tienen una gran rotación de personal tanto de personal directivo, como técnico. Estos cambios hacen más necesarias las estrategias de Gestión del Conocimiento y tienen el peligro de tender a una visión cortoplacista y no estratégica. Asimismo en dichos Departamentos Públicos no suele haber objetivos ni indicadores claros a nivel organizacional, ni mecanismos eficaces de rendición de cuentas de forma bidireccional a los más altos niveles jerárquicos.»

(Rodríguez Ariza, Carlos, 2009, página 32) La gestión de la información en las organizaciones de desarrollo (vol. II)

Cómo ejercer la evaluación independiente y no morir en el intento


Estoy en la fase de gabinete de una evaluación y, justo ahora, me ha dado por escribir algunos pensamientos vagabundos, sobre esta vida tan apasionante y compleja que es la de la evaluación como independiente. No voy a hacer una tesis doctoral sobre ello, tan solo indicar que a pesar de que haya muchos prejuicios sobre los consultores externos, si hablamos de los independientes y, dentro de este grupo, además hablamos de ese 80% de l@s independientes que podríamos llamar “pequeños o medianos” (no en estatura, experiencia, conocimiento o capacidad claro, si no muchas veces por su nivel de networking), la principal oportunidad es la libertad, pero el principal reto es la incertidumbre respecto a la agenda, la esquizofrenia de la necesidad de planificarse a dos meses vista, que es cuando suelen publicarse los Términos de Referencia de las Evaluaciones (cuando no son dos semanas antes)…pueden darse semanas, meses sin ningún encargo y de repente tres a la vez. Pero como dice una muy buena amiga, “esto añade picante a la vida”. Y yo que he estado en ambos lados del espejo, como asesor de políticas de evaluación, como gestor de evaluaciones y como “implementador” de evaluaciones, creo que ésta última es de las más creativas. Cada evaluación es diferente, pero cada evaluación es un aprendizaje tremendo…aprende más el evaluador que el evaluando…aunque sea M.Q.Patton…

Y qué harán en esos tiempos muertos y solaces los intrépidos evaluadores independientes, se preguntarán ustedes. Para algunos de ustedes estará muy claro: “pues disfrutar de la vida, vivir a todo tren y gastar las astronómicas cantidades que has ganado como consultor independiente”…FALSO: Primero, aunque muchas veces se factura por días (…en otros países en los que se valora y respeta el conocimiento y el saber hacer, y hay otros, no necesariamente los mismos, que hasta se factura mucho por día) el tiempo que te consume la evaluación puede-especialmente si no lo controlas- extenderse hasta el infinito…y por qué no, si el evaluador no le pone límite al comandatario (con aquel dicho del “ya que estás” hazme esto o aquello)…Segundo, esto es como el cuento de la hormiga y la cigarra, recuerden que pueden pasar semanas, meses sin otro encargo o trabajo “remunerado” (no justamente remunerado hay demasiado). Tercero, el independiente ha de estar constantemente buscando nuevas oportunidades, nuevos trabajos, reforzando su red de contactos y colegas de profesión (evaluadores o no), observando las modas de este mundillo (que si resiliencia, que si RCTs, que si complejidad,…). Cuarto, sólo ese 20% de l@s independientes que podríamos llamar “NO pequeños o medianos” (no en estatura, experiencia, conocimiento o capacidad claro, si no muchas veces por su nivel de networking) ganan de verdad como para no preocuparse por la capitalización de la economía familiar. Quinto, no conozco bien otros contextos, pero el español para nuestro sector siempre ha sido…¿cómo decirlo? especial, complejo…como dijo hace ya una eternidad nuestro todavía referente Alonso (no Quijano, sino Jose Antonio): “castizo”. Y perdón por mirarme al ombligo, pero mi querida España es el país en el que me tocó nacer, no sé bien si como barbero, cura o como el caballero de los espejos o el caballero de la blanca luna, como Don Quijote o como Sancho Panza o como un poco de todo. Digo perdón porque un evaluador independiente no entiende de fronteras, no tiene patria ni amos, solo tiene ideales (cuando digo sólo a veces es «solo solo»), debe ser globalizado, ciudadano del mundo…y Quinto: no hay quinto, no hay más por hoy, esto no es una tesis

Y si tienes familia…has de ser un auténtico gurú de la meditación oriental para no caer víctima de la vorágine…pero eso es otra historia que tendrá que ser contada en otro momento

Un amigo evaluador noruego se reía de mí (pero bien que se reía el condenado) porque en nuestra época de esplendor yo le decía que España quería entrar en el Nordic Plus…en fin quién nos ha visto quién nos ve. Otros tienen a grandes y reconocidos gurús en evaluación y potentes sistemas de evaluación. Pero yo termino con unas palabras de ese gran evaluador independiente hispanófono que sin duda pertenece al 80% de l@s independientes que podríamos llamar “pequeños o medianos”: “Hoy es el día más hermoso de nuestra vida, querido Sancho; los obstáculos más grandes, nuestras propias indecisiones; nuestro enemigo más fuerte, el miedo al poderoso y a nosotros mismos; la cosa más fácil, equivocarnos; la más destructiva, la mentira y el egoísmo; la peor derrota, el desaliento; los defectos más peligrosos, la soberbia y el rencor; las sensaciones más gratas, la buena conciencia, el esfuerzo para ser mejores sin ser perfectos, y sobre todo, la disposición para hacer el bien y combatir la injusticia donde quiera que estén.”

Ahí queda eso…al tajo ¡