Utilidad de hablar de la utilidad de las evaluaciones


Voy a tratar de convenceros de que una de mis mañanas fue bien «utilizada».

A comienzos de febrero terminó la serie de talleres sobre “Determinación de los principios básicos para lograr mayor calidad y utilidad de las evaluaciones”, auspiciados por el CECOD y facilitados por el compañero y sin embargo amigo, Rafael Monterde, Monty, conocido mundialmente (y parte del extranjero) por su blog Evaluateca.

Antes de comenzar el sarao, y en relación directa con la “utilidad”, comentamos que si fuéramos a todos los eventos de este tipo no tendríamos tiempo para trabajar, siempre que tu trabajo no fuera asistir a este tipo de saraos claro, que seguro que trabajos de ese tipo haylos. Lo mismo puede pasar con las redes sociales supongo, esos miles de microsaraos por los que hoy por hoy nos movemos todos los días (o sus noches). Y esto es también una reflexión enfocada a la utilidad de nuestro quehacer (i). Pero un detalle, a los asistentes se nos pagó por nuestra participación, lo cual me parece increible en nuestro sector, tan acostumbrado a no valorar que el matra de la «participación» implica recursos (tiempo, organización, preparación…). Donde tantas veces gente con salarios fijos (y a veces muy pero que muy altos) crean el espejismo de la utilidad de la participación de gente (muchas veces sin oficio ni beneficio) que nunca recibe feedback alguno por haberle hecho el trabajo a los otros.

El tema de este sarao que menciono era el de la “utilidad de las evaluaciones”: Cómo aumentarla.

Claro que no se puede hablar de “utilidad en evaluación” sin mencionar a Patton, el que esto escribe ha podido tocar a Patton, vamos que Patton existe y no es una deificación de todas las bondades de un evaluador…

Pero volvamos al sarao: Hubo una interesante presentación para poner el Marco de trabajo, e incluso se mencionaron a otros autores como Kirkhart o Henry&Mark. Me pregunto si no fue un poco pesado para los “practitioners” más duros, para mí fue interesante, aprendí cosas nuevas y se planteó un enfoque de trabajo interesante: Se introdujeron los conceptos o enfoques de las esferas de lo individual, lo relacional y lo colectivo. Este enfoque está próximo de la sociología social.

Mi reflexión fue, bueno algunas de las ideas que surgieron fueron…perdón por sacar el ego en primer plano, pero por algo este blog es el mío (digo yo)…bueno también trataré de tomar una perspectiva global, pero no podré evitar sesgar lo que allí aconteció 😉 :

-Surgieron propuestas muy interesantes e innovadoras. Miento. Surgieron propuestas útiles…vale, mejor….casi todo está ya inventado, sólo hace falta ponerlo en práctica (por desgracia,nos empeñamos en seguir inventando la rueda sin preguntarnos por qué en el pasado otros infelices mejor preparados que nosotros no lo consiguieron)

-Es importante aprovechar todos los momentos de cara a la utilidad. Se mencionaron aspectos como fomentar la síntesis de evaluaciones , trabajar más a la demanda y alguien mencionó la necesidad de susurrar en los oídos de los políticos (esto me recuerda a la película de “El hombe que susurraba a los caballos”, y es que a veces los políticos se hacen, parecen o los tomamos por niños…o animalitos, digo yo que si están ahí por algo será, o debería ser.

-Como siempre, se mencionó la importancia de la transparencia y del accountability para aprender, materia que en España no pasa de ser ciencia ficción, por desgracia. Si no, veamos lo que ha sucedido tras años de absoluta impunidad e irresponsabilidad política…

-Después pensé que no se habló nada de la relación entre «poder» y «utilidad»: Introducir en el análisis el poder. Las relaciones de poder están en todas partes. Como ejemplo, el presentador y la audiencia tienen un nivel de poder diferente. Aunque el presentador me comentó que le hubiera gustado estar entre la audiencia, lo cierto es que tenía diferente poder, tiene el poder de vehicular y “hacer” utilizar ideas, enfoques, tiempos…ya sabemos que el poder es calentito ¡

El mito de aprender de los errores (I)


Mis compañeras del blog literario saben que lo mío es el microrelato y, en este espacio, el micro post. Y no es sólo porque no tenga tiempo para tirar cohetes, sino porque creo que hoy en día no tenemos mucho tiempo para nada, así que razones me sobran para ir al grano…y es difícil porque hoy me ocupo de un tema que sin duda dará para más…

Muy de actualidad aparece en prensa la voluntad política de aprender en la política de desarrollo e incluso de aprender de los fallos o errores, incluso la importancia de aprender rápido. Es importante la legitimidad y la credibilidad del sistema. Me resultan un poco incómodos algunos matices del mensaje que pueda resultar del primer artículo.

Puede parecer retórico, pero es algo de lo que estoy convencido, porque aunque sé que todos y todas no son/somos iguales, las debilidades estructurales de este sistema nos obligan a parecernos, a adaptarnos al sistema mimetizándolo y, en nuestras actuales circunstancias, solemos empezar por mimetizar lo peor…¿pero de qué retórica hablo? Al grano: de lo que podría estar de fondo es un mal endémico de todas las políticas y políticos 😉 de este país: que eso de aprender es una quimera. ¿Por qué? Porque no hay incentivos para reconocer los errores. Porque hay gente que no los reconoce y no pasa nada. Porque hay otros a los que se les reconoce (incluso en los tribunales) y tampoco pasa nada. Porque (si se aprende) se aprende sólo de los errores del otro. …Y «parece que» no pasa nada, que eso no resta credibilidad al sistema, porque siempre ha sido así…Porque al final el único y verdadero juez es la prensa y entonces ni eso, perdemos el norte proque todo da igual…¿Y en ese contexto ¿Dónde quedan los procesos de aprendizaje?

Además reconozcamos que el aprendizaje del mal ajeno es muy limitado. El nivel de rendición de cuentas en este país es tan bajo que no permite un real aprendizaje…Aprendizaje y rendición de cuentas, dos caras de la misma moneda

Volviendo al artículo referido a nuestra cooperación, un mensaje simplista del tipo: “empezamos de cero y vamos a cambiar todo, antes no se intentó evaluar, ni mirar hacia los resultados, ni seguir estándares de evaluación”…Más: la tendencia a poner la lupa dónde, cómo, cuándo y para lo que nos interesa (a “nosotros”, a unos pocos, que somos los que tenemos el poder, ocupamos la silla, tenemos la solución, repartimos el pastel…y el ricino). ¿Otro mensaje que me incomoda? Que las ONGD están bajo sospecha. Me pregunto por qué no se habla más (para aprender claro) del nivel de evaluación que ha habido de la parte bilateral y multilateral de la cooperación…de eso podríamos aprender (un montón)…De acuerdo empecemos por las ONGD que suman más del 80% de las evaluaciones realizadas en los últimos años…y que a mi humilde entender no funcionan ni mejor ni peor que otros instrumentos de cooperación…

Pero continuaremos aprendiendo…los que nos guste aprender (claro), que aquí no hay obligaciones.

Por qué lo llamamos desarrollo cuando nos cuesta ver más allá de otros intereses y chequeras


Iba a escribir un comentario a Gonzalo Fanjul de su post «¿Le cortamos el grifo a la ONU?», pero me ha salido tan largo que casi mejor que lo dejo aquí…

Me gusta su blog 3500 ideas irreverentes contra la pobreza. En esta ocasión siendo yo un profesional de la Evaluación, espero que le oiga alguien con el anillo del poder a Gonzalo -esto de los blogs a veces me parece como predicar en el desierto, y si por alguna razón hablan de uno te puedes temer lo peor-. Pues bien Gonzalo decía:”lo más prudente es tomar cualquier decisión (recortes u otros) después de haber hecho una valoración objetiva y transparente de la eficacia de cada organismo de acuerdo a las prioridades que establezca el nuevo gobierno”. No podemos quedarnos en la percepción, en valoraciones sesgadas o basadas en el antes y el después…hay que mejorar nuestro sistema de aprendizaje

Sobre esas chequeras por los pasillos de Naciones Unidas de las que habla Gonzalo Fanjul…lo malo es si esas chequeras son utilizadas como si las cuentas de origen fueran personales y no dinero público. Degradamos nuestro sistema si esos cheques sirven para realizar ideas o fines más personales que colectivos, en una Cooperación ya fragmentada…en cualquier caso incluso tras el paso de las chequeras nuestras instituciones siguen dependiendo en demasía de personalismos, esas chequeras no se han acordado en demasía de la necesidad de una estructura de organización y capacidades acorde con el tamaño de la AOD en la Cooperación Española. Esas chequeras – a pesar de varios Planes directotes, contratos de gestión y programaciones operativas- siguen convertido el 0,7 en un objetivo y no en un medio, y han mantenido una distancia entre el discurso y la realidad…la retórica.

Lo malo es que tras un comienzo ilusionante una parte del sector ha acabado desilusionada o indignada, aunque claro esto va por barrios en un sector tan fragmentado como el nuestro, con tantos reinos de taifas dentro de reinos de taifas -y por qué no decirlo, a algunos no les ha ido tan mal, ya sabemos por Durban, Copenague y Kioto que beneficio global no implica beneficio local y viceversa. Ha sobrado algo de partidismo, clientelismo, corporativismo…el resulado ha sido una pátina de oportunismo (pero oportunidad para el que pasaba por ahí al cabo o al que se cruzaba con las chequeras en algún pasillo ¡). Estos «istmos» han debilitado nuestra profesión, transparencia, accountability…nuestras capacidades, procesos y los resultados a los que debiéramos contribuir.

Y digo yo, en esa forma tan castiza con que seguimos haciendo cooperación: ¿por qué normalmente lo cortés no puede ir acompañado de lo valiente? ¿por qué en paralelo a esas subidas y bajadas de nuestras contribuciones (a organizaciones o naciones unidas o desunidas) tan débiles en cuanto a evaluación ex ante y expost, no se podría haber logrado una coherencia entre el nivel político, su liderazgo real y las capacidades para llevar a cabo acciones que fueran apoyadas por nuestra sociedad civil (incluso o sobre todo en períodos de crisis)?. Han sobrado algunos cheques y mucha retórica y ha faltado coherencia interna, ha faltado energía bien direccionada para hacer realidad esa necesidad de coordinación y racionalidad interna…demasiada jerarquía y ausencia de autocrítica, demasiadas buenas ideas dispersas y pocas manos para llevarlas a cabo (aunque las había no se han podido o sabido organizar, no se han podido o sabido utilizar)…No se ha concentrado suficiente energía en la estructura, que ha demostrado ser “el” cuello de botella, algo tan difícil de cambiar (de nuevo el Gatopardo: “ Algo debe cambiar para que nada cambie”) que parece que se dejó a la deriva por imposible. Y en fin, ha faltado la visión y determinación para el despliegue efectivo de una sólida política de educación para el desarrollo como base de la sostenibilidad y legitimidad de la política de desarrollo. Sin una sociedad suficientemente concienciada y reivindicativa no se han oído suficiente las voces para exigir el cumplimiento del sueño de una cooperación de calidad (o con una calidad acorde con nuestra situación de “nuevos y nuevas ricos”). ¿Por qué la Sociedad Civil Española no conoce las Declaraciones de París, Accra o Busán?¿Por que no saben lo que es la agenda de desarrollo? ¿Por qué piensan que la AECID es una ONGD? En fin un ciclo en el que se ha avanzado…pero que podría haber dejado más huella…

En fin, no sé si la culpa de todo la tiene la crisis, pero en muchos casos la única salida nuestros profesionales ha sido salir del sistema, ya fuera a ONGD internacionales o a Organismos Multilaterales…En un sector tan endogámico y en algún caso ya en medio de una reestructuración las posibilidades de retorno de esos activos se van reduciendo. Y es que nuestro sistema de cooperación dista mucho de ser un medio ideal para los buenos profesionales…y algunos de los buenos y buenas profesionales que se han quedado han acabado desmotivados, quemados, tomando bajas por depresión…o convirtiéndose en no tan buenos profesionales. No estaría mal hacer una terapia de grupo para curarse ciertas heridas antes de pasar a lo que nos espera ahora…Ojalá alguno de sus protagonistas escribiesen sus vivencias como cura y pudiésemos compartir lo que ha sido este periodo…

Y volviendo al principio: no es una cuestión de cortarle el grifo a Naciones Unidas, sino de plantearnos qué hacemos con el agua (y cómo lo hacemos claro)…o qué hace la Cooperación Española y Naciones Unidas y nuestros socios con él…Y otra cosa es el funcionamiento interno de Naciones Unidas…claro que hay de todo como en las buenas familias… para los que les gusten las buenas novelas recomendaría la lectura del libro Belle du Seigneur, un libro que novela la Sociedad de Naciones en Ginebra en los años treinta. Creo que algo de actualidad sigue teniendo, por desgracia, después de tantos años pasados…Por cierto se estrena su versión cinematográfica en 2012

¿Y por qué estas reflexiones? No, ya sé que no son buenos tiempos para la lírica (no lo han sido para la crítica), pero tal vez el futuro nos depare sorpresas positivas, hay que seguir siendo optimista en este oficio (digo yo, si no a otra cosa mariposa)

Hoja de ruta – RoadMap -Feuille de route


Hoja de ruta sobre evaluación en cooperación al desarrollo

 

Voy a desarrollar una hoja de ruta de algunos de los elementos que me gustaría tratar en el futuro sobre evaluación. No están todos los que son ni son todos los que están, incluso habrá cambios pero para eso van cambiando las rutas según pasa el tiempo y el temporal.

 

Estará bajo la categoría aprendiendo a aprender en cooperación.

 

Hoja de ruta sobre evalaución en la cooperación al desarrollo

1.La historia de la evaluación

El caso de la cooperación al desarrollo

2.Teoría de la evaluación: teorías de prácticas

Papel de la teoría en la práctica de la evalaución

Evaluación de programas sociales

Fundamentos de la Evaluación de programas (Shadish):

– Fase I:Dotando de evidencias a la resolución de problemas sociales

-Fase II:Generación de alternativas enfatizando la utilidad y el pragmatismo

-Fase III:Tratando de integrar el pasado

-Evaluando para mejorar los programas

La ciencia de valorar (Scriven)

Evaluación repondente y métodos cualitativos (Stake)

Diseños de evaluación funcionalespara mundo de acomodación política

Evaluaciones conducidas por la teoría, a medida y comprensivas

El caso de la cooperación al desarrollo

3. El futuro de la evaluación

Visiones de la evaluación en el nuevo milenio

La visión interdisciplinar (Scriven)

Respondiendo a retos emergentes de gestión

Evaluación que empodera (Fetterman)

Cuarta generación de evalauciones en el nuevo milenio (Lincoln)

La visión inclusiva de la evaluación (Metens)

El caso de la cooperación al desarrollo

 

ENGLISH

 

 

Roadmap for evaluation and evaluation in development cooperation

 

I develop a roadmap of some of the elements related to evaluation that I will develop in this blog in the future. Probably they will change as our routes are changing over time.

 

It will be under the category «Learning to learn»

Roadmap of EVALUATION in development cooperation

 

 

1.The history of the evaluation

The case of development cooperation

 

2.Theory of evaluation: theories of practice

Role of theory in the practice of EVALUATION
Evaluation of social programs

Foundations of program evaluation (Shadish):

– Phase I: Providing evidence to solving social problems

-Phase II: Generation of alternatives emphasizing the usefulness and practicality

Phase-III: Trying to integrate the past

-Evaluations to improve programs

The science of valuing (Scriven)
Qualitative evaluation methods (Stake)

Designs of functional evaluation in a world of political accommodation

Driven theory Evaluations, tailored and comprehensive  

The case of development cooperation

 

3. The future of evaluation

Visions of the evaluation in the new millennium

Interdisciplinary vision (Scriven)

Responding to emerging management challenges  

Empowerment Evaluation (Fetterman)

Fourth generation evalautions in the New Millennium (Lincoln)

The inclusive vision of the evaluation (Metens)

The case of the development cooperation

 

(Française)

 

Feuille de route pour l´evaluation et l´evaluation de la coopération au développement

 

Je vais élaborer une feuille de route de certains des éléments autour de l´evalution que je voudrais developper à l’avenir. Il y aura des changements, mais nos routes sont en train de changer au fil du temps

 

Sera dans la catégorie «Apprendre à apprendre»

 

Feuille de route de l´ÉVALUATION dans la coopération au développement

 

1.L ‘histoire de l’évaluation

Le cas de la coopération au développement

 

2.Théorie de l’évaluation: les théories de la pratique

Rôle de la théorie à la pratique de l’évaluation

Evaluation des programmes sociaux

Fondements de l’évaluation de programmes (Shadish):

– Phase I: Fournir des evidences pour résoudre les problèmes sociaux

-Phase II: Production de alternatives en mettant l’accent sur l’utilité et la

praticabilité Phase III: Essayer d’intégrer le passé

-Évaluations pour améliorer les programmes

La science de la valoration(Scriven)

Méthodes d’évaluation qualitatives (Stake)

Modèles d’évaluation functionales 

Les évaluations conduites par la théorie

Le cas de la coopération au développement

 

3. L’avenir de l’évaluation

Visions de l’évaluation dans le nouveau millénaire

Vision interdisciplinaire (Scriven)

Répondre aux nouveaux défis de la gestion

Empowerment Evaluation (Fetterman)

Quatrième génération evalautiones dans le nouveau millénaire (Lincoln)

La vision inclusive de l’évaluation (Metens)

Le cas de la coopération au développement