Mas allá de los métodos: la evaluación es “P”olítica


Voy a poner la guinda. No solo durante mis últimos 4 posts sobre métodos mixtos (Una introducción a los métodos mixtos de evaluaciónCómo integrar métodos mixtos de evaluación y Algunos desafíos de los métodos mixtos de evaluación en contextos de desarrollo y Oportunidades de los métodos mixtos en evaluación), sino durante un poco más, durante más de una década, gran parte de la sesuda discusión sobre evaluación se ha centrado en qué métodos son los mejores. Esta vez hago mi traducción libre y comentada de un interesante post de Anne Buffardi y Tiina Pasanen del Overseas Development Institute  (ODI) que reflexiona sobre ello en:  La medición del impacto en el desarrollo no es sólo técnica, sino política.

Sigue leyendo

Una introducción a los métodos mixtos de evaluación


Los métodos cuantitativos y cualitativos todavía son considerados por algunos como dos rivales o dos opciones incompatibles (Patton los compara con niños de dos años que todavía no son capaces de jugar juntos). Para la mayoría de las intervenciones de desarrollo, no hay un método único que pueda describir adecuadamente y analizar las interacciones que se inter-relacionan con los sistemas complejos. Los métodos mixtos permiten la triangulación —o análisis comparativo— que nos permite capturar y cotejar realidades complejas y nos puede proporcionar una comprensión completa, desde diversas perspectivas, el éxito (o falta de él) de las políticas, los servicios o programas.

La utilización de métodos mixtos ha pasado a ser parte de la ortodoxia, demandada u ofrecida de forma habitual por/a las agencias donantes. Sin embargo, en el pasado se ha abusado del término, ya que a cualquier mezcla de diferentes técnicas y de cualquier manera, se le ha querido llamar “métodos mixtos”. Es probable que los métodos mixtos pronto se conviertan en el estándar para la mayoría de las evaluaciones. Pero el uso de métodos mixtos por sí solo no es suficiente, sino que debería aplicarse en múltiples niveles (Bamberger, 2012)

En los últimos años ha existido un interés creciente por los métodos mixtos en el campo de la evaluación en general, así como en las diversas formas en que las metodologías cuantitativas y cualitativas pueden ser sistemáticamente combinadas. Existen diferentes diseños evaluativos con métodos mixtos, siendo los más habituales aquellos que ponen el énfasis del lado cualitativo. Este tipo de diseños, en los que la parte cualitativa es la dominante, pueden ser útiles para explorar (1) temas complejos e innovadores o (2) conglomerados de intervenciones, por poner dos posibles ejemplos habituales en Cooperación al Desarrollo.

Una evaluación de métodos mixtos integra sistemáticamente dos o más métodos de evaluación, potencialmente en todas las etapas del proceso de evaluación, por lo general sobre la base de datos tanto cuantitativos como cualitativos.

Evaluaciones de métodos mixtos pueden utilizar (1)  varios diseños, por ejemplo la incorporación de (1.1) RCT (ensayos aleatorios controlados, en sus siglas en inglés Randomised Control Trials) y (1.2) estudios de caso. También pueden incluir diferentes (2) técnicas de recolección de datos, tales como (2.1) observaciones estructuradas, (2.2) entrevistas a informantes clave, (2.3) encuestas de hogares, y las (2.4) revisiones de los datos secundarios existentes. En resumen, una evaluación de métodos mixtos implica la integración sistemática de los diferentes tipos de principios, enfoques, técnicas y datos, por lo general procedentes de diferentes diseños. Como resultado de ello, las evaluaciones de métodos mixtos requieren (a) una planificación avanzada y (b) una gestión cuidadosa en cada etapa del proceso de evaluación.

Los tres casos principales en que los diseños de métodos mixtos ayudan a fortalecer la evaluación son:

1) Cuando las diferentes preguntas de evaluación requieren diferentes métodos, o cuando una sola pregunta de la evaluación requiere de más de un método para responder a todos sus componentes.

2) Cuando métodos diferentes se utilizan para responder a los mismos elementos de una sola pregunta, aumenta la confianza en la validez y fiabilidad de los resultados de la evaluación.

3) Cuando los resultados de un método se utilizan para ayudar a diseñar las futuras fases de la evaluación.

Otros beneficios que se pueden obtener mediante el uso de diseños de métodos o estrategias de recolección de datos mixtos son:

1) Facilitan la revelación de resultados inesperados

2) Puede proporcionar una comprensión más profunda de por qué el cambio está o no ocurriendo como estaba previsto

3) Permiten capturar una gama más amplia de perspectivas de lo que podría ser capturado por un solo método.

REFERENCIAS

Bamberger, M. (2012), Introducción a los métodos mixtos de la evaluación de impacto. Notas sobre la Evaluación de Impacto, nº 3. InterAction

Rodríguez Ariza, C. & Monterde, R, (2014) Estrategias cualitativas de evaluación en la Cooperación para el Desarrollo: viejos debates y nuevos retos. Serie CECOD de Documentos de Trabajo del Centro de Estudios de Cooperación al Desarrollo, Número 29

Y ahí va la canción que hace juego, juego mixto:

La ficción del desarrollo


“Contar es casi siempre un regalo, incluso cuando lleva e inyecta veneno el cuento, también es un vínculo y otorga confianza” (Javier Marías)

En esta ocasión traigo juntas algunas de mis pasiones: literatura, desarrollo y evaluación. La evaluación tiene de arte y de ciencia. Este post está dedicado a una de las personas que más me han influido tanto por su arte, como por su ciencia: mi padre. De él aprendí por qué subimos las montañas…“porque están ahí”….

La evaluación es una ciencia inabarcable y es un arte que se va perfeccionando y tomando nuevos matices con su práctica (y teoría). Ciencia y arte requieren de altas dosis de suerte y razonamiento. Forma parte de ello el arte y la ciencia de contar historias. Un evaluador ha de saber contar historias. Y es que esto del desarrollo da para muchas historias. El reto es escucharlas, construirlas y contarlas bien…y que te escuchen, que ése es otro cantar. A veces el problema no es la historia o el/la relator/a, sino una audiencia sorda, aunque un buen enfoque evaluativo ha de estar preparado ante tal eventualidad.

Contar historias o relatos nos ayuda a compartir nuestro conocimiento poniéndolo en contexto y dotándolo de emoción. Podemos compartir así conocimiento tácito y explícito. Las historias o relatos por otro lado llaman nuestra atención aumentando la posibilidad de escuchar y aprender. Pero a veces la potencia de contar y escuchar historias deja atrás…hasta los mismísimos RCTs. Y es que una buena narrativa o historia es mejor que muchos documentos, incluidas evaluaciones, especialmente cuando están basados en anécdotas…

Podemos encontrar muchos enfoques en base a contar historias en la evaluación de programas. Y por ejemplo la técnica de los “Cambios más significativos” (Most Significant Changes) se basa en seleccionar historias. La misma evaluación basada en la teoría de programa ha de ser capaz de reproducir la historia de “lo que ha pasado y por qué ha pasado” entremezclando a sus protagonistas: el diseño, el contexto, la estructura, el proceso y los resultados del programa.

Numerosas organizaciones recurren a ello, contando historias “de personas, de gente”, que es lo que más llega “a las personas, a la gente”. Ahora por ejemplo Oxfam Intermon demuestra el poder del arte para contar historias que lleguen a la gente en su proyecto “Un arte que agita conciencias”, en el que reivindica las bondades y necesidad de la cooperación para el desarrollo. A pesar de que no son buenos tiempos para la lírica.

Recientemente en base a una conferencia en el IDS que se emitió en la BBC (Popular Representations of Development: Insights from Novels, Films, Television and Social Media) ha habido un debate en la red KM4Dev sobre la ficción en el desarrollo. Supongo que muchos profesionales del desarrollo tendrán el gusanillo de escribir, aunque serán menos los que se dediquen a ello de forma más o menos sistemática (ya no digo profesional).

Por otro derrotero, pero dentro de la familia Oxfam, en uno de sus recientes posts, “Cautionary-tales-for-development-folk”, Duncan Green habla del libro escrito por un viejo conocido mío, Neil McDonald. Conocí a Neil en una misión en Ecuador para el proyecto Futuros Humanitarios. Este proyecto, Futuros Humanitarios, y la técnica que utilizaba, los “escenarios de futuro“, me recordaba a la técnica de la psicohistoria en esa saga de novelas de Asimov, la Fundación, que leí cuando era más joven (y vuelta a la ficción, los libros, la literatura y al desarrollo…y es que como decía Rilke “nuestra verdadera patria es la infancia”). Entonces, hace casi 7 años, Neil me pareció un escocés sabio y experimentado en temas de desarrollo, del que se podía aprender mucho…(y algo cascarrabias 😉 ). De él escuché el comentario:“Si no fuera por la cantidad de gente incompetente dentro de las instituciones, no habría trabajo para consultores independientes como nosotros”. Claro que en se dan casos como el de España en el que los consultores o asesores a menudo son más incompetentes que los funcionarios.

Otro de los comentarios que recuerdo de Neil fue: “En el mundo anglosajón, todo trabajador humanitario o del desarrollo acaba publicando un libro”.  No se refería a un libro sobre el desarrollo, sino a ficción, cuentos, novelas…Pues parece que Neil ya ha hecho realidad la publicación de sus sueños. “Cautionary-tales-for-development-folk” es su libro de ficción.

Pero hay muchas formas de contar la misma historia, de ahí el actual auge en evaluación de tendencias como la visualización de datos, infografías y comics. Pero esa es otra historia y tendrá que ser contada en otro momento.

Todo pasa y todo queda pero lo nuestro es pasar (*)


Cuando llega el verano, incluso aunque no lleguen las vacaciones, o lleguen tarde, o lleguen a medias, uno para un poco el ritmo y trata de tomar perspectiva. El ritmo biológico a veces pasa página con el ritmo escolar, que por esta parte del mundo empieza en el otoño y no con el comienzo del año, como en otras partes del mundo. Cuando era pequeño, o más pequeño, el paso del verano significaba un cambio, el paso a algo nuevo, especialmente significativo, con cambios como primaria, secundaria, la universidad…Pero uno se va haciendo mayor y pierde perspectiva y cae en la tentación de que las cosas no cambian tanto. Pero los hijos sí que cambian, de hora en hora…son nuestros relojes vitales.

“Algo debe cambiar para que todo siga igual y nada cambie” es la expresión central del “gatopardismo”. Éste era el leitmotiv de un blog que mantuve un tiempo y gracias al cual conocí a muy buena gente (entre 2007 y 2012). Con algunas de aquellas personas sigo manteniendo contacto. Áquel fue el que me inició en este mundillo de los blogs y gracias al que he escrito otros hasta llegar a éste, menos personal y más profesional. Estas semanas he encontrado interesantes posts referidos a las bondades de los blogs, algunas de las cuales yo ya cité en un post anterior. En esa dirección esta misma semana Duncan Green reflexiona en su post sobre por qué es interesante ser un blogger en el sector del desarrollo. Como curiosidad para mejorar en eficacia y eficiencia bloggera aconsejo echarle un ojo a los posts de Chris Lysy sobre errores comunes de los bloggeros y sobre diferentes estilos de los bloggeros, en su mayoría referidos al sector de la evaluación.

Pero volvamos al “Algo debe cambiar para que todo siga igual y nada cambie”. Aunque esta expresión tiene una interpretación negativa, también podría ser positiva, como yo escribía en la nota principal sobre mi antiguo blog: “En un mundo en cambio continuo nos afanamos en encontrar nuestro centro de gravedad permanente. Pero nada es permanente (nunca lo fue y hoy menos). Describir el cambio es contar nuestra adaptación a las buenas y malas realidades personales y globales. Frente a la homogeneidad hacia la que nos lleva ese cambio (el consumismo, la superficialidad, la competitividad despiadada); hay realidades que desde lo personal a lo colectivo merece la pena arriesgarse a cambiar, como los procesos de injusticia económica, social y medioambiental. Y otras realidades no han de cambiar, han de continuar y enriquecerse mutuamente, como la diversidad personal, ideológica, cultural, social y medioambiental. Para ello es necesario (no suficiente claro está) un proceso en red (como este blog), de participación, de ideas, de intercambios, de abajo a arriba, de lo local a lo global

Y perdonad que solo en el cuarto párrafo entre al asunto: La expresión de moda (buzzword) “teoría del cambio” está ahora en la cresta de la ola de los mantras de la gestión de la cooperación internacional. Para mí la teoría del cambio, es algo así como el relato, cuento o historia como cada cual ve la realidad desde su lado, teniendo en cuenta todos los elementos escénicos, desde el contexto o los recursos, hasta el motivo o la forma cómo se hacen las cosas. Y es que poco a poco la ya famosa “teoría del cambio” (ToC), está situándose en posiciones privilegiadas. Estas últimas semanas seguimos encontrando referencias: Enrique Mendizábal, que en 2011 ya había compartido una interesante síntesis sobre la discusión sobre la ToC, nos indicaba que antes que contar la teoría del cambio deberíamos comprender cómo el cabio ocurre. Y cerrando el círculo, incluso Duncan Green ha reflexionado hace unas semanas sobre lo que es una teoría del cambio y cómo la utilizamos.

Tenemos mantra de la Teoría del Cambio para rato. Como tantos otros mantras, esta nueva estrella del video intentará matar a la estrella de la radio, que después de tantos años sigue siendo nuestro colega “el marco lógico” (EML), tan denostado de un tiempo a esta parte, pero sin el que parece que no podemos vivir.

El EML es una forma entre muchas de expresar una Teoría del cambio, pero me como el sombrero si dentro de poco algún donante visionario no empieza a exigirlo como una novedad revolucionaria…y entonces empezará su fin. El problema del EML y tantos otros intentos fallidos no está en sí mismo como técnica, sino en cómo y para qué se utilizan…cualquiera de estas herramientas que simplemente “ayudan a pensar”, pierden sentido si solo sirven para pedir financiación o para rendir cuentas en un sentido estrecho y miope…

Y voy terminando…Yo pensaba que no, pero esto de la evaluación es muy parecido al mundo de la farándula. Y es que casi todo en la vida es así. Y como la gente de la farándula uno sale a hacer sus bolos. Pues bien, estas últimas semanas mi blog ha sido una foto fija, nada ha cambiado. La razón: he estado viajando debido al arte y oficio de la evaluación. He visitado varios países de África, Angola, Burundi, Senegal y Gambia y uno de América Latina, Perú, y no he tenido tiempo para otras facetas artísticas. “He visto cosas que no creeríais”, decía Roy Batty el replicante en Blade Runner. Bueno pues yo no me meto en lo que crea la gente, pero he visto cosas que yo no creía que vería:

1. Ahí fuera hay gente magnífica….los primeros son los últimos. Los proyectos tratan de comprender los sistemas que quieren contribuir a cambiar (Lewin dixit)…Nada como viajar para comprenderse mejor, para tomar perspectiva, para desoxidarse de tanta burocracia como suele haber en los países de origen de los donantes, tan cerca de Mordor. Y también estoy pensando en coordinadores y oficiales de terreno que, a veces sin recursos, se empeñan en hacer sus tareas de la mejor forma posible.

2. Estos años de vino y rosas de la cooperación española hemos creado maravillas y…auténticos monstruos. En mi último lugar de destino, encontré varios jefes de programa de bello título (el programa) pero desesperados porque no sabían cómo o dónde gastarse el dinero (varios millones de euros)…y otros programas que sí lo sabían pero cuyo título era cuestionado…en fin hubo un secretario de estado en mi juventud que dijo aquello de que “la pobreza es una cuestión de estadística”, mis vivencias en el lado oscuro burocrático también añadiría aquello de que para otros  “la pobreza es una cuestión de titulares”…a veces de un solo día o de una hora, o de unos minutos…Andy Warhol y sus diez minutos de gloria…buscamos la gloria, o la fama, pero la fama cuesta…a veces se consigue con esfuerzo…y otras no (se consigue o se consigue sin esfuerzo…sobre todo en países sin sistemas meritocráticos).

3. Pocas veces algo es como parece, no demos las cosas por hechas. Los prejuicios, las ideas preconcebidas, no son buenos compañeros. He tenido gratas sorpresas con evaluaciones que me parecían arduas y al contrario, otras que parecían espléndidas se han complicado.

(*)”Cantares” de Antonio Machado, cantado por Joan Manuel Serrat…