Evaluación

Evaluación y Psicología social: una introducción

Posted by

1


Crédito: en este enlace

El comportamiento de las personas está determinado por (1) el establecimiento o fijación de metas, (2) la motivación que sienten asociada con el logro de esas metas, (3) su/la evaluación de los esfuerzos hacia las metas y (4) la satisfacción o insatisfacción resultante y (5) su percepción de las recompensas sociales asociadas con los logros .  El comportamiento humano tiene tres determinantes principales: (a) personal, (b) interpersonal y (c) ambiental. Y tres limitaciones principales: (a) tiempo, (b) recursos y (c) movilidad. Por lo tanto, si queremos persuadir a la gente hacia la modificación de su comportamiento, entonces tenemos que tener en cuenta los elementos clave de la psicología social. Una  referencia de la intersección entre psicología social y evaluación la encontramos en la publicación: «Psicología Social y Evaluación» de Donaldson, Campbell, B., & Mark, MM (2011). El cambio de comportamiento no  es fácil, pero es posible sobre todo alentando la motivación para pensar y compartir información. Como evaluadores, encontraremos dificultades y conflictos, pero  si hay voluntad hay un camino hacia el cambio. Sigue leyendo →

Mas allá de los métodos: la evaluación es «P»olítica

Posted by

0


Voy a poner la guinda. No solo durante mis últimos 4 posts sobre métodos mixtos (Una introducción a los métodos mixtos de evaluación,  Cómo integrar métodos mixtos de evaluación y Algunos desafíos de los métodos mixtos de evaluación en contextos de desarrollo y Oportunidades de los métodos mixtos en evaluación), sino durante un poco más, durante más de una década, gran parte de la sesuda discusión sobre evaluación se ha centrado en qué métodos son los mejores. Esta vez hago mi traducción libre y comentada de un interesante post de Anne Buffardi y Tiina Pasanen del Overseas Development Institute  (ODI) que reflexiona sobre ello en:  La medición del impacto en el desarrollo no es sólo técnica, sino política.

Sigue leyendo →

Oportunidades de los métodos mixtos en evaluación

Posted by

1


Terminamos hoy un ciclo de cuatro posts,  con los oportunidades de los métodos mixtos, tras el tema iniciado con los tres anteriores posts: Una introducción a los métodos mixtos de evaluación,  Cómo integrar métodos mixtos de evaluación y Algunos desafíos de los métodos mixtos de evaluación en contextos de desarrollo.

El creciente interés por los métodos mixtos, junto con el reconocimiento de los desafíos especiales, presenta una serie de interesantes oportunidades para fortalecer el uso de métodos mixtos en las evaluaciones de desarrollo.

(1) Una primera área de oportunidad se sitúa en el desarrollo de sistemas de seguimiento eficaces. Si bien existe una aceptación generalizada de que el monitoreo es esencial para la buena ejecución de los proyectos, se ha pensado menos en el diseño de sistemas de seguimiento enfocados a su función evaluativa, esto es, alimentar procesos de evaluación y no únicamente de gestión. Sigue leyendo →

Algunos desafíos de los métodos mixtos de evaluación en contextos de desarrollo

Posted by

2


Seguimos con los desafíos o amenazas de los métodos mixtos de evaluación, tras el tema iniciado con los dos anteriores posts  Una introducción a los métodos mixtos de evaluación  y  Cómo integrar métodos mixtos de evaluación.

Aunque se ha hecho un gran progreso en la aplicación de métodos mixtos, y a pesar de un aumento, lento pero constante, en los estudios publicados en los países en desarrollo, los evaluadores siguen teniendo que enfrentar una serie de retos si quieren aplicar adecuadamente métodos mixtos en el seguimiento y evaluación de los proyectos y políticas en estos contextos de desarrollo. Algunas de las limitaciones prácticas, desafíos o amenazas de los métodos mixtos son las siguientes: Sigue leyendo →

Cómo integrar métodos mixtos de evaluación

Posted by

3


Como se mencionó en el post anterior «Una introducción a los métodos mixtos de evaluación«, en evaluación debemos considerar cuidadosamente cómo se van a integrar los diferentes métodos utilizados para un diseño de evaluación coherente. Tres de las formas más comunes en que las técnicas se pueden combinar para lograr los propósitos descritos en ese post anterior son las siguientes: (1) combinaciones paralelas, (2) combinaciones secuenciales, y (3) combinaciones de multinivel. Sigue leyendo →

Una introducción a los métodos mixtos de evaluación

Posted by

4


Los métodos cuantitativos y cualitativos todavía son considerados por algunos como dos rivales o dos opciones incompatibles (Patton los compara con niños de dos años que todavía no son capaces de jugar juntos). Para la mayoría de las intervenciones de desarrollo, no hay un método único que pueda describir adecuadamente y analizar las interacciones que se inter-relacionan con los sistemas complejos. Los métodos mixtos permiten la triangulación —o análisis comparativo— que nos permite capturar y cotejar realidades complejas y nos puede proporcionar una comprensión completa, desde diversas perspectivas, el éxito (o falta de él) de las políticas, los servicios o programas.

La utilización de métodos mixtos ha pasado a ser parte de la ortodoxia, demandada u ofrecida de forma habitual por/a las agencias donantes. Sin embargo, en el pasado se ha abusado del término, ya que a cualquier mezcla de diferentes técnicas y de cualquier manera, se le ha querido llamar “métodos mixtos”. Es probable que los métodos mixtos pronto se conviertan en el estándar para la mayoría de las evaluaciones. Pero el uso de métodos mixtos por sí solo no es suficiente, sino que debería aplicarse en múltiples niveles (Bamberger, 2012)

En los últimos años ha existido un interés creciente por los métodos mixtos en el campo de la evaluación en general, así como en las diversas formas en que las metodologías cuantitativas y cualitativas pueden ser sistemáticamente combinadas. Existen diferentes diseños evaluativos con métodos mixtos, siendo los más habituales aquellos que ponen el énfasis del lado cualitativo. Este tipo de diseños, en los que la parte cualitativa es la dominante, pueden ser útiles para explorar (1) temas complejos e innovadores o (2) conglomerados de intervenciones, por poner dos posibles ejemplos habituales en Cooperación al Desarrollo.

Una evaluación de métodos mixtos integra sistemáticamente dos o más métodos de evaluación, potencialmente en todas las etapas del proceso de evaluación, por lo general sobre la base de datos tanto cuantitativos como cualitativos.

Evaluaciones de métodos mixtos pueden utilizar (1)  varios diseños, por ejemplo la incorporación de (1.1) RCT (ensayos aleatorios controlados, en sus siglas en inglés Randomised Control Trials) y (1.2) estudios de caso. También pueden incluir diferentes (2) técnicas de recolección de datos, tales como (2.1) observaciones estructuradas, (2.2) entrevistas a informantes clave, (2.3) encuestas de hogares, y las (2.4) revisiones de los datos secundarios existentes. En resumen, una evaluación de métodos mixtos implica la integración sistemática de los diferentes tipos de principios, enfoques, técnicas y datos, por lo general procedentes de diferentes diseños. Como resultado de ello, las evaluaciones de métodos mixtos requieren (a) una planificación avanzada y (b) una gestión cuidadosa en cada etapa del proceso de evaluación.

Los tres casos principales en que los diseños de métodos mixtos ayudan a fortalecer la evaluación son:

1) Cuando las diferentes preguntas de evaluación requieren diferentes métodos, o cuando una sola pregunta de la evaluación requiere de más de un método para responder a todos sus componentes.

2) Cuando métodos diferentes se utilizan para responder a los mismos elementos de una sola pregunta, aumenta la confianza en la validez y fiabilidad de los resultados de la evaluación.

3) Cuando los resultados de un método se utilizan para ayudar a diseñar las futuras fases de la evaluación.

Otros beneficios que se pueden obtener mediante el uso de diseños de métodos o estrategias de recolección de datos mixtos son:

1) Facilitan la revelación de resultados inesperados

2) Puede proporcionar una comprensión más profunda de por qué el cambio está o no ocurriendo como estaba previsto

3) Permiten capturar una gama más amplia de perspectivas de lo que podría ser capturado por un solo método.

REFERENCIAS

Bamberger, M. (2012), Introducción a los métodos mixtos de la evaluación de impacto. Notas sobre la Evaluación de Impacto, nº 3. InterAction

Rodríguez Ariza, C. & Monterde, R, (2014) Estrategias cualitativas de evaluación en la Cooperación para el Desarrollo: viejos debates y nuevos retos. Serie CECOD de Documentos de Trabajo del Centro de Estudios de Cooperación al Desarrollo, Número 29

Y ahí va la canción que hace juego, juego mixto:

Evaluación de la complejidad

Posted by

0


Modelo simple vs Modelo complejo

En el anterior post Comprendiendo la “Evaluación durante el desarrollo” (Developmental Evaluation), introducíamos los conceptos básicos sobre un enfoque de evaluación que ha tratado de integrar la ciencia de la complejidad. Escojo un fragmento de la publicación Estrategias cualitativas de evaluación en la Cooperación para el Desarrollo: viejos debates y nuevos retos, que realicé en 2014 con Rafael Monterde.

La ciencia de la complejidad ha sido utilizada para describir y explicar el comportamiento de los sistemas naturales y biológicos, que se caracterizan por (1) dinámica no lineal y (2) propiedades emergentes sobre la base de diversas poblaciones de individuos que interactúan entre sí y son capaces de experimentar la auto-organización espontánea.

La investigación en la gestión organizacional y la psicología del comportamiento indican que los sistemas humanos también se comportan de una manera compleja. El modelo operativo de la ciencia de la complejidad llama a la complejidad en la acción y da lugar a los Sistemas Adaptativos Complejos (SAC).  Un sistema adaptativo complejo  es un tipo especial de sistema complejo; es complejo en el sentido de que es diverso y conformado por múltiples elementos interconectados; y adaptativo, porque tiene la capacidad de cambiar y aprender de la experiencia.  Lo que distingue a los CAS de los SMA (sistemas multiagentes) puros es su enfoque de propiedades de alto nivel y característica, como autosimilaridad, complejidad, emergencia, y autoorganización. Un SMA es definido simplemente como un sistema compuesto de múltiples agentes interactuando. En CAS los agentes así como los sistemas son adaptativos, el sistema es autosimilar. Un CAS es una compleja y autosimilar colectividad de interacciones de agentes adaptativos. Los CAS se caracterizan por un alto grado de capacidad adaptativa, lo que les proporciona resiliencia frente a la perturbación. Otras propiedades importantes son la adaptación (homeostasis), comunicación, cooperación, especialización, organización espacial y temporal, y, por supuesto, reproducción.

La teoría de SAC ofrece una forma diferente de pensar acerca de las organizaciones y sistemas, incluyendo cómo debe desarrollarse una política para ellos, cómo deben ser gestionados, cómo la innovación puede propagarse dentro de y cómo deben ser evaluados (Sibthorpe, Glasgow y Longstaff, 2004).

 

Un tema de interés creciente en la evaluación, especialmente la evaluación del desarrollo, es cómo podemos aplicar las ideas y métodos de ciencia de la complejidad en la evaluación. La complejidad tiene aplicaciones importantes (1) en la forma de tratar los programas y las políticas, (2) en la forma en que recopilamos y analizamos los datos y (c) cómo se reporta hallazgos y apoyamos su uso. La palabra complejidad a veces se ha menospreciado como «término moderno que se utiliza para evitar la rendición de cuentas y la planificación». Pero no todo es complejo: Una intervención  puede tener algunos (a)  elementos simples, algunos (b) aspectos complicados y (c) algunos aspectos complejos, y es más útil identificarlos por separado que clasificar toda una intervención como compleja.

Muchas evaluaciones tienen que lidiar con programas con (1) múltiples componentes, (2) múltiples niveles de implementación, (3) múltiples organismos de ejecución, (4) con múltiples agendas y (5) cadenas causales largas con muchos resultados intermedios o con resultados que sólo pueden lograrse a través de un “paquete de causalidad” que involucra múltiples intervenciones o contextos favorables. En estas situaciones, las evaluaciones deben basarse en un modelo lógico incluya información sobre (a) diferentes componentes esenciales de uso común en la intervención, (b) que funcionan de manera diferente en diferentes contextos, o (c) que sólo funcionan en combinación con otros programas o entornos favorables. Es esencial informar al respecto en términos de “(a) lo que funciona, (b) para quién, (c) en qué contextos”.

Muchas evaluaciones tratan con programas que involucran estrategias emergentes y sensibles y procesos causales que no pueden ser completamente controlados o predecirse con antelación, ya que el programa se desarrolla y cambia con el tiempo. En estas situaciones, las evaluaciones tienen que ser capaces de identificar y documentar los socios, las estrategias y los resultados emergentes, en lugar de sólo prestar atención a los objetivos y metas pre-establecidas. Una evaluación en tiempo real puede ayudar a saber lo que está funcionando y para informar de cara a la adaptación continua y el aprendizaje. Una evaluación efectiva no implica necesariamente la construcción de un modelo detallado de cómo funciona la intervención y el cálculo de la combinación óptima de las actividades de ejecución – porque la combinación de lo que se necesita, lo que es posible y lo que va a ser óptimo, estarán siempre cambiando. Para mayor detalle sobre la particularización de los conceptos de complejidad en el sector de la Ayuda al Desarrollo y la Acción Humanitaria, véase Ramalingam et. al. (2008)

Aunque en el discurso y la retórica las evaluaciones en general dan la apariencia de prestar atención a las consecuencias no deseadas de las intervenciones, la mayoría de los diseños de evaluación dedican todo su presupuesto para la evaluación de la ejecución prevista y el logro de metas. Sigue siendo una excepción el tipo de trabajo de campo abierto a captar efectos no deseados o esperados, reales y dinámicas emergentes. Es útil para identificar los posibles impactos negativos durante el diseño del programa a fin de garantizar y establecer los procesos de seguimiento. Esto a su vez ayuda a la identificación de nuevos impactos negativos que deben ser evaluados. Una vez que se hayan identificado los posibles efectos no deseados o negativos se debe posibilitar desde el diseño la evaluación de los resultados y los impactos no deseados reales a medida que ocurren. Para ello la recolección de datos permanece abierta hacia resultados no deseado e inesperado mediante la inclusión de algunas preguntas abiertas en las entrevistas y cuestionarios, y propiciando la comunicación de los resultados inesperados. Apuntamos algunas opciones:

(1) Entrevistas con informantes clave: pidiendo al personal identificar los posibles impactos negativos, basados en su experiencia, en programas similares. Los críticos del programa pueden ser especialmente útiles.

(2) Teoría programa negativa: la identificación de las formas en que las actividades del programa pueden producir impactos negativos, en lugar de sus impactos previstos.

(3) Evaluación de riesgos: identificación de los impactos negativos potenciales, su probabilidad de ocurrir y cómo podrían evitarse.

(4) Informes de sucesos inusuales

REFERENCIAS

Ramalingam, B., Jones, H., Reba, T., y Young, J. (2008) Exploring the science of complexity: Ideas and implications for development and humanitarian efforts. Overseas Development Institute (ODI).

Rodríguez Ariza, C. & Monterde, R, (2014) Estrategias cualitativas de evaluación en la Cooperación para el Desarrollo: viejos debates y nuevos retos. Serie CECOD de Documentos de Trabajo del Centro de Estudios de Cooperación al Desarrollo, Número 29

Sibthorpe, B., & Glasgow, N., and Longstaff, D. (2004) Complex adaptive systems: A different way of thinking about health care systems. The Australian National University.

Lo sabíamos…o puede que sí o puede que no:

 

Asimetrías en la rendición de cuentas

Posted by

0


Cerramos aquí el ciclo iniciado en dos posts anteriores:  «La rendición de cuentas: ese palabro…» y el post «La mutua rendición de cuentas: ilusión o realidad años después«, analizando las asimetrías en la rendición de cuentas.

Un tipo de rendición de cuentas olvidada es la “interna y de arriba a abajo”. La forma de gestionar la cooperación es diferente si se prima la rendición de cuentas sobre el aprendizaje. Intentar satisfacer la rendición de cuentas y el aprendizaje al mismo tiempo es difícil. Para observar las características diferenciales de la evaluación como aprendizaje o rendición de cuentas se recomienda Cracknell (2000:57).

Siendo la rendición de cuentas necesaria, no es lo mismo un enfoque de seguimiento y evaluación centrado en satisfacer a otros agentes de los que dependes y a los que rindes cuentas, que centrarse en primar más el aprendizaje de las lecciones para mejorar el desempeño (Cassen, 1985 en Cracknell, 2000). La primera, la rendición de cuentas, tiende a mirar hacia el pasado y a buscar errores, mientras que el segundo, el aprendizaje, tiende a basarse más en la crítica constructiva hacia el futuro. Sin embargo aunque la información resultante en cada una de estas orientaciones puede no ser utilizable en la otra (Binnendijk, 1999), se puede llegar a un equilibrio o compromiso en el que la exigencia de rendición de cuentas puede implicar aprendizajes y el aprendizaje puede llevar asociado la rendición de cuentas. De esta forma aprendizaje y rendición de cuentas son dos caras de una misma moneda que, bien utilizada, sirve para mejorar la organización.

La Declaración de París indica que “una de las mayores prioridades para países socios y donantes es ampliar la rendición de cuentas y la transparencia en la utilización de los recursos para el desarrollo” (2005). Para ello, señala que “los donantes se deberían comprometer a proporcionar información transparente y completa en tiempo oportuno sobre los flujos de la ayuda con el objetivo de que las autoridades de países socios puedan presentar informes presupuestarios completos a sus parlamentos y ciudadanos. Asimismo tanto donantes como socios se deberían comprometer a evaluar conjuntamente los avances de la implementación de los compromisos acordados sobre la eficacia de la ayuda al desarrollo, incluidos los compromisos de cooperación.

O´Donelll (1999 en Toledano et al., 2008:17) distingue entre rendición de cuentas horizontal (RCH) y vertical (RCV). La rendición de cuentas horizontal es la relación entre iguales de control entre agencias del estado, y la rendición de cuentas vertical es la relación entre desiguales (superior-subordinado o principal-agente) y de control de la sociedad hacia el estado. Los mecanismos de rendición de cuentas vertical se refieren a

(1) la rendición de cuentas electoral o

(2) la rendición de cuentas social o capacidad de los subordinados y de la sociedad para vigilar, interpelar y sancionar a los superiores si no cumplen con las normas.

El mecanismo más común de rendición de cuentas hacia los donantes, por medio de informes de seguimiento o finalización y evaluaciones ex-post, sirve sobre todo para propósitos funcionales porque se centran en la rendición de cuentas de los fondos y en medir impactos de corto plazo. Sin embargo la rendición de cuentas de las ONGD hacia los donantes debería ser más flexible e innovadora, y se podría realizar, en la práctica, no sólo a través de informes, evaluaciones y valoraciones del desempeño, sino también a través de la puesta en valor de la participación (como un fin y medio de desarrollo), por medio de la auditoría social (que se basa en la rendición de cuentas entre organizaciones y gentes) y la autorregulación (a nivel de sector). Cada uno de estos últimos mecanismos se distingue por sus herramientas, sus procesos, el tipo de rendición de cuentas (hacia arriba, hacia abajo, interna, externa, funcional y estratégica).

Como indica Ebrahim (2003) la rendición de cuentas en la práctica ha priorizado los aspectos “externos y de abajo a arriba”, mientras que los mecanismos “internos y de arriba abajo” no se han desarrollado al mismo nivel. Por tanto, los donantes y ONGD se han basado más en rendición de cuentas a corto plazo y funcionales, y no tanto en procesos estratégicos de largo plazo necesarios para el cambio político y social.

Aunque en principio los agentes de la cooperación utilizan los recursos de los donantes para alcanzar los objetivos tanto propios, como los de los donantes; los intereses de agentes (ONGD incluidas) y donantes pueden no coincidir, debido a:

(1)  que cada uno pone mayor énfasis en determinados aspectos (por ejemplo unos en crecimiento, otros en pobreza…), o

(2) a diferentes horizontes temporales o

(3) a aspectos organizacionales (por ejemplo mientras que los donantes están preocupados por un alto desempeño al mínimo coste posible, otros agentes pueden interesarse más por una financiación continuada, por la minimización de esfuerzos o la diversificación de recursos).

Como no es realista ni racional que los donantes controlen de forma continua el desempeño de los agentes (como las ONGD), el resultado final es el de la asimetría de poder y de información: las agencias y departamentos donantes tienen el poder que les otorga la decisión sobre la financiación, pero las ONGD tienen más información de un contexto en el que resultados, objetivos específicos y generales son difíciles de observar y medir.

Conscientes de las limitaciones del seguimiento de gabinete, algunas agencias han tratado de desarrollar métodos o herramientas de control para hacerlo más realista. Sin embargo el aumentar los recursos para conseguir que las agencias tengan un seguimiento o control directo más estrecho de los agentes, puede ser adecuado desde la consideración de intervenciones muy grandes; pero no es eficiente en el caso de las intervenciones múltiples y pequeñas de las ONGD.

En cualquier caso la dicotomía rendición de cuentas / aprendizaje no está resuelta en la cooperación al desarrollo, siendo un problema estructural de difícil solución. Hay autores que indican que optar por ambos objetivos (rendición de cuentas y aprendizaje) no es posible (Smith, 1998 en Cracknell, 2000); otros indican que sí es posible tal combinación, y que el problema es la concepción simplista y unilateralista de la rendición de cuentas. Cada vez hay más voces que critican que entre los actores del Norte (sean estos ONGD o agencias/departamentos financiadores), en la práctica, predomina la rendición de cuentas de abajo a arriba. Así, para los donantes la principal preocupación es ejecutar según el marco normativo o como mucho medir “si mi ayuda ha tenido éxito” y en menos medida valorar “por qué sí/no obtuvimos resultados” o si el socio está creado las condiciones para el desarrollo. Hay que indicar la importancia de conseguir un equilibrio entre rendición de cuentas y aprendizaje en cada organización para optar por las bondades de cada uno de los enfoques: un desequilibrio hacia la rendición de cuentas cierra las posibilidades de abrirse al aprendizaje, pero un desequilibrio hacia el aprendizaje puede implicar una dramática flexibilidad en el caso de no conseguir ningún resultado.

Mientras que desde la Declaración de París y la Agenda de Acción de Accra cobra cada vez más fuerza la necesidad de agregar, a

(1) la tradicional percepción de la rendición de cuentas (hacia los donantes),

(2) la rendición de cuentas de los donantes hacia la sociedad civil (del Norte y del Sur) y hacia las ONGD y

(3) de las ONGD hacia los beneficiarios; otros autores indican que estas sugerencias no son realistas dada la asimetría de recursos y poder, por un lado entre donantes y ONGD, y por otro, entre beneficiarios y ONGD.

El hecho de que los mecanismos de rendición de cuentas de los donantes hacia los demás (acerca de aspectos como su democracia interna, legitimidad y capacidad) no se han desarrollado lo suficiente en ambos sentidos (de abajo arriba y de arriba abajo) contribuye a deslegitimar la validez del sistema de control de calidad de las actuaciones.

En otras palabras: ¿cómo pueden sentirse legitimados algunos actores para demandar aspectos como eficiencia, participación, transparencia o fortaleza institucional, cuando a nivel interno las decisiones de esos actores no son ni eficientes, ni democráticas, ni transparentes? Este contexto imperfecto contribuye a que las ONGD y agentes involucrados se esfuercen menos en conseguir legitimidad externa e interna, que en protegerse de las interferencias y del abusivo potencial de exigencia de cuentas emanado desde los donantes, o bien en sobrevivir en un entorno cada vez más competitivo y de transparencia selectiva, pero en el que, además, la competencia es imperfecta, al no basarse sólo en el impacto en el desarrollo de las ONGD, sino en otras cosas (como el éxito de la relación y financiación con donantes o del fundraising). Y es que, la cantidad no es sinónimo de calidad de la ayuda.

Aunque poco frecuentes, sin embargo, hay experiencias en las que las ONGD han reducido con éxito estas asimetrías para aumentar su influencia en los donantes, en la opinión pública e incluso para incentivar a su propio personal. Algunos mecanismos son, en primer lugar, la reducción de la dependencia extrema de unos pocos financiadores; y en segundo lugar, a través del uso estratégico de algunos de los recursos propios no necesariamente escasos, y con posibilidad de ser controlados por las ONGD (como información, aprendizaje, legitimidad, ética, profesionalidad, democracia y participación interna, reputación…). Claro está que esto conlleva un esfuerzo y una apuesta por dotarse de una legitimidad interna, una ética, un valor e incentivos no monetarios, una gestión organizacional, por desgracia no tan frecuentes en el entorno de la Cooperación al Desarrollo.

Referencias

Cracknell, B. E. 2000, Evaluating Development Aid. Issues, problems and solutions, Sage edn, Sage.

Ebrahim, A. 2005, NGOs and organisational change. Discourse, reporting and learning Cambridge University Press, New York.

Rodríguez-Ariza, C. (2009). La gestión de la información en organizaciones de desarrollo. Serie CECOD. Número 11

Toledano, J. M., Guimaraes, J., Illán, C., & Farber, V. 2008, Buenas prácticas en la cooperación para el desarrollo. Rendición de cuentas y transparencia, La Catarata, Madrid.

Cuando la pregunta correcta es la respuesta

Posted by

0


En aquellos tiempos, cuando hacía mi («la») tesis doctoral sobre seguimiento, evaluación, aprendizaje  y gestión de la información y del conocimiento en el sector de la ayuda al desarrollo, (espacio para respirar), me di cuenta de que en el mundo académico y de la investigación sobran las repuestas y faltan las buenas preguntas: llenas hojas y hojas y luego al cabo te preguntas, ¿y qué demonios puedo hacer con todo esto? ¿cuál es la mejor pregunta para acabar de una vez?. Sin embargo en el mundo de la gestión y de la ejecución de programas sobran las buenas preguntas, pero faltan las respuestas porque no hay tiempo para pararse a pensar o a leer o ni siquiera para preguntarse. Es parte de la distancia entre la investigación y la práctica. Y quizás pude acabar la tesis porque me centré en las necesidades específicas de un grupo de personas específicas de una institución concreta.

Y esta introducción viene para recordar el segundo principio del post anterior sobre «Los principios de la gestión del conocimiento desde el lado de la demanda«. Ese segundo principio decía que «Las personas valoran el conocimiento que solicitan/requieren/piden, más que el conocimiento que no se solicita ni se pide ni se requiere»

En evaluación lo  más difícil no es siempre responder las preguntas, sino encontrar las buenas preguntas a responder. Sin buenas preguntas no hay buenas respuestas. Las buenas preguntas son las que reflejan las necesidades de la gente (aquí unimos con el principio anterior: «El conocimiento por necesidad«)

Como dice Nick Milton,  la mejor manera de conseguir transferir el conocimiento a las personas parece estar respondiendo a sus preguntas. El antiguo «mostrar y contar» es mucho menos efectivo que el «preguntar y responder», y así el blog es menos efectivo que el foro de discusión. La organización donde se hacen más preguntas, es a menudo la organización que aprende más rápido. Este principio está detrás del diseño de los procesos de gestión del conocimiento más eficaces, la mayoría de los cuales se basan en el diálogo. El enfoque principal de las comunidades de práctica debería ser el de responder preguntas, en lugar de publicar ideas.

Esto tiene su aplicación para la función de evaluación: en un mundo donde hay tantas preguntas sin responder, encontramos…tantos informes de evaluación que no interesan o que no se leen porque no han sabido aglutinar las pocas, sencillas y centradas preguntas que se necesitan responder, aunque han llenado páginas y páginas con respuestas huérfanas de dueño, de respuestas sin la dirección de las buenas preguntas.

Si queremos buenas respuestas, consigamos primero las buenas preguntas, como decía Séneca: «no hay viento favorable para el que no sabe a dónde va».

Kurt Wallender (Henning Mankel) y evaluación

Posted by

0


Hace ya un tiempo  introduje en uno de mis posts el tema de la «ficción del desarrollo«. Hoy voy a contar sobre un activista que luego devino escritor (¿el post-desarrollo de la ficción?). Cuántas novelas podríamos escribir los que trabajamos en «desarrollo»…

A pesar de que hay algunas noticias sobre el declive de las novelas policiacas Nórdicas, el llamado «Nordic Noir«, quiero presentar hoy a uno de mis grandes compañeros de viaje, el detectice Kurt Wallender, gran evaluador y mejor persona.

Wallander es la creación del escritor sueco Henning Mankell. En 1989 Henning Mankell volvió a Suecia después de un largo periodo en África, especialmente en Mozambique, donde dirigió  desde 1986 el Teatro Avenida de Maputo (Mozambique).  A su regreso a Suecia, Henning Mankell quedó asombrado por la xenofobia que parecía haber comenzado a crecer en la sociedad sueca y decidió escribir sobre este tema. Dado que el racismo, según Mankell, es un delito, necesitaba un oficial de policía. De una búsqueda al azar en una guía telefónica nació el nombre de Kurt Wallander.

Entre 1991 y 2009, durante 18 años publicó  10 novelas de Wallander. La primera «Asesinos sin rostro» («Faceless killers») y la última «El hombre inquieto «(«The Troubled Man»).  Mankell es un intelectual de izquierdas comprometido activamente con su entorno (manifestaciones contra Vietnam y contra las guerras colonialistas, participó en una de las flotillas hacia Gaza en 2010, visita campos de refugiados…). En sus novelas hay muchas referencias a Africa y a las organizaciones humanitarias involucradas en África.

Algunas pistas para entender el universo (de ficción) Wallander:

  1. Kurt Wallander es un policía sueco obstinado y bueno pero, al mismo tiempo, difícil, gruñón y disfuncional. Aunque vive en una ciudad pequeña llamada Ystad, en la provincia de Skane al sur de Suecia, tiene el cansancio vital típico de un policía de una gran ciudad. Su entorno aparentemente por tanto es sereno, donde las cosas no deberían suceder, excepto que lo hacen: Las cosas (y vaya cosas) suceden muy, muy a menudo. Luego está el fondo: el suelo sombrío e implacable de la región Skane, en esta zona que hace frontera con Dinamarca. «Las áreas fronterizas tienen un dinamismo propio», dice Mankell.
  2. Otros policías luchan contra sus demonios, pero Wallander a menudo parece que está poseído por ellos. Sus ojos enrojecidos, su expresión devastada y su comportamiento derrotado apuntan a un hombre que nunca consigue un respiro de la frustración y la angustia que se acumulan dentro de él. Es  un hombre permanentemente al límite, «una especie de herida abierta». Un hombre que está aparentemente a un paso de tener un colapso total. Pero los malos días siguen sucediéndose, y Walander todavía sigue dando guerra. Cada crimen que resuelve o no (resuelve), todavía piensas que lo siguiente que va a hacer es simplemente…morir.
  3. La agonía mental de Wallander se debe en parte a su sensibilidad hiper-sensible por las víctimas de los crímenes, y a su inclinación por la introspección existencial mientras contempla su entorno.
  4. Hay un desequilibrio hacia detectives varones, pero cuidado eso no significa que no haya escritoras que escriben sobre detectives (sobre detectives mujeres o varones). Como en el caso de otros muchos otros detectives, el hogar de Wallander no es un ejemplo de armonía (para otro día dejaré el analizar este asunto, muy relacionado con el trabajo de investigación o evaluación y el equilibrio familiar). Walander es desordenado tanto en sus hábitos de sueño (duerme poco), como en sus hábitos alimenticios: toma café continuamente, come a deshoras y cualquier cosa (es adicto a la comida rápida). Su esposa lo dejó por otro hombre, tiene una relación difícil (lamentable) tanto con su hija Linda, como con su padre envejecido, cuyas capacidades mentales están fallando rápidamente. Entonces, ¿cuál es la atracción? Quizás es su autodestrucción intransigente, sus lamentables relaciones personales, su  incapacidad para mantener cualquier relación femenina lo que tanto fascina. Wallander es absolutamente insalvable. .
  5. Kurt Wallander tiene pocos verdaderos amigos y aunque tiene trazas de humor, no es exactamente la alegría de la huerta. Sin embargo, hay destellos de optimismo en la oscuridad de su alma, y ​​es capaz de ocasionalmente intentar la apariencia de una vida «normal». Su hija logra convencerlo de tener algunas citas y, en efecto, aunque dado lo absorbente de su labor policial parece que el amor no va con él, Wallander siente y tiene expectativas profundas hacia sus eventuales citas…y aunque se dé cuenta de que no presta suficiente atención al lado sentimental, paradójicamente se pregunta por qué fracasa continuamente.
  6. El teléfono de Wallander tiene un tono de llamada único. Es apropiado que su tono de llamada sea diferente a cualquier otro, porque enfatiza lo importante que es su teléfono para él. Es una conexión permanente con el lado oscuro, un recordatorio permanente de que un nuevo caso, una nueva pista, un nuevo giro diabólico pueden ocurrir en cualquier momento, sin importar dónde se encuentre. Lo más saludable sería que Wallander cambie su forma de ser, pero ser «saludable» no es lo que va con este obstinado detective bueno. Resolver casos y luchar sin cesar con su pasado… eso es lo que le va.
  7. Wallander es sistemático en la documentación de sus informes. Cuando descubre que su hija escribe poesía su reflexión es que él mismo escribe mucho y de forma metódica, pero solo informes de policía. En su enfoque de investigación es intuitivo, sensible (a veces incluso quiere sentir lo que pasó cuando visita escenas del crimen), persistente y  busca sistemáticamente un modus operandi. Su forma de liderar equipos es peculiar ya que pone al límite a su grupo (reuniones de trabajo durante los fines de semana hasta la madrugada), pero sabe ser generoso y distribuye el trabajo según el valor añadido de cada cual. Podríamos decir que como tantos otros detectives, es un evaluador con un método ( «Profundizar normalmente nos lleva hacia adelante» (La Pirámide)), pero también con duende (sus hallazgos son una mezcla de azar, casualidad, obsesión y perseverancia): como decía Picasso «cuando llegue la inspiración que me encuentre trabajando». Wallander sigue las pistas (los patrones de comportamiento) hasta la extenuación, hasta que no dan más de sí, bien porque llevan a una vía muerta…o bien porque nos dan las conclusiones correctas (o porque estamos cerca del final del libro que no queremos que termine (i)

¿Cómo no encontrar paralelismos de algunos de los puntos anteriores con la evaluación?. El oficio de evaluación conjuga también trabajo en equipo con períodos de trabajo en solitario. Es a veces  difícil dejar de pensar en el caso (de estudio) que se tiene entre manos, ya que todo el tiempo es poco y siempre hay nuevas perspectivas o matices que añadir. Con la actual tendencia a trabajar a través de asociaciones de evaluación o grupos de colegas, tenemos nuestra propia red, es nuestra conexión permanente con el «lado oscuro», con nuevas pistas para nuevos casos.  Y para finalizar, en este oficio de la evaluación a veces también intentamos la apariencia de una vida «normal» (cuando raro es el evaluador(a) que no es un freaky consumado).

Bueno pues quizás algun@ podáis ver también alguna similitud más…y comentarnos 🙂

Todos tenemos un poco de Mankell/Wallander dentro de nosotros. Larga vida a Mankell, larga vida a ese personaje tan real y ya no tan de ficción: Kurt Wallander. Prueba de ello es que ya ha sido encarnado en las pantallas por tres actores diferentes:

Kurt Wallander (Rolf Lassgard, Kenneth Branagh y Krister Henriksson), de Henning Mankell

Mankell murió en 2015 a los 67 años, dejándonos un poco solos, con un Wallander en decadencia y con la misma enfermedad que tuvo su padre…A Wallander  se le diagnostica diabetes y hacia el fin de su carrera sufre de pérdidas de memoria debidas al Alzheimer.

Mankell con refugiados congoleses en Uganda

…y para los que piensen que las novelas policíacas no son suficientemente intelectuales, porque no hablan de Scriven, Greene, Weiss, House, Stake, Stufflebeam o de Patton…pues ahí  va esta Cumbiera intelectual: