Voy a poner la guinda. No solo durante mis últimos 4 posts sobre métodos mixtos (Una introducción a los métodos mixtos de evaluación,  Cómo integrar métodos mixtos de evaluación y Algunos desafíos de los métodos mixtos de evaluación en contextos de desarrollo y Oportunidades de los métodos mixtos en evaluación), sino durante un poco más, durante más de una década, gran parte de la sesuda discusión sobre evaluación se ha centrado en qué métodos son los mejores. Esta vez hago mi traducción libre y comentada de un interesante post de Anne Buffardi y Tiina Pasanen del Overseas Development Institute  (ODI) que reflexiona sobre ello en:  La medición del impacto en el desarrollo no es sólo técnica, sino política.

Y es que centrarse demasiado en los métodos puede significar que no prestamos suficiente atención a la complejidad de las relaciones políticas involucradas en la programación y evaluación del desarrollo. Esto incluye quién define incluso lo que queremos decir con «impacto» o cómo juzgar el «éxito». Y es que como indica James Ferguson, es tan fácil despolitizar el desarrollo por medio de enfoques tecnocráticos. 

Anne y Tiina hace cuatro años se propusieron desarrollar y probar métodos de evaluación para intervenciones difíciles de medir. Por «difícil de medir» hablan de programas de desarrollo que abordan retos como: (1) El empoderamiento económico o social de las mujeres; (2) Con múltiples componentes y diversos grupos de personas e intereses; (3) Operando en entornos hostiles, como áreas afectadas por conflictos, desastres o inestabilidad económica y política. Para estos programas, pueden no ser factibles los métodos más tradicionales de evaluación de impacto, como los ensayos controlados aleatorios (Randomised Controlled Trials RCT en inglés).

Pero las autoras se dieron cuenta que, antes de elegir un diseño  de evaluación o un método de evaluación, hay desafíos más fundamentales que es necesario abordar:

(1) Las evaluaciones ambicionan demasiado (sin priorizar o focalizar o profundizar de forma relevante o suficiente)

Diversos actores – personal de ejecución, altos directivos, donantes, funcionarios gubernamentales, beneficiarios previstos – a menudo identifican una cantidad de preguntas relevantes que ayudarían a su trabajo. Pero responder a todas estas preguntas simplemente no es factible, ya veces ni siquiera es plausible responder a ciertas preguntas con los recursos y en el tiempo dado para la evaluación.

Otro problema común es tratar de equilibrar la presión para demostrar los resultados (rendición de cuentas), con la necesidad de aprender. Esto implica aprender de lo que funciona, así como de lo que no funciona y, salvo honrosas excepciones, hay fuertes incentivos para no aprender de lo que no funciona…

Todo esto se magnifica en programas «difíciles de medir», con un gran mezcla de número de personas, organizaciones, preguntas y necesidades de aprendizaje.

Estos retos no son nuevos, pero son persistentes. Cuanto las autoras más trabajaron con diferentes programas y compartieron sus experiencias en eventos públicos, más se dieron cuenta de que estos desafíos existen y son reconocidos ampliamente en todo el sector.

(2) ¿Por qué este problema persiste?

Priorizar diferentes necesidades e intereses es inherentemente político. Significa decir no: abordar las preguntas e intereses de algunos grupos, pero no de otros. Esto es quizás porqué todavía centramos tanto la atención en métodos. Nos permite sentir que hay una solución técnica que producirá la respuesta al impacto del desarrollo. Pero para los programas de desarrollo «difíciles de medir», rara vez es tan simple. Así que concentrándonos predominantemente en los métodos, desviamos la atención de las discusiones difíciles como «¿qué tipos de cambios necesitamos para seguir adelante? ¿Cuándo necesitamos intentar un enfoque diferente, y cómo debería ser?»

(3) Entonces, ¿qué puede hacerse?

No hay respuestas fáciles. Dar prioridad a las preguntas de evaluación a abordar involucra decisiones difíciles y decir no a preguntas relevantes e interesantes. Es necesario identificar y mejorar los métodos, pero no es suficiente para contribuir a una política y una práctica de desarrollo basadas en la evidencia.

No debemos dejar que los interminables debates sobre los métodos enmascaren otros debates acerca de las preguntas y discusiones más fundamentales que deben realizarse. Los autores proponen sus  herramientas para ayudar a centrar este debate. Su  kit de herramientas de Métodos Evaluación proporciona discusión práctica, guía, herramientas y plantillas para que los programadores y evaluadores, los comisionarios y los donantes comprendan y exploren la evaluación de los programas de desarrollo «difíciles de medir».

En conjunto, la comunidad de desarrollo necesita crear y fomentar los incentivos que nos empujen hacia soluciones técnicas y un pensamiento a más corto plazo. Esto implica tomar decisiones difíciles y ser transparentes acerca de cuáles son esas opciones, y quién las hizo. Por ejemplo, las personas responsables de la puesta en marcha y financiamiento de las evaluaciones  deben ser claras sobre qué preguntas y cuáles son las perspectivas prioritarias, y luego ser transparentes sobre cómo se ha llegado a esta decisión. Y cuando se presentan listas imposibles de preguntas de evaluación, los evaluadores deben pararse y reconocer lo que es factible y plausible para responder dado el presupuesto y el marco de tiempo. Esto es difícil cuando se comisionan evaluaciones que son cartas a los Reyes Magos, que el equipo evaluador ganador previamente se ha comprometido a cumplir…y esto se puede aplicar también a los proyectos de desarrollo que se comprometen a cosas imposibles con tal de recibir su financiación de los donantes…

Aunque generalmente es a través de evaluaciones que cuestiones importantes como cómo definimos el impacto, o cómo determinamos el éxito, estas son cuestiones fundamentales que se relacionan con, pero son mayores que, una sola evaluación del programa. Afectan la medida en que las iniciativas de desarrollo y las evaluaciones se perciben como creíbles y sus conclusiones se utilizan. Por lo tanto es realmente importante abordar estos temas cuanto antes en el diseño de proyectos y en el diseño de evaluaciones.

Voy a hacer mi propia reflexión final: Nos encontramos en demasiadas ocasiones enfangados entre enfoques evaluativos tecnocrático-burocráticos por un lado, y personajes muy mediocres que transforman la Política (con P mayúscula) en una caricatura. Es por eso que yo no centraría tanto el debate en si necesitamos nuevos criterios o métodos de evaluación, sino en si las evaluaciones o el pensamiento evaluativo están haciendo más eficiente y eficaz la agenda de desarrollo (o no), es decir, en cómo aumentar tanto (1) la utilidad de las evaluaciones, (2) como la potenciación/incentivación del pensamiento Evaluativo y «P»olítico que, por cierto, más allá de la retórica de Washington, Nueva York, Ginebra o París, tan poco abundan en el sector del desarrollo. Y eso no es tarea fácil porque enfrente tenemos: (1) las gigantescas máquinas de antipolítica (burocracia tecnocrática), por un lado y, por otro, (2) la falta de altura «P»olítica en general…

Y está por ver cuándo nos dejamos de engañar, y dejamos de ocultar que pasamos sin tropezar en nuestra particular lucha de gigantes (porque todos tropezamos..y quien no tropieza es porque no hace nada o no intenta nada, que también abunda…)