Terminamos hoy un ciclo de cuatro posts,  con los oportunidades de los métodos mixtos, tras el tema iniciado con los tres anteriores posts: Una introducción a los métodos mixtos de evaluación,  Cómo integrar métodos mixtos de evaluación y Algunos desafíos de los métodos mixtos de evaluación en contextos de desarrollo.

El creciente interés por los métodos mixtos, junto con el reconocimiento de los desafíos especiales, presenta una serie de interesantes oportunidades para fortalecer el uso de métodos mixtos en las evaluaciones de desarrollo.

(1) Una primera área de oportunidad se sitúa en el desarrollo de sistemas de seguimiento eficaces. Si bien existe una aceptación generalizada de que el monitoreo es esencial para la buena ejecución de los proyectos, se ha pensado menos en el diseño de sistemas de seguimiento enfocados a su función evaluativa, esto es, alimentar procesos de evaluación y no únicamente de gestión.

Los métodos mixtos, con su capacidad para la recogida rápida y económica de los datos a medida de las características de un programa en particular, proporcionan información que puede ser fácilmente contextualizada e integrada en el diseño del seguimiento.

Mientras que los sistemas de seguimiento pueden proporcionar una gran cantidad de datos para fortalecer el diseño de la evaluación, estos beneficios sólo se obtienen si el monitoreo y la evaluación son tratados como dos componentes de un mismo sistema de gestión de programas. Para ello es necesario que los requisitos/necesidades de datos para la futura evaluación  se integren en los sistemas de seguimiento de una manera que  asegure que (a) se recojan datos de alta calidad y (b) se organicen en el formato requerido para el análisis de la evaluación. Si bien esto puede parecer una tarea relativamente sencilla, por un lado (i) requiere pensamiento estratégico y evaluativo desde el comienzo del proyecto (con el compromiso/apoyo de la alta dirección de la organización), (ii) implica capacidades (tiempo y enfoque metodológico) y (iii) en la práctica también se presenta un importante reto organizativo ya que no se consulta o elige normalmente al equipo de evaluación previamente al diseño del sistema de seguimiento.

(2) Una segunda área de oportunidad es el hecho de que aunque muchos piensan que los diseños estadísticos son la mejor opción, éstos sólo se pueden aplicar en un pequeño número de evaluaciones de desarrollo. Hasta que esta situación cambie, esto proporciona una oportunidad única para el desarrollo de diseños de métodos mixtos que hacen el uso más eficaz de las muchas, pero a menudo incompletas, fuentes de información cuantitativa y cualitativa que se puede generar. Los diseños de métodos mixtos tienen como objetivo abordar exactamente este tipo de desafío, habiendo muchas oportunidades para la aplicación de evaluaciones prácticas y rentables de método mixto.

(3) La tercera cuestión importante es la oportunidad de desarrollo de alternativas a la hipótesis estadística convencional, y en general a la construcción de contra-factual como estrategia para la determinación del impacto atribuible a las intervenciones. Técnicas como (a) los mapas conceptuales,(b)  el análisis cualitativo comparativo (QCA) de Ragin (1987) o la más reciente (c) process tracing (Collier, 2011) pueden usarse para construir estos esquemas de análisis de impacto, pero sigue siendo un área emergente de investigación y todavía no se han encontrado alternativas ampliamente aceptadas en la práctica de las intervenciones.

(4) Por su parte, áreas en las que los métodos mixtos, con su flexibilidad para aprovechar e integrar diversas fuentes de información, pueden hacer una valiosa contribución, son:

–Enfoques de método mixto de mejora del muestreo

-Análisis contextual incorporado en diseños experimentales robustos

-Reconstrucción de líneas de base y el uso de métodos mixtos para generar estimaciones más fiables de las características no observables en modelos cuasi-experimentales (especialmente en el uso de variables instrumentales)

–Intervenciones complejas con múltiples componentes (existe una creciente demanda de nuevos métodos de evaluación para evaluar los resultados de este tipo de programas)

(5) Otro desafío para la evaluación con métodos mixtos es proporcionar directrices sobre los niveles mínimos de rigor metodológico aceptable, bien (a)  cuando se trabaja sobre la base de diversas fuentes de datos, que a menudo se recogen con bajo presupuesto y tiempo, o bien (b) cuando gran parte de los datos se recogen en circunstancias difíciles.

(6)  Existe la oportunidad de desarrollar normas que garanticen (a)  un nivel satisfactorio de rigor metodológico al mismo tiempo (b) de ser realistas. Es importante evitar el “todo vale” en el enfoque de algunos evaluadores que creen que dadas las situaciones difíciles en las que trabajan no pueden ser responsables de los principios habituales de rigor. Y al mismo tiempo, se puede evitar la reclamación de sectores más académicos o en general más puristas, que aplicarían exactamente los mismos criterios para la evaluación de la evaluación de un programa en un contexto de país empobrecido que en un país rico.

REFERENCIAS

Collier, D. (2011) Understanding Process Tracing. Political Science and Politics 44, nº 4, pp. 823-830.

Ragin, Ch. C. (1987) The Comparative Method: Moving Beyond Qualitative and Quantitative Strategies. University of California Press.

Rodríguez Ariza, C. & Monterde, R, (2014) Estrategias cualitativas de evaluación en la Cooperación para el Desarrollo: viejos debates y nuevos retos. Serie CECOD de Documentos de Trabajo del Centro de Estudios de Cooperación al Desarrollo, Número 29

Aquí acabamos este ciclo de métodos mixtos que, como todo en evaluación,  es un arte que con esfuerzo y dedicación nos llevará a sueños místicos (o sueños «mixtos»):