Seguimos con los desafíos o amenazas de los métodos mixtos de evaluación, tras el tema iniciado con los dos anteriores posts  Una introducción a los métodos mixtos de evaluación  y  Cómo integrar métodos mixtos de evaluación.

Aunque se ha hecho un gran progreso en la aplicación de métodos mixtos, y a pesar de un aumento, lento pero constante, en los estudios publicados en los países en desarrollo, los evaluadores siguen teniendo que enfrentar una serie de retos si quieren aplicar adecuadamente métodos mixtos en el seguimiento y evaluación de los proyectos y políticas en estos contextos de desarrollo. Algunas de las limitaciones prácticas, desafíos o amenazas de los métodos mixtos son las siguientes:

(1) En muchos casos, la combinación ideal de métodos no es posible, ya sea debido a (i) las limitaciones en la evaluación en sí, como (a) el tiempo  o (b) financiación limitados, o (ii) debido a factores contextuales, tales como un entorno (a) geográfico o (b) político difícil. Todas las evaluaciones deben hacer frente a este tipo de restricciones, pero son especialmente relevantes para decidir entre diferentes métodos y maneras de integrarlas en un diseño de método mixto. En algunos casos, un enfoque de método mixto puede incluso ayudar a superar algunos de estos obstáculos.

(2) El siguiente desafío es el hecho de que los métodos mixtos han sido la opción y el diseño preferido de evaluación por muchas agencias de desarrollo durante muchos años. Sin embargo, muchas de estas evaluaciones utilizaron enfoques ad hoc que en su mayoría no aplicaron los tipos de rigor metodológico y conceptual que se requieren. El método mixto no es nuevo en sí, aunque sí es nuevo el aumento de las capacidades profesionales (y por tanto las capacidades financieras) en evaluación y gestión de evaluaciones. Este aumento de capacidades profesionales debería tener influencia en el aumento del rigor metodológico.

(3) En la práctica, por lo general se requiere mucho tiempo y esfuerzo para identificar y construir un equipo de investigadores internacionales y locales que puedan trabajar bien juntos en un enfoque de métodos mixtos. Por desgracia, la planificación de muchas evaluaciones de desarrollo no permite mucho tiempo para la formación de equipos, por lo que a menudo el resultado no suele ser más de dos o tres herramientas distintas entre (a) encuestas (con vocación cuantitativa) no muy claramente vinculadas a estudios de caso en profundidad o (b) entrevistas semi-estructuradas.

(4) Por otra parte, las instituciones que demandan evaluaciones (en especial los donantes, con alguna excepción) han dado por sentado que los métodos cualitativos son una forma de evaluar qué hay que “dar por válida” cuando no es posible aplicar “métodos rigurosos” (entendidos rigurosos como métodos cuantitativos). Como consecuencia, no existen apenas incentivos para profundizar en la aplicación de métodos mixtos, dada la incorporación de técnicas cualitativas en cuanto se observa cualquier reto en relación a los métodos cuantitativos.

(5) En los últimos años, muchas agencias de investigación están tratando de reforzar su capacidad de aplicar enfoques de métodos mixtos, pero esto sigue siendo un punto débil. Además, cabe recordar que hay muchos problemas prácticos de logística en la aplicación de métodos mixtos en muchos contextos de desarrollo. Muchas evaluaciones de desarrollo requieren la recopilación de datos en las zonas rurales remotas o en zonas urbanas, donde las condiciones (tiempo, presupuesto…) o amenazas de seguridad hacen que sea más difícil el uso de los enfoques flexibles requeridos por métodos mixtos.

(6) Un último desafío para la evaluación con métodos mixtos es proporcionar directrices sobre los niveles mínimos de rigor metodológico aceptable, bien (1) cuando se trabaja sobre la base de diversas fuentes de datos, que a menudo se recogen con bajo presupuesto y tiempo, o bien (2) cuando gran parte de los datos se recogen en circunstancias difíciles.

REFERENCIAS

Rodríguez Ariza, C. & Monterde, R, (2014) Estrategias cualitativas de evaluación en la Cooperación para el Desarrollo: viejos debates y nuevos retos. Serie CECOD de Documentos de Trabajo del Centro de Estudios de Cooperación al Desarrollo, Número 29

Pues ya sabemos que normalmente debremos determinar «cuándo o si» determinados métodos mixtos son factibles o no. La luna o el sol, la luna y el sol…