Más conceptos básicos de la evaluación feminista


Tras el anterior post Evaluación feminista y los enfoques de género en evaluación, seguimos profundizando en el concepto de evaluación feminista, por medio de Podems and Negroustoueva (2016) Feminist evaluation. BetterEvaluation:

La evaluación feminista (EF) enfatiza las agendas (1) participativas, (2) de empoderamiento y (3) de justicia social. Si bien todos los enfoques de evaluación están cargados de sus propios valores, a menudo implícitos,  en la evaluación feminista sus valores son abierta y explícitamente afirmados. A diferencia de la mayoría de los enfoques de género, la evaluación feminista no proporciona un marco ni aboga por un enfoque preciso; más bien, la evaluación feminista se define a menudo como una forma de pensar sobre la evaluación.  (Ver, por ejemplo, Podems, 2014, Podems, Beardsley y Hughes Miller, 2002, Hirsch y Keller, 1990, Hughes, 2002, McRobbie, 1982). Sigue leyendo

Evaluación y Psicología social: una introducción


Crédito: en este enlace

El comportamiento de las personas está determinado por (1) el establecimiento o fijación de metas, (2) la motivación que sienten asociada con el logro de esas metas, (3) su/la evaluación de los esfuerzos hacia las metas y (4) la satisfacción o insatisfacción resultante y (5) su percepción de las recompensas sociales asociadas con los logros .  El comportamiento humano tiene tres determinantes principales: (a) personal, (b) interpersonal y (c) ambiental. Y tres limitaciones principales: (a) tiempo, (b) recursos y (c) movilidad. Por lo tanto, si queremos persuadir a la gente hacia la modificación de su comportamiento, entonces tenemos que tener en cuenta los elementos clave de la psicología social. Una  referencia de la intersección entre psicología social y evaluación la encontramos en la publicación: “Psicología Social y Evaluación” de Donaldson, Campbell, B., & Mark, MM (2011). El cambio de comportamiento no  es fácil, pero es posible sobre todo alentando la motivación para pensar y compartir información. Como evaluadores, encontraremos dificultades y conflictos, pero  si hay voluntad hay un camino hacia el cambio. Sigue leyendo

Oportunidades de los métodos mixtos en evaluación


Terminamos hoy un ciclo de cuatro posts,  con los oportunidades de los métodos mixtos, tras el tema iniciado con los tres anteriores posts: Una introducción a los métodos mixtos de evaluaciónCómo integrar métodos mixtos de evaluaciónAlgunos desafíos de los métodos mixtos de evaluación en contextos de desarrollo.

El creciente interés por los métodos mixtos, junto con el reconocimiento de los desafíos especiales, presenta una serie de interesantes oportunidades para fortalecer el uso de métodos mixtos en las evaluaciones de desarrollo.

(1) Una primera área de oportunidad se sitúa en el desarrollo de sistemas de seguimiento eficaces. Si bien existe una aceptación generalizada de que el monitoreo es esencial para la buena ejecución de los proyectos, se ha pensado menos en el diseño de sistemas de seguimiento enfocados a su función evaluativa, esto es, alimentar procesos de evaluación y no únicamente de gestión. Sigue leyendo

Algunos desafíos de los métodos mixtos de evaluación en contextos de desarrollo


Seguimos con los desafíos o amenazas de los métodos mixtos de evaluación, tras el tema iniciado con los dos anteriores posts  Una introducción a los métodos mixtos de evaluación  y  Cómo integrar métodos mixtos de evaluación.

Aunque se ha hecho un gran progreso en la aplicación de métodos mixtos, y a pesar de un aumento, lento pero constante, en los estudios publicados en los países en desarrollo, los evaluadores siguen teniendo que enfrentar una serie de retos si quieren aplicar adecuadamente métodos mixtos en el seguimiento y evaluación de los proyectos y políticas en estos contextos de desarrollo. Algunas de las limitaciones prácticas, desafíos o amenazas de los métodos mixtos son las siguientes:

(1) En muchos casos, la combinación ideal de métodos no es posible, ya sea debido a (i) las limitaciones en la evaluación en sí, como (a) el tiempo  o (b) financiación limitados, o (ii) debido a factores contextuales, tales como un entorno (a) geográfico o (b) político difícil. Todas las evaluaciones deben hacer frente a este tipo de restricciones, pero son especialmente relevantes para decidir entre diferentes métodos y maneras de integrarlas en un diseño de método mixto. En algunos casos, un enfoque de método mixto puede incluso ayudar a superar algunos de estos obstáculos.

(2) El siguiente desafío es el hecho de que los métodos mixtos han sido la opción y el diseño preferido de evaluación por muchas agencias de desarrollo durante muchos años. Sin embargo, muchas de estas evaluaciones utilizaron enfoques ad hoc que en su mayoría no aplicaron los tipos de rigor metodológico y conceptual que se requieren. El método mixto no es nuevo en sí, aunque sí es nuevo el aumento de las capacidades profesionales (y por tanto las capacidades financieras) en evaluación y gestión de evaluaciones. Este aumento de capacidades profesionales debería tener influencia en el aumento del rigor metodológico.

(3) En la práctica, por lo general se requiere mucho tiempo y esfuerzo para identificar y construir un equipo de investigadores internacionales y locales que puedan trabajar bien juntos en un enfoque de métodos mixtos. Por desgracia, la planificación de muchas evaluaciones de desarrollo no permite mucho tiempo para la formación de equipos, por lo que a menudo el resultado no suele ser más de dos o tres herramientas distintas entre (a) encuestas (con vocación cuantitativa) no muy claramente vinculadas a estudios de caso en profundidad o (b) entrevistas semi-estructuradas.

(4) Por otra parte, las instituciones que demandan evaluaciones (en especial los donantes, con alguna excepción) han dado por sentado que los métodos cualitativos son una forma de evaluar qué hay que “dar por válida” cuando no es posible aplicar “métodos rigurosos” (entendidos rigurosos como métodos cuantitativos). Como consecuencia, no existen apenas incentivos para profundizar en la aplicación de métodos mixtos, dada la incorporación de técnicas cualitativas en cuanto se observa cualquier reto en relación a los métodos cuantitativos.

(5) En los últimos años, muchas agencias de investigación están tratando de reforzar su capacidad de aplicar enfoques de métodos mixtos, pero esto sigue siendo un punto débil. Además, cabe recordar que hay muchos problemas prácticos de logística en la aplicación de métodos mixtos en muchos contextos de desarrollo. Muchas evaluaciones de desarrollo requieren la recopilación de datos en las zonas rurales remotas o en zonas urbanas, donde las condiciones (tiempo, presupuesto…) o amenazas de seguridad hacen que sea más difícil el uso de los enfoques flexibles requeridos por métodos mixtos.

(6) Un último desafío para la evaluación con métodos mixtos es proporcionar directrices sobre los niveles mínimos de rigor metodológico aceptable, bien (1) cuando se trabaja sobre la base de diversas fuentes de datos, que a menudo se recogen con bajo presupuesto y tiempo, o bien (2) cuando gran parte de los datos se recogen en circunstancias difíciles.

 

REFERENCIAS

Rodríguez Ariza, C. & Monterde, R, (2014) Estrategias cualitativas de evaluación en la Cooperación para el Desarrollo: viejos debates y nuevos retos. Serie CECOD de Documentos de Trabajo del Centro de Estudios de Cooperación al Desarrollo, Número 29

Pues ya sabemos que normalmente debremos determinar “cuándo o si” determinados métodos mixtos son factibles o no. La luna o el sol, la luna y el sol…

Cómo integrar métodos mixtos de evaluación


Como se mencionó en el post anterior “Una introducción a los métodos mixtos de evaluación, en evaluación debemos considerar cuidadosamente cómo se van a integrar los diferentes métodos utilizados para un diseño de evaluación coherente. Tres de las formas más comunes en que las técnicas se pueden combinar para lograr los propósitos descritos en ese post anterior son las siguientes: (1) combinaciones paralelas, (2) combinaciones secuenciales, y (3) combinaciones de multinivel.

Una única evaluación podría utilizar más de uno, o incluso la totalidad, de estos patrones de combinación en diferentes momentos durante el proceso de evaluación. Cada una de estas variaciones implica importantes decisiones de gestión sobre temas como (1)  las fuentes de datos en que se basan y (2) la forma de acceder a ellos, (3) qué localizaciones deben ser incluidas en la evaluación (¿todas las del proyecto o una muestra?, y (4) si sólo una muestra, ¿cómo se selecciona la muestra?), o (5) qué puntos de vista de las partes interesadas son más relevantes, entre otras cuestiones.

En la siguiente tabla se resumen los aspectos fundamentales de estas tres estrategias:

Combinación de métodos

Técnica de análisis

Potencial de análisis

Paralela

(1) Se analizan por separado dos o más conjuntos de datos recopilados aplicando una combinación de métodos (cuantitativos/cualitativos).

(2) Posteriormente se comparan los resultados de cada caso y, en su caso, se integran en una conclusión común.

Triangulación de información, para reforzar conclusiones.

Uso de información cualitativa para:

(1) profundizar en hallazgos de cuantitativa o incluso

(2) buscar explicaciones más completas sobre el cambio observado.

Secuencial

(1) Se analizan dos o más conjuntos de datos de forma espaciada en el tiempo, pero

(2) los resultados del análisis de uno es tomado como parte del punto de partida de el/los siguiente/s análisis

Validación de hipótesis generadas en el primer set de datos y la primera técnica empleada

Multinivel

(1) Se emplean técnicas cuantitativas y cualitativas en, al menos, dos conjuntos de datos con diferente nivel de agregación (diferente tipo de actor, diferente nivel de agregación de un mismo actor, etc.).

(2) Así, una técnica se emplea en un conjunto de datos a un nivel y otra técnica a otro nivel. Permite responder a preguntas de evaluación sobre la misma temática que estén interrelacionadas.

Evaluar unidades con importante nivel de integración de partes en la provisión de un servicio (ejemplo: unidad de salud, evaluar cómo cada profesional/área contribuye a la satisfacción del paciente y a su mejora física)

Fuente: elaboración propia a partir de Teddlie y Tashakkori (2009) y Mark, Feller y Button (1997)

REFERENCIAS

Mark, M. M, Feller, I. y Button, S. B. (1997) Integrating qualitative methods in a predominantly quantitative evaluation:A case study and some reflections. New Directions for Evaluation. Vol 1997, nº 74, pp. 47–59

Teddlie, Ch. y Tashakkori, A. (2009). Foundations of Mixed Methods Research: Integrating Quantitative and Qualitative Approaches in the Social and Behavioral Sciences. Ed. Sage.

Rodríguez Ariza, C. & Monterde, R, (2014) Estrategias cualitativas de evaluación en la Cooperación para el Desarrollo: viejos debates y nuevos retos. Serie CECOD de Documentos de Trabajo del Centro de Estudios de Cooperación al Desarrollo, Número 29

 

Así que colegas,  como de costumbre, un poco imaginación para la magia en la evaluación:

 

Una introducción a los métodos mixtos de evaluación


Los métodos cuantitativos y cualitativos todavía son considerados por algunos como dos rivales o dos opciones incompatibles (Patton los compara con niños de dos años que todavía no son capaces de jugar juntos). Para la mayoría de las intervenciones de desarrollo, no hay un método único que pueda describir adecuadamente y analizar las interacciones que se inter-relacionan con los sistemas complejos. Los métodos mixtos permiten la triangulación —o análisis comparativo— que nos permite capturar y cotejar realidades complejas y nos puede proporcionar una comprensión completa, desde diversas perspectivas, el éxito (o falta de él) de las políticas, los servicios o programas.

La utilización de métodos mixtos ha pasado a ser parte de la ortodoxia, demandada u ofrecida de forma habitual por/a las agencias donantes. Sin embargo, en el pasado se ha abusado del término, ya que a cualquier mezcla de diferentes técnicas y de cualquier manera, se le ha querido llamar “métodos mixtos”. Es probable que los métodos mixtos pronto se conviertan en el estándar para la mayoría de las evaluaciones. Pero el uso de métodos mixtos por sí solo no es suficiente, sino que debería aplicarse en múltiples niveles (Bamberger, 2012)

En los últimos años ha existido un interés creciente por los métodos mixtos en el campo de la evaluación en general, así como en las diversas formas en que las metodologías cuantitativas y cualitativas pueden ser sistemáticamente combinadas. Existen diferentes diseños evaluativos con métodos mixtos, siendo los más habituales aquellos que ponen el énfasis del lado cualitativo. Este tipo de diseños, en los que la parte cualitativa es la dominante, pueden ser útiles para explorar (1) temas complejos e innovadores o (2) conglomerados de intervenciones, por poner dos posibles ejemplos habituales en Cooperación al Desarrollo.

Una evaluación de métodos mixtos integra sistemáticamente dos o más métodos de evaluación, potencialmente en todas las etapas del proceso de evaluación, por lo general sobre la base de datos tanto cuantitativos como cualitativos.

Evaluaciones de métodos mixtos pueden utilizar (1)  varios diseños, por ejemplo la incorporación de (1.1) RCT (ensayos aleatorios controlados, en sus siglas en inglés Randomised Control Trials) y (1.2) estudios de caso. También pueden incluir diferentes (2) técnicas de recolección de datos, tales como (2.1) observaciones estructuradas, (2.2) entrevistas a informantes clave, (2.3) encuestas de hogares, y las (2.4) revisiones de los datos secundarios existentes. En resumen, una evaluación de métodos mixtos implica la integración sistemática de los diferentes tipos de principios, enfoques, técnicas y datos, por lo general procedentes de diferentes diseños. Como resultado de ello, las evaluaciones de métodos mixtos requieren (a) una planificación avanzada y (b) una gestión cuidadosa en cada etapa del proceso de evaluación.

Los tres casos principales en que los diseños de métodos mixtos ayudan a fortalecer la evaluación son:

1) Cuando las diferentes preguntas de evaluación requieren diferentes métodos, o cuando una sola pregunta de la evaluación requiere de más de un método para responder a todos sus componentes.

2) Cuando métodos diferentes se utilizan para responder a los mismos elementos de una sola pregunta, aumenta la confianza en la validez y fiabilidad de los resultados de la evaluación.

3) Cuando los resultados de un método se utilizan para ayudar a diseñar las futuras fases de la evaluación.

Otros beneficios que se pueden obtener mediante el uso de diseños de métodos o estrategias de recolección de datos mixtos son:

1) Facilitan la revelación de resultados inesperados

2) Puede proporcionar una comprensión más profunda de por qué el cambio está o no ocurriendo como estaba previsto

3) Permiten capturar una gama más amplia de perspectivas de lo que podría ser capturado por un solo método.

REFERENCIAS

Bamberger, M. (2012), Introducción a los métodos mixtos de la evaluación de impacto. Notas sobre la Evaluación de Impacto, nº 3. InterAction

Rodríguez Ariza, C. & Monterde, R, (2014) Estrategias cualitativas de evaluación en la Cooperación para el Desarrollo: viejos debates y nuevos retos. Serie CECOD de Documentos de Trabajo del Centro de Estudios de Cooperación al Desarrollo, Número 29

Y ahí va la canción que hace juego, juego mixto:

Asimetrías en la rendición de cuentas


Cerramos aquí el ciclo iniciado en dos posts anteriores:  “La rendición de cuentas: ese palabro…” y el post “La mutua rendición de cuentas: ilusión o realidad años después, analizando las asimetrías en la rendición de cuentas.

Un tipo de rendición de cuentas olvidada es la “interna y de arriba a abajo”. La forma de gestionar la cooperación es diferente si se prima la rendición de cuentas sobre el aprendizaje. Intentar satisfacer la rendición de cuentas y el aprendizaje al mismo tiempo es difícil. Para observar las características diferenciales de la evaluación como aprendizaje o rendición de cuentas se recomienda Cracknell (2000:57).

Siendo la rendición de cuentas necesaria, no es lo mismo un enfoque de seguimiento y evaluación centrado en satisfacer a otros agentes de los que dependes y a los que rindes cuentas, que centrarse en primar más el aprendizaje de las lecciones para mejorar el desempeño (Cassen, 1985 en Cracknell, 2000). La primera, la rendición de cuentas, tiende a mirar hacia el pasado y a buscar errores, mientras que el segundo, el aprendizaje, tiende a basarse más en la crítica constructiva hacia el futuro. Sin embargo aunque la información resultante en cada una de estas orientaciones puede no ser utilizable en la otra (Binnendijk, 1999), se puede llegar a un equilibrio o compromiso en el que la exigencia de rendición de cuentas puede implicar aprendizajes y el aprendizaje puede llevar asociado la rendición de cuentas. De esta forma aprendizaje y rendición de cuentas son dos caras de una misma moneda que, bien utilizada, sirve para mejorar la organización.

La Declaración de París indica que “una de las mayores prioridades para países socios y donantes es ampliar la rendición de cuentas y la transparencia en la utilización de los recursos para el desarrollo” (2005). Para ello, señala que “los donantes se deberían comprometer a proporcionar información transparente y completa en tiempo oportuno sobre los flujos de la ayuda con el objetivo de que las autoridades de países socios puedan presentar informes presupuestarios completos a sus parlamentos y ciudadanos. Asimismo tanto donantes como socios se deberían comprometer a evaluar conjuntamente los avances de la implementación de los compromisos acordados sobre la eficacia de la ayuda al desarrollo, incluidos los compromisos de cooperación.

O´Donelll (1999 en Toledano et al., 2008:17) distingue entre rendición de cuentas horizontal (RCH) y vertical (RCV). La rendición de cuentas horizontal es la relación entre iguales de control entre agencias del estado, y la rendición de cuentas vertical es la relación entre desiguales (superior-subordinado o principal-agente) y de control de la sociedad hacia el estado. Los mecanismos de rendición de cuentas vertical se refieren a

(1) la rendición de cuentas electoral o

(2) la rendición de cuentas social o capacidad de los subordinados y de la sociedad para vigilar, interpelar y sancionar a los superiores si no cumplen con las normas.

El mecanismo más común de rendición de cuentas hacia los donantes, por medio de informes de seguimiento o finalización y evaluaciones ex-post, sirve sobre todo para propósitos funcionales porque se centran en la rendición de cuentas de los fondos y en medir impactos de corto plazo. Sin embargo la rendición de cuentas de las ONGD hacia los donantes debería ser más flexible e innovadora, y se podría realizar, en la práctica, no sólo a través de informes, evaluaciones y valoraciones del desempeño, sino también a través de la puesta en valor de la participación (como un fin y medio de desarrollo), por medio de la auditoría social (que se basa en la rendición de cuentas entre organizaciones y gentes) y la autorregulación (a nivel de sector). Cada uno de estos últimos mecanismos se distingue por sus herramientas, sus procesos, el tipo de rendición de cuentas (hacia arriba, hacia abajo, interna, externa, funcional y estratégica).

Como indica Ebrahim (2003) la rendición de cuentas en la práctica ha priorizado los aspectos “externos y de abajo a arriba”, mientras que los mecanismos “internos y de arriba abajo” no se han desarrollado al mismo nivel. Por tanto, los donantes y ONGD se han basado más en rendición de cuentas a corto plazo y funcionales, y no tanto en procesos estratégicos de largo plazo necesarios para el cambio político y social.

Aunque en principio los agentes de la cooperación utilizan los recursos de los donantes para alcanzar los objetivos tanto propios, como los de los donantes; los intereses de agentes (ONGD incluidas) y donantes pueden no coincidir, debido a:

(1)  que cada uno pone mayor énfasis en determinados aspectos (por ejemplo unos en crecimiento, otros en pobreza…), o

(2) a diferentes horizontes temporales o

(3) a aspectos organizacionales (por ejemplo mientras que los donantes están preocupados por un alto desempeño al mínimo coste posible, otros agentes pueden interesarse más por una financiación continuada, por la minimización de esfuerzos o la diversificación de recursos).

Como no es realista ni racional que los donantes controlen de forma continua el desempeño de los agentes (como las ONGD), el resultado final es el de la asimetría de poder y de información: las agencias y departamentos donantes tienen el poder que les otorga la decisión sobre la financiación, pero las ONGD tienen más información de un contexto en el que resultados, objetivos específicos y generales son difíciles de observar y medir.

Conscientes de las limitaciones del seguimiento de gabinete, algunas agencias han tratado de desarrollar métodos o herramientas de control para hacerlo más realista. Sin embargo el aumentar los recursos para conseguir que las agencias tengan un seguimiento o control directo más estrecho de los agentes, puede ser adecuado desde la consideración de intervenciones muy grandes; pero no es eficiente en el caso de las intervenciones múltiples y pequeñas de las ONGD.

En cualquier caso la dicotomía rendición de cuentas / aprendizaje no está resuelta en la cooperación al desarrollo, siendo un problema estructural de difícil solución. Hay autores que indican que optar por ambos objetivos (rendición de cuentas y aprendizaje) no es posible (Smith, 1998 en Cracknell, 2000); otros indican que sí es posible tal combinación, y que el problema es la concepción simplista y unilateralista de la rendición de cuentas. Cada vez hay más voces que critican que entre los actores del Norte (sean estos ONGD o agencias/departamentos financiadores), en la práctica, predomina la rendición de cuentas de abajo a arriba. Así, para los donantes la principal preocupación es ejecutar según el marco normativo o como mucho medir “si mi ayuda ha tenido éxito” y en menos medida valorar “por qué sí/no obtuvimos resultados” o si el socio está creado las condiciones para el desarrollo. Hay que indicar la importancia de conseguir un equilibrio entre rendición de cuentas y aprendizaje en cada organización para optar por las bondades de cada uno de los enfoques: un desequilibrio hacia la rendición de cuentas cierra las posibilidades de abrirse al aprendizaje, pero un desequilibrio hacia el aprendizaje puede implicar una dramática flexibilidad en el caso de no conseguir ningún resultado.

Mientras que desde la Declaración de París y la Agenda de Acción de Accra cobra cada vez más fuerza la necesidad de agregar, a

(1) la tradicional percepción de la rendición de cuentas (hacia los donantes),

(2) la rendición de cuentas de los donantes hacia la sociedad civil (del Norte y del Sur) y hacia las ONGD y

(3) de las ONGD hacia los beneficiarios; otros autores indican que estas sugerencias no son realistas dada la asimetría de recursos y poder, por un lado entre donantes y ONGD, y por otro, entre beneficiarios y ONGD.

El hecho de que los mecanismos de rendición de cuentas de los donantes hacia los demás (acerca de aspectos como su democracia interna, legitimidad y capacidad) no se han desarrollado lo suficiente en ambos sentidos (de abajo arriba y de arriba abajo) contribuye a deslegitimar la validez del sistema de control de calidad de las actuaciones.

En otras palabras: ¿cómo pueden sentirse legitimados algunos actores para demandar aspectos como eficiencia, participación, transparencia o fortaleza institucional, cuando a nivel interno las decisiones de esos actores no son ni eficientes, ni democráticas, ni transparentes? Este contexto imperfecto contribuye a que las ONGD y agentes involucrados se esfuercen menos en conseguir legitimidad externa e interna, que en protegerse de las interferencias y del abusivo potencial de exigencia de cuentas emanado desde los donantes, o bien en sobrevivir en un entorno cada vez más competitivo y de transparencia selectiva, pero en el que, además, la competencia es imperfecta, al no basarse sólo en el impacto en el desarrollo de las ONGD, sino en otras cosas (como el éxito de la relación y financiación con donantes o del fundraising). Y es que, la cantidad no es sinónimo de calidad de la ayuda.

Aunque poco frecuentes, sin embargo, hay experiencias en las que las ONGD han reducido con éxito estas asimetrías para aumentar su influencia en los donantes, en la opinión pública e incluso para incentivar a su propio personal. Algunos mecanismos son, en primer lugar, la reducción de la dependencia extrema de unos pocos financiadores; y en segundo lugar, a través del uso estratégico de algunos de los recursos propios no necesariamente escasos, y con posibilidad de ser controlados por las ONGD (como información, aprendizaje, legitimidad, ética, profesionalidad, democracia y participación interna, reputación…). Claro está que esto conlleva un esfuerzo y una apuesta por dotarse de una legitimidad interna, una ética, un valor e incentivos no monetarios, una gestión organizacional, por desgracia no tan frecuentes en el entorno de la Cooperación al Desarrollo.

Referencias

Cracknell, B. E. 2000, Evaluating Development Aid. Issues, problems and solutions, Sage edn, Sage.

Ebrahim, A. 2005, NGOs and organisational change. Discourse, reporting and learning Cambridge University Press, New York.

Rodríguez-Ariza, C. (2009). La gestión de la información en organizaciones de desarrollo. Serie CECOD. Número 11

Toledano, J. M., Guimaraes, J., Illán, C., & Farber, V. 2008, Buenas prácticas en la cooperación para el desarrollo. Rendición de cuentas y transparencia, La Catarata, Madrid.