La evaluación feminista (EF) enfatiza las agendas (1) participativas, (2) de empoderamiento y (3) de justicia social. Si bien todos los enfoques de evaluación están cargados de sus propios valores, a menudo implícitos, en la evaluación feminista sus valores son abierta y explícitamente afirmados. A diferencia de la mayoría de los enfoques de género, la evaluación feminista no proporciona un marco ni aboga por un enfoque preciso; más bien, la evaluación feminista se define a menudo como una forma de pensar sobre la evaluación. (Ver, por ejemplo, Podems, 2014, Podems, Beardsley y Hughes Miller, 2002, Hirsch y Keller, 1990, Hughes, 2002, McRobbie, 1982). Sigue leyendo →
El comportamiento de las personas está determinado por (1) el establecimiento o fijación de metas, (2) la motivación que sienten asociada con el logro de esas metas, (3) su/la evaluación de los esfuerzos hacia las metas y (4) la satisfacción o insatisfacción resultante y (5) su percepción de las recompensas sociales asociadas con los logros . El comportamiento humano tiene tres determinantes principales: (a) personal, (b) interpersonal y (c) ambiental. Y tres limitaciones principales: (a) tiempo, (b) recursos y (c) movilidad. Por lo tanto, si queremos persuadir a la gente hacia la modificación de su comportamiento, entonces tenemos que tener en cuenta los elementos clave de la psicología social. Una referencia de la intersección entre psicología social y evaluación la encontramos en la publicación: «Psicología Social y Evaluación» de Donaldson, Campbell, B., & Mark, MM (2011). El cambio de comportamiento no es fácil, pero es posible sobre todo alentando la motivación para pensar y compartir información. Como evaluadores, encontraremos dificultades y conflictos, pero si hay voluntad hay un camino hacia el cambio. Sigue leyendo →
Uno de los hitos que ha marcado la historia de la humanidad, la Revolución Francesa, apuntaba al sueño de conseguir a un tiempo igualdad, libertad y fraternidad. Desde entonces otros hitos similares, originados por cierta aplicación de ciertas ideologías no han logrado juntar con tanta fuerza la igualdad y la libertad. Cierta aplicación de la ideología socialista se polarizó en la igualdad, mientras que cierta aplicación del neoliberalismo se centró en la libertad del capital. Desde entonces unos y otros han intentado convencer de que el término medio no existe, que ideas como la socialdemocracia son débiles, o es lo uno o es lo otro, o es conmigo o es contra mí.
El mismo año en que daban el premio Nóbel de Literatura a Vargas Llosa, el premio Nóbel de la Paz recae en un profesor chino también amante de la literatura, que de forma provocadora y controvertida afirmaba que un régimen que aboga por la igualdad pero que ahoga la libertad es inhumano, y que prefería la contradicción de lo que se llama «occidente» a la situación de su país. Sigue leyendo →
El creciente interés por los métodos mixtos, junto con el reconocimiento de los desafíos especiales, presenta una serie de interesantes oportunidades para fortalecer el uso de métodos mixtos en las evaluaciones de desarrollo.
(1) Una primera área de oportunidad se sitúa en el desarrollo de sistemas de seguimiento eficaces. Si bien existe una aceptación generalizada de que el monitoreo es esencial para la buena ejecución de los proyectos, se ha pensado menos en el diseño de sistemas de seguimiento enfocados a su función evaluativa, esto es, alimentar procesos de evaluación y no únicamente de gestión. Sigue leyendo →
Aunque se ha hecho un gran progreso en la aplicación de métodos mixtos, y a pesar de un aumento, lento pero constante, en los estudios publicados en los países en desarrollo, los evaluadores siguen teniendo que enfrentar una serie de retos si quieren aplicar adecuadamente métodos mixtos en el seguimiento y evaluación de los proyectos y políticas en estos contextos de desarrollo. Algunas de las limitaciones prácticas, desafíos o amenazas de los métodos mixtos son las siguientes:Sigue leyendo →
Como se mencionó en el post anterior «Una introducción a los métodos mixtos de evaluación«, en evaluación debemos considerar cuidadosamente cómo se van a integrar los diferentes métodos utilizados para un diseño de evaluación coherente. Tres de las formas más comunes en que las técnicas se pueden combinar para lograr los propósitos descritos en ese post anterior son las siguientes:(1) combinaciones paralelas, (2) combinaciones secuenciales, y (3) combinaciones de multinivel.Sigue leyendo →
Los métodos cuantitativos y cualitativos todavía son considerados por algunos como dos rivales o dos opciones incompatibles (Patton los compara con niños de dos años que todavía no son capaces de jugar juntos). Para la mayoría de las intervenciones de desarrollo, no hay un método único que pueda describir adecuadamente y analizar las interacciones que se inter-relacionan con los sistemas complejos. Los métodos mixtos permiten la triangulación —o análisis comparativo— que nos permite capturar y cotejar realidades complejas y nos puede proporcionar una comprensión completa, desde diversas perspectivas, el éxito (o falta de él) de las políticas, los servicios o programas.
La utilización de métodos mixtos ha pasado a ser parte de la ortodoxia, demandada u ofrecida de forma habitual por/a las agencias donantes. Sin embargo, en el pasado se ha abusado del término, ya que a cualquier mezcla de diferentes técnicas y de cualquier manera, se le ha querido llamar “métodos mixtos”. Es probable que los métodos mixtos pronto se conviertan en el estándar para la mayoría de las evaluaciones. Pero el uso de métodos mixtos por sí solo no es suficiente, sino que debería aplicarse en múltiples niveles (Bamberger, 2012)
En los últimos años ha existido un interés creciente por los métodos mixtos en el campo de la evaluación en general, así como en las diversas formas en que las metodologías cuantitativas y cualitativas pueden ser sistemáticamente combinadas. Existen diferentes diseños evaluativos con métodos mixtos, siendo los más habituales aquellos que ponen el énfasis del lado cualitativo. Este tipo de diseños, en los que la parte cualitativa es la dominante, pueden ser útiles para explorar (1) temas complejos e innovadores o (2) conglomerados de intervenciones, por poner dos posibles ejemplos habituales en Cooperación al Desarrollo.
Una evaluación de métodos mixtos integra sistemáticamente dos o más métodos de evaluación, potencialmente en todas las etapas del proceso de evaluación, por lo general sobre la base de datos tanto cuantitativos como cualitativos.
Evaluaciones de métodos mixtos pueden utilizar (1) varios diseños, por ejemplo la incorporación de (1.1) RCT (ensayos aleatorios controlados, en sus siglas en inglés Randomised Control Trials) y (1.2) estudios de caso. También pueden incluir diferentes (2) técnicas de recolección de datos, tales como (2.1) observaciones estructuradas, (2.2) entrevistas a informantes clave, (2.3) encuestas de hogares, y las (2.4) revisiones de los datos secundarios existentes. En resumen, una evaluación de métodos mixtos implica la integración sistemática de los diferentes tipos de principios, enfoques, técnicas y datos, por lo general procedentes de diferentes diseños. Como resultado de ello, las evaluaciones de métodos mixtos requieren (a) una planificación avanzada y (b) una gestión cuidadosa en cada etapa del proceso de evaluación.
Los tres casos principales en que los diseños de métodos mixtos ayudan a fortalecer la evaluación son:
1) Cuando las diferentes preguntas de evaluación requieren diferentes métodos, o cuando una sola pregunta de la evaluación requiere de más de un método para responder a todos sus componentes.
2) Cuando métodos diferentes se utilizan para responder a los mismos elementos de una sola pregunta, aumenta la confianza en la validez y fiabilidad de los resultados de la evaluación.
3) Cuando los resultados de un método se utilizan para ayudar a diseñar las futuras fases de la evaluación.
Otros beneficios que se pueden obtener mediante el uso de diseños de métodos o estrategias de recolección de datos mixtos son:
1) Facilitan la revelación de resultados inesperados
2) Puede proporcionar una comprensión más profunda de por qué el cambio está o no ocurriendo como estaba previsto
3) Permiten capturar una gama más amplia de perspectivas de lo que podría ser capturado por un solo método.
REFERENCIAS
Bamberger, M. (2012), Introducción a los métodos mixtos de la evaluación de impacto. Notas sobre la Evaluación de Impacto, nº 3. InterAction
La ciencia de la complejidad ha sido utilizada para describir y explicar el comportamiento de los sistemas naturales y biológicos, que se caracterizan por (1) dinámica no lineal y (2) propiedades emergentes sobre la base de diversas poblaciones de individuos que interactúan entre sí y son capaces de experimentar la auto-organización espontánea.
La investigación en la gestión organizacional y la psicología del comportamiento indican que los sistemas humanos también se comportan de una manera compleja. El modelo operativo de la ciencia de la complejidad llama a la complejidad en la acción y da lugar a los Sistemas Adaptativos Complejos (SAC). Un sistema adaptativo complejo es un tipo especial de sistema complejo; es complejo en el sentido de que es diverso y conformado por múltiples elementos interconectados; y adaptativo, porque tiene la capacidad de cambiar y aprender de la experiencia. Lo que distingue a los CAS de los SMA (sistemas multiagentes) puros es su enfoque de propiedades de alto nivel y característica, como autosimilaridad, complejidad, emergencia, y autoorganización. Un SMA es definido simplemente como un sistema compuesto de múltiples agentes interactuando. En CAS los agentes así como los sistemas son adaptativos, el sistema es autosimilar. Un CAS es una compleja y autosimilar colectividad de interacciones de agentes adaptativos. Los CAS se caracterizan por un alto grado de capacidad adaptativa, lo que les proporciona resiliencia frente a la perturbación. Otras propiedades importantes son la adaptación (homeostasis), comunicación, cooperación, especialización, organización espacial y temporal, y, por supuesto, reproducción.
La teoría de SAC ofrece una forma diferente de pensar acerca de las organizaciones y sistemas, incluyendo cómo debe desarrollarse una política para ellos, cómo deben ser gestionados, cómo la innovación puede propagarse dentro de y cómo deben ser evaluados (Sibthorpe, Glasgow y Longstaff, 2004).
Un tema de interés creciente en la evaluación, especialmente la evaluación del desarrollo, es cómo podemos aplicar las ideas y métodos de ciencia de la complejidad en la evaluación. La complejidad tiene aplicaciones importantes (1) en la forma de tratar los programas y las políticas, (2) en la forma en que recopilamos y analizamos los datos y (c) cómo se reporta hallazgos y apoyamos su uso. La palabra complejidad a veces se ha menospreciado como «término moderno que se utiliza para evitar la rendición de cuentas y la planificación». Pero no todo es complejo: Una intervención puede tener algunos (a) elementos simples, algunos (b) aspectos complicados y (c) algunos aspectos complejos, y es más útil identificarlos por separado que clasificar toda una intervención como compleja.
Muchas evaluaciones tienen que lidiar con programas con (1) múltiples componentes, (2) múltiples niveles de implementación, (3) múltiples organismos de ejecución, (4) con múltiples agendas y (5) cadenas causales largas con muchos resultados intermedios o con resultados que sólo pueden lograrse a través de un “paquete de causalidad” que involucra múltiples intervenciones o contextos favorables. En estas situaciones, las evaluaciones deben basarse en un modelo lógico incluya información sobre (a) diferentes componentes esenciales de uso común en la intervención, (b) que funcionan de manera diferente en diferentes contextos, o (c) que sólo funcionan en combinación con otros programas o entornos favorables. Es esencial informar al respecto en términos de “(a) lo que funciona, (b) para quién, (c) en qué contextos”.
Muchas evaluaciones tratan con programas que involucran estrategias emergentes y sensibles y procesos causales que no pueden ser completamente controlados o predecirse con antelación, ya que el programa se desarrolla y cambia con el tiempo. En estas situaciones, las evaluaciones tienen que ser capaces de identificar y documentar los socios, las estrategias y los resultados emergentes, en lugar de sólo prestar atención a los objetivos y metas pre-establecidas. Una evaluación en tiempo real puede ayudar a saber lo que está funcionando y para informar de cara a la adaptación continua y el aprendizaje. Una evaluación efectiva no implica necesariamente la construcción de un modelo detallado de cómo funciona la intervención y el cálculo de la combinación óptima de las actividades de ejecución – porque la combinación de lo que se necesita, lo que es posible y lo que va a ser óptimo, estarán siempre cambiando. Para mayor detalle sobre la particularización de los conceptos de complejidad en el sector de la Ayuda al Desarrollo y la Acción Humanitaria, véase Ramalingam et. al. (2008)
Aunque en el discurso y la retórica las evaluaciones en general dan la apariencia de prestar atención a las consecuencias no deseadas de las intervenciones, la mayoría de los diseños de evaluación dedican todo su presupuesto para la evaluación de la ejecución prevista y el logro de metas. Sigue siendo una excepción el tipo de trabajo de campo abierto a captar efectos no deseados o esperados, reales y dinámicas emergentes. Es útil para identificar los posibles impactos negativos durante el diseño del programa a fin de garantizar y establecer los procesos de seguimiento. Esto a su vez ayuda a la identificación de nuevos impactos negativos que deben ser evaluados. Una vez que se hayan identificado los posibles efectos no deseados o negativos se debe posibilitar desde el diseño la evaluación de los resultados y los impactos no deseados reales a medida que ocurren. Para ello la recolección de datos permanece abierta hacia resultados no deseado e inesperado mediante la inclusión de algunas preguntas abiertas en las entrevistas y cuestionarios, y propiciando la comunicación de los resultados inesperados. Apuntamos algunas opciones:
(1) Entrevistas con informantes clave: pidiendo al personal identificar los posibles impactos negativos, basados en su experiencia, en programas similares. Los críticos del programa pueden ser especialmente útiles.
(2) Teoría programa negativa: la identificación de las formas en que las actividades del programa pueden producir impactos negativos, en lugar de sus impactos previstos.
(3) Evaluación de riesgos: identificación de los impactos negativos potenciales, su probabilidad de ocurrir y cómo podrían evitarse.
(4) Informes de sucesos inusuales
REFERENCIAS
Ramalingam, B., Jones, H., Reba, T., y Young, J. (2008) Exploring the science of complexity: Ideas and implications for development and humanitarian efforts. Overseas Development Institute (ODI).
Sibthorpe, B., & Glasgow, N., and Longstaff, D. (2004) Complex adaptive systems: A different way of thinking about health care systems. The Australian National University.
En 2015 y 2016, los gobiernos del mundo acordaron (1) el Marco Sendai para la Reducción del Riesgo de Desastres (Sendai Framework), (2) los Objetivos de Desarrollo Sostenible de las Naciones Unidas, (3) el Acuerdo de París sobre el Cambio Climático y (4) el Marco de la Cumbre Mundial sobre la Asistencia Humanitaria. Estos marcos articulan un conjunto de objetivos y metas que, si se logran, crearán un futuro en el que se habrán logrado avances significativos en la gestión de desastres, el desarrollo sostenible, el clima y los desafíos humanitarios de hoy. Sigue leyendo 
"TripleAD": Aprendiendo a Aprender para el Desarrollo 