1.Los profesionales de la evaluación durante el desarrollo (DE) recurren a la teoría de DE para tomar decisiones de diseño e implementación.
2.Sin embargo, l@s profesional@s de DE pueden experimentar dificultades para comprender completamente cómo implementar DE utilizando la teoría porque es un método agnóstico (Patton, 2016). En cambio, DE es un enfoque basado en principios.
(2) Propósito de la investigación:
1.Este artículo presenta un examen empírico de cómo se aplicó (o no) la teoría DE durante tres casos piloto de DE.
2.Su análisis tiene como objetivo comprender mejor (1) cómo se utiliza la teoría ED en la práctica para ampliar la base de pruebas y (2) fortalecer la implementación futura de DE.
(3) Enfoque de la investigación:
1.Un consorcio de tres organizaciones implementó tres proyectos piloto de DE a través de la Agencia de los Estados Unidos para el Desarrollo Internacional (USAID) desde noviembre de 2016 a septiembre de 2019.
2.Los autores, que participaron en el consorcio, no implementaron los DE, sino que realizaron un estudio o una metaevaluación. a través de los pilotos de DE.
En este informe se indica que el enfoque para valorar la calidad de las evaluaciones durante el desarrollo (o adaptativas) se organiza en torno a seis características clave:
1. Una combinación de principios de evaluación durante el desarrollo y normas de evaluación del UNEG
2. Énfasis tanto en (a) informes de evaluación (productos) como (b) proceso de evaluación
3. Calificar la adherencia de la evaluación a las prácticas mínimas para cada principio / estándar.
4. Tres fuentes de datos y métodos
5. Un proceso de cinco pasos
6. Opciones para la escalada, replicación o ampliación
Cada una de estas características clave se describe a continuación:
La Oficina de Evaluación de UNFPA ha desarrollado un nuevo y relevante «Marco de Garantía de calidad y valoración de las evaluaciones durante el desarrollo (o adaptativas) en UNFPA» para ayudar a la Oficina de evaluación y a terceros a valorar la calidad de las evaluaciones durante el desarrollo (o evaluaciones adaptativas) ejecutadas por/para la agencia. En este informe se señalan algunas tensiones que hay que afrontar para garantizar la calidad de las evaluaciones durante el desarrollo (o adaptativas)
Varias tensiones son inevitables en la aplicación de los principios de la evaluación durante el desarrollo en las evaluaciones gestionadas por organizaciones y afectarán la calidad de la evaluación. Estas tensiones no pueden (re) resolverse; más bien, deben abordarse como desafíos de diseño y gestionarse de forma creativa.
Grandes tensiones: Existen tres tensiones principales para garantizar la calidad en las evaluaciones de desarrollo gestionadas por las organizaciones. Se relacionan con (a) propósito, (b) relaciones y (c) gestión y/o administración.
1 Tensiones relacionadas con el propósito
La tensión de propósito principal es (a) entre la evaluación durante el desarrollo como un proceso interno para apoyar el desarrollo y (b) la adaptación de una intervención y el uso más tradicional de la evaluación como un mecanismo para informar y rendir cuentas a un organismo superior o externo.
(1) Por un lado, el objetivo de la evaluación durante desarrollo es (a) proporcionar a las partes interesadas de la iniciativa retroalimentación en tiempo real sobre los resultados de sus esfuerzos, (b) generar nuevos aprendizajes sobre los desafíos que están tratando de abordar, identificar y (c) reflexionar críticamente sobre las fortalezas y debilidades en su trabajo y (d) para permitir adaptaciones basadas en datos a sus objetivos y enfoque general. Esto incluye la necesidad de que (e) los usuarios principales de la evaluación utilicen conjuntamente los hallazgos, las implicaciones y las opciones que surgieron en el proceso para tomar decisiones sobre dónde y cómo desarrollar la intervención, en lugar de confiar en las recomendaciones del equipo de evaluación.
Ya hemos discutido en otros posts sobre las «evaluaciones durante el desarrollo» (developmental evaluation) que (1) ayudan a identificar opciones innovadoras en condiciones complejas, inciertas y dinámicas asociadas con el desarrollo de una nueva iniciativa. También (2) tienen una visión de futuro y se centran en la utilización.
Ya comentamos que éste es un término de traducción no sencilla en español, nosotros optamos por «Evaluación durante el desarrollo» y UNFPA traduce «Developmental Evaluation» como «Evaluación Adaptativa»: En el informe «Evaluación adaptativa de la gestión basada en resultados en UNFPA (2019)«, se indica que la «evaluación durante el desarrollo» (o evaluación adaptativa) fue el enfoque más apropiado para proporcionar a UNFPA, retroalimentación crítica en tiempo real y aportes evaluativos para la toma de decisiones para avanzar la gestión basada en resultados (GBR) de UNFPA al siguiente nivel.
La evaluación llevó a cabo un análisis de las causas fundamentales de los desafíos persistentes en la GBR, que revelaron cinco tensiones creativas (lagunas y desafíos). También presentó seis puntos de influencia (o puntos de apalancamiento) que guían el desarrollo de soluciones de GBR y, por lo tanto, para pasar a la siguiente etapa de la GBR. La siguiente figura captura la interacción entre las tensiones creativas y los puntos de influencia, destacando un camino de cambio para la GBR en el UNFPA.
El examen estratégico independiente externo de la función de evaluación del UNFPA (2017-2018) recomendó que la Oficina de Evaluación debería orientar la función de evaluación hacia un mejor equilibrio entre la rendición de cuentas, el apoyo a las decisiones y los propósitos de aprendizaje, adaptando continuamente sus enfoques y procesos de evaluación para informar y apoyar mejor a la logro de la misión del UNFPA en contextos desafiantes y que cambian rápidamente, incluso integrando mejor los avances pertinentes en la teoría y la práctica de la evaluación. En respuesta, la Oficina de Evaluación elaboró y puso en marcha la Estrategia de evaluación 2018-2021, que incluía, entre otras, la prioridad de (1) aumentar las evaluaciones impulsadas por la demanda y (2) diversificar la oferta de tipologías de evaluaciones, incluso mediante la innovación. En este contexto, la Oficina de Evaluación, respondiendo a una demanda específica del personal directivo superior y en consonancia con la Estrategia de Evaluación 2018-2021, decidió experimentar con esta evaluación «durante el desarrollo» o “adaptativa” de la GBR en UNFPA.
Para impulsar la GBR a su punto máximo en el UNFPA, es fundamental (1) fomentar la participación continua de las partes interesadas en la creación conjunta y (2) el desarrollo de soluciones de GBR, con decisiones y acciones rápidas de la organización para aprovechar el impulso generado por la evaluación.
¿Cuál era el contexto de la gestión basada en resultados en UNFPA?
Desde la introducción de la gestión basada en resultados en el UNFPA en el año 2000, se han realizado avances considerables en el desarrollo de sistemas formales, marcos y herramientas para presentar informes sobre los resultados en UNFPA. Sin embargo, los desafíos continúan en la utilización de los resultados para la adaptación y como impulso para el aprendizaje organizacional.
MQPatton, uno de nuestros referentes, ha estado en este oficio de la evaluación y escribiendo sobre la profesión de evaluación durante casi 50 años. Durante la última década, ha escrito sobre «evaluación bajo condiciones de complejidad» (Developmental evaluation / Evaluación en o durante el desarrollo) y transformaciones de sistemas globales (Blue Marble Evaluation). En su post del 23 de Marzo 2020, Implicaciones en la evaluación de la actual pandemia, MQPAtton nos da su visión sobre la actual pandemia y las implicaciones que puede tener para la evaluación. Esta es su opinión sobre dónde estamos y hacia dónde deberíamos ir como evaluador@s:
Adaptemos ahora los planes y diseños de evaluación.
Seamos proactivos. No esperemos y no pensemos que esto va a pasar rápidamente.
Centrémonos en el uso, no en nosotr@s. El trabajo de las personas con las que trabajamos no es consolarnos ni ayudarnos como evaluador@s.
Reglas de datos en tiempo real.
Consideremos el estándar de rigor «suficientemente bueno». Separarse del rigor como un estándar metodológico absoluto.
Todo cambia en una crisis. Abraza el cambio, no te resistas.
Participa en el pensamiento sistémico.
Piensa globalmente, actúa localmente.
Prepárate para defender el valor de la evaluación.
Tengamos conocimiento, seamos un verificadores de hechos.
Modela el pensamiento evaluativo sistemático.
Aboga por mejores datos.
Destaquemos la necesidad de una transformación de sostenibilidad global a más largo plazo.
Aunque en el discurso y la retórica las evaluaciones en general dan la apariencia de prestar atención a las consecuencias no deseadas de las intervenciones, la mayoría de los diseños de evaluación dedican todo su presupuesto para la evaluación de la ejecución prevista y el logro de metas. Sigue siendo una excepción el tipo de trabajo de campo abierto a captar efectos no deseados o no esperados o dinámicas emergentes. Esto es útil para identificar los posibles impactos negativos durante el diseño del programa, a fin de garantizar y establecer mejores procesos de seguimiento. Sigue leyendo →
La ciencia de la complejidad ha sido utilizada para describir y explicar el comportamiento de los sistemas naturales y biológicos, que se caracterizan por (1) dinámica no lineal y (2) propiedades emergentes sobre la base de diversas poblaciones de individuos que interactúan entre sí y son capaces de experimentar la auto-organización espontánea.
La investigación en la gestión organizacional y la psicología del comportamiento indican que los sistemas humanos también se comportan de una manera compleja. El modelo operativo de la ciencia de la complejidad llama a la complejidad en la acción y da lugar a los Sistemas Adaptativos Complejos (SAC). Un sistema adaptativo complejo es un tipo especial de sistema complejo; es complejo en el sentido de que es diverso y conformado por múltiples elementos interconectados; y adaptativo, porque tiene la capacidad de cambiar y aprender de la experiencia. Lo que distingue a los CAS de los SMA (sistemas multiagentes) puros es su enfoque de propiedades de alto nivel y característica, como autosimilaridad, complejidad, emergencia, y autoorganización. Un SMA es definido simplemente como un sistema compuesto de múltiples agentes interactuando. En CAS los agentes así como los sistemas son adaptativos, el sistema es autosimilar. Un CAS es una compleja y autosimilar colectividad de interacciones de agentes adaptativos. Los CAS se caracterizan por un alto grado de capacidad adaptativa, lo que les proporciona resiliencia frente a la perturbación. Otras propiedades importantes son la adaptación (homeostasis), comunicación, cooperación, especialización, organización espacial y temporal, y, por supuesto, reproducción.
La teoría de SAC ofrece una forma diferente de pensar acerca de las organizaciones y sistemas, incluyendo cómo debe desarrollarse una política para ellos, cómo deben ser gestionados, cómo la innovación puede propagarse dentro de y cómo deben ser evaluados (Sibthorpe, Glasgow y Longstaff, 2004).
Un tema de interés creciente en la evaluación, especialmente la evaluación del desarrollo, es cómo podemos aplicar las ideas y métodos de ciencia de la complejidad en la evaluación. La complejidad tiene aplicaciones importantes (1) en la forma de tratar los programas y las políticas, (2) en la forma en que recopilamos y analizamos los datos y (c) cómo se reporta hallazgos y apoyamos su uso. La palabra complejidad a veces se ha menospreciado como «término moderno que se utiliza para evitar la rendición de cuentas y la planificación». Pero no todo es complejo: Una intervención puede tener algunos (a) elementos simples, algunos (b) aspectos complicados y (c) algunos aspectos complejos, y es más útil identificarlos por separado que clasificar toda una intervención como compleja.
Muchas evaluaciones tienen que lidiar con programas con (1) múltiples componentes, (2) múltiples niveles de implementación, (3) múltiples organismos de ejecución, (4) con múltiples agendas y (5) cadenas causales largas con muchos resultados intermedios o con resultados que sólo pueden lograrse a través de un “paquete de causalidad” que involucra múltiples intervenciones o contextos favorables. En estas situaciones, las evaluaciones deben basarse en un modelo lógico incluya información sobre (a) diferentes componentes esenciales de uso común en la intervención, (b) que funcionan de manera diferente en diferentes contextos, o (c) que sólo funcionan en combinación con otros programas o entornos favorables. Es esencial informar al respecto en términos de “(a) lo que funciona, (b) para quién, (c) en qué contextos”.
Muchas evaluaciones tratan con programas que involucran estrategias emergentes y sensibles y procesos causales que no pueden ser completamente controlados o predecirse con antelación, ya que el programa se desarrolla y cambia con el tiempo. En estas situaciones, las evaluaciones tienen que ser capaces de identificar y documentar los socios, las estrategias y los resultados emergentes, en lugar de sólo prestar atención a los objetivos y metas pre-establecidas. Una evaluación en tiempo real puede ayudar a saber lo que está funcionando y para informar de cara a la adaptación continua y el aprendizaje. Una evaluación efectiva no implica necesariamente la construcción de un modelo detallado de cómo funciona la intervención y el cálculo de la combinación óptima de las actividades de ejecución – porque la combinación de lo que se necesita, lo que es posible y lo que va a ser óptimo, estarán siempre cambiando. Para mayor detalle sobre la particularización de los conceptos de complejidad en el sector de la Ayuda al Desarrollo y la Acción Humanitaria, véase Ramalingam et. al. (2008)
Aunque en el discurso y la retórica las evaluaciones en general dan la apariencia de prestar atención a las consecuencias no deseadas de las intervenciones, la mayoría de los diseños de evaluación dedican todo su presupuesto para la evaluación de la ejecución prevista y el logro de metas. Sigue siendo una excepción el tipo de trabajo de campo abierto a captar efectos no deseados o esperados, reales y dinámicas emergentes. Es útil para identificar los posibles impactos negativos durante el diseño del programa a fin de garantizar y establecer los procesos de seguimiento. Esto a su vez ayuda a la identificación de nuevos impactos negativos que deben ser evaluados. Una vez que se hayan identificado los posibles efectos no deseados o negativos se debe posibilitar desde el diseño la evaluación de los resultados y los impactos no deseados reales a medida que ocurren. Para ello la recolección de datos permanece abierta hacia resultados no deseado e inesperado mediante la inclusión de algunas preguntas abiertas en las entrevistas y cuestionarios, y propiciando la comunicación de los resultados inesperados. Apuntamos algunas opciones:
(1) Entrevistas con informantes clave: pidiendo al personal identificar los posibles impactos negativos, basados en su experiencia, en programas similares. Los críticos del programa pueden ser especialmente útiles.
(2) Teoría programa negativa: la identificación de las formas en que las actividades del programa pueden producir impactos negativos, en lugar de sus impactos previstos.
(3) Evaluación de riesgos: identificación de los impactos negativos potenciales, su probabilidad de ocurrir y cómo podrían evitarse.
(4) Informes de sucesos inusuales
REFERENCIAS
Ramalingam, B., Jones, H., Reba, T., y Young, J. (2008) Exploring the science of complexity: Ideas and implications for development and humanitarian efforts. Overseas Development Institute (ODI).
Sibthorpe, B., & Glasgow, N., and Longstaff, D. (2004) Complex adaptive systems: A different way of thinking about health care systems. The Australian National University.
Uno de mis libros más subrayados es «Developmental Evaluation. Applying Complexity Concepts to Enhance Innovation and Use» de Patton, M. Q. (2010). Y aun así este enfoque sigue siendo un enigma ya que todavía me queda un rato para acabar de comprenderlo completamente en su parte más operativa. Uno está tentado de decir que es un enfoque que coge todo lo bueno de todos los enfoques y lo pone junto, en un estofado en el que añades algunas de las actuales palabras mantra (más «IN» o «FASHION») como: adaptación, innovación, resiliencia… Su autor, el inabarcable Michael Quinn Patton, describe este enfoque como «una opción que fundamentalmente responde al contexto de la intervención». Siendo Patton un pionero, este libro necesita tiempo para ser digerido porque además, como él mismo explica y en coherencia con este tipo de enfoque, utiliza el formato de «contar historias» para presentar los diferentes apartados (i)
El tema es que los anglosajones se inventan juegos de palabras imposibles y luego nos dejan a los demás la traducción (a veces lo que para los ingleses está clarísimo en dos palabras las lenguas románicas necesitamos varias páginas de explicación…sin contar las excepciones claro). ¿Pero empecemos por cómo demonios se traduce Developmental Evaluation (DE, por sus siglas en inglés)? Uno está tentado de hacer como mis padres cuando fueron a ver la película «Eyes wide shut«, imposible de traducir al castellamo …la gente decía «una entrada para la sala 2» porque no sólo no se traducía sino que era imposible repetir el nombre….
Para empezar hay que decir que la traducción que aparece en el título es propia.Pablo Rodríguez Belilla en su breve introducción a DE se pregunta si pudiera traducirse como «evaluación en desarrollo», y Ricardo Wilson-Grau lo traduce como “evaluación para el desarrollo de innovaciones”. DE puede ser llamada también evaluación adaptativa, evaluación en tiempo real o evaluación emergente. O sea que puede ocurrir que hayamos aplicado DE sin saber que lo estábamos haciendo. Y yo prefiero traducirlo como «evaluación durante el desarrollo» porque entiendo que es un proceso evaluativo durante el desarrollo de una intervención. Bueno pues a ver si acordamos una traducción digna ( i )
La evaluación durante el desarrollo (DE) es un enfoque de evaluación que puede ayudar a los innovadores sociales que desarrollan iniciativas de cambio social en entornos complejos o inciertos. La DE es comparada al papel que la I+D+i (Investigación, Desarrollo e Innovación) juega en el proceso de desarrollo de productos y servicios en sector privado, ya que facilita casi en tiempo real la retroalimentación al personal del programa, permitiendo así el desarrollo de un seguimiento continuo más auténtico y más centrado en efectos positivos del proyecto y menos en la operativa de gestión.
La DE es especialmente adecuada para la innovación, el cambio radical, el rediseño, la replicabilidad, y en concreto como alternativa para el abordaje evaluativo de problemas complejos y situaciones de crisis. En estos diferentes contextos, la DE puede aportar de manera significativa y diferenciada de otros enfoques: conceptualización de nuevos fenómenos y nuevos marcos de análisis de los fenómenos sociales, validación por iteraciones rápidas, la capacidad de hacer emerger temas críticos, entre otros (Patton M., 2010)
La DE se apoya en la innovación para guiar la adaptación a las realidades emergentes y dinámicas en entornos complejos. Las innovaciones pueden tomar la forma de nuevos proyectos, programas, productos, cambios organizativos, reformas políticas, etc.
Recordemos que un sistema complejo se caracteriza por un gran número de elementos interdependientes que interactúan, en los que no hay control central, surgiendo patrones de cambio rápidos e interacciones en tiempo real, que generan el aprendizaje, la evolución y el desarrollo, si prestamos atención y sabemos cómo observar y capturar los patrones importantes y emergentes.
Entornos complejos para las intervenciones sociales y para las innovaciones son aquellos en los que lo que se debe hacer para resolver los problemas de los implicados es incierto y está en conflicto la forma de proceder.
Para ilustrar mejor el cambio de paradigma que supone este enfoque con respecto a planteamientos más comunes (como es el caso de la evaluación basada en objetivos/preguntas de evaluación), en la siguiente tabla se muestra una comparativa:
Evaluación tradicional
Developmental Evaluation
Propósito
Control del proyecto, Apoyo a la mejora de la intervención, aspectos sumativos de evaluación
Apoyo a la innovación y la adaptación
Roles y
responsabilidades
Evaluador posicionado externamente para asegurar independencia
Posicionado como una función interna integrada en el proceso de recolección y el análisis de información, generando marcos para la interpretación, supervisando y examinando modelos en desarrollo
Rendición de cuentas
Focalizado en actores externos, con criterios de valoración predefinidos
Centrada en los valores de los innovadores y su compromiso para el cambio
Opciones
Dominan métodos y técnicas de investigación clásicas
Enfocado al uso: se eligen técnicas y herramientas en función del uso en desarrollo
Medición
Desempeño y éxito medidos a partir de indicadores SMART y objetivos claramente
Desarrolla medidas conforme los efectos van apareciendo. Las medidas pueden cambiar a lo largo de la evaluación.
Resultados de
evaluación
Informes formales, identificación de
buenas prácticas, generalizables espacial y temporalmente
Retroalimentación en tiempo real, formas amigables y diversas de retroalimentación.
La evaluación trata siempre de nutrir el aprendizaje
Complejidad e
incertidumbre
El evaluador trata de controlar la implementación del diseño de evaluación y el propio proceso
El evaluador aprende a manejar la falta de control sobre el proceso. Está atento al despliegue del programa y sus efectos y responde acorde con el momento
Estándares/ Principios
orientadores
Competencias metodológicas, rigor, independencia, credibilidad de cara a autoridades externas. Pensamiento analítico y crítico
Equilibrio entre pensamiento crítico y pensamiento creativo. Gran tolerancia a la ambigüedad. Abierto y ágil. Centrado en habilidades de equipo. Capaz de facilitar evidencia rigurosa.
…Pero esto es un comienzo en torno a la «Evaluación durante el desarrollo», ya que trataré en futuros post de ir desgranando los tesoros de este enfoque…
Referencias
Patton, M. Q. (2010) Developmental Evaluation. Applying Complexity Concepts to Enhance Innovation and Use. Guilford Press, New York. Retrieved
Rodríguez Ariza, C. y Monterde, R. (2014) Estrategias cualitativas de evaluación en la Cooperación para el Desarrollo: viejos debates y nuevos retos. Documento de Trabajo Serie CECOD. Número 29 / 2014
"TripleAD": Aprendiendo a Aprender para el Desarrollo 