1. Resumen general del libro y su objetivo principal
El libro de Michael Quinn Patton, «Developmental Evaluation: Applying Complexity Concepts to Enhance Innovation and Use» (2011), que lo hemos traducido siempre en este blog por: “Evaluación durante el desarrollo (EDD): aplicar conceptos de complejidad para potenciar la innovación y el uso”, representa una de las obras más influyentes en la evolución contemporánea de la evaluación.
Su objetivo principal es ofrecer un marco conceptual y práctico para evaluar iniciativas en contextos de alta incertidumbre, innovación o cambio continuo, donde los modelos de intervención no están cerrados.
Patton parte de una observación sencilla pero revolucionaria: los modelos clásicos de evaluación —formativa (para mejorar) y sumativa (para juzgar resultados)— no sirven bien en entornos de innovación. Cuando un programa aún está “en construcción”, la evaluación debe estar presente durante su desarrollo, no al margen ni al final.
La EDD, por tanto, se convierte en una herramienta de aprendizaje y adaptación que acompaña la innovación mientras sucede. Es la evaluación que viaja dentro del tren, no la que espera en la estación final para levantar acta.
En tiempos marcados por crisis ecológicas, desigualdades estructurales y disputas epistémicas sobre qué cuenta como conocimiento válido, la evaluación enfrenta una encrucijada histórica. Ya no basta con identificar “qué funciona”; debemos preguntarnos también cómo, para quién y en qué condiciones funciona, y bajo qué marcos epistémicos, culturales y políticos se construye ese juicio.
La validez en evaluación, tradicionalmente entendida como una dimensión técnica, se transforma en este contexto en una categoría relacional, ética y situada. Este texto propone una relectura integral y crítica de las formas de validez, integrando sus expresiones clásicas con nuevos aportes emergentes desde perspectivas decoloniales, feministas, participativas y ecológicas.
2.Fundamentos teóricos: de la neutralidad al compromiso epistemológico
Los aportes desarrollados aquí se fundamentan en un corpus diverso que incluye la crítica pospositivista a la neutralidad del conocimiento (Schwandt, 2009; Patton, 2011), las epistemologías del Sur (Sousa Santos, 2018), la evaluación transformativa (Mertens, 2009) y la práctica culturalmente receptiva (Hood, 2009; Chilisa, 2012). También se apoyan en enfoques de sistemas complejos (Greene, 2007; Patton, 2011) y pedagogías críticas como la de Freire (1970), así como en evaluaciones participativas con base en justicia social (Cousins & Whitmore, 1998; Mark & Henry, 2004).
Desde esta perspectiva surge la idea de validación crítica: un proceso dialógico, situado y plural que reconoce las tensiones entre formas de validez y busca equilibrarlas en función del propósito evaluativo y el contexto sociopolítico.
3.Las valideces: clásicas y críticas
3.1.Las valideces clásicas: continuidad necesaria con revisión crítica
Validez interna
Enfocada en la relación causal entre intervención y resultados, es central en diseños experimentales (Shadish et al., 2002; Gertler et al., 2016). No obstante, puede omitir factores contextuales o dinámicas de poder, como han señalado evaluaciones realistas (Pawson & Tilley, 1997).
Validez externa
Remite a la generalización de resultados. Investigaciones como la de Vivalt (2020) muestran la variabilidad de efectos cuando se replican programas en contextos distintos. Cartwright & Hardie (2012) advierten contra la ilusión de universalidad.
En este artículo, Bammer explora la importancia de aceptar la imperfección al intentar comprender y abordar problemas complejos tanto sociales como ambientales.
Bammer argumenta que la imperfección es inevitable debido a varias razones. Primero, los problemas complejos son problemas de sistemas, y todas las vistas de sistemas son parciales, lo que significa que no se puede tener en cuenta todo el sistema. Además, los problemas ocurren en contextos específicos con dimensiones históricas, políticas, geográficas, culturales y económicas que son imposibles de comprender completamente. También existen desconocidos ilimitados que continúan surgiendo a medida que cambian las circunstancias y se realiza más investigación. Además, el cambio es multifacético, dinámico e impredecible, lo que dificulta examinar los problemas y controlar el impacto de las acciones. Las perspectivas, valores e intereses de las personas involucradas también afectan la comprensión de los problemas y las acciones deseables, y los recursos siempre serán limitados.
Bammer advierte contra la sobreconfianza en soluciones perfectas y la desesperanza, incompetencia, corrupción y sesgo retrospectivo. En lugar de eso, sugiere enfocarse en los mejores resultados posibles, comunicar claramente que las soluciones siempre son limitadas y construir procesos de gestión adaptativa. También recomienda usar modelos para explorar impactos potenciales, siendo conscientes de sus limitaciones, y documentar decisiones y limitaciones de manera transparente.
La «Evaluación Durante el Desarrollo» (Developmental Evaluation, DE) es un enfoque innovador que se centra en la adaptación y la innovación en entornos complejos e inciertos. Este método, desarrollado por Michael Quinn Patton, se diferencia de las evaluaciones tradicionales al integrarse en el proceso de desarrollo de una intervención, proporcionando retroalimentación en tiempo real y permitiendo ajustes continuos.
Ideas Clave
Definición y Propósito: La DE se compara con la I+D+i en el sector privado, facilitando la retroalimentación casi en tiempo real y centrando el seguimiento en los efectos positivos del proyecto. Es especialmente útil para la innovación, el cambio radical y la replicabilidad en contextos complejos y de crisis.
Comparación con Evaluaciones Tradicionales: A diferencia de las evaluaciones tradicionales que se centran en el control del proyecto y la mejora de la intervención, la DE apoya la innovación y la adaptación. Los evaluadores en DE están integrados en el proceso, generando marcos para la interpretación y supervisando modelos en desarrollo.
Principios y Estándares: La DE se basa en principios como el propósito de desarrollo, el rigor de la evaluación, el nicho de innovación, las perspectivas de la complejidad, el pensamiento sistémico, la co-creación y los comentarios oportunos. Estos principios se combinan con normas de evaluación del UNEG, como la independencia, la imparcialidad, la credibilidad y la igualdad de género y derechos humanos.
Productos y Procesos de Evaluación: La calidad de la evaluación en DE se expresa tanto en productos de evaluación (informes, resúmenes de aprendizaje, presentaciones) como en procesos de evaluación (relaciones, discusiones evaluativas, toma de decisiones basada en datos). Un enfoque convencional que solo valore los informes finales perdería importantes interacciones de evaluación del día a día.
Calificación y Métodos de Datos: La valoración de las evaluaciones en DE se realiza calificando el grado en que los productos y procesos de evaluación exhiben estándares de calidad. Este proceso debe ser realizado por un evaluador externo independiente utilizando métodos como la revisión de productos, entrevistas con informantes clave y entrevistas con el personal de evaluación.
Pasos para Evaluar la Calidad: El proceso de evaluación de la calidad en DE consta de tres pasos principales: determinación del alcance, implementación y revisión y aprobación. Este proceso asegura una valoración completa y precisa de la calidad de las evaluaciones durante el desarrollo.
En un informe de 2016, el Grupo de Evaluación Independiente del Banco Mundial (IEG) definió las intervenciones transformacionales como «intervenciones individuales o series de intervenciones que apoyan cambios profundos, sistémicos y sostenibles con el potencial de tener un impacto a gran escala en áreas de gran desafío de desarrollo. Estas intervenciones ayudan a los clientes a eliminar las restricciones críticas para el desarrollo; causan o apoyan un cambio fundamental en un sistema; tienen un impacto a gran escala a nivel nacional o global; y son económicamente, financieramente y ambientalmente sostenibles».
Esto se alinea con otras definiciones de cambio transformacional, las cuales convergen en los siguientes atributos del cambio: debe ser sistémico, fundamental y duradero. La relación entre la evaluación y el cambio transformacional ha sido discutida en una serie de publicaciones recientes en el campo de la evaluación1, planteando la una pregunta fundamental: ¿Puede la evaluación jugar un papel importante en impulsar a las comunidades políticas y, en consecuencia, a la sociedad en el camino hacia el cambio transformacional? Y si es así, ¿cómo?
Traemos a otro de los grandes en la gestión del conocimiento: David Snowden, también blogger i
David John Snowden (nacido en 1954) es un consultor de gestión e investigador de Gales en el campo de la gestión del conocimiento. Dave Snowden ha sido una de las figuras principales en el movimiento hacia la integración de enfoques humanistas para la gestión del conocimiento con la tecnología adecuada y el diseño de procesos. Bien conocido por su trabajo sobre el papel de la narrativa y la destilación de sentido, es un orador entretenido y un realista formidable, y uno de los pocos líderes intelectuales que puede unir las perspectivas académica y profesional en un ámbito único y comprensible.
Sigue leyendo →
Ahora que desde un tiempito nosotr@s, mentes simples, estamos tan extasiad@s con el tema de la complejidad, quiero introducir el tema de la simplicidad…
Conseguir la simplicidad mediante 10 principios básicos es la propuesta. La simplicidad se aplica al diseño, tecnología, negocios y a la vida personal
Maeda es un diseñador gráfico, ingeniero de software, profesor y autor de diversos libros. Nativo americano, de raíces japonesas, estudió en el MIT y se doctoró en el instituto de Arte y Diseño de la Universidad Tsukuba en Japón.Estos 10 principios son: Reduce, Organiza, Tiempo, Aprende, Diferencias, Contexto, Emoción, Confianza, Error, La única.Sigue leyendo →
Aunque en el discurso y la retórica las evaluaciones en general dan la apariencia de prestar atención a las consecuencias no deseadas de las intervenciones, la mayoría de los diseños de evaluación dedican todo su presupuesto para la evaluación de la ejecución prevista y el logro de metas. Sigue siendo una excepción el tipo de trabajo de campo abierto a captar efectos no deseados o no esperados o dinámicas emergentes. Esto es útil para identificar los posibles impactos negativos durante el diseño del programa, a fin de garantizar y establecer mejores procesos de seguimiento. Sigue leyendo →
La ciencia de la complejidad ha sido utilizada para describir y explicar el comportamiento de los sistemas naturales y biológicos, que se caracterizan por (1) dinámica no lineal y (2) propiedades emergentes sobre la base de diversas poblaciones de individuos que interactúan entre sí y son capaces de experimentar la auto-organización espontánea.
La investigación en la gestión organizacional y la psicología del comportamiento indican que los sistemas humanos también se comportan de una manera compleja. El modelo operativo de la ciencia de la complejidad llama a la complejidad en la acción y da lugar a los Sistemas Adaptativos Complejos (SAC). Un sistema adaptativo complejo es un tipo especial de sistema complejo; es complejo en el sentido de que es diverso y conformado por múltiples elementos interconectados; y adaptativo, porque tiene la capacidad de cambiar y aprender de la experiencia. Lo que distingue a los CAS de los SMA (sistemas multiagentes) puros es su enfoque de propiedades de alto nivel y característica, como autosimilaridad, complejidad, emergencia, y autoorganización. Un SMA es definido simplemente como un sistema compuesto de múltiples agentes interactuando. En CAS los agentes así como los sistemas son adaptativos, el sistema es autosimilar. Un CAS es una compleja y autosimilar colectividad de interacciones de agentes adaptativos. Los CAS se caracterizan por un alto grado de capacidad adaptativa, lo que les proporciona resiliencia frente a la perturbación. Otras propiedades importantes son la adaptación (homeostasis), comunicación, cooperación, especialización, organización espacial y temporal, y, por supuesto, reproducción.
La teoría de SAC ofrece una forma diferente de pensar acerca de las organizaciones y sistemas, incluyendo cómo debe desarrollarse una política para ellos, cómo deben ser gestionados, cómo la innovación puede propagarse dentro de y cómo deben ser evaluados (Sibthorpe, Glasgow y Longstaff, 2004).
Un tema de interés creciente en la evaluación, especialmente la evaluación del desarrollo, es cómo podemos aplicar las ideas y métodos de ciencia de la complejidad en la evaluación. La complejidad tiene aplicaciones importantes (1) en la forma de tratar los programas y las políticas, (2) en la forma en que recopilamos y analizamos los datos y (c) cómo se reporta hallazgos y apoyamos su uso. La palabra complejidad a veces se ha menospreciado como «término moderno que se utiliza para evitar la rendición de cuentas y la planificación». Pero no todo es complejo: Una intervención puede tener algunos (a) elementos simples, algunos (b) aspectos complicados y (c) algunos aspectos complejos, y es más útil identificarlos por separado que clasificar toda una intervención como compleja.
Muchas evaluaciones tienen que lidiar con programas con (1) múltiples componentes, (2) múltiples niveles de implementación, (3) múltiples organismos de ejecución, (4) con múltiples agendas y (5) cadenas causales largas con muchos resultados intermedios o con resultados que sólo pueden lograrse a través de un “paquete de causalidad” que involucra múltiples intervenciones o contextos favorables. En estas situaciones, las evaluaciones deben basarse en un modelo lógico incluya información sobre (a) diferentes componentes esenciales de uso común en la intervención, (b) que funcionan de manera diferente en diferentes contextos, o (c) que sólo funcionan en combinación con otros programas o entornos favorables. Es esencial informar al respecto en términos de “(a) lo que funciona, (b) para quién, (c) en qué contextos”.
Muchas evaluaciones tratan con programas que involucran estrategias emergentes y sensibles y procesos causales que no pueden ser completamente controlados o predecirse con antelación, ya que el programa se desarrolla y cambia con el tiempo. En estas situaciones, las evaluaciones tienen que ser capaces de identificar y documentar los socios, las estrategias y los resultados emergentes, en lugar de sólo prestar atención a los objetivos y metas pre-establecidas. Una evaluación en tiempo real puede ayudar a saber lo que está funcionando y para informar de cara a la adaptación continua y el aprendizaje. Una evaluación efectiva no implica necesariamente la construcción de un modelo detallado de cómo funciona la intervención y el cálculo de la combinación óptima de las actividades de ejecución – porque la combinación de lo que se necesita, lo que es posible y lo que va a ser óptimo, estarán siempre cambiando. Para mayor detalle sobre la particularización de los conceptos de complejidad en el sector de la Ayuda al Desarrollo y la Acción Humanitaria, véase Ramalingam et. al. (2008)
Aunque en el discurso y la retórica las evaluaciones en general dan la apariencia de prestar atención a las consecuencias no deseadas de las intervenciones, la mayoría de los diseños de evaluación dedican todo su presupuesto para la evaluación de la ejecución prevista y el logro de metas. Sigue siendo una excepción el tipo de trabajo de campo abierto a captar efectos no deseados o esperados, reales y dinámicas emergentes. Es útil para identificar los posibles impactos negativos durante el diseño del programa a fin de garantizar y establecer los procesos de seguimiento. Esto a su vez ayuda a la identificación de nuevos impactos negativos que deben ser evaluados. Una vez que se hayan identificado los posibles efectos no deseados o negativos se debe posibilitar desde el diseño la evaluación de los resultados y los impactos no deseados reales a medida que ocurren. Para ello la recolección de datos permanece abierta hacia resultados no deseado e inesperado mediante la inclusión de algunas preguntas abiertas en las entrevistas y cuestionarios, y propiciando la comunicación de los resultados inesperados. Apuntamos algunas opciones:
(1) Entrevistas con informantes clave: pidiendo al personal identificar los posibles impactos negativos, basados en su experiencia, en programas similares. Los críticos del programa pueden ser especialmente útiles.
(2) Teoría programa negativa: la identificación de las formas en que las actividades del programa pueden producir impactos negativos, en lugar de sus impactos previstos.
(3) Evaluación de riesgos: identificación de los impactos negativos potenciales, su probabilidad de ocurrir y cómo podrían evitarse.
(4) Informes de sucesos inusuales
REFERENCIAS
Ramalingam, B., Jones, H., Reba, T., y Young, J. (2008) Exploring the science of complexity: Ideas and implications for development and humanitarian efforts. Overseas Development Institute (ODI).
Sibthorpe, B., & Glasgow, N., and Longstaff, D. (2004) Complex adaptive systems: A different way of thinking about health care systems. The Australian National University.
"TripleAD": Aprendiendo a Aprender para el Desarrollo 