En esta parada del Tren Libros de Evaluación analizamos en historico informe Broadening the Range of Designs and Methods for Impact Evaluation (DFID Working Paper 38, 2012) de los autores: Eliot D. Stern, Nicoletta Stame, John Mayne, Kim Forss, Rick Davies y Barbara Befani. (eba.se) Este informe nace para resolver un problema práctico: los métodos dominantes de evaluación de impacto (EI) —sobre todo experimentales y estadísticos— sólo encajan con una fracción de los programas reales, especialmente en cooperación y políticas públicas complejas. Su objetivo es ampliar el repertorio y ofrecer criterios de selección que prioricen la adecuación al contexto y a las preguntas evaluativas, no la adhesión a una jerarquía rígida de métodos. De hecho, el equipo afirma que “alternativas a los diseños experimentales y cuasi-experimentales pueden alcanzar igual robustez y credibilidad: son diferentes pero equivalentes” (“different but equal”). (assets.publishing.service.gov.uk)
2) Análisis detallado de capítulos y secciones clave
En esta parada del Tren Libros de Evaluación, el libro Evaluation Theory, Models, and Applications (Stufflebeam & Shinkfield, 2007) es considerado una de las obras más completas en el campo de la evaluación educativa, social y de programas. Su objetivo central es ofrecer un marco sistemático y accesible que integre teorías, modelos y prácticas de evaluación, sirviendo tanto a académicos como a profesionales. A lo largo de sus capítulos, los autores buscan definir la evaluación como disciplina aplicada, ética y orientada a la toma de decisiones.
2. Capítulos y puntos clave
La obra se organiza en cinco grandes bloques:
Historia y evolución de la evaluación: desde Ralph Tyler y la evaluación por objetivos en los años 40, pasando por la crítica de Scriven (evaluación formativa y sumativa), hasta la pluralidad de modelos contemporáneos.
Modelos principales:
Evaluación orientada a objetivos (Tyler).
Evaluación centrada en el consumidor (Stake).
Evaluación por expertos (Scriven).
Modelos de gestión (Alkin, Wholey).
Modelos participativos.
El modelo CIPP (Context, Input, Process, Product): columna vertebral del libro, desarrollado por Stufflebeam desde los años 60. Cada dimensión se presenta con ejemplos prácticos y protocolos de aplicación.
Aplicaciones prácticas: casos en programas educativos, de salud pública y políticas sociales. Se ilustran usos en distintos países y sectores.
Normas profesionales y éticas: discusión sobre el Joint Committee on Standards for Educational Evaluation y la importancia de la ética en la práctica evaluativa.
Esta mañana mi hijo me despertó con un mensaje urgente, como si hubiese estallado la Tercera Guerra Mundial:
“¡Rick Davies ha muerto, noooo!”
Yo, todavía en estado de hibernación cerebral, entendí lo peor: que había muerto nuestro Rick Davies, el evaluador. Ese hombre que logró poner métricas a lo inmedible, que inventó una gramática para que los proyectos sociales no naufragaran en informes huecos. Mi hijo, estudiante de Políticas, y yo habíamos hablado tanto de evaluación que la confusión parecía lógica.
Pero no: hablaba del otro Rick Davies. El de Supertramp. El de The Logical Song, Dreamer, Goodbye Stranger. El hombre que convirtió un teclado eléctrico en el instrumento de nuestra educación sentimental.
Por un momento, sentí que me habían matado dos veces al mismo Rick Davies.
1. El legado que no caduca: ¿por qué las cinco familias de evaluación sigue siendo su sección más citada?
Mapa integrador y lenguaje común. Antes de 1991, los enfoques convivían como islas (experimentos, modelos de uso, enfoques de valores, etc.). La propuesta de Shadish, Cook y Leviton ofreció un marco taxonómico que ordenó el campo en cinco familias —experimental, descriptiva/cualitativa, centrada en el uso, centrada en valores y centrada en el contexto— y lo convirtió en un idioma compartido para docencia y práctica. Manuales y artículos posteriores lo adoptaron como “paradigma de referencia” para ubicar debates y decisiones metodológicas.
Puente entre teoría y práctica. La clasificación no prescribe “una” forma de evaluar; normaliza la pluralidad y la convierte en elecciones razonadas (qué valoramos, cómo construimos evidencia, para quién y para qué se usa). Esa “neutralidad operativa” explica su alta citación en currículos y en artículos de revisión.
Estandariza preguntas nucleares. El propio Shadish (1998) muestra cómo el campo discute de manera recurrente cinco ejes (valor, conocimiento, uso, cambio del evaluando y práctica), que encajan con la arquitectura del libro de 1991, reforzando su función de marco metateórico.
Resultado: la clasificación facilitó comparabilidad entre teorías, ayudó a estructurar cursos y a “situarse” en diseños complejos. Por eso sigue apareciendo en revisiones y marcos actuales que explican “de dónde venimos” antes de introducir enfoques contemporáneos.
Por tanto y como ya tratamos en nuestro anterior post Fundamentos de la Evaluación de Programas: Un libro esencial, Shadish, Cook y Leviton (1991) revolucionaron la evaluación al proponer cinco familias teóricas (experimental, descriptiva, centrada en el uso, en valores y en contexto). Fue un mapa epistémico común que:
Ordenó un campo fragmentado, funcionando como lenguaje pedagógico y referencia en programas académicos.
Actuó como puente entre diversidad y unidad, validando la pluralidad en lugar de imponer un modelo único.
Se convirtió en un “esqueleto del campo” citado en manuales, cursos universitarios y artículos de revisión.
En esta parada del Tren Libros de Evaluación nos encontramos con un clásico que cambió la forma de entender la disciplina: Foundations of Program Evaluation. Theories of Practice (1991), de William R. Shadish, Thomas D. Cook y Laura C. Leviton. Un libro que buscó organizar el “caos” de teorías que existían hasta ese momento y dar coherencia a la práctica de evaluar programas sociales, educativos y de políticas públicas.
1. Resumen general
El libro propone una visión integradora de la evaluación, sistematizando décadas de debates. Su objetivo principal: conectar teoría y práctica, mostrando que la evaluación no es una técnica única, sino un campo plural con múltiples marcos conceptuales.
2. Análisis de capítulos
La obra está organizada en tres bloques:
Fundamentos: qué es la evaluación, sus propósitos y dilemas.
Revisión de teorías: analiza cinco grandes familias:
Experimentales (con fuerte herencia de Donald T. Campbell).
Descriptivas/cualitativas (inspiradas en Lee Cronbach).
Centradas en el uso (con influencias de Carol Weiss).
Centradas en valores (a la Michael Scriven).
Centradas en el contexto y la toma de decisiones (Daniel Stufflebeam y el modelo CIPP).
Integración y práctica: cómo elegir enfoques adecuados al contexto y cómo los evaluadores deben equilibrar rigor, valores y utilidad.
Cuando hablamos de Desarrollo de Capacidades Nacionales de Evaluación (Dentro de nuesta serie NECD), los debates y experiencias acumuladas nos dejan un mosaico complejo pero revelador.
🔎 ¿Qué patrones se repiten?
Formar ≠ transformar. La capacitación aislada no asegura cambio si no se integra en instituciones y sistemas.
Transferencia frágil. El conocimiento se pierde cuando no hay memoria institucional ni cultura de uso.
Evaluación atravesada por el poder. Ningún proceso es neutro: se disputan legitimidades, narrativas e intereses.
Como venimos viendo en nuestra serie NECD, la evaluación ya no es solo un ejercicio técnico. Es aprendizaje, poder, participación, innovación y sostenibilidad. Pero… ¿cómo diseñar una estrategia de desarrollo de capacidades en evaluación que realmente transforme?
Tras revisar literatura clave emergen 7 ejes comunes que atraviesan las experiencias más relevantes:
🔑 Los 7 ejes de la capacidad evaluativa
Aprendizaje y adaptación → La evaluación como práctica viva que retroalimenta y transforma (Rosenberg & Donaldson, 2020).
Participación e inclusión → “¿Quién cuenta la realidad?” Solo con múltiples voces hay legitimidad (Estrella & Gaventa, 1998; Lipmanowicz & McCandless, 2013).
Institucionalización → No basta capacitar individuos: se necesitan sistemas estables y marcos legales (Mackay, 2007; Goldman et al., 2018).
Uso de la evidencia → De producir informes a incidir en decisiones (Goldman & Pabari, 2020; Holvoet & Renard, 2007).
Política y poder → La evaluación siempre es política: se negocia legitimidad, intereses y narrativas (Gornitzka & Stensaker, 2014; Picciotto, 2011).
Metodologías flexibles → Se requieren enfoques adaptativos, transformadores y decoloniales (Morgan, 2008; Patton, 2010).
Sostenibilidad y transferencia → Menos dependencia externa, más memoria institucional y datos abiertos (Segone, 2009; Rosenberg & Donaldson, 2020).
Año tras año, región tras región, se multiplican capacitaciones, talleres y cursos de evaluación. Dentro de nuestra serie NECD, sin embargo, la pregunta incómoda persiste:
👉 ¿Realmente están cambiando los sistemas de evaluación pública, o seguimos atrapados en un modelo de “formar por formar” que no transforma estructuras ni culturas institucionales?
En nuestras realidades, donde la gobernanza se entrelaza con profundas desigualdades, los enfoques tradicionales de desarrollo de capacidades para la evaluación nacional (NECD) muestran límites evidentes. Esta conversación no es nueva. Pero urge actualizarla con una mirada crítica, sistémica, contextualizada… y también creativa.
Aquí entra en escena TRIZ (Altshuller, 1996).
🔍 Nudo – Cinco retos estructurales que siguen sin resolverse
Del individuo a la institución: la desconexión persistente La mayoría de las iniciativas siguen enfocadas en capacitar personas, pero sin transformar instituciones. Cuando los técnicos rotan, las capacidades se esfuman (Goldman et al., 2018).
Blended learning ≠ learning blended No basta con mezclar talleres presenciales y online. Se necesita pedagogía: ¿qué se combina, cómo se aplica, cómo se convierte en aprendizaje duradero? (Rosenberg & Donaldson, 2020).
Oferta sin demanda: el vacío político Más cursos ≠ más evaluación. Si la demanda institucional y política es débil, la evaluación se queda en trámite sin impacto (Holvoet & Renard, 2007).
Aislamiento institucional: alianzas frágiles y roles difusos Faltan marcos de gobernanza que articulen oficinas públicas, parlamentos, universidades y sociedad civil. Sin coordinación, no hay sostenibilidad (Estrella & Gaventa, 1998).
Diagnóstico sin ruta: brújulas que no orientan Existen diagnósticos y mapas de actores, pero pocas veces se traducen en hojas de ruta claras y ejecutables (Baser & Morgan, 2008).
Todos hemos leído, escuchado o sufrido alguna de estas frases:
“Cambia tu vida en 7 pasos.”
“El secreto está en ti.”
“Todo problema es una oportunidad.”
Frases que funcionan igual para abrir un taller de coaching que para cerrar un power point de Naciones Unidas. Una ironía de nuestro tiempo: la autoayuda y la cooperación internacional, tan distintas en apariencia, hablan a veces el mismo idioma.
1. Autoayuda: la gran industria del yo
La autoayuda no es un género menor de librería; es un mercado global que en 2024 superaba los 48.400 millones de dólares y que apunta a los 67.000 millones en 2030 (Grand View Research, 2024). En EE. UU. ya factura más que el cine independiente: 13.400 millones de dólares anuales (Market Data Forecast, 2024).
Sus mecanismos de seducción son casi literarios:
Promesa universal: todo es posible, siempre que quieras lo suficiente.
Lenguaje imperativo: haz, cree, libérate. Una mezcla de sargento y gurú.
Ejemplo banal con moraleja épica: alguien dejó de morderse las uñas y descubrió el sentido de la vida.
Libros como Atomic Habits de James Clear (2018) muestran la fórmula en su versión más sofisticada: microcambios, ejemplos cotidianos y sensación de control inmediato. Eva Illouz (2008), en cambio, recordó que la autoayuda es también un dispositivo cultural que convierte problemas sociales en dramas psicológicos: el desempleo como “bloqueo”, la precariedad como “falta de actitud”.
Funciona porque ofrece lo que la época pide: claridad, emoción y mapas sencillos para navegar el caos.
2. Cooperación: la industria de la esperanza colectiva
La cooperación internacional no se vende en librerías, pero comparte la misma lógica narrativa. Los Objetivos de Desarrollo del Milenio (2000–2015) fueron el equivalente global a un best seller motivacional: una lista de metas claras, fáciles de recordar y cargadas de promesa.
Y lo cierto es que funcionó: la pobreza extrema cayó de 1.900 millones de personas en 1990 a 836 millones en 2015 (United Nations, 2015). Se salvaron al menos 21 millones de vidas en salud y educación (McArthur & Rasmussen, 2017).
Cada generación literaria ha sospechado de sus propias herramientas. La imprenta amenazó el aura del manuscrito, la máquina de escribir fue tachada de fría, y el hipertexto digital parecía un laberinto ilegible. Hoy, la inteligencia artificial ocupa ese lugar: ¿escribir con algoritmos es un fraude o una extensión legítima de la imaginación?
Los estudios recientes ofrecen una respuesta provocadora. Doshi y Hauser (2024) mostraron que la IA incrementa la creatividad individual, aunque tiende a homogeneizar el conjunto de resultados. En paralelo, Porter y Machery (2024) comprobaron que lectores no expertos fueron incapaces de distinguir poemas humanos de poemas generados por IA y, en muchos casos, prefirieron los segundos. El dilema, por tanto, no es si la IA puede producir literatura, sino qué lugar damos a esas producciones dentro de la ecología literaria.
"TripleAD": Aprendiendo a Aprender para el Desarrollo 