El texto presenta un proceso de seis pasos para integrar la IA generativa (ChatGPT) en análisis temático: (1) familiarización con los datos; (2) selección de palabras clave; (3) codificación; (4) construcción de temas; (5) conceptualización; (6) desarrollo de un modelo conceptual.
Cada paso incluye prompts específicos y criterios de calidad para guiar el trabajo. El objetivo principal es ofrecer una metodología que combine la eficiencia tecnológica de la IA con el rigor académico de la investigación cualitativa.
Siguiendo con nuesta serie NECD, estamos viviendo un punto de inflexión en materia de fortalecimiento de capacidades nacionales en evaluación (NECD). La conversación ya no es solo sobre talleres o capacitaciones puntuales; hoy el desafío es cómo convertir ese aprendizaje en sistemas sostenibles que realmente influyan en las políticas públicas.
Dos paneles recientes de la Conferencia 2025 de la Red de Evaluación de América Latina y el Caribe (RELAC) lo dejaron en evidencia: uno repasó los avances de estas formaciones y otro, usando la metodología TRIZ, se permitió ironizar sobre esas prácticas que garantizan que la evaluación fracase. Juntos pintan un cuadro honesto: tenemos fortalezas notables, oportunidades claras, pero también debilidades persistentes y retos urgentes.
Fortalezas: semillas que ya están germinando
A nivel global ya hay logros concretos. Las capacitaciones en NECD han llegado a muchos países y miles de profesionales, con participación activa de ministerios, sociedad civil y academia. Lo más importante: en muchos contextos nacionales, lo aprendido no quedó en el aula, sino que se tradujo en planes de acción, en vínculos entre sectores y en evidencia utilizada en debates públicos.
En esta parada del Tren Libros de Evaluación analizamos en historico informe Broadening the Range of Designs and Methods for Impact Evaluation (DFID Working Paper 38, 2012) de los autores: Eliot D. Stern, Nicoletta Stame, John Mayne, Kim Forss, Rick Davies y Barbara Befani. (eba.se) Este informe nace para resolver un problema práctico: los métodos dominantes de evaluación de impacto (EI) —sobre todo experimentales y estadísticos— sólo encajan con una fracción de los programas reales, especialmente en cooperación y políticas públicas complejas. Su objetivo es ampliar el repertorio y ofrecer criterios de selección que prioricen la adecuación al contexto y a las preguntas evaluativas, no la adhesión a una jerarquía rígida de métodos. De hecho, el equipo afirma que “alternativas a los diseños experimentales y cuasi-experimentales pueden alcanzar igual robustez y credibilidad: son diferentes pero equivalentes” (“different but equal”). (assets.publishing.service.gov.uk)
2) Análisis detallado de capítulos y secciones clave
En esta parada del Tren Libros de Evaluación, el libro Evaluation Theory, Models, and Applications (Stufflebeam & Shinkfield, 2007) es considerado una de las obras más completas en el campo de la evaluación educativa, social y de programas. Su objetivo central es ofrecer un marco sistemático y accesible que integre teorías, modelos y prácticas de evaluación, sirviendo tanto a académicos como a profesionales. A lo largo de sus capítulos, los autores buscan definir la evaluación como disciplina aplicada, ética y orientada a la toma de decisiones.
2. Capítulos y puntos clave
La obra se organiza en cinco grandes bloques:
Historia y evolución de la evaluación: desde Ralph Tyler y la evaluación por objetivos en los años 40, pasando por la crítica de Scriven (evaluación formativa y sumativa), hasta la pluralidad de modelos contemporáneos.
Modelos principales:
Evaluación orientada a objetivos (Tyler).
Evaluación centrada en el consumidor (Stake).
Evaluación por expertos (Scriven).
Modelos de gestión (Alkin, Wholey).
Modelos participativos.
El modelo CIPP (Context, Input, Process, Product): columna vertebral del libro, desarrollado por Stufflebeam desde los años 60. Cada dimensión se presenta con ejemplos prácticos y protocolos de aplicación.
Aplicaciones prácticas: casos en programas educativos, de salud pública y políticas sociales. Se ilustran usos en distintos países y sectores.
Normas profesionales y éticas: discusión sobre el Joint Committee on Standards for Educational Evaluation y la importancia de la ética en la práctica evaluativa.
Esta mañana mi hijo me despertó con un mensaje urgente, como si hubiese estallado la Tercera Guerra Mundial:
“¡Rick Davies ha muerto, noooo!”
Yo, todavía en estado de hibernación cerebral, entendí lo peor: que había muerto nuestro Rick Davies, el evaluador. Ese hombre que logró poner métricas a lo inmedible, que inventó una gramática para que los proyectos sociales no naufragaran en informes huecos. Mi hijo, estudiante de Políticas, y yo habíamos hablado tanto de evaluación que la confusión parecía lógica.
Pero no: hablaba del otro Rick Davies. El de Supertramp. El de The Logical Song, Dreamer, Goodbye Stranger. El hombre que convirtió un teclado eléctrico en el instrumento de nuestra educación sentimental.
Por un momento, sentí que me habían matado dos veces al mismo Rick Davies.
1. El legado que no caduca: ¿por qué las cinco familias de evaluación sigue siendo su sección más citada?
Mapa integrador y lenguaje común. Antes de 1991, los enfoques convivían como islas (experimentos, modelos de uso, enfoques de valores, etc.). La propuesta de Shadish, Cook y Leviton ofreció un marco taxonómico que ordenó el campo en cinco familias —experimental, descriptiva/cualitativa, centrada en el uso, centrada en valores y centrada en el contexto— y lo convirtió en un idioma compartido para docencia y práctica. Manuales y artículos posteriores lo adoptaron como “paradigma de referencia” para ubicar debates y decisiones metodológicas.
Puente entre teoría y práctica. La clasificación no prescribe “una” forma de evaluar; normaliza la pluralidad y la convierte en elecciones razonadas (qué valoramos, cómo construimos evidencia, para quién y para qué se usa). Esa “neutralidad operativa” explica su alta citación en currículos y en artículos de revisión.
Estandariza preguntas nucleares. El propio Shadish (1998) muestra cómo el campo discute de manera recurrente cinco ejes (valor, conocimiento, uso, cambio del evaluando y práctica), que encajan con la arquitectura del libro de 1991, reforzando su función de marco metateórico.
Resultado: la clasificación facilitó comparabilidad entre teorías, ayudó a estructurar cursos y a “situarse” en diseños complejos. Por eso sigue apareciendo en revisiones y marcos actuales que explican “de dónde venimos” antes de introducir enfoques contemporáneos.
Por tanto y como ya tratamos en nuestro anterior post Fundamentos de la Evaluación de Programas: Un libro esencial, Shadish, Cook y Leviton (1991) revolucionaron la evaluación al proponer cinco familias teóricas (experimental, descriptiva, centrada en el uso, en valores y en contexto). Fue un mapa epistémico común que:
Ordenó un campo fragmentado, funcionando como lenguaje pedagógico y referencia en programas académicos.
Actuó como puente entre diversidad y unidad, validando la pluralidad en lugar de imponer un modelo único.
Se convirtió en un “esqueleto del campo” citado en manuales, cursos universitarios y artículos de revisión.
En esta parada del Tren Libros de Evaluación nos encontramos con un clásico que cambió la forma de entender la disciplina: Foundations of Program Evaluation. Theories of Practice (1991), de William R. Shadish, Thomas D. Cook y Laura C. Leviton. Un libro que buscó organizar el “caos” de teorías que existían hasta ese momento y dar coherencia a la práctica de evaluar programas sociales, educativos y de políticas públicas.
1. Resumen general
El libro propone una visión integradora de la evaluación, sistematizando décadas de debates. Su objetivo principal: conectar teoría y práctica, mostrando que la evaluación no es una técnica única, sino un campo plural con múltiples marcos conceptuales.
2. Análisis de capítulos
La obra está organizada en tres bloques:
Fundamentos: qué es la evaluación, sus propósitos y dilemas.
Revisión de teorías: analiza cinco grandes familias:
Experimentales (con fuerte herencia de Donald T. Campbell).
Descriptivas/cualitativas (inspiradas en Lee Cronbach).
Centradas en el uso (con influencias de Carol Weiss).
Centradas en valores (a la Michael Scriven).
Centradas en el contexto y la toma de decisiones (Daniel Stufflebeam y el modelo CIPP).
Integración y práctica: cómo elegir enfoques adecuados al contexto y cómo los evaluadores deben equilibrar rigor, valores y utilidad.
Cuando hablamos de Desarrollo de Capacidades Nacionales de Evaluación (Dentro de nuesta serie NECD), los debates y experiencias acumuladas nos dejan un mosaico complejo pero revelador.
🔎 ¿Qué patrones se repiten?
Formar ≠ transformar. La capacitación aislada no asegura cambio si no se integra en instituciones y sistemas.
Transferencia frágil. El conocimiento se pierde cuando no hay memoria institucional ni cultura de uso.
Evaluación atravesada por el poder. Ningún proceso es neutro: se disputan legitimidades, narrativas e intereses.
Como venimos viendo en nuestra serie NECD, la evaluación ya no es solo un ejercicio técnico. Es aprendizaje, poder, participación, innovación y sostenibilidad. Pero… ¿cómo diseñar una estrategia de desarrollo de capacidades en evaluación que realmente transforme?
Tras revisar literatura clave emergen 7 ejes comunes que atraviesan las experiencias más relevantes:
🔑 Los 7 ejes de la capacidad evaluativa
Aprendizaje y adaptación → La evaluación como práctica viva que retroalimenta y transforma (Rosenberg & Donaldson, 2020).
Participación e inclusión → “¿Quién cuenta la realidad?” Solo con múltiples voces hay legitimidad (Estrella & Gaventa, 1998; Lipmanowicz & McCandless, 2013).
Institucionalización → No basta capacitar individuos: se necesitan sistemas estables y marcos legales (Mackay, 2007; Goldman et al., 2018).
Uso de la evidencia → De producir informes a incidir en decisiones (Goldman & Pabari, 2020; Holvoet & Renard, 2007).
Política y poder → La evaluación siempre es política: se negocia legitimidad, intereses y narrativas (Gornitzka & Stensaker, 2014; Picciotto, 2011).
Metodologías flexibles → Se requieren enfoques adaptativos, transformadores y decoloniales (Morgan, 2008; Patton, 2010).
Sostenibilidad y transferencia → Menos dependencia externa, más memoria institucional y datos abiertos (Segone, 2009; Rosenberg & Donaldson, 2020).
Año tras año, región tras región, se multiplican capacitaciones, talleres y cursos de evaluación. Dentro de nuestra serie NECD, sin embargo, la pregunta incómoda persiste:
👉 ¿Realmente están cambiando los sistemas de evaluación pública, o seguimos atrapados en un modelo de “formar por formar” que no transforma estructuras ni culturas institucionales?
En nuestras realidades, donde la gobernanza se entrelaza con profundas desigualdades, los enfoques tradicionales de desarrollo de capacidades para la evaluación nacional (NECD) muestran límites evidentes. Esta conversación no es nueva. Pero urge actualizarla con una mirada crítica, sistémica, contextualizada… y también creativa.
Aquí entra en escena TRIZ (Altshuller, 1996).
🔍 Nudo – Cinco retos estructurales que siguen sin resolverse
Del individuo a la institución: la desconexión persistente La mayoría de las iniciativas siguen enfocadas en capacitar personas, pero sin transformar instituciones. Cuando los técnicos rotan, las capacidades se esfuman (Goldman et al., 2018).
Blended learning ≠ learning blended No basta con mezclar talleres presenciales y online. Se necesita pedagogía: ¿qué se combina, cómo se aplica, cómo se convierte en aprendizaje duradero? (Rosenberg & Donaldson, 2020).
Oferta sin demanda: el vacío político Más cursos ≠ más evaluación. Si la demanda institucional y política es débil, la evaluación se queda en trámite sin impacto (Holvoet & Renard, 2007).
Aislamiento institucional: alianzas frágiles y roles difusos Faltan marcos de gobernanza que articulen oficinas públicas, parlamentos, universidades y sociedad civil. Sin coordinación, no hay sostenibilidad (Estrella & Gaventa, 1998).
Diagnóstico sin ruta: brújulas que no orientan Existen diagnósticos y mapas de actores, pero pocas veces se traducen en hojas de ruta claras y ejecutables (Baser & Morgan, 2008).
"TripleAD": Aprendiendo a Aprender para el Desarrollo 