El texto presenta un proceso de seis pasos para integrar la IA generativa (ChatGPT) en análisis temático: (1) familiarización con los datos; (2) selección de palabras clave; (3) codificación; (4) construcción de temas; (5) conceptualización; (6) desarrollo de un modelo conceptual.
Cada paso incluye prompts específicos y criterios de calidad para guiar el trabajo. El objetivo principal es ofrecer una metodología que combine la eficiencia tecnológica de la IA con el rigor académico de la investigación cualitativa.
Siguiendo con nuesta serie NECD, estamos viviendo un punto de inflexión en materia de fortalecimiento de capacidades nacionales en evaluación (NECD). La conversación ya no es solo sobre talleres o capacitaciones puntuales; hoy el desafío es cómo convertir ese aprendizaje en sistemas sostenibles que realmente influyan en las políticas públicas.
Dos paneles recientes de la Conferencia 2025 de la Red de Evaluación de América Latina y el Caribe (RELAC) lo dejaron en evidencia: uno repasó los avances de estas formaciones y otro, usando la metodología TRIZ, se permitió ironizar sobre esas prácticas que garantizan que la evaluación fracase. Juntos pintan un cuadro honesto: tenemos fortalezas notables, oportunidades claras, pero también debilidades persistentes y retos urgentes.
Fortalezas: semillas que ya están germinando
A nivel global ya hay logros concretos. Las capacitaciones en NECD han llegado a muchos países y miles de profesionales, con participación activa de ministerios, sociedad civil y academia. Lo más importante: en muchos contextos nacionales, lo aprendido no quedó en el aula, sino que se tradujo en planes de acción, en vínculos entre sectores y en evidencia utilizada en debates públicos.
Este post esta dentro de la serie «Repensar la ayuda». En su 80.º aniversario, la ONU no se limita a celebrar. Se embarca en una transformación institucional de gran envergadura. Lanza UN80, una reforma orientada a reducir burocracia, revisar mandatos, fortalecer coherencia y avanzar hacia una arquitectura organizacional más eficiente y adaptada a los desafíos globales.
Desde un enfoque de evaluación con intención transformadora, surge una oportunidad única: explorar cómo la evaluación puede contribuir activamente a maximizar el impacto y la sostenibilidad de esta reforma.
2. ¿Qué es UN80 y por qué importa?
UN80 es una iniciativa del Secretario General António Guterres, lanzada el 12 de marzo de 2025, centrada en tres grandes líneas: eficiencia interna, revisión de mandatos y reestructuración organizacional (Stimson Center, 2025).
¿Qué enfoque metodológico usamos con nuestra Teoría del Cambio? Evaluación realista, análisis de contribución o evaluación basada en teoría
No existe una única forma correcta de utilizar la Teoría del Cambio (TdC). Todo depende de cómo evaluamos, para qué y con qué preguntas.
Introducción
Una Teoría del Cambio (TdC) es mucho más que un diagrama inicial. Puede ser una hipótesis causal para contrastar, una narrativa que articula mecanismos de cambio o una plataforma para aprender de la evidencia. Pero para que esto funcione, la TdC debe adaptarse al enfoque metodológico que adoptemos.
En muchas evaluaciones caemos en una trampa: diseñamos una TdC sólida al inicio y luego intentamos usarla igual sin importar el enfoque adoptado. El resultado: confusión, debilidad analítica y pérdida de valor.
En este artículo exploramos tres enfoques metodológicos clave y cómo cada uno utiliza la TdC de forma diferente —y también cómo podemos combinarlos de manera complementaria, cuando lo hacemos con claridad estratégica.
En tiempos marcados por crisis ecológicas, desigualdades estructurales y disputas epistémicas sobre qué cuenta como conocimiento válido, la evaluación enfrenta una encrucijada histórica. Ya no basta con identificar “qué funciona”; debemos preguntarnos también cómo, para quién y en qué condiciones funciona, y bajo qué marcos epistémicos, culturales y políticos se construye ese juicio.
La validez en evaluación, tradicionalmente entendida como una dimensión técnica, se transforma en este contexto en una categoría relacional, ética y situada. Este texto propone una relectura integral y crítica de las formas de validez, integrando sus expresiones clásicas con nuevos aportes emergentes desde perspectivas decoloniales, feministas, participativas y ecológicas.
2.Fundamentos teóricos: de la neutralidad al compromiso epistemológico
Los aportes desarrollados aquí se fundamentan en un corpus diverso que incluye la crítica pospositivista a la neutralidad del conocimiento (Schwandt, 2009; Patton, 2011), las epistemologías del Sur (Sousa Santos, 2018), la evaluación transformativa (Mertens, 2009) y la práctica culturalmente receptiva (Hood, 2009; Chilisa, 2012). También se apoyan en enfoques de sistemas complejos (Greene, 2007; Patton, 2011) y pedagogías críticas como la de Freire (1970), así como en evaluaciones participativas con base en justicia social (Cousins & Whitmore, 1998; Mark & Henry, 2004).
Desde esta perspectiva surge la idea de validación crítica: un proceso dialógico, situado y plural que reconoce las tensiones entre formas de validez y busca equilibrarlas en función del propósito evaluativo y el contexto sociopolítico.
3.Las valideces: clásicas y críticas
3.1.Las valideces clásicas: continuidad necesaria con revisión crítica
Validez interna
Enfocada en la relación causal entre intervención y resultados, es central en diseños experimentales (Shadish et al., 2002; Gertler et al., 2016). No obstante, puede omitir factores contextuales o dinámicas de poder, como han señalado evaluaciones realistas (Pawson & Tilley, 1997).
Validez externa
Remite a la generalización de resultados. Investigaciones como la de Vivalt (2020) muestran la variabilidad de efectos cuando se replican programas en contextos distintos. Cartwright & Hardie (2012) advierten contra la ilusión de universalidad.
La cooperación internacional para el desarrollo atraviesa un periodo de transformaciones profundas. Factores como el giro hacia el aislacionismo en la política exterior estadounidense durante la administración Trump, los efectos socioeconómicos de la pandemia de COVID-19, la prolongada crisis en Ucrania y la reciente escalada de violencia en Gaza han provocado una contracción significativa de los flujos de financiamiento. Esta nueva configuración afecta transversalmente a agencias multilaterales, organizaciones no gubernamentales y actores de cooperación bilateral, obligándolos a repensar sus capacidades institucionales.
En este escenario, muchas organizaciones han respondido con estrategias de reducción de costes —incluyendo recortes de personal y disminución de actividades programáticas— para mantener su viabilidad operativa. Aunque comprensibles desde una lógica de eficiencia, estas medidas pueden derivar en un efecto colateral preocupante: la marginalización de la eficacia como criterio estratégico central y el debilitamiento de las funciones de evidencia.
Estas funciones —que incluyen evaluación, monitoreo, análisis de desempeño, estudios temáticos, gestión del conocimiento, investigación aplicada, sistemas de datos y estructuras de aprendizaje organizacional— son esenciales para generar, interpretar y utilizar información útil en la toma de decisiones. Según Newman, Fisher y Shaxson (2012), el fortalecimiento de estas funciones no puede limitarse a una mejora técnica, sino que requiere transformaciones estructurales en capacidades, incentivos, liderazgo y cultura organizativa.
Un aspecto a tener en cuenta es que en muchas organizaciones, la medición del desempeño – a nivel individual, de equipos y organizacional- no es fiable (o, incluso, como se sabe que no es fiable, no se usa o no se puede utilizar para la toma de decisiones). Como indica Green (2024), la proliferación de métricas centradas en productos (outputs) desconectados del impacto real ha debilitado el potencial de estas funciones para orientar el cambio. Este diagnóstico se alinea con la crítica de Natsios (2010) a la “contraburocracia”: un sistema que premia la cuantificación superficial y penaliza la comprensión contextual.
Durante los años de expansión presupuestaria post-pandemia, las funciones de evidencia tuvieron una oportunidad histórica para consolidarse como eje de aprendizaje y adaptación estratégica. Sin embargo, múltiples estudios (Green, 2024; Center for Global Development, 2023) revelan que, en muchos casos, estas funciones no lograron identificar, poner sobre la mesa o romper los cuellos de botella sistémicos ni ejercer una voz crítica frente a las prioridades impuestas externamente.
Las evaluaciones son herramientas esenciales para mejorar la calidad, eficacia y rendición de cuentas de las intervenciones. Pero no todas las evaluaciones son iguales. Las evaluaciones de emergencia y las evaluaciones de desarrollo comparten fundamentos comunes, pero divergen profundamente en propósito, enfoque, principios rectores y condiciones operativas. Entender estas diferencias —y similitudes— es clave para gestionar evaluaciones útiles, éticas y contextualmente pertinentes.
Lo que comparten: fundamentos comunes
Tanto las evaluaciones de emergencia como las de desarrollo suelen guiarse por los criterios del CAD de la OCDE: pertinencia, eficacia, eficiencia, sostenibilidad, coherencia e impacto. Ambas buscan promover el aprendizaje, la rendición de cuentas y la mejora continua. También comparten la importancia de principios como la equidad, la inclusión, el enfoque de género y el uso de métodos mixtos para recoger evidencia sólida.
Donde se separan: principios, ritmo y contexto
Las evaluaciones de emergencia se desarrollan en contextos de alta volatilidad, donde salvar vidas y proteger la dignidad de las personas es el eje de la acción. Están guiadas por los Principios Humanitarios: humanidad, imparcialidad, neutralidad e independencia. Estos no son principios aspiracionales, sino condiciones obligatorias que deben integrarse en todas las fases de la evaluación: desde la planificación hasta la comunicación de resultados.
Este no es un texto para leer pasivamente mientras se toma un café. Es una provocación amable, pero directa, al pensamiento evaluador. En Nada más práctico que una buena teoría, Carol Weiss nos recuerda algo fundamental: toda intervención —por muy técnica o neutral que parezca— está basada en suposiciones sobre cómo debería funcionar el mundo. Es decir, toda acción parte de una teoría del cambio, se reconozca o no.
La trama principal es sencilla pero poderosa: si vas a intervenir para mejorar una situación, más vale que tengas claro qué teoría estás siguiendo, aunque ni siquiera se haya formulado aún.
Análisis del articulo
El artículo está cargado de ideas organizadas con claridad:
Introducción: Weiss plantea la idea principal que da título al texto: que no hay nada más útil que una buena teoría para orientar la acción.
Teoría del cambio: nos invita a mirar detrás de cada programa social y descubrir la teoría que lo sostiene, aunque esté implícita.
El rol del evaluador: redefine su papel, ya no como auditor externo, sino como facilitador de pensamiento estratégico y clarificador de supuestos.
Cada sección está orientada a generar reflexión y debate más que a ofrecer respuestas cerradas.
En las profundidades de la gestión y planificación, el pensamiento evaluativo (PE) se erige como un faro guía para las organizaciones. Como un hilo conductor, atraviesa cada área central de operaciones, tejido en la trama misma de la eficacia y la mejora continua.
Desarrollo y Diseño del Programa:
Evaluar el contexto de servicios y programas es como cartografiar un territorio desconocido. Identificamos brechas, redundancias y tendencias, trazando rutas hacia la excelencia.
Nuestra capacidad de crecimiento se mide con datos, y los hallazgos de la evaluación se entrelazan en el diseño del programa.
Múltiples partes interesadas se sientan alrededor de la mesa, compartiendo visiones y tejiendo modelos de programas que guían la implementación.
La evaluabilidad se cultiva desde el inicio, integrando procesos de reflexión y aprendizaje en los ciclos regulares.
Gestión de Programas:
Monitoreo constante, como un vigía en la torre, nos permite ajustar el rumbo. Reflexionamos sobre lo que funciona y lo que no, identificando oportunidades de mejora.
Datos en tiempo real son brújulas para adaptaciones y correcciones. La calidad del programa se pule en el yunque de la evaluación constante.
Evaluación del Programa:
Datos, como piedras preciosas, describen características, actividades y resultados. Múltiples partes interesadas interpretan y usan estos tesoros.
Compartimos los hallazgos en formatos útiles, nutriendo el aprendizaje y la mejora continua. Las estrategias y herramientas de evaluación son llaves maestras.
La formación y el apoyo son cimientos sólidos para la evaluación significativa.
Interacción con las Poblaciones Objetivo:
Las necesidades de las poblaciones objetivo se miden periódicamente. La satisfacción de los beneficiarios y otros indicadores de calidad son estrellas que guían nuestro rumbo.
La voz de l@s beneficiari@s se entrelaza con los datos de resultados, creando un tapiz de mejora.
Desarrollo de Capacidades del Personal:
Evaluamos anualmente el desarrollo del personal, preparándonos para los cambios y adoptando las mejores prácticas emergentes.
El impacto de talleres y seminarios web se mide en capacidades y crecimiento.
La línea de fondo del pensamiento evaluativo:
Amplio Alcance y Arraigo Profundo:
Se extiende más allá de las actividades de evaluación, impregnando cada rincón de la organización.
No es un islote aislado, sino una corriente que fluye a través de programas, propósitos y personas.
Su raíz está en la curiosidad natural y el deseo de aprender y mejorar.
Habilidades, Actitudes y Enfoque:
Requiere habilidades, recursos y capacidades.
Las actitudes y los hábitos son su suelo fértil.
Da vida, significado y valor a actividades que podrían ser meras obligaciones.
Enfoque Dirigido:
Asegura que nuestro trabajo esté enfocado, basado en hechos y orientado a objetivos.
Al cultivar una cultura organizacional con este hábito, las consultas valiosas reemplazan las cargas requeridas.
En esta danza entre datos, atención, reflexión y decisión, el pensamiento evaluativo no es una carga, sino un farol que ilumina el camino hacia la excelencia. El pensamiento evaluativo no solo ilumina, sino también transforma.
La psicología social y la evaluación de programas son dos campos que, aunque tienen enfoques distintos, comparten la base de la investigación empírica y su aplicación práctica. Veamos cómo se relacionan y cómo pueden beneficiarse mutuamente:
Objetivos y Enfoques:
Psicología Social:
Objetivo: Comprender el comportamiento social y las interacciones humanas.
Enfoque: Estudia cómo las personas forman impresiones, creencias y actitudes sobre los demás.
Evaluación de Programas:
Objetivo: Evaluar la efectividad de intervenciones o políticas.
Enfoque: Analiza programas específicos y su impacto.
Métodos de Investigación:
Psicología Social:
Utiliza observación naturalista, encuestas y experimentos de laboratorio.
Busca patrones y tendencias en el comportamiento social.
Evaluación de Programas:
Emplea análisis de lógica, evaluación de necesidades y diseño de programas.
Realiza estudios experimentales, cuasiexperimentales y mide resultados.
Variables de Interés:
Psicología Social:
Variables relacionadas con el comportamiento, actitudes y relaciones interpersonales.
Evaluación de Programas:
Variables específicas según el programa evaluado (por ejemplo, tasas de éxito, cambios en habilidades).
Aplicación Práctica:
Psicología Social:
Busca aplicar hallazgos en la vida cotidiana y en la comprensión de las relaciones humanas.
Puede proporcionar información valiosa sobre dinámicas sociales y cómo las personas interactúan en contextos reales.
Evaluación de Programas:
Aplica resultados para mejorar intervenciones y tomar decisiones informadas.
La psicología social puede ayudar a comprender cómo los factores sociales influyen en los resultados de los programas.
Ética y Validez:
Psicología Social:
Considera la ética en la investigación y la validez ecológica.
Busca aplicar sus hallazgos de manera ética y relevante en la vida cotidiana.
Evaluación de Programas:
Considera la ética y evalúa la validez interna y externa de los resultados.
La psicología social puede aportar perspectivas sobre la validez ecológica y la aplicabilidad de los resultados.
Mientras que la psicología social se centra en los aspectos humanos del comportamiento social cotidiano y las relaciones interpersonales, la evaluación de programas se enfoca en medir el impacto de intervenciones específicas. Ambas áreas pueden enriquecerse mutuamente al considerar cómo los factores sociales influyen en los resultados de los programas y viceversa.
Áreas de Interés Común
Factores Sociales y Comportamiento:
Tanto la psicología social como la evaluación de programas se interesan en cómo los factores sociales afectan el comportamiento individual y grupal.
Ambas disciplinas buscan comprender cómo las interacciones sociales influyen en las decisiones y acciones de las personas.
Mejora del Bienestar Humano:
La psicología social y la evaluación de programas comparten el objetivo de mejorar el bienestar humano.
La comprensión de las dinámicas sociales y la efectividad de las intervenciones contribuyen a este propósito común.
Aplicación Práctica y Soluciones Reales:
Ambas áreas se comprometen con la aplicación práctica del conocimiento científico.
Buscan resolver problemas reales en comunidades y organizaciones mediante la implementación de programas efectivos.
Ética y Validez:
La ética es central en ambas disciplinas, asegurando que los estudios y evaluaciones respeten los derechos individuales y promuevan el bien común.
La validez de los hallazgos es crucial; ambas áreas buscan resultados generalizables y aplicables más allá del contexto inmediato.
En conclusión, la colaboración entre la psicología social y la evaluación de programas puede proporcionar una comprensión más completa del comportamiento humano dentro de contextos sociales estructurados por programas e intervenciones.
"TripleAD": Aprendiendo a Aprender para el Desarrollo 