Psicología social y evaluación: cuando la mente y la evaluación se dan la mano


Dentro de nuestra serie sobre psicología social  y de Libros de Evaluación, nos ocupamos hoy del libro de Mark, Donaldson & Campbell (2011) – Psicología social y evaluación de programas: Una mirada fresca, práctica y sorprendentemente humana a la evaluación

💬 “Evaluar bien no es solo medir: es comprender por qué la gente hace lo que hace.”

1️⃣ Resumen general del libro y su objetivo principal

Editado por Melvin M. Mark, Stewart I. Donaldson y Bernadette Campbell, el volumen cruza dos mundos que rara vez conversaban con profundidad: psicología social y evaluación de programas. Su tesis es directa: entender procesos psicosociales (actitudes, normas, sesgos, influencia) mejora el diseño, la implementación, la interpretación y el uso de las evaluaciones. Traducción al lenguaje de nuestro blog TriPLEAD: menos informes que “duermen en cajones”, más evidencia que la gente acepta, entiende y utiliza.

2️⃣ Análisis de capítulos o secciones principales

La estructura facilita mucho el viaje:

I. Panorama y fundamentos

Cap. 1. The Past, the Present, and Possible Futures… (Mark, Donaldson & Campbell): ubica el puente entre disciplinas y plantea una agenda de cooperación teoría–práctica.

II. Teorías psicosociales como guías para diseño y evaluación

Sigue leyendo

Repensar la validez en evaluación: hacia un paradigma crítico, situado y transformador


1.Introducción

En tiempos marcados por crisis ecológicas, desigualdades estructurales y disputas epistémicas sobre qué cuenta como conocimiento válido, la evaluación enfrenta una encrucijada histórica. Ya no basta con identificar “qué funciona”; debemos preguntarnos también cómo, para quién y en qué condiciones funciona, y bajo qué marcos epistémicos, culturales y políticos se construye ese juicio.

La validez en evaluación, tradicionalmente entendida como una dimensión técnica, se transforma en este contexto en una categoría relacional, ética y situada. Este texto propone una relectura integral y crítica de las formas de validez, integrando sus expresiones clásicas con nuevos aportes emergentes desde perspectivas decoloniales, feministas, participativas y ecológicas.

2.Fundamentos teóricos: de la neutralidad al compromiso epistemológico

Los aportes desarrollados aquí se fundamentan en un corpus diverso que incluye la crítica pospositivista a la neutralidad del conocimiento (Schwandt, 2009; Patton, 2011), las epistemologías del Sur (Sousa Santos, 2018), la evaluación transformativa (Mertens, 2009) y la práctica culturalmente receptiva (Hood, 2009; Chilisa, 2012). También se apoyan en enfoques de sistemas complejos (Greene, 2007; Patton, 2011) y pedagogías críticas como la de Freire (1970), así como en evaluaciones participativas con base en justicia social (Cousins & Whitmore, 1998; Mark & Henry, 2004).

Desde esta perspectiva surge la idea de validación crítica: un proceso dialógico, situado y plural que reconoce las tensiones entre formas de validez y busca equilibrarlas en función del propósito evaluativo y el contexto sociopolítico.

3.Las valideces: clásicas y críticas

3.1.Las valideces clásicas: continuidad necesaria con revisión crítica

Validez interna

Enfocada en la relación causal entre intervención y resultados, es central en diseños experimentales (Shadish et al., 2002; Gertler et al., 2016). No obstante, puede omitir factores contextuales o dinámicas de poder, como han señalado evaluaciones realistas (Pawson & Tilley, 1997).

Validez externa

Remite a la generalización de resultados. Investigaciones como la de Vivalt (2020) muestran la variabilidad de efectos cuando se replican programas en contextos distintos. Cartwright & Hardie (2012) advierten contra la ilusión de universalidad.

Sigue leyendo

Aplicaciones de la Inteligencia Artificial en la evaluacion basada en la teoría


El artículo del Banco Mundial «¿Puede la inteligencia artificial acelerar la evaluación de programas complejos basados en la teoría?» (2022) presenta la metodología y los resultados utilizados para poner a prueba y validar la aplicabilidad, utilidad y valor agregado del uso de inteligencia artificial para el análisis de contenido avanzado basado en la teoría de prograa.

Tradicionalmente, la síntesis cualitativa se utilizaría para realizar un análisis estructurado basado en la teoría de los informes de proyectos.

Este piloto buscó evaluar las ganancias de eficiencia generadas por el análisis de contenido asistido por inteligencia artificial al etiquetar y clasificar texto de acuerdo con un marco conceptual basado en resultados.

El enfoque utilizó un conjunto de intervenciones asociadas con la cartera de evaluación del retraso en el crecimiento y la desnutrición crónica del Banco Mundial, que consta de 392 informes de proyectos de 64 países.

En primer lugar, se utilizó el aprendizaje automático supervisado para etiquetar deductivamente el contenido en tres categorías principales: (a) desafíos nutricionales abordados, (b) intervenciones y (c)  logro de indicadores de resultados.

Sigue leyendo

Principios metodológicos para diseñar evaluaciones de alta calidad


En el reciente informe «Evaluación de las intervenciones de desarrollo internacional: una descripción general de los enfoques y métodos«, se discute acerca de algunos de los principios metodológicos clave del diseño de la evaluación que proporcionan las bases para la selección, adaptación y uso de enfoques y métodos de evaluación en el contexto de evaluación del desarrollo. El informe se centra solo en cuestiones metodológicas y no discute otros aspectos clave del diseño, como el uso previsto de la evaluación por parte de las partes interesadas.

Los principios discutidos también se refieren a la evaluación en general, pero son especialmente pertinentes para diseñar evaluaciones independientes en un contexto de desarrollo internacional. Consideran que los siguientes principios metodológicos son importantes para diseñar y desarrollar evaluaciones de alta calidad:

1. Dar la debida consideración a los aspectos metodológicos de la calidad de la evaluación en el diseño: enfoque, consistencia, confiabilidad y validez

Sigue leyendo

Evaluando en tiempos de pandemia


Las circunstancias actuales nos animan a repensar cómo evaluamos teniendo en cuenta los desafíos (a) éticos, (b) conceptuales y (c) metodológicos que afectarán nuestra capacidad para realizar evaluaciones. De nuevo un interesante post del Banco Mundial sobre la «Realización de evaluaciones en tiempos de COVID-19 (Coronavirus)». 8 de abril de 2020, por Jos Vaessen & Estelle Raimondo

Este momento también es un reto para aquell@s que trabajamos en funciones de evaluación en el campo del desarrollo internacional, donde generalmente tenemos el lujo del tiempo, operamos dentro de teorías claras de cambio y hacemos nuestro mejor trabajo cuando podemos mezclar métodos, usar múltiples fuentes de datos y realizar entrevistas en profundidad con una variedad de partes interesadas.

Estas circunstancias nos  animan a repensar cómo realizar nuestro trabajo evaluativo. En una serie  posts los autores discuten tres desafíos principales (éticos, conceptuales y metodológicos) que afectarán a nuestra capacidad para realizar evaluaciones. Sigue leyendo

5 organizaciones con capacidades de gestión del conocimiento


En «5 empresas con + habilidades de gestión del conocimiento «(agosto de 2017) ofrece una visión general de cinco empresas con excelente gestión del conocimiento:


1. Ford
El fabricante mundial de automóviles ha sido un practicante de las mejores prácticas de gestión del conocimiento desde hace mucho tiempo. Esto, junto con muchos otros factores, le ha permitido engañar a la muerte en numerosas ocasiones y seguir siendo una empresa rentable.
Ford aplicó particularmente los principios de gestión del conocimiento a los procesos de desarrollo de productos. Al principio de la historia de Internet, Ford utilizó un habilitador de gestión de conocimiento basado en la web para mantener los estándares de calidad en toda su línea de productos. Esta temprana adopción permitió a Ford aumentar su calidad inicial en un 18% y reducir el costo de la garantía en $ 1 mil millones.
La especialización automática es excelente en la gestión del conocimiento porque la compañía lo ha estado haciendo durante mucho tiempo y ha acumulado suficiente experiencia para perfeccionar significativamente su enfoque de la gestión del conocimiento. Sigue leyendo