IA

Evaluación con propósito: el legado vivo de Carol H. Weiss

Posted by

0


Carol H. Weiss (1927–2013) nos dejó un legado que sigue guiando a generaciones de evaluador@s. Su pensamiento crítico, su rigor y su humanidad siguen vivos en cada evaluación que busca transformar con sentido. En un momento en el que la rendición de cuentas, la mejora continua y la toma de decisiones informada son más cruciales que nunca, el papel de la evaluación de programas y políticas públicas cobra una relevancia estratégica. En este contexto, el libro Evaluation: Methods for Studying Programs and Policies de Carol H. Weiss, se ha convertido en una obra esencial para cualquier persona que trabaje o se interese por la evaluación seria, crítica y aplicada.

Compartimos este análisis en profundidad para quienes desean comprender no solo cómo evaluar, sino también para qué y desde dónde evaluar: un enfoque que va más allá de los métodos, e interpela el sentido mismo de los programas sociales y las políticas públicas.

1. Resumen general

Este libro es una obra fundamental en el campo de la evaluación de programas y políticas públicas. Weiss ofrece una guía exhaustiva sobre cómo diseñar, implementar y utilizar evaluaciones para mejorar programas sociales y políticas. Destaca la importancia de comprender la teoría subyacente de los programas y cómo esta teoría guía el proceso de evaluación.

2. Análisis de capítulos

El libro se estructura en varios capítulos clave:

Sigue leyendo →

La Inevitabilidad de la Imperfección en la Gestión de Problemas Complejos

Posted by

0


El 25 de febrero de 2025, Gabriele Bammer publicó un artículo titulado «Dealing with Imperfection in Tackling Complex Problems» en The Australian National University, Canberra.

En este artículo, Bammer explora la importancia de aceptar la imperfección al intentar comprender y abordar problemas complejos tanto sociales como ambientales.

Bammer argumenta que la imperfección es inevitable debido a varias razones. Primero, los problemas complejos son problemas de sistemas, y todas las vistas de sistemas son parciales, lo que significa que no se puede tener en cuenta todo el sistema. Además, los problemas ocurren en contextos específicos con dimensiones históricas, políticas, geográficas, culturales y económicas que son imposibles de comprender completamente. También existen desconocidos ilimitados que continúan surgiendo a medida que cambian las circunstancias y se realiza más investigación. Además, el cambio es multifacético, dinámico e impredecible, lo que dificulta examinar los problemas y controlar el impacto de las acciones. Las perspectivas, valores e intereses de las personas involucradas también afectan la comprensión de los problemas y las acciones deseables, y los recursos siempre serán limitados.

Bammer advierte contra la sobreconfianza en soluciones perfectas y la desesperanza, incompetencia, corrupción y sesgo retrospectivo. En lugar de eso, sugiere enfocarse en los mejores resultados posibles, comunicar claramente que las soluciones siempre son limitadas y construir procesos de gestión adaptativa. También recomienda usar modelos para explorar impactos potenciales, siendo conscientes de sus limitaciones, y documentar decisiones y limitaciones de manera transparente.

Sigue leyendo →

Cultivar Habilidades de Facilitación en Tiempos de Incertidumbre

Posted by

0


Fuente

El mago de la  facilitación Ewen Le Borgne nos cuenta en su blog que en un mundo cada vez más VICA (Volátil, Incierto, Complejo, Ambiguo), la necesidad de adaptarse y prosperar en medio de la incertidumbre nunca ha sido tan crucial. El término VICA, acuñado por el U.S. Army War College en los años 90, ha evolucionado significativamente. En 2025, enfrentamos desafíos como el cambio climático, con temperaturas que podrían superar los 2°C por encima de la era preindustrial, y un panorama político global cada vez más conservador y agresivo. Además, las redes sociales, controladas por unos pocos magnates, amplifican la desinformación y la polarización.

En este contexto, las habilidades de facilitación emergen como una inversión valiosa para navegar la incertidumbre y construir conexiones significativas. Estas habilidades no solo nos ayudan a sentirnos más cómodos con la incertidumbre, sino que también fomentan la colaboración y la empatía.

Impacto del Mundo VICA en Individuos y Grupos

La alta incertidumbre y complejidad del mundo VICA afecta tanto a individuos como a grupos. A nivel individual, puede generar inseguridad, estrés y aislamiento. Colectivamente, aumenta la necesidad de prepararse para futuros inciertos, dejar de lado el ego y tomar decisiones informadas y colaborativas.

Beneficios de las Habilidades de Facilitación

Las habilidades de facilitación ofrecen múltiples ventajas:

  • Individualmente: Mejoran la escucha activa, la comprensión de dinámicas grupales y la capacidad de colaborar sin tener todas las respuestas. Fomentan la curiosidad y la empatía, y nos ayudan a vivir mejor con la incertidumbre.
  • Colectivamente: Facilitan la exploración de inseguridades, el desarrollo de lazos comunitarios y la toma de decisiones sostenibles. Métodos como el Diálogo de Acción Autónoma y la Escucha Activa ayudan a aprovechar la diversidad del grupo y encontrar soluciones creativas.

Cómo Desarrollar Habilidades de Facilitación

Sigue leyendo →

Evaluación para la Mejora de la Práctica y el Aprendizaje Organizacional

Posted by

0


1. Resumen General: El capítulo «Evaluation for Practice Improvement and Organizational Learning» de Patricia J. Rogers y Bob Williams, incluido en el «Handbook of Evaluation» (2006), explora cómo la evaluación puede ser utilizada no solo para medir el desempeño, sino también para mejorar las prácticas y fomentar el aprendizaje organizacional (Rogers y Williams, 2006).

2. Análisis de Capítulos

  • Introducción: Presenta la importancia de la evaluación como herramienta para la mejora continua y el aprendizaje dentro de las organizaciones.
  • Fundamentos Teóricos: Discute las teorías subyacentes que apoyan la evaluación para la mejora de la práctica y el aprendizaje organizacional.
  • Métodos y Enfoques: Describe diversos métodos y enfoques de evaluación que pueden ser utilizados para estos fines.
  • Estudios de Caso: Como extra en este post algunos ejemplos prácticos de cómo la evaluación ha sido implementada exitosamente en diferentes contextos organizacionales (después del capitulo del libro)
  • Conclusiones y Recomendaciones: Ofrece conclusiones sobre la efectividad de estos enfoques y recomendaciones para su implementación.

Análisis de Capítulos

1) Introducción La evaluación es una herramienta esencial para la mejora continua y el aprendizaje dentro de las organizaciones. Permite identificar áreas de mejora, medir el progreso y asegurar que las prácticas y procesos estén alineados con los objetivos organizacionales (Rogers y Williams, 2006). La evaluación no solo ayuda a mejorar la eficiencia y efectividad, sino que también fomenta una cultura de transparencia y responsabilidad (Shaw et al., 2006).

2) Fundamentos Teóricos Las teorías subyacentes que apoyan la evaluación para la mejora de la práctica y el aprendizaje organizacional incluyen:

  1. Teoría del Control y Evaluación Organizacional: Esta teoría se centra en cómo las organizaciones pueden utilizar la evaluación para controlar y mejorar sus procesos internos (Greene, 2006).
  2. Teoría del Aprendizaje Organizacional: Propuesta por Watkins y Marsick, esta teoría sugiere que las organizaciones deben fomentar un entorno de aprendizaje continuo para mejorar su desempeño (Watkins y Marsick, 1993).
  3. Teoría de la Mejora Continua: Basada en la filosofía Kaizen, esta teoría enfatiza la importancia de realizar pequeños cambios incrementales para lograr mejoras significativas a largo plazo (Imai, 1986).

3) Métodos y Enfoques Existen diversos métodos y enfoques de evaluación que pueden ser utilizados para la mejora de la práctica y el aprendizaje organizacional:

  1. Evaluación por Objetivos (MBO): Este método se centra en establecer y evaluar el cumplimiento de objetivos específicos (Drucker, 1954).
  2. Evaluación 360 Grados: Involucra la retroalimentación de múltiples fuentes, incluyendo supervisores, compañeros y subordinados (Lepsinger y Lucia, 1997).
  3. Evaluación Basada en Competencias: Evalúa las habilidades y competencias específicas necesarias para el desempeño efectivo en el trabajo (Boyatzis, 1982).
  4. Evaluación de Desempeño: Utiliza indicadores de rendimiento para medir la eficacia y eficiencia de los empleados (Aguinis, 2009).

Sigue leyendo →

Desafíos y Renovación: El Problema de las ONG Internacionales

Posted by

1


Resumen General: El Problema de las ONGI de Deborah Doane examina los desafíos y críticas que enfrentan las Organizaciones No Gubernamentales Internacionales (ONGI) en el contexto actual. El objetivo principal del libro es analizar cómo estas organizaciones pueden superar sus problemas estructurales y renovar su enfoque para ser más efectivas y equitativas.

Análisis de Capítulos: Cada capítulo del libro aborda diferentes aspectos de las ONGI, desde su historia y crecimiento hasta los problemas contemporáneos como el racismo estructural y la falta de representación local. Los puntos clave incluyen la necesidad de descentralizar el poder y los recursos hacia las organizaciones locales, y la importancia de la transparencia y la rendición de cuentas.

Innovación y Valor Añadido: Lo innovador de El Problema de las ONGI es su enfoque crítico y constructivo hacia las ONGI, proponiendo soluciones prácticas y realistas para los problemas identificados. El valor añadido del libro radica en su llamado a la acción para una reforma significativa en el sector.

Utilidad Práctica: La información del libro puede aplicarse en la vida diaria y en el trabajo, especialmente para aquellos involucrados en el sector del desarrollo internacional. Ofrece consejos prácticos sobre cómo las ONGI pueden mejorar su impacto y trabajar de manera más equitativa con las comunidades locales.

Críticas y Opiniones: El libro ha recibido críticas positivas por su análisis profundo y su enfoque en soluciones prácticas. Los lectores han valorado la honestidad y la claridad con la que se abordan los problemas del sector.

Comparación con Otras Obras: En comparación con otras obras de Deborah Doane, El Problema de las ONGI se destaca por su enfoque en la reforma estructural y su llamado a la acción. Se diferencia de otros libros sobre el mismo tema por su análisis detallado y sus propuestas concretas para el cambio.

Recomendaciones Personalizadas: Si te gusta El Problema de las ONGI, podrías estar interesado en libros como The End of Development de Andrew Brooks o Decolonizing Aid de Rosalind Eyben, que también abordan temas de poder y equidad en el desarrollo internacional.

Sigue leyendo →

Algunos retos para la evaluación de programas

Posted by

0


Algunos retos para la evaluación de programas en el presente y futuro pasan por adaptarse a un entorno cada vez más complejo y dinámico. Aquí hay algunos aspectos clave de este desafío:

  1. Medición de Impacto a Largo Plazo: Evaluar el impacto sostenible de los programas en contextos cambiantes sigue siendo un desafío significativo.
  2. Integración de Nuevas Tecnologías: La incorporación de tecnologías avanzadas como la inteligencia artificial y el análisis de big data puede mejorar la precisión y eficiencia de las evaluaciones, pero también requiere nuevas habilidades y enfoques.
  3. Relevancia Estratégica: Asegurar que los temas evaluados sean estratégicamente relevantes y alineados con los objetivos a largo plazo de las organizaciones es crucial para maximizar el impacto de las evaluaciones.
  4. Implementación de Recomendaciones: Las recomendaciones de las evaluaciones a menudo no se implementan de manera efectiva, lo que limita su capacidad para generar cambios significativos.
  5. Coordinación y Colaboración: Mejorar la coordinación entre los departamentos de evaluación y otros departamentos dentro de las organizaciones es esencial para evitar duplicidades y asegurar una utilización eficiente de los recursos.

Abordar estos retos requiere un enfoque holístico y adaptativo, que combine la innovación tecnológica con una comprensión profunda de los contextos locales y las necesidades estratégicas de las organizaciones.

 La Importancia de Escribir sobre Evaluación y Aprendizaje en Español en la Era de la IA

Posted by

0


Soy un nostálgico, quiero seguir pensando que escribir posts en español sobre evaluación y aprendizaje en el sector de la ayuda internacional sigue teniendo múltiples beneficios, tanto a nivel personal como colectivo:

A Nivel Personal

  1. Gestión del Conocimiento Personal:
    • Reflexión y Aprendizaje: Escribir te permite reflexionar sobre tus experiencias y aprendizajes, consolidando tu conocimiento y mejorando tu práctica profesional.
    • Desarrollo de Habilidades: La escritura regular mejora tus habilidades de comunicación y pensamiento crítico, esenciales para un evaluador.
    • Documentación: Mantener un registro escrito de tus ideas y experiencias facilita la revisión y el análisis a lo largo del tiempo, ayudándote a identificar patrones y áreas de mejora.
  2. Visibilidad y Re-conocimiento:
    • Marca Personal: Publicar contenido te posiciona como un conocedor (no se si «expert@» es una palabra adecuada?) tu campo, aumentando tu visibilidad y tu reconocimiento (no porque te lo vayan a reconocer sino porque – quizas – te «re-conozcan» en algun momento).
    • Red de Contactos: Atraerás a otros profesionales interesados en los temas tratados, ampliando tu red de contactos y oportunidades de colaboración.

A Nivel Colectivo

Sigue leyendo →

La Importancia de la Línea de Base en el Propensity Score Matching

Posted by

0


Siguiendo con posts anterios relacionados, el Propensity Score Matching (PSM) es una técnica estadística utilizada para estimar el efecto de una intervención al emparejar grupos de tratamiento y control con características similares. Sin embargo, la ausencia de una línea de base en el grupo de intervención puede afectar significativamente la validez de los resultados.

Impacto de la Falta de Línea de Base

  1. Comparabilidad Reducida: Sin una línea de base, es difícil garantizar que los grupos de tratamiento y control sean comparables en términos de características iniciales. Esto puede llevar a una mala estimación del efecto del tratamiento.
  2. Sesgo de Selección: La falta de datos de línea de base puede introducir sesgos de selección, ya que no se puede ajustar adecuadamente por las diferencias iniciales entre los grupos.
  3. Validez Interna: La validez interna del estudio puede verse comprometida, ya que las diferencias observadas en los resultados podrían deberse a diferencias iniciales no medidas en lugar del efecto del tratamiento.

Estrategias para Superar la Falta de Línea de Base

  1. Uso de Variables Proxy: Identificar y utilizar variables proxy que puedan aproximar las características iniciales de los participantes. Estas variables deben estar correlacionadas con las características de línea de base que faltan.
  2. Datos Longitudinales: Si se dispone de datos longitudinales, se pueden utilizar medidas repetidas de las características de los participantes antes y después del tratamiento para inferir las condiciones iniciales.
  3. Modelos de Imputación: Utilizar técnicas de imputación para estimar los valores de las características de línea de base faltantes. Métodos como la imputación múltiple pueden ser útiles en este contexto.
  4. Análisis de Sensibilidad: Realizar análisis de sensibilidad para evaluar cómo diferentes supuestos sobre las características de línea de base afectan los resultados del estudio.
  5. Ajuste por Covariables: Incluir tantas covariables relevantes como sea posible en el modelo de PSM para ajustar por las diferencias iniciales entre los grupos.
  6. Diseño de Estudio Alternativo: Considerar el uso de diseños de estudio alternativos que no dependan tanto de los datos de línea de base, como los estudios de cohortes o los ensayos controlados aleatorios.

Sigue leyendo →

Principales Diseños de Evaluación de Impacto: Cuándo y Cómo Usarlos, Ejemplos y Aplicaciones

Posted by

1


Hoy nos adentramos en un arte de medir el cambio: una lista esencial sobre diseños de evaluaciones de impacto. Incluye consejos prácticos sobre cuándo es mejor usarlas, cuándo no, y estudios de caso ilustrativos que demuestran la eficacia de cada método

1. Diseño Experimental (Aleatorizado)

Descripción: Asignación aleatoria de participantes en grupos de tratamiento y control.

Cuándo usarlo: Ideal cuando se puede controlar la asignación de los participantes y se busca obtener resultados robustos y libres de sesgo.

Cuándo NO usarlo: No es adecuado cuando la asignación aleatoria no es ética o factible.

Ejemplo 1: Evaluar el impacto de un nuevo programa educativo en el rendimiento académico de los estudiantes. Los estudiantes se asignan aleatoriamente a recibir el programa (grupo de tratamiento) o no (grupo de control).

Ejemplo 2 : Un estudio en Kenia evaluó el impacto de la distribución de mosquiteros tratados con insecticida en la reducción de la malaria. Los resultados mostraron una disminución significativa en los casos de malaria1.

2. Diseño Cuasi-Experimental

Descripción: Métodos como el diseño de regresión discontinua, diferencias en diferencias, y pareamiento.

Cuándo usarlo: Útil cuando la asignación aleatoria no es posible, pero se pueden identificar grupos comparables.

Cuándo NO usarlo: No es adecuado cuando no se pueden encontrar grupos comparables o cuando hay cambios simultáneos que afectan los resultados.

Ejemplo 1: Evaluar el impacto de una política de subsidios en el empleo. Se puede comparar el empleo antes y después de la implementación de la política en regiones con y sin subsidios.

Ejemplo 2: Un estudio en México utilizó diferencias en diferencias para evaluar el impacto del programa Oportunidades en la educación y salud de los niños. Se encontró que el programa mejoró significativamente la asistencia escolar y la salud infantil2.

3. Diseño No Experimental

Descripción: Observación y análisis de datos sin manipulación directa de variables.

Cuándo usarlo: Adecuado cuando no es posible realizar experimentos o cuasi-experimentos, pero se dispone de datos relevantes para el análisis.

Cuándo NO usarlo: No es adecuado cuando se requiere establecer una relación causal clara.

Ejemplo: Un análisis de la campaña de concienciación sobre el reciclaje en una ciudad mostró un aumento en las tasas de reciclaje, aunque no se pudo atribuir directamente a la campaña debido a la falta de un grupo de control3.

Sigue leyendo →

El Pensamiento Evaluativo: Un Faro en la Oscuridad Organizacional

Posted by

0


En las profundidades de la gestión y planificación, el pensamiento evaluativo (PE) se erige como un faro guía para las organizaciones. Como un hilo conductor, atraviesa cada área central de operaciones, tejido en la trama misma de la eficacia y la mejora continua.

  1. Desarrollo y Diseño del Programa:
    • Evaluar el contexto de servicios y programas es como cartografiar un territorio desconocido. Identificamos brechas, redundancias y tendencias, trazando rutas hacia la excelencia.
    • Nuestra capacidad de crecimiento se mide con datos, y los hallazgos de la evaluación se entrelazan en el diseño del programa.
    • Múltiples partes interesadas se sientan alrededor de la mesa, compartiendo visiones y tejiendo modelos de programas que guían la implementación.
    • La evaluabilidad se cultiva desde el inicio, integrando procesos de reflexión y aprendizaje en los ciclos regulares.
  2. Gestión de Programas:
    • Monitoreo constante, como un vigía en la torre, nos permite ajustar el rumbo. Reflexionamos sobre lo que funciona y lo que no, identificando oportunidades de mejora.
    • Datos en tiempo real son brújulas para adaptaciones y correcciones. La calidad del programa se pule en el yunque de la evaluación constante.
  3. Evaluación del Programa:
    • Datos, como piedras preciosas, describen características, actividades y resultados. Múltiples partes interesadas interpretan y usan estos tesoros.
    • Compartimos los hallazgos en formatos útiles, nutriendo el aprendizaje y la mejora continua. Las estrategias y herramientas de evaluación son llaves maestras.
    • La formación y el apoyo son cimientos sólidos para la evaluación significativa.
  4. Interacción con las Poblaciones Objetivo:
    • Las necesidades de las poblaciones objetivo se miden periódicamente. La satisfacción de los beneficiarios y otros indicadores de calidad son estrellas que guían nuestro rumbo.
    • La voz de l@s beneficiari@s se entrelaza con los datos de resultados, creando un tapiz de mejora.
  5. Desarrollo de Capacidades del Personal:
    • Evaluamos anualmente el desarrollo del personal, preparándonos para los cambios y adoptando las mejores prácticas emergentes.
    • El impacto de talleres y seminarios web se mide en capacidades y crecimiento.

La línea de fondo del pensamiento evaluativo:

  • Amplio Alcance y Arraigo Profundo:
    • Se extiende más allá de las actividades de evaluación, impregnando cada rincón de la organización.
    • No es un islote aislado, sino una corriente que fluye a través de programas, propósitos y personas.
    • Su raíz está en la curiosidad natural y el deseo de aprender y mejorar.
  • Habilidades, Actitudes y Enfoque:
    • Requiere habilidades, recursos y capacidades.
    • Las actitudes y los hábitos son su suelo fértil.
    • Da vida, significado y valor a actividades que podrían ser meras obligaciones.
  • Enfoque Dirigido:
    • Asegura que nuestro trabajo esté enfocado, basado en hechos y orientado a objetivos.
    • Al cultivar una cultura organizacional con este hábito, las consultas valiosas reemplazan las cargas requeridas.

En esta danza entre datos, atención, reflexión y decisión, el pensamiento evaluativo no es una carga, sino un farol que ilumina el camino hacia la excelencia.  El pensamiento evaluativo no solo ilumina, sino también transforma.