Innovación y Liberación en Evaluación


revolutions-in-art-2-1-1

¿Estamos list@s para un viaje transformador en la evaluación de programas? ¡Abrochemos nuestros cinturones y preparémonos para despegar con las Estructuras Liberadoras (EL)!

Inclusión y Diversidad: Imagina un mundo donde cada voz cuenta. Las EL hacen de este mundo una realidad en la evaluación de programas. Con la técnica 1-2-4-All, cada participante o miembro del equipo tiene la oportunidad de ser escuchado. Es como un viaje desde la reflexión individual hasta la sinergia grupal, donde las ideas se construyen y se refinan a medida que se comparten.

Inteligencia Colectiva: ¿Alguna vez has soñado con tener un superpoder? Las EL nos dan uno: la sabiduría colectiva. La técnica Impromptu Networking es como una red de ideas, donde podemos pescar las experiencias y perspectivas de los demás, identificando desafíos comunes, soluciones potenciales y oportunidades para la colaboración.

Generación de Ideas: Utiliza la técnica “What, So What, Now What?” para reflexionar en tres etapas: identificar hechos (What), analizar su importancia (So What) y decidir los próximos pasos (Now What). Es como un viaje de descubrimiento, donde cada paso nos lleva más cerca de la solución.

Aprendizaje Iterativo: ¿Y si te dijera que podemos aprender de nuestros errores y mejorar constantemente? Las EL hacen posible este aprendizaje iterativo. Durante la ejecución de la evaluación, la técnica Troika Consulting es como un faro en la niebla, proporcionando retroalimentación y consejos sobre los desafíos que encontramos en el camino.

Acciones Concretas: ¿Te sientes atrapado a veces? Las EL te dan las llaves para liberarte. La técnica 15% Solutions te ayuda a identificar acciones que están dentro de tu control para mejorar la ejecución de la evaluación. Es como tener una brújula que siempre te señala la dirección correcta.

Comunicación Efectiva: ¿Te has encontrado alguna vez con barreras de comunicación? Las EL pueden derribarlas. La técnica TRIZ es como un bisturí que corta las prácticas que obstaculizan la comunicación efectiva de los resultados de la evaluación. Además, podemos explorar otras técnicas como Shift & Share, que es como una feria de ideas, donde podemos compartir tus logros y aprender de los demás.

Las Estructuras Liberadoras revolucionan la evaluación de programas, transformándola en una danza de inclusión y colaboración. Estas estructuras, inyectando innovación y eficacia, desatan la inteligencia colectiva y valoran todas las voces. Facilitan un aprendizaje iterativo, siempre en movimiento, mejorando la adaptabilidad y eficacia de la evaluación. Técnicas como 1-2-4-All, Impromptu Networking, “What, So What, Now What?”, Troika Consulting, 15% Solutions, TRIZ y Shift & Share están listas para ser aplicadas en todas las etapas de la evaluación. Este enfoque revolucionario marca una diferencia significativa, llevando la evaluación de programas a nuevos niveles de eficacia e innovación.

En resumen, las Estructuras Liberadoras (EL) son como un cohete que puede lanzar la práctica de la evaluación de programas a nuevas alturas de eficacia e innovación. ¿Estamos list@s para el despegue? ¡Exploremos las estrellas de la evaluación de programas junt@s con las Estructuras Liberadoras!

Sigue leyendo →

Diferencias entre Evaluación de Necesidades, Análisis de Situación y Evaluación Rápida en contextos de ayuda humanitaria


Aquí están las diferencias más explícitas entre la Evaluación de Necesidades, el Análisis de Situación y la Evaluación Rápida en términos de Uso, Marco Temporal, Enfoque, Metodología y Participación:

1.Evaluación de Necesidades: Esta es una herramienta estratégica a largo plazo que se utiliza para identificar brechas entre los resultados actuales y deseados. A menudo se utiliza en organizaciones, comunidades o individuos para mejorar la eficiencia y la productividad. Es particularmente útil para identificar áreas dentro de su organización que necesitan mejoras y puede usarse para analizar datos e informar cambios internos.

  • Uso: Mejora de la eficiencia y productividad en organizaciones, comunidades o individuos.
  • Marco Temporal: Largo plazo.
  • Enfoque: Identificación de brechas entre los resultados actuales y deseados.
  • Metodología: Análisis de datos para informar cambios internos.
  • Participación: Involucra a todas las partes interesadas en la organización.

2.Análisis de Situación: Esta es una herramienta centrada en el contexto que se utiliza para asegurar que sean relevantes y efectivos la planificación y ejecución de programas de ayuda y respuesta humanitaria, considerando las complejidades y urgencias de estos contextos.

  • Uso: Evaluar las necesidades humanitarias y la capacidad de respuesta en situaciones de crisis o desarrollo.
  • Marco Temporal: Flexible, desde respuestas inmediatas hasta evaluaciones a mediano y largo plazo.
  • Enfoque: Evaluación de las necesidades de los beneficiarios, recursos disponibles y desafíos operativos.
  • Metodología: Análisis integral de las capacidades de respuesta, limitaciones logísticas y factores externos como el clima político y social.
  • Participación: Incluye a beneficiarios, organizaciones humanitarias, gobiernos locales e internacionales, y otros actores relevantes.

3.Evaluación Rápida: Esta es una herramienta de respuesta rápida que se utiliza en situaciones de emergencia cuando no hay suficiente información disponible para tomar decisiones. Está diseñado para identificar necesidades inmediatas durante o después de una crisis. Por ejemplo, en el sector de la salud, la evaluación rápida tiene como objetivo priorizar las necesidades de los pacientes, facilitar un diagnóstico preciso e iniciar intervenciones apropiadas con prontitud.

  • Uso: Toma de decisiones inmediatas en situaciones de emergencia.
  • Marco Temporal: Corto plazo.
  • Enfoque: Identificación de necesidades inmediatas durante o después de una crisis.
  • Metodología: Prioriza las necesidades de los pacientes, facilita un diagnóstico preciso e inicia intervenciones apropiadas con prontitud.
  • Participación: Limitada debido a la urgencia de la situación.

Cada una de estas herramientas tiene un propósito único y puede usarse en diferentes contextos dependiendo de las necesidades y situaciones específicas. Todas ellas son valiosas para la toma de decisiones, la planificación estratégica y la mejora de la eficiencia y la eficacia.

Sigue leyendo →

Inteligencia Artificial: Revolucionando la Evaluación de Programas


Fuente: Seed Star (Ken Rinaldo)

La inteligencia artificial (IA) está transformando la evaluación de programas con su capacidad para manejar grandes volúmenes de datos y automatizar tareas, lo que permite análisis más profundos y predicciones precisas. Sin embargo, también enfrenta desafíos éticos y técnicos que requieren atención cuidadosa.

Oportunidades de la IA en la Evaluación de Programas:

  • Análisis Mejorado: La IA puede analizar datos complejos, ofreciendo evaluaciones basadas en evidencia más efectivas.
  • Automatización Eficiente: Libera a los evaluadores de tareas repetitivas, permitiéndoles enfocarse en aspectos más estratégicos.
  • Predicción Avanzada: Los algoritmos pueden predecir resultados futuros, facilitando la planificación y mejora continua.

Desafíos a Superar:

  • Ética y Privacidad: Es vital garantizar la protección de datos y el respeto por las normas éticas.
  • Sesgo de Datos: Se debe asegurar la equidad en los algoritmos para evitar decisiones sesgadas.
  • Transparencia: Los procesos de la IA deben ser comprensibles para fomentar la confianza en sus resultados.

Con un enfoque adecuado, la IA tiene el potencial de ser una herramienta invaluable en la evaluación de programas, mejorando la eficacia y la toma de decisiones informadas.

Sigue leyendo →

Aplicaciones de la Inteligencia Artificial en la evaluacion basada en la teoría


El artículo del Banco Mundial «¿Puede la inteligencia artificial acelerar la evaluación de programas complejos basados en la teoría?» (2022) presenta la metodología y los resultados utilizados para poner a prueba y validar la aplicabilidad, utilidad y valor agregado del uso de inteligencia artificial para el análisis de contenido avanzado basado en la teoría de prograa.

Tradicionalmente, la síntesis cualitativa se utilizaría para realizar un análisis estructurado basado en la teoría de los informes de proyectos.

Este piloto buscó evaluar las ganancias de eficiencia generadas por el análisis de contenido asistido por inteligencia artificial al etiquetar y clasificar texto de acuerdo con un marco conceptual basado en resultados.

El enfoque utilizó un conjunto de intervenciones asociadas con la cartera de evaluación del retraso en el crecimiento y la desnutrición crónica del Banco Mundial, que consta de 392 informes de proyectos de 64 países.

En primer lugar, se utilizó el aprendizaje automático supervisado para etiquetar deductivamente el contenido en tres categorías principales: (a) desafíos nutricionales abordados, (b) intervenciones y (c)  logro de indicadores de resultados.

Sigue leyendo →

Oportunidades y desafíos del uso de Inteligencia Artifical en evaluación


En el artículo ¿Cuáles son los beneficios y desafíos del uso de la IA en la evaluación?, nos cuentan sobre dos desafíos, dos desafíos, y dos consejos de la Inteligencia Artificial (IA) en la práctica de la evaluación:

1 Beneficio: Eficiencia y precisión

2 Beneficio: Innovación y creatividad

3 Desafío: Cuestiones éticas y sociales

4 Desafío: barreras técnicas y prácticas

5 Consejo: Aprende y experimenta

6 Consejo: Colabora y reflexiona

1. Beneficio: Eficiencia y precisión: La IA  puede ayudar a automatizar y optimizar diversas tareas y procesos, como la recopilación de datos, el análisis, la síntesis y la generación de informes. Por ejemplo:

-podemos usar IA para diseñar y administrar encuestas, escanear y codificar datos cualitativos, identificar patrones y tendencias, generar información y recomendaciones, y crear visualizaciones y paneles

-podemos ahorrar tiempo y recursos, reducir el error y el sesgo humano y mejorar la calidad y fiabilidad de sus datos y hallazgos.

2.Beneficio: Innovación y creatividad: La IA puede ayudar a innovar y crear nuevas formas de realizar y presentar la evaluación. Por ejemplo:

-podemos usar IA para explorar nuevas fuentes y métodos de datos, como redes sociales, mensajes de texto, sensores y procesamiento de lenguaje natural.

-podemos usar IA para generar preguntas e hipótesis novedosas, probar diferentes escenarios y suposiciones, y descubrir nuevas conexiones e implicaciones.

-podemos usar la IA para comunicar con e involucrar a las partes interesadas de maneras más interactivas y dinámicas, como chatbots, realidad virtual y gamificación.

Sigue leyendo →

¿La Inteligencia Artificial está transformando la evaluación?


En «5 maneras en que la IA está a punto de transformar la evaluación«, por el equipo de Evaluación del Programa Mundial de Alimentos en 4 de julio de 2023, nos dicen que la Inteligencia Artificial (IA) crea oportunidades incomparables y al mismo tiempo plantea nuevos riesgos para todas las organizaciones. La IA no solo es capaz de procesar y analizar grandes cantidades de datos a gran velocidad, sino que también puede realizar razonamientos paso a paso y tomar acciones para lograr objetivos determinados.

1. La velocidad salva vidas: La IA puede ayudar a aprovechar la evidencia existente en momentos críticos de respuesta, generar conocimientos, que hasta ahora son costosos de producir, y posee la capacidad de crear simulaciones complejas que ayudan a predecir los resultados de diversos escenarios globales. . Entregar la evidencia correcta a las personas correctas en el momento correcto nunca ha estado tan cerca.

2. Aumentar la eficiencia, eliminar prejuicios y mejorar la confianza: Las tecnologías de inteligencia artificial como el procesamiento del lenguaje natural (PLN) poseen el poder de analizar, categorizar, etiquetar, recuperar y traducir textos en múltiples idiomas, mientras interpretan y comprenden los sentimientos en las comunicaciones.  La IA puede aprovechar una multitud de evaluaciones pasadas, resumiendo y sacando a la luz tendencias en los resultados, factores recurrentes de éxito y deficiencias.

La IA promete recuperar información relevante de prácticamente todos los informes de evaluación existentes en un abrir y cerrar de ojos, frente a un proceso que ahora lleva días. Y al revisar sistemáticamente los documentos, la IA puede enriquecer el contenido de los productos de evaluación y eliminar el sesgo selectivo que inevitablemente surge con los enfoques manuales y dirigidos por humanos. Además de responder automáticamente a consultas específicas, la IA ayudará a preparar nuevos productos de evidencia a partir de los documentos seleccionados y de calidad garantizada que se le introduzcan.

Sigue leyendo →

El Zoo de los Indicadores


 

Alejandro Guerero, experto de OCDE en evaluación, nos contaba sobre » el Zoo de Indicadores«,  donde las métricas se vuelven locas y sólo los más aptos sobreviven. Algunas razones por qué pasa esto:

1. «Miedo a perderse algo». El temor a que falten áreas clave de desempeño conduce a una sobreabundancia de indicadores.

2. La idea errónea de que un mayor número de métricas garantizará la seguridad (¡visibilidad = presupuesto!).

3. El carácter inherente complejo de los proyectos de desarrollo se refleja a menudo en una excesiva variedad de indicadores. Pero eso muchas veces falla.

4. La proliferación y fragmentación de los actores y esfuerzos de la cooperación para el desarrollo (en lugar de unir fuerzas para lograr los mismos resultados) contribuye a la expansión de métricas redundantes.

A ello sumaba Ian C. Davies, evaluador: El Zoo de indicadores es una comorbilidad de la locura basada en resultados que es una consecuencia del virus político neoliberal/conservador de los años ochenta que se ha convertido en una pandemia global. Entre los síntomas se encuentran:

(1) la ausencia de pensamiento reflexivo y crítico, la falta de rigor intelectual,

(2) la ignorancia de los fundamentos de la investigación y la evaluación,

(3) el uso mecanicista de los términos,

(4) las injusticias epistémicas rutinarias y la tendencia delirante a pensarse a sí mismo como un experto y, en casos extremos, a intentar que otros también lo crean.

GLOCAL 2024: Evaluación y Cambio Transformacional


La Semana de Evaluación gLOCAL es convocado por la Iniciativa de Evaluación Global (GEI). El tema de gLOCAL 2024: «Evaluación y cambio transformacional: equilibrando la ambición y el realismo» 

En un informe de 2016, el Grupo de Evaluación Independiente del Banco Mundial (IEG) definió las intervenciones transformacionales como «intervenciones individuales o series de intervenciones que apoyan cambios profundos, sistémicos y sostenibles con el potencial de tener un impacto a gran escala en áreas de gran desafío de desarrollo. Estas intervenciones ayudan a los clientes a eliminar las restricciones críticas para el desarrollo; causan o apoyan un cambio fundamental en un sistema; tienen un impacto a gran escala a nivel nacional o global; y son económicamente, financieramente y ambientalmente sostenibles». 

Esto se alinea con otras definiciones de cambio transformacional, las cuales convergen en los siguientes atributos del cambio: debe ser sistémico, fundamental y duradero. La relación entre la evaluación y el cambio transformacional ha sido discutida en una serie de publicaciones recientes en el campo de la evaluación1, planteando la una pregunta fundamental: ¿Puede la evaluación jugar un papel importante en impulsar a las comunidades políticas y, en consecuencia, a la sociedad en el camino hacia el cambio transformacional? Y si es así, ¿cómo? 

Sigue leyendo →

Indagación apreciativa


(A) La indagación apreciativa (IA) es:

(1) un enfoque orientado al cambio organizacional

(2) que se enfoca en las fortalezas antes que en las debilidades, y por lo tanto

(3) difiere en gran medida de muchos enfoques evaluativos que se centran en las carencias y los problemas.​

(B) La indagación apreciativa implica:

(1) la búsqueda coevolutiva de lo mejor en las personas, sus organizaciones y el mundo relevante que las rodea.

(2) En sus alcances más amplios, supone el descubrimiento sistemático de lo que le ‘da vida’ a un sistema viviente cuando está más vivo y es más efectivo y más capaz en términos económicos, ecológicos y humanos desde un punto de vista constructivo.

(3) Comprende fundamentalmente arte y la práctica de hacer preguntas que fortalezcan la capacidad de un sistema para aprehender, prever y aumentar las potencialidades positivas.

La rendición de cuentas interna en las organizaciones


En un sentido amplio se entiende la rendición de cuentas en una organización como el conjunto de derechos y responsabilidades existentes entre los miembros de una organización y las estructuras que afectan a su trabajo, sus relaciones laborales y cultura organizacional.

La rendición de cuentas en las organizaciones incluiría entonces tres dimensiones:

(1) Obligatoriedad: derecho a obtener una respuesta por parte de los miembros de la organización y la obligación de darla por parte de las partes.

(2) Exigibilidad: capacidad para asegurar que una acción se lleva a cabo y sancionar si ello no ocurre.

(3) Evaluabilidad: valoración positiva o negativa de la organización y de los miembros de la organización.

Esto lleva a diferentes modelos de rendición de cuentas según su carácter:

(1) Control a la dirección y las estructuras de gestión de la organización: combina modelos obligatorios (control interno obligatorio de la organización) y voluntarios (por ejemplo, comparecencias ante todos los miembros de la organización);

(2) Carácter jurídico o legal, marcado por la obligatoriedad, exigibilidad y cumplimiento de las normas, incentivos y sanciones;

(3) Carácter de gestión de recursos (financieros, humanos, equipos de trabajo, relaciones laborales y cultura organizacional), marcado por la exigencia y obligatoriedad de auditoría, evaluación o valoración respecto a la norma.

Sigue leyendo →