Evaluación

Aplicaciones de la Inteligencia Artificial en la evaluacion basada en la teoría

Posted by

0


El artículo del Banco Mundial «¿Puede la inteligencia artificial acelerar la evaluación de programas complejos basados en la teoría?» (2022) presenta la metodología y los resultados utilizados para poner a prueba y validar la aplicabilidad, utilidad y valor agregado del uso de inteligencia artificial para el análisis de contenido avanzado basado en la teoría de prograa.

Tradicionalmente, la síntesis cualitativa se utilizaría para realizar un análisis estructurado basado en la teoría de los informes de proyectos.

Este piloto buscó evaluar las ganancias de eficiencia generadas por el análisis de contenido asistido por inteligencia artificial al etiquetar y clasificar texto de acuerdo con un marco conceptual basado en resultados.

El enfoque utilizó un conjunto de intervenciones asociadas con la cartera de evaluación del retraso en el crecimiento y la desnutrición crónica del Banco Mundial, que consta de 392 informes de proyectos de 64 países.

En primer lugar, se utilizó el aprendizaje automático supervisado para etiquetar deductivamente el contenido en tres categorías principales: (a) desafíos nutricionales abordados, (b) intervenciones y (c)  logro de indicadores de resultados.

Sigue leyendo →

Oportunidades y desafíos del uso de Inteligencia Artifical en evaluación

Posted by

0


En el artículo ¿Cuáles son los beneficios y desafíos del uso de la IA en la evaluación?, nos cuentan sobre dos desafíos, dos desafíos, y dos consejos de la Inteligencia Artificial (IA) en la práctica de la evaluación:

1 Beneficio: Eficiencia y precisión

2 Beneficio: Innovación y creatividad

3 Desafío: Cuestiones éticas y sociales

4 Desafío: barreras técnicas y prácticas

5 Consejo: Aprende y experimenta

6 Consejo: Colabora y reflexiona

1. Beneficio: Eficiencia y precisión: La IA  puede ayudar a automatizar y optimizar diversas tareas y procesos, como la recopilación de datos, el análisis, la síntesis y la generación de informes. Por ejemplo:

-podemos usar IA para diseñar y administrar encuestas, escanear y codificar datos cualitativos, identificar patrones y tendencias, generar información y recomendaciones, y crear visualizaciones y paneles

-podemos ahorrar tiempo y recursos, reducir el error y el sesgo humano y mejorar la calidad y fiabilidad de sus datos y hallazgos.

2.Beneficio: Innovación y creatividad: La IA puede ayudar a innovar y crear nuevas formas de realizar y presentar la evaluación. Por ejemplo:

-podemos usar IA para explorar nuevas fuentes y métodos de datos, como redes sociales, mensajes de texto, sensores y procesamiento de lenguaje natural.

-podemos usar IA para generar preguntas e hipótesis novedosas, probar diferentes escenarios y suposiciones, y descubrir nuevas conexiones e implicaciones.

-podemos usar la IA para comunicar con e involucrar a las partes interesadas de maneras más interactivas y dinámicas, como chatbots, realidad virtual y gamificación.

Sigue leyendo →

¿La Inteligencia Artificial está transformando la evaluación?

Posted by

0


En «5 maneras en que la IA está a punto de transformar la evaluación«, por el equipo de Evaluación del Programa Mundial de Alimentos en 4 de julio de 2023, nos dicen que la Inteligencia Artificial (IA) crea oportunidades incomparables y al mismo tiempo plantea nuevos riesgos para todas las organizaciones. La IA no solo es capaz de procesar y analizar grandes cantidades de datos a gran velocidad, sino que también puede realizar razonamientos paso a paso y tomar acciones para lograr objetivos determinados.

1. La velocidad salva vidas: La IA puede ayudar a aprovechar la evidencia existente en momentos críticos de respuesta, generar conocimientos, que hasta ahora son costosos de producir, y posee la capacidad de crear simulaciones complejas que ayudan a predecir los resultados de diversos escenarios globales. . Entregar la evidencia correcta a las personas correctas en el momento correcto nunca ha estado tan cerca.

2. Aumentar la eficiencia, eliminar prejuicios y mejorar la confianza: Las tecnologías de inteligencia artificial como el procesamiento del lenguaje natural (PLN) poseen el poder de analizar, categorizar, etiquetar, recuperar y traducir textos en múltiples idiomas, mientras interpretan y comprenden los sentimientos en las comunicaciones.  La IA puede aprovechar una multitud de evaluaciones pasadas, resumiendo y sacando a la luz tendencias en los resultados, factores recurrentes de éxito y deficiencias.

La IA promete recuperar información relevante de prácticamente todos los informes de evaluación existentes en un abrir y cerrar de ojos, frente a un proceso que ahora lleva días. Y al revisar sistemáticamente los documentos, la IA puede enriquecer el contenido de los productos de evaluación y eliminar el sesgo selectivo que inevitablemente surge con los enfoques manuales y dirigidos por humanos. Además de responder automáticamente a consultas específicas, la IA ayudará a preparar nuevos productos de evidencia a partir de los documentos seleccionados y de calidad garantizada que se le introduzcan.

Sigue leyendo →

El Zoo de los Indicadores

Posted by

0


 

Alejandro Guerero, experto de OCDE en evaluación, nos contaba sobre » el Zoo de Indicadores«,  donde las métricas se vuelven locas y sólo los más aptos sobreviven. Algunas razones por qué pasa esto:

1. «Miedo a perderse algo». El temor a que falten áreas clave de desempeño conduce a una sobreabundancia de indicadores.

2. La idea errónea de que un mayor número de métricas garantizará la seguridad (¡visibilidad = presupuesto!).

3. El carácter inherente complejo de los proyectos de desarrollo se refleja a menudo en una excesiva variedad de indicadores. Pero eso muchas veces falla.

4. La proliferación y fragmentación de los actores y esfuerzos de la cooperación para el desarrollo (en lugar de unir fuerzas para lograr los mismos resultados) contribuye a la expansión de métricas redundantes.

A ello sumaba Ian C. Davies, evaluador: El Zoo de indicadores es una comorbilidad de la locura basada en resultados que es una consecuencia del virus político neoliberal/conservador de los años ochenta que se ha convertido en una pandemia global. Entre los síntomas se encuentran:

(1) la ausencia de pensamiento reflexivo y crítico, la falta de rigor intelectual,

(2) la ignorancia de los fundamentos de la investigación y la evaluación,

(3) el uso mecanicista de los términos,

(4) las injusticias epistémicas rutinarias y la tendencia delirante a pensarse a sí mismo como un experto y, en casos extremos, a intentar que otros también lo crean.

GLOCAL 2024: Evaluación y Cambio Transformacional

Posted by

0


La Semana de Evaluación gLOCAL es convocado por la Iniciativa de Evaluación Global (GEI). El tema de gLOCAL 2024: «Evaluación y cambio transformacional: equilibrando la ambición y el realismo» 

En un informe de 2016, el Grupo de Evaluación Independiente del Banco Mundial (IEG) definió las intervenciones transformacionales como «intervenciones individuales o series de intervenciones que apoyan cambios profundos, sistémicos y sostenibles con el potencial de tener un impacto a gran escala en áreas de gran desafío de desarrollo. Estas intervenciones ayudan a los clientes a eliminar las restricciones críticas para el desarrollo; causan o apoyan un cambio fundamental en un sistema; tienen un impacto a gran escala a nivel nacional o global; y son económicamente, financieramente y ambientalmente sostenibles». 

Esto se alinea con otras definiciones de cambio transformacional, las cuales convergen en los siguientes atributos del cambio: debe ser sistémico, fundamental y duradero. La relación entre la evaluación y el cambio transformacional ha sido discutida en una serie de publicaciones recientes en el campo de la evaluación1, planteando la una pregunta fundamental: ¿Puede la evaluación jugar un papel importante en impulsar a las comunidades políticas y, en consecuencia, a la sociedad en el camino hacia el cambio transformacional? Y si es así, ¿cómo? 

Sigue leyendo →

Indagación apreciativa

Posted by

0


(A) La indagación apreciativa (IA) es:

(1) un enfoque orientado al cambio organizacional

(2) que se enfoca en las fortalezas antes que en las debilidades, y por lo tanto

(3) difiere en gran medida de muchos enfoques evaluativos que se centran en las carencias y los problemas.​

(B) La indagación apreciativa implica:

(1) la búsqueda coevolutiva de lo mejor en las personas, sus organizaciones y el mundo relevante que las rodea.

(2) En sus alcances más amplios, supone el descubrimiento sistemático de lo que le ‘da vida’ a un sistema viviente cuando está más vivo y es más efectivo y más capaz en términos económicos, ecológicos y humanos desde un punto de vista constructivo.

(3) Comprende fundamentalmente arte y la práctica de hacer preguntas que fortalezcan la capacidad de un sistema para aprehender, prever y aumentar las potencialidades positivas.

La rendición de cuentas interna en las organizaciones

Posted by

0


En un sentido amplio se entiende la rendición de cuentas en una organización como el conjunto de derechos y responsabilidades existentes entre los miembros de una organización y las estructuras que afectan a su trabajo, sus relaciones laborales y cultura organizacional.

La rendición de cuentas en las organizaciones incluiría entonces tres dimensiones:

(1) Obligatoriedad: derecho a obtener una respuesta por parte de los miembros de la organización y la obligación de darla por parte de las partes.

(2) Exigibilidad: capacidad para asegurar que una acción se lleva a cabo y sancionar si ello no ocurre.

(3) Evaluabilidad: valoración positiva o negativa de la organización y de los miembros de la organización.

Esto lleva a diferentes modelos de rendición de cuentas según su carácter:

(1) Control a la dirección y las estructuras de gestión de la organización: combina modelos obligatorios (control interno obligatorio de la organización) y voluntarios (por ejemplo, comparecencias ante todos los miembros de la organización);

(2) Carácter jurídico o legal, marcado por la obligatoriedad, exigibilidad y cumplimiento de las normas, incentivos y sanciones;

(3) Carácter de gestión de recursos (financieros, humanos, equipos de trabajo, relaciones laborales y cultura organizacional), marcado por la exigencia y obligatoriedad de auditoría, evaluación o valoración respecto a la norma.

Sigue leyendo →

El concepto de valoración de la preparación organizacional

Posted by

0


Una valoración de la preparación organizacional (readiness assessment) es una medida formal de la preparación de nuestra organización para sufrir un gran cambio o asumir una nueva intervención importante o relevante. No queremos lanzarnos a un gran cambio, intervención, estrategia, programa o proyecto sin saber si nuestra organización tiene las capacidades y los recursos para lograrlo de manera efectiva.
Realizar una valoración de la preparación organizacional nos brinda el conocimiento y la seguridad de que el esfuerzo propuesto por nuestra organización tendrá éxito si decide seguir adelante y hacerlo. También puede salvar la reputación de nuestra organización al permitirle evitar un fracaso potencialmente importante por participar en una intervención que no estaba preparada para completar.
Una valoración de preparación generalmente evalúa lo siguiente:

  • Metas y objetivos del intervención
  • Expectativas e inquietudes
  • Apoyo al liderazgo del intervención.
  • Capacidad de adaptarse al cambio.
  • Formas de minimizar el posible fracaso de la intervención
  • Gobernanza de la intervención y toma de decisiones.
  • Otras necesidades críticas de la intervención

Michael Scriven, su legado para la disciplina de la evaluación

Posted by

0


Scriven (1928-2023) hizo importantes contribuciones en los campos de la filosofía (lógica y filosofía de la ciencia), el pensamiento crítico y, más notablemente, la evaluación. De hecho, se puede afirmar que él (junto con Donald Campbell) ayudó a crear y desarrollar el campo de la evaluación como una disciplina de investigación tal como la entendemos ahora, como una transdisciplina (otra invención de Scriven) con importantes revistas e institutos, y en estos momentos es un campo reconocido de estudio académico y profesional. En particular, desarrolló el campo de la evaluación en aplicaciones informáticas y de educación. Sus principales ideas sobre la evaluación basada en resultados, la evaluación formativa y sumativa (Scriven ideó estos conceptos), se tienen en cuenta en algunas definiciones de evaluación (basada en el mérito, el valor y la importancia), inventó la evaluación sin objetivos y sin costo, desarrolló la principal metodología como lista de verificación, creó el Evaluation Thesaurus y sigue siendo uno de los profesionales de evaluación más conocidos del mundo.

Sigue leyendo →

Una función de evaluación útil (I)

Posted by

0


Caroline Heider, reflexionando sobre cómo establecer una función de evaluación útil, indicaba que es un acción que requiere equilibrios; e indicaba la importancia crítica de cuatro elementos: utilidad, imparcialidad, credibilidad y alcance.

Una función de evaluación útil también requiere múltiples capas, desde (a) un entorno propicio, pasando por (b) sistemas institucionalizados y (c) aptitudes y habilidades individuales, e implica un proceso iterativo con una visión a largo plazo, tácticas adaptables y correcciones de curso continuas.

En torno al «Entorno propicio«, hoy en día, el respaldo del liderazgo y de políticas sigue siendo necesario: las oficinas de evaluación generalmente se ven presionadas cuando informan evidencia que contradice las normas o las direcciones estratégicas existentes, pero también debe ir de la mano con una cultura que adopte el aprendizaje y responsabilidad.

En tal cultura, cada una de las partes necesita aportar su parte:

Sigue leyendo →