El artículo del Banco Mundial «¿Puede la inteligencia artificial acelerar la evaluación de programas complejos basados en la teoría?» (2022) presenta la metodología y los resultados utilizados para poner a prueba y validar la aplicabilidad, utilidad y valor agregado del uso de inteligencia artificial para el análisis de contenido avanzado basado en la teoría de prograa.

Tradicionalmente, la síntesis cualitativa se utilizaría para realizar un análisis estructurado basado en la teoría de los informes de proyectos.

Este piloto buscó evaluar las ganancias de eficiencia generadas por el análisis de contenido asistido por inteligencia artificial al etiquetar y clasificar texto de acuerdo con un marco conceptual basado en resultados.

El enfoque utilizó un conjunto de intervenciones asociadas con la cartera de evaluación del retraso en el crecimiento y la desnutrición crónica del Banco Mundial, que consta de 392 informes de proyectos de 64 países.

En primer lugar, se utilizó el aprendizaje automático supervisado para etiquetar deductivamente el contenido en tres categorías principales: (a) desafíos nutricionales abordados, (b) intervenciones y (c)  logro de indicadores de resultados.

Aunque el rendimiento en la predicción de subetiquetas exactas (n = 74) fue modesto, el alto nivel de precisión logrado en la predicción de categorías de nivel superior sugirió que la posibilidad de desarrollar un modelo clasificador de texto con una precisión de codificación aceptable es prometedora.

En segundo lugar, se utilizó el aprendizaje automático no supervisado (unsupervised machine learning) para identificar ideas emergentes a partir de un texto denominado «factores que afectan el éxito de la intervención». En general, el modelo temático mostró un desempeño excelente en la identificación de temas inductivos que no solo eran novedosos y relevantes para el dominio, sino que demostraron ser predictores clave del desempeño y las buenas prácticas del proyecto. Luego se visualizaron las similitudes semánticas entre el texto etiquetado con aprendizaje automático (machine learning) mediante la incrustación de vecinos estocásticos distribuidos en t  (t-distributed stochastic neighbor). Esto resultó eficaz para identificar patrones importantes en los datos que no serían obvios para un analista humano, lo que facilitó el establecimiento de características únicas de los programas de país.

Finalmente, se utilizaron enfoques de gráficos de conocimiento para estructurar los resultados del aprendizaje automático (machine learning) de acuerdo con el marco conceptual y explorar las relaciones entre los componentes de la teoría del cambio.

El razonamiento basado en reglas realizó con éxito análisis estadísticos simples sobre las tasas de éxito de las intervenciones, pero se requiere más investigación antes de que los gráficos de conocimiento puedan permitir una evaluación basada en la teoría del desempeño del programa