Debilidades en la aplicación de la teoría del cambio en evaluación: inexistencia de teoría o de diagrama


Simulated Large Hadron Collider CMS particle detector data depicting a Higgs boson

Para finalizar con los posts anteriores en los que analizamos algunas deficiencias en la teoría del cambio y otras debilidades, otros retos son

1. La inexistencia de una teoría que explique el proceso de cambio: Muchos de los modelos y marcos lógicos que se emplean en evaluación no explican realmente cómo se entiende que funciona un programa o una política. Las teorías del cambio correspondientes resultan inadecuadas como fundamento de una evaluación de rigurosa y exhaustiva, y por ello la recopilación, el análisis y la divulgación de datos no son tan útiles como deberían. Algunas evaluaciones de carecen de cualquier tipo de teoría del cambio. Así es difícil (1) adquirir un conocimiento coherente de la intervención y sus resultados a partir de un conjunto enorme de datos. También resulta complicado (2) presentar informes y dar sentido a las discordancias en los datos triangulados. Sigue leyendo

Debilidades en la aplicación de la teoría del cambio en evaluación: deficiencias y falta de solidez


Continuando con el post anterior en el que analizamos algunas deficiencias en la teoría del cambio , otras evaluaciones no abordan otros aspectos importantes de la teoría del cambio: Es muy frecuente que una intervención cuente en sus distintos niveles con múltiples teorías del cambio. Por ejemplo, (1) un modelo de capacitación de formadores tratará de mejorar el conocimiento que los docentes tienen de diversos métodos pedagógicos, para que enseñen mejor a los niños y amplíen su propio conocimiento de las materias. Es posible que se requieran varias teorías del cambio que expliquen (2) el funcionamiento de la intervención directa con los profesores, por una parte, y (3) el trabajo de estos con sus alumnos, por la otra. Sigue leyendo

Debilidades en la aplicación de la teoría del cambio en evaluación: orientación del análisis


En ocasiones la teoría del cambio no fundamenta la recopilación, el análisis y la divulgación de los datos en las evaluaciones que dicen tener un enfoque basado en la teoría del programa.

Algunas evaluaciones no usan de manera sistemática la teoría del cambio para (1) determinar qué datos corresponde recopilar, ni para (2) orientar el análisis.

Por ejemplo, no identifican los resultados intermedios, y por consiguiente no se reúnen datos sobre ellos. Así pues, cuando una intervención fracasa, no es posible establecer dónde se rompió la cadena causal. Sigue leyendo

Teoría del Cambio, pensamiento & perspectiva crítica y deconstrucción


En Teoría del Cambio y Pensamiento Crítico, nos cuentan que desde esta perspectiva crítica, el Enfoque de la ToC facilita la deconstrucción de los supuestos básicos implícitos que están detrás de los modelos de desarrollo y de sus respectivos programas de implementación. Busca el análisis y atención de las verdaderas causas que imposibilitan el cambio social necesario, atendiendo así a los diferentes llamados de atención formulados por la comunidad internacional en foros de alto nivel como Paris, Accra y Busán, preocupada de manera muy especial por la evaluación de la eficacia de la cooperación internacional y las limitaciones presentadas en los numerosos procesos de promoción del desarrollo emprendidos en las últimas décadas. Un creciente cuestionamiento que, desde hace muchos años, nos exige mostrar claros fundamentos de los logros alcanzados y también encontrar las profundas razones de los numerosos fracasos ocurridos. Sigue leyendo

La Rendición de Cuentas de/en la Política de Evaluación de UNICEF


Como epílogo a los posts anteriores sobre la Política de Evaluación ( post anterior, II y III). En relación a la rendición de cuentas, el Director de Evaluación de UNICEF informará el estado de implementación de la política de evaluación a la Junta Ejecutiva como parte del informe anual sobre la función de evaluación, que incluirá:

(a) el progreso hacia el logro de los resultados identificados en la teoría del cambio para la función de evaluación, incluido el desarrollo de la capacidad de evaluación;

(b) una presentación de las actividades de evaluación y el programa de trabajo para el año actual y el siguiente;

(c) una descripción objetiva de las evaluaciones realizadas, junto con una evaluación del estado, la calidad y la utilidad de las evaluaciones;

(d) progreso en el estado de implementación de las acciones acordadas en las respuestas de gestión de las evaluaciones;

(e) una síntesis de los principales hallazgos, conclusiones y lecciones de las evaluaciones del desempeño de UNICEF, incluidas las evaluaciones del desempeño de la función de evaluación; y

(f) un examen de los desafíos encontrados en las metodologías para realizar y usar las evaluaciones Sigue leyendo

La Teoría del Cambio de la Nueva Política de Evaluación de UNICEF (II)


Siguiendo con el post anterior, con otros elementos de la Teoría del Cambio de la Política de Evaluación de UNICEF (2018). Esta Teoría del Cambio que “nos cuenta cómo ve la historia”, los facilitadores y las barreras, para llegar a los resultados esperados. La nueva política de evaluación (o la política revisada) está destinada a apoyar a UNICEF con la premisa de tener los siguientes conductores o insumos y (b) que se cumplan algunas hipótesis y se eviten ciertos riesgos:

Conductores / insumos:
• Política de evaluación.
• Planificación de la evaluación (nivel corporativo, global, regional, nacional)
• Recursos de evaluación (humanos, financieros)
• Orientación y herramientas para una evaluación efectiva.
• Evaluación de sistemas y procesos de garantía de calidad.
• Sistemas para monitorear las actividades de evaluación, incluyendo indicadores clave de desempeño en todos los niveles
• Asociaciones para la evaluación, incluidas las evaluaciones conjuntas y dirigidas por los países.
• Desarrollo de la capacidad de evaluación dentro de UNICEF y sus socios.

Hipótesis y riesgos
Liderazgo organizacional y apoyo
Financiamiento sostenible y predecible para la evaluación.
Disponibilidad de recursos humanos cualificados.
Políticas y programas evaluables
La construcción de una cultura de evidencia en UNICEF
Presentación oportuna de las respuestas de la gerencia a la Junta Ejecutiva y acciones de seguimiento oportunas
Adopción de normas y estándares de monitoreo e investigación para la organización.
Aplicación continua de las normas de auditoría.

La Teoría del Cambio de la Nueva Política de Evaluación de UNICEF


Muy interesante cómo la Política de Evaluación de UNICEF (2018) contiene su propia Teoría del Cambio que «nos cuenta cómo ve la historia», los facilitadores y las barreras, para llegar a los resultados esperados. La nueva política de evaluación (o la política revisada) está destinada a apoyar a UNICEF en la entrega de los productos de la teoría del cambio para la evaluación que se describen a continuación:

(1) evaluaciones independientes, creíbles y útiles a nivel corporativo, regional y de país,

(2) evaluaciones desarrolladas de acuerdo con (a) las normas y estándares del UNEG y (b) las normas de cobertura de la política de evaluación

(3) apoyadas por (a) la mejora de la capacidad y la profesionalidad del personal de UNICEF para realizar y gestionar evaluaciones y (b) el desarrollo de la capacidad nacional de evaluación;

(4) eficaz (a) gestión del conocimiento de la evidencia de evaluación y (b) colaboración con otras funciones en UNICEF y sus socios para mejorar el aprendizaje de las evaluaciones; (c) demanda generada de (i) evidencias de evaluación, y su uso, (ii) dentro de UNICEF y por la Junta Ejecutiva y sus socios. Sigue leyendo

Diferencias entre la teoría del cambio y el modelo lógico


Ann-Murray Brown explica en Diferencias entre la teoría del cambio y el modelo lógico que a menudo hay confusión entre la teoría del cambio y el marco lógico. Sin embargo, al igual que la foto de los gemelos unidos anteriormente, ambos conceptos pertenecen a la misma familia y están estrechamente relacionados, pero no son lo mismo.

Ann resalta las diferencias entre la TdC y  el marco lógico

Sigue leyendo

Teoría del cambio, producto, proceso y forma de pensar


Seguimos con el pensamiento sobre la teoría del cambio en la práctica. Hivos distingue entre TdC como (1) una forma de pensar (enfoque general), (2) un proceso (haciendo un análisis / indagación de la TdC) y (3) un producto (el resultado de un proceso de TdC):

Sigue leyendo

La teoría del cambio como teoría crítica


La teoría del cambio (TdC) es un tipo específico de metodología de planificación, participación y evaluación que se utiliza en los sectores de filantropía, sin fines de lucro y del gobierno para promover el cambio social. La teoría del cambio (1) define objetivos a largo plazo y luego (2) hace mapas hacia atrás para identificar las condiciones previas necesarias.

Sigue leyendo