Evaluación

Debilidades en la aplicación de la teoría del cambio en evaluación: inexistencia de teoría o de diagrama

Posted by

0


Simulated Large Hadron Collider CMS particle detector data depicting a Higgs boson

Para finalizar con los posts anteriores en los que analizamos algunas deficiencias en la teoría del cambio y otras debilidades, otros retos son

1. La inexistencia de una teoría que explique el proceso de cambio: Muchos de los modelos y marcos lógicos que se emplean en evaluación no explican realmente cómo se entiende que funciona un programa o una política. Las teorías del cambio correspondientes resultan inadecuadas como fundamento de una evaluación de rigurosa y exhaustiva, y por ello la recopilación, el análisis y la divulgación de datos no son tan útiles como deberían. Algunas evaluaciones de carecen de cualquier tipo de teoría del cambio. Así es difícil (1) adquirir un conocimiento coherente de la intervención y sus resultados a partir de un conjunto enorme de datos. También resulta complicado (2) presentar informes y dar sentido a las discordancias en los datos triangulados. Sigue leyendo →

Debilidades en la aplicación de la teoría del cambio en evaluación: deficiencias y falta de solidez

Posted by

1


Continuando con el post anterior en el que analizamos algunas deficiencias en la teoría del cambio , otras evaluaciones no abordan otros aspectos importantes de la teoría del cambio: Es muy frecuente que una intervención cuente en sus distintos niveles con múltiples teorías del cambio. Por ejemplo, (1) un modelo de capacitación de formadores tratará de mejorar el conocimiento que los docentes tienen de diversos métodos pedagógicos, para que enseñen mejor a los niños y amplíen su propio conocimiento de las materias. Es posible que se requieran varias teorías del cambio que expliquen (2) el funcionamiento de la intervención directa con los profesores, por una parte, y (3) el trabajo de estos con sus alumnos, por la otra. Sigue leyendo →

Debilidades en la aplicación de la teoría del cambio en evaluación: orientación del análisis

Posted by

2


En ocasiones la teoría del cambio no fundamenta la recopilación, el análisis y la divulgación de los datos en las evaluaciones que dicen tener un enfoque basado en la teoría del programa.

Algunas evaluaciones no usan de manera sistemática la teoría del cambio para (1) determinar qué datos corresponde recopilar, ni para (2) orientar el análisis.

Por ejemplo, no identifican los resultados intermedios, y por consiguiente no se reúnen datos sobre ellos. Así pues, cuando una intervención fracasa, no es posible establecer dónde se rompió la cadena causal. Sigue leyendo →

Teoría del Cambio, pensamiento & perspectiva crítica y deconstrucción

Posted by

1


En Teoría del Cambio y Pensamiento Crítico, nos cuentan que desde esta perspectiva crítica, el Enfoque de la ToC facilita la deconstrucción de los supuestos básicos implícitos que están detrás de los modelos de desarrollo y de sus respectivos programas de implementación. Busca el análisis y atención de las verdaderas causas que imposibilitan el cambio social necesario, atendiendo así a los diferentes llamados de atención formulados por la comunidad internacional en foros de alto nivel como Paris, Accra y Busán, preocupada de manera muy especial por la evaluación de la eficacia de la cooperación internacional y las limitaciones presentadas en los numerosos procesos de promoción del desarrollo emprendidos en las últimas décadas. Un creciente cuestionamiento que, desde hace muchos años, nos exige mostrar claros fundamentos de los logros alcanzados y también encontrar las profundas razones de los numerosos fracasos ocurridos. Sigue leyendo →

La Rendición de Cuentas de/en la Política de Evaluación de UNICEF

Posted by

0


Como epílogo a los posts anteriores sobre la Política de Evaluación ( post anterior, II y III). En relación a la rendición de cuentas, el Director de Evaluación de UNICEF informará el estado de implementación de la política de evaluación a la Junta Ejecutiva como parte del informe anual sobre la función de evaluación, que incluirá:

(a) el progreso hacia el logro de los resultados identificados en la teoría del cambio para la función de evaluación, incluido el desarrollo de la capacidad de evaluación;

(b) una presentación de las actividades de evaluación y el programa de trabajo para el año actual y el siguiente;

(c) una descripción objetiva de las evaluaciones realizadas, junto con una evaluación del estado, la calidad y la utilidad de las evaluaciones;

(d) progreso en el estado de implementación de las acciones acordadas en las respuestas de gestión de las evaluaciones;

(e) una síntesis de los principales hallazgos, conclusiones y lecciones de las evaluaciones del desempeño de UNICEF, incluidas las evaluaciones del desempeño de la función de evaluación; y

(f) un examen de los desafíos encontrados en las metodologías para realizar y usar las evaluaciones Sigue leyendo →

La Teoría del Cambio de la Nueva Política de Evaluación de UNICEF (III)

Posted by

1


Para finalizar los post anterior y II, con los elementos finales de la Teoría del Cambio de la Política de Evaluación de UNICEF (2018). Esta Teoría del Cambio que “nos cuenta cómo ve la historia”, los facilitadores y las barreras, para llegar a los resultados esperados. La nueva política de evaluación (o la política revisada) está destinada a apoyar a UNICEF con la premisa de tener los siguientes conductores o insumos y que se cumplan algunas hipótesis y se eviten ciertos riesgos. Para ello también la TdC indica la necesidad de que existan determinados enfoques, conductores o procesos :

Enfoques para la Teoría del Cambio de la Política de Evaluación de UNICEF

  • Mejora de la independencia, imparcialidad y credibilidad de todas las evaluaciones Mejora de los mecanismos y procesos de garantía de calidad
  • Uso de métodos sensibles al género y los derechos humanos en todas las evaluaciones para comprender los impactos en todos, incluidos los más desfavorecidos
  • Adoptar enfoques innovadores para entregar evaluaciones que sean oportunas y respondan a las necesidades de la organización.
  • Permitir el uso de los resultados de la evaluación.
  • Profesionalizando el rol de evaluación dentro de UNICEF
  • Apoyar el desarrollo de capacidades de evaluación nacional y el desarrollo sostenible
  • Evaluación de objetivos, especialmente a través de asociaciones interinstitucionales

Sigue leyendo →

La Teoría del Cambio de la Nueva Política de Evaluación de UNICEF (II)

Posted by

0


Siguiendo con el post anterior, con otros elementos de la Teoría del Cambio de la Política de Evaluación de UNICEF (2018). Esta Teoría del Cambio que “nos cuenta cómo ve la historia”, los facilitadores y las barreras, para llegar a los resultados esperados. La nueva política de evaluación (o la política revisada) está destinada a apoyar a UNICEF con la premisa de tener los siguientes conductores o insumos y (b) que se cumplan algunas hipótesis y se eviten ciertos riesgos:

Conductores / insumos:
• Política de evaluación.
• Planificación de la evaluación (nivel corporativo, global, regional, nacional)
• Recursos de evaluación (humanos, financieros)
• Orientación y herramientas para una evaluación efectiva.
• Evaluación de sistemas y procesos de garantía de calidad.
• Sistemas para monitorear las actividades de evaluación, incluyendo indicadores clave de desempeño en todos los niveles
• Asociaciones para la evaluación, incluidas las evaluaciones conjuntas y dirigidas por los países.
• Desarrollo de la capacidad de evaluación dentro de UNICEF y sus socios.

Hipótesis y riesgos
Liderazgo organizacional y apoyo
Financiamiento sostenible y predecible para la evaluación.
Disponibilidad de recursos humanos cualificados.
Políticas y programas evaluables
La construcción de una cultura de evidencia en UNICEF
Presentación oportuna de las respuestas de la gerencia a la Junta Ejecutiva y acciones de seguimiento oportunas
Adopción de normas y estándares de monitoreo e investigación para la organización.
Aplicación continua de las normas de auditoría.

La Teoría del Cambio de la Nueva Política de Evaluación de UNICEF

Posted by

0


Muy interesante cómo la Política de Evaluación de UNICEF (2018) contiene su propia Teoría del Cambio que «nos cuenta cómo ve la historia», los facilitadores y las barreras, para llegar a los resultados esperados. La nueva política de evaluación (o la política revisada) está destinada a apoyar a UNICEF en la entrega de los productos de la teoría del cambio para la evaluación que se describen a continuación:

(1) evaluaciones independientes, creíbles y útiles a nivel corporativo, regional y de país,

(2) evaluaciones desarrolladas de acuerdo con (a) las normas y estándares del UNEG y (b) las normas de cobertura de la política de evaluación

(3) apoyadas por (a) la mejora de la capacidad y la profesionalidad del personal de UNICEF para realizar y gestionar evaluaciones y (b) el desarrollo de la capacidad nacional de evaluación;

(4) eficaz (a) gestión del conocimiento de la evidencia de evaluación y (b) colaboración con otras funciones en UNICEF y sus socios para mejorar el aprendizaje de las evaluaciones; (c) demanda generada de (i) evidencias de evaluación, y su uso, (ii) dentro de UNICEF y por la Junta Ejecutiva y sus socios. Sigue leyendo →

Revisiones Nacionales Voluntarias para informar del progreso de la Agenda 2030

Posted by

0


Las Revisiones Nacionales Voluntarias (VNR, acrónimo del inglés Voluntary Narional Reviews) son el mecanismo por el cual los países pueden informar sobre su progreso hacia la Agenda 2030. Si consideramos el tándem «Seguimiento y Evaluación», las VNR vienen a ser el «Seguimiento» del progreso de la Agenda 2030. A través de los VNR, el Foro Político de Alto Nivel (HLPF, acrónimo del inglés High-Level Political Forum) alienta a los Estados miembros a revisar su implementación de la Agenda 2030. Los VNR se presentan en el HLPF y están destinados a «promover la rendición de cuentas a los ciudadanos, fomentar el intercambio de mejores prácticas en todos los países y apoyar el aprendizaje mutuo» . Sigue leyendo →

Estamos sufriendo un trastorno de medición obsesiva

Posted by

0


¿Estamos sufriendo un trastorno de medición obsesivo? Tiina Pasanen de ODI argumenta que «más datos» no significa necesariamente que tomemos mejores decisiones. A menudo significa simplemente tener más datos que no se usan. Nuestras organizaciones probablemente sufren de un trastorno de medición obsesivo, un término introducido inicialmente por Andrew Natsios hace casi una década. El término rechaza la creencia de que contar todo (en los programas gubernamentales y más allá) producirá mejores opciones de políticas y una mejor gestión. Es un trastorno que afecta cada vez más a la comunidad internacional de desarrollo.

Tiina Pasanen sugiere que podríamos comenzar por lo siguiente:

1. Reconociendo cuándo hemos ido más allá del monitoreo útil y empezamos a socavar significativamente la implementación;

2. Desarrollar sistemas estratégicos y específicos de monitoreo y evaluación que se centren en las necesidades de datos esenciales. Los documentos de orientación, como Diez razones para no medir el impacto, y qué hacer en su lugar, pueden ser útiles para pensar cuando algo no es necesario o factible; Sigue leyendo →