Síntesis de evaluaciones: tesoros, oportunidades y retos


Seguimos hablando de «Síntesis» con el documento «Compendio revisado de métodos de evaluación (2019-2020)», del «Grupo de trabajo de métodos» del Grupo de Evaluación de Naciones Unidas (UNEG), donde encontramos que la síntesis de evaluaciones intenta (1) combinar el conocimiento de evaluación existente y los hallazgos relevantes para un tema en forma de nuevos productos de conocimiento, para (2) apoyar una mejor difusión de los resultados de las evaluaciones y (3) ayudar en el diseño de nuevas evaluaciones. (4) Aborda el desafío de la “sobrecarga de información”, (5) entregando productos que destilan evidencia relevante para la toma de decisiones y (6) se lleva a cabo siguiendo un proceso bien estructurado.

A continuación se exponen ventajas, desventajas, oportunidades y retos:

1.Ventajas

• Ahorro en costos directos e indirectos (tanto para evaluador@s como para los grupos evaluados).

• Se enfoca en analizar factores estructurales / comunes de éxito / fracaso.

• Aumenta la percepción de solidez a medida que se basa en hallazgos anteriores, en lugar de comenzar desde cero. Sigue leyendo

Síntesis de evaluaciones: concepto y opciones


Desde la plataforma BetterEvaluation comparten este post «Sintetizar datos a través de evaluaciones«, donde se presentan enfoques y técnicas con el objetivo de responder a preguntas sobre un tipo de intervención en lugar de sobre un solo caso, respondiendo a preguntas como «¿Funcionan estos tipos de intervenciones?» o «¿Para quién, de qué manera y en qué circunstancias funcionan?» La tarea consiste en localizar la evidencia (que a menudo implica búsquedas bibliográficas en bases de datos, con especial énfasis en la búsqueda de estudios inéditos), evaluar su calidad y relevancia para decidir si incluirla o no, extraer la información relevante y sintetizarla. Las diferentes opciones utilizan diferentes estrategias y tienen diferentes definiciones de lo que constituye evidencia creíble.

Opciones para sintetizar procesos y/o productos evaluativos:

  1. Lecciones aprendidas del proceso evaluativo: las lecciones aprendidas pueden desarrollarse a partir del proceso de evaluación a medida que los evaluadores reflexionan sobre sus experiencias al realizar la evaluación.
  2. Mejor síntesis de evidencia: una síntesis que, como una síntesis realista, se basa en una amplia gama de evidencia (incluidos estudios de casos individuales) y explora el impacto del contexto, y también se basa en un enfoque iterativo y participativo para construir y usar una base de conocimientos. .
  3. Revisión sistemática: una síntesis que adopta un enfoque sistemático para buscar, evaluar, extraer y sintetizar evidencia de múltiples estudios. (1) Metanálisis, (2) metaetnografía y (3) síntesis realista son diferentes tipos de revisión sistemática.

Sigue leyendo

La síntesis de los hallazgos de las evaluaciones.


Como parte del «RTD TIG Week» de la AEA, «La síntesis de estudios de imitación ayuda a responder preguntas de política realmente importantes» Gretchen Jordan, pasaba el mensaje de que las grandes preguntas que nos piden que respondamos requieren que avancemos hacia el uso de marcos lógicos de evaluación acordados y adaptados al tipo y contexto del programa para aprender de la síntesis de los hallazgos de las evaluaciones.

Además nos indica cinco pasos para una evaluación de síntesis para informar la política de investigación e innovación:

1. Acuerde la (s) pregunta (s) que serán respondidas por la evaluación de síntesis. Un ejemplo es «¿Qué impactos técnicos, económicos y sociales han ocurrido y qué programas y otros factores contribuyen a ellos?»

2. Diseñe un conjunto de evaluaciones de tal manera que sus hallazgos puedan sintetizarse de manera creíble. Consulte los modelos lógicos genéricos, los indicadores y el glosario propuestos en “Evaluación de los resultados de la investigación financiada con fondos públicos…”, el documento del Grupo de interés temático sobre investigación, tecnología y desarrollo de 2015. Sigue leyendo

Algunas lecciones para enfrentarse a la pandemia en países vulnerables y de renta media y baja


Las siguientes son las lecciones sobre respuesta a epidemias para aumentar la resiliencia de los países con publaciones más vulnerables, que son complementarias a las medidas de distanciamiento social y sistemas proactivos y de gran cobertura de tests rápidos que parecen que están funcionando en los países más desarrollados (a partir de los posts anteriores Enfrentarse al coronavirus también desde la evaluación y la gestión del conocimiento y Contribuyendo a la resiliencia de los países más pobres y vulnerables durante esta pandemia (I de II))

A. Lecciones sobre respuesta inmediata a partir de evaluaciones pasadas:

1.Garantizar la apropiación y la coordinación al más alto nivel del gobierno, lo que a su vez requiere enfoques a la medida, según las especificidades y necesidades nacionales y locales.

1.1. En el caso de la respuestas pasadas (1) acción basada en la evidencia ante la crisis, (2) debate político como base para el desarrollo y la acciones políticas, (3) las capacidades del personal fortalecido a todos los niveles para responder a la emergencia, (4) mejora del nivel de transparencia y apertura, y (5) el público en general participó en la respuesta a la epidémia, y (6) se movilizaron recursos para apoyar la respuesta nacional.

1.2. Se establecieron centros de operaciones de emergencia que facilitaron los esfuerzos de respuesta y coordinación de todas las partes involucradas.

2.El financiamiento y uso de ayudas públicas es esencial. Dada la naturaleza global de los bienes públicos de los efectos secundarios de la respuesta a las enfermedades infecciosas emergentes, la disponibilidad de subvenciones es crucial a nivel de país. Los países de bajos ingresos estarían especialmente “indispuestos” a emprender proyectos que respalden un bien público global sin financiamiento de subvenciones. Con la provisión de financiamiento de subvenciones, se puede hacer más para alentar la cooperación entre países a nivel regional, como para compartir datos, muestras y recursos técnicos. Durante las epidemias pasadas, algunos países no percibían mucha amenaza o riesgo, o carecían de interés en usar sus propios fondos para apoyar un bien público global. El financiamiento de subvenciones fue útil para conseguir que el apoyo a las intervenciones fueran más asequibles para estos países.

3. Asociarse  con agencias técnicas especializadas.La función de convocatoria y financiamiento de instituciones financieras como los Bancos de Desarrollo funcionan mejor cuando se combinan con la experiencia técnica de agencias especializadas. El apoyo de respuesta a las crisis proveniente de múltiples socios a menudo se vuelve descoordinado y puede abrumar a los gobiernos receptores.

4 Incluir mecanismos de compensación en la respuesta.

(a) Los mecanismos compensatorios demostraron ser un elemento crítico para informar sobre brotes epidémicos. Es importante que los afectados conozcan y tengan plena confianza en el sistema, por lo que los mecanismos deben diseñarse y publicitarse antes de que ocurran brotes de enfermedades. Sigue leyendo

Aprendizajes para la colaboración


Seguimos con el recopilatorio de pasados posts sobre la  colaboración, ese misterio (ya iniciado en El misterio de la colaboración):

1.Reforzando la colaboración en nuestras organizaciones (I)

En su artículo Construyendo una verdadera colaboración en su organización, Pratichi Shah (Mayo de 2017) indica que desarrollar los pilares organizacionales de (1) la cultura, (2) las personas y (3) el liderazgo puede ayudar a impulsar la colaboración organizacional.

2.Creando una cultura de la colaboración

 Para que la cultura de la colaboración funcione, debemos estar genuinamente abiertos a nuevas ideas: (1)  Incentivos que premien el desempeño del grupo en lugar del rendimiento individual. (2)  En un lugar de trabajo colaborativo, (a) los líderes de la organización deben reconocer que la colaboración es esencial para alcanzar su objetivo común y dedicar muchos de nuestros recursos para lograr una colaboración total. (c) Debemos comunicar incansablemente la necesidad de hacer que la mejora de la colaboración sea un éxito. Sigue leyendo

El propósito de la síntesis del conocimiento


Siguiendo nuestro post pasado con Nick Milton es su «Sintetizar el conocimiento – un paso crucial de Gestión del Conocimiento» ,  nos indica que la síntesis del conocimiento asegurará que:

• El personal de la organización sepa dónde acudir para encontrar la mayor parte del conocimiento que necesita (aunque tendrá que buscar más ampliamente para encontrar el conocimiento emergente más reciente que aún no se ha sintetizado)

• Saben que el conocimiento que encuentren dentro de la colección sintetizada (1) habrá sido validado por una comunidad de profesionales, (2) que no habrá duplicación y (3) que cualquier contradicción ya se habrá resuelto. Sigue leyendo

La síntesis del conocimiento


Nick Milton en su post «Sintetizar el conocimiento – un paso crucial de Gestión del Conocimiento»  nos indica que el conocimiento es incremental: llega como aprendizajes discretos de la experiencia. Estos incrementos de conocimiento pueden documentarse como lecciones identificadas, mejores prácticas, publicaciones de blog, páginas wiki y respuestas en foros, algunas de las cuales contienen conocimientos que podrían ser valiosos si el personal los reutiliza.

Sin embargo, el gran volumen de material entrante significa que:

  • Las buenas prácticas pueden ser documentadas muchas veces
  • Los documentos individuales pueden contradecirse

Muy a menudo, (1) es muy difícil encontrar el conocimiento que se necesita entre las muchas decenas de miles de documentos, y (2) a partir de esa gran masa de evidencia, se requiere que cada usuario individual (y los que necesitan el conocimiento son a menudo el personal más subalterno) descubra su propia respuesta y tener su propio sentido. Sigue leyendo

Sintetizar evaluaciones


Integrar los datos en una conclusión general es importante en las evaluaciones individuales, pero también para resumir las evidencias de múltiples evaluaciones. Tareas relativas a la sintesis de evaluaciones:

1. Sintetizar datos de una sola evaluación.

Decida cómo se combinarán los datos en términos de los criterios y estándares de evaluación acordados para producir un juicio general de mérito o valor.

Sigue leyendo