¿Hasta dónde se atrevería la evaluación para salvar el mundo?


Tomé un hilo de Twitter hoy de Dana Linnell Wanzer, en el que Dana indicaba que estaba leyendo el artículo de Robert Stake «¿Hasta dónde se atrevería la evaluación para salvar el mundo?« sobre la defensa o promoción de la evaluación.

Stake argumenta que hay seis formas comunes en que l@s evaluador@s defienden o abogan por la evaluación:

1. Nos preocupamos y, a menudo, creemos en el evaluando. Esperamos encontrar el «programa evaluado» funcionando.

2. Nos importa la evaluación y queremos que otr@s se preocupen por ella. Promovemos la evaluación y la profesión.

3. Abogamos por, promovemos la racionalidad: lógica e imparcialidad.

4. Queremos que nuestro trabajo evaluativo sea escuchado y utilizado, y que los programas evaluados (y más allá) se apropien de él.

5. Nos preocupan por las personas vulnerables y con menos privilegios

6. Somos defensores de una sociedad democrática. Sigue leyendo

Qué y Cómo desarrollar del pensamiento evaluativo (I)


M.Q Patton UFE

Si consideramos los actuales roles de la función de evaluación, aunque en la actual pandemia (a) se limite la evaluabilidad de las intervenciones clásicas a evaluar, (b) además de la propia evaluación de la respuesta frente a la pandemia y (c) de la generación y gestión de conocimiento relevante, (d) otro de los roles de la función de evaluación es el desarrollo de pensamiento evaluativo a todos los niveles posibles.

El pensamiento evaluativo (PE) es un enfoque disciplinado para la indagación y la práctica reflexiva que nos ayuda a emitir juicios sólidos, basados en evidencias, como un hábito.

El PE (1) no es aplicable sólo en/a la evaluación (o unidades de evaluación) sino en toda la organización y fases de la gestión, (2) tiene una dimensión de desarrollo de capacidades a nivel individual, organizacional y estructural

Un enfoque de PE tiene como objetivo cambiar la actitud (motivación, apropiación y comprensión), la aptitud (capacidades, medios y habilidades) e incentivos (oportunidades) en relación a (1) el pensamiento evaluativo en general y (2) la utilidad de la evaluación para la organización, siendo una herramienta que podría ser integrada en las tareas de todos los miembros de la organización.

¿Cómo asegurar un pensamiento evaluativo continuo en las organizaciones? Al ser el PE una disciplina, necesita de un enfoque específico de refuerzo de capacidades en toda la organización (no solo en las unidades de evaluación) sobre las disciplinas requeridas: Sigue leyendo

Evaluabilidad en tiempos de pandemia


Dados los retos que supone la situación actual para la práctica tradicional de la evaluación, empezamos una serie de posts sobre «evaluabilidad». Entre las agencias internacionales de desarrollo parece haber un acuerdo generalizado sobre el significado del término «evaluabilidad». La siguiente definición de la Organización para la Cooperación Económica y el Comité de Ayuda al Desarrollo-Desarrollo (OCDE-CAD) es ampliamente citada y utilizada:

“La medida en que una actividad o proyecto puede evaluarse de manera confiable y creíble” (OCDE-CAD 2010; p.21)

El documento de trabajo del DFID (Davies 2013) sobre la valoración de la evaluabilidad identificó las siguientes dimensiones de evaluabilidad:

• La evaluabilidad «en principio» analizará (1) la claridad de los fundamentos conceptuales y (2) el diseño de la intervención, incluida (a) la teoría subyacente del cambio y (b) cómo se ha traducido en el marco de resultados de la intervención. Sigue leyendo

Iniciativas para el alineamiento de l@s evaluador@s: Foro de Transformación de ODS


Una de las Iniciativas que indica Zenda Ofir en “Transformando las evaluaciones y COVID-19, Parte 4. Acelerando el cambio en la práctica”  para fomentar la alineación de l@s evaluador@s en la práctica actual es el Foro de Transformación de ODS

En la página del Foro de Transformación de ODS  se expone que dicho Foro: (1 )ayuda a las personas, instituciones y redes a comprender mejor los sistemas en los que trabajan, (2) los conecta a través de las muchas barreras disciplinarias y sectoriales, y (3) toma o apoya acciones radicales destinadas a marcar la diferencia.

Seis (todavía voluntarios) ‘equipos de administradores’ apoyan las prioridades que los expertos (en el texto original, dice expertos) identificaron como cruciales para desbloquear restricciones severas para una transformación exitosa: (1) Capacidades, (2) Gobernanza, (3) Finanzas, (4) Innovaciones, (5) Narrativas y (6) Evaluaciones. Sigue leyendo

Evaluador@s, transformando nuestra forma de ser y estar


 

Como de costumbre inspirardor y positivo mensaje de Zenda Ofir en «Transformando las evaluaciones y COVID-19, Parte 4. Acelerando el cambio en la práctica», (20 de abril de 2020), donde Zenda Ofir indica que es el momento adecuado para que l@s profesionales de evaluación se alineen. Por «alinearse» Zenda se refiere a:

(1) Compartir algunos objetivos generales como profesionales de evaluación que desean contribuir al mundo. Compartir algunas prioridades, métodos y recursos comunes. Trabajando hacia una comunicación impactante sobre estos.

(2) Fomentar la práctica evaluativa que puede contribuir significativamente a un mundo sostenible en este momento.

(3) Desarrollar y compartir activamente conocimientos de vanguardia sobre temas prioritarios entre los silos de los profesionales de evaluación, mientras se mantiene la diversidad en el propósito y la acción.

(5) Apoyar a las generaciones actuales y futuras con todo esto en mente, utilizando algunos temas y puntos de vista comunes sin dejar de adaptar los planes de estudio y acciones para cada contexto.

(6) Acelerar las contribuciones de la práctica evaluativa a los cambios dramáticos de los que somos parte, o que necesitamos ayudar a fomentar. Sigue leyendo

Evaluando en tiempos de pandemia


Las circunstancias actuales nos animan a repensar cómo evaluamos teniendo en cuenta los desafíos (a) éticos, (b) conceptuales y (c) metodológicos que afectarán nuestra capacidad para realizar evaluaciones. De nuevo un interesante post del Banco Mundial sobre la «Realización de evaluaciones en tiempos de COVID-19 (Coronavirus)». 8 de abril de 2020, por Jos Vaessen & Estelle Raimondo

Este momento también es un reto para aquell@s que trabajamos en funciones de evaluación en el campo del desarrollo internacional, donde generalmente tenemos el lujo del tiempo, operamos dentro de teorías claras de cambio y hacemos nuestro mejor trabajo cuando podemos mezclar métodos, usar múltiples fuentes de datos y realizar entrevistas en profundidad con una variedad de partes interesadas.

Estas circunstancias nos  animan a repensar cómo realizar nuestro trabajo evaluativo. En una serie  posts los autores discuten tres desafíos principales (éticos, conceptuales y metodológicos) que afectarán a nuestra capacidad para realizar evaluaciones. Sigue leyendo

MQ Patton y las implicaciones de la pandemia para l@s evaluador@s


MQPatton, uno de nuestros referentes, ha estado en este oficio de la evaluación y escribiendo sobre la profesión de evaluación durante casi 50 años. Durante la última década, ha escrito sobre «evaluación bajo condiciones de complejidad» (Developmental evaluation / Evaluación en o durante el desarrollo) y transformaciones de sistemas globales (Blue Marble Evaluation). En su post del 23 de Marzo 2020, Implicaciones en la evaluación de la actual pandemia,  MQPAtton nos da su visión sobre la actual pandemia y las implicaciones que puede tener para la evaluación. Esta es su opinión sobre dónde estamos y hacia dónde deberíamos ir como evaluador@s:

  1. Adaptemos ahora los planes y diseños de evaluación.
  2. Seamos proactivos. No esperemos y no pensemos que esto va a pasar rápidamente.
  3. Centrémonos en el uso, no en nosotr@s. El trabajo de las personas con las que trabajamos no es consolarnos ni ayudarnos como evaluador@s.
  4. Reglas de datos en tiempo real.
  5. Consideremos el estándar de rigor «suficientemente bueno». Separarse del rigor como un estándar metodológico absoluto.
  6. Todo cambia en una crisis. Abraza el cambio, no te resistas.
  7. Participa en el pensamiento sistémico.
  8. Piensa globalmente, actúa localmente.
  9. Prepárate para defender el valor de la evaluación.
  10. Tengamos conocimiento, seamos un verificadores de hechos.
  11. Modela el pensamiento evaluativo sistemático.
  12. Aboga por mejores datos.
  13. Destaquemos la necesidad de una transformación de sostenibilidad global a más largo plazo.
  14. Sigue aprendiendo.
  15. Apoyarse mutuamente como comunidad de evaluación.

Adaptando el rol de la evaluación durante esta pandemia


Con el artículo «Reflexionando sobre el rol de la evaluación durante esta pandemia global» de Miranda Yates, el pasado 21 de marzo de 2020, desde la AEA ha comenzado los sábados una serie de posts/blogs que nos brindan un espacio para reflexionar e intercambiar información sobre nuestra práctica como evaluadores en respuesta a la pandemia global. Esta semana abordan cómo adaptar nuestros roles a las necesidades de l@s proveedor@s de servicios con los que trabajamos. Es normal sentirse sol@, ansios@ e incluso temeros@ en momentos de cambios sin precedentes como este. El mejor servicio que podemos brindarnos a nosotros mismos y a aquellos con quienes trabajamos es recordar que el cambio también crea espacio para la innovación y nuevas posibilidades para echar raíces. La comunidad de la AEA ha servido como fuente de inspiración, apoyo y colaboración durante décadas, y esperan que estos blogs también generen esas mismas conversaciones y colaboraciones.

Así, desde la ciudad de Nueva York, Miranda Yates de Good Shepherd Services, una organización de desarrollo juvenil y familiar de servicios múltiples. Es parte de un equipo de evaluadores intern@s, que se han esforzado por adaptarse a las demandas siempre cambiantes y urgentes impuestas a su organización sin fines de lucro por la pandemia COVID-19. En respuesta, les gustaría comenzar una comunidad de aprendizaje para compartir consejos, herramientas e ideas. A continuación se presentan algunos aspectos destacados basados ​​en sus experiencias durante las últimas dos semanas.

Algunas herramientas prácticas e ideas para evaluador@s: Sigue leyendo

Algunas lecciones para enfrentarse a la pandemia en países vulnerables y de renta media y baja


Las siguientes son las lecciones sobre respuesta a epidemias para aumentar la resiliencia de los países con publaciones más vulnerables, que son complementarias a las medidas de distanciamiento social y sistemas proactivos y de gran cobertura de tests rápidos que parecen que están funcionando en los países más desarrollados (a partir de los posts anteriores Enfrentarse al coronavirus también desde la evaluación y la gestión del conocimiento y Contribuyendo a la resiliencia de los países más pobres y vulnerables durante esta pandemia (I de II))

A. Lecciones sobre respuesta inmediata a partir de evaluaciones pasadas:

1.Garantizar la apropiación y la coordinación al más alto nivel del gobierno, lo que a su vez requiere enfoques a la medida, según las especificidades y necesidades nacionales y locales.

1.1. En el caso de la respuestas pasadas (1) acción basada en la evidencia ante la crisis, (2) debate político como base para el desarrollo y la acciones políticas, (3) las capacidades del personal fortalecido a todos los niveles para responder a la emergencia, (4) mejora del nivel de transparencia y apertura, y (5) el público en general participó en la respuesta a la epidémia, y (6) se movilizaron recursos para apoyar la respuesta nacional.

1.2. Se establecieron centros de operaciones de emergencia que facilitaron los esfuerzos de respuesta y coordinación de todas las partes involucradas.

2.El financiamiento y uso de ayudas públicas es esencial. Dada la naturaleza global de los bienes públicos de los efectos secundarios de la respuesta a las enfermedades infecciosas emergentes, la disponibilidad de subvenciones es crucial a nivel de país. Los países de bajos ingresos estarían especialmente “indispuestos” a emprender proyectos que respalden un bien público global sin financiamiento de subvenciones. Con la provisión de financiamiento de subvenciones, se puede hacer más para alentar la cooperación entre países a nivel regional, como para compartir datos, muestras y recursos técnicos. Durante las epidemias pasadas, algunos países no percibían mucha amenaza o riesgo, o carecían de interés en usar sus propios fondos para apoyar un bien público global. El financiamiento de subvenciones fue útil para conseguir que el apoyo a las intervenciones fueran más asequibles para estos países.

3. Asociarse  con agencias técnicas especializadas.La función de convocatoria y financiamiento de instituciones financieras como los Bancos de Desarrollo funcionan mejor cuando se combinan con la experiencia técnica de agencias especializadas. El apoyo de respuesta a las crisis proveniente de múltiples socios a menudo se vuelve descoordinado y puede abrumar a los gobiernos receptores.

4 Incluir mecanismos de compensación en la respuesta.

(a) Los mecanismos compensatorios demostraron ser un elemento crítico para informar sobre brotes epidémicos. Es importante que los afectados conozcan y tengan plena confianza en el sistema, por lo que los mecanismos deben diseñarse y publicitarse antes de que ocurran brotes de enfermedades. Sigue leyendo

Enfrentarse al coronavirus también desde la evaluación y la gestión del conocimiento


Lecciones aprendidas de Evaluaciones es lo que nos ofrece la función de evaluación del Banco Asiático de Desarrollo: «Respondiendo a la Crisis del Coronavirus: Lecciones desde la Evaluación» («Responding to the Novel Coronavirus Crisis: 13 Lessons from Evaluation»)

El Coronavirus de 2019 (COVID-19), reportado por primera vez desde Wuhan, China, el 31 de diciembre de 2019, es la última enfermedad infecciosa emergente que declara una emergencia de salud pública de preocupación internacional. La situación está evolucionando con estrépito. La facilidad de los viajes mundiales y el aumento de la interdependencia global han agregado complejidad a la contención de enfermedades como el COVID-19 que afectan la salud y la estabilidad económica de las sociedades. El desafío inmediato es responder con urgencia para contener la propagación del nuevo virus e identificar, aislar y tratar rápidamente a los pacientes infectados, pero de una manera que ayude a mejorar las respuestas futuras. Además del enorme número de víctimas humanas, el impacto económico de la transmisión transfronteriza y la propagación de esta enfermedad infecciosa en el turismo, el comercio y la productividad ya alcanza miles de millones de dólares. A medida que el mundo se enfrenta a la tarea desalentadora de contener la propagación de COVID-19 y tratar a los enfermos, evaluaciones pasadas de las respuestas financieras y técnicas pasadas al (1) Síndrome Respiratorio Agudo Severo (SRAS), (2) el Ébola y (3) la Influenza Aviar proporcionan algunas lecciones sobre el apoyo a los países durante y después de las fases críticas de los brotes:

Las siguientes son las lecciones sobre respuesta inmediata

1.Garantizar la apropiación y la coordinación del apoyo al más alto nivel del gobierno, lo que a su vez requiere enfoques a la medida, según las especificidades y necesidades locales.

1.1. En el caso de la respuesta al brote de SRAS en la República Popular China, (1) se transmitieron señales claras e inequívocas a todos los niveles para iniciar una acción basada en la evidencia ante la crisis, (2) se alentó la discusión y el debate sobre políticas como base para el desarrollo y la acciones políticas, (3) las capacidades del personal fortalecido a todos los niveles para responder a la emergencia, (4) se mejoró el nivel de transparencia y apertura, y (5) el público en general participó en la respuesta a la epidémia, y (6) se movilizaron recursos para apoyar la respuesta nacional. Sigue leyendo