Las circunstancias actuales nos animan a repensar cómo evaluamos teniendo en cuenta los desafíos (a) éticos, (b) conceptuales y (c) metodológicos que afectarán nuestra capacidad para realizar evaluaciones. De nuevo un interesante post del Banco Mundial sobre la «Realización de evaluaciones en tiempos de COVID-19 (Coronavirus)». 8 de abril de 2020, por Jos Vaessen & Estelle Raimondo

Este momento también es un reto para aquell@s que trabajamos en funciones de evaluación en el campo del desarrollo internacional, donde generalmente tenemos el lujo del tiempo, operamos dentro de teorías claras de cambio y hacemos nuestro mejor trabajo cuando podemos mezclar métodos, usar múltiples fuentes de datos y realizar entrevistas en profundidad con una variedad de partes interesadas.

Estas circunstancias nos  animan a repensar cómo realizar nuestro trabajo evaluativo. En una serie  posts los autores discuten tres desafíos principales (éticos, conceptuales y metodológicos) que afectarán a nuestra capacidad para realizar evaluaciones.

En una publicación de blog posterior discutirán con más detalle algunas opciones metodológicas que podemos considerar aprovechar. Esta discusión se centra en el contexto de evaluación de las funciones de evaluación (independientes) establecidas en organizaciones internacionales o ministerios nacionales que trabajan principalmente en evaluaciones programáticas de alto nivel de programas sectoriales, temáticos o de país.

Las evaluaciones programáticas enfrentan diferentes tipos de desafíos, ya que recopilan principalmente datos a nivel institucional, por ejemplo, entre ministerios, entidades gubernamentales subnacionales o socios de desarrollo.

1.Desafíos éticos:

Desde un punto de vista ético, los planes de trabajo de evaluación inevitablemente necesitarán ajustes. La consideración cuidadosa del coste de oportunidad, de la relación riesgo-ganancia/recompensa, de las actividades de evaluación será más importante que en escenarios pasados. En primer lugar, donde la evaluación es un componente clave para comprender si las intervenciones de salud pública y otras intervenciones prioritarias (por ejemplo, protección social y redes de seguridad social para ciudadan@s (vulnerables)) funcionan y cómo funcionan, l@s evaluador@s deben estar integrad@s  (1) no solo para poder recopilar los mejores datos posibles y realizar las mejores evaluaciones posibles para informar a los responsables de la toma de decisiones durante la crisis, (2) sino también para corroborar debates críticos que tendrán lugar una vez que la crisis esté terminando. Recordemos también que en varios de los países donde operan nuestras organizaciones, especialmente en estados frágiles y afectados por conflictos, COVID-19 es solo uno de los muchos desafíos críticos que enfrentan.

Para otros sectores y para otros tipos de trabajo evaluativo (la mayoría de las evaluaciones programáticas realizadas por las funciones de evaluación caen en esta categoría), los evaluadores deben, ante todo, preocuparse por no ejercer presión innecesaria sobre un sistema público demasiado sobrecargado. Por lo tanto, el mejor enfoque sería reducir (y priorizar) las interacciones directas con colegas operativos que trabajan en sectores relacionados con la crisis, mientras se intensifican los esfuerzos para llevar a cabo el trabajo evaluativo de manera diferente dadas las limitaciones.

Una consideración ética más sutil es preguntar si se pueden cumplir las condiciones necesarias para que las evaluaciones sean útiles y se utilicen. ¿Podemos esperar que nuestra audiencia escuche? L@s evaluador@s no deben ser sord@s y depender de mecanismos institucionales bien engrasados ​​que regulan la producción de evaluaciones para preservar «el trabajo tradicional, lo de siempre».

Avanzando con los planes de trabajo de evaluación y el diseño de la evaluación, se necesita un cambio conceptual. En una pandemia global de las proporciones que estamos experimentando actualmente, los efectos repercuten mucho más allá del sector de la salud pública y los efectos (in) directos sobre la salud de COVID-19 en l@s ciudadan@s. La pandemia global, las medidas de contención impuestas por el gobierno y los cambios de comportamiento durante la crisis del sector privado y la ciudadanía,  pueden tener efectos significativos y duraderos en una amplia gama de temas de importancia social.

2.Desafíos metodológicos:

Desde una perspectiva metodológica, identifican cuatro desafíos principales para los evaluadores.

El primer desafío se refiere a las restricciones actuales sobre la recopilación de datos empíricos a nivel institucional. Debido a las restricciones de viaje, las prioridades institucionales cambiantes y el acceso institucional (como resultado de las condiciones impuestas de «cierre»), algunas de las partes interesadas clave no están disponibles para entrevistas. Como resultado, los evaluadores pueden recurrir al muestreo de conveniencia / propositivo / intencional, pero hay que conscientes de la propensión al sesgo de selección.

En segundo lugar, cualquier ejercicio de evaluación se verá significativamente limitado debido a la incapacidad de realizar la recopilación de datos en el terreno. Los evaluadores tendrán dificultades para desarrollar una perspectiva rica y contextualizada del evaluando. Las estrategias de recopilación de datos, como la observación discreta, la construcción de una buena relación con las partes interesadas (observando las costumbres locales y las normas culturales), así como todo tipo de indagación inductiva (incluida la muestra in situ, con el enfoque de bola de nieve de los entrevistados). Las entrevistas remotas (por teléfono, teleconferencias) constituyen solo una solución parcial a este desafío. Solo aliviará en parte el problema de acceso y es propenso a sesgos (especialmente cuando las entrevistas cubren temas complejos o delicados).

El tercer desafío está estrechamente relacionado con los dos anteriores: es justo decir que incluso antes de COVD-19, algunas evaluaciones programáticas pueden haber estado sujetas a algún tipo de «sesgo del gobierno central» en cuanto a su recopilación de datos. Dependiendo de la naturaleza de la evaluación, es probable que muchas entrevistas involucren a las partes interesadas de gobiernos federales directamente involucradas en la planificación, financiación e ejecución de intervenciones. Las entrevistas con las partes interesadas en los niveles descentralizados del gobierno federal (por ejemplo, subnacionales, provinciales…) y especialmente en las zonas rurales pueden ser más difíciles de planificar en las circunstancias actuales, lo que refuerza el sesgo mencionado anteriormente.

Finalmente, un cuarto desafío se refiere a aprovechar el potencial de la revisión y análisis documental durante la fase ​​de gabinete.  En las evaluaciones se dan cada vez más revisiones y sistematizaciones de los conocimientos y datos existentes. Las revisiones de evaluaciones existentes, las revisiones de estrategia, las revisiones estructuradas académicas y de literatura institucional (y así sucesivamente), en la medida de lo posible, se pueden realizar de manera más rigurosa e inteligente. Esto también se aplica al análisis de datos existentes, tanto convencionales (por ejemplo, datos corporativos, datos de encuestas) como «big data» (por ejemplo, datos de imágenes, datos de redes sociales).