Fuente: https://francescricart.com/

Retomamos el post Evaluando en tiempos de pandemia (basado en un post de abril de 2020, por Jos Vaessen & Estelle Raimondo del Banco Mundial): efectivamente estos últimos 8 meses desde la gestión y ejecución de evaluaciones hemos tenido desafíos (a) éticos, (b) conceptuales y (c) metodológicos que han afectado/están afectado a nuestra capacidad para usar las evaluaciones:

1.Desafíos éticos:

Desde un punto de vista ético, los planes de trabajo de evaluación inevitablemente han necesitado/están necesitando ajustes y plazos más largos/dilatados.

En primer lugar, donde la evaluación podría haber sido un componente clave para comprender si las intervenciones de salud pública y otras intervenciones prioritarias (por ejemplo, protección social y redes de seguridad social para ciudadan@s (vulnerables)) han funcionando y cómo funcionan, l@s evaluador@s deberían haber sido integrad@s (aunque, por desgracia, no lo han sido en demasiados casos):  (1) no solo para poder recopilar los mejores datos posibles y realizar las mejores evaluaciones posibles para informar a los responsables de la toma de decisiones durante la crisis, (2) sino también para corroborar debates críticos que tienen y tendrán lugar una vez que la crisis esté terminando.

En segundo lugar, la evaluación ha tratado/está tratado de no ejercer presión innecesaria sobre instituciones y sistemas públicos demasiado sobrecargados, el enfoque ha sido reducir (y priorizar) las interacciones directas con colegas operativos que trabajan en sectores relacionados con la crisis, mientras se han intensificado los esfuerzos para llevar a cabo el trabajo evaluativo de manera diferente dadas las limitaciones. Sin embargo en la práctica, ¿ha sido o está siendo relevante la evaluación para las estrategias y operaciones desplegadas frente al C-19?

En tercer lugar, una consideración ética más sutil ha sido/está siendo cumplir las condiciones necesarias para que las evaluaciones sean útiles y se utilicen. ¿Podemos esperar que nuestra audiencia escuche? L@s evaluador@s han tratado/están tratando de ser proactiv@s y no depender de mecanismos institucionales, no tan bien preparadas ​​para regular la demanda, producción y uso de evaluaciones de cara al aprendizaje y mejora.

Resumiendo mi percepción (ojalá me equivoque): en general la evaluación ha sido de nuevo: (a) vencida por los procedimientos (burocracia) – que tanto aman las instituciones (porque es a lo poco a lo que rinden cuentas), procedimientos tan indiferentes o reñidos a menudo tanto con el «aprendizaje», como con los «resultados» («business as usual»)-, (b) vencida por el activismo ciego ligado a los procedimientos pero, sobre todo, (b) vencida por la falta de liderazgo y capacidad estratégica-: más allá «del deseo y del debería», la evaluación no está siendo, ni una prioridad, ni relevante, durante la respuesta al C-19 (pero no quiero ser dogmático, corregidme por favor si me equivoco).

2.Desafíos conceptuales:

Avanzando con los planes de trabajo de evaluación y el diseño de la evaluación, se debería haber dado un cambio conceptual -que no se ha dado-. En una pandemia global de las proporciones que estamos sufriendo, los efectos repercuten mucho más allá del sector de la salud pública y los efectos (in) directos sobre la salud de COVID-19 en l@s ciudadan@s. La pandemia global, las medidas de contención impuestas por los gobiernos y los cambios de comportamiento durante la crisis del sector privado y la ciudadanía,  pueden tener efectos significativos y duraderos en una amplia gama de temas de importancia social. Como ejemplo: se ha acordado una evaluación a la OMS sobre su respuesta a la pandemia, pero siendo consistentes con este cambio conceptual, la evaluación debería ir más allá, hacia la evaluación de la respuesta al COVID-19 por los estados o por el sistema de Naciones Unidas (como complemento a las evaluaciones en tiempo real que se están haciendo actualmente de forma dispersa y fragmentada). 

3.Desafíos metodológicos:

Desde una perspectiva metodológica, ha habido/está habiendo cuatro desafíos principales para l@s evaluador@s:

El primer desafío se refiere a las restricciones sobre la recopilación de datos empíricos a nivel institucional: algunas de las partes interesadas clave no han estado/están disponibles para entrevistas. Como resultado, los evaluadores han recurrido/están recurriendo al muestreo de conveniencia / propositivo / intencional, aun siendo conscientes de la propensión al sesgo de selección.

En segundo lugar, la mayoría de los ejercicios de evaluación se han visto significativamente limitados debido a la incapacidad de realizar la recopilación de datos en el terreno. Los evaluadores han tenido dificultades para desarrollar (1) una perspectiva rica y contextualizada del evaluando, (2) las estrategias de recopilación de datos, como (a) la observación directa, (b) la construcción de una buena relación con las partes interesadas (observando las costumbres locales y las normas culturales), así como (c) todo tipo de indagación inductiva (incluida la muestra in situ, con el muestreo de bola de nieve de los entrevistados). Las entrevistas remotas (por teléfono, teleconferencias) constituyen solo una solución parcial a este desafío. Se ha mitigado sólo en parte el problema de acceso y es propenso a sesgos (especialmente cuando las entrevistas cubren temas complejos o delicados).

El tercer desafío está estrechamente relacionado con los dos anteriores: es justo decir que incluso antes de COVD-19, algunas evaluaciones programáticas pueden haber estado sujetas a algún tipo de “sesgo del gobierno central” en cuanto a su recopilación de datos. Dependiendo de la naturaleza de la evaluación,  muchas entrevistas ha involucrado a las partes interesadas de gobiernos federales directamente involucradas en la planificación, financiación e ejecución de intervenciones (garantes de derechos). Las entrevistas con las partes interesadas en los niveles descentralizados del gobierno federal  (por ejemplo, subnacionales, provinciales…) y con los sujetos de derecho/beneficiarios, especialmente en las zonas rurales, han sido/están siendo más difíciles de planificar en las circunstancias actuales, lo que ha reforzado el sesgo mencionado anteriormente.

Finalmente, un cuarto desafío se refiere a aprovechar el potencial de la revisión y análisis documental durante la fase ​​de gabinete.  Estos meses se han difundido revisiones y sistematizaciones de los conocimientos y datos existentes (aunque otra historia es si los hemos podido internalizar e institucionalizar). Todo ese conocimiento que entre marzo y mayo fue compartido no es seguro que fuese correctamente internalizado/institucionalizado para el uso. Dada la débil capacidad/estructura de gestión del conocimiento de nuestras organizaciones, quizás se ha llegado a una saturación. ¿Podrían haber tenido mayor importancia/relevancia práctica: Las revisiones de evaluaciones existentes, las revisiones de estrategia, las revisiones estructuradas académicas y de literatura institucional (y así sucesivamente) y el análisis de datos existentes, tanto convencionales (por ejemplo, datos corporativos, datos de encuestas)? 

De alguna manera con estos sesgos y limitaciones, la evaluación ha debido hacer/está haciendo un compromiso entre rigor, participación, credibilidad y utilidad.

De cara a estar preparados para el futuro, quizás una evaluación conjunta final de nuestra respuesta al COVID pudiera dar luz en algunas de estas cuestiones.