Evaluador/a no hay camino, se hace camino al andar


Quedarse en el camino significa salir de este campo de la evaluación.

En mi carrera profesional en evaluación, quizás como much@s otr@s evaluador@s que no se quedaron en el camino, me he movido en tierra de nadie, y me pregunto si no soy visto como “pragmático” para la academia y un “teórico” en la práctica. Me sigue haciendo gracia que los “profesionales” en el terreno (a l@s que llaman “practitioners”) te llamen “teórico” como algo despectivo. Con media sonrisa pienso: “no hay mejor práctica que una buena teoría”…pero tú que me llamas teórico, tú, de tu práctica no saco más teoría que la del caos…y claro ni se nos ocurra hablar a esos practitioners de pacotilla sobre la teoría de la complejidad: si lo hacemos seremos etiquetados “además” de rebuscados, embrollados y confusos…

Por suerte o desgracia he estado en diferentes entornos de trabajo siempre en relación a la evaluación (como investigador, gestor o evaluador externo): universidad, administración pública, organismos internacionales, organizaciones locales, consultoría independiente. Ese “caminante no hay camino, se hace camino al andar” (no sé bien si deseado o impuesto o ambos), me ha convertido en un nómada, ambulante, errante, itinerante, vagabundo…y eso me ha dado la posibilidad de reforzar mi independencia.

Sigue leyendo

El arte o la industria de la evaluación


hotbook-94

La evaluación ha sido y, en algunos rincones todavía es, un arte confeccionado por artesan@s, a veces considerados charlatanes, voceras, parlanchines, vende pociones, lenguaraces, bocazas pero, otras veces, sin embargo, apreciad@s y honrad@s como magos, brujos, hechiceros, prestidigitadores, nigromantes, médiums (objetivos evaluativos ocultos), faquires (sí también porque tragan con todo), taumaturgos, prestidigitadores (más de veinte preguntas), ilusionistas (especialmente los que dan alguna recomendación que ya no se sepa)

Y como con l@s mag@s, l@s había, y los hay, buen@s y no tan buen@s. Para bien y para mal este arte arcano poco a poco se va abriendo y extendiendo: es bueno que cada vez se evalúa más (aunque sea en número). A paso de “enefante” (palabra que viene de “mitad elefante mitad enano o enana”) se está asentando una carrera profesional. Se está creando una retórica de la evaluación, de lo que hay que hacer “porque está bien” (sí, todavía estamos explicando por qué hay que evaluar, en lugar de evaluar). Pero aunque falte todavía andar casi todo lo hablado (walk the talk), lo positivo es que estamos en camino. Y me pregunto si al mismo tiempo también corre el riesgo de transformarse en un proceso industrial, como el famoso marco lógico de corta y pega que tantos escribimos para los donantes en la soledad (solitario), en lugar de como procesos de aprendizaje y construcción participativa. El problema no son las herramientas, sino el uso que hacemos de ellas, su verdadero propósito. Y al cabo, como todo lo que se extiende y se populariza, se convierte en un negocio (más)…y con los negocios todo es posible (para bien y para mal)

Sigue leyendo

Semana de la evaluación: ¿de atrás hacia adelante? ¿junt@s o revuelt@s?


Fuente

Esta semana de la evaluación GLOCAL, con el lema “Juntos, podemos ayudar a cerrar la brecha de M&E”, much@s evaluador@s van a presentar sus conocimientos, experiencias ideas, enfoques, avances, progresos, éxitos y fracasos.

Estos son algunos de los contenidos del video de presentación de GLOCAL:

  • Un buen monitoreo y evaluación puede ayudar a que “nadie se quede detrás” (ésta es la hipótesis o teoría)
  • Nos invitan a participar en el GLOCAL 2021, con el lema “construir mejor hacia adelante”. ¿Cómo el M&E pueden ayudar a las economías a recuperarse de la pandemia? (para mí el reto es ¿cómo construir “juntos”, de forma colectiva “hacia adelante”? para ello, quizás, necesitamos nuevos enfoques y formas de trabajar)
  • Facilitan el intercambio de conocimiento de nivel local y global, que es un nivel importante para el desarrollo de capacidades en M&E. Esto fomenta la responsabilidad por los resultados y fortalece el aprendizaje y la rendición de cuentas. (sobre esto hablo en el resto del post, sobre los retos de esta teoría del cambio)
  • El GEI reúne a los actores juntos para abordar la demanda de una mejor M&E (¿qué significa reunir? ¿significa gente hablando, l@s más osados sin power point, y la mayoría escuchando?)
  • Glocal 2020 tuvo un gran éxito: 265 eventos, en 40 países, que alcanzaron a 55.000 personas (¿me pregunto cuál es el concepto de “alcanzaron a personas”?)

Sin duda esta semana es un hito, un momento y oportunidad muy importantes, únicos, para el intercambio de conocimientos y ampliar nuestras redes. Sin embargo de ahí a  “Juntos, podemos ayudar a cerrar la brecha de M&E” hay un salto (¿en el vacío?).

Sigue leyendo

El concepto de gestión adaptativa


La gestión adaptativa, también conocida como gestión adaptativa de recursos es un enfoque del que ya hemos hablado en anteriores post y que se está empleando puntualmente desde hace un tiempo en la implementación de algunos programas de desarrollo internacional.

(1) Definición: es un proceso estructurado e iterativo de toma de decisiones sólida frente a la incertidumbre.

(2) Objetivo: reducir la incertidumbre a lo largo del tiempo a través de monitoreo del sistema. De esta manera, la toma de decisiones cumple simultáneamente (a) uno o más objetivos de gestión de recursos y, (b) de forma pasiva o activa, acumula la información necesaria para mejorar la gestión futura.

(3) Propósito: La gestión adaptativa es una herramienta que debe usarse no solo para cambiar un sistema, sino también para aprender sobre el sistema:

-Dado que la gestión adaptativa se basa en un proceso de aprendizaje, mejora los resultados de la gestión a largo plazo.

Sigue leyendo

Evaluación durante el desarrollo en teoría versus práctica


de-la-teoria-la-practica-y-viceversa

Hoy nos referimos a una investigación sobre la aplicación práctica de la “Evaluación durante el desarrollo o Evaluación adaptativa” (ED), a través del artículo “Evaluación durante el desarrollo en teoría versus práctica: lecciones de tres pilotos de evaluación del desarrollo

(1) Contexto de la investigación:

1.Los profesionales de la evaluación durante el desarrollo (DE) recurren a la teoría de DE para tomar decisiones de diseño e implementación.

2.Sin embargo, l@s profesional@s de DE pueden experimentar dificultades para comprender completamente cómo implementar DE utilizando la teoría porque es un método agnóstico (Patton, 2016). En cambio, DE es un enfoque basado en principios.

(2) Propósito de la investigación:

1.Este artículo presenta un examen empírico de cómo se aplicó (o no) la teoría DE durante tres casos piloto de DE.

2.Su análisis tiene como objetivo comprender mejor (1) cómo se utiliza la teoría ED en la práctica para ampliar la base de pruebas y (2) fortalecer la implementación futura de DE.

(3) Enfoque de la investigación:

1.Un consorcio de tres organizaciones implementó tres proyectos piloto de DE a través de la Agencia de los Estados Unidos para el Desarrollo Internacional (USAID) desde noviembre de 2016 a septiembre de 2019.

2.Los autores, que participaron en el consorcio, no implementaron los DE, sino que realizaron un estudio o una metaevaluación. a través de los pilotos de DE.

Sigue leyendo

Evaluación centrada en principios


Otra de las aportaciones de MQ Patton es sobre la evaluación centrada en principios. El pensamiento centrado en principios es para personas impulsadas por principios que participan en cambios basados ​​en principios. Un principio de eficacia proporciona una guía sobre cómo pensar o comportarse hacia algún resultado deseado (ya sea explícito o implícito) basado en normas, valores, creencias, experiencia y conocimiento. Un principio de alta calidad proporciona orientación sobre qué hacer, es útil para informar decisiones y acciones, proporciona inspiración como expresión de valores, es relevante para diversos contextos y situaciones y puede ser evaluado. Evaluar un principio implica examinar su significado para aquellos que se espera que lo sigan, si se está cumpliendo en la práctica y, si se cumple, si conduce a los resultados deseados.

¿Por qué principios?

Nos encontramos el cambio por todos lados, nos envuelve desde todas las direcciones, es omnipresente. Tenemos opciones sobre cómo afrontar, comprometernos y afrontar el cambio. Los principios informan y orientan esas elecciones. Lo hacen diciéndonos cómo actuar.

Sigue leyendo

Ma(nua)l para gestor@s: Cómo diseñar una evaluación y morir en el intento


Inspirado en el post “Principios metodológicos para diseñar evaluaciones de alta calidad” y en un taller reciente sobre “Estructuras liberadoras” en evaluación (en concreto de la estructura “Triz“), desarrollé en este post una tormenta perfecta, de cómo asegurar que un proceso evaluativo sea inútil, un fracaso, un infierno, una absoluta pérdida de tiempo y una pesadilla para l@s implicad@s. Aquí mis consejos para gestor@s de evaluación:

1.El evaluando, nuestro enemigo a derrotar: Consideremos al programa y/ o equipo evaluado como como sujetos sospechosos, alumn@s díscol@s, siempre descontent@s e incómodos con ser evaluad@s, que siempre esconden algo y merecen un castigo. Tolerancia cero, nuestro objetivo es hacerles ver sus propias costuras que, además, son muchas.

2.El equipo evaluador, es@s impostor@s. Desconfiemos del equipo evaluador, que por naturaleza son una élite aburridísima, malcriada y sabelotodo, pero que en el fondo están llen@s de prejuicios y ningun@ se libra del síndrome de dunning-kruger. Cuanto peor se les trate, más nos respetarán. Si hay que conseguir un cambio, que sea que los evaluador@s terminen con lo que se merecen, con el síndrome del/ la impostor/a.

Sigue leyendo

Principios metodológicos para diseñar evaluaciones de alta calidad


En el reciente informe “Evaluación de las intervenciones de desarrollo internacional: una descripción general de los enfoques y métodos“, se discute acerca de algunos de los principios metodológicos clave del diseño de la evaluación que proporcionan las bases para la selección, adaptación y uso de enfoques y métodos de evaluación en el contexto de evaluación del desarrollo. El informe se centra solo en cuestiones metodológicas y no discute otros aspectos clave del diseño, como el uso previsto de la evaluación por parte de las partes interesadas.

Los principios discutidos también se refieren a la evaluación en general, pero son especialmente pertinentes para diseñar evaluaciones independientes en un contexto de desarrollo internacional. Consideran que los siguientes principios metodológicos son importantes para diseñar y desarrollar evaluaciones de alta calidad:

1. Dar la debida consideración a los aspectos metodológicos de la calidad de la evaluación en el diseño: enfoque, consistencia, confiabilidad y validez

Sigue leyendo

Un enfoque para valorar la calidad de las evaluaciones durante el desarrollo


routine_new_things

Fuente

Siguiendo con nuestra sección “Evaluación durante el desarrollo“, ya comentamos en el post “Control de calidad de las evaluaciones durante el desarrollo (o adaptativas)” que la Oficina de Evaluación de UNFPA ha desarrollado un nuevo y relevante “Marco de Garantía de calidad y valoración de las evaluaciones durante el desarrollo (o adaptativas) en UNFPA” para ayudar a la Oficina de evaluación y a terceros a valorar la calidad de las evaluaciones durante el desarrollo (o evaluaciones adaptativas) ejecutadas por/para esta agencia. 

En este informe se indica que el enfoque para valorar la calidad de las evaluaciones durante el desarrollo (o adaptativas) se organiza en torno a seis características clave:

1. Una combinación de principios de evaluación durante el desarrollo y normas de evaluación del UNEG

2. Énfasis tanto en (a) informes de evaluación (productos) como (b) proceso de evaluación

3. Calificar la adherencia de la evaluación a las prácticas mínimas para cada principio / estándar.

4. Tres fuentes de datos y métodos

5. Un proceso de cinco pasos

6. Opciones para la escalada, replicación o ampliación

Cada una de estas características clave se describe a continuación:

Sigue leyendo

Control de calidad de las evaluaciones durante el desarrollo (o adaptativas)


La Oficina de Evaluación de UNFPA ha desarrollado un nuevo y relevante “Marco de Garantía de calidad y valoración de las evaluaciones durante el desarrollo (o adaptativas) en UNFPA” para ayudar a la Oficina de evaluación y a terceros a valorar la calidad de las evaluaciones durante el desarrollo (o evaluaciones adaptativas) ejecutadas por/para la agencia. En este informe se señalan algunas tensiones que hay que afrontar para garantizar la calidad de las evaluaciones durante el desarrollo (o adaptativas)

Varias tensiones son inevitables en la aplicación de los principios de la evaluación durante el desarrollo en las evaluaciones gestionadas por organizaciones y afectarán la calidad de la evaluación. Estas tensiones no pueden (re) resolverse; más bien, deben abordarse como desafíos de diseño y gestionarse de forma creativa.

Grandes tensiones: Existen tres tensiones principales para garantizar la calidad en las evaluaciones de desarrollo gestionadas por las organizaciones. Se relacionan con (a) propósito, (b) relaciones y (c) gestión y/o administración.

1 Tensiones relacionadas con el propósito

La tensión de propósito principal es (a) entre la evaluación durante el desarrollo como un proceso interno para apoyar el desarrollo y (b) la adaptación de una intervención y el uso más tradicional de la evaluación como un mecanismo para informar y rendir cuentas a un organismo superior o externo.

(1) Por un lado, el objetivo de la evaluación durante desarrollo es (a) proporcionar a las partes interesadas de la iniciativa retroalimentación en tiempo real sobre los resultados de sus esfuerzos, (b) generar nuevos aprendizajes sobre los desafíos que están tratando de abordar, identificar y (c) reflexionar críticamente sobre las fortalezas y debilidades en su trabajo y (d) para permitir adaptaciones basadas en datos a sus objetivos y enfoque general. Esto incluye la necesidad de que (e) los usuarios principales de la evaluación utilicen conjuntamente los hallazgos, las implicaciones y las opciones que surgieron en el proceso para tomar decisiones sobre dónde y cómo desarrollar la intervención, en lugar de confiar en las recomendaciones del equipo de evaluación.

Sigue leyendo