Evaluador/a no hay camino, se hace camino al andar


Quedarse en el camino significa salir de este campo de la evaluación.

En mi carrera profesional en evaluación, quizás como much@s otr@s evaluador@s que no se quedaron en el camino, me he movido en tierra de nadie, y me pregunto si no soy visto como «pragmático» para la academia y un «teórico» en la práctica. Me sigue haciendo gracia que los «profesionales» en el terreno (a l@s que llaman «practitioners») te llamen «teórico» como algo despectivo. Con media sonrisa pienso: «no hay mejor práctica que una buena teoría»…pero tú que me llamas teórico, tú, de tu práctica no saco más teoría que la del caos…y claro ni se nos ocurra hablar a esos practitioners de pacotilla sobre la teoría de la complejidad: si lo hacemos seremos etiquetados «además» de rebuscados, embrollados y confusos…

Por suerte o desgracia he estado en diferentes entornos de trabajo siempre en relación a la evaluación (como investigador, gestor o evaluador externo): universidad, administración pública, organismos internacionales, organizaciones locales, consultoría independiente. Ese «caminante no hay camino, se hace camino al andar» (no sé bien si deseado o impuesto o ambos), me ha convertido en un nómada, ambulante, errante, itinerante, vagabundo…y eso me ha dado la posibilidad de reforzar mi independencia.

Sigue leyendo

El arte o la industria de la evaluación


hotbook-94

La evaluación ha sido y, en algunos rincones todavía es, un arte confeccionado por artesan@s, a veces considerados charlatanes, voceras, parlanchines, vende pociones, lenguaraces, bocazas pero, otras veces, sin embargo, apreciad@s y honrad@s como magos, brujos, hechiceros, prestidigitadores, nigromantes, médiums (objetivos evaluativos ocultos), faquires (sí también porque tragan con todo), taumaturgos, prestidigitadores (más de veinte preguntas), ilusionistas (especialmente los que dan alguna recomendación que ya no se sepa)

Y como con l@s mag@s, l@s había, y los hay, buen@s y no tan buen@s. Para bien y para mal este arte arcano poco a poco se va abriendo y extendiendo: es bueno que cada vez se evalúa más (aunque sea en número). A paso de «enefante» (palabra que viene de «mitad elefante mitad enano o enana») se está asentando una carrera profesional. Se está creando una retórica de la evaluación, de lo que hay que hacer «porque está bien» (sí, todavía estamos explicando por qué hay que evaluar, en lugar de evaluar). Pero aunque falte todavía andar casi todo lo hablado (walk the talk), lo positivo es que estamos en camino. Y me pregunto si al mismo tiempo también corre el riesgo de transformarse en un proceso industrial, como el famoso marco lógico de corta y pega que tantos escribimos para los donantes en la soledad (solitario), en lugar de como procesos de aprendizaje y construcción participativa. El problema no son las herramientas, sino el uso que hacemos de ellas, su verdadero propósito. Y al cabo, como todo lo que se extiende y se populariza, se convierte en un negocio (más)…y con los negocios todo es posible (para bien y para mal)

Sigue leyendo

Principios metodológicos para diseñar evaluaciones de alta calidad


En el reciente informe «Evaluación de las intervenciones de desarrollo internacional: una descripción general de los enfoques y métodos«, se discute acerca de algunos de los principios metodológicos clave del diseño de la evaluación que proporcionan las bases para la selección, adaptación y uso de enfoques y métodos de evaluación en el contexto de evaluación del desarrollo. El informe se centra solo en cuestiones metodológicas y no discute otros aspectos clave del diseño, como el uso previsto de la evaluación por parte de las partes interesadas.

Los principios discutidos también se refieren a la evaluación en general, pero son especialmente pertinentes para diseñar evaluaciones independientes en un contexto de desarrollo internacional. Consideran que los siguientes principios metodológicos son importantes para diseñar y desarrollar evaluaciones de alta calidad:

1. Dar la debida consideración a los aspectos metodológicos de la calidad de la evaluación en el diseño: enfoque, consistencia, confiabilidad y validez

Sigue leyendo

La evaluación en la rendición de cuentas para resultados de planes estratégicos


Fuente

La función de evaluación puede reforzar el ciclo de gestión y planificación, mejorando la calidad del diseño y del sistema de seguimiento de los Planes Estratégicos de nuestras organizaciones.

A través de la Política de Evaluación y el Plan de Trabajo de evaluación de nuestras organizaciones se pueden fomentar las siguientes áreas de trabajo clave en la organización: (a) refuerzo del marco institucional en evaluación, (b) desarrollo de capacidades en evaluación (incluye fomento del pensamiento evaluativo y trabajo conjunto con equipos de planificación y seguimiento), (c) gestión del conocimiento y (d) la ejecución de diferentes tipos de evaluaciones. Desde estas áreas de trabajo se pueden apoyar los planes estratégicos de la organización:

1.Desarrollo y diseño del Plan Estratégico

1.1 Asegurar que existen sistemas para la incorporación en el diseño de los aprendizajes previos (desde sistemas de seguimiento, evaluaciones previas…) 

1.2 Mejorar la evaluabilidad desde el diseño: calidad del diseño, del seguimiento, del uso de la información de diseño y seguimiento, de la accesibilidad de las partes interesadas.

1.3 Apoyar a desarrollar y documentar teorías del cambio (TdC) y modelos de intervención para guiar el diseño y la implementación. TdC para asegurar que existe(n):

Sigue leyendo

Síntesis de evaluaciones: concepto y opciones


Desde la plataforma BetterEvaluation comparten este post «Sintetizar datos a través de evaluaciones«, donde se presentan enfoques y técnicas con el objetivo de responder a preguntas sobre un tipo de intervención en lugar de sobre un solo caso, respondiendo a preguntas como «¿Funcionan estos tipos de intervenciones?» o «¿Para quién, de qué manera y en qué circunstancias funcionan?» La tarea consiste en localizar la evidencia (que a menudo implica búsquedas bibliográficas en bases de datos, con especial énfasis en la búsqueda de estudios inéditos), evaluar su calidad y relevancia para decidir si incluirla o no, extraer la información relevante y sintetizarla. Las diferentes opciones utilizan diferentes estrategias y tienen diferentes definiciones de lo que constituye evidencia creíble.

Opciones para sintetizar procesos y/o productos evaluativos:

  1. Lecciones aprendidas del proceso evaluativo: las lecciones aprendidas pueden desarrollarse a partir del proceso de evaluación a medida que los evaluadores reflexionan sobre sus experiencias al realizar la evaluación.
  2. Mejor síntesis de evidencia: una síntesis que, como una síntesis realista, se basa en una amplia gama de evidencia (incluidos estudios de casos individuales) y explora el impacto del contexto, y también se basa en un enfoque iterativo y participativo para construir y usar una base de conocimientos. .
  3. Revisión sistemática: una síntesis que adopta un enfoque sistemático para buscar, evaluar, extraer y sintetizar evidencia de múltiples estudios. (1) Metanálisis, (2) metaetnografía y (3) síntesis realista son diferentes tipos de revisión sistemática.

Sigue leyendo

Evaluación del desarrollo de capacidades


Siguiendo nuestra sección de «desarrollo de capacidades«, y más concreto «desarrollo de capacidades y FAO«, en la línea del «Mejorando las prácticas de FAO para el apoyo del Desarrollo de Capacidades de los países miembros» (FAO, 2012), en el documento «Marco de evaluación del desarrollo de capacidades» (también) de la FAO de 2019 , se indica que el desarrollo de la capacidades es una modalidad fundamental del apoyo de la cooperación internacional en los países en los que trabaja. La mayoría de las intervenciones brindan algún tipo de apoyo para el desarrollo de capacidades que abarca los niveles individual, institucional y del entorno propicio, mientras que aproximadamente una cuarta parte se centra en capacitaciones individuales. En los informes de evaluación, hay evidencias concretas de que se han desarrollado capacidades en determinados grupos destinatarios. Sin embargo, es más difícil identificar los impactos a largo plazo y de mayor nivel, como en el entorno de políticas, la mejora de la estructura institucional y los sistemas de conocimiento.

A. Algunos factores que hicieron que el proceso de desarrollo de capacidades fuera exitoso fueron:

(1) mayor uso de la experiencia local y las instituciones nacionales,

(2) trabajar en múltiples niveles de influencia,

(3) evaluación participativa de las necesidades a nivel individual e institucional, Sigue leyendo

Estrategias para mejorar el uso y la influencia de la evaluaciones (II)


Continuamos con nuestra sección sobre “Uso evaluativo“, con lo presentado por Betterevaluation en su segunda entrega de las «7 estrategias para mejorar el uso y la influencia de la evaluación» sugeridas por Patricia Rogers sobre ¿Qué se puede hacer para apoyar el uso de la evaluación? Ya comenzamos en el post anterior Estrategias para mejorar el uso y la influencia de las evaluaciones (I) y ahora seguimos con la lista de estrategias de Patricia Rogers para antes, durante y después de una evaluación, y acciones que pueden ser tomadas por diferentes personas involucradas en la evaluación:

  1. Seleccionemos formatos de informes de evaluación adecuados, ajustados a cada audiencia y garanticemos su accesibilidad

Hay muchas opciones nuevas para informar los hallazgos de las evaluaciones. Tomar las decisiones correctas puede aumentar la probabilidad de que otros actores conozcan los hallazgos y comprendan lo que significan y por qué son importantes. Es probable que se necesite una variedad de diferentes productos de conocimiento y procesos de informes durante el período de evaluación y después de su finalización formal. Estás muy documentados diferentes formas innovadoras de informar los resultados Sigue leyendo

¿Cuál es la diferencia entre evaluación y pensamiento evaluativo?


Siguiendo con el post inicial sobre Pensamiento Evaluativo, y como se indica en el post «Pensamiento evaluativo: el corazón de la evaluación (significativa y útil)«, el pensamiento evaluativo:

(1) Se aplica de manera más amplia y está profundamente arraigado que las actividades/los procesos de evaluación.

(2) Está integrado en toda la organización y en todas sus operaciones. No se limita a un programa, un propósito, un punto en el tiempo.

(3) Está motivado por la curiosidad natural y las ganas de aprender y mejorar.

La evaluación es el «qué» y el pensamiento evaluativo es el «por qué».

La evaluación requiere ciertas habilidades, recursos y capacidades. El pensamiento evaluativo también requiere ciertas actitudes, motivos y hábitos.

Es posible evaluar sin pensamiento evaluativo. Pero hacerlo a menudo es doloroso y sin sentido. Sigue leyendo

Criterios de evaluación del CAD en la práctica: éxito a partir de fracasos y malas prácticas


Comenzamos en el post anterior «La reforma criterios de evaluación del CAD: una oportunidad, los retos continúan» a hablar de la reforma de los criterios, y cómo esto implicaba oportunidades, aunque los viejos retos continúan, estos retos tienen que ver con su (I) propósito, (II) uso, (III) claridad y (IV) aplicabilidad·práctica»:

(I) Propósito de los criterios: En la práctica evaluativa, el propósito de los criterios de evaluación normalmente no está claro, ya que suelen verse como una imposición más que como soluciones alternativas para nuestro proceso de evaluación:

1. Normativo (imposición): Los criterios juegan un papel de apoyo (lentes o perspectivas alternativas para ver la intervención) PERO normalmente, «en la práctica», se perciben con un papel normativo (obligatorio), es decir, no se entienden…

2. Perspectiva de silos (fragmentada / reduccionista). Los criterios se utilizan normalmente de forma reduccionista, aislada y como parte de un lenguaje y un mundo (el nuestro, es de l@s evaluador@s) en algunos momentos abstracto, complejo e ininteligible: Sigue leyendo

La evaluación en tiempo real en emergencias: ¿cómo?


Continuamos con el anterior post «La evaluación en tiempo real en emergencias» basado en un resumen que hizo INTRAC sobre el tema, y compartimos algunas ideas sobre cómo se ejecuta una RTE. Hay algunas características de las Evaluaciones en Tiempo Real (RTE) que pueden ser diferentes a las de las evaluaciones más convencionales. Algunos de éstas son los siguientes (ver Cosgrave et al. 2009, Polastro 2012, Herson y Mitchell 2005):

Las RTE ejecutadas por organizaciones a título individual generalmente se llevan a cabo durante cortos períodos de tiempo, como 2-3 semanas. Esto se debe a que la intención es proporcionar retroalimentación en tiempo real que pueda ser accionada de inmediato. Los RTE a menudo son ejercicios ligero que lleva a cabo un equipo de evaluación de entre una y a cuatro personas, básicamente un número lo suficientemente pequeño como para caber dentro de un vehículo, ahora con COVID incluso sin necesidad de vehículo (pero hay que añadir algo de innovación e imaginación). El equipo puede ser interno, externo o una combinación. Debido a que generalmente se llevan a cabo en intervenciones humanitarias, los RTE tienden a ser más rápidos, flexibles y receptivos que los tipos de evaluación más tradicionales. Sigue leyendo