Criterios de evaluación del CAD en la práctica: desarrollo del éxito a partir de fracasos y malas prácticas II


Comenzamos en el post anterior “Criterios de evaluación del CAD en la práctica: éxito a partir de fracasos y malas prácticas la discusión sobre de la reforma de los criterios, y cómo esto implicaba oportunidades, aunque los viejos retos continúan, estos retos tienen que ver con su (I) propósito, (II) uso, (III) claridad y (IV) aplicabilidad·práctica”. Sigamos en este post con los principios de uso evaluativo:

(II) Principios de uso de los criterios de evaluación

  1. Criterios no contextualizados: los criterios (y preguntas) (a) son el resultado de “cortar y pegar” versus (b) los criterios deben ser contextualizados, entendidos en el contexto de (i) evaluación individual, (ii) intervención y (iii) partes interesadas.
  2. Aplicación mecánica: En muchas ocasiones se observa (a) la aplicación mecánica de todos los criterios y (b) demasiadas preguntas en relación con los recursos disponibles. En lugar de ello son buenas prácticas:

(a) Aplicación adaptativa / flexible en función de la “evaluación de necesidades / evaluabilidad” (necesidades de la intervención, contexto y partes interesadas)

(b) Enfoque y enmarcar los usuarios, prioridades, criterios y preguntas en relación con la valoración de la evaluabilidad

(c) Priorizar las preguntas y establecer 10 preguntas máximo. (las más relevantes para los usuarios directos y ninguna más) Sigue leyendo

La reforma criterios de evaluación del CAD: una oportunidad, los retos continúan


En diciembre de 2019, el CAD de la OCDE [Comité de Asistencia para el Desarrollo de la Organización para la Cooperación y el Desarrollo Económicos] adoptó los ‘Criterios de evaluación: definiciones adaptadas y principios de uso‘ aprobados anteriormente (actualmente disponible en inglés y francés, y casi en fase final la traducción al español).

La reciente reforma de los criterios de evaluación del CAD trató de abordar algunas fallas y malas prácticas relacionadas con (a) confusión de la aplicabilidad de los criterios de evaluación, (b) adecuación a las nuevas prioridades políticas (Agenda 2030…). Sigue leyendo

La síntesis de los hallazgos de las evaluaciones.


Como parte del “RTD TIG Week” de la AEA, “La síntesis de estudios de imitación ayuda a responder preguntas de política realmente importantesGretchen Jordan, pasaba el mensaje de que las grandes preguntas que nos piden que respondamos requieren que avancemos hacia el uso de marcos lógicos de evaluación acordados y adaptados al tipo y contexto del programa para aprender de la síntesis de los hallazgos de las evaluaciones.

Además nos indica cinco pasos para una evaluación de síntesis para informar la política de investigación e innovación:

1. Acuerde la (s) pregunta (s) que serán respondidas por la evaluación de síntesis. Un ejemplo es “¿Qué impactos técnicos, económicos y sociales han ocurrido y qué programas y otros factores contribuyen a ellos?”

2. Diseñe un conjunto de evaluaciones de tal manera que sus hallazgos puedan sintetizarse de manera creíble. Consulte los modelos lógicos genéricos, los indicadores y el glosario propuestos en “Evaluación de los resultados de la investigación financiada con fondos públicos…”, el documento del Grupo de interés temático sobre investigación, tecnología y desarrollo de 2015. Sigue leyendo

Evaluando para la gestión adaptativa


En relación a los enfoques adaptativos, desde el sitio “BetterEvaluation” nos ofrecen los “Desafíos para usar la evaluación para la gestión adaptativa“:

Teorías de cambio pobremente conceptualizadas

• Falta de entorno adecuado para llevar a cabo procesos de cambio.

• Capacidad del equipo del programa para actividades de evaluación.

• Capacidad de los directivos para la gestión adaptativa, por ejemplo, (1) la capacidad de gestionar cuando hay niveles más altos de incertidumbre, (2) la capacidad de tomar (suficientemente buenas) decisiones con datos incompletos que pueden no cumplir con todos los estándares de calidad Sigue leyendo

¿En qué estamos fallando (más): en la oferta o en la demanda evaluativa? (I)


De acuerdo, la respuesta irá por barrios y una respuesta facilona será “estamos fallando en ambas, oferta y demanda evaluativa”. Clarifiquemos: aquí entiendo “demanda evaluativa” (la demanda de evaluaciones) y “oferta evaluativa” (l@s evaluador@s disponibles para esas evaluaciones).

Pero como cuando todo es relevante o pertinente, corremos el peligro de la irrelevancia y, por ende, la impertinencia (porque no logramos priorizar), aquí voy a pediros por favor hay que “mojarse” (no es momento de nadar y guardar la ropa). Y el primero en mojarme seré yo, y lo hago desde mi visión (fruto de mi formación y experiencia):

Está claro que un sistema o “mercado” de evaluación necesita de un cierto ajuste de demanda y de oferta evaluativa. En mi opinión estos últimos años se está desarrollando una mejora sustancial de la oferta: (1) métodos sofisticados para evaluar procesos complejos, (2) métodos rigurosos para evaluar el impacto, (3) una multiplicidad de webinars/cursos/formaciones y (4) diversidad de métodos y estándares que hacen difícil una especialización total, sino más bien sectorial y fragmentada…) Sigue leyendo

Mentes criminales (por entregas) en un arma de construcción masiva


“Su misión, si usted decide aceptarla, será dejar huella o alguna utilidad, algún uso de esta evaluación. Como ya sabe, si usted o algún miembro de su entorno (equipo, beneficiarios, gestores, evaluadores o decisores) es ignorado, olvidado, apartado, mal citado, criticado, calumniado, ninguneado u olvidado, la Secretaría negará tener conocimiento de sus acciones. Este mensaje se autodestruirá en cinco segundos”.

Nos empeñemos en escribir en una era en la que nadie lee. Pero aquí el gran mensaje es recordarnos (una vez más) que las protagonistas son ellas y las personas que las rodean, las siete magníficas: siete historias, siete relatos, siete narrativas que ya han hecho historia, aunque aún aspiren a seguir contando. Y en la era de los 280 caracteres, no es fácil que una gran historia llegue a ser contada, escuchada y aprendida…Recordemos que no hay camino sino estelas en la mar. Son protagonistas las personas que contribuyeron y a las que contribuyen a ese proceso evaluativo. Y aunque por si solas son protagonistas, gracias al equipo de Pablo y Esteban, otr@s hemos conocido sobre ellas.  Por supuesto no son las únicas historias ya que, por diferentes razones, otras no están en este libro, pero probablemente son también historias dignas de ser contadas y aprendidas.

No es un tema menor con el que discrepo con Pablo Rodriguez-Bilella y Esteban Tapella y su súper equipo (Vanesa Castro, Cecilia Luna y María Alejandra Lucero): en el título, Dejar huella, Historias de evaluaciones que marcaron la diferencia. Aunque algun@s nos quieran engañar, como tod@s sabemos bien, aprender y utilizar las evaluaciones es un crimen, lo sigue siendo y lo era hace más de cuarenta años, cuando M. Q. Patton ya nos empezaba a martillear con su “Utilisation Focus Evaluation” (Abril 1978). De otra forma no se entienden los pocos cambios reales (por dentro) y los muchos cambios de traje (por fuera) que vamos teniendo. Sigue leyendo

La fase de diseño: la clave para el uso evaluativo


En el pasado post El crimen de utilizar una evaluación, desarrollamos que para que el uso de las evaluaciones sea efectivo hacen falta: (A) Motivaciones, (B) Oportunidades, (C) Medios. Dentro de las “Medios,  una buena fase de diseño asegura el uso evaluativo.

Sin buenas preguntas no hay buenas respuestas en una evaluación…

El fortalecimiento de los procesos de la fase de diseño de la evaluación es vital para la mejora del uso de las evaluaciones. Sigue leyendo

La planificación estratégica para el uso evaluativo


En el pasado post El crimen de utilizar una evaluación, desarrollamos que para que el uso de las evaluaciones sea efectivo hacen falta: (A) Motivaciones, (B) Oportunidades, (C) Medios. Dentro de las “Oportunidades”, además de clarificar el propósito (¿rendición de cuentas o aprendizaje? y la orientación a la demanda, es clave la priorización y estrategia en el plan y la selección de evaluaciones.

Dada la escasez de recursos se necesita un enfoque estratégico a la hora de seleccionar lo que se debería evaluar. Sigue leyendo

Re encontrando a Subirats


He releído un texto antiguo pero completamente actual del maestro Joan Subirats y me centré en sus anotaciones sobre uso de evaluaciones:

Sólo cuando los resultados de la evaluación coincidían con la voluntad de sus decisores políticos el «efecto» de la evaluación era más claro (Subirats, 1992: 156)

En muchos casos se podría incluso definir tal tipo de aproximación más como operación de toma de conciencia que como una evaluación convencional. (Subirats, 1992: 157) Sigue leyendo

Una cultura del aprendizaje garantiza la motivación de la evaluación


En el pasado post El crimen de utilizar una evaluación, desarrollamos que para que el uso de las evaluaciones sea efectivo hacen falta: (A) Motivaciones, (B) Oportunidades, (C) Medios. Dentro de las “Motivaciones” es clave , además del liderazgo, promover una cultura de evaluación, de la responsabilidad y del aprendizaje.

A nivel estratégico promover una cultura que valore y legitime la evaluación y el aprendizaje pasa por:  (1) Disminuir la percepción de la evaluación como crítica y los evaluadores como críticos , (2) Utilizar personal interno y externo para llevar a cabo las evaluaciones, (3) Renovar  la imagen de las evaluaciones, (4) Ser flexible y disfrutar aprendiendo, (5) Establecer los incentivos (y sanciones) adecuadas, (6) Integrar la evaluación y el aprendizaje dentro de la planificación y la rendición de cuentas a nivel estratégico y operativo.

Aquí algunos ejemplos desde la práctica de cómo promover dicha cultura: Sigue leyendo