Conscientes de las barreras para el uso evaluativo


Revisamos de nuevo Estrategias para mejorar el uso y la influencia de la evaluaciones (I y II) en torno a lo presentado por Betterevaluation en «Siete estrategias para mejorar el uso y la influencia de la evaluación«, donde (la sin par) Patricia Rogers nos cuenta ¿Qué podemos hacer para apoyar el uso de la evaluación? ¿Cómo podemos apoyar el uso constructivo de los hallazgos y los procesos de evaluación?

Este es un desafío desde hace mucho, demasiado tiempo: el uso de la evaluación ha sido el centro de discusión durante más de 40 años (iii más de 40 iii). Seguirá sin duda por algunos más si no somos más conscientes de los retos para el uso y asumimos estrategias de mitigación.

De eso trata esta lista de estrategias para mejorar el uso de las evaluaciones:

1. Identifiquemos l@s usuari@s previst@s y los usos previstos de la evaluación desde el principio

Cuando identifiquemos a l@s usuari@s previst@s, seamos lo más específicos posibles, tengamos claro quiénes son l@s principales usuari@s previst@s.

Sigue leyendo

¿En qué estamos fallando (más): en la oferta o en la demanda evaluativa? (I)


De acuerdo, la respuesta irá por barrios y una respuesta facilona será «estamos fallando en ambas, oferta y demanda evaluativa». Clarifiquemos: aquí entiendo «demanda evaluativa» (la demanda de evaluaciones) y «oferta evaluativa» (l@s evaluador@s disponibles para esas evaluaciones).

Pero como cuando todo es relevante o pertinente, corremos el peligro de la irrelevancia y, por ende, la impertinencia (porque no logramos priorizar), aquí voy a pediros por favor hay que «mojarse» (no es momento de nadar y guardar la ropa). Y el primero en mojarme seré yo, y lo hago desde mi visión (fruto de mi formación y experiencia):

Está claro que un sistema o «mercado» de evaluación necesita de un cierto ajuste de demanda y de oferta evaluativa. En mi opinión estos últimos años se está desarrollando una mejora sustancial de la oferta: (1) métodos sofisticados para evaluar procesos complejos, (2) métodos rigurosos para evaluar el impacto, (3) una multiplicidad de webinars/cursos/formaciones y (4) diversidad de métodos y estándares que hacen difícil una especialización total, sino más bien sectorial y fragmentada…) Sigue leyendo

Mentes criminales (por entregas) en un arma de construcción masiva


“Su misión, si usted decide aceptarla, será dejar huella o alguna utilidad, algún uso de esta evaluación. Como ya sabe, si usted o algún miembro de su entorno (equipo, beneficiarios, gestores, evaluadores o decisores) es ignorado, olvidado, apartado, mal citado, criticado, calumniado, ninguneado u olvidado, la Secretaría negará tener conocimiento de sus acciones. Este mensaje se autodestruirá en cinco segundos”.

Nos empeñemos en escribir en una era en la que nadie lee. Pero aquí el gran mensaje es recordarnos (una vez más) que las protagonistas son ellas y las personas que las rodean, las siete magníficas: siete historias, siete relatos, siete narrativas que ya han hecho historia, aunque aún aspiren a seguir contando. Y en la era de los 280 caracteres, no es fácil que una gran historia llegue a ser contada, escuchada y aprendida…Recordemos que no hay camino sino estelas en la mar. Son protagonistas las personas que contribuyeron y a las que contribuyen a ese proceso evaluativo. Y aunque por si solas son protagonistas, gracias al equipo de Pablo y Esteban, otr@s hemos conocido sobre ellas.  Por supuesto no son las únicas historias ya que, por diferentes razones, otras no están en este libro, pero probablemente son también historias dignas de ser contadas y aprendidas.

No es un tema menor con el que discrepo con Pablo Rodriguez-Bilella y Esteban Tapella y su súper equipo (Vanesa Castro, Cecilia Luna y María Alejandra Lucero): en el título, Dejar huella, Historias de evaluaciones que marcaron la diferencia. Aunque algun@s nos quieran engañar, como tod@s sabemos bien, aprender y utilizar las evaluaciones es un crimen, lo sigue siendo y lo era hace más de cuarenta años, cuando M. Q. Patton ya nos empezaba a martillear con su “Utilisation Focus Evaluation” (Abril 1978). De otra forma no se entienden los pocos cambios reales (por dentro) y los muchos cambios de traje (por fuera) que vamos teniendo. Sigue leyendo

Re encontrando a Subirats


He releído un texto antiguo pero completamente actual del maestro Joan Subirats y me centré en sus anotaciones sobre uso de evaluaciones:

Sólo cuando los resultados de la evaluación coincidían con la voluntad de sus decisores políticos el «efecto» de la evaluación era más claro (Subirats, 1992: 156)

En muchos casos se podría incluso definir tal tipo de aproximación más como operación de toma de conciencia que como una evaluación convencional. (Subirats, 1992: 157) Sigue leyendo

La orientación a y el fomento de la demanda para el uso de las evaluaciones


En el pasado post El crimen de utilizar una evaluación, desarrollamos que para que el uso de las evaluaciones sea efectivo hacen falta: (A) Motivaciones, (B) Oportunidades, (C) Medios. Dentro de las “Oportunidades”, además de clarificar el propósito (¿rendición de cuentas o aprendizaje?), es clave al mismo tiempo (a) orientarse a la demanda y (b) crear de forma proactiva la demanda: (1) Orientar el uso de la evaluación a la demanda de información y (2) Fomentar la demanda de productos de evaluación. Esto se puede conseguir a través de: Sigue leyendo

Clarificar si es aprendizaje o rendición de cuentas para el uso evaluativo


En el pasado post El crimen de utilizar una evaluación, desarrollamos que para que el uso de las evaluaciones sea efectivo hacen falta: (A) Motivaciones, (B) Oportunidades, (C) Medios. Dentro de las «Oportunidades», es clave definir, clarificar y articular el propósito y uso de la evaluación. Clarificar si es aprendizaje o rendición de cuentas garantiza la oportunidad del uso evaluativo

Sigue siendo un tema controvertido si la evaluación puede cumplir simultáneamente con los roles de (1) rendición de cuentas y (2) aprendizaje.

Aunque ambos roles pueden ser caras de una misma moneda, de forma que la rendición de cuentas ayude al aprendizaje y viceversa, en determinados contextos, estos dos objetivos pueden entrar en conflicto, por lo que es necesario detectar la línea divisoria Sigue leyendo

Una sistema de incentivos y sanciones garantiza la motivación de la evaluación


En el pasado post El crimen de utilizar una evaluación, desarrollamos que para que el uso de las evaluaciones sea efectivo hacen falta: (A) Motivaciones, (B) Oportunidades, (C) Medios. Dentro de las «Motivaciones» es clave , además del liderazgo y la cultura de aprendizaje, promover  un sistema de incentivos (y sanciones) desde el más alto nivel posible de decisión.  A nivel estratégico esto significa promover explícitamente la dinámica del palo y la zanahoria: Sigue leyendo

Una cultura del aprendizaje garantiza la motivación de la evaluación


En el pasado post El crimen de utilizar una evaluación, desarrollamos que para que el uso de las evaluaciones sea efectivo hacen falta: (A) Motivaciones, (B) Oportunidades, (C) Medios. Dentro de las «Motivaciones» es clave , además del liderazgo, promover una cultura de evaluación, de la responsabilidad y del aprendizaje.

A nivel estratégico promover una cultura que valore y legitime la evaluación y el aprendizaje pasa por:  (1) Disminuir la percepción de la evaluación como crítica y los evaluadores como críticos , (2) Utilizar personal interno y externo para llevar a cabo las evaluaciones, (3) Renovar  la imagen de las evaluaciones, (4) Ser flexible y disfrutar aprendiendo, (5) Establecer los incentivos (y sanciones) adecuadas, (6) Integrar la evaluación y el aprendizaje dentro de la planificación y la rendición de cuentas a nivel estratégico y operativo.

Aquí algunos ejemplos desde la práctica de cómo promover dicha cultura: Sigue leyendo

Un liderazgo efectivo garantiza la motivación para el uso evaluativo


En el pasado post El crimen de utilizar una evaluación, desarrollamos que para que el uso de las evaluaciones sea efectivo hacen falta: (A) Motivaciones, (B) Oportunidades, (C) Medios. Dentro de las Motivaciones para el uso evaluativo, es clave asegurar o garantizar un liderazgo efectivo que respalde la evaluación.

Se entiende ese liderazgo evaluativo como asegurar el apoyo al más alto nivel a la evaluación y el aprendizaje. El liderazgo es “la” clave para mejorar (o bloquear) el uso de las evaluaciones, ya que de otra forma suele haber barreras para  (a) aceptar los resultados de la evaluación y (b) aprender de los errores.

Para mejorar el liderazgo, se precisa (como ejemplo) en la práctica: Sigue leyendo

El crimen de utilizar una evaluación


Para resolver un crimen hay que encontrar su motivación, la oportunidad y los medios. Pues bien dado que raramente encontramos  la motivación, la oportunidad y los medios para una evaluación, de encontrarlo sería el crimen perfecto.

Para que el uso de las evaluaciones sea efectivo hacen falta: (A) Motivaciones, (B) Oportunidades, (C) Medios: Sigue leyendo