Diferentes percepciones sobre el uso y la utilidad de evaluaciones


Ya hemos tratado el tema del uso de las evaluaciones en pasados posts como Gestión del conocimiento de las evaluaciones y Evaluación y Gestión del conocimiento, ¿moda o necesidad?

Otra vez utilizo una de mis publicaciones para traer un tema de discusión. En esta ocasión es mi publicación “La gestión del conocimiento de las evaluaciones: Teoría, retórica y práctica” (Rodríguez-Ariza, 2014)

Una definición de uso o utilización (de forma intercambiable) de la evaluación es “cualquier aplicación del proceso de evaluación, sus productos, o hallazgos para producir un efecto” (Johnson, Greenseid, Toal, King, Lawrenz, & Volkov, 2009, pág. 378)

Aunque normalmente y para no añadir complejidad se pueden considerar intercambiables uso y utilidad, se puede establecer una distinción:

Engranaje de mejora e implementación (Fuente Kybeleconsulting)

Engranaje de mejora e implementación (Fuente Kybeleconsulting)

Utilidad: Según Saunders, ‘utilidad de la evaluación’ hace hincapié en la medida en que el propio diseño de la evaluación “hace posible” (en teoría) el fomento del uso de sus productos en el sentido más amplio.

Uso: Sin embargo el “uso de la evaluación” se centra en el contexto y la capacidad (práctica) del entorno de la organización (estructura) para utilizar los procesos y productos de la evaluación. (Saunders, 2012)

Proceso para la rendición de cuentas y el aprendizaje (Fuente WFP)

Proceso para la rendición de cuentas y el aprendizaje (Fuente WFP)

Otra diferencia entre utilidad teórica y uso actual o práctico, pasa por la percepción que las organizaciones tienen sobre ese uso en base a sus motivaciones, capacidades y limitaciones de uso

Quiero añadir un poco de subjetividad al asunto, ya que la percepción sobre el uso de las evaluaciones difiere no sólo según en qué barrios estemos, sino que podemos ir más allá ya que dentro de una misma familia (organización) el concepto es diferente. Incluso dentro de una misma organización, podemos encontrar diferentes percepciones sobre la motivación y el propósito en el uso de las evaluaciones según se esté: (1) en sede o en terreno; (2) en un departamento u otro; (3) en una posición más senior o junior.

Una evaluación útil para el personal de la sede en la búsqueda del conocimiento estratégico u organizacional general puede no ser valorada de la misma forma por el personal de campo, más centrado como es normal en cambios directos en su programa. Incluso los individuos dentro de un mismo espacio, equipo o departamento pueden evaluar la utilidad de la misma evaluación de forma diferente.

Los usos de evaluación por los decisores reflejan las necesidades de sus posiciones de dirección. Estos usos por los oficiales y decisores de nivel medio/alto pueden ser de varios tipos: (1) para apoyar lo que de ante mano ya se quería o necesitaba hacer (es decir, los resultados han de confirmar la dirección de la política/colectivo predominante o de agendas personales/individuales); (2) una referencia independiente utilizada para resistirse a una directiva vertical desde arriba (desde superiores jerárquicos): (3) como una demostración externa para la rendición de cuentas; (4) proporcionar orientación cuando no se sabe cómo resolver un problema; (5) como instrumento de promoción; (6) como memoria institucional.

Por otra parte los oficiales de campo, muy presionados por las actividades y el tiempo, prefieren “aprender haciendo”, por lo que son más propensos al aprendizaje directamente de sus compañeros y de mensajes claros y cortos, que hacia un conocimiento encapsulado en largos y a veces ininteligibles “pdfs” o informes, directrices o evaluaciones. (ALNAP, 2004 en (Sandison, 2006))

 

Referencias citadas
Johnson, K., Greenseid, L., Toal, S., King, J., Lawrenz, F., & Volkov, B. (2009). Research on Evaluation Use. A Review of the Empirical Literature. From 1986 to 2005. American Journal of Evaluation.Volume 30 Number 3. September 2009 377-410
Rodríguez Ariza, C.  (2014). La gestión del conocimiento y el uso de las evaluaciones. Teoría, Retórica y Práctica. Serie CECOD de Documentos de Trabajo del Centro de Estudios de Cooperación al Desarrollo
Sandison, P. (2006). The utilisation of evaluations. ALNAP Review of Humanitarian Action , 1-56.
Saunders, M. (2012). The use and usability of evaluation outputs: A social practice approach. Evaluation 2012 18: 421 .

Usos y abusos de las evaluaciones: Teoría, Retórica y Práctica


Con la misma editorial que publicó parte de mi tesis sobre la gestión de la información en las organizaciones de desarrollo, estoy en estos momentos completando otra publicación sobre “la gestión del conocimiento y el uso de las evaluaciones”.

Aunque aparece en repetidas ocasiones en el lV plan Director y en el Plan de Evaluaciones de la Cooperación Española, no hay mucha literatura que hable explícitamente sobre la “gestión del conocimiento de las evaluaciones”(os animo a sentir lo frústrante que es googlear “knowledge management of evaluations”). Sin embargo al contactar con algunos colegas a nivel internacional, la mayoría me refieren al concepto de “uso de las evaluaciones”. Sigue leyendo

Utilidad de hablar de la utilidad de las evaluaciones


Voy a tratar de convenceros de que una de mis mañanas fue bien “utilizada”.

A comienzos de febrero terminó la serie de talleres sobre “Determinación de los principios básicos para lograr mayor calidad y utilidad de las evaluaciones”, auspiciados por el CECOD y facilitados por el compañero y sin embargo amigo, Rafael Monterde, Monty, conocido mundialmente (y parte del extranjero) por su blog Evaluateca.

Antes de comenzar el sarao, y en relación directa con la “utilidad”, comentamos que si fuéramos a todos los eventos de este tipo no tendríamos tiempo para trabajar, siempre que tu trabajo no fuera asistir a este tipo de saraos claro, que seguro que trabajos de ese tipo haylos. Lo mismo puede pasar con las redes sociales supongo, esos miles de microsaraos por los que hoy por hoy nos movemos todos los días (o sus noches). Y esto es también una reflexión enfocada a la utilidad de nuestro quehacer (i). Pero un detalle, a los asistentes se nos pagó por nuestra participación, lo cual me parece increible en nuestro sector, tan acostumbrado a no valorar que el matra de la “participación” implica recursos (tiempo, organización, preparación…). Donde tantas veces gente con salarios fijos (y a veces muy pero que muy altos) crean el espejismo de la utilidad de la participación de gente (muchas veces sin oficio ni beneficio) que nunca recibe feedback alguno por haberle hecho el trabajo a los otros.

El tema de este sarao que menciono era el de la “utilidad de las evaluaciones”: Cómo aumentarla.

Claro que no se puede hablar de “utilidad en evaluación” sin mencionar a Patton, el que esto escribe ha podido tocar a Patton, vamos que Patton existe y no es una deificación de todas las bondades de un evaluador…

Pero volvamos al sarao: Hubo una interesante presentación para poner el Marco de trabajo, e incluso se mencionaron a otros autores como Kirkhart o Henry&Mark. Me pregunto si no fue un poco pesado para los “practitioners” más duros, para mí fue interesante, aprendí cosas nuevas y se planteó un enfoque de trabajo interesante: Se introdujeron los conceptos o enfoques de las esferas de lo individual, lo relacional y lo colectivo. Este enfoque está próximo de la sociología social.

Mi reflexión fue, bueno algunas de las ideas que surgieron fueron…perdón por sacar el ego en primer plano, pero por algo este blog es el mío (digo yo)…bueno también trataré de tomar una perspectiva global, pero no podré evitar sesgar lo que allí aconteció 😉 :

-Surgieron propuestas muy interesantes e innovadoras. Miento. Surgieron propuestas útiles…vale, mejor….casi todo está ya inventado, sólo hace falta ponerlo en práctica (por desgracia,nos empeñamos en seguir inventando la rueda sin preguntarnos por qué en el pasado otros infelices mejor preparados que nosotros no lo consiguieron)

-Es importante aprovechar todos los momentos de cara a la utilidad. Se mencionaron aspectos como fomentar la síntesis de evaluaciones , trabajar más a la demanda y alguien mencionó la necesidad de susurrar en los oídos de los políticos (esto me recuerda a la película de “El hombe que susurraba a los caballos”, y es que a veces los políticos se hacen, parecen o los tomamos por niños…o animalitos, digo yo que si están ahí por algo será, o debería ser.

-Como siempre, se mencionó la importancia de la transparencia y del accountability para aprender, materia que en España no pasa de ser ciencia ficción, por desgracia. Si no, veamos lo que ha sucedido tras años de absoluta impunidad e irresponsabilidad política…

-Después pensé que no se habló nada de la relación entre “poder” y “utilidad”: Introducir en el análisis el poder. Las relaciones de poder están en todas partes. Como ejemplo, el presentador y la audiencia tienen un nivel de poder diferente. Aunque el presentador me comentó que le hubiera gustado estar entre la audiencia, lo cierto es que tenía diferente poder, tiene el poder de vehicular y “hacer” utilizar ideas, enfoques, tiempos…ya sabemos que el poder es calentito ¡