De acuerdo, la respuesta irá por barrios y una respuesta facilona será «estamos fallando en ambas, oferta y demanda evaluativa». Clarifiquemos: aquí entiendo «demanda evaluativa» (la demanda de evaluaciones) y «oferta evaluativa» (l@s evaluador@s disponibles para esas evaluaciones).
Pero como cuando todo es relevante o pertinente, corremos el peligro de la irrelevancia y, por ende, la impertinencia (porque no logramos priorizar), aquí voy a pediros por favor hay que «mojarse» (no es momento de nadar y guardar la ropa). Y el primero en mojarme seré yo, y lo hago desde mi visión (fruto de mi formación y experiencia):
Está claro que un sistema o «mercado» de evaluación necesita de un cierto ajuste de demanda y de oferta evaluativa. En mi opinión estos últimos años se está desarrollando una mejora sustancial de la oferta: (1) métodos sofisticados para evaluar procesos complejos, (2) métodos rigurosos para evaluar el impacto, (3) una multiplicidad de webinars/cursos/formaciones y (4) diversidad de métodos y estándares que hacen difícil una especialización total, sino más bien sectorial y fragmentada…) Sigue leyendo →
Una definición de uso o utilización (de forma intercambiable) de la evaluación es “cualquier aplicación del proceso de evaluación, sus productos, o hallazgos para producir un efecto” (Johnson, Greenseid, Toal, King, Lawrenz, & Volkov, 2009, pág. 378)
Aunque normalmente y para no añadir complejidad se pueden considerar intercambiables uso y utilidad, se puede establecer una distinción:
Engranaje de mejora e implementación (Fuente Kybeleconsulting)
Utilidad: Según Saunders, ‘utilidad de la evaluación’ hace hincapié en la medida en que el propio diseño de la evaluación “hace posible” (en teoría) el fomento del uso de sus productos en el sentido más amplio.
Uso: Sin embargo el “uso de la evaluación” se centra en el contexto y la capacidad (práctica) del entorno de la organización (estructura) para utilizar los procesos y productos de la evaluación. (Saunders, 2012)
Proceso para la rendición de cuentas y el aprendizaje (Fuente WFP)
Otra diferencia entre utilidad teórica y uso actual o práctico, pasa por la percepción que las organizaciones tienen sobre ese uso en base a sus motivaciones, capacidades y limitaciones de uso
Quiero añadir un poco de subjetividad al asunto, ya que la percepción sobre el uso de las evaluaciones difiere no sólo según en qué barrios estemos, sino que podemos ir más allá ya que dentro de una misma familia (organización) el concepto es diferente. Incluso dentro de una misma organización, podemos encontrar diferentes percepciones sobre la motivación y el propósito en el uso de las evaluaciones según se esté: (1) en sede o en terreno; (2) en un departamento u otro; (3) en una posición más senior o junior.
Una evaluación útil para el personal de la sede en la búsqueda del conocimiento estratégico u organizacional general puede no ser valorada de la misma forma por el personal de campo, más centrado como es normal en cambios directos en su programa. Incluso los individuos dentro de un mismo espacio, equipo o departamento pueden evaluar la utilidad de la misma evaluación de forma diferente.
Los usos de evaluación por los decisores reflejan las necesidades de sus posiciones de dirección. Estos usos por los oficiales y decisores de nivel medio/alto pueden ser de varios tipos: (1) para apoyar lo que de ante mano ya se quería o necesitaba hacer (es decir, los resultados han de confirmar la dirección de la política/colectivo predominante o de agendas personales/individuales); (2) una referencia independiente utilizada para resistirse a una directiva vertical desde arriba (desde superiores jerárquicos): (3) como una demostración externa para la rendición de cuentas; (4) proporcionar orientación cuando no se sabe cómo resolver un problema; (5) como instrumento de promoción; (6) como memoria institucional.
Por otra parte los oficiales de campo, muy presionados por las actividades y el tiempo, prefieren “aprender haciendo”, por lo que son más propensos al aprendizaje directamente de sus compañeros y de mensajes claros y cortos, que hacia un conocimiento encapsulado en largos y a veces ininteligibles “pdfs” o informes, directrices o evaluaciones. (ALNAP, 2004 en (Sandison, 2006))
Referencias citadas
Johnson, K., Greenseid, L., Toal, S., King, J., Lawrenz, F., & Volkov, B. (2009). Research on Evaluation Use. A Review of the Empirical Literature. From 1986 to 2005. American Journal of Evaluation.Volume 30 Number 3. September 2009 377-410
Rodríguez Ariza, C. (2014). La gestión del conocimiento y el uso de las evaluaciones. Teoría, Retórica y Práctica. Serie CECOD de Documentos de Trabajo del Centro de Estudios de Cooperación al Desarrollo
Sandison, P. (2006). The utilisation of evaluations. ALNAP Review of Humanitarian Action , 1-56.
Saunders, M. (2012). The use and usability of evaluation outputs: A social practice approach. Evaluation 2012 18: 421 .
La aplicación sistemática de marcos de gestión del conocimiento podría añadir más valor al uso de las evaluaciones. Podemos considerar que un proceso evaluativo es de calidad cuando cumple principios como el rigor, la credibilidad, la utilidad, el uso, y la integración o participación de las partes interesadas. Por tanto, la calidad de los procesos evaluativos viene determinada por varios factores, uno de los cuales es el uso. Aunque en la práctica la línea divisoria entre dichos principios es muy sinuosa, también es cierto que podemos encontrar evaluaciones creíbles y rigurosas que no han sido utilizadas e, inversamente, encontramos que se han utilizado recomendaciones basadas en procesos poco rigurosos, pero de alta credibilidad. Incluso el hecho de que una evaluación sea “útil”, no significa que se utilice. Este post se centra específicamente en la gestión del conocimiento de las evaluaciones que permite la utilidad y uso de dichas evaluaciones.
¿Tiene sentido tratar la “gestión del conocimiento” de las evaluaciones más allá del mero ”uso”? Aunque gestión del conocimiento y uso son términos que se solapan de manera importante, el enfoque de “gestión del conocimiento de evaluaciones”, añade matices que no incorpora el concepto de “uso de evaluaciones”.
La “gestión del conocimiento” es un instrumento que posibilita el uso de las evaluaciones, porque el conocimiento surgido del proceso evaluativo debería ser recopilado, almacenado, ordenado, sistematizado, accedido, compartido, comunicado y difundido para poder ser utilizado de forma óptima y desde los primeros pasos del diseño evaluativo. Y entonces estamos hablando de una estrategia de gestión del conocimiento de las evaluaciones que para ser operacionalizada ha de contar con agentes de cambio, esto es, de gestores de la evaluación o brokers/gestores del conocimiento surgido de la evaluación. Aun así el concepto de “gestión del conocimiento” tiene tantos registros que también es un campo a acotar: (1) qué entendemos por conocimiento, usos y usuarios del conocimiento, (2) quién y para qué se construye el conocimiento.
La gestión del conocimiento optimiza los usos, las formas de usar, los usuarios y los momentos de uso de las evaluaciones. Las evaluaciones se pueden utilizar (a) de muchas maneras diferentes (ya vimos en otro de mis post los tipos de usos evaluativos), (b) por actores diferentes (directos o indirectos), (c) en momentos diferentes (corto, medio o largo plazo). Las recomendaciones pueden no ser seguidas inmediatamente, pudiendo existir usos difusos en el más largo plazo.
La institucionalización de la gestión del conocimiento de las evaluaciones en la estructura y cultura de la organización es un factor clave para mejorar su uso. El conocimiento de las evaluaciones está subutilizado por lo que la gestión del conocimiento tiene amplio margen para mejorar la utilización hacia la mejora y el cambio.
El trazar el aprendizaje y utilidad con respecto a las evaluaciones es complejo, no es una tarea sencilla y directa:
(1) el conocimiento que se utiliza para la toma de decisiones proviene de muchas fuentes, no sólo de las evaluaciones;
(2) con una correcta gestión del conocimiento de las evaluaciones, el conocimiento generado en cualquier contexto de la intervención evaluada puede ser aplicado un tiempo después en un contexto totalmente diferente al de la intervención;
(3) además si una evaluación fue importante para la toma de decisiones en el pasado, esa evaluación puede carecer de importancia o ser olvidada un tiempo después;
(4) la acumulación de evaluaciones útiles pero no utilizadas es frustrante sí, parecer inútil, pero una sistematización posterior puede dar lugar finalmente a importantes toma de decisiones.
La siguiente lista nos da pistas sobre elementos a asegurar para poder realizar la gestión del conocimiento de las evaluaciones. Elementos a sistematizar para la gestión del conocimiento de las evaluaciones (Adaptado a partir de Baguna en Visser et al, 2014:27):
1.Saber cómo: procesos, procedimientos, técnicas y herramientas que podemos utilizar para desarrollar e implementar calidad en el sistema de Evaluación con potencial para la alta utilidad
2.Saber por qué: visiones estratégicas para comprender el contexto de los roles de los actores implicados y el valor de sus acciones. Se necesita hacer un análisis de situación, acordando el propósito del sistema de Evaluación, e internalizando el por qué una evaluación se va a realizar (y no otro tipo de actividad similar)
3.Saber qué: son los hechos, datos, conocimientos, aprendizajes o prácticas que se quieren compartir y utilizar de las evaluaciones
4.Saber quién: incluye el conocimiento sobre relaciones, contactos, intermediarios, campeones, intermediarios y redes para mejorar el uso de las evaluaciones
5.Saber dónde: es la habilidad para navegar y encontrar la información correcta en las evaluaciones para la acción o toma de decisión efectiva.
6.Saber cuándo: es el sentido del tiempo, de la ventana temporal, para la correcta utilización de las evaluaciones, para tomar una decisión, o para parar algo.
Un marco de la gestión del conocimiento de las evaluaciones sería un sistema completo de personas, tecnología y procesos/gestión, que asegure que la gestión del conocimiento de las evaluaciones se aplica de forma sistemática y eficaz para aplicar y utilizar las evaluaciones (su diseño, proceso, sus resultados en su contexto y estructura evaluativa). Por tanto en el caso de las evaluaciones, necesitamos actores implicados, gestores, procesos, tecnología y gestión para asegurar su uso.
Marco de gestión del conocimiento
Marco de la gestión del conocimiento (Basado en Milton, 2010):
1.Las personas y los gestores del conocimiento: Tienen que establecerse en la organización (1) las personas responsables , (2) las funciones de gestión del conocimiento, siendo necesarias comunidades de prácticas para compartir y reutilizar el conocimiento tácito, comportamientos tales como la búsqueda y el intercambio de conocimientos necesitan ser incentivados, y para convertirse en “ la forma de trabajar.
2.Los procesos de gestión del conocimiento: tiene que haber un proceso validado y probado para la captura, destilación, análisis, almacenamiento, aplicación y reutilización el conocimiento, y también para innovar.
3.Las tecnologías de gestión del conocimiento: las personas y el proceso deben ser apoyadas por la tecnología, que permita que el conocimiento que sea encontrado y accesible (en bases de datos, en la Intranet, en determinadas personas). Desempeña un papel importante en la gestión del conocimiento, al proporcionar la tecnología para permitir que la gente se comunique.
4.El gobierno de la gestión del conocimiento sin un sistema de gobernanza que promueva y reconozca el intercambio y la reutilización del conocimiento, todo intento de introducir la gestión del conocimiento será más difícil.
A continuación presentamos como ejemplo de marco de gestión del conocimiento de evaluaciones a nivel internacional la plataforma web DEREC (DAC Evaluation Resource Center), la base de datos de evaluaciones de la Red de Evaluación del CAD/OCDE (Evalnet) (CAD-Comité de Ayuda al Desarrollo):
1.DEREC es un almacén de evaluaciones, en el que de forma amigable se pueden hacer búsquedas empleando filtros (por país, sector, organismo comanditario).
2.El gobierno de DEREC lo tiene la Red Eval Net
3.Los gestores de DEREC son parte de la Secretaría de Evalnet (funcionarios del CAD). También realizan su mantenimiento.
4.Los procesos de gestión del conocimiento: en Evalnet se hace un seguimiento del funcionamiento de DEREC, se anima a (1) introducir nuevas evaluaciones a los miembros de Evalnet, (2) a obtener información sobre las actividades de evaluación de otros miembros, de cara a realizar planificaciones conjuntas de evaluaciones entre los miembros de Evalnet.
5.La tecnología: DEREC es una base de datos robusta a la que se van subiendo las evaluaciones de organismos bilaterales y multilaterales.
Pues hasta aquí llegamos esta semana…y que de entre toda esta teoría, retórica y práctica recordemos al menos allí donde solíamos gritar…
"TripleAD": Aprendiendo a Aprender para el Desarrollo 