Scriven (1928-2023) hizo importantes contribuciones en los campos de la filosofía (lógica y filosofía de la ciencia), el pensamiento crítico y, más notablemente, la evaluación. De hecho, se puede afirmar que él (junto con Donald Campbell) ayudó a crear y desarrollar el campo de la evaluación como una disciplina de investigación tal como la entendemos ahora, como una transdisciplina (otra invención de Scriven) con importantes revistas e institutos, y en estos momentos es un campo reconocido de estudio académico y profesional. En particular, desarrolló el campo de la evaluación en aplicaciones informáticas y de educación. Sus principales ideas sobre la evaluación basada en resultados, la evaluación formativa y sumativa (Scriven ideó estos conceptos), se tienen en cuenta en algunas definiciones de evaluación (basada en el mérito, el valor y la importancia), inventó la evaluación sin objetivos y sin costo, desarrolló la principal metodología como lista de verificación, creó el Evaluation Thesaurus y sigue siendo uno de los profesionales de evaluación más conocidos del mundo.
Evaluación
Una función de evaluación útil (I)
Caroline Heider, reflexionando sobre cómo establecer una función de evaluación útil, indicaba que es un acción que requiere equilibrios; e indicaba la importancia crítica de cuatro elementos: utilidad, imparcialidad, credibilidad y alcance.
Una función de evaluación útil también requiere múltiples capas, desde (a) un entorno propicio, pasando por (b) sistemas institucionalizados y (c) aptitudes y habilidades individuales, e implica un proceso iterativo con una visión a largo plazo, tácticas adaptables y correcciones de curso continuas.
En torno al «Entorno propicio«, hoy en día, el respaldo del liderazgo y de políticas sigue siendo necesario: las oficinas de evaluación generalmente se ven presionadas cuando informan evidencia que contradice las normas o las direcciones estratégicas existentes, pero también debe ir de la mano con una cultura que adopte el aprendizaje y responsabilidad.
En tal cultura, cada una de las partes necesita aportar su parte:
Pensamiento evaluativo para la evaluabilidad
En El pensamiento evaluativo en el ciclo de gestión y planificación ya identificamos algunos de los comportamientos en las organizaciones que son indicativos del pensamiento evaluativo en cada fase central de sus operaciones:
1.Desarrollo y diseño del programa
• Evaluar sistemáticamente el contexto de los servicios y programas para identificar brechas, redundancias y tendencias.
• Evaluar sistemática y regularmente (con datos) nuestra propia capacidad de crecimiento y nuestras capacidades para nuevos servicios.
• Incorporar los hallazgos de la evaluación en el diseño del programa.
• Involucrar a múltiples grupos de partes interesadas (beneficiarios, personal, gerentes, expertos, etc.) en el diseño y la planificación del programa.
• Desarrollar y documentar teorías y modelos de programas para guiar la implementación.
• Mejorar la evaluabilidad y desarrollar estrategias de evaluación desde/en el momento del diseño del programa para asegurar que la recopilación de datos sea significativa y manejable y esté integrada en las operaciones del programa.
• Integrar procesos de evaluación, reflexión, aprendizaje y mejora en los ciclos regulares del programa.
2.Gestión de programas
¿Por qué la colaboración es tan compleja entre organizaciones de desarrollo?
Al trabajar en problemas sociales complejos, ningún actor, ni siquiera el más poderoso, puede lograr mucho por sí mismo. El sector social necesita más y mejor colaboración para lograr un impacto, pero ¿por qué la colaboración es tan compleja en la práctica? Hay cuatro barreras importantes e interrelacionadas para el impacto colectivo:
1. Comparación de sectores privado y desarrollo social: La primera barrera es la tendencia del sector del desarrollo de búsqueda de comparaciones con el sector privado, entre las dinámicas de los sectores privado y no lucrativo. La principal diferencia es la ausencia de un mercado explícito de oferta y demanda en el sector no lucrativo del desarrollo social, aunque sí exista una competencia implícita por recursos financieros (donantes) y a veces por zonas de trabajo y destinatarios finales (socios, beneficiarios, clientes, sujetos de derecho…).
2. Incentivos de medición desalineados: El segundo factor que trabaja en contra de la colaboración es un esfuerzo excesivo en la causalidad y la atribución. Las organizaciones intentan demostrar su responsabilidad y mostrar a sus juntas directivas sus logros, creando entonces consecuencias negativas no deseadas, como, por ejemplo, demasiada energía dedicada en obtener reconocimiento o en construir una “marca”. Esto lleva a un esfuerzo excesivo en la institución individual que se convierte en «la unidad de análisis» (en lugar del impacto colectivo), que en realidad socava la fuerza colectiva.
3. Dinámica de poder: La dinámica de poder entre los donantes / financiadores y sus colaboradores más importantes, así como los intermediarios y los sujetos de derecho, es otro impedimento para una colaboración exitosa. Rodeados de aduladores y aspirantes a obtener financiación, los donantes / financiadores viven en una burbuja de positividad.
Habilidades asociadas con la gestión del conocimiento personal
En un post pasado ya analizamos la La gestión del conocimiento personal (en ingles Personal knowledge management PKM), donde se indicaba que PKM:
(1) Es un proceso que una persona utiliza (a) para recopilar, clasificar, almacenar, buscar, recuperar, compartir, internalizar e integrar conocimientos en sus actividades diarias, y (b) la forma en que estos procesos respaldan sus actividades laborales. (Grundspenkis 2007 y Wright 2005)
(2) Es un enfoque de abajo hacia arriba para la gestión del conocimiento (KM) y una respuesta a la idea de que l@s trabajador@s del conocimiento deben ser responsables de su propio crecimiento y aprendizaje. (Pollard 2008)
PKM integra la gestión de la información personal (PIM), centrada en las habilidades individuales, con la gestión del conocimiento (KM), además de las aportaciones de una variedad de disciplinas como la psicología cognitiva, la gestión y la filosofía (Pauleen 2009). Desde una perspectiva organizacional, la comprensión del campo se ha desarrollado a la luz de la expansión del conocimiento sobre las capacidades cognitivas humanas y la permeabilidad de los límites organizacionales. Desde una perspectiva metacognitiva, compara varias modalidades dentro de la cognición humana en cuanto a su competencia y eficacia (Sheridan 2008). Es un área poco investigada (Pauleen 2009). Más recientemente, se han realizado investigaciones para ayudar a comprender «el papel potencial de las tecnologías Web 2.0 para aprovechar y gestionar el conocimiento personal» (Razmerita, Kirchner & Sudzina 2009). «La Gran Renuncia» ha ampliado la categoría de trabajadores del conocimiento y se prevé que aumente la demanda de gestión del conocimiento personal en el futuro (Serenko 2023).
Las habilidades asociadas con la gestión del conocimiento personal incluyen:
Tipos de auditoría de la gestión del conocimiento
Ya hemos tratado con anterioridad sobre auditoría de la gestión del conocimiento.
Nick Milton nos describe diferentes tipos de auditoría de la gestión del conocimiento y son los siguientes:
· Una auditoría del Marco de gestión del conocimiento de nuestra organización, para identificar las fortalezas y los elementos que faltan, de modo que pueda implementar un plan de acción para cerrar las brechas;
· Una auditoría de la cultura de Gestión del conocimiento, para que pueda desarrollar un plan y una estrategia para fortalecer los elementos culturales de apoyo y eliminar los elementos de bloqueo;
· Una auditoría del conocimiento en sí mismo, para que pueda identificar aquellos temas de conocimiento que más necesitan atención, y así priorizar y enfocar sus esfuerzos de GC donde darán mayor valor añadido y harán la mayor diferencia;
· Una auditoría de una o más Comunidades de Práctica, para que pueda ayudarles a desarrollarse a través de una serie de etapas;
· Una evaluación de madurez de GC de alto nivel de la organización, para obtener una visión general muy rápida de las fortalezas y debilidades;
· Una auditoría contra un estándar GC, con fines de acreditación.
Estrategias para el uso evaluativo
Retomamos el post Conscientes de las barreras para el uso evaluativo basado en Patricia Rogers, y la pregunta ¿Qué podemos hacer para apoyar el uso de la evaluación? ¿Cómo podemos apoyar el uso constructivo de los hallazgos y los procesos de evaluación?
El uso de la evaluación ha sido el centro de discusión durante más de 40 años (iii más de 40 iii). De eso trata esta lista de estrategias para mejorar el uso de las evaluaciones:
1. Identifiquemos l@s usuari@s previst@s y los usos previstos de la evaluación desde el principio
2. Anticipemos las barreras de uso. Algunos ejemplos: La credibilidad y la relevancia, los recursos y el compromiso y la apertura a recibir hallazgos negativos
3. Identifiquemos los procesos clave y los momentos en los que se necesitan hallazgos.
4.Seleccionemos formatos de informes de evaluación adecuados, ajustados a cada audiencia y garanticemos su accesibilidad
Let’s improve the use and influence of evaluations
We revisit Betterevaluation’s «Seven Strategies for Improving Evaluation Use and Influence» where (the peerless) Patricia Rogers tells us What can we do to support the use of evaluation? How can we support the constructive use of the findings and evaluation processes?
This is a long-standing challenge. Some may object that the use of evaluations has been the focus of discussion for more than 40 years, and it’s not something that is currently fully working. This will continue for a few more years if we are not aware of the challenges and assume the correct mitigation strategies.
That’s what the Patricia Rogers’ list of strategies for improving evaluation use can tell us about:
1. Let’s Identify the intended users and intended uses of the evaluation from the start.
When we identify the intended users, let’s be as specific as possible, and let’s be clear about who the main intended evaluation users are.
2. Let’s anticipate barriers to use. Some examples:
Conscientes de las barreras para el uso evaluativo
Revisamos de nuevo Estrategias para mejorar el uso y la influencia de la evaluaciones (I y II) en torno a lo presentado por Betterevaluation en «Siete estrategias para mejorar el uso y la influencia de la evaluación«, donde (la sin par) Patricia Rogers nos cuenta ¿Qué podemos hacer para apoyar el uso de la evaluación? ¿Cómo podemos apoyar el uso constructivo de los hallazgos y los procesos de evaluación?
Este es un desafío desde hace mucho, demasiado tiempo: el uso de la evaluación ha sido el centro de discusión durante más de 40 años (iii más de 40 iii). Seguirá sin duda por algunos más si no somos más conscientes de los retos para el uso y asumimos estrategias de mitigación.
De eso trata esta lista de estrategias para mejorar el uso de las evaluaciones:
1. Identifiquemos l@s usuari@s previst@s y los usos previstos de la evaluación desde el principio
Cuando identifiquemos a l@s usuari@s previst@s, seamos lo más específicos posibles, tengamos claro quiénes son l@s principales usuari@s previst@s.
La gestión del conocimiento personal de l@s evaluador@s
La gestión del conocimiento personal (en inglés Personal knowledge management / PKM):
(1) Es un proceso que una persona utiliza (a) para recopilar, clasificar, almacenar, buscar, recuperar, compartir, internalizar e integrar conocimientos en sus actividades diarias, y (b) la forma en que estos procesos respaldan sus actividades laborales. (Grundspenkis 2007 y Wright 2005)
(2) Es un enfoque de abajo hacia arriba para la gestión del conocimiento (KM) y una respuesta a la idea de que l@s trabajador@s del conocimiento deben ser responsables de su propio crecimiento y aprendizaje. (Pollard 2008)
"TripleAD": Aprendiendo a Aprender para el Desarrollo 