Evaluación

El fracaso de la gestión del conocimiento durante la pandemia

Posted by

0


Fuente https://www.apqc.org/

 

En el post El fracaso de la gestión del conocimiento, nos basamos en el el artículo “Una síntesis de los factores de falla en la gestión del conocimiento” (Frost, 2014), que refería a los factores por los que han fracasado algunas iniciativas para la gestión del conocimiento.

Si retomamos aquel post y lo referimos a nuestra gestión del conocimiento en torno a la respuesta al COVID: pensemos en la gestión del conocimiento y el aprendizaje entre la primera y segunda ola del COVID-19, lo que fue y lo que pudo haber sido: Las causas o factores causales se refieren a las cuestiones organizativas y administrativas generales que se requerían/requieren para implementar la gestión del conocimiento con éxito (o no).

Causas del fracaso de la gestión del conocimiento durante la respuesta a la pandemia:

  1. Falta de indicadores de desempeño y beneficios medibles
  2. Insuficientes incentivos o apoyos desde el equipo de dirección / gestión senior
  3. Planificación, diseño, coordinación y evaluación inadecuados
  4. Capacidad inadecuada de los gestores del conocimiento y de los que trabajan ese conocimiento
  5. Problemas con la cultura organizacional
  6. Estructura organizativa inadecuada

Sigue leyendo →

La evaluación no está siendo una prioridad durante la pandemia: desafíos pasados

Posted by

0


Establece prioridades, nunca tendrás tanto tiempo como ahora 1

Fuente: https://francescricart.com/

Retomamos el post Evaluando en tiempos de pandemia (basado en un post de abril de 2020, por Jos Vaessen & Estelle Raimondo del Banco Mundial): efectivamente estos últimos 8 meses desde la gestión y ejecución de evaluaciones hemos tenido desafíos (a) éticos, (b) conceptuales y (c) metodológicos que han afectado/están afectado a nuestra capacidad para usar las evaluaciones:

1.Desafíos éticos:

Desde un punto de vista ético, los planes de trabajo de evaluación inevitablemente han necesitado/están necesitando ajustes y plazos más largos/dilatados.

En primer lugar, donde la evaluación podría haber sido un componente clave para comprender si las intervenciones de salud pública y otras intervenciones prioritarias (por ejemplo, protección social y redes de seguridad social para ciudadan@s (vulnerables)) han funcionando y cómo funcionan, l@s evaluador@s deberían haber sido integrad@s (aunque, por desgracia, no lo han sido en demasiados casos):  (1) no solo para poder recopilar los mejores datos posibles y realizar las mejores evaluaciones posibles para informar a los responsables de la toma de decisiones durante la crisis, (2) sino también para corroborar debates críticos que tienen y tendrán lugar una vez que la crisis esté terminando.

En segundo lugar, la evaluación ha tratado/está tratado de no ejercer presión innecesaria sobre instituciones y sistemas públicos demasiado sobrecargados, el enfoque ha sido reducir (y priorizar) las interacciones directas con colegas operativos que trabajan en sectores relacionados con la crisis, mientras se han intensificado los esfuerzos para llevar a cabo el trabajo evaluativo de manera diferente dadas las limitaciones. Sin embargo en la práctica, ¿ha sido o está siendo relevante la evaluación para las estrategias y operaciones desplegadas frente al C-19?

En tercer lugar, una consideración ética más sutil ha sido/está siendo cumplir las condiciones necesarias para que las evaluaciones sean útiles y se utilicen. ¿Podemos esperar que nuestra audiencia escuche? L@s evaluador@s han tratado/están tratando de ser proactiv@s y no depender de mecanismos institucionales, no tan bien preparadas ​​para regular la demanda, producción y uso de evaluaciones de cara al aprendizaje y mejora.

Resumiendo mi percepción (ojalá me equivoque): en general la evaluación ha sido de nuevo: (a) vencida por los procedimientos (burocracia) – que tanto aman las instituciones (porque es a lo poco a lo que rinden cuentas), procedimientos tan indiferentes o reñidos a menudo tanto con el «aprendizaje», como con los «resultados» («business as usual»)-, (b) vencida por el activismo ciego ligado a los procedimientos pero, sobre todo, (b) vencida por la falta de liderazgo y capacidad estratégica-: más allá «del deseo y del debería», la evaluación no está siendo, ni una prioridad, ni relevante, durante la respuesta al C-19 (pero no quiero ser dogmático, corregidme por favor si me equivoco).

Sigue leyendo →

¿Cuándo dejaremos de llorar porque en España no hay evaluación?

Posted by

0


Un interesante artículo sobre el estado de la evaluación en España: ¿Quién mide el impacto de las políticas públicas? El otro gran déficit de España: evaluar la gestión de Isabel M. Ruiz

Algunas reacciones y apuntes al artículo:

1.Aparece claro ese mantra que en la comunidad evaluadora repetimos y repetimos como plañider@s, pero sin aparente avance: “España sufre una falta de cultura evaluadora …y sigue siendo una asignatura pendiente.”

2.Pero este mantra o frase parece que es contradictoria con la siguiente frase: “La exigencia ahora es máxima; ni la sociedad ni los organismos comunitarios van a darse por satisfechos con el mero hecho de “hacer cosas” de cualquier forma y con cualquier resultado.”

La falta de cultura evaluadora tiene su origen no en la falta de voluntad política, sino en la falta de capacidad de la sociedad para pedir rendición de cuentas (eso hace que los políticos no tengan incentivos otros que no sea hacer su voluntad partidista, sectaria o personal, en su «juego de tronos» habitual)

3.La evaluación y la cultura de evaluación son de difícil aplicación si no existe un marco de rendición de cuentas que lo faciliten: recordemos la necesidad de «responsabilidad, exigibilidad y evaluabilidad» en el post La evaluación busca responsabilidad

Así, bajo esos marcos de rendición de cuentas se dan/posibilitan las evaluaciones de la Comisión Europea (Fondos Europeos) y, en general, de los fondos de la Cooperación al Desarrollo (AECID/DGPOLDES, NNUU, Bancos…): otra cosa es que realmente sean útiles y sirvan para aprender/mejorar (la utilidad es otra historia a contar en otro momento) Sigue leyendo →

La evaluación busca responsabilidad

Posted by

1


Fuente: https://revitalizationpartners.com/in-our-experience/a-culture-of-personal-accountability/

Retomando nuestro post anterior ¿Busca la evaluación culpables?, en el que indicamos que la evaluación busca reforzar la responsabilidad (rendición de cuentas) y no tanto busca culpables: en un sentido amplio ya hemos hablado de lo que se entiende por rendición de cuentas : al “conjunto de derechos y responsabilidades existentes entre los ciudadanos y las instituciones que afectan a su vida”.

La rendición de cuentas incluye tres dimensiones:

(1) Obligatoriedad: derecho a obtener una respuesta por parte de la ciudadanía y la obligación de darla por parte de las instituciones.

(2) Exigibilidad: capacidad para asegurar que una acción se lleva a cabo y sancionar si ello no ocurre.

(3) Evaluabilidad: valoración positiva o negativa de las instituciones (Newell y Bellour, 2002 y Blagescu, de Las Casas y Lloyd, 2005 en Toledano et al, 2008: 18). Sigue leyendo →

¿Busca la evaluación culpables?

Posted by

1


Fuente: http://facilitationprocess.com/the-critical-need-for-program-accountability-evaluation/

En el artículo «Evaluar ahora, y no cuando ya sea tarde« Cristina Monge indicaba que «adolecemos de una falta de cultura de evaluación en el conjunto de las administraciones públicas y en otras organizaciones privadas que resulta todo un hándicap para la gestión». «Probablemente porque se ve como un proceso en busca de culpables, con ánimo inquisitorial y estigmatizador; pero siendo cierto que, en algunos casos, quien lo propone puede estar buscando ese efecto, tal situación podría combatirse sistematizando la evaluación de manera que forme parte de los procesos de gestión habituales.»

En varias ocasiones en declaraciones recientes sobre la evaluación  se hace referencia a que «la evaluación no busca culpables», sino aprendizajes. Mi experiencia me dice que si por culpables nos referimos a «responsables», habría que matizarlo. Las instituciones no suelen tener en su deseo el aprender por aprender, ya que suelen tener siempre otras prioridades y urgencias.  Sin una rendición del cuentas hacia ese aprendizaje organizacional. la evaluación nunca será una prioridad institucional. Quizás la forma de reposicionar la importancia de la evaluación, es mejorar la rendición de cuentas de las instituciones públicas. Y esto está relacionado con lo que Cristina Mongue llama «institucionalizar la evaluación» Sigue leyendo →

Criterios de evaluación del CAD en la práctica: desarrollo del éxito a partir de fracasos y malas prácticas II

Posted by

1


Comenzamos en el post anterior “Criterios de evaluación del CAD en la práctica: éxito a partir de fracasos y malas prácticas la discusión sobre de la reforma de los criterios, y cómo esto implicaba oportunidades, aunque los viejos retos continúan, estos retos tienen que ver con su (I) propósito, (II) uso, (III) claridad y (IV) aplicabilidad·práctica”. Sigamos en este post con los principios de uso evaluativo:

(II) Principios de uso de los criterios de evaluación

  1. Criterios no contextualizados: los criterios (y preguntas) (a) son el resultado de “cortar y pegar” versus (b) los criterios deben ser contextualizados, entendidos en el contexto de (i) evaluación individual, (ii) intervención y (iii) partes interesadas.
  2. Aplicación mecánica: En muchas ocasiones se observa (a) la aplicación mecánica de todos los criterios y (b) demasiadas preguntas en relación con los recursos disponibles. En lugar de ello son buenas prácticas:

(a) Aplicación adaptativa / flexible en función de la «evaluación de necesidades / evaluabilidad» (necesidades de la intervención, contexto y partes interesadas)

(b) Enfoque y enmarcar los usuarios, prioridades, criterios y preguntas en relación con la valoración de la evaluabilidad

(c) Priorizar las preguntas y establecer 10 preguntas máximo. (las más relevantes para los usuarios directos y ninguna más) Sigue leyendo →

Criterios de evaluación del CAD en la práctica: éxito a partir de fracasos y malas prácticas

Posted by

2


Comenzamos en el post anterior «La reforma criterios de evaluación del CAD: una oportunidad, los retos continúan» a hablar de la reforma de los criterios, y cómo esto implicaba oportunidades, aunque los viejos retos continúan, estos retos tienen que ver con su (I) propósito, (II) uso, (III) claridad y (IV) aplicabilidad·práctica»:

(I) Propósito de los criterios: En la práctica evaluativa, el propósito de los criterios de evaluación normalmente no está claro, ya que suelen verse como una imposición más que como soluciones alternativas para nuestro proceso de evaluación:

1. Normativo (imposición): Los criterios juegan un papel de apoyo (lentes o perspectivas alternativas para ver la intervención) PERO normalmente, «en la práctica», se perciben con un papel normativo (obligatorio), es decir, no se entienden…

2. Perspectiva de silos (fragmentada / reduccionista). Los criterios se utilizan normalmente de forma reduccionista, aislada y como parte de un lenguaje y un mundo (el nuestro, es de l@s evaluador@s) en algunos momentos abstracto, complejo e ininteligible: Sigue leyendo →

La reforma criterios de evaluación del CAD: una oportunidad, los retos continúan

Posted by

1


En diciembre de 2019, el CAD de la OCDE [Comité de Asistencia para el Desarrollo de la Organización para la Cooperación y el Desarrollo Económicos] adoptó los ‘Criterios de evaluación: definiciones adaptadas y principios de uso‘ aprobados anteriormente (actualmente disponible en inglés y francés, y casi en fase final la traducción al español).

La reciente reforma de los criterios de evaluación del CAD trató de abordar algunas fallas y malas prácticas relacionadas con (a) confusión de la aplicabilidad de los criterios de evaluación, (b) adecuación a las nuevas prioridades políticas (Agenda 2030…). Sigue leyendo →

Evaluación, evaluabilidad y pandemia: un pasito pa’lante, un pasito pa’tras’

Posted by

0


Estas semanas pasadas intercambiaba con colegas sobre la oportunidad y la necesidad de la evaluación en relación a la respuesta de las políticas públicas al COVID. Coincidimos en la relevancia de diseñar evaluaciones de la «preparación, mitigación, respuesta y la rehabilitación/reconstrucción», de sectores como  salud, educación, protección social…sigamos soñando.

De nuevo sobre evaluabilidad, retomamos este documento de «antes de ayer» (2007): «LA EVALUABILIDAD: DE INSTRUMENTO DE GESTION A HERRAMIENTA ESTRATEGICA EN LA EVALUACION DE POLITICAS PUBLICAS» de Marisa Merino, dentro de Papeles de Evaluación (dentro del Tipo «Métodos y herramientas») de la «difunta» AEVAL (Ministerio de Administraciones Públicas), que dado lo que ha progresado la función de evaluación de las políticas públicas españolas,  pareciera cómo que en nuestro sistema fuéramos un pasito para adelante y uno (o dos) pasito(s) para atrás.

Este documento se centra en la evaluación de evaluabilidad, que surgió en los años 70 (iii hace más de cuarenta años iii) como instrumento para la gestión de programas, pero cuyo mayor potencial se vislumbra como herramienta estratégica en el campo de las políticas públicas y el fomento de la cultura evaluadora. Estudia la evolución de la evaluabilidad hasta nuestros días; analiza sus objetivos y límites; examina algunas controversias recientes; justifica las razones para su uso. Sigue leyendo →

La síntesis de los hallazgos de las evaluaciones.

Posted by

0


Como parte del «RTD TIG Week» de la AEA, «La síntesis de estudios de imitación ayuda a responder preguntas de política realmente importantes» Gretchen Jordan, pasaba el mensaje de que las grandes preguntas que nos piden que respondamos requieren que avancemos hacia el uso de marcos lógicos de evaluación acordados y adaptados al tipo y contexto del programa para aprender de la síntesis de los hallazgos de las evaluaciones.

Además nos indica cinco pasos para una evaluación de síntesis para informar la política de investigación e innovación:

1. Acuerde la (s) pregunta (s) que serán respondidas por la evaluación de síntesis. Un ejemplo es «¿Qué impactos técnicos, económicos y sociales han ocurrido y qué programas y otros factores contribuyen a ellos?»

2. Diseñe un conjunto de evaluaciones de tal manera que sus hallazgos puedan sintetizarse de manera creíble. Consulte los modelos lógicos genéricos, los indicadores y el glosario propuestos en “Evaluación de los resultados de la investigación financiada con fondos públicos…”, el documento del Grupo de interés temático sobre investigación, tecnología y desarrollo de 2015. Sigue leyendo →