Evaluación

Comprendiendo la «Evaluación durante el desarrollo» (Developmental Evaluation)

Posted by

1


Uno de mis libros más subrayados es «Developmental Evaluation. Applying Complexity Concepts to Enhance Innovation and Use» de Patton, M. Q. (2010). Y aun así este enfoque sigue siendo un enigma ya que todavía me queda un rato para acabar de  comprenderlo completamente en su parte más operativa. Uno está tentado de decir que es un enfoque que coge todo lo bueno de todos los enfoques y lo pone junto, en un estofado en el que añades algunas de las actuales palabras mantra (más «IN» o «FASHION») como: adaptación, innovación, resiliencia… Su autor, el inabarcable Michael Quinn Patton, describe este enfoque como «una opción que fundamentalmente responde al contexto de la intervención». Siendo Patton un pionero, este libro necesita tiempo para ser digerido porque además, como él mismo explica y en coherencia con este tipo de enfoque, utiliza el formato de «contar historias» para presentar los diferentes apartados (i)

El tema es que los anglosajones se inventan juegos de palabras imposibles y luego nos dejan a los demás la traducción (a veces lo que para los ingleses está clarísimo en dos palabras las lenguas románicas necesitamos varias páginas de explicación…sin contar las excepciones claro). ¿Pero empecemos por cómo demonios se traduce Developmental Evaluation  (DE, por sus siglas en inglés)? Uno está tentado de hacer como mis padres cuando fueron a ver la película «Eyes wide shut«, imposible de traducir al castellamo …la gente decía «una entrada para la sala 2» porque no sólo no se traducía sino que era imposible repetir el nombre….

Para empezar hay que decir que la traducción que aparece en el título es propia. Pablo Rodríguez Belilla en su breve introducción a DE se pregunta si pudiera traducirse como «evaluación en desarrollo»,  y Ricardo Wilson-Grau lo traduce como “evaluación para el desarrollo de innovaciones”. DE puede ser llamada también evaluación adaptativa, evaluación en tiempo real o evaluación emergente.  O sea que puede ocurrir que hayamos aplicado DE sin saber que lo estábamos haciendo. Y yo prefiero traducirlo como «evaluación durante el desarrollo» porque entiendo que es un proceso evaluativo durante el desarrollo de una intervención. Bueno pues a ver si acordamos una traducción digna ( i )

La evaluación durante el desarrollo  (DE) es un enfoque de evaluación que puede ayudar a los innovadores sociales que desarrollan iniciativas de cambio social en entornos complejos o inciertos. La DE es comparada al papel que la I+D+i (Investigación, Desarrollo e Innovación) juega en el proceso de desarrollo de productos y servicios en sector privado, ya que facilita casi en tiempo real la retroalimentación al personal del programa, permitiendo así el desarrollo de un seguimiento continuo más auténtico y más centrado en efectos positivos del proyecto y menos en la operativa de gestión.

La DE es especialmente adecuada para la innovación, el cambio radical, el rediseño, la replicabilidad, y en concreto como alternativa para el abordaje evaluativo de problemas complejos y situaciones de crisis. En estos diferentes contextos, la DE puede aportar de manera significativa y diferenciada de otros enfoques: conceptualización de nuevos fenómenos y nuevos marcos de análisis de los fenómenos sociales, validación por iteraciones rápidas, la capacidad de hacer emerger temas críticos, entre otros (Patton M., 2010)

La DE se apoya en la innovación para guiar la adaptación a las realidades emergentes y dinámicas en entornos complejos. Las innovaciones pueden tomar la forma de nuevos proyectos, programas, productos, cambios organizativos, reformas políticas, etc.

Recordemos que un sistema complejo se caracteriza por un gran número de elementos interdependientes que interactúan, en los que no hay control central, surgiendo patrones de cambio rápidos e interacciones en tiempo real, que generan el aprendizaje, la evolución y el desarrollo, si prestamos atención y sabemos cómo observar y capturar los patrones importantes y emergentes.

Entornos complejos para las intervenciones sociales y para las innovaciones son aquellos en los que lo que se debe hacer para resolver los problemas de los implicados es incierto y está en conflicto la forma de proceder.

Para ilustrar mejor el cambio de paradigma que supone este enfoque con respecto a planteamientos más comunes (como es el caso de la evaluación basada en objetivos/preguntas de evaluación), en la siguiente tabla se muestra una comparativa:

Evaluación tradicional Developmental Evaluation
Propósito Control del proyecto, Apoyo a la mejora de la intervención, aspectos sumativos de evaluación Apoyo a la innovación y la adaptación
Roles y

responsabilidades

 Evaluador posicionado externamente para asegurar independencia Posicionado como una función interna integrada en el proceso de recolección y el análisis de información, generando marcos para la interpretación, supervisando y examinando modelos en desarrollo
Rendición de cuentas Focalizado en actores externos, con criterios de valoración predefinidos Centrada en los valores de los innovadores y su compromiso para el cambio
Opciones Dominan métodos y técnicas de investigación clásicas Enfocado al uso: se eligen técnicas y herramientas en función del uso en desarrollo
Medición Desempeño y éxito medidos a partir de indicadores SMART y objetivos claramente Desarrolla medidas conforme los efectos van apareciendo. Las medidas pueden cambiar a lo largo de la evaluación.
Resultados de

evaluación

 Informes formales, identificación de

buenas prácticas, generalizables espacial y temporalmente

 Retroalimentación en tiempo real, formas amigables y diversas de retroalimentación.

La evaluación trata siempre de nutrir el aprendizaje
Complejidad e

incertidumbre

 El evaluador trata de controlar la implementación del diseño de evaluación y el propio proceso El evaluador aprende a manejar la falta de control sobre el proceso. Está atento al despliegue del programa y sus efectos y responde acorde con el momento
Estándares/ Principios

orientadores

 Competencias metodológicas, rigor, independencia, credibilidad de cara a autoridades externas. Pensamiento analítico y crítico Flexibilidad metodológica, adaptabilidad, eclecticismo. Pensamiento sistémico.

Equilibrio entre pensamiento crítico y pensamiento creativo. Gran tolerancia a la ambigüedad. Abierto y ágil. Centrado en habilidades de equipo. Capaz de facilitar evidencia rigurosa.

…Pero esto es un comienzo en torno a la «Evaluación durante el desarrollo», ya que trataré en futuros post de ir desgranando los tesoros de este enfoque…

Referencias

Patton, M. Q. (2010) Developmental Evaluation. Applying Complexity Concepts to Enhance Innovation and Use. Guilford Press, New York. Retrieved

Rodríguez Ariza, C. y Monterde, R. (2014) Estrategias cualitativas de evaluación en la Cooperación para el Desarrollo: viejos debates y nuevos retos. Documento de Trabajo Serie CECOD. Número 29 / 2014

No hay profesionalización sin evaluación

Posted by

1


 

Por casualidad, como suelen ser las cosas en un sector sin profesionalización, me comuniqué con mi colega eternamente al borde del caos, Pablo Rodríguez Bilella, y le comenté de la posibilidad de, en la próxima conferencia de la RELAC, hacer «algo conjunto» en relación a profesionalización de la evaluación. También recientemente hablé con María José Soler Fraile, presidenta de APROEVAL, sobre la necesidad de trabajar conjuntamente todas las asociaciones de evaluación de habla hispana, y mencionamos el tema de trabajar conjuntamente sobre el tema de la profesionalización.

Fruto de ese azar supe que el caótico y siempre complejo Pablo estaba escribiendo un artículo sobre el tema de la profesionalización en evaluación y, como buenos latinos, nos retamos a un intercambio «e-post-olar» con la posibilidad de atraer a otros desgraciados de este sector no profesionalizado…Como es habitual él se adelantó, él que es una metralleta de las redes sociales: Evaluación y profesionalización: ¿extraña pareja? (parte 1)…bueno pues ahora toca el momento de la remontada…

En este primer post para no perder el rumbo voy a filosofar…aunque  en muchos aspectos coincidimos Pablo y yo  (o, más humilde, coincido yo con él)

Y es que la evaluación es política, es técnica y…es filosofía (cómo entiendo yo aquí filosofía: dígase de lo que el vulgo evaluativo (yo incluido) piensa de las teorías evaluativas…aunque algunos quijotes y sancho panzas no dejen de decir aquello de que no hay mejor práctica que una buena teoría)

Pues en esta introducción doy tres ideas y hago un ejercicio de gestión del conocimiento, rescatando tres fragmentos de tres posts pasados:

 

1.Veo dos retos para la profesionalización de la evaluación: (1) centrarse demasiado en la cuestión técnica (tecnocrática) cuando la evaluación también es (o sobre todo es) política; y, si se consigue el progreso de la profesionalización, (2) centrarse sólo en el binomio  político y tecnocrático, con cuerpos de élite corporativos que se olvidan de su origen y de su fin social. Las asociaciones de evaluación deben cumplir su rol, sin caer en la trampa (1) de la tecnocracia y, cuando se relacionan con el tan peligroso y atractivo mundo del poder, (2) de venderse, sin escuchar a las bases y a la sociedad…ya lo sé, un circo de tres pistas, pero es lo que tiene la evaluación que, recordemos, es política, técnica y filosofía…y ojo ya hay hasta un congreso próximo sobre el rol de la evaluación en la era de la post verdad: Measuring What Matters in a Post-Truth Society

2.No es solo necesaria la profesionalización de la evaluación, sino que no olvidemos el rol transversal de la evaluación para el resto de profesiones: sin evaluación no hay profesionalización. Algunos de los campos más profesionalizados (funcionariado, medicina…) lo consiguieron a través de la incorporación de sistemas de control de calidad (integrando la doble vertiente de rendición de cuentas y aprendizaje que implica la evaluación)

3.No hay evaluación sin rendición de cuentas…y el mayor garante de la rendición de cuentas es el parlamento. Las Asociaciones de Evaluación (VOPEs) son importantes, pero debido a ese binomio técnico y político, hay que hacer lo posible para incorporar a los agentes de cambio político (como el parlamento) y social (otras asociaciones, academia y los medios de comunicación). EvalPartners tiene iniciativas muy interesantes para involucrar a los Parlamentos Nacionales en los procesos de desarrollo de capacidades en evaluación.

Por tanto, no podemos perder de vista que el camino hacia la profesionalización no es sólo técnico (tecnocrático), sino también político. Y ahí a veces nos pillan a los evaluadores, tan acostumbrados a nuestro trabajo solitario y sistemático con tantos nexos con la investigación (más centrados en el rigor, en la independencia y en la objetividad) y tan poco acostumbrados a la gestión y a la política (más sucia, menos independiente y más dada al regateo, al mercadeo y a los compromisos -a veces a cualquier precio-…de cara a la utilidad…o al pragmatismo)…cuánto cuesta en evaluación ese equilibrio tan inestable entre rigor, independencia y utilidad…

Tomo del post de Pablo un párrafo clave que marca el titánico camino que hay por delante para profesionalizar la evaluación. La fuente es de ese gran evaluador que fue primero técnico, después político y ahora una referencia (filosófica):

 

 

«Bob Picciotto, desde el marco de la sociología de las profesiones, sintetiza algunas de las características que debe construir una agenda para la profesionalización de evaluación:

(1) el reconocimiento público que la ocupación promueve el interés general; 

(2) procesos reconocidos de desarrollo disciplinar (educación especializada, exposición continua a la práctica de expertos);

(3) autonomía profesional (la propia profesión controla la contratación, la calidad de la formación, la aprobación de directrices profesionales, la aplicación de normas éticas, etc.);

(4) el acceso a la práctica (la institucionalización de la experiencia profesional mediante la educación terciaria de alta calidad y una amplia gama de posibles restricciones sobre el acceso a la práctica profesional: designación, acreditación, certificación, licencias).»

En mi próximo post centraré un poco más el tema y trataré de hablar del proceso que está realizando el grupo de profesionalización del Sociedad Europea de Evaluación del que soy miembro.

Tres ideas  ya contadas y tres antiguos posts sobre evaluación, carreras profesional y asociacionismo: Y como prometido, dejo aquí  los tres posts del pasado, terminando aquí esta primera e-post-ola.

 

Asociacionismo en evaluación –capítulo primero

(Octubre de 2014)

Más que nunca necesitamos del asociacionismo para aumentar nuestro capital social, humano y técnico, aumentando la capacidad de análisis, escucha, respuesta y servicio. Pero no debe ser fácil cuando hasta ahora no se ha llegado a las bases con una propuesta de verdadero trabajo en red y mutuamente beneficiosa, en la que se den soluciones de forma proactiva a problemas comunes o colectivos, en el que las bases se involucren de forma también proactiva y los boards o élites dirigentes, actúen para el pueblo y con el pueblo, y en representación de y con sus miembros

Acade: ¿por qué la sociedad española no se ha movilizado ante la reducción de la ayuda?

(28 Octubre del 2013)

“La sociedad civil organizada ha cambiado su papel y ya no habla en nombre de otros”. Aquí se mencionaron movimientos como el 15 M o las redes sociales. “No se necesitaba a la ciudadanía y la cooperación se ha dedicado a otras cosas…y se han perdido a las bases”. No se tuvo la suficiente visión de que la “sociedad civil organizada es capaz de crear opinión y estar sintonía con la sociedad. Luchar contra las desigualdades no implica sólo luchar contra la pobreza”. “La sociedad civil (organizada) ha tenido un problema de comunicación, aunque también ha habido problemas con el papel del liderazgo público”. A este punto durante el turno de palabra indiqué que no sólo era un problema de comunicación en el sentido de enviar el mensaje (de convencer), sino en el de escuchar. Pero hubo más sobre este punto:

-“El sector de ONGD está fragmentado. Pero el problema del apoyo social no es sólo de España. No se ha sido capaz de demostrar que la ayuda sirve para algo, de que la ayuda funciona”. Por otra parte hay muchos“peligros buscando atajos del norte al sur”.

– La base no se necesitaba porque estaban los profesionales. Se buscó “la profesionalización pero no un liderazgo asociativo” con el apoyo de las bases.

-“Ha habido un problema de mala gestión del accountability, ya que se ha entendido un accountability hacia el financiador. En España no tenemos conciencia de que lo público es de todos. Se debería haber hablado con la sociedad sobre los avances. No ha existido una política de transparencia”.”No ha habido suficiente diálogo y después el dinero público se ha retirado.”.

En este punto también señalé algunas ideas durante el turno de palabra de la jornada: Las afirmaciones anteriores, de ser ciertas, “iban en contra elementos básicos de la democracia participativa”. En un colectivo y sector para el que el concepto de participación parece tan importante, esto aumenta la carga de retórica de su discurso (o sus discursos). Repitamos: ¿No se necesitaba a la ciudadanía? ¿No había una política pública de estado?. También señalé que al binomio política vs tecnocracia había que añadir las dinámicas personalistas (o grupales) de poder. Éstas implican que el único deseo de cambio que se desea es “quítate tú para ponerme yo”, para mandar, mandar porque puedo. También es de señalar la magnitud de la retórica de una política ilustrada debido a la distancia con la sociedad civil, y que a su vez ha dado lugar a más distancia entre la sociedad y la política.

¿Carrera profesional en la cooperación española? La soledad de la carrera de fondo

(22 Mayo 2013)

…es un sector de profesionales poco valorado, desestructurado, sin sentimiento de cuerpo y, en consecuencia, en el que prima más el “qué hay de lo mío” y el “sálvese quien pueda”, que una visión colectiva sobre cómo debería ser un sector profesional en coherencia con la agenda de eficacia, en la que “de verdad” primaran los intereses de los más pobres (destinatarios por la vía de la apropiación y alineamiento de la ayuda) y de la sociedad española (demandantes de reducción de la pobreza con la máxima eficacia, eficiencia, pertinencia e impacto posible). En este marco la Cooperación Española continuamente se está descapitalizando de sus profesionales, ya que no existen ni mecanismos, ni contextos, ni incentivos para dar la oportunidad o contar con los mejores profesionales en los puestos de responsabilidad y decisión.

Como resultado de los desincentivos anteriores las Agencias, Departamentos públicos y las ONGD españolas tienen una gran rotación de personal tanto de personal directivo, como técnico. Estos cambios hacen más necesarias las estrategias de Gestión del Conocimiento y tienen el peligro de tender a una visión cortoplacista y no estratégica. Asimismo en dichos Departamentos Públicos no suele haber objetivos ni indicadores claros a nivel organizacional, ni mecanismos eficaces de rendición de cuentas de forma bidireccional a los más altos niveles jerárquicos.” (Rodríguez Ariza, Carlos, 2009, página 32) La gestión de la información en las organizaciones de desarrollo (vol. II)

Eval Central Game Over: Being Chris Lysy

Posted by

2


As I explained in my post evaluation and data visualisation, Chris Lysy is a huge and passionate artist and evaluator…

Results logic chain by Chris Lysy

Results logic chain by Chris Lysy

Self description by Chris Lysy

Self description by Chris Lysy

Chris Lysy gave us EvalCentral and at one point he decided to take it away. He has his reasons, which can be read in his post turning off of the EvalCentral auto pilot. My admiration for Chris implies that I wonder what is being Chris Lysy…

But my point is that EvalCentral had become a kind of «public good» and had its own life, so I missed a period of reflection on the different alternatives for EvalCentral (including a the hand over to another person / institution that could manage the EvalCentral platform)

Maybe there is something I do not understand about it, so I asked my colleague Sara Vaca, Spanish evaluator, dataviz nerd and friend, to talk on my behalf to Chris during the coming Congress of the American Evaluation Association and to discuss on it…

Even if I am not convinced, Chris says the following in his post turning off of the EvalCentral auto pilot :

I launched Eval Central just about 6 years ago. At that time there were only so many evaluators actively engaged in writing for the web.

For those interested in evaluation, it was hard to find evaluation bloggers. And then when you found one it was possible they had already quit blogging.

For new evaluation bloggers, it was hard to connect and build an audience.

I created Eval Central as a sort of automated matchmaker. It gave an audience to new bloggers, and gave those interested in evaluation an automated discovery tool that delivered relevant evaluation stories right to their inbox each day.

But times have changed.

Now it’s even easier to add your voice to the world. You can still do it with your own WordPress blog, but you could also write a post directly on LinkedIN, Medium, or any number of other publications. In just a couple of clicks from an account you already possess.

Subsequently, the original design of Eval Central just isn’t working the way I would like it to work. So, after a lot of thought, I decided to break it.

Starting soon, Eval Central will be a Medium Publication. And instead of bringing together blogs, I’ll be bringing together evaluators interested in writing and curating evaluating content.

There will be no more auto-pilot. Every post that appears on this site will be the result of a writer or curator deciding it should be here. I will need help.

If you’re interested in writing or curating for Eval Central, send me an email > chris@freshspectrum.com.

 

Dear Chris, many thanks for all your creativity and associative work, I wonder what means «after a lot of thought«…does it imply evaluative thinking or evaluative tools?…as a (former) member of the deceased EvalCentral I can say that nobody consulted me anything…

I am a romantic developmental evaluator, I would have liked a bit of contact and discussion between the Evalcentral participants…because in my perception EvalCentral was a living being that existed beyond Chris Lysy…

Could we think in reviving something similar to Evalcentral? Could it make sense and be still relevant something like Evalcentral? I think so…I do not know if other evaluation colleagues think like me…

I use to end my posts with a song, I selected this one. From the other side of the Atlantic I want to invite to start a period of reflection (to my American evaluation colleagues -including ALL the Americans not only these of the northern part),  (as I said I am a romantic): is it worth EvalCentral as we knew it?…

…long life to Eval Central…

 

Evaluación y visualización de datos

Posted by

1


 

Visualización de datos

Visualización de datos

Esta vez toca hablar de la visualización de datos, aprovecho la publicación que hice con Rafa Monterde (el creador de la Evaluateca): Estrategias cualitativas de evaluación en la Cooperación para el Desarrollo: viejos debates y nuevos retos (Rodríguez Ariza & Monterde, 2014) en la que dedicamos un apartado a la Evaluación y la visualización de datos.

Visualización de datos

Visualización de datos

Y por qué no decirlo, este es un submundo dentro del mundo de la evaluación, en la que tenemos a grandes figuras. Entre todas las estrellas de la visualización empecemos por Sara Vaca. En su página web Visual Brains muestra parte de su creatividad. Una pena que no dedique más de su arte a su lengua materna i

Visualización sobre lo que es y no es evaluación

Visualización sobre lo que es y no es evaluación

 

Visualización sobre sistemas rígidos o flexibles

Visualización sobre sistemas rígidos o flexibles

 

Visualización sobre el grado de participación en el proceso evaluativo

Visualización sobre el grado de participación en el proceso evaluativo

También podemos citar a Stephanie Evergreen y Ann K Emery como pioneras desde la American Evaluation Association de todo lo relativo a visualización de datos.

Checklist de la visualización de datos

Checklist de la visualización de datos

Stephanie es una referencia en visualización, ha publicado recientemente el libro Presenting Data Effectively y podemos encontrar más en su página web Evergreen Data

Ann Emery también publica sus visualizaciones en su página AnnkEmery, muy creativa, accesible y comprende el castellano (i), la conocí a través de EvalCentral (cuando todavía existía EvalCentral claro, gracias Chris Lysy por darnos y quitarnos esa oportunidad como un visionario y dios de la visualización que eres).

La visualización de datos es cada vez más una competencia clave para los evaluadores. La evaluación cualitativa está incorporando rápidamente una gran variedad de técnicas y herramientas de visualización de datos. Aunque parezca nuevo, esta temática ha sido de interés para el campo de la evaluación durante una década y media. Una buena muestra de ello podemos encontrarla en la publicación de 2013 de dos títulos monográficos de la revista de la Asociación Americana de Evaluación ”New Directions for Evaluation” (Dos números de New Directions of Evaluations se dedican a Data Visualization (Números 139 y 140, otoño e invierno de 2013) y la reciente creación de un Grupo de Interés (2013) sobre la visualización de datos en este colectivo, referencia internacional de las redes profesionales de evaluación.

Revista de la AEA sobre Visualización de Datos

Revista de la AEA sobre Visualización de Datos

Dado este interés y los continuos avances tanto en software de visualización, potencia de procesamiento y capacidad de almacenamiento, la visualización de datos se ha convertido en un potencial valor añadido para la comunidad de evaluación que permite mejorar la forma en que diseña, analiza y comunica la información.

La visualización de datos es el proceso de representación gráfica de los datos con el fin de identificar tendencias y patrones que de otra manera serían confusos o difíciles de analizar. La visualización de datos sirve para varios propósitos, desde la previa comprensión de los datos disponibles hasta su análisis y muy especialmente la comunicación a un una amplia gama de grupos de interés.

La elección de qué tipo de gráfica o visualización utilizar depende en gran medida de la naturaleza de las variables que se tenga: variables relacionales, comparativas, basadas en el tiempo, etc. Según Kosara (2007 en Azzam et al (2013)), La visualización de datos puede ser definida según tres criterios:

1) Es un proceso que se apoya indistintamente en datos cualitativos o cuantitativos

2) Los resultados son una imagen representativa de los datos en bruto

3) La representación es entendible por las destinatarios

El producto final es compatible con la exploración, el examen, y la comunicación de los datos. Aunque estos criterios pueden parecer evidentes, en la práctica se necesita una consideración cuidadosa y su aplicación sistemática para alcanzarlos.

El primer criterio, basado en datos cualitativos o cuantitativos, es el más sencillo de lograr, porque durante una evaluación a menudo reunimos varias formas de datos que pueden potencialmente ser visualizados. Se mantiene el criterio amplio de datos porque los datos cuantitativos y cualitativos pueden tomar muchas características y atributos. Los datos cuantitativos pueden incluir elementos de coordenadas geográficas, la codificación cuantificada, diversas características demográficas, y otra serie de valores en base numérica. Los datos cualitativos también pueden tomar la forma de entrevistas transcritas, conversaciones grabadas, imágenes, vídeo, o dibujos a partir de eventos, procesos y resultados. Cada uno de estos tipos de datos requiere de enfoques únicos y métodos de visualización para optimizar el conocimiento que contienen.

El segundo criterio es un recordatorio para examinar los datos con cuidado, de forma que podamos asegurar que la amplitud y el alcance de la visualización no omite información importante, no sobrerepresenta ciertos datos, y que la visualización refleja con precisión la información contenida en los mismos. Tener este conocimiento en mente durante todo el proceso de desarrollo de la visualización puede ayudar a priorizar los elementos de diseño de visualización, de manera que su mensaje refleje lo que en realidad está en los datos. Este criterio es también un recordatorio importante para poder trazar una anipulación intencionada de la visualización que puede dar lugar a malentendidos.

Finalmente, en relación a la legibilidad, que ayuda en la exploración, el examen, y la comunicación, pueden utilizarse varios métodos, que varían en alcance y propósito. Todos requieren que el evaluador considere la audiencia para elaborar una visualización que debe ser atractiva y clarificadora. Lograr este objetivo es importante para convertir los datos en conocimiento.

Usos Actuales de Visualización de Datos en Evaluación

Las etapas iniciales del diseño de una evaluación, tienen que ver con la comprensión y obtención de puntos de vista sobre el objeto evaluado, su historia, las actividades, las partes interesadas y, en general el contexto en el cual opera el programa. Cuando se recopila esta información se pueden utilizar técnicas de visualización cualitativas, tales como el registro gráfico (una forma flexible de desarrollo de la teoría del programa, contando la historia del programa, de dónde viene, dónde está y a dónde va) o modelos conceptuales interactivos (permiten al evaluador crear múltiples niveles para comprender la intervención desde lo más general a lo más detallado), para obtener información de una manera visual interactiva que fomenta la discusión entre las partes interesadas (Azzam, Evergreen, Germuth, & Kistler, 2013, pág. 14).

Por otra parte, el diseño de las herramientas visuales de recolección de datos y el uso de métodos de recopilación que faciliten la visualización contribuyen significativamente a mejorar la calidad de la información que recopilamos.

Las consideraciones de diseño gráfico con aspectos como la posición, el espacio en blanco, simetría, influyen en la recopilación de datos en las encuesta. Elementos importantes en las encuestas son, por ejemplo:

(a) el espaciamiento desigual entre las opciones de respuesta hacía que se destacase de los demás;

(b) los grandes cuadros de texto para respuestas abiertas que conducen a respuestas más largas y generaron más temas durante el análisis.

Utilización de visualización en encuestas

Utilización de visualización en encuestas

Con frecuencia, la información recopilada en la evaluación a partir de muchas fuentes (Fuentes como encuestas, entrevistas, grupos de discusión, bases de datos, imágenes, videos…), se reduce a un solo valor numérico, tal como una puntuación media, o a fragmentos de frases que se utilizan para transmitir conclusiones acerca de la efectividad de un programa. Durante la etapa de análisis de la evaluación se necesita tener acceso a los detalles visuales, conectar diferentes tipos de información, identificar las desviaciones interesantes y patrones, y explorar la información desde múltiples perspectivas o niveles. Haciendo esto se mejora la trazabilidad y coherencia de los datos, incluyendo sus fortalezas y limitaciones, y permite que el evaluador detectar valores atípicos que pueden advertir de inconsistencias en cómo se introdujeron o apuntar a efectos inesperados del programa en un situaciones particulares.

Sin embargo, la función más extendida de la visualización es, sin duda, la comunicación, donde la juega un papel crítico en la difusión de los resultados de la evaluación. Por medio de la visualización de datos podemos involucrar a los participantes del programa aumentando así también su capacidad de entender los datos y participar en el proceso de evaluación. Mapas colaborativos, modelos lógicos y representaciones gráficas pueden facilitar la comprensión de los resultados y sus implicaciones al describir las actividades de un programa de una manera concisa y clara.

Las visualizaciones interactivas bien diseñadas para información y participación de la comunidad ayudan a que los interesados respondan a preguntas y ayuden a la definición de las variables y la interpretación de los resultados.

Además de la tradicional presentación de informes, donde la visualización de datos es de forma narrativa, están empezando a surgir nuevos métodos, como la infografía o los comics. Aquí podemos citar también Chirs Lysy y su freshspectrum

Comic de Chris Lysy

Comic de Chris Lysy

Otro ejemplo, los nuevos enfoques han llevado a la visualización de diagramas de bucle causal como una forma de representar la retroalimentación en los sistemas complejos.

Bucles causales para comprender un sistema agrario complejo

Bucles causales para comprender un sistema agrario complejo

Tendencias futuras

El desarrollo de la visualización de datos ha experimentado un crecimiento exponencial en los últimos años. Esto se debe por un lado al aumento del interés e influencia de las tecnologías de la información sobre nuestras vidas y cultura, y por otro a la mayor disponibilidad de fuentes en línea para datos y visualización, así como en parte debido también a una mayor interactividad que ha surgido a través de la generalización de dispositivos táctiles. Como afirman Azzam y otros (op. cit.) “Esto continuará y la tendencia será hacia la participación activa de las partes interesadas en el proceso de visualización y la necesidad de que los evaluadores de facilitar ese compromiso. Probablemente las partes interesadas se irán acostumbrando a interpretar, crear e interactuar con las visualizaciones de datos”.

En el futuro, tendrán mayor relevancia las visualizaciones que tengan en cuenta múltiples puntos de vista sobre las intervenciones. Los avances en las aplicaciones de software de visualización están disponibles para el uso público y a menudo sin costo financiero. Por ejemplo, programas como ManyEyes, Tableau Public, y Gapminder ahora proporcionan servicios basados en web que permiten a los usuarios subir datos para visualizaciones personalizadas. Estas tendencias, cuando sean adoptadas por los actores implicados, es posible que obligue a ser más transparentes acerca de los datos que recolectamos, al aumentar la demanda y la validación de datos en bruto. Esta predicción acerca de la transparencia ya se está convirtiendo en una realidad en Estados Unidos, donde se ha financiado y establecido data.gov, cuyo objetivo es crear un repositorio global de datos que se puede acceder, descargar, y se analiza por cualquier ciudadano preocupado interesado en temas que van desde la salud hasta la política ambiental.

La interactividad es también parte de esta tendencia, y va a aumentar su importancia futura. Si las visualizaciones de datos están diseñados para llamar la atención, el software debe hacer uso de métodos para mantener esa atención. La capacidad de profundizar en los datos y personalizar la información parece ser el siguiente paso en la visualización de datos (capacidad de “estar a un clic de ver que los datos desagregados o desglosados”). Algunos programas de software como Tableau, Spotfire, y JMP de SAS, por ejemplo, ya lo permiten. Sin embargo, la curva de aprendizaje para la manipulación de los nuevos programas de software pueden ser muy altas y costosas. Las herramientas tendrán que encontrar un equilibrio entre la familiaridad (homogeneidad) y capacidad de personalización (heterogeneidad).

Desafíos

Los evaluadores y los usuarios finales de las visualizaciones de datos también deberían tener en cuenta lo que la visualización de datos no puede hacer. Existen varias limitaciones o precauciones a tener en cuenta:

1) La primera limitación se refiere a cuestiones relacionadas con la causalidad. Uno de los principales propósitos de la visualización de datos es ilustrar las relaciones causales. Sin embargo, las visualizaciones pueden engañarnos y llevarnos a pensar que existen relaciones causales cuando en realidad no es así. Si ver es creer, visualizar datos puede perpetuar errores o falacias a partir de estadísticas cuestionables, tales como correlaciones engañosas.

2) El segundo reto es la fiabilidad de los datos y la información. La base de cualquier visualización son los datos utilizados como base y punto de partida. Si los datos contienen valores perdidos o muestras no representativas, entonces es responsabilidad del evaluador reconocer claramente esas limitaciones a través de la utilización de notas u otros indicadores para evitar confundir a las partes interesadas. Aunque los informes narrativos pueden integrar más fácilmente advertencias, explicaciones de los niveles de confianza, y declaraciones de los niveles de significación, tal declaración de incertidumbre no es tan fácil que se dé en una visualización de datos.

3) El tercer reto está relacionado con la introducción de las visualizaciones nuevas o poco conocidas por los interesados. La mayoría de los implicados en las evaluaciones tienen poca familiaridad o habilidad con el diseño gráfico y el arte. La tecnología ha hecho la visualización más accesible para las personas sin profunda formación en arte o diseño gráfico. Sin embargo, los evaluadores han de considerar si es necesario capacitar a los directamente interesados en la interpretación de la visualización para evitar malas interpretaciones.

4) La cuarta limitación la comprensión de la conexión entre la visualización y el propósito / pregunta de evaluación.

Las evaluaciones a menudo contienen múltiples fuentes de datos y análisis, sin embargo, no todos los análisis requieren una visualización. En la selección de visualizaciones a crear, el evaluador debe tener en cuenta las principales preguntas de la evaluación y diseñar visualizaciones que puedan aportar algo y apoyar claramente la respuesta a esas preguntas. Es importante destacar la información más importante en las visualizaciones a fin de no oscurecer los resultados más relevantes de la evaluación (Azzam et al, 2013; op.cit)

Pues hasta aquí no más. Pronto será la Conferencia de la Asociación Americana de Evaluación que probablemente tocará muchos aspectos de la visualización de datos, ya que esta vez toca el tema «Evaluation+Design». Mis mejores deseos a Sara, Ann, Stephanie, Chris y todos los apasionados de la evaluación que allá se reunirán. Que la fuerza de la visualización de datos os acompañe i

Cartel de la Conferencia Anual 2016 de la Asociación Americana de Evaluación

Cartel de la Conferencia Anual 2016 de la Asociación Americana de Evaluación

REFERENCIAS CITADAS

Azzam, T., Evergreen, S., Germuth, A. A., & Kistler, S. J. (2013). Data visualization and evaluation. En S. Evergreen, Azzam, Data visualization, part 1. New Directions for Evaluation, 139, 7–32.

Rodríguez Ariza, C. & Monterde, R, (2014) Estrategias cualitativas de evaluación en la Cooperación para el Desarrollo: viejos debates y nuevos retos. Serie CECOD de Documentos de Trabajo del Centro de Estudios de Cooperación al Desarrollo, Número 29

Evaluación y Análisis Organizacional

Posted by

1


La organización

Esta vez retomo uno de los enfoques que más he utilizado en mis evaluaciones: el análisis organizacional. Y es que en el enfoque de evaluación basado en la teoría de programa (Ligero, 2011) es esencial analizar los elementos organizacionales para comprender cómo se ejecutan los procesos que dan lugar a las actividades. Sigue leyendo →

Congresos de evaluación: EES…¿qué estrella eres tú?

Posted by

0


Hablemos de Congresos, que abundan en otoño, y congresos en lo nuestro, los Congresos de Evaluación. Tenemos el congreso europeo de evaluación (EES), el americano (AEA) y los congresos nacionales de evaluación (Sociedad Española de Evaluación y  Aproeval)

Un congreso internacional de evaluación puede ser una experiencia intensa y mística. Emociones, relaciones y conocimiento en estado puro y en exceso, mucho más que tu capacidad de absorción. Encuentras a esas figuras, tus referencias (morales, teóricas, metodológicas, filosóficas…),  y entonces por fin son algo más que una foto en twitter o en cualquier otro medio social (hace un tiempo diríamos algo más que la contraportada de tus libros). Ves sus presentaciones, los ves moverse, te los cruzas en los pasillos, les robas una foto, te pellizcas en la mejilla (i existen i).

Y también conoces colegas más mundanos (como tú y como yo). Y eso pasa, me ha pasado: He encontrado periódicamente en esos congresos tan lejanos a colegas que de otra manera no hubiera encontrado en España.

Hay que ser un maestro para sacarle todo el partido a un congreso. Ya dediqué un post a reflexionar sobre cómo se podría preparar bien un congreso: Preparando la Conferencia de la #RELAC2015 y disfrutando. Cómo presentarse y no morir en el intento. Un congreso puede tener múltiples objetivos y todos ellos válidos: sirve para presentar nuestros progresos, aumentar nuestro conocimiento, para hacer networking, para conocer gente, temas, enfoques, contenidos…un congreso es una herramienta ideal de gestión del conocimiento, siempre que tengas el dinero y el tiempo para ir…

Y es que un congreso tiene también un poco de festival. Un sitio donde las celebridades se pasean y se hace escuchar y se mezclan con celebridades, ante la mirada asombrada de los mundanos. Y llegados a este punto, ya es el momento de la banda sonora, pongamos aquí esta melodía de la cantante francesa Barbara Carlotti: Cannes

Juguemos al juego, ¿Quién serías tú en uno de esos festivales? ¿qué actor? ¿qué actriz? ¿qué productor o director de cine? Y es que como dice la canción «en un día en Cannes todo es posible», ¿qué tal esta una alegoría?:

Los productores de cine serían las grandes compañías comandatarias de evaluaciones.

L@s director@s de cine podrían ser l@s gestores de evaluaciones o las unidades de evaluación

Los actores y actrices serían l@s evaluadores…

A uno le da por soñar, soñar con volar y ser una celebridad. Uno querría ser a un tiempo Woody Allen, Ricardo Darín o Antonio Banderas…por qué no Katharine Hepburn, Robert Redford, George Clooney o Audrey Hepburn. A veces quizás jugamos con el rollo más independiente o con es@s menos galácticos pero también geniales como Isabel Coixet, Robert Guédiguian, Jean Reno, Kevin Spacey, Gabriel Byrne o Harvey Keitel.

La semana pasada tuvo lugar el Congreso de la Sociedad Europea de Evaluación (EES) al que no pude ir (aunque me hubiera encantado con mis compañeras del «grupo de trabajo de profesionalización de la evaluación» presentar y discutir acerca de la experiencia piloto que se ha desarrollado VEPR y en la que he colaborado). He estado en los congresos de evaluación de la ESS en Sevilla, Berlín, Lisboa, Praga y Dublín. Los temas principales de los congresos de la EES son innovación, el uso, participación y asociación, trabajo en red, gobernanza…:

Futuros de la evaluación en Europa y más allá: Conectividad, innovación y uso. 12th Conferencia. 28-30 Septiembre 2016 Maastricht, Holanda

Haciendo uso de las evaluaciones en un mundo incrementalmente complejo. UNESCO – OECD – French Evaluation Society – European Evaluation Society. 30 Septiembre 2015. Paris, Francia

Evaluación para una sociedad equitativa: Interdependencia, asociación y participación. 11th EES Conferencia Bienal EES. 1-3 Octubre 2014 Dublín, Irlanda

Evaluación en la sociedad del trabajo en red: nuevos conceptos, nuevos retos, nuevas soluciones. 10th Conferencia Bienal EES. 1-10 Octobre 2012. Helsinki, Finland

Participación, políticos y política . 9th Conferencia Bienal EES. 06/10 2010. Praga, República Checa

Construyendo para el futuro – Evaluación en gobernanza, desarrollo y progreso. 8th Conferencia Bienal EES.01/10 2008. Lisboa, Portugal

Conexiones críticas. 7th Conferencia Bienal EES.  04/10 2006. Londres, UK

Gobernanza, Democracia y Evaluación. 6th Conferencia Bienal EES. 30/09 2004. Berlin, Alemania

Aprendizaje, teoría y evidencia. 5th Conferencia Bienal EES. Sevilla. España

Y me despido con otra canción sobre de esos festivales, también con el nombre «A Cannes», esta vez en castellano por el genial cantante y compositor de la movida madrileña, Carlos Berlanga, en su último disco Impermeable.

«Soy un pobre cineasta más y…aunque no se vive aquí del todo mal..pero yo quiero ir a Cannes…porque mi sitio está en Cannes…»

 

Canción «A Cannes» interpretada por Carlos Berlanga.

Autor(es) de la letra – M. Jonasz

Autor(es) de la música – M. Jonasz

Letra

Soy un pobre cineasta más
de los que pueblan esta ciudad,
hasta tenemos un festival,
pero yo quiero ir a Cannes.

Un accesit por un guión
que está guardado en algún cajón,
un tercer premio de dirección,
pero yo quiero ir a Cannes …
a Cannes …
a Cannes …

Y mi sitio está en la Croisette,
mientras observo a las starlettes,
y foco fijo sobre la baguette,
porque mi sitio está en Cannes.

Y las cosas son como son,
y mis encuadres son de cartón,
y mis actores son siempre amateurs,
pero yo quiero ir a Cannes …
a Cannes …
a Cannes …

No se vive aquí del todo mal,
tenemos celebridad local
que tiene calle y un restaurant,
pero que nunca fue a Cannes.

Y las cosas son como son,
y mis encuadres son de cartón,
y mis actores son siempre amateurs,
pero yo quiero ir a Cannes …
a Cannes …
a Cannes …
a Cannes …
a Cannes …

La gestión del conocimiento de las evaluaciones

Posted by

2


Ya discutimos en el post Evaluación y Gestión del conocimiento, ¿moda o necesidad? la diferencia entre gestión del conocimiento y evaluación. Vamos a dar una vuelta de tuerca para hablar de la gestión del conocimiento de las evaluaciones. Este tema es la introducción de mi publicación «La gestión del conocimiento de las evaluaciones: Teoría, retórica y práctica» (Rodríguez-Ariza, 2014)

La aplicación sistemática de marcos de gestión del conocimiento podría añadir más valor al uso de las evaluaciones. Podemos considerar que un proceso evaluativo es de calidad cuando cumple principios como el rigor, la credibilidad, la utilidad, el uso, y la integración o participación de las partes interesadas. Por tanto, la calidad de los procesos evaluativos viene determinada por varios factores, uno de los cuales es el uso. Aunque en la práctica la línea divisoria entre dichos principios es muy sinuosa, también es cierto que podemos encontrar evaluaciones creíbles y rigurosas que no han sido utilizadas e, inversamente, encontramos que se han utilizado recomendaciones basadas en procesos poco rigurosos, pero de alta credibilidad. Incluso el hecho de que una evaluación sea “útil”, no significa que se utilice. Este post se centra específicamente en la gestión del conocimiento de las evaluaciones que permite la utilidad y uso de dichas evaluaciones.

¿Tiene sentido tratar la “gestión del conocimiento” de las evaluaciones más allá del mero ”uso”? Aunque gestión del conocimiento y uso son términos que se solapan de manera importante, el enfoque de “gestión del conocimiento de evaluaciones”, añade matices que no incorpora el concepto de “uso de evaluaciones”.

La “gestión del conocimiento” es un instrumento que posibilita el uso de las evaluaciones, porque el conocimiento surgido del proceso evaluativo debería ser recopilado, almacenado, ordenado, sistematizado, accedido, compartido, comunicado y difundido para poder ser utilizado de forma óptima y desde los primeros pasos del diseño evaluativo. Y entonces estamos hablando de una estrategia de gestión del conocimiento de las evaluaciones que para ser operacionalizada ha de contar con agentes de cambio, esto es, de gestores de la evaluación o brokers/gestores del conocimiento surgido de la evaluación. Aun así el concepto de “gestión del conocimiento” tiene tantos registros que también es un campo a acotar: (1) qué entendemos por conocimiento, usos y usuarios del conocimiento, (2) quién y para qué se construye el conocimiento.

La gestión del conocimiento optimiza los usos, las formas de usar, los usuarios y los momentos de uso de las evaluaciones. Las evaluaciones se pueden utilizar (a) de muchas maneras diferentes (ya vimos en otro de mis post los tipos de usos evaluativos), (b) por actores diferentes (directos o indirectos), (c) en momentos diferentes (corto, medio o largo plazo). Las recomendaciones pueden no ser seguidas inmediatamente, pudiendo existir usos difusos en el más largo plazo.

La institucionalización de la gestión del conocimiento de las evaluaciones en la estructura y cultura de la organización es un factor clave para mejorar su uso. El conocimiento de las evaluaciones está subutilizado por lo que la gestión del conocimiento tiene amplio margen para mejorar la utilización hacia la mejora y el cambio.

El trazar el aprendizaje y utilidad con respecto a las evaluaciones es complejo, no es una tarea sencilla y directa:

(1) el conocimiento que se utiliza para la toma de decisiones proviene de muchas fuentes, no sólo de las evaluaciones;

(2) con una correcta gestión del conocimiento de las evaluaciones, el conocimiento generado en cualquier contexto de la intervención evaluada puede ser aplicado un tiempo después en un contexto totalmente diferente al de la intervención;

(3) además si una evaluación fue importante para la toma de decisiones en el pasado, esa evaluación puede carecer de importancia o ser olvidada un tiempo después;

(4) la acumulación de evaluaciones útiles pero no utilizadas es frustrante sí, parecer inútil, pero una sistematización posterior puede dar lugar finalmente a importantes toma de decisiones.

La siguiente lista nos da pistas sobre elementos a asegurar para poder realizar la gestión del conocimiento de las evaluaciones. Elementos a sistematizar para la gestión del conocimiento de las evaluaciones (Adaptado a partir de Baguna en Visser et al, 2014:27):

1.Saber cómo: procesos, procedimientos, técnicas y herramientas que podemos utilizar para desarrollar e implementar calidad en el sistema de Evaluación con potencial para la alta utilidad

2.Saber por qué: visiones estratégicas para comprender el contexto de los roles de los actores implicados y el valor de sus acciones. Se necesita hacer un análisis de situación, acordando el propósito del sistema de Evaluación, e internalizando el por qué una evaluación se va a realizar (y no otro tipo de actividad similar)

3.Saber qué: son los hechos, datos, conocimientos, aprendizajes o prácticas que se quieren compartir y utilizar de las evaluaciones

4.Saber quién: incluye el conocimiento sobre relaciones, contactos, intermediarios, campeones, intermediarios y redes para mejorar el uso de las evaluaciones

5.Saber dónde: es la habilidad para navegar y encontrar la información correcta en las evaluaciones para la acción o toma de decisión efectiva.

6.Saber cuándo: es el sentido del tiempo, de la ventana temporal, para la correcta utilización de las evaluaciones, para tomar una decisión, o para parar algo.

Un marco de la gestión del conocimiento de las evaluaciones sería un sistema completo de personas, tecnología y procesos/gestión, que asegure que la gestión del conocimiento de las evaluaciones se aplica de forma sistemática y eficaz para aplicar y utilizar las evaluaciones (su diseño, proceso, sus resultados en su contexto y estructura evaluativa). Por tanto en el caso de las evaluaciones, necesitamos actores implicados, gestores, procesos, tecnología y gestión para asegurar su uso.

Marco de gestión del conocimiento

Marco de gestión del conocimiento

 

Marco de la gestión del conocimiento (Basado en Milton, 2010):

1.Las personas y los gestores del conocimiento: Tienen que establecerse en la organización (1) las personas responsables , (2) las funciones de gestión del conocimiento, siendo necesarias comunidades de prácticas para compartir y reutilizar el conocimiento tácito, comportamientos tales como la búsqueda y el intercambio de conocimientos necesitan ser incentivados, y para convertirse en “ la forma de trabajar.

2.Los procesos de gestión del conocimiento: tiene que haber un proceso validado y probado para la captura, destilación, análisis, almacenamiento, aplicación y reutilización el conocimiento, y también para innovar.

3.Las tecnologías de gestión del conocimiento: las personas y el proceso deben ser apoyadas por la tecnología, que permita que el conocimiento que sea encontrado y accesible (en bases de datos, en la Intranet, en determinadas personas). Desempeña un papel importante en la gestión del conocimiento, al proporcionar la tecnología para permitir que la gente se comunique.

4.El gobierno de la gestión del conocimiento sin un sistema de gobernanza que promueva y reconozca el intercambio y la reutilización del conocimiento, todo intento de introducir la gestión del conocimiento será más difícil.

A continuación presentamos como ejemplo de marco de gestión del conocimiento de evaluaciones a nivel internacional la plataforma web DEREC (DAC Evaluation Resource Center), la base de datos de evaluaciones de la Red de Evaluación del CAD/OCDE (Evalnet) (CAD-Comité de Ayuda al Desarrollo):

1.DEREC es un almacén de evaluaciones, en el que de forma amigable se pueden hacer búsquedas empleando filtros (por país, sector, organismo comanditario).

2.El gobierno de DEREC lo tiene la Red Eval Net

3.Los gestores de DEREC son parte de la Secretaría de Evalnet (funcionarios del CAD). También realizan su mantenimiento.

4.Los procesos de gestión del conocimiento: en Evalnet se hace un seguimiento del funcionamiento de DEREC, se anima a (1) introducir nuevas evaluaciones a los miembros de Evalnet, (2) a obtener información sobre las actividades de evaluación de otros miembros, de cara a realizar planificaciones conjuntas de evaluaciones entre los miembros de Evalnet.

ŸŸ5.La tecnología: DEREC es una base de datos robusta a la que se van subiendo las evaluaciones de organismos bilaterales y multilaterales.

Pues hasta aquí llegamos esta semana…y que de entre toda esta teoría, retórica y práctica recordemos al menos allí donde solíamos gritar…

 

REFERENCIAS CITADAS

Milton, N. (2010). Knoco stories. From the knowledge management front-line. Retrieved Enero 2014

Rodríguez Ariza, C.  (2014). La gestión del conocimiento y el uso de las evaluaciones. Teoría, Retórica y Práctica. Serie CECOD de Documentos de Trabajo del Centro de Estudios de Cooperación al Desarrollo

Visser, I; Kusters, C.S.L; Guijt, I; Roefs, M; Buizer, N. (2014). Improving the Use of Monitoring & evaluation processes and findings

 

 

Sigue leyendo →

Preparando la Conferencia de la #RELAC2015 y disfrutando. Cómo presentarse y no morir en el intento

Posted by

6


He estado en muchas conferencias de evaluación, especialmente de la sociedad europea de evaluación, pero este año con mucha ilusión y por primera vez asisto a la conferencia de la RELAC , esta vez en Lima. Allí voy a presentar la próxima semana un taller sobre gestión del conocimiento y evaluación, además de una ponencia sobre uso de evaluaciones. Además estaré en dos paneles, uno sobre redes de evaluación y otro sobre experiencias como evaluador independiente. Pero lo que es más importante, voy a reencontrarme con buenos amigos…estos encuentros son grandes momentos personales y profesionales para un consultor independiente…son a la vez un reto y una oportunidad…recordemos que los independientes se tienen que buscar la vida para pagarse el viaje y demás gastos…pero aun así estoy convencido de que merece la pena, desde la gestión del conocimiento y desde lo personal y social… He de confesar que la RELAC está siendo MUY BIEN organizada y el nivel de los asistentes es muy alto. Va a ser un acontecimiento en este año internacional de la evaluación. Mientras preparo la conferencia quería rápidamente compartir con vosotros algunas ideas, si asistís a ésta o a futuras conferencias-

  1. Repasad bien el programa, no dejemos para última hora la selección de las sesiones, aunque siempre haya espacio para la flexibilidad de última hora. Mi experiencia es que los congresos acaban siendo una angustia total, no sabes bien elegir entre lo bueno y lo mejor. Después de la conferencia es muy útil leer también de nuevo el programa, seguro que tendrá un diferente significado y habrá aspectos a aprender o a profundizar. Incluso se puede profundizar en sesiones a las que no pudimos o quisimos asistir, pero que luego descubrimos que eran muy interesantes.
  2. Ayuda contactar con antelación y tratar de reservar momentos especiales para personas específicas con las que se quiera hablar. Un ejemplo es gente de la que hemos leído mucho y queremos conocer. Aunque no te contesten por email es un buen pretexto para acertarte a hablar…aunque luego no sepan de qué les hablamos. Además es un momento único para conocer a evaluadores de tu propio país, a los que el día a día te da pocas oportunidades de encontrar en tu propio país.
  3. Escribe, escribe y escribe ¡¡¡

-Escribe en las redes sociales utilizando el hastag de la conferencia #RELAC2015 mientras no me sugieran otro ¡¡¡. Incluso si no asistes, sigue si puedes por tweetter a algunos de los participantes, yo no soy nada @crariza1, en comparación con algunos animales – de las redes- sociales, cómo no hablar de Pablo Rodríguez-Bilella @txtPablo, aunque espero conocer a muchos más en la RELAC, porque seguro que hay much@s más que mi ignorancia esconde ¡¡¡¡

-Escribe lo que puedas y más  durante la conferencia, una vez que vuelvas a tu día a día, a tu rutina, será mucho más difícil escribir y el tiempo lo irá desdibujando todo. Aquí lanzo una propuesta a Pablo Rodríguez Bilella de si sería factible un EvalCentral en castellano,  quizás podríamos pedir asesoramiento a Chris Lysy @clysy el diseñador de EvalCentral.

  1. Relájate, aprende, haz amistades y disfruta. Habrá tensiones y mucho estrés para preparar las ponencias, pero será un proceso de aprendizaje único. Aprende sobre todo de tus errores y de los aciertos de los demás ¡¡
  2. Algunas recetillas aprendidas a base de sangre sudor y lágrimas…a base de muchos muchos errores- y aun así es el trabajo continuo del perfeccionamiento en la comunicación el seguirlas…

-Aspectos clave-involucremos a la audiencia, claridad en el mensaje, emoción en la ejecución.

–Menos es más. Con unos pocos mensajes se pueden hacer grandes sesiones. El reto es involucrar a la audiencia o ponerla a prueba. Algo sagrado debería ser respetar tu tiempo, pero sobre todo el de los compañeros del panel y..el de la audiencia.

-En un taller el reto y la necesidad de flexibilidad son mayores.  1. Si no pudiste ajustar el taller a tu público porque no conocías el tipo de audiencia, esto se podría hacer sobre la marcha en base a un análisis rápido inicial de la audiencia. 2. Menos presentación y más trabajo en equipo que es donde la gente aprende y disfruta. La audiencia se angustia cuando pasamos las diapositivas sin dar tiempo a entender o enterarse de su contenido. 3. Trata de hacer un pre test y post sobre las ideas clave del taller.

-Evitemos si posible el karaoke powerpoint. Miremos a los ojos, contemos con la gente, elijamos unos pocos mensajes o puntos de contenido y desarrollemos notas relacionado con esos puntos. A veces ayuda buscar fotos para introducir en tu presentación. Ya para nota es tomarse el tiempo para coordinarse y tratar de evitar puntos de solapamiento con tus compañeros

-Debería SIEMPRE haber tiempo y espacio para intercambio con los asistentes. Ah i y recetilla de Sheila Robinson@sheilabrobinson, que las personas que pregunten –si preguntan-repitan la pregunta si no tienen micro…

-La AEA ha desarrollado mucho el tema de la presentación que es un tema super trabajado en esa conferencia mítica…a la que por cierto nunca he asistido…Aconsejo los siguientes links.

How to avoid bad conference presentations

Learning from post conference reflections

Youtube Ignite channel                   

Potent presentations Initiative de la AEA tiene entre otros los siguientes contenidos-

-El libro estrategia para la integración de la audiencia, con más de 20 formas para conectar con la audiencia y mantenerla implicada con tu presentación.

-El libro para los chairs o facilitadores de las sesiones.

-Mensajes. Cómo organizar una presentación para que sea un evento formativo para la audiencia.

-Cómo mejorar el diseño y la ejecución de las presentaciones

…aunque muramos en el intento…siempre resucitaremos con grandes experiencias de las que aprender ¡¡¡¡

Muchas gracias de nuevo a la organización de la RELAC y a la asociación peruana de evaluación por hospedar esta Conferencia ¡

2015-Año internacional de la Evaluación – ¡ Cualquier tiempo pasado fue peor ¡

Posted by

0


Son pocos los profesionales de la evaluación que a estas alturas no saben de la importancia del año 2015  –desde hace un año viene como un murmullo que ya se transforma en realidad, he aquí nuestro AÑO INTERNACIONAL DE LA EVALUACION ¡¡¡

Empieza el 2015 y dejamos atrás este año que comenzó un poco torcido…pero en el que también mis hijos menores ya tienen un año, he plantado árboles, he escrito tres publicaciones,- una sobre el uso de evaluaciones, otra sobre la gestión del conocimiento de las evaluaciones y la tercera sobre evaluación cualitativa-, he participado en el Congreso de la EES de Dublín y comenzado 6 evaluaciones…algunas con alegrías y otras con penas, como suele y puede pasar en la evaluación independiente.

Hemos de ver con mucha ilusión este año internacional de la evaluación y comienzo de la agenda post 2015 ¡¡¡

Sí, todos los que nos dedicamos a esto de la evaluación, 1. Como fuente primaria o secundaria de ingresos o 2. Como pasatiempo –sí conozco a alguno,¡¡ qué fuerte ¡¡, sí pero qué suerte también ¡ -, o 3. Como una forma de entender el mundo o a nosotr@s mism@s o, l@s más ambicios@s… 4. Para cambiar el mundo o para que el mundo no nos cambie tanto…o, 5. Como una mezcla de todos ellos, TODOS, hemos de ver con mucha ilusión este año internacional de la evaluación y comienzo del post 2015 ¡¡¡

Esperemos lo mejor de este año 2015…

Un año que acelere la mejor distribución de la riqueza, el desarrollo justo y sostenible y el cumplimiento de los derechos humanos.

Un año en que se aprenda más de los errores que de los aciertos.

Un año para escuchar las voces de las personas que normalmente no son escuchadas

Un año que reduzca la retórica y aumente la acción reflexión

Un año que reduzca la violencia de género, la violencia contra las mujeres y aumente la equidad entre mujeres y hombres.

Un año en el que los Objetivos de Desarrollo sean un medio apropiado para ello

Un año que nos haga mejores profesionales y mejores ciudadanos, mejores técnicos, mejores gestores, mejores políticos…pero sobre todo mejores personas, mejores padres, mejores madres, mejores socios…

Ojalá la evaluación que, como dicen, es una actividad de todos los días, nos ayude a mejorar…Y por supuesto un año para aprender a aprender para el desarrollo personal, comunitario, colectivo, social…institucional…porque hay tanto que aprender y de lo que aprender…para ser mejores ciudadanos, comunidades, colectivos, sociedades…instituciones.

Espero que mi primer gran evento evaluativo en 2015 será en Perú. Reciéntemente ha terminado el plazo para inscribirse en el primer gran evento, el Congreso de la RELAC ¡ …si todo va bien al menos participaré en alguna ponencia y panel.

Son momentos de recordar el 2014, yo no suelo ser dado a ver esos programas  revisionistas, pero aquí traigo dos referencias interesantes para hacer el cierre del año.

PRIMERA. Aquí hago una traducción libre de la carta que  Michele Tarsilla, experto en desarrollo de capacidades en evaluación de forma transformativa,  ha enviado a Santa Claus, y al tiempo aprovecho para reflexionar sobre sus reflexiones…porque no hemos de reinventar la rueda…

  1. Propuestas de evaluaciones publicadas al menos 3 semanas antes de la fecha límite, para poder enviar estrategias de evaluación creíbles…acabo de recibir una oferta que me daba 2 días, en ocasiones he recibido ofertas que ya habían acabado su plazo…
  2. Menos ambigüedad en el lenguaje utilizado durante las interacciones con clientes y socios y en los informes de evaluación…bueno qué decir a estas alturas de nuestro argot tan peculiar en cooperación, y si añadimos el de los freakies de la evaluación
  3. Más desarrollo de capacidades con oportunidad de ponerlas en práctica para jóvenes profesionales de la evaluación
  4. Más voces contribuyendo a la agenda global de evaluación –las asocaiciones de evaluación internacional son buenas en tanto que no desincentivan un pluralismo genuino de voces locales y de opiniones de cómo aumentar la capacidad a varios niveles…un peligro de la globalización, si al final no sirve para enriquecer el discurso sino lo contrario, para mimetizar un discurso único…
  5. Sabiendo que es diferente en cada zona, más gente definiendo el concepto de capacidades en evaluación, para poder medir mejor este constructo
  6. Más modelos lógicos y teorías del cambio capturando una más amplia pluralidad de perspectivas sobre cómo los programas deberían trabajar y/o cómo podrían fallar.
  7. Más planificadores, ejecutores y evaluadores piensan sobre cómo prevenir y dirigir resultados no esperados en su trabajo
  8. Más creatividad e intencionalidad en sus métodos mixtos cuantitativos y cualitativos
  9. Que los nuevos objetivos de desarrollo sostenible de la agenda post 2015 no distraigan demasiado la atención del seguimiento de los resultados de desarrollo identificados por los propios países en respuesta sus necesidades específicas – no necesariamente globales – expresadas por sus respectivos ciudadanos
  10. Menos gente refiriéndose a la dicotomía Norte-Sur o Países desarrollados y no desarrollos, debido a que el mundo está formado por individuos, personas independientemente de sus títulos, poder, ingresos y localización.
  11. Más evaluadores locales contribuyendo al trabajo en equipo en evaluación, no sólo durante la fase de recolección de información sino también durante la fase de gabinete y el análisis.
  12. Más blogs y literatura especializada en otros lenguajes diferentes que el inglés.

SEGUNDA. Inspirado por a la lista de 15 «Dolencias de la Curia» del discurso de Navidad del papa Francisco, Chris Roche, ex jefe de evaluación de Oxfam GB y hasta hace poco jefe de Oxfam Australia, ha recopilado las siguientes 15 Dolencias del Sector de Desarrollo–

1) Sentimiento de inmortalidad, inmunidad o indispensabilidad. «Una organización o institución que no hace autocrítica, que no se actualiza, que no busca mejorarse, es un cuerpo enfermo.»

2) Tomarse uno mismo demasiado en serio. «Tomarse la vida con humor es importante y un arma de los débiles»

3) Endurecerse espiritual y mentalmente. «Es peligroso perder la sensibilidad humana que nos permite llorar con los que sufren, y celebrar con los que están haciendo el cambio.»

4) Demasiada planificación «Es necesario preparar bien las cosas, pero no se ha de caer en la tentación de tratar de cerrar o dirigir la libertad de los activistas o profesionales de primera línea, que son más flexibles y adaptables que cualquier plan estratégico. Esto puede resultar en el trastorno obsesivo de la medición».

5) Trabajar sin coordinación, colaboración y asociación como una orquesta que produce ruido. «Cuando la oficina de campo indica a la oficina central, ‘No te necesito’ o la oficina central le indica a la oficina de campo ‘yo estoy a cargo.'»

6) Tener el ‘Alzheimer del desarrollo. «Lo vemos en las personas que han olvidado su encuentro con los pobres…en aquellos que dependen completamente de su aquí y ahora, en sus pasiones, las modas de desarrollo y manías, en los que construir muros alrededor de sí mismos y convertirse en esclavos de las mejores prácticas o blueprints- en contraposición al ‘buen ajuste’ construido con nuestras propias manos »

7) Ser rivales. «Cuando la apariencia, el color de nuestra marca y el tamaño de nuestros ingresos personales se convierten en los objetivos primordiales de nuestra vida, y la colaboración es algo secundario.»

8) El sufrimiento por ‘esquizofrenia existencial. «Es la enfermedad de los que viven una doble vida, fruto de la hipocresía que es típica de la vacuidad mediocre y progresiva que los marcos lógicos no pueden llenar. Es una enfermedad que suele afectar a las personas que, abandonando la práctica del desarrollo y el activismo, se limitan a tareas burocráticas, perdiendo contacto con la realidad y las personas concretas».

9) Cometer el «terrorismo de los sarcásticos» «Es la enfermedad de las personas que no tienen el valor de hablar directamente, hablando a espaldas de la gente o en Twitter o blogs.»

10) Glorificar a jefes y los donantes. «Es la enfermedad de los que cortejan a sus superiores, y a los donantes, con la esperanza de su benevolente recompensa. Son víctimas de arribismo y el oportunismo, honran a las personas que son poderosas y hacen caso omiso de las que no lo son».

11) Ser indiferente a las otras personas. «Cuando, por celos o por competencia se encuentra gozo en ver otra caída en lugar de ayudar y animar.»

12) Tener un «rostro cínico.» «En realidad, la gravedad de la impostura y del cinismo estéril son a menudo síntomas del miedo y la inseguridad. El activista debe ser sereno, entusiasta y transmitir un sentido de la justicia y la positividad dondequiera que vaya».

13) Querer más y más. «Cuando la organización intenta llenar un vacío existencial por la acumulación de ingresos y renta, no porque se necesite, sino porque se sentirá más seguro organizativamente.»

14) La formación de «círculos y camarillas cerradas» que tratan de ser más fuertes que el todo. «Esta enfermedad comienza siempre con buenas intenciones, pero conforme pasa el tiempo, se esclaviza a sus miembros al convertirse en un cáncer que amenaza la armonía del sector y causa tanta competencia malsana.»

15) La ambición del beneficio constante- «Es la enfermedad de los que insaciablemente tratan de multiplicar su poder y para ello son capaces de la calumnia, la difamación y de desacreditar a los demás, incluso en periódicos y revistas y en particular en línea, naturalmente, para mostrarse como más capaces que otros marcando la diferencia «.

Bueno compañeras, compañeros, necesitamos de todo nuestro arte para seguir haciendo cambiar las cosas…mi arte en este año que viene se lo dedico a ese gran artista que hace casi un año nos dejó.

 

¡¡¡ Feliz año 2015 internacional de la evaluación ¡¡¡

 

Usos y abusos de las evaluaciones: Teoría, Retórica y Práctica

Posted by

2


Con la misma editorial que publicó parte de mi tesis sobre la gestión de la información en las organizaciones de desarrollo, estoy en estos momentos completando otra publicación sobre “la gestión del conocimiento y el uso de las evaluaciones”.

Aunque aparece en repetidas ocasiones en el lV plan Director y en el Plan de Evaluaciones de la Cooperación Española, no hay mucha literatura que hable explícitamente sobre la “gestión del conocimiento de las evaluaciones”(os animo a sentir lo frústrante que es googlear “knowledge management of evaluations”). Sin embargo al contactar con algunos colegas a nivel internacional, la mayoría me refieren al concepto de “uso de las evaluaciones”. Sigue leyendo →