Evaluación de la complejidad


En el anterior post Comprendiendo la “Evaluación durante el desarrollo” (Developmental Evaluation), introducíamos los conceptos básicos sobre un enfoque de evaluación que ha tratado de integrar la ciencia de la complejidad. Escojo un fragmento de la publicación Estrategias cualitativas de evaluación en la Cooperación para el Desarrollo: viejos debates y nuevos retos, que realicé en 2014 con Rafael Monterde.

La ciencia de la complejidad ha sido utilizada para describir y explicar el comportamiento de los sistemas naturales y biológicos, que se caracterizan por (1) dinámica no lineal y (2) propiedades emergentes sobre la base de diversas poblaciones de individuos que interactúan entre sí y son capaces de experimentar la auto-organización espontánea.

La investigación en la gestión organizacional y la psicología del comportamiento indican que los sistemas humanos también se comportan de una manera compleja. El modelo operativo de la ciencia de la complejidad llama a la complejidad en la acción y da lugar a los Sistemas Adaptativos Complejos (SAC).  Un sistema adaptativo complejo  es un tipo especial de sistema complejo; es complejo en el sentido de que es diverso y conformado por múltiples elementos interconectados; y adaptativo, porque tiene la capacidad de cambiar y aprender de la experiencia.  Lo que distingue a los CAS de los SMA (sistemas multiagentes) puros es su enfoque de propiedades de alto nivel y característica, como autosimilaridad, complejidademergencia, y autoorganización. Un SMA es definido simplemente como un sistema compuesto de múltiples agentes interactuando. En CAS los agentes así como los sistemas son adaptativos, el sistema es autosimilar. Un CAS es una compleja y autosimilar colectividad de interacciones de agentes adaptativos. Los CAS se caracterizan por un alto grado de capacidad adaptativa, lo que les proporciona resiliencia frente a la perturbación. Otras propiedades importantes son la adaptación (homeostasis), comunicación, cooperación, especialización, organización espacial y temporal, y, por supuesto, reproducción.

La teoría de SAC ofrece una forma diferente de pensar acerca de las organizaciones y sistemas, incluyendo cómo debe desarrollarse una política para ellos, cómo deben ser gestionados, cómo la innovación puede propagarse dentro de y cómo deben ser evaluados (Sibthorpe, Glasgow y Longstaff, 2004).

 

Un tema de interés creciente en la evaluación, especialmente la evaluación del desarrollo, es cómo podemos aplicar las ideas y métodos de ciencia de la complejidad en la evaluación. La complejidad tiene aplicaciones importantes (1) en la forma de tratar los programas y las políticas, (2) en la forma en que recopilamos y analizamos los datos y (c) cómo se reporta hallazgos y apoyamos su uso. La palabra complejidad a veces se ha menospreciado como “término moderno que se utiliza para evitar la rendición de cuentas y la planificación”. Pero no todo es complejo: Una intervención  puede tener algunos (a)  elementos simples, algunos (b) aspectos complicados y (c) algunos aspectos complejos, y es más útil identificarlos por separado que clasificar toda una intervención como compleja.

Muchas evaluaciones tienen que lidiar con programas con (1) múltiples componentes, (2) múltiples niveles de implementación, (3) múltiples organismos de ejecución, (4) con múltiples agendas y (5) cadenas causales largas con muchos resultados intermedios o con resultados que sólo pueden lograrse a través de un “paquete de causalidad” que involucra múltiples intervenciones o contextos favorables. En estas situaciones, las evaluaciones deben basarse en un modelo lógico incluya información sobre (a) diferentes componentes esenciales de uso común en la intervención, (b) que funcionan de manera diferente en diferentes contextos, o (c) que sólo funcionan en combinación con otros programas o entornos favorables. Es esencial informar al respecto en términos de “(a) lo que funciona, (b) para quién, (c) en qué contextos”.

Muchas evaluaciones tratan con programas que involucran estrategias emergentes y sensibles y procesos causales que no pueden ser completamente controlados o predecirse con antelación, ya que el programa se desarrolla y cambia con el tiempo. En estas situaciones, las evaluaciones tienen que ser capaces de identificar y documentar los socios, las estrategias y los resultados emergentes, en lugar de sólo prestar atención a los objetivos y metas pre-establecidas. Una evaluación en tiempo real puede ayudar a saber lo que está funcionando y para informar de cara a la adaptación continua y el aprendizaje. Una evaluación efectiva no implica necesariamente la construcción de un modelo detallado de cómo funciona la intervención y el cálculo de la combinación óptima de las actividades de ejecución – porque la combinación de lo que se necesita, lo que es posible y lo que va a ser óptimo, estarán siempre cambiando. Para mayor detalle sobre la particularización de los conceptos de complejidad en el sector de la Ayuda al Desarrollo y la Acción Humanitaria, véase Ramalingam et. al. (2008)

Aunque en el discurso y la retórica las evaluaciones en general dan la apariencia de prestar atención a las consecuencias no deseadas de las intervenciones, la mayoría de los diseños de evaluación dedican todo su presupuesto para la evaluación de la ejecución prevista y el logro de metas. Sigue siendo una excepción el tipo de trabajo de campo abierto a captar efectos no deseados o esperados, reales y dinámicas emergentes. Es útil para identificar los posibles impactos negativos durante el diseño del programa a fin de garantizar y establecer los procesos de seguimiento. Esto a su vez ayuda a la identificación de nuevos impactos negativos que deben ser evaluados. Una vez que se hayan identificado los posibles efectos no deseados o negativos se debe posibilitar desde el diseño la evaluación de los resultados y los impactos no deseados reales a medida que ocurren. Para ello la recolección de datos permanece abierta hacia resultados no deseado e inesperado mediante la inclusión de algunas preguntas abiertas en las entrevistas y cuestionarios, y propiciando la comunicación de los resultados inesperados. Apuntamos algunas opciones:

(1) Entrevistas con informantes clave: pidiendo al personal identificar los posibles impactos negativos, basados en su experiencia, en programas similares. Los críticos del programa pueden ser especialmente útiles.

(2) Teoría programa negativa: la identificación de las formas en que las actividades del programa pueden producir impactos negativos, en lugar de sus impactos previstos.

(3) Evaluación de riesgos: identificación de los impactos negativos potenciales, su probabilidad de ocurrir y cómo podrían evitarse.

(4) Informes de sucesos inusuales

REFERENCIAS

Ramalingam, B., Jones, H., Reba, T., y Young, J. (2008) Exploring the science of complexity: Ideas and implications for development and humanitarian efforts. Overseas Development Institute (ODI).

Rodríguez Ariza, C. & Monterde, R, (2014) Estrategias cualitativas de evaluación en la Cooperación para el Desarrollo: viejos debates y nuevos retos. Serie CECOD de Documentos de Trabajo del Centro de Estudios de Cooperación al Desarrollo, Número 29

Sibthorpe, B., & Glasgow, N., and Longstaff, D. (2004) Complex adaptive systems: A different way of thinking about health care systems. The Australian National University.

Lo sabíamos…o puede que sí o puede que no:

 

Lágrimas en la lluvia del V Plan Director de la Cooperación Española


En relación con el post anterior Propuestas de ACADE para el V Plan Director de la Cooperación Española, que ACADE (Asociación de Profesionales por la Calidad de la Cooperación para el Desarrollo) formula al Gobierno, a las fuerzas políticas parlamentarias y a la sociedad, quería volver sobre los tres primeras propuestas, que considero fundamentales. La primera se refiere al aumento pautado (racional) de la ayuda internacional, la segunda a la necesaria reforma del marco institucional / legal, y la tercera referida a la mejora de las capacidades. Estas son asignaturas pendientes cuyas demandas se repiten periódicamente y que impiden una Cooperación Española relevante, eficiente, eficaz y sostenida: (1) Compromiso y Liderazgo sostenido, (2) Marco Institucional y Administrativo y (3) Capacidades.

1.- Compromiso en materia presupuestaria que suponga un proceso pautado de expansión de los recursos asignados a la ayuda internacional.

2.- Reformas institucionales y legislativas necesarias para garantizar que se está en condiciones de hacer una gestión eficiente de los recursos. Es necesario reformar

(1) la arquitectura del sistema, hoy caracterizada por una elevada dispersión y una limitada coordinación de las instituciones responsables.

(2)  los marcos administrativos y legislativos que condicionan la ejecución de la ayuda, que impiden que España pueda actuar con instrumentos que otros donantes tienen, como la ayuda programática, la cooperación financiera, la asistencia técnica ágil, las asociaciones estratégicas con la sociedad civil y la academia o la alianza con actores internacionales, no solo públicos.

3.- Ampliación de las capacidades técnicas e institucionales del sistema. Esto supone poder:

(1) Recursos humanos y organizacionales: (a) captar y dar empleo en condiciones adecuadas al personal experto que se requiere, (b) poner en marcha una política activa de recursos humanos que permita que los trabajadores en este ámbito puedan tener una trayectoria profesional previsible y (c) promover un cambio organizacional que afecte a la estructura, a los procedimientos y a la cultura de trabajo de las instituciones implicadas.

(2) Articular una política de formación y gestión del conocimiento adaptada a los nuevos retos del contexto e integrada en la cultura organizativa de las instituciones líder de la cooperación española.

Sigamos proponiendo para contar con los medios para conseguir los fines: empleo en condiciones adecuadas, política activa de recursos humanos, trayectoria profesional previsible, cambio organizacional, formación y gestión del conocimiento…y por supuesto compromiso y liderazgo político sostenido.

…de otra forma el V Plan Director de la Cooperación Española será una(as) página(s) más de retórica burocrática…y tantos esfuerzos se seguirán perdiendo como lágrimas en la lluvia…

Factores de la creación de conocimiento organizacional


Iniciamos la reflexión en torno al modelo y la teoría de la organización que genera conocimiento con los siguientes pasados posts relacionados con Nonaka y Takeuchi: Pioneros en la gestión del conocimiento: Nonaka en 60 segundos,  Teoría de la organización creadora de conocimientoy Los tipos de conocimiento organizacional que podemos gestionar

Nonaka y Takeuchi también analizan el papel de la organización en este proceso: el de proveer el contexto apropiado para facilitar las actividades grupales y la creación y acumulación de conocimiento en el nivel individual. Para ello se requieren cinco condiciones que posibilitan la espiral de conocimiento:

 

 

  • Intención (Visión): (1) es la aspiración que una organización tiene por alcanzar sus metas. Como el compromiso es la base de la actividad creadora de conocimiento del ser humano, (2) la organización debe apoyar este compromiso formulando una intención organizacional y proponiéndola a sus miembros. (3) Esta intención es lo que en teoría del Pensamiento Estratégico se denomina “Visión”. (4) Los esfuerzos por realizar la intención, asumen la forma de una estrategia corporativa acerca de qué tipo de conocimiento debe desarrollarse para alcanzarla.

  • Autonomía (Empoderamiento): (1) es la capacidad que tiene una organización de posibilitar que sus individuos y equipos actúen de forma autónoma (estén facultados o “empoderados”), (2) lo cual fomente las instancias de generación de nuevas ideas y visualización de nuevas oportunidades, (3) motivando así a los participantes de la organización a generar nuevo conocimiento.

 

  • Fluctuación y Caos Creativo (Reflexión en la acción): (1) la organización debe estimular la interacción entre sus integrantes y el ambiente externo, (2) donde los equipos enfrenten las rutinas, los hábitos y las limitaciones autoimpuestas con el objeto de estimular nuevas perspectivas de cómo hacer las cosas. Además, también (3) puede generarse conocimiento cuando se provocan crisis de manera intencional al interior de la organización. (4) Este caos intencional al que se llama “Caos creativo” incrementa la tensión al interior de la organización y hace que sus miembros se concentren en definir problemas y resolver la crisis (crisis controladas).(5) La organización creadora de conocimiento debe institucionalizar esta “reflexión en la acción” para hacer del caos algo verdaderamente creativo.

  • Redundancia (Diferentes puntos de vista): (1)la organización debe permitir niveles de redundancia dentro de su operar. (2) Esto genera que los diferentes puntos de vista establecidos por las personas que conforman los equipos permite compartir y combinar conocimientos de tipo tácito, permitiendo establecer conceptos e ideas más robustas, junto con generar nuevas posibilidades. (3) Para que se genere conocimiento organizacional es indispensable que el concepto generado por un individuo o un grupo se comparta con otros individuos o grupos que quizás no necesiten este concepto de manera inmediata. (4) Una forma de generar redundancia en la organización es a través de una rotación estratégica de personal, especialmente entre áreas muy distintas en cuanto a tecnología o función. (5) Otra manera es mediante la organización de Comunidades de Conocimiento o, con la tecnología moderna, a través de lo que se ha denominado “Portal del conocimiento”.

  • Variedad de requisitos: (1) la diversidad interna de una organización debe ser tan amplia como la variedad y la complejidad del ambiente para poder enfrentarse a los desafíos establecidos por este ambiente que la rodea. (2) La variedad de requisitos puede fomentarse (a) combinado la información de manera distinta, flexible y rápida y (b) distribuyendo por igual la información en todas las secciones de la organización. (3) Para maximizar la variación, todas las personas de la organización deben contar con un acceso rápido a la más amplia gama de la información requerida en un momento dado, pasando por el menor número de pasos posible.

Estos factores presentan (1) la importancia del cambio como parte de la cultura, junto con reforzar la idea de que (12) es la cultura organizacional quien define las posibilidades para que el aprendizaje sea parte del operar diario de sus integrantes.

No hay profesionalización sin evaluación


 

Por casualidad, como suelen ser las cosas en un sector sin profesionalización, me comuniqué con mi colega eternamente al borde del caos, Pablo Rodríguez Bilella, y le comenté de la posibilidad de, en la próxima conferencia de la RELAC, hacer “algo conjunto” en relación a profesionalización de la evaluación. También recientemente hablé con María José Soler Fraile, presidenta de APROEVAL, sobre la necesidad de trabajar conjuntamente todas las asociaciones de evaluación de habla hispana, y mencionamos el tema de trabajar conjuntamente sobre el tema de la profesionalización.

Fruto de ese azar supe que el caótico y siempre complejo Pablo estaba escribiendo un artículo sobre el tema de la profesionalización en evaluación y, como buenos latinos, nos retamos a un intercambio “e-post-olar” con la posibilidad de atraer a otros desgraciados de este sector no profesionalizado…Como es habitual él se adelantó, él que es una metralleta de las redes sociales: Evaluación y profesionalización: ¿extraña pareja? (parte 1)…bueno pues ahora toca el momento de la remontada…

En este primer post para no perder el rumbo voy a filosofar…aunque  en muchos aspectos coincidimos Pablo y yo  (o, más humilde, coincido yo con él)

Y es que la evaluación es política, es técnica y…es filosofía (cómo entiendo yo aquí filosofía: dígase de lo que el vulgo evaluativo (yo incluido) piensa de las teorías evaluativas…aunque algunos quijotes y sancho panzas no dejen de decir aquello de que no hay mejor práctica que una buena teoría)

Pues en esta introducción doy tres ideas y hago un ejercicio de gestión del conocimiento, rescatando tres fragmentos de tres posts pasados:

 

1.Veo dos retos para la profesionalización de la evaluación: (1) centrarse demasiado en la cuestión técnica (tecnocrática) cuando la evaluación también es (o sobre todo es) política; y, si se consigue el progreso de la profesionalización, (2) centrarse sólo en el binomio  político y tecnocrático, con cuerpos de élite corporativos que se olvidan de su origen y de su fin social. Las asociaciones de evaluación deben cumplir su rol, sin caer en la trampa (1) de la tecnocracia y, cuando se relacionan con el tan peligroso y atractivo mundo del poder, (2) de venderse, sin escuchar a las bases y a la sociedad…ya lo sé, un circo de tres pistas, pero es lo que tiene la evaluación que, recordemos, es política, técnica y filosofía…y ojo ya hay hasta un congreso próximo sobre el rol de la evaluación en la era de la post verdad: Measuring What Matters in a Post-Truth Society

2.No es solo necesaria la profesionalización de la evaluación, sino que no olvidemos el rol transversal de la evaluación para el resto de profesiones: sin evaluación no hay profesionalización. Algunos de los campos más profesionalizados (funcionariado, medicina…) lo consiguieron a través de la incorporación de sistemas de control de calidad (integrando la doble vertiente de rendición de cuentas y aprendizaje que implica la evaluación)

3.No hay evaluación sin rendición de cuentas…y el mayor garante de la rendición de cuentas es el parlamento. Las Asociaciones de Evaluación (VOPEs) son importantes, pero debido a ese binomio técnico y político, hay que hacer lo posible para incorporar a los agentes de cambio político (como el parlamento) y social (otras asociaciones, academia y los medios de comunicación). EvalPartners tiene iniciativas muy interesantes para involucrar a los Parlamentos Nacionales en los procesos de desarrollo de capacidades en evaluación.

Por tanto, no podemos perder de vista que el camino hacia la profesionalización no es sólo técnico (tecnocrático), sino también político. Y ahí a veces nos pillan a los evaluadores, tan acostumbrados a nuestro trabajo solitario y sistemático con tantos nexos con la investigación (más centrados en el rigor, en la independencia y en la objetividad) y tan poco acostumbrados a la gestión y a la política (más sucia, menos independiente y más dada al regateo, al mercadeo y a los compromisos -a veces a cualquier precio-…de cara a la utilidad…o al pragmatismo)…cuánto cuesta en evaluación ese equilibrio tan inestable entre rigor, independencia y utilidad…

Tomo del post de Pablo un párrafo clave que marca el titánico camino que hay por delante para profesionalizar la evaluación. La fuente es de ese gran evaluador que fue primero técnico, después político y ahora una referencia (filosófica):

 

 

Bob Picciotto, desde el marco de la sociología de las profesiones, sintetiza algunas de las características que debe construir una agenda para la profesionalización de evaluación:

(1) el reconocimiento público que la ocupación promueve el interés general; 

(2) procesos reconocidos de desarrollo disciplinar (educación especializada, exposición continua a la práctica de expertos);

(3) autonomía profesional (la propia profesión controla la contratación, la calidad de la formación, la aprobación de directrices profesionales, la aplicación de normas éticas, etc.);

(4) el acceso a la práctica (la institucionalización de la experiencia profesional mediante la educación terciaria de alta calidad y una amplia gama de posibles restricciones sobre el acceso a la práctica profesional: designación, acreditación, certificación, licencias).”

En mi próximo post centraré un poco más el tema y trataré de hablar del proceso que está realizando el grupo de profesionalización del Sociedad Europea de Evaluación del que soy miembro.

Tres ideas  ya contadas y tres antiguos posts sobre evaluación, carreras profesional y asociacionismo: Y como prometido, dejo aquí  los tres posts del pasado, terminando aquí esta primera e-post-ola.

 

Asociacionismo en evaluación –capítulo primero

(Octubre de 2014)

Más que nunca necesitamos del asociacionismo para aumentar nuestro capital social, humano y técnico, aumentando la capacidad de análisis, escucha, respuesta y servicio. Pero no debe ser fácil cuando hasta ahora no se ha llegado a las bases con una propuesta de verdadero trabajo en red y mutuamente beneficiosa, en la que se den soluciones de forma proactiva a problemas comunes o colectivos, en el que las bases se involucren de forma también proactiva y los boards o élites dirigentes, actúen para el pueblo y con el pueblo, y en representación de y con sus miembros

Acade: ¿por qué la sociedad española no se ha movilizado ante la reducción de la ayuda?

(28 Octubre del 2013)

“La sociedad civil organizada ha cambiado su papel y ya no habla en nombre de otros”. Aquí se mencionaron movimientos como el 15 M o las redes sociales. “No se necesitaba a la ciudadanía y la cooperación se ha dedicado a otras cosas…y se han perdido a las bases”. No se tuvo la suficiente visión de que la “sociedad civil organizada es capaz de crear opinión y estar sintonía con la sociedad. Luchar contra las desigualdades no implica sólo luchar contra la pobreza”. “La sociedad civil (organizada) ha tenido un problema de comunicación, aunque también ha habido problemas con el papel del liderazgo público”. A este punto durante el turno de palabra indiqué que no sólo era un problema de comunicación en el sentido de enviar el mensaje (de convencer), sino en el de escuchar. Pero hubo más sobre este punto:

-“El sector de ONGD está fragmentado. Pero el problema del apoyo social no es sólo de España. No se ha sido capaz de demostrar que la ayuda sirve para algo, de que la ayuda funciona”. Por otra parte hay muchos“peligros buscando atajos del norte al sur”.

– La base no se necesitaba porque estaban los profesionales. Se buscó “la profesionalización pero no un liderazgo asociativo” con el apoyo de las bases.

-“Ha habido un problema de mala gestión del accountability, ya que se ha entendido un accountability hacia el financiador. En España no tenemos conciencia de que lo público es de todos. Se debería haber hablado con la sociedad sobre los avances. No ha existido una política de transparencia”.”No ha habido suficiente diálogo y después el dinero público se ha retirado.”.

En este punto también señalé algunas ideas durante el turno de palabra de la jornada: Las afirmaciones anteriores, de ser ciertas, “iban en contra elementos básicos de la democracia participativa”. En un colectivo y sector para el que el concepto de participación parece tan importante, esto aumenta la carga de retórica de su discurso (o sus discursos). Repitamos: ¿No se necesitaba a la ciudadanía? ¿No había una política pública de estado?. También señalé que al binomio política vs tecnocracia había que añadir las dinámicas personalistas (o grupales) de poder. Éstas implican que el único deseo de cambio que se desea es “quítate tú para ponerme yo”, para mandar, mandar porque puedo. También es de señalar la magnitud de la retórica de una política ilustrada debido a la distancia con la sociedad civil, y que a su vez ha dado lugar a más distancia entre la sociedad y la política.

¿Carrera profesional en la cooperación española? La soledad de la carrera de fondo

(22 Mayo 2013)

…es un sector de profesionales poco valorado, desestructurado, sin sentimiento de cuerpo y, en consecuencia, en el que prima más el “qué hay de lo mío” y el “sálvese quien pueda”, que una visión colectiva sobre cómo debería ser un sector profesional en coherencia con la agenda de eficacia, en la que “de verdad” primaran los intereses de los más pobres (destinatarios por la vía de la apropiación y alineamiento de la ayuda) y de la sociedad española (demandantes de reducción de la pobreza con la máxima eficacia, eficiencia, pertinencia e impacto posible). En este marco la Cooperación Española continuamente se está descapitalizando de sus profesionales, ya que no existen ni mecanismos, ni contextos, ni incentivos para dar la oportunidad o contar con los mejores profesionales en los puestos de responsabilidad y decisión.

Como resultado de los desincentivos anteriores las Agencias, Departamentos públicos y las ONGD españolas tienen una gran rotación de personal tanto de personal directivo, como técnico. Estos cambios hacen más necesarias las estrategias de Gestión del Conocimiento y tienen el peligro de tender a una visión cortoplacista y no estratégica. Asimismo en dichos Departamentos Públicos no suele haber objetivos ni indicadores claros a nivel organizacional, ni mecanismos eficaces de rendición de cuentas de forma bidireccional a los más altos niveles jerárquicos.” (Rodríguez Ariza, Carlos, 2009, página 32) La gestión de la información en las organizaciones de desarrollo (vol. II)

Enlaces que me gustaron: aprendiendo a aprender


Esta semana ha sido complicada pero no quiero dejar de dar algunas pinceladas, indicando algunos enlaces que me gustaron:

El siempre genial e inspirador Nick Milton, gurú del KM, escribió en su blog/ametralladora sobre gestión del conocimiento -Knoco stories – algunos posts muy interesantes, como:

Gestión del Conocimiento y desempeño (Autor: Knoco)

Gestión del Conocimiento y desempeño (Autor: Knoco/Nick Milton)

-Cuatro razones para intentar la Gestión del Conocimiento (él habla por este orden de Lógica, Emoción, Expectación y Presión entre pares)

-Cómo diseñar una estrategia de Gestión del Conocimiento en 50 palabras o menos

-Un webinar donde explica el pasado, el presente y el futuro de la gestión del conocimiento

-Nos recuerda por qué no deberíamos dejar nuestro conocimiento en ficheros (y hace mención al almacén de tesoros de En busca del Arca Perdida)

El rol de la gestión del conocimiento en la cadena de decisión (Autor: Knoco/Nick Milton)

Duncan Green está haciendo una gira (algo así como unos bolos) para promocionar su último libro: Cómo ocurre el cambio. Es interesante su post sobre lo que dicen algunos popes sobre su libro. Cómo ocurre el cambio Sen, Fukkuyama, Byanyima, Agarwal, Rodrik, Kumar y Robinson

Desde Brain Pickings nos acercan a la vida de la artista Marina Abramovic y nos cuentan la historia de cómo a la pionera de la física Lise Meiner le negaron el premio Nobel a pesar de haber contribuido a descubrir la fisión nuclear

Y en relación con mi post anterior EvalCentral Game Over, Chris Lysy está relanzando  Evalcentral desde la Plataforma Medium: habrá que acercarse i