Evaluación

Nada más práctico que una buena teoría

Posted by

0


Este no es un texto para leer pasivamente mientras se toma un café. Es una provocación amable, pero directa, al pensamiento evaluador. En Nada más práctico que una buena teoría, Carol Weiss nos recuerda algo fundamental: toda intervención —por muy técnica o neutral que parezca— está basada en suposiciones sobre cómo debería funcionar el mundo. Es decir, toda acción parte de una teoría del cambio, se reconozca o no.

La trama principal es sencilla pero poderosa: si vas a intervenir para mejorar una situación, más vale que tengas claro qué teoría estás siguiendo, aunque ni siquiera se haya formulado aún.

Análisis del articulo

El artículo está cargado de ideas organizadas con claridad:

  • Introducción: Weiss plantea la idea principal que da título al texto: que no hay nada más útil que una buena teoría para orientar la acción.
  • Teoría del cambio: nos invita a mirar detrás de cada programa social y descubrir la teoría que lo sostiene, aunque esté implícita.
  • El rol del evaluador: redefine su papel, ya no como auditor externo, sino como facilitador de pensamiento estratégico y clarificador de supuestos.

Cada sección está orientada a generar reflexión y debate más que a ofrecer respuestas cerradas.

Sigue leyendo →

El Pensamiento Evaluativo: Un Faro en la Oscuridad Organizacional

Posted by

0


En las profundidades de la gestión y planificación, el pensamiento evaluativo (PE) se erige como un faro guía para las organizaciones. Como un hilo conductor, atraviesa cada área central de operaciones, tejido en la trama misma de la eficacia y la mejora continua.

  1. Desarrollo y Diseño del Programa:
    • Evaluar el contexto de servicios y programas es como cartografiar un territorio desconocido. Identificamos brechas, redundancias y tendencias, trazando rutas hacia la excelencia.
    • Nuestra capacidad de crecimiento se mide con datos, y los hallazgos de la evaluación se entrelazan en el diseño del programa.
    • Múltiples partes interesadas se sientan alrededor de la mesa, compartiendo visiones y tejiendo modelos de programas que guían la implementación.
    • La evaluabilidad se cultiva desde el inicio, integrando procesos de reflexión y aprendizaje en los ciclos regulares.
  2. Gestión de Programas:
    • Monitoreo constante, como un vigía en la torre, nos permite ajustar el rumbo. Reflexionamos sobre lo que funciona y lo que no, identificando oportunidades de mejora.
    • Datos en tiempo real son brújulas para adaptaciones y correcciones. La calidad del programa se pule en el yunque de la evaluación constante.
  3. Evaluación del Programa:
    • Datos, como piedras preciosas, describen características, actividades y resultados. Múltiples partes interesadas interpretan y usan estos tesoros.
    • Compartimos los hallazgos en formatos útiles, nutriendo el aprendizaje y la mejora continua. Las estrategias y herramientas de evaluación son llaves maestras.
    • La formación y el apoyo son cimientos sólidos para la evaluación significativa.
  4. Interacción con las Poblaciones Objetivo:
    • Las necesidades de las poblaciones objetivo se miden periódicamente. La satisfacción de los beneficiarios y otros indicadores de calidad son estrellas que guían nuestro rumbo.
    • La voz de l@s beneficiari@s se entrelaza con los datos de resultados, creando un tapiz de mejora.
  5. Desarrollo de Capacidades del Personal:
    • Evaluamos anualmente el desarrollo del personal, preparándonos para los cambios y adoptando las mejores prácticas emergentes.
    • El impacto de talleres y seminarios web se mide en capacidades y crecimiento.

La línea de fondo del pensamiento evaluativo:

  • Amplio Alcance y Arraigo Profundo:
    • Se extiende más allá de las actividades de evaluación, impregnando cada rincón de la organización.
    • No es un islote aislado, sino una corriente que fluye a través de programas, propósitos y personas.
    • Su raíz está en la curiosidad natural y el deseo de aprender y mejorar.
  • Habilidades, Actitudes y Enfoque:
    • Requiere habilidades, recursos y capacidades.
    • Las actitudes y los hábitos son su suelo fértil.
    • Da vida, significado y valor a actividades que podrían ser meras obligaciones.
  • Enfoque Dirigido:
    • Asegura que nuestro trabajo esté enfocado, basado en hechos y orientado a objetivos.
    • Al cultivar una cultura organizacional con este hábito, las consultas valiosas reemplazan las cargas requeridas.

En esta danza entre datos, atención, reflexión y decisión, el pensamiento evaluativo no es una carga, sino un farol que ilumina el camino hacia la excelencia.  El pensamiento evaluativo no solo ilumina, sino también transforma.

Métodos en Psicología Social y en Evaluación

Posted by

0


La psicología social y la evaluación de programas son dos campos que, aunque tienen enfoques distintos, comparten la base de la investigación empírica y su aplicación práctica. Veamos cómo se relacionan y cómo pueden beneficiarse mutuamente:

  1. Objetivos y Enfoques:
    • Psicología Social:
      • Objetivo: Comprender el comportamiento social y las interacciones humanas.
      • Enfoque: Estudia cómo las personas forman impresiones, creencias y actitudes sobre los demás.
    • Evaluación de Programas:
      • Objetivo: Evaluar la efectividad de intervenciones o políticas.
      • Enfoque: Analiza programas específicos y su impacto.
  2. Métodos de Investigación:
    • Psicología Social:
      • Utiliza observación naturalista, encuestas y experimentos de laboratorio.
      • Busca patrones y tendencias en el comportamiento social.
    • Evaluación de Programas:
      • Emplea análisis de lógica, evaluación de necesidades y diseño de programas.
      • Realiza estudios experimentales, cuasiexperimentales y mide resultados.
  3. Variables de Interés:
    • Psicología Social:
      • Variables relacionadas con el comportamiento, actitudes y relaciones interpersonales.
    • Evaluación de Programas:
      • Variables específicas según el programa evaluado (por ejemplo, tasas de éxito, cambios en habilidades).
  4. Aplicación Práctica:
    • Psicología Social:
      • Busca aplicar hallazgos en la vida cotidiana y en la comprensión de las relaciones humanas.
      • Puede proporcionar información valiosa sobre dinámicas sociales y cómo las personas interactúan en contextos reales.
    • Evaluación de Programas:
      • Aplica resultados para mejorar intervenciones y tomar decisiones informadas.
      • La psicología social puede ayudar a comprender cómo los factores sociales influyen en los resultados de los programas.
  5. Ética y Validez:
    • Psicología Social:
      • Considera la ética en la investigación y la validez ecológica.
      • Busca aplicar sus hallazgos de manera ética y relevante en la vida cotidiana.
    • Evaluación de Programas:
      • Considera la ética y evalúa la validez interna y externa de los resultados.
      • La psicología social puede aportar perspectivas sobre la validez ecológica y la aplicabilidad de los resultados.

Mientras que la psicología social se centra en los aspectos humanos del comportamiento social cotidiano y las relaciones interpersonales, la evaluación de programas se enfoca en medir el impacto de intervenciones específicas. Ambas áreas pueden enriquecerse mutuamente al considerar cómo los factores sociales influyen en los resultados de los programas y viceversa.

Áreas de Interés Común

  1. Factores Sociales y Comportamiento:
    • Tanto la psicología social como la evaluación de programas se interesan en cómo los factores sociales afectan el comportamiento individual y grupal.
    • Ambas disciplinas buscan comprender cómo las interacciones sociales influyen en las decisiones y acciones de las personas.
  2. Mejora del Bienestar Humano:
    • La psicología social y la evaluación de programas comparten el objetivo de mejorar el bienestar humano.
    • La comprensión de las dinámicas sociales y la efectividad de las intervenciones contribuyen a este propósito común.
  3. Aplicación Práctica y Soluciones Reales:
    • Ambas áreas se comprometen con la aplicación práctica del conocimiento científico.
    • Buscan resolver problemas reales en comunidades y organizaciones mediante la implementación de programas efectivos.
  4. Ética y Validez:
    • La ética es central en ambas disciplinas, asegurando que los estudios y evaluaciones respeten los derechos individuales y promuevan el bien común.
    • La validez de los hallazgos es crucial; ambas áreas buscan resultados generalizables y aplicables más allá del contexto inmediato.

En conclusión, la colaboración entre la psicología social y la evaluación de programas puede proporcionar una comprensión más completa del comportamiento humano dentro de contextos sociales estructurados por programas e intervenciones.

Innovación y Liberación en Evaluación

Posted by

0


revolutions-in-art-2-1-1

¿Estamos list@s para un viaje transformador en la evaluación de programas? ¡Abrochemos nuestros cinturones y preparémonos para despegar con las Estructuras Liberadoras (EL)!

Inclusión y Diversidad: Imagina un mundo donde cada voz cuenta. Las EL hacen de este mundo una realidad en la evaluación de programas. Con la técnica 1-2-4-All, cada participante o miembro del equipo tiene la oportunidad de ser escuchado. Es como un viaje desde la reflexión individual hasta la sinergia grupal, donde las ideas se construyen y se refinan a medida que se comparten.

Inteligencia Colectiva: ¿Alguna vez has soñado con tener un superpoder? Las EL nos dan uno: la sabiduría colectiva. La técnica Impromptu Networking es como una red de ideas, donde podemos pescar las experiencias y perspectivas de los demás, identificando desafíos comunes, soluciones potenciales y oportunidades para la colaboración.

Generación de Ideas: Utiliza la técnica “What, So What, Now What?” para reflexionar en tres etapas: identificar hechos (What), analizar su importancia (So What) y decidir los próximos pasos (Now What). Es como un viaje de descubrimiento, donde cada paso nos lleva más cerca de la solución.

Aprendizaje Iterativo: ¿Y si te dijera que podemos aprender de nuestros errores y mejorar constantemente? Las EL hacen posible este aprendizaje iterativo. Durante la ejecución de la evaluación, la técnica Troika Consulting es como un faro en la niebla, proporcionando retroalimentación y consejos sobre los desafíos que encontramos en el camino.

Acciones Concretas: ¿Te sientes atrapado a veces? Las EL te dan las llaves para liberarte. La técnica 15% Solutions te ayuda a identificar acciones que están dentro de tu control para mejorar la ejecución de la evaluación. Es como tener una brújula que siempre te señala la dirección correcta.

Comunicación Efectiva: ¿Te has encontrado alguna vez con barreras de comunicación? Las EL pueden derribarlas. La técnica TRIZ es como un bisturí que corta las prácticas que obstaculizan la comunicación efectiva de los resultados de la evaluación. Además, podemos explorar otras técnicas como Shift & Share, que es como una feria de ideas, donde podemos compartir tus logros y aprender de los demás.

Las Estructuras Liberadoras revolucionan la evaluación de programas, transformándola en una danza de inclusión y colaboración. Estas estructuras, inyectando innovación y eficacia, desatan la inteligencia colectiva y valoran todas las voces. Facilitan un aprendizaje iterativo, siempre en movimiento, mejorando la adaptabilidad y eficacia de la evaluación. Técnicas como 1-2-4-All, Impromptu Networking, “What, So What, Now What?”, Troika Consulting, 15% Solutions, TRIZ y Shift & Share están listas para ser aplicadas en todas las etapas de la evaluación. Este enfoque revolucionario marca una diferencia significativa, llevando la evaluación de programas a nuevos niveles de eficacia e innovación.

En resumen, las Estructuras Liberadoras (EL) son como un cohete que puede lanzar la práctica de la evaluación de programas a nuevas alturas de eficacia e innovación. ¿Estamos list@s para el despegue? ¡Exploremos las estrellas de la evaluación de programas junt@s con las Estructuras Liberadoras!

Sigue leyendo →

El pensamiento evaluativo para transformar la evaluación  y las organizaciones

Posted by

0


Uno de los roles de la función de evaluación es el desarrollo de pensamiento evaluativo a todos los niveles posibles.

I.) El pensamiento evaluativo (PE)

(1) es un enfoque disciplinado para la indagación y la práctica reflexiva que nos ayuda a emitir juicios sólidos, basados en evidencias, como un hábito.

(2) no es aplicable sólo en/a la evaluación (o unidades de evaluación) sino en toda la organización y fases de la gestión,

(3) tiene una dimensión de desarrollo de capacidades a nivel individual, organizacional y estructural

Thomas Archibald y su equipo han definido “Pensamiento evaluativo» de la siguiente manera:

(1) aplica el pensamiento crítico en el contexto de la evaluación,

(2) motivado por (a) una actitud de curiosidad y (b) una creencia en el valor de la evidencia, que

(3) implica (a) identificar supuestos, (b) plantear preguntas reflexivas, (c) buscar una comprensión más profunda

(4) por medio de (a) la reflexión y (b) la toma de perspectiva, e (c) informar las decisiones en preparación para la acción». Sigue leyendo →

Evaluador/a no hay camino, se hace camino al andar

Posted by

1


Quedarse en el camino significa salir de este campo de la evaluación.

En mi carrera profesional en evaluación, quizás como much@s otr@s evaluador@s que no se quedaron en el camino, me he movido en tierra de nadie, y me pregunto si no soy visto como «pragmático» para la academia y un «teórico» en la práctica. Me sigue haciendo gracia que los «profesionales» en el terreno (a l@s que llaman «practitioners») te llamen «teórico» como algo despectivo. Con media sonrisa pienso: «no hay mejor práctica que una buena teoría»…pero tú que me llamas teórico, tú, de tu práctica no saco más teoría que la del caos…y claro ni se nos ocurra hablar a esos practitioners de pacotilla sobre la teoría de la complejidad: si lo hacemos seremos etiquetados «además» de rebuscados, embrollados y confusos…

Por suerte o desgracia he estado en diferentes entornos de trabajo siempre en relación a la evaluación (como investigador, gestor o evaluador externo): universidad, administración pública, organismos internacionales, organizaciones locales, consultoría independiente. Ese «caminante no hay camino, se hace camino al andar» (no sé bien si deseado o impuesto o ambos), me ha convertido en un nómada, ambulante, errante, itinerante, vagabundo…y eso me ha dado la posibilidad de reforzar mi independencia.

Sigue leyendo →

El arte o la industria de la evaluación

Posted by

1


hotbook-94

La evaluación ha sido y, en algunos rincones todavía es, un arte confeccionado por artesan@s, a veces considerados charlatanes, voceras, parlanchines, vende pociones, lenguaraces, bocazas pero, otras veces, sin embargo, apreciad@s y honrad@s como magos, brujos, hechiceros, prestidigitadores, nigromantes, médiums (objetivos evaluativos ocultos), faquires (sí también porque tragan con todo), taumaturgos, prestidigitadores (más de veinte preguntas), ilusionistas (especialmente los que dan alguna recomendación que ya no se sepa)

Y como con l@s mag@s, l@s había, y los hay, buen@s y no tan buen@s. Para bien y para mal este arte arcano poco a poco se va abriendo y extendiendo: es bueno que cada vez se evalúa más (aunque sea en número). A paso de «enefante» (palabra que viene de «mitad elefante mitad enano o enana») se está asentando una carrera profesional. Se está creando una retórica de la evaluación, de lo que hay que hacer «porque está bien» (sí, todavía estamos explicando por qué hay que evaluar, en lugar de evaluar). Pero aunque falte todavía andar casi todo lo hablado (walk the talk), lo positivo es que estamos en camino. Y me pregunto si al mismo tiempo también corre el riesgo de transformarse en un proceso industrial, como el famoso marco lógico de corta y pega que tantos escribimos para los donantes en la soledad (solitario), en lugar de como procesos de aprendizaje y construcción participativa. El problema no son las herramientas, sino el uso que hacemos de ellas, su verdadero propósito. Y al cabo, como todo lo que se extiende y se populariza, se convierte en un negocio (más)…y con los negocios todo es posible (para bien y para mal)

Sigue leyendo →

Principios metodológicos para diseñar evaluaciones de alta calidad

Posted by

2


Fuente: http://caminante.usac.edu.gt/

En el reciente informe «Evaluación de las intervenciones de desarrollo internacional: una descripción general de los enfoques y métodos«, se discute acerca de algunos de los principios metodológicos clave del diseño de la evaluación que proporcionan las bases para la selección, adaptación y uso de enfoques y métodos de evaluación en el contexto de evaluación del desarrollo. El informe se centra solo en cuestiones metodológicas y no discute otros aspectos clave del diseño, como el uso previsto de la evaluación por parte de las partes interesadas.

Los principios discutidos también se refieren a la evaluación en general, pero son especialmente pertinentes para diseñar evaluaciones independientes en un contexto de desarrollo internacional. Consideran que los siguientes principios metodológicos son importantes para diseñar y desarrollar evaluaciones de alta calidad:

1. Dar la debida consideración a los aspectos metodológicos de la calidad de la evaluación en el diseño: enfoque, consistencia, confiabilidad y validez

Sigue leyendo →

La evaluación en la rendición de cuentas para resultados de planes estratégicos

Posted by

0


Fuente

La función de evaluación puede reforzar el ciclo de gestión y planificación, mejorando la calidad del diseño y del sistema de seguimiento de los Planes Estratégicos de nuestras organizaciones.

A través de la Política de Evaluación y el Plan de Trabajo de evaluación de nuestras organizaciones se pueden fomentar las siguientes áreas de trabajo clave en la organización: (a) refuerzo del marco institucional en evaluación, (b) desarrollo de capacidades en evaluación (incluye fomento del pensamiento evaluativo y trabajo conjunto con equipos de planificación y seguimiento), (c) gestión del conocimiento y (d) la ejecución de diferentes tipos de evaluaciones. Desde estas áreas de trabajo se pueden apoyar los planes estratégicos de la organización:

1.Desarrollo y diseño del Plan Estratégico

1.1 Asegurar que existen sistemas para la incorporación en el diseño de los aprendizajes previos (desde sistemas de seguimiento, evaluaciones previas…) 

1.2 Mejorar la evaluabilidad desde el diseño: calidad del diseño, del seguimiento, del uso de la información de diseño y seguimiento, de la accesibilidad de las partes interesadas.

1.3 Apoyar a desarrollar y documentar teorías del cambio (TdC) y modelos de intervención para guiar el diseño y la implementación. TdC para asegurar que existe(n):

Sigue leyendo →

Síntesis de evaluaciones: concepto y opciones

Posted by

1


Fuente

Desde la plataforma BetterEvaluation comparten este post «Sintetizar datos a través de evaluaciones«, donde se presentan enfoques y técnicas con el objetivo de responder a preguntas sobre un tipo de intervención en lugar de sobre un solo caso, respondiendo a preguntas como «¿Funcionan estos tipos de intervenciones?» o «¿Para quién, de qué manera y en qué circunstancias funcionan?» La tarea consiste en localizar la evidencia (que a menudo implica búsquedas bibliográficas en bases de datos, con especial énfasis en la búsqueda de estudios inéditos), evaluar su calidad y relevancia para decidir si incluirla o no, extraer la información relevante y sintetizarla. Las diferentes opciones utilizan diferentes estrategias y tienen diferentes definiciones de lo que constituye evidencia creíble.

Opciones para sintetizar procesos y/o productos evaluativos:

  1. Lecciones aprendidas del proceso evaluativo: las lecciones aprendidas pueden desarrollarse a partir del proceso de evaluación a medida que los evaluadores reflexionan sobre sus experiencias al realizar la evaluación.
  2. Mejor síntesis de evidencia: una síntesis que, como una síntesis realista, se basa en una amplia gama de evidencia (incluidos estudios de casos individuales) y explora el impacto del contexto, y también se basa en un enfoque iterativo y participativo para construir y usar una base de conocimientos. .
  3. Revisión sistemática: una síntesis que adopta un enfoque sistemático para buscar, evaluar, extraer y sintetizar evidencia de múltiples estudios. (1) Metanálisis, (2) metaetnografía y (3) síntesis realista son diferentes tipos de revisión sistemática.

Sigue leyendo →