Patton

Perspectivas Modernas en Evaluación de Programas: Un Enfoque Inclusivo

Posted by

0


Como continuacion del post anterior Fundamentos de la Evaluación de Programas: Un libro esencial, dentro de la serie Libros de Evaluación, vamos a desarrollar cómo el modelo revolucionario de «Fundamentos de la Evaluación de Programas» de Shadish, Cook & Leviton se enriqueció desde su hito fundacional (1991) con los debates que lo rebasaron.

1. El legado que no caduca: ¿por qué las cinco familias de evaluación sigue siendo su sección más citada?

Mapa integrador y lenguaje común. Antes de 1991, los enfoques convivían como islas (experimentos, modelos de uso, enfoques de valores, etc.). La propuesta de Shadish, Cook y Leviton ofreció un marco taxonómico que ordenó el campo en cinco familias —experimental, descriptiva/cualitativa, centrada en el uso, centrada en valores y centrada en el contexto— y lo convirtió en un idioma compartido para docencia y práctica. Manuales y artículos posteriores lo adoptaron como “paradigma de referencia” para ubicar debates y decisiones metodológicas.

Puente entre teoría y práctica. La clasificación no prescribe “una” forma de evaluar; normaliza la pluralidad y la convierte en elecciones razonadas (qué valoramos, cómo construimos evidencia, para quién y para qué se usa). Esa “neutralidad operativa” explica su alta citación en currículos y en artículos de revisión.

Estandariza preguntas nucleares. El propio Shadish (1998) muestra cómo el campo discute de manera recurrente cinco ejes (valor, conocimiento, uso, cambio del evaluando y práctica), que encajan con la arquitectura del libro de 1991, reforzando su función de marco metateórico.

Resultado: la clasificación facilitó comparabilidad entre teorías, ayudó a estructurar cursos y a “situarse” en diseños complejos. Por eso sigue apareciendo en revisiones y marcos actuales que explican “de dónde venimos” antes de introducir enfoques contemporáneos.

Por tanto y como ya tratamos en nuestro anterior post Fundamentos de la Evaluación de Programas: Un libro esencial, Shadish, Cook y Leviton (1991) revolucionaron la evaluación al proponer cinco familias teóricas (experimental, descriptiva, centrada en el uso, en valores y en contexto). Fue un mapa epistémico común que:

  • Ordenó un campo fragmentado, funcionando como lenguaje pedagógico y referencia en programas académicos.
  • Actuó como puente entre diversidad y unidad, validando la pluralidad en lugar de imponer un modelo único.
  • Se convirtió en un “esqueleto del campo” citado en manuales, cursos universitarios y artículos de revisión.

2. Más allá del mapa: perspectivas que lo rebasan

Sigue leyendo →

Repensar la validez en evaluación: hacia un paradigma crítico, situado y transformador

Posted by

0


1.Introducción

En tiempos marcados por crisis ecológicas, desigualdades estructurales y disputas epistémicas sobre qué cuenta como conocimiento válido, la evaluación enfrenta una encrucijada histórica. Ya no basta con identificar “qué funciona”; debemos preguntarnos también cómo, para quién y en qué condiciones funciona, y bajo qué marcos epistémicos, culturales y políticos se construye ese juicio.

La validez en evaluación, tradicionalmente entendida como una dimensión técnica, se transforma en este contexto en una categoría relacional, ética y situada. Este texto propone una relectura integral y crítica de las formas de validez, integrando sus expresiones clásicas con nuevos aportes emergentes desde perspectivas decoloniales, feministas, participativas y ecológicas.

2.Fundamentos teóricos: de la neutralidad al compromiso epistemológico

Los aportes desarrollados aquí se fundamentan en un corpus diverso que incluye la crítica pospositivista a la neutralidad del conocimiento (Schwandt, 2009; Patton, 2011), las epistemologías del Sur (Sousa Santos, 2018), la evaluación transformativa (Mertens, 2009) y la práctica culturalmente receptiva (Hood, 2009; Chilisa, 2012). También se apoyan en enfoques de sistemas complejos (Greene, 2007; Patton, 2011) y pedagogías críticas como la de Freire (1970), así como en evaluaciones participativas con base en justicia social (Cousins & Whitmore, 1998; Mark & Henry, 2004).

Desde esta perspectiva surge la idea de validación crítica: un proceso dialógico, situado y plural que reconoce las tensiones entre formas de validez y busca equilibrarlas en función del propósito evaluativo y el contexto sociopolítico.

3.Las valideces: clásicas y críticas

3.1.Las valideces clásicas: continuidad necesaria con revisión crítica

Validez interna

Enfocada en la relación causal entre intervención y resultados, es central en diseños experimentales (Shadish et al., 2002; Gertler et al., 2016). No obstante, puede omitir factores contextuales o dinámicas de poder, como han señalado evaluaciones realistas (Pawson & Tilley, 1997).

Validez externa

Remite a la generalización de resultados. Investigaciones como la de Vivalt (2020) muestran la variabilidad de efectos cuando se replican programas en contextos distintos. Cartwright & Hardie (2012) advierten contra la ilusión de universalidad.

Sigue leyendo →

Evaluation Roots: Las raíces, ramas y rizomas de una disciplina en expansión

Posted by

0


En el vasto y complejo universo de la evaluación de programas, Evaluation Roots, editado por Marvin C. Alkin, se erige como una obra fundamental. Desde su primera edición en 2004, pasando por su expansión en 2013, hasta su versión más inclusiva y aplicada en 2023, este libro no solo compila teorías evaluativas, sino que traza una genealogía viva del pensamiento evaluativo contemporáneo. Más que un texto, Evaluation Roots es un mapa conceptual, un árbol teórico, un jardín de ideas en evolución constante.

Este post reúne, fusiona y profundiza algunas de las ideas clave de las tres versiones analizadas sobre el libro, integrando los aportes de cada uno:

🌳 1. La metáfora fundacional: El árbol de la evaluación

Desde su concepción, Evaluation Roots propone una visión gráfica y conceptual del campo: un árbol cuyas raíces representan las grandes corrientes teóricas, de las cuales surgen diversas ramas, teorías híbridas y aplicaciones prácticas. Esta metáfora ha sido celebrada por su claridad y utilidad pedagógica.

Las tres raíces principales:

  • Use Branch (orientada al uso): encabezada por Michael Q. Patton, enfatiza la importancia del uso real de los resultados de evaluación por los tomadores de decisiones.
  • Methods Branch (orientada a métodos): representada por figuras como Donald Campbell, pone el acento en el rigor científico, la medición precisa y el diseño metodológico.
  • Valuing Branch (orientada a valores): liderada por Michael Scriven, se centra en el juicio evaluativo basado en criterios explícitos de valor, a menudo independiente del diseño del programa.

Cada raíz está asociada con autores clave, trayectorias intelectuales y debates metodológicos. Esta estructura permite entender que la evaluación no es una práctica neutral ni técnica, sino una disciplina anclada en fundamentos epistemológicos, éticos y políticos.

Sigue leyendo →

Evaluación Durante el Desarrollo: Innovación y Adaptación en Entornos Complejos

Posted by

0


La «Evaluación Durante el Desarrollo» (Developmental Evaluation, DE) es un enfoque innovador que se centra en la adaptación y la innovación en entornos complejos e inciertos. Este método, desarrollado por Michael Quinn Patton, se diferencia de las evaluaciones tradicionales al integrarse en el proceso de desarrollo de una intervención, proporcionando retroalimentación en tiempo real y permitiendo ajustes continuos.

Ideas Clave

  1. Definición y Propósito: La DE se compara con la I+D+i en el sector privado, facilitando la retroalimentación casi en tiempo real y centrando el seguimiento en los efectos positivos del proyecto. Es especialmente útil para la innovación, el cambio radical y la replicabilidad en contextos complejos y de crisis.
  2. Comparación con Evaluaciones Tradicionales: A diferencia de las evaluaciones tradicionales que se centran en el control del proyecto y la mejora de la intervención, la DE apoya la innovación y la adaptación. Los evaluadores en DE están integrados en el proceso, generando marcos para la interpretación y supervisando modelos en desarrollo.
  3. Principios y Estándares: La DE se basa en principios como el propósito de desarrollo, el rigor de la evaluación, el nicho de innovación, las perspectivas de la complejidad, el pensamiento sistémico, la co-creación y los comentarios oportunos. Estos principios se combinan con normas de evaluación del UNEG, como la independencia, la imparcialidad, la credibilidad y la igualdad de género y derechos humanos.
  4. Productos y Procesos de Evaluación: La calidad de la evaluación en DE se expresa tanto en productos de evaluación (informes, resúmenes de aprendizaje, presentaciones) como en procesos de evaluación (relaciones, discusiones evaluativas, toma de decisiones basada en datos). Un enfoque convencional que solo valore los informes finales perdería importantes interacciones de evaluación del día a día.
  5. Calificación y Métodos de Datos: La valoración de las evaluaciones en DE se realiza calificando el grado en que los productos y procesos de evaluación exhiben estándares de calidad. Este proceso debe ser realizado por un evaluador externo independiente utilizando métodos como la revisión de productos, entrevistas con informantes clave y entrevistas con el personal de evaluación.
  6. Pasos para Evaluar la Calidad: El proceso de evaluación de la calidad en DE consta de tres pasos principales: determinación del alcance, implementación y revisión y aprobación. Este proceso asegura una valoración completa y precisa de la calidad de las evaluaciones durante el desarrollo.

Sigue leyendo →

Revisando las implicaciones de la pandemia para l@s evaluador@s

Posted by

0


Reviso el post de hace ahora casi dos años de MQPatton del 23 de Marzo de 2020, Implicaciones en la evaluación de la actual pandemia,  MQPAtton nos da su visión sobre la pandemia y las implicaciones que puede tener para la evaluación. Esta era su opinión sobre dónde estabamos y hacia dónde deberíamos ir como evaluador@s:

  1. Adaptemos ahora los planes y diseños de evaluación.
  2. Seamos proactivos: esto no va a pasar rápidamente.
  3. Centrémonos en el uso, no en nosotr@s.
  4. Reglas de datos en tiempo real.
  5. Consideremos el estándar de rigor «suficientemente bueno». Separarse del rigor como un estándar metodológico absoluto.
  6. Todo cambia en una crisis. Abraza el cambio, no te resistas.
  7. Participa en el pensamiento sistémico.
  8. Piensa globalmente, actúa localmente.
  9. Prepárate para defender el valor de la evaluación.
  10. Tengamos conocimiento, seamos un verificadores de hechos.
  11. Modela el pensamiento evaluativo sistemático.
  12. Aboga por mejores datos.
  13. Destaquemos la necesidad de una transformación hacia la sostenibilidad global a más largo plazo.
  14. Sigue aprendiendo.
  15. Apoyarse mutuamente como comunidad de evaluación.

Sigue leyendo →

Evaluación centrada en principios

Posted by

0


Otra de las aportaciones de MQ Patton es sobre la evaluación centrada en principios. El pensamiento centrado en principios es para personas impulsadas por principios que participan en cambios basados ​​en principios. Un principio de eficacia proporciona una guía sobre cómo pensar o comportarse hacia algún resultado deseado (ya sea explícito o implícito) basado en normas, valores, creencias, experiencia y conocimiento. Un principio de alta calidad proporciona orientación sobre qué hacer, es útil para informar decisiones y acciones, proporciona inspiración como expresión de valores, es relevante para diversos contextos y situaciones y puede ser evaluado. Evaluar un principio implica examinar su significado para aquellos que se espera que lo sigan, si se está cumpliendo en la práctica y, si se cumple, si conduce a los resultados deseados.

¿Por qué principios?

Nos encontramos el cambio por todos lados, nos envuelve desde todas las direcciones, es omnipresente. Tenemos opciones sobre cómo afrontar, comprometernos y afrontar el cambio. Los principios informan y orientan esas elecciones. Lo hacen diciéndonos cómo actuar.

Sigue leyendo →

Evaluación Centrada en el Uso (UFE): 17 Pasos para hacer del uso una realidad

Posted by

0


Continuando con la Evaluación Centrada en el Uso: Usos y usuarios directos definidos, y con nuestra temática de posts sobre “uso evaluativo” “aquí1, aquí2 y aquí3“, seguimos en torno a  este texto de Patton, traducción desde la plataforma Better evaluation de una referencia a su «Utilisation Focused Evaluation» (UFE):

UFE se puede utilizar para diferentes tipos de evaluación (formativa, sumativa, de proceso, de impacto) y puede basarse en diferentes diseños de evaluación y tipos de datos.

El marco UFE se puede utilizar de varias maneras según el contexto y las necesidades de la situación. Se puede consultar la Lista de Verificación de la Evaluación Centrada en el Uso (U-FE) y la última actualización, que consta de 17 pasos, se describe a continuación:

Sigue leyendo →

Evaluación Centrada en el Uso: Usos y usuarios directos definidos

Posted by

0


En ocasiones podemos caer en la tentación de pensar que toda evaluación se centra en el uso, pero no es cierto como hemos visto en las series de posts sobre «uso evaluativo» «aquí1, aquí2 y aquí3«. Especialmente con «Evaluación Centrada en el Uso», nos referimos a un enfoque con pasos sistemáticos, en el que «uso y usuarios» de la evaluación están bien definidos. A continuación este texto que proviene de Michael Quinn Patton y ha sido traducido en la plataforma BetterEvaluation:

La Evaluación Centrada en el Uso (UFE, por sus siglas en inglés), desarrollada por Michael Quinn Patton, es un enfoque basado en el principio de que una evaluación debe ser juzgada por su utilidad para los usuarios previstos. Por lo tanto, las evaluaciones deben planearse y llevarse a cabo de manera que se mejore el posible uso tanto de los hallazgos como del proceso en sí para informar las decisiones y mejorar el desempeño.

La UFE tiene dos elementos esenciales.

En primer lugar, los principales usuarios previstos de la evaluación deben estar claramente identificados y comprometidos personalmente al comienzo del proceso de evaluación para garantizar que puedan identificarse sus principales usos previstos.

En segundo lugar, los evaluadores deben asegurarse de que estos usos previstos de la evaluación, por parte de los principales usuarios previstos, guíen todas las demás decisiones que se tomen sobre el proceso de evaluación.

En lugar de centrarse en usuarios y usos generales y abstractos, UFE se centra en usuarios y usos reales y específicos. El trabajo del evaluador no es tomar decisiones independientemente de los usuarios previstos, sino facilitar la toma de decisiones entre las personas que utilizarán los resultados de la evaluación. Sigue leyendo →

MQ Patton y las implicaciones de la pandemia para l@s evaluador@s

Posted by

0


MQPatton, uno de nuestros referentes, ha estado en este oficio de la evaluación y escribiendo sobre la profesión de evaluación durante casi 50 años. Durante la última década, ha escrito sobre «evaluación bajo condiciones de complejidad» (Developmental evaluation / Evaluación en o durante el desarrollo) y transformaciones de sistemas globales (Blue Marble Evaluation). En su post del 23 de Marzo 2020, Implicaciones en la evaluación de la actual pandemia,  MQPAtton nos da su visión sobre la actual pandemia y las implicaciones que puede tener para la evaluación. Esta es su opinión sobre dónde estamos y hacia dónde deberíamos ir como evaluador@s:

  1. Adaptemos ahora los planes y diseños de evaluación.
  2. Seamos proactivos. No esperemos y no pensemos que esto va a pasar rápidamente.
  3. Centrémonos en el uso, no en nosotr@s. El trabajo de las personas con las que trabajamos no es consolarnos ni ayudarnos como evaluador@s.
  4. Reglas de datos en tiempo real.
  5. Consideremos el estándar de rigor «suficientemente bueno». Separarse del rigor como un estándar metodológico absoluto.
  6. Todo cambia en una crisis. Abraza el cambio, no te resistas.
  7. Participa en el pensamiento sistémico.
  8. Piensa globalmente, actúa localmente.
  9. Prepárate para defender el valor de la evaluación.
  10. Tengamos conocimiento, seamos un verificadores de hechos.
  11. Modela el pensamiento evaluativo sistemático.
  12. Aboga por mejores datos.
  13. Destaquemos la necesidad de una transformación de sostenibilidad global a más largo plazo.
  14. Sigue aprendiendo.
  15. Apoyarse mutuamente como comunidad de evaluación.

Nuestros niveles de facilitación durante la evaluación

Posted by

0


Retomamos la referencia a facilitación y evaluación, recordando la importancia de nuestras competencias en facilitación durante los procesos evaluativos. Catsambas indica que en la facilitación se pueden apreciar 3 niveles de sofisticación:

Nivel 1. facilitación básica

Hay una clara relación entre las competencias en evaluación y facilitación. Así como los facilitadores, los evaluadores deben mantener relaciones constructivas con los implicados, gestionar el nivel de implicación, mantener un entorno participativo y alcanzar resultados.

Las competencias en facilitación de la IAF (International Association of Facilitators) son: (1) Crear relaciones colaborativas con el cliente, (2) Planificar procesos de grupo apropiados, (3) Crear y sostener un entorno participativo, (4) Guiar al grupo hacia resultados útiles apropiados, (5) Construir y mantener conocimiento profesional, modelo de actitud profesional positiva. La relación con las competencias de los evaluadores son casi inmediatas y están desarrolladas en el artículo abajo reseñado de Catsambas.

Más allá de las competencias básicas, los facilitadores -como los evaluadores- añaden nuevo conocimiento y capacidades a través de métodos como: Open space (desconferencia o conferencia de espacio abierto), Future search, art of convening, appreciative inquiry, world café… Sigue leyendo →