La Importancia de la Línea de Base en el Propensity Score Matching


Siguiendo con posts anterios relacionados, el Propensity Score Matching (PSM) es una técnica estadística utilizada para estimar el efecto de una intervención al emparejar grupos de tratamiento y control con características similares. Sin embargo, la ausencia de una línea de base en el grupo de intervención puede afectar significativamente la validez de los resultados.

Impacto de la Falta de Línea de Base

  1. Comparabilidad Reducida: Sin una línea de base, es difícil garantizar que los grupos de tratamiento y control sean comparables en términos de características iniciales. Esto puede llevar a una mala estimación del efecto del tratamiento.
  2. Sesgo de Selección: La falta de datos de línea de base puede introducir sesgos de selección, ya que no se puede ajustar adecuadamente por las diferencias iniciales entre los grupos.
  3. Validez Interna: La validez interna del estudio puede verse comprometida, ya que las diferencias observadas en los resultados podrían deberse a diferencias iniciales no medidas en lugar del efecto del tratamiento.

Estrategias para Superar la Falta de Línea de Base

  1. Uso de Variables Proxy: Identificar y utilizar variables proxy que puedan aproximar las características iniciales de los participantes. Estas variables deben estar correlacionadas con las características de línea de base que faltan.
  2. Datos Longitudinales: Si se dispone de datos longitudinales, se pueden utilizar medidas repetidas de las características de los participantes antes y después del tratamiento para inferir las condiciones iniciales.
  3. Modelos de Imputación: Utilizar técnicas de imputación para estimar los valores de las características de línea de base faltantes. Métodos como la imputación múltiple pueden ser útiles en este contexto.
  4. Análisis de Sensibilidad: Realizar análisis de sensibilidad para evaluar cómo diferentes supuestos sobre las características de línea de base afectan los resultados del estudio.
  5. Ajuste por Covariables: Incluir tantas covariables relevantes como sea posible en el modelo de PSM para ajustar por las diferencias iniciales entre los grupos.
  6. Diseño de Estudio Alternativo: Considerar el uso de diseños de estudio alternativos que no dependan tanto de los datos de línea de base, como los estudios de cohortes o los ensayos controlados aleatorios.

Sigue leyendo

Impacto Transformador: Evaluaciones de Pareamiento en América Latina


Tras hacer una presentación general de diseños de evaluación de impacto, vamos a profundizar en la técnica de pareamiento (matching) para la evaluación de impacto

(a) Conceptos

Pareamiento (Matching): Es una técnica que empareja participantes del grupo de tratamiento con participantes del grupo de control que tienen características similares. Esto se hace para crear un grupo de comparación que sea lo más parecido posible al grupo de tratamiento, permitiendo así una evaluación más precisa del impacto de la intervención.

Variables No Observables: Son aquellas características o factores que no se pueden medir o no están disponibles en los datos, pero que pueden influir en los resultados. Por ejemplo, la motivación personal o el apoyo familiar. Estas variables pueden sesgar los resultados si no se controlan adecuadamente.

(b) Casos de (no) Uso

Cuándo Usarlo:

  • Disponibilidad de Datos Detallados: Cuando se tiene acceso a datos detallados sobre las características de los participantes.
  • Grupo de Comparación Adecuado: Cuando se puede identificar un grupo de comparación adecuado que sea similar al grupo de tratamiento.

Cuándo NO Usarlo:

  • Insuficiencia de Coincidencias: Cuando no se pueden encontrar suficientes coincidencias entre los grupos de tratamiento y control.
  • Variables No Observables Importantes: Cuando hay variables no observables que pueden influir significativamente en los resultados y no se pueden controlar

Sigue leyendo

Principales Diseños de Evaluación de Impacto: Cuándo y Cómo Usarlos, Ejemplos y Aplicaciones


Hoy nos adentramos en un arte de medir el cambio: una lista esencial sobre diseños de evaluaciones de impacto. Incluye consejos prácticos sobre cuándo es mejor usarlas, cuándo no, y estudios de caso ilustrativos que demuestran la eficacia de cada método

1. Diseño Experimental (Aleatorizado)

Descripción: Asignación aleatoria de participantes en grupos de tratamiento y control.

Cuándo usarlo: Ideal cuando se puede controlar la asignación de los participantes y se busca obtener resultados robustos y libres de sesgo.

Cuándo NO usarlo: No es adecuado cuando la asignación aleatoria no es ética o factible.

Ejemplo 1: Evaluar el impacto de un nuevo programa educativo en el rendimiento académico de los estudiantes. Los estudiantes se asignan aleatoriamente a recibir el programa (grupo de tratamiento) o no (grupo de control).

Ejemplo 2 : Un estudio en Kenia evaluó el impacto de la distribución de mosquiteros tratados con insecticida en la reducción de la malaria. Los resultados mostraron una disminución significativa en los casos de malaria1.

2. Diseño Cuasi-Experimental

Descripción: Métodos como el diseño de regresión discontinua, diferencias en diferencias, y pareamiento.

Cuándo usarlo: Útil cuando la asignación aleatoria no es posible, pero se pueden identificar grupos comparables.

Cuándo NO usarlo: No es adecuado cuando no se pueden encontrar grupos comparables o cuando hay cambios simultáneos que afectan los resultados.

Ejemplo 1: Evaluar el impacto de una política de subsidios en el empleo. Se puede comparar el empleo antes y después de la implementación de la política en regiones con y sin subsidios.

Ejemplo 2: Un estudio en México utilizó diferencias en diferencias para evaluar el impacto del programa Oportunidades en la educación y salud de los niños. Se encontró que el programa mejoró significativamente la asistencia escolar y la salud infantil2.

3. Diseño No Experimental

Descripción: Observación y análisis de datos sin manipulación directa de variables.

Cuándo usarlo: Adecuado cuando no es posible realizar experimentos o cuasi-experimentos, pero se dispone de datos relevantes para el análisis.

Cuándo NO usarlo: No es adecuado cuando se requiere establecer una relación causal clara.

Ejemplo: Un análisis de la campaña de concienciación sobre el reciclaje en una ciudad mostró un aumento en las tasas de reciclaje, aunque no se pudo atribuir directamente a la campaña debido a la falta de un grupo de control3.

Sigue leyendo