Impact evaluation

Tras hacer una presentación general de diseños de evaluación de impacto, vamos a profundizar en la técnica de pareamiento (matching) para la evaluación de impacto

(a) Conceptos

Pareamiento (Matching): Es una técnica que empareja participantes del grupo de tratamiento con participantes del grupo de control que tienen características similares. Esto se hace para crear un grupo de comparación que sea lo más parecido posible al grupo de tratamiento, permitiendo así una evaluación más precisa del impacto de la intervención.

Variables No Observables: Son aquellas características o factores que no se pueden medir o no están disponibles en los datos, pero que pueden influir en los resultados. Por ejemplo, la motivación personal o el apoyo familiar. Estas variables pueden sesgar los resultados si no se controlan adecuadamente.

(b) Casos de (no) Uso

Cuándo Usarlo:

Disponibilidad de Datos Detallados: Cuando se tiene acceso a datos detallados sobre las características de los participantes.
Grupo de Comparación Adecuado: Cuando se puede identificar un grupo de comparación adecuado que sea similar al grupo de tratamiento.

Cuándo NO Usarlo:

Insuficiencia de Coincidencias: Cuando no se pueden encontrar suficientes coincidencias entre los grupos de tratamiento y control.
Variables No Observables Importantes: Cuando hay variables no observables que pueden influir significativamente en los resultados y no se pueden controlar

Sigue leyendo →

Hoy nos adentramos en un arte de medir el cambio: una lista esencial sobre diseños de evaluaciones de impacto. Incluye consejos prácticos sobre cuándo es mejor usarlas, cuándo no, y estudios de caso ilustrativos que demuestran la eficacia de cada método

1. Diseño Experimental (Aleatorizado)

Descripción: Asignación aleatoria de participantes en grupos de tratamiento y control.

Cuándo usarlo: Ideal cuando se puede controlar la asignación de los participantes y se busca obtener resultados robustos y libres de sesgo.

Cuándo NO usarlo: No es adecuado cuando la asignación aleatoria no es ética o factible.

Ejemplo 1: Evaluar el impacto de un nuevo programa educativo en el rendimiento académico de los estudiantes. Los estudiantes se asignan aleatoriamente a recibir el programa (grupo de tratamiento) o no (grupo de control).

Ejemplo 2 : Un estudio en Kenia evaluó el impacto de la distribución de mosquiteros tratados con insecticida en la reducción de la malaria. Los resultados mostraron una disminución significativa en los casos de malaria¹.

2. Diseño Cuasi-Experimental

Descripción: Métodos como el diseño de regresión discontinua, diferencias en diferencias, y pareamiento.

Cuándo usarlo: Útil cuando la asignación aleatoria no es posible, pero se pueden identificar grupos comparables.

Cuándo NO usarlo: No es adecuado cuando no se pueden encontrar grupos comparables o cuando hay cambios simultáneos que afectan los resultados.

Ejemplo 1: Evaluar el impacto de una política de subsidios en el empleo. Se puede comparar el empleo antes y después de la implementación de la política en regiones con y sin subsidios.

Ejemplo 2: Un estudio en México utilizó diferencias en diferencias para evaluar el impacto del programa Oportunidades en la educación y salud de los niños. Se encontró que el programa mejoró significativamente la asistencia escolar y la salud infantil ².

3. Diseño No Experimental

Descripción: Observación y análisis de datos sin manipulación directa de variables.

Cuándo usarlo: Adecuado cuando no es posible realizar experimentos o cuasi-experimentos, pero se dispone de datos relevantes para el análisis.

Cuándo NO usarlo: No es adecuado cuando se requiere establecer una relación causal clara.

Ejemplo: Un análisis de la campaña de concienciación sobre el reciclaje en una ciudad mostró un aumento en las tasas de reciclaje, aunque no se pudo atribuir directamente a la campaña debido a la falta de un grupo de control ³.

Sigue leyendo →