Conferencia IEA: "Evaluación de impacto y su relación con temas éticos"

Introducción a la Evaluación de Impacto

Presentación y Contexto

• La oradora agradece la invitación y menciona su rol como profesora en la Universidad Católica y parte de JPAL, un centro de investigación basado en MIT.

• Se destaca la importancia de los temas éticos en las evaluaciones de impacto, inspirados por la visión del centro.

Temas a Tratar

• La presentación se centrará en el rol ético de las evaluaciones de impacto hacia políticas públicas.

• Se argumenta que las investigaciones en ciencias sociales han impactado significativamente las políticas públicas mediante evaluaciones.

Definición y Clasificación de Evaluaciones

Tipos de Evaluaciones

• Se explica que muchas evaluaciones son clasificadas como monitoreo de procesos, enfocándose en cómo se implementan los programas.

• Ejemplo: La DIPRES en Chile evalúa si los objetivos del programa se cumplen, como la entrega efectiva de libros a niños.

Diferencias entre Evaluación Descriptiva e Impacto

• Las evaluaciones descriptivas miden aspectos como satisfacción y cantidad entregada, mientras que las evaluaciones de impacto analizan si el progreso es causado por el programa.

Metodología para Evaluar Impacto

Conceptos Clave

• La evaluación de impacto busca entender qué hubiera pasado sin el programa (contrafactual).

• Se menciona un ejemplo personal sobre cómo crear una ilusión controlada para explicar conceptos científicos.

Desafíos Metodológicos

• En ciencias sociales no hay laboratorios controlados; esto complica medir resultados comparativos entre grupos participantes y no participantes.

Construcción del Contrafactual

Estrategias para Estimación

• El contrafactual debe ser estimado o construido ya que no puede ser observado directamente.

Métodos Utilizados

• Los métodos se dividen en tres grupos: no experimentales, cuasi-experimentales y experimentales.

• Los métodos no experimentales son menos confiables al basarse solo en datos antes y después del programa.

• Los cuasi-experimentales buscan similitudes entre grupos para inferir resultados.

Este formato proporciona una estructura clara y accesible para estudiar los conceptos discutidos durante la presentación sobre evaluación e impacto hacia políticas públicas.

¿Cuál es el rol de la evaluación de impacto en la política pública?

Importancia de medir el impacto

• La medición del impacto es crucial para determinar si una política pública es costo-efectiva, lo que implica un uso eficiente de los recursos públicos.

• Medir el impacto permite identificar componentes del programa con mayor efectividad y probar nuevas ideas, así como descubrir beneficios no planificados o efectos secundarios negativos.

Cambio en la perspectiva sobre la evidencia

• Se ha pasado de hacer políticas públicas basadas en evidencia a hacerlas inspiradas en evidencia, reflejando un aprendizaje continuo en el proceso.

• El impacto no debe ser el único criterio para evaluar políticas; también se deben considerar razones éticas y preocupaciones por grupos específicos.

Consideraciones éticas en la implementación

• Existen razones éticas que pueden llevar a no implementar programas con buenos resultados, como las políticas educativas que segregan a los estudiantes por nivel de aprendizaje.

• Aunque algunos enfoques pueden mejorar el aprendizaje, su implementación puede ser rechazada por motivos éticos.

Evaluación aleatoria y sus desafíos

• La evaluación de impacto debe ser considerada como un insumo relevante pero no determinante; hay otros factores que influyen en la toma de decisiones políticas.

• Las objeciones éticas son comunes al discutir evaluaciones aleatorias; muchos consideran que estas prácticas son poco éticas.

Proceso de evaluación aleatoria

• Para realizar una evaluación aleatoria, se selecciona una población objetivo y se realiza un muestreo aleatorio para representarla adecuadamente.

• La asignación aleatoria permite comparar grupos tratados y grupos control, asegurando que las diferencias observadas sean atribuibles al programa evaluado.

¿Cómo se justifica el uso de experimentos aleatorios en la evaluación de programas?

Justificación del uso de experimentos aleatorios

• La demanda por un programa puede ser satisfecha mediante un experimento aleatorio, especialmente cuando hay escasez de recursos para atender a toda la población.

• Se plantea que la lotería es una forma justa de seleccionar quién recibe el programa, asegurando que todos tengan la misma oportunidad sin rechazar a quienes deberían recibirlo.

• La ética juega un papel crucial; si una institución tiene un proceso de selección perfecto, se puede justificar éticamente no utilizar un experimento aleatorio.

Ejemplo práctico y límites éticos

• Se menciona un experimento en África sobre circuncisión como método para reducir la exposición al VIH, donde los investigadores enfrentaron dilemas éticos al ver resultados positivos claros.

• El estudio demostró que el acceso a la circuncisión debía ser garantizado a todos después de evidenciar su efectividad en seis meses.

• Este caso ilustra los límites del uso de experimentos aleatorios: si se sabe que algo funciona, continuar con el experimento puede ser considerado poco ético.

Intervenciones por fases y consideraciones críticas

• En lugar de tener grupos de control absolutos, se pueden implementar intervenciones por fases donde algunas comunidades reciben el programa antes que otras.

• Esto permite evaluar el impacto mientras se asegura que eventualmente todas las comunidades obtengan acceso al programa.

Reflexiones sobre evaluación e impacto

• Existe una creencia común entre los evaluadores sobre la efectividad positiva de sus programas, pero algunos pueden tener efectos negativos inesperados.

• Surge una duda ética sobre seguir invirtiendo recursos en programas cuya eficacia no está comprobada o podría ser negativa.

Costos y desafíos en la evaluación

• La evaluación del impacto debe enfrentar críticas relacionadas con su costo elevado; muchas veces iguala o supera el costo del propio programa implementado.

• Los costos asociados principalmente provienen del levantamiento de datos, lo cual ha aumentado post-pandemia debido a la reticencia generalizada.

Evaluación de Impacto y Uso de Datos en Políticas Públicas

Importancia de la Transparencia en el Uso de Recursos

• La transparencia en el uso de recursos es crucial, ya que no solo implica gastos, sino también la necesidad de invertir en métodos independientes para obtener datos relevantes.

Nuevas Fuentes de Datos

• Se sugiere utilizar fuentes alternativas para la recolección de datos, como observaciones directas o análisis web, en lugar de depender únicamente de encuestas tradicionales.

• Ejemplos incluyen el uso de precios obtenidos a través del monitoreo en supermercados o plataformas como Uber, lo que permite una recolección más rápida y eficiente.

Identificadores y Seguimiento

• La implementación de identificadores únicos facilita el seguimiento individual a través de diferentes bases de datos, optimizando así los costos asociados con la recolección y análisis.

• Programas gubernamentales como RIS permiten acceder a registros civiles para obtener información sobre fertilidad sin necesidad de encuestas directas.

Evaluaciones Experimentales

• En evaluaciones experimentales se puede reducir significativamente el costo al evitar levantamientos duplicados si se confía en que los grupos son comparables antes del programa.

• Esto podría resultar en ahorros significativos para el gobierno si se determina que un programa existente no tiene impacto positivo.

Calidad vs. Cantidad en Estudios

• Es preferible realizar pocos estudios bien diseñados que muchos estudios baratos que no proporcionen información útil sobre el impacto real.

• Existe un problema serio cuando las organizaciones repiten evaluaciones sin aprender lecciones previas; esto indica una falta grave en la gestión del conocimiento acumulado.

Comparación entre Estudios Existentes

• Al abordar problemas educativos globales, es esencial comparar resultados entre diferentes estudios para identificar políticas efectivas que aumenten la asistencia escolar.

• Las intervenciones pueden incluir desde contratación adicional hasta provisión directa de alimentos o medicamentos para combatir problemas subyacentes como anemia o parasitación.

Transferencias Condicionadas

• Ejemplos exitosos incluyen programas como "Progresa" en México, donde se ofrecen incentivos económicos a padres por enviar a sus hijos a la escuela.

Impacto de la Educación y Salud en Poblaciones Marginales

Desafíos en el Acceso a la Educación

• La entrega de bonos para incentivar la asistencia escolar es necesaria, especialmente en poblaciones marginales que no envían a sus hijos al colegio.

• Estas familias enfrentan dificultades económicas significativas, lo que les obliga a priorizar otras preocupaciones sobre la educación de sus hijos.

Relación entre Salud y Educación

• Se ha observado que mejorar la salud de los niños es una intervención más económica y efectiva para aumentar su asistencia escolar.

• Muchos niños en países pobres no asisten a clases debido a problemas de salud, lo que afecta su energía y capacidad para aprender.

Evaluación del Impacto en Políticas Públicas

• La discusión sobre la ética de aprender de las evaluaciones de impacto se destaca como crucial; no aprender podría tener consecuencias graves.

• Se cuestiona si hay suficientes ejemplos que demuestren los beneficios tangibles de estas evaluaciones y su frecuencia de éxito.

Resultados Globales y Políticas Efectivas

• Desde 1980, ha habido una disminución significativa en la pobreza global, atribuida tanto al crecimiento económico como a políticas públicas efectivas.

• Las transferencias condicionadas han demostrado ser herramientas clave contra la pobreza, mejorando tanto la asistencia escolar como las condiciones económicas.

Retos Actuales y Futuras Implementaciones

• A pesar del éxito pasado, el gobierno actual de México ha eliminado programas efectivos, lo cual genera efectos negativos similares a los observados durante su implementación.

• Existe un interés por reintroducir estos programas con un nuevo enfoque gubernamental para continuar combatiendo la pobreza.

Reflexiones sobre Medición y Vulnerabilidad

• Se plantea si realmente se puede afirmar que ha habido una disminución real en la pobreza cuando persisten múltiples vulnerabilidades sociales.

• La necesidad de enfoques multidimensionales para medir vulnerabilidades es fundamental para entender el verdadero estado socioeconómico global.

Evaluación de Políticas Públicas y Pobreza Global

Perspectivas sobre la pobreza mundial

• La pobreza ha disminuido globalmente, no solo en términos monetarios, sino también considerando otros factores. Esto se basa en datos que sugieren una mejora significativa en las condiciones de vida.

• Más de un tercio de la población mundial vivía bajo la línea de pobreza económica, pero ahora esa cifra ha bajado a menos del 10%. Se observa una mejora en nutrición y esperanza de vida.

• Aunque hay mejoras en los índices multidimensionales de pobreza, es importante considerar cómo se mide la pobreza relativa y su comparación con el estatus socioeconómico de los vecinos.

Crecimiento económico y redistribución

• El crecimiento económico por sí solo no garantiza la reducción de la inequidad. Es necesario implementar políticas públicas que busquen tanto el crecimiento como la redistribución equitativa de recursos.

• La necesidad de equilibrar objetivos económicos con el deseo de reducir la pobreza implica un uso eficiente y justo de los recursos disponibles.

Desafíos en políticas públicas

• Las políticas públicas deben ser evaluadas para asegurar su efectividad. A menudo, se priorizan programas sin evidencia clara sobre su impacto real.

• La educación superior puede recibir más fondos que la educación básica, aunque esta última podría tener un mayor retorno social. La falta de evaluación adecuada limita decisiones informadas.

Voluntad política y cambio climático

• Existen evidencias claras sobre políticas que podrían mejorar el medio ambiente, pero muchas veces no se implementan debido a falta de voluntad política más que a falta de datos.

• Propuestas como eliminar exenciones fiscales pueden generar resistencia pública; es crucial entender las dinámicas sociales detrás del apoyo a ciertas políticas.

Rol universitario en evaluación e impacto

• Las universidades pueden contribuir al aprendizaje colectivo sobre políticas públicas al hacer más accesible la información sobre sus impactos.

• Es fundamental ayudar al gobierno a pensar estratégicamente sobre cómo comunicar beneficios públicos para ganar apoyo general hacia iniciativas basadas en evidencia.

Aprendizaje como bien público

• El aprendizaje derivado del análisis crítico debe ser considerado un bien público; sin embargo, actualmente está subutilizado debido a enfoques limitados hacia las evaluaciones específicas.

Evaluación de Impacto en Políticas Públicas

Importancia de la Capacitación en Evaluaciones

• La clave para mejorar las evaluaciones de impacto es capacitar a los actores del mundo de la política pública, tanto en la difusión de resultados como en el cambio de mentalidad sobre lo que implica una evaluación.

• Muchas organizaciones buscan evaluar programas sin considerar evaluaciones previas similares; se debe educar a donantes y gobiernos sobre la importancia de utilizar evidencia existente.

Desafíos en la Implementación

• Los donantes y gobiernos frecuentemente inician programas desde cero, ignorando evidencias previas, lo que genera dificultades significativas en el progreso y continuidad de iniciativas.

• Cambios frecuentes en nombres y enfoques (como "progresa" a "oportunidades") reflejan una falta de aprendizaje institucional y confusión entre los beneficiarios.

Evaluaciones Efectivas

• Las evaluaciones de proceso son más económicas y deberían ser obligatorias para todos los programas, ya que permiten un aprendizaje continuo sin necesidad de grandes recursos.

• La evaluación de impacto es justificada solo cuando hay circunstancias éticas adecuadas y falta suficiente conocimiento sobre el tema específico.

Rol Científico y Difusión

• Es fundamental que las unidades encargadas se comprometan a difundir evidencia científica objetiva, evitando opiniones personales. Esto ayuda a despolitizar el debate sobre políticas públicas.