Vídeo 1

Introducción a la sesión sobre inteligencia artificial, ética y normativa

Presentación de los ponentes

• Fátima García Doval y Tina Campo Fernández son las presentadoras de la sesión, ambas pertenecientes a la Secretaría Xeral Técnica.

• Fátima se encargará de abordar los sesgos, oportunidades y riesgos relacionados con la inteligencia artificial (IA), mientras que Tina se centrará en la normativa.

Sesgo en el pensamiento y su impacto en la IA

Definición de sesgo

• Se define el "sesgo" como moldes de pensamiento que utilizamos para tomar decisiones rápidas, aunque no siempre son correctos.

• Los sesgos cognitivos afectan nuestras decisiones diarias; tendemos a usar estos moldes predefinidos sin pensar racionalmente.

Tipos de sesgos

• El primer tipo mencionado es el "sesgo del punto ciego", donde creemos que solo los demás tienen sesgos, pero todos los humanos los poseen.

• El "sesgo de confirmación" hace que recordemos información que apoya nuestras creencias previas y olvidemos lo contrario.

Correlación vs. Causalidad

Ejemplos ilustrativos

• Se menciona un ejemplo clásico: el aumento en el consumo de helados correlaciona con más muertes por ahogamiento, pero no hay causalidad entre ambos.

• Otro ejemplo es la correlación entre suicidios en EE.UU. y el uso de Internet Explorer; esto también carece de causalidad real.

Implicaciones para la IA

• Estos sesgos pueden influir negativamente en cómo una IA analiza datos; puede encontrar correlaciones erróneas sin entender las causas subyacentes.

• La IA podría identificar factores correlacionados al abandono educativo temprano sin discernir si realmente están conectados causalmente.

Ejemplo práctico relacionado con educación

Relación entre libros y éxito educativo

• Tener más libros en casa se asocia con ventajas educativas significativas, pero simplemente regalar libros no garantiza éxito escolar.

¿Cómo influyen los sesgos en la inteligencia artificial?

La relación entre el contexto familiar y el éxito educativo

• Se menciona que las familias con un nivel socioeconómico e informativo elevado correlacionan positivamente con el éxito educativo, sugiriendo que valoran el conocimiento y fomentan hábitos de trabajo con libros.

Causalidad y estadísticas en la investigación

• Se discute cómo a menudo se confunden correlaciones con causalidades, enfatizando que la estadística solo muestra ocurrencias conjuntas sin establecer causas.

Sesgos en la inteligencia artificial

• Las inteligencias artificiales (IA) están diseñadas para replicar el pensamiento humano, que está inherentemente sesgado. Esto implica que las IA también heredan estos sesgos.

Método científico y calidad de la información

• El método científico busca minimizar los sesgos humanos para alcanzar un conocimiento verdadero. Sin embargo, muchas fuentes de información son sesgadas, lo cual afecta la calidad de los datos utilizados para entrenar IA.

Impacto de los sesgos en las investigaciones

• La mayoría de las investigaciones no logran eliminar los sesgos debido a problemas metodológicos, resultando en una escasez de estudios de alta calidad y representatividad.

¿Por qué todas las IAs están sesgadas?

Alimentación de datos sesgados

• Las IA son alimentadas con conocimientos y procesos probabilísticos que reflejan pensamientos humanos, lo cual perpetúa sus propios sesgos.

Minimización del riesgo asociado a los sesgos

• Los filósofos de la ciencia sugieren que es crucial minimizar los riesgos asociados a los sesgos en lugar de intentar eliminarlos completamente, ya que esto es prácticamente imposible.

Confianza ciega en resultados informáticos

Efectos negativos del diseño erróneo

• Se menciona cómo las personas tienden a aceptar como verdad absoluta lo que indica un sistema informático, incluso si hay errores en su configuración o programación.

Racionalidad percibida de las máquinas

• Existe una creencia común sobre la infalibilidad de las máquinas; esta percepción puede llevar a confiar ciegamente en sus resultados sin cuestionar su validez.

Sesgo de confirmación

• Las IA están diseñadas para reforzar nuestras creencias preexistentes. Esto se relaciona con el "sesgo de confirmación", donde recordamos más fácilmente información que apoya nuestras ideas previas.

Profecía Autocumprida y su Impacto en la Educación

Concepto de Profecía Autocumplida

• Se introduce el concepto de "profecía autocumplida", también conocido como efecto Pigmalión, que se refiere a cómo las expectativas pueden influir en el rendimiento.

• Dos psicólogos, Jacobson y Rosenthal, realizaron un estudio sobre el potencial de aprendizaje en alumnos, diferenciando entre un test de conocimientos y uno de potencial.

• Los profesores fueron informados sobre qué estudiantes tenían mayor potencial, lo que afectó sus percepciones y expectativas hacia esos alumnos.

Resultados del Estudio

• Al final del curso, se realizó un nuevo test para evaluar el crecimiento en el potencial de aprendizaje. Los estudiantes seleccionados mostraron mejoras significativas.

• A pesar de que algunos estudiantes inicialmente no parecían ser los más capaces, demostraron un notable crecimiento académico gracias a las expectativas positivas depositadas en ellos.

Importancia de la Creencia Real

• La creencia genuina en las capacidades de los estudiantes es crucial; simular confianza no produce resultados positivos.

• Este fenómeno está relacionado con el efecto placebo: si los educadores creen realmente en el potencial del alumno, este tiende a mejorar.

Uso Ético de la IA en Educación

• Se plantea la cuestión sobre cómo utilizar inteligencia artificial (IA) para perfilar a los alumnos sin caer en sesgos o profecías autocumplidas negativas.

• Es importante verificar si las evaluaciones realizadas por IA son precisas antes de confiar plenamente en ellas para adaptar la enseñanza.

Responsabilidad al Usar IA

• Cuando una IA identifica problemas educativos, existe el riesgo de que se genere una profecía autocumplida negativa si se asume que un estudiante tiene dificultades basándose solo en datos.

• La responsabilidad recae sobre quienes utilizan la IA; deben ser conscientes del impacto que sus creencias pueden tener sobre los estudiantes.

¿Cómo se valora éticamente el uso de la IA en educación?

Principios Éticos en el Uso de la IA

• La normativa establece criterios restrictivos que deben cumplirse antes de realizar una valoración ética del uso de la inteligencia artificial (IA).

• La ética no reside en el objeto o servicio de IA, sino en cómo se utiliza; es fundamental evaluar su uso dentro del contexto educativo.

• La valoración ética debe ser específica, explícita y demostrable, lo que implica que los docentes deben justificar sus decisiones sobre el uso de la IA.

Principios Generales de Intervención Educativa

• El primer principio es la beneficencia: maximizar beneficios y minimizar daños a las personas involucradas.

• Se debe cumplir con el principio de no maleficencia, evitando causar daño a otros; este es un principio clásico en intervenciones sociales y educativas.

• Es esencial respetar la autonomía de todos los involucrados, incluidos docentes y alumnos.

Justicia y Transparencia

• El uso debe ser justo y equitativo para todos los estudiantes, evitando desigualdades en su aplicación.

• La transparencia es crucial; las decisiones tomadas con IA deben ser claras y accesibles para todos los usuarios implicados.

Responsabilidad en el Uso de IA

• Los educadores deben asumir responsabilidad por las decisiones tomadas al utilizar herramientas de IA, reconociendo las consecuencias derivadas.

Directrices Éticas Europeas sobre IA

• Se anticipa una nueva edición del documento sobre directrices éticas para 2026, adaptándose a cambios recientes como el auge del uso masivo de IAs generativas.

• Aunque los principios generales permanecerán estables, se espera que sean más específicos e ilustrativos respecto a ejemplos prácticos relacionados con la IA generativa.

Reflexiones Finales sobre Valoración Ética

• La valoración ética debería aplicarse no solo a la IA sino también a otras tecnologías educativas; esto forma parte integral del ejercicio docente responsable.

Importancia de la Explicabilidad

• Es vital poder explicar cómo se toman las decisiones basadas en resultados obtenidos mediante sistemas de IA; esto evita caer en "cajas negras".

Inclusión y Accesibilidad

• Debe garantizarse diversidad y equidad, prestando especial atención al alumnado vulnerable para prevenir sesgos injustos.

Reflexiones sobre Sostenibilidad y Privacidad en la Educación

Importancia de la Sostenibilidad

• Se realizan actividades diurnas por su diversión, pero a menudo no se considera el impacto ambiental que generan, como el gasto de agua y energía. La sostenibilidad es clave para evaluar estas decisiones.

• La privacidad y gobernanza de datos son cuestiones éticas y legales, destacando la importancia del RGPD en la protección de los datos personales del alumnado.

Seguridad de los Datos en Centros Educativos

• Los centros educativos deben cumplir con el esquema nacional de seguridad debido a su conexión a redes públicas, donde los datos sensibles son vulnerables a ataques cibernéticos.

• Es crucial que los sistemas utilizados sean robustos y cumplan con las exigencias del esquema nacional de seguridad para proteger información sensible contra hackers.

Resiliencia ante Ataques Cibernéticos

• Los centros educativos enfrentan ataques cibernéticos constantes; aunque muchos son repelidos, algunos logran infiltrarse sin causar daño significativo.

• La precisión y fiabilidad de los datos son esenciales; tanto los datos falsos como imprecisos pueden tener consecuencias negativas.

Rendición de Cuentas en el Uso de IA

• Es fundamental que cualquier sistema utilizado sea auditable y minimice efectos negativos. Las decisiones sobre sistemas de IA deben ser transparentes y responsables.

• El primer filtro al tomar decisiones debe ser la normativa: ¿cumple con todos sus puntos? No se puede ignorar ningún artículo relevante.

Evaluación Ética y Pertinencia

• Después de verificar el cumplimiento normativo, se debe realizar una valoración ética. Si un sistema no es necesario o pertinente, su uso debe reconsiderarse.

• A menudo se decide usar tecnología sin una evaluación crítica previa; es importante evitar sesgos que lleven a justificar decisiones ya tomadas.

Este resumen proporciona una visión clara sobre la intersección entre sostenibilidad, privacidad, seguridad cibernética y ética en el contexto educativo actual.