Tech Talks EP28: Update on Our Safety Initiatives

Actualizaciones sobre Seguridad y Conexiones en Roblox

Introducción a las Nuevas Funciones

• Dave Bazooki presenta el episodio, destacando la reciente implementación de herramientas como la estimación de edad facial y conexiones confiables.

• Se menciona que se ofrecerá una actualización en tiempo real sobre el lanzamiento de estas funciones y su impacto en la plataforma.

Estimación de Edad Facial

• Matt Kaufman explica que la función de "conexiones confiables" permite a los usuarios mayores de 13 años tener conversaciones más auténticas mediante un proceso de estimación de edad facial.

• La estimación facial implica tomar una foto del usuario para determinar su edad, asegurando que solo los usuarios adecuados accedan a ciertas funciones.

Conversaciones Auténticas y Contexto

• Se discute cómo permitir interacciones más libres entre amigos reales, como llamar a alguien "butthead", es apropiado si ambos son conscientes del contexto.

• Eliza Jacobs aclara que el objetivo es mantener un entorno seguro mientras se permite la comunicación adecuada para el desarrollo infantil.

Herramientas Contextuales para Seguridad

• Se enfatiza que no se permitirá que niños menores de 11 años usen términos potencialmente ofensivos, pero se busca fomentar interacciones seguras dentro del juego.

• La plataforma filtra texto y voz para prevenir daños críticos, promoviendo así la permanencia en Roblox en lugar de irse a otras plataformas.

Cambios en las Conexiones Sociales

• Se introduce el concepto de "conexiones confiables" como una evolución del término "amigos", buscando reflejar relaciones más significativas entre los usuarios.

¿Cómo abordar temas sensibles en plataformas para jóvenes?

Visión sobre relaciones y comunidad

• Se discute la importancia de tener una visión más amplia sobre las relaciones entre los usuarios, reconociendo que pueden ser asociados comerciales, familiares o amigos.

• La comunidad es apasionada y se agradece su comprensión en el proceso de desarrollo de la plataforma.

Temas sensibles y control parental

• Se menciona que el lanzamiento busca dar a los padres más visibilidad y opciones sobre lo que sus hijos menores están experimentando en la plataforma.

• Existen temas muy sensibles donde las familias pueden tener opiniones diversas; por ello, no se puede garantizar un manejo apropiado del contenido sensible en la plataforma.

• Los controles parentales permiten a los padres decidir si habilitar el acceso a juegos con temáticas delicadas, comenzando desde una posición restrictiva para menores de 13 años.

Estrategia de comunicación entre padres e hijos

• Se enfatiza que Roblox no toma una postura sobre estos temas, sino que busca empoderar a los padres para tomar decisiones informadas.

• La estrategia implica que los niños deben consultar a sus padres para acceder a ciertos contenidos, promoviendo así conversaciones educativas entre ellos.

Interacción con legisladores

• Se destaca la participación activa en diálogos con senadores y legisladores sobre cómo mantener seguros a los jóvenes en redes sociales.

• Se apoya el Código de Diseño Apropiado por Edad de California y COPA 2.0 como parte del compromiso hacia la seguridad infantil.

Comparación con otras plataformas sociales

• Se analiza cómo muchas plataformas fueron diseñadas inicialmente para adultos, enfrentándose luego al desafío de adaptar restricciones para audiencias más jóvenes.

• Roblox fue creado desde un principio considerando a niños y jóvenes, lo cual influye en todas las medidas de seguridad implementadas.

Comunicación filtrada y protección contra riesgos

• En Roblox, solo se permite comunicación sin filtros mediante un proceso específico; además, no se permite compartir imágenes o videos en chats privados.

Compartición de Imágenes y Seguridad en Roblox

Políticas sobre la compartición de imágenes

• En Roblox, no se permite la compartición de imágenes fuera del contexto de conexiones confiables. Se es muy estricto con el intercambio de información personal (PII) para mantener a los usuarios en escenarios seguros.

Legislación sobre Deepfakes

• Se menciona el "Take It Down Act" apoyado por senadores como Cruz y Clolobachure, que aborda las preocupaciones sobre deepfakes y fotos comprometedoras, destacando la necesidad de una respuesta legislativa bipartidista.

Vigilancia y Moderación en Roblox

• La conversación gira en torno a cómo ha evolucionado el vigilantismo dentro de Roblox, enfatizando que tanto dentro como fuera de la plataforma hay personas con buenas intenciones que buscan proteger a la comunidad.

Grupos Vigilantes y sus Acciones

• Algunos grupos vigilantes comenzaron reportando problemas pero luego violaron políticas al crear cuentas falsas para interactuar con otros usuarios, buscando adultos bajo pretextos engañosos.

Problemas con el Comportamiento Engañoso

Desafíos en la Verificación de Evidencias en Plataformas Digitales

Complejidad de la Verificación de Evidencias

• La evidencia recopilada, especialmente la evidencia en video, es difícil de verificar, lo que complica el trabajo de las fuerzas del orden.

• Es importante armar a las fuerzas del orden con la información necesaria para realizar su trabajo, ya que hay mucho más detrás de lo que se ve en redes sociales.

Importancia de la Verificación Independiente

• Se reciben informes sobre actividades en otras plataformas sociales, pero es crucial verificar independientemente antes de actuar.

• Aunque se puede verificar actividad dentro de Roblox, las interacciones en otras plataformas pueden no violar sus normas y son comunicaciones privadas.

Riesgos Asociados a Actuar Sin Verificación

• Actuar basándose solo en evidencias presentadas por usuarios puede ser riesgoso debido a la posibilidad de contenido generado artificialmente.

• Los miembros populares dentro de la comunidad pueden convertirse en objetivos si se actúa sin una verificación adecuada.

Protección a Víctimas y Responsabilidad

• Es fundamental ser conscientes sobre los posibles daños a las víctimas y evitar compartir su información sin consentimiento.

• Se debe permitir que las fuerzas del orden realicen investigaciones completas antes de tomar decisiones o acciones públicas.

Enfoque Proactivo y Reflexivo

• La plataforma está constantemente trabajando para mejorar su seguridad y políticas contra comportamientos vigilantes.

• Con más de 100 millones de usuarios diarios y miles de millones de mensajes compartidos, es esencial tener sistemas robustos para monitorear actividades.

Estrategia ante Comportamientos Vigilantes

• Se adoptó un enfoque cauteloso al observar comportamientos vigilantes para entender mejor el contexto antes de actuar.

• La vigilancia se realizó sobre múltiples cuentas involucradas para identificar patrones y conexiones entre ellas.

Revisión Continua y Adaptación

• La recolección interna de evidencia sobre violaciones políticas es clave antes de implementar cambios o acciones.

• Un enfoque cuidadoso permite tomar decisiones informadas basadas en pruebas sólidas.

Desafíos del Trabajo Defensivo

Actualización de Políticas sobre Espacios Íntimos en Juegos

Escucha a la Comunidad

• Se está actualizando la política sobre juegos que contienen espacios íntimos, como dormitorios y baños, para entender su uso adecuado.

• Se está formando un consejo de seguridad comunitaria para recopilar información de miembros interesados sobre preocupaciones y tendencias en la plataforma.

Colaboración con la Industria

• La mayoría de los problemas críticos en plataformas involucran no solo Roblox, sino también otras redes sociales y plataformas de mensajería.

• Se están tomando medidas proactivas para abordar estos problemas mediante asociaciones con agencias de aplicación de la ley y grupos asesores.

Iniciativas Proactivas para Mejorar la Seguridad

Inversiones en Tecnología

• Se están invirtiendo recursos en tecnología clave, como modelos de moderación de voz y detección de grooming.

• El objetivo es establecer estándares claros para una comunicación segura tanto para niños como adolescentes.

Moderación Justa

• La moderación debe ser justa; no se deben penalizar a los desarrolladores por el comportamiento inapropiado de los usuarios.

• Se implementará un sistema llamado "detección de escenas malas" para moderar comportamientos inadecuados en tiempo real.

Desafíos en la Moderación del Contenido

Colaboración con Desarrolladores

• Si se detecta un comportamiento negativo persistente, se contactará al desarrollador del juego para realizar ajustes necesarios.

• La intención es trabajar junto a los desarrolladores antes de tomar acciones drásticas contra sus juegos.

Detección Proactiva

• Se busca detectar contenido inapropiado o abusivo en tiempo real dentro del juego, más allá del cumplimiento básico.

Moderación y Detección de Comportamientos en Roblox

Desafíos en la Moderación de Contenido

• La moderación de usuarios y contenido es compleja, ya que a menudo es difícil identificar qué usuario es responsable de comportamientos problemáticos dentro de un grupo grande.

• Se está invirtiendo en la detección de "bad scenes", donde se opta por cerrar servidores enteros en lugar de identificar a un solo infractor, para abordar problemas proactivamente.

Estrategias para Mejorar la Seguridad

• Se utilizan capturas de pantalla, informes de abuso y análisis en tiempo real para evaluar el comportamiento dentro del juego.

• Los usuarios pueden reportar contenido violativo a través del programa "trusted flagger", que permite una revisión acelerada por parte del equipo de moderación.

Importancia del Reporte Comunitario

• Los usuarios tienen la capacidad de señalar cualquier comportamiento inapropiado, lo cual es crucial para mantener un entorno seguro; se les anima a proporcionar información detallada al hacer un reporte.

• Existe un proceso de apelación para los casos donde se considere que ha habido un error en las decisiones tomadas por el equipo moderador.

Uso de Inteligencia Artificial

• Aunque solo una pequeña parte de los problemas son señalados por los usuarios, estos datos ayudan a entrenar modelos automáticos que mejoran la detección y respuesta ante comportamientos inapropiados.

• La implementación de "nudges" (empujones suaves), como silenciar temporalmente a los infractores, ha demostrado reducir la toxicidad general en los servidores.

Expansión del Programa Trusted Flagger

• Se busca expandir el programa "trusted flagger" para incluir más expertos y mejorar la calidad del reporte recibido; esto incluye considerar señales provenientes de miembros con buena reputación dentro de la comunidad.

¿Cómo se gestionan los sistemas de seguridad en plataformas de video?

Moderación de contenido y estándares

• Se menciona la ironía de que el contenido problemático a menudo se comparte en redes sociales sin moderación, mientras que la plataforma tiene altos estándares para lo que considera aceptable.

• La empresa se destaca por su enfoque restrictivo hacia el contenido inapropiado, con equipos dedicados a evaluar y mejorar sus sistemas automatizados de revisión.

Innovaciones en moderación de voz

• Se discute un desafío inicial al lanzar la comunicación por voz, donde los números no coincidían y había preocupaciones sobre la escalabilidad del sistema.

• El equipo de IA desarrolló un filtro de voz innovador tras semanas de trabajo intensivo, permitiendo una moderación más efectiva en tiempo real.

Modelo de filtrado y su impacto

• El modelo permite medir si las comunicaciones por voz cumplen con las políticas establecidas, mejorando así la experiencia del usuario.

• Este modelo ha sido descargado más de 40,000 veces y ha sido adoptado por otras empresas para mantener la seguridad en sus plataformas.

Nuevas tecnologías y generación automática

• Se aborda cómo gestionar experiencias interactivas generadas automáticamente, como conversaciones con personajes virtuales o creación de objetos dentro del juego.

• Se introduce Roblox Guard como parte del esfuerzo para manejar comportamientos inadecuados derivados del uso creativo e inesperado de modelos AI.

Comportamiento a largo plazo y detección

• Se presenta Roblox Sentinel, un modelo diseñado para identificar patrones conductuales que pueden resultar en violaciones a largo plazo.

Nuevas Tecnologías para Identificar Comportamientos Inapropiados

Enfoque de Investigación y Detección

• Se ha implementado un enfoque que permite identificar actores maliciosos basándose en comportamientos iniciales, lo que ha demostrado ser efectivo.

• Este método ayuda a los equipos de inteligencia a localizar violadores de políticas y eliminarlos de la plataforma, destacando su importancia en la seguridad del entorno digital.

Innovaciones Abiertas

• La tecnología utilizada, incluyendo el modelo de voz y otros sistemas como el "cube model" y el "voice safety classifier", se ha abierto al público para que otras empresas puedan beneficiarse.

Control de Contenidos Generados por Usuarios

• Se discute cómo gestionar el acceso a generación de texto y 3D, considerando las posibles intenciones maliciosas de los usuarios.

• Desde una perspectiva política, se identifican tres pilares: la política del prompt, la política del output y la combinación de ambas. Esto implica un trabajo colaborativo con equipos dedicados a etiquetar datos e integrar políticas en modelos.

Reflexiones Finales sobre Seguridad en Redes Sociales