Los HÉROES Olvidados de la INTELIGENCIA ARTIFICIAL

Transformadores: La Revolución de la Inteligencia Artificial

Introducción a los verdaderos transformadores

• Se presentan ocho científicos que han revolucionado el mundo real con su trabajo en inteligencia artificial, destacando que son los "verdaderos transformers".

• En 2017, se lanzan dispositivos capaces de entender la voz humana, pero la IA generativa está estancada y no avanza con los métodos existentes.

Contexto del avance tecnológico

• Los traductores automáticos ofrecen resultados insatisfactorios y asistentes como Alexa o Siri solo responden a comandos pre-programados.

• Ocho investigadores anónimos llegan a Google desde diferentes países para trabajar en una idea innovadora que cambiará el panorama de la IA.

La fórmula del transformador

• Su invención se documenta en un documento de 15 folios que contiene la fórmula del "transformador", esencial para imitar y eventualmente superar la inteligencia humana.

• Sin esta fórmula, tecnologías actuales como chatGPT o avances en robótica no existirían ni tendrían el mismo impacto económico.

Biografía personal de los protagonistas

• El narrador comparte su interés por las biografías personales, influenciado por historias familiares, lo que le lleva a asociarse con MyHeritage.com para explorar sus raíces familiares.

Avances en inteligencia artificial (IA)

• En 2017, se experimenta con asistentes virtuales como Alexa; sin embargo, estos aún no cumplen con las expectativas prometidas sobre IA omnisciente.

La Evolución de la Inteligencia Artificial en Google

Progreso Lento y Limitaciones Iniciales

• En 2017, Google aplicaba el aprendizaje automático a diversas áreas, pero el avance era lento debido a las limitaciones de los algoritmos que no podían entender el lenguaje humano más allá de frases cortas y sin ambigüedades.

• Rumores sobre China emergían, sugiriendo que estaban posicionándose para dominar la inteligencia artificial gracias a su gran cantidad de datos y regulaciones laxas en privacidad.

Contexto Histórico y Nuevas Perspectivas

• A pesar del asombro por los nuevos algoritmos, estos eran productos muy nichos y científicos, con aplicaciones limitadas.

• Jakob Uzkoreit, un investigador alemán en Google, recibe el encargo de mejorar la comprensión del asistente de voz y Google Translate, enfrentándose a limitaciones insalvables.

Historia Personal: De Hans a Jakob Uzkoreit

• Para entender a Jakob, es necesario conocer a su padre Hans Uzkoreit, un experto en computación lingüística que había vivido experiencias significativas durante la Alemania Democrática.

• Aunque Jakob inicialmente evita dedicarse al lenguaje por el legado paterno, descubre que los problemas más interesantes en IA están relacionados con este campo.

Frustraciones con Asistentes Virtuales

• A pesar del trabajo en Google Translate y Google Assistant, las traducciones eran mediocres y la interacción con asistentes como Alexa o Siri resultaba limitada debido a su naturaleza determinista.

Colaboración Innovadora

• La solución comienza cuando Ilia Poloshukhin se une al equipo; él estudia cómo mejorar las preguntas directas al buscador.

El equipo detrás de la innovación en IA

La formación del equipo

• Ilya y Jacob unen fuerzas para desarrollar una tecnología que permita a las máquinas entender textos complejos, no solo palabras sueltas. Para ello, necesitan un equipo talentoso y tecnología avanzada.

• Ashish Waswani se une al proyecto; es un prodigio indio que completó sus estudios en computación y matemáticas a los 16 años y se trasladó a California para investigar sobre traducción automática.

• Nikki Parmar, la única mujer del equipo, enfrenta numerosos obstáculos en su camino hacia la inteligencia artificial. A pesar de las dificultades económicas, logra estudiar en la USC gracias al apoyo de su madre y un profesor.

• Lukazs Keiser completa el grupo; lleva trabajando en Google desde 2013 y aporta experiencia al equipo.

• Aidan Gómez, un joven becario de 21 años con ideas innovadoras, se une al proyecto sin tener doctorado, lo que es inusual para el equipo de Google Research.

Desafíos personales y profesionales

• Illion Jones también se suma al grupo; tras enfrentar el desempleo después de graduarse, finalmente acepta una oferta de trabajo en Google después de varias entrevistas.

• Cada miembro del equipo ha superado grandes obstáculos personales: desde problemas financieros hasta dudas sobre trabajar en grandes corporaciones como Google.

• El camino hacia el éxito está lleno de desafíos; estos individuos han tenido que luchar contra adversidades significativas antes de llegar a formar parte del proyecto innovador.

Escepticismo frente a la innovación

• El principal obstáculo que enfrentan no es otro competidor sino el escepticismo interno dentro de Google respecto a su idea revolucionaria.

• Matt Kelly expresa su desconfianza ante el interés de Illion por unirse al proyecto, sugiriendo que podría estar perdiendo el tiempo con una idea poco viable.

• Hans Uzkoreit también duda del potencial del enfoque propuesto por Jakob y Ilia sobre atención global simultánea por parte de computadoras.

¿Cómo evolucionó la Inteligencia Artificial en 2017?

Métodos tradicionales y el estancamiento de la IA

• En 2017, había un consenso en la comunidad científica sobre el estancamiento de la inteligencia artificial y se buscaban métodos para superarlo.

• Las redes neuronales recurrentes (RNN) eran consideradas innovadoras, capaces de relacionar palabras en frases, pero tenían limitaciones con textos largos.

Limitaciones de las RNN

• Las RNN enfrentaban problemas al perder el contexto en textos extensos, similar a ver una película solo a través de fotogramas aislados.

• Se introdujo LSTM (Long Short Term Memory), que mejoraba la memoria temporal, pero aún era insuficiente para procesar lenguaje humano como lo haría un adulto.

La llegada del Transformer

• Los investigadores propusieron un nuevo modelo llamado "transformer", diseñado para procesar bloques de texto simultáneamente, imitando técnicas avanzadas de lectura.

• Este modelo transformaría el texto original en dos pasos: capturando todo el contenido y generando una nueva versión con un mapa de vectores interconectados.

Resultados sorprendentes

• Cuanto más grande era el conjunto de datos utilizado para entrenar la IA, más matices podía comprender. Esto llevó a probar su eficacia mediante traducción automática entre inglés y alemán.

• Se utilizaron dos modelos: uno básico con doce horas de entrenamiento y otro avanzado con tres días y medio; los resultados mostraron que ambos superaban las traducciones humanas.

Presentación del proyecto

• El equipo decidió presentar su tecnología en una conferencia importante sobre inteligencia artificial, estableciendo un plazo concreto que impulsó su trabajo.

• La teoría de Parkinson se menciona aquí: tener plazos específicos puede aumentar la productividad y enfoque del equipo hacia objetivos concretos.

Necesidad de colaboración experta

• Para llevar su idea a otro nivel, necesitaban ayuda experta que pudiera integrar diferentes tipos de datos (texto, imágenes, música).

¿Quién es Noam Shazeer y su impacto en la inteligencia artificial?

Introducción a Noam Shazeer

• Noam Shazeer, a sus 42 años, es una figura legendaria en Google, conocido por desarrollar el sistema de corrección "quizá querías decir".

• En 2015, intentó crear un modelo similar a chatGPT utilizando una supercomputadora para abordar problemas de conocimiento con inteligencia artificial.

La evolución del Transformer

• Al escuchar sobre los logros de otros jóvenes científicos, se une al equipo para facilitar el trabajo en inteligencia artificial.

• El equipo se muda al edificio 1965 y comienza a desarrollar varias versiones del Transformer, cada vez más eficientes y con menos líneas de código.

Lecciones sobre trabajo en equipo

• Se destaca la importancia de trabajar con equipos pequeños para lograr resultados significativos sin las limitaciones burocráticas.

• Cada miembro del equipo aporta habilidades únicas que contribuyen al éxito del proyecto.

Proceso de desarrollo y descubrimientos

• Aidan, el más joven del grupo, optimiza el modelo quitando piezas innecesarias; sorprendentemente, esto mejora su rendimiento.

• Justo antes de enviar su documento final al congreso, obtienen resultados impresionantes en pruebas comparativas.

Presentación y recepción del paper

• El título "Attention is All You Need" refleja la esencia del avance logrado por el equipo.

• A pesar de ser un hito revolucionario en IA, la presentación no genera interés inmediato dentro de Google.

Impacto inesperado y futuro prometedor

• Aunque no reciben reconocimiento inicial dentro de Google, su trabajo sienta las bases para futuros desarrollos como Dall-E y Claude.

¿Cómo Google Perdió el Futuro de la IA?

La llegada de los Transformers a Google

• Sam Altman menciona que “nadie en Google entendió el potencial del transformador”, aunque las cosas empezaron a moverse lentamente en 2018 con la aplicación de transformers en Google Translate.

• En 2019, Noam Shazeer desarrolla Meena, un chatbot capaz de dialogar, pero su propuesta para cambiar el modelo de negocio de Google es rechazada.

El dilema del innovador

• Clayton Christensen explica en su libro "El dilema del innovador" cómo las grandes empresas son vulnerables a innovaciones disruptivas al centrarse demasiado en sus productos actuales.

• A pesar de tener el futuro de la inteligencia artificial en sus manos, Google dejó escapar esta oportunidad mientras startups más ágiles exploraban nuevas tecnologías.

El éxodo de talentos

• Mentes brillantes como Noam Shazeer abandonaron Google y fundaron startups exitosas como Character AI, que fue adquirida por Google tras su éxito.

• Otros creadores formaron ADEPT AI y Essential AI, enfocándose en automatización y observación del trabajo humano.

Innovaciones post-Google

• Jakob Uzkoreit creó Inceptive para revolucionar la industria farmacéutica utilizando transformers para diseñar moléculas.

• Ilion Jones fundó Sakana AI, combinando modelos inspirados por la naturaleza que redactan artículos científicos.

Legado y revolución tecnológica

• Aida Gómez lanzó Cohere, valorada en 5.500 millones, creando modelos de IA para empresas; Lukazs Kayser se unió a OpenAI contribuyendo al desarrollo de ChatGPT.

¿Cuál es tu legado familiar?

La importancia de la historia familiar

• La reflexión sobre la historia personal y familiar puede revelar innovadores, revolucionarios y visionarios en nuestro árbol genealógico.

• Se plantea la pregunta sobre qué personas influyentes podrían estar conectadas a nuestra herencia familiar.

• MyHeritage.com se presenta como una herramienta para descubrir el legado personal de cada individuo.

• La conexión entre historias fascinantes y legados perdurables resalta la relevancia de conocer nuestras raíces.