Whitepaper Companion Podcast - Foundational LLMs & Text Generation

Introducción a los Modelos de Lenguaje

Contexto y Objetivo

• Bienvenida a la discusión sobre modelos de lenguaje grandes (LLMs) y su impacto en la creación de texto, desde la programación hasta la narración.

• El objetivo es desglosar cómo funcionan estos LLMs, su evolución, aprendizaje y métodos para medir su eficacia.

Arquitectura Transformer

• La base de muchos LLM modernos es la arquitectura Transformer, originada en un proyecto de Google para traducción de idiomas en 2017.

• Los Transformers utilizan un codificador y un decodificador: el codificador crea una representación del significado del texto, mientras que el decodificador genera la salida en otro idioma.

Funcionamiento Interno del Transformer

Preparación del Texto

• El texto se convierte en tokens según un vocabulario específico; cada token se transforma en un vector denso llamado embedding que captura su significado.

• Se añade información sobre el orden de los tokens mediante codificación posicional, lo cual es crucial para mantener la estructura del texto.

Atención Multi-Cabeza

• La atención multi-cabeza permite al modelo identificar relaciones entre palabras. Utiliza vectores de consulta (query), clave (key) y valor (value).

• Cada palabra tiene una consulta que busca otras palabras relevantes; las claves actúan como etiquetas y los valores contienen información esencial.

Cálculo y Representación

Proceso Paralelo

• El modelo calcula puntuaciones para determinar cuánta atención debe prestarse a cada palabra utilizando matrices para las consultas, claves y valores.

• Este procesamiento paralelo permite capturar significados sutiles que modelos anteriores no podían manejar eficazmente.

Importancia de Múltiples Cabezas

• Las múltiples cabezas permiten al modelo enfocarse en diferentes tipos de relaciones lingüísticas, mejorando así su comprensión general del texto.

Normalización y Conexiones Residuales

Mantenimiento del Entrenamiento

• La normalización por capas ayuda a estabilizar las activaciones durante el entrenamiento, acelerando el proceso y mejorando resultados finales.

• Las conexiones residuales permiten que la entrada original salte capas intermedias, ayudando al modelo a recordar aprendizajes previos incluso tras muchas capas.

¿Cómo han evolucionado los modelos de lenguaje?

Transformaciones lineales y funciones de activación

• Los modelos suelen tener dos transformaciones lineales con una función de activación no lineal entre ellas, como ReLU o GELU, lo que potencia su capacidad para representar información y aprender funciones complejas del input.

Arquitectura solo decodificadora

• La ventaja de usar solo un decodificador radica en la generación de texto, donde no siempre se necesita la parte del codificador. Los modelos solo decodificadores generan directamente el output token por token.

Atención enmascarada

• Utilizan un tipo especial de auto-atención llamada atención enmascarada, que permite al modelo predecir el siguiente token basándose únicamente en los tokens anteriores, imitando así el proceso humano de escritura y conversación.

Mezcla de expertos (MoE)

• La MoE es una estrategia para hacer que los modelos sean más grandes sin volverse lentos. Consiste en submodelos especializados que son activados según la entrada específica mediante una red de control.

Evolución histórica de los LLMs

• El Transformer fue el inicio, pero GPT-1 (2018) marcó un punto crucial al ser un modelo solo decodificador entrenado sin supervisión sobre un gran conjunto de datos llamado "books corpus".

Limitaciones y avances posteriores

Limitaciones del GPT-1

• Aunque GPT-1 fue innovador, tenía limitaciones como la repetición excesiva y dificultades en conversaciones largas.

Introducción a BERT

• En 2018, Google lanzó BERT, un modelo solo codificador enfocado en entender el lenguaje a través tareas como modelado del lenguaje enmascarado y predicción de la siguiente oración.

Avances con GPT-2

• En 2019, OpenAI presentó GPT-2, escalando el modelo anterior con más datos y parámetros. Esto mejoró la coherencia y permitió aprender nuevas tareas sin entrenamiento específico (aprendizaje cero disparo).

Desarrollo continuo hacia modelos avanzados

Evolución hacia GPT-3

• A partir de 2020 surgió la familia GPT-3 con hasta 175 mil millones de parámetros. Mejoró significativamente el aprendizaje a partir de pocos ejemplos (aprendizaje uno disparo).

Modelos instruccionales

• Se introdujeron modelos ajustados por instrucciones como InstructGPT, diseñados específicamente para seguir instrucciones escritas en lenguaje natural.

Innovaciones recientes: Lambda y Gopher

• Lambda (2021), diseñado para conversaciones naturales; Gopher (DeepMind), otro modelo solo decodificador centrado en datos de alta calidad pero limitado en razonamiento complejo.

Retos actuales y enfoques innovadores

Eficiencia con Jam

• Jam utilizó la idea de mezcla de expertos para mejorar la eficiencia operativa al lograr rendimiento similar o superior a modelos densos como GPT-3 utilizando menos recursos computacionales.

Desafíos con Chinchilla

• Chinchilla (2022), también desarrollado por DeepMind, cuestionó las leyes tradicionales sobre escalabilidad al sugerir que se debe entrenar con conjuntos mucho más grandes respecto al número total de parámetros.

¿Cómo han evolucionado los modelos de IA generativa?

Avances en Modelos de IA

• Se destaca que un modelo con 70 mil millones de parámetros superó a modelos más grandes debido a su entrenamiento con una gran cantidad de datos, cambiando la percepción sobre la escalabilidad.

• Google lanzó Palm y Palm 2; el primero tuvo un rendimiento impresionante en benchmarks gracias al sistema Pathway, mientras que Palm 2, lanzado en 2023, mejoró aún más en razonamiento y codificación.

• Gemini es la nueva familia de modelos multimodales de Google, diseñada para manejar texto, imágenes, audio y video. Se optimizó para funcionar rápidamente en unidades de procesamiento tensorial (TPUs).

• Los modelos Gemini vienen en diferentes tamaños (Ultra Pro, Nano y Flash), siendo el Gemini 1.5 Pro notable por su capacidad para manejar millones de tokens.

Comunidad Open Source

• La comunidad LLM open source está creciendo rápidamente; Google presentó Gemma y Gemma 2 en 2024 como modelos ligeros pero potentes basados en la investigación de Gemini.

• La familia Meta Llama ha sido influyente desde Llama 1 hasta Llama 3, mejorando áreas como razonamiento y seguridad. Llama 3.2 incluye modelos multilingües y visuales.

• Mistal AI introdujo Mixol, que utiliza una mezcla dispersa de expertos; es eficaz en matemáticas y tareas multilingües. Muchos modelos son open source.

Técnicas de Entrenamiento

• El entrenamiento de los LLM generalmente implica dos pasos: pre-entrenamiento con grandes volúmenes de datos sin etiquetas para aprender patrones básicos del lenguaje.

• El pre-entrenamiento es intensivo en recursos; se compara con dar al modelo una educación general sobre el lenguaje antes del ajuste fino específico.

• El ajuste fino especializa al modelo entrenándolo con conjuntos de datos más pequeños específicos para tareas como traducción o redacción creativa.

Métodos Específicos

• El ajuste fino supervisado (SFT) utiliza ejemplos etiquetados donde se presentan preguntas junto a respuestas correctas para enseñar al modelo cómo comportarse adecuadamente.

• Aprendizaje por refuerzo a partir del feedback humano (RHF): enseña al modelo a generar respuestas útiles y seguras mediante un modelo de recompensa basado en preferencias humanas.

• Se utilizan evaluadores humanos para clasificar respuestas generadas por el LLM; esto ayuda a ajustar el comportamiento del modelo hacia lo que los humanos prefieren.

Optimización de Modelos de Lenguaje

Proceso de Alineación y Ajuste Fino

• La optimización del DPO busca mejorar el proceso de alineación en modelos, destacando la importancia del input humano para hacer estos modelos más humanizados.

• El ajuste fino completo de modelos masivos es costoso; se han desarrollado técnicas como el ajuste fino eficiente en parámetros (PFT), que permite entrenar solo una pequeña parte del modelo.

Técnicas de Ajuste Fino Eficiente

• Un método popular es el ajuste fino basado en adaptadores, donde se añaden módulos pequeños al modelo y solo se entrenan los parámetros dentro de esos adaptadores.

• Otra técnica es la adaptación de rango bajo (LoRA), que utiliza matrices de rango bajo para aproximar cambios sin modificar todos los pesos originales.

• También existe Cura, que mejora la eficiencia utilizando pesos cuantificados, y el prompting suave, que añade un vector pequeño a la entrada para ayudar al modelo sin cambiar sus pesos originales.

Ingeniería de Prompts

• La ingeniería de prompts es esencial para utilizar efectivamente un modelo ajustado; consiste en diseñar entradas que generen las salidas deseadas.

• Existen técnicas comunes como el "zero shot prompting", donde se da una instrucción directa sin ejemplos, y "few shot prompting", que incluye algunos ejemplos para guiar al modelo.

• Para tareas complejas, el "Chain of Thought prompting" ayuda a descomponer problemas en pasos manejables.

Técnicas de Muestreo

• Las técnicas de muestreo afectan significativamente la calidad y creatividad del texto generado. El muestreo codicioso selecciona siempre el token más probable pero puede resultar repetitivo.

• El muestreo aleatorio introduce más variabilidad, lo cual puede generar resultados creativos pero también incoherentes.

• Otras técnicas incluyen muestreo top-k y top-p (nucleus sampling), que limitan las opciones basándose en probabilidades dinámicas.

Evaluación del Rendimiento del Modelo

• Evaluar modelos LLM no es sencillo; no hay respuestas correctas o incorrectas claras debido a la naturaleza subjetiva del texto generado.

• Se necesita un marco multifacético para evaluación: datos específicos reflejando interacciones reales y definiciones claras sobre qué significa "bueno" según cada caso específico.

• Aunque se utilizan métodos cuantitativos tradicionales como BLEU o ROUGE, estas métricas pueden no capturar matices importantes; por eso la evaluación humana sigue siendo crucial.

¿Cómo optimizar la evaluación de modelos generativos?

Introducción a los aeradores y su calibración

• Se discute el uso de modelos aeradores para evaluar criterios de respuesta, donde el modelo proporciona una puntuación y justificación.

• Es crucial calibrar estos modelos comparando sus juicios con los humanos para asegurar que miden lo que se desea.

• La evaluación es compleja pero esencial para garantizar la fiabilidad y utilidad de los modelos en aplicaciones del mundo real.

Técnicas para acelerar el proceso de inferencia

Optimización del rendimiento

• A medida que los modelos crecen, también lo hacen su lentitud y costo; por ello, optimizar la inferencia es vital.

• Se deben equilibrar calidad, velocidad y costo; a veces se sacrifica precisión por rapidez.

Métodos de aproximación y preservación de salida

• Los métodos se dividen en dos grupos: aproximación (modificando ligeramente la salida) y preservación (manteniendo la salida igual).

Métodos de aproximación

• La cuantización reduce la precisión numérica, utilizando enteros más pequeños para ahorrar memoria sin perder mucha exactitud.

• La destilación entrena un modelo más pequeño para imitar uno grande, logrando eficiencia sin sacrificar mucho rendimiento.

Métodos de preservación

• Flash attention optimiza cálculos dentro del Transformer sin cambiar resultados; mejora el movimiento de datos durante cálculos.

• El caching prefijo ahorra tiempo al recordar resultados previos en conversaciones, evitando recalcular partes repetidas.

Decodificación especulativa y técnicas generales

Estrategias avanzadas

• La decodificación especulativa utiliza un modelo más rápido para predecir tokens futuros, acelerando así el proceso si las predicciones son correctas.

Optimización general

• Técnicas como batching (procesar múltiples solicitudes simultáneamente) y paralelización (dividir computaciones entre procesadores), mejoran la eficiencia global.

Aplicaciones prácticas actuales

Uso en diversas áreas

• Los LLM están revolucionando áreas como generación de código, traducción automática y resumen textual.

• Proyectos como Alpha code 2 destacan en competiciones programáticas mientras que otros ayudan a matemáticos a realizar nuevos descubrimientos.

Avances en Modelos de Lenguaje y sus Aplicaciones

Transformación de la Conversación y Creación de Contenido

• Los chatbots, como RX, están evolucionando para ser más humanos en sus conversaciones, permitiendo diálogos más dinámicos e interesantes.

• La creación de contenido se está transformando con el uso de modelos de lenguaje (LLMs) para escribir anuncios, guiones y otros formatos creativos.

Mejora en la Clasificación y Análisis del Texto

• La clasificación de texto se vuelve más precisa, lo que es útil para detectar spam, categorizar noticias y entender comentarios de clientes.

• Los LLMs también se utilizan para evaluar otros LLMs, actuando como evaluadores en el análisis textual.

Capacidades Multimodales y Nuevas Aplicaciones

• Los LLMs multimodales permiten la combinación de texto, imágenes, audio y video, abriendo nuevas categorías de aplicaciones.

• Se están utilizando en diversas áreas como creación de contenido creativo, educación, tecnologías asistivas e investigación científica.

Reflexiones sobre el Progreso y Futuro

• Se ha realizado un profundo análisis sobre los bloques básicos de la arquitectura Transformer y la evolución de diferentes modelos LLM.

• El progreso ha sido notable en un corto período; las innovaciones continúan acelerándose.

Desafíos Futuros

• Se plantea una pregunta sobre qué nuevas aplicaciones serán posibles con la próxima generación de LLMs y qué desafíos deben superarse para hacer realidad esas aplicaciones.