Microsofts New 'ORCA' Takes Everyone By SURPRISE! (Now ANNOUNCED!)

Orca: A Game-Changing Research Paper by Microsoft

Overview: En este video se presenta el nuevo paper de investigación de Microsoft llamado "Orca", que ha sido considerado como uno de los más importantes en la actualidad. El paper explica cómo Orca mejora la capacidad de modelos de lenguaje pequeños a través del aprendizaje por imitación, lo que cambia completamente la forma en que se entrenan estos modelos.

Introducción a Orca

• El paper explica cómo Orca mejora la capacidad de modelos de lenguaje pequeños a través del aprendizaje por imitación.

• Los modelos grandes son muy buenos, pero cuando se construyen modelos más pequeños, tienden a sobreestimar su capacidad al aprender a imitar el estilo pero no el proceso de razonamiento.

• Orca es un modelo que soluciona este problema y cambia completamente la forma en que se entrenan los modelos grandes y pequeños.

Comparación con otros modelos

• Orca supera al modelo Vicuna's 13 billones de parámetros y alcanza una paridad con Chat GPT en BBH Benchmark.

• En exámenes profesionales y académicos como SAT, LSAT y Zero Shot Settings, Orca muestra un rendimiento competitivo.

• En comparación con Vikuno, Orca es un 40% más efectivo con el mismo número de parámetros.

Integrabilidad en dispositivos móviles

• Si bien Chat GPT tiene 175 mil millones de parámetros, si tenemos un modelo más pequeño y efectivo como Orca, se puede integrar en dispositivos móviles.

• Google ha anunciado que hará disponibles modelos de lenguaje grandes incluso sin conexión a internet, lo que significa que estos modelos pueden ser utilizados en dispositivos móviles.

Conclusiones

• Orca es un modelo de lenguaje natural que mejora la capacidad de los modelos pequeños a través del aprendizaje por imitación. Esto cambia completamente la forma en que se entrenan los modelos grandes y pequeños y permite su integración en dispositivos móviles.

Orca: El modelo de lenguaje más grande hasta la fecha

Resumen de la sección: En esta sección, el presentador habla sobre el nuevo modelo de lenguaje llamado Orca, que es el modelo más grande hasta la fecha con 2.7 billones de parámetros. También discute las posibles aplicaciones y limitaciones del modelo.

Tamaño del modelo y posibles aplicaciones

• Orca es el modelo de lenguaje más grande hasta la fecha con 2.7 billones de parámetros.

• La capacidad de ejecutar modelos grandes como La Mar o Orca en dispositivos sin conexión a internet presenta una oportunidad interesante.

• Si los robots humanoides pueden integrar estos modelos grandes en sí mismos, podrían procesar y generar respuestas instantáneamente sin necesidad de servidores basados en la nube.

Tareas complejas y mensajes del sistema

• Orca superó a Chat GPT en tareas complejas de razonamiento cero disparo.

• Los 16 mensajes del sistema utilizados para entrenar a Orca son útiles para comprender conceptos complejos.

• Los usuarios pueden usar los mensajes del sistema para entender mejor conceptos difíciles.

Limitaciones del modelo

• Los modelos grandes como GPT4, GPT3, Chat GPT y Orca tienen dificultades para comprender preguntas simples que requieren sentido común.

• Aunque los modelos son inteligentes, también pueden ser sorprendentemente estúpidos al no poder razonar correctamente preguntas simples.

Limitaciones de los modelos de lenguaje

Resumen de la sección: En esta sección, el presentador habla sobre las limitaciones de los modelos de lenguaje y cómo pueden ser sorprendentemente estúpidos al no poder razonar correctamente preguntas simples que requieren sentido común.

Ejemplos de preguntas simples

• Los modelos grandes como GPT4, GPT3 y Orca tienen dificultades para responder a preguntas simples que requieren sentido común.

• Un ejemplo es la pregunta "Tengo una jarra de 12 litros y otra de 6 litros. ¿Cómo mido 6 litros?" que los modelos no pueden responder correctamente.

• Es importante tener en cuenta estas limitaciones al utilizar modelos grandes para tareas específicas.