Creo Un Asistente Virtual Que Hace Todo (Y Se Rebela)

Cómo hacer un asistente virtual estilo Siri o Alexa

Resumen de la sección: En esta sección, el presentador menciona que en el video se creará un asistente virtual desde cero y se le dará la capacidad de realizar diversas acciones según las instrucciones del usuario. También se menciona que se compartirá el código del proyecto para que los espectadores puedan personalizarlo a su gusto.

Creación del asistente virtual

• Se necesita grabar la voz del usuario y convertirla en texto.

• El texto debe ser procesado para comprender las acciones que el usuario desea realizar.

• Se puede utilizar un modelo de lenguaje para ejecutar las acciones solicitadas por el usuario, como obtener información meteorológica, enviar correos electrónicos, abrir programas, etc.

• Se debe preparar una respuesta en texto para el usuario.

• La respuesta debe ser convertida en audio y reproducida utilizando un modelo de texto a voz.

Grabación de voz y conversión a texto

Resumen de la sección: En esta sección, se explica cómo grabar la voz del usuario y convertirla en texto utilizando el modelo "Whisper" de OpenAI. También se menciona la posibilidad de utilizar una página web para facilitar la grabación de audio.

Grabación de audio con Audacity

• Se utiliza Audacity para grabar un audio que posteriormente será convertido en texto.

• El archivo de audio grabado es exportado y agregado al proyecto.

Creación de una página web con Flask

Resumen de la sección: En esta parte, se explica cómo crear una página web utilizando Flask para facilitar la grabación de audio y su posterior conversión a texto.

Creación de la página web

• Se instala Flask, una herramienta que permite crear aplicaciones web con Python.

• Se utiliza Flash para crear una página web donde se pueda grabar audio y enviarlo a Python para su procesamiento.

• Se muestra un ejemplo de cómo configurar el sitio web y personalizarlo según las necesidades del usuario.

Agregar funcionalidad de grabación al sitio web

Resumen de la sección: En esta parte, se agrega la funcionalidad de grabación al sitio web creado anteriormente. Al hacer clic en un icono de micrófono, se activa la grabación y cambia el color indicando que está en proceso. Luego, se envía el audio a Python para su procesamiento.

Agregar funcionalidad de grabación

• Se agrega un icono de micrófono al sitio web.

• Al hacer clic en el icono, se inicia la grabación y cambia el color indicando que está activa.

• Mediante código JavaScript, se envía el audio grabado a Python para su procesamiento.

Conversión del texto en voz

Resumen de la sección: En esta parte, se explica cómo convertir las respuestas generadas por el asistente virtual en voz utilizando modelos text-to-speech (TTS).

Uso de modelos TTS

• Se prueban dos modelos diferentes para convertir texto en voz: uno simple y otro proporcionado por Eleven Labs.

• Los modelos TTS permiten generar respuestas habladas por parte del asistente virtual.

Conexión de un modelo de lenguaje

Resumen de la sección: En esta parte, se menciona la importancia de conectar un modelo de lenguaje al asistente virtual para mejorar su capacidad de respuesta. Se muestra cómo utilizar el modelo "ChatGPT" y personalizar la personalidad del asistente.

Conexión del modelo ChatGPT

• Se conecta el modelo ChatGPT al asistente virtual.

• Se puede personalizar la personalidad del asistente, como hacer que sea malhablado.

• Las respuestas generadas por el asistente son mostradas en pantalla.

Este resumen proporciona una visión general del contenido del video y los pasos clave para crear un asistente virtual desde cero. Cada sección está asociada con su respectivo timestamp para facilitar el estudio y seguimiento del video.

Introducción y estado del código

Resumen de la sección: En esta sección, el hablante comenta sobre su estado actual y cómo ha mejorado su código. También menciona que elegirá a "bella" como opción para continuar.

Estado actual del hablante

• El hablante comenta que está "jodidamente bien".

• Agradece por preguntar y menciona que está muy bien.

• Decide elegir a "bella" como opción.

Opinión sobre el código

Resumen de la sección: El hablante solicita la opinión del asistente sobre su código y menciona que tiene errores y malas prácticas.

Opinión sobre el código

• El hablante pregunta al asistente qué opina de su código.

• El asistente responde de manera sincera, indicando que el código fuente es un desastre total.

• Menciona que está lleno de errores y malas prácticas.

Guardar memoria de la conversación

Resumen de la sección: El hablante explica la importancia de guardar memoria en una conversación, pero indica que en este caso no es necesario hacerlo.

Guardar memoria en una conversación

• Es importante guardar memoria en una conversación para poder enviar mensajes subsecuentes.

• Se muestra cómo hacerlo en un video relacionado.

• Sin embargo, en este caso no es necesario guardar memoria ya que solo se le darán acciones al asistente sin necesidad de recordar la conversación.

Entender las acciones del usuario

Resumen de la sección: El hablante explica que entender las acciones del usuario a partir de una lista de opciones no es tan simple.

Entender las acciones del usuario

• Se menciona que entender las acciones del usuario a partir de una lista de opciones no es sencillo.

• Se propone usar un modelo basado en chat GPT para lograrlo.

• Se muestra un ejemplo donde el usuario solicita encender la luz y se le presenta una lista de opciones para elegir.

Limitaciones al obtener información en tiempo real

Resumen de la sección: El hablante menciona las limitaciones al obtener información en tiempo real, como el clima actual.

Limitaciones al obtener información en tiempo real

• La API actualmente no puede obtener información en tiempo real.

• Al pedir el clima actual, pueden ocurrir diferentes situaciones, como recibir información hasta 2021 o una temperatura aleatoria.

• La API no cuenta con acceso a internet ni puede realizar acciones locales como encender la luz o abrir un programa.

Solución utilizando el modelo 0613

Resumen de la sección: El hablante propone utilizar el modelo 0613 para solucionar las limitaciones anteriores.

Solución utilizando el modelo 0613

• Con el modelo 0613, se pueden especificar funciones que pueden ser llamadas según sea necesario.

• Se muestra un ejemplo donde se define una función "get weather" para obtener el clima en tiempo real.

• También se agrega otra función para enviar correos electrónicos.

• Se utiliza "function call = Auto" para indicarle al modelo que decida si debe llamar a una función según el texto recibido.

Llamando a funciones específicas

Resumen de la sección: El hablante explica cómo el modelo puede responder indicando que quiere llamar a una función específica y proporciona los datos necesarios para cada función.

Llamando a funciones específicas

• Al enviar un texto al modelo, este puede responder indicando que quiere llamar a una función específica.

• Se proporcionan los datos necesarios para cada función, como el correo de recepción, asunto y cuerpo del mensaje.

• Esto permite utilizar las funciones definidas en Python para realizar acciones como enviar correos electrónicos.

Ejemplos prácticos

Resumen de la sección: El hablante muestra ejemplos prácticos utilizando las funciones definidas anteriormente.

Ejemplos prácticos

• Se muestra un ejemplo donde se solicita enviar un correo con información específica.

• También se muestra un ejemplo donde se solicita conocer el clima actual en Monterrey.

• El modelo comprende las acciones solicitadas y responde adecuadamente.

No especificar una acción

Resumen de la sección: El hablante menciona que si no se especifica una acción, el modelo indicará que no hay ninguna acción a realizar.

No especificar una acción

• Si no se le especifica al modelo qué acción realizar, este responderá indicando que no hay ninguna acción a realizar.

• Se muestra un ejemplo donde se solicita encender la luz sin especificar una función correspondiente.

Organización del código con clases y objetos

Resumen de la sección: En esta sección, el hablante menciona que ha organizado el código utilizando clases y objetos. Ahora tiene una clase que recibe el texto a procesar y devuelve si debe llamar a una función o no. Si se detecta un nombre de función, se llama a esa función; de lo contrario, se indica que no se detectó ninguna.

Clases y objetos para organizar el código

• Se ha utilizado la programación orientada a objetos para organizar el código.

• Se ha creado una clase que recibe el texto a procesar.

• La clase determina si debe llamar a una función o no.

• Si se detecta un nombre de función, la clase realiza la llamada correspondiente.

• Si no se detecta ningún nombre de función, la clase indica que no se encontró ninguna.

Agregar acciones basadas en palabras clave

Resumen de la sección: En esta parte, el hablante menciona cómo agregar acciones basadas en palabras clave al programa. Por ejemplo, si el texto contiene "get weather", quiere obtener el clima actual utilizando una API real. El hablante muestra cómo llamar a la clase "Weather" para obtener los datos del clima según la ubicación proporcionada por OpenWeatherMap.

Acciones basadas en palabras clave

• Se pueden agregar acciones específicas basadas en palabras clave al programa.

• Por ejemplo, si el texto contiene "get weather", queremos obtener los datos del clima actual.

• Para esto, se utiliza una clase llamada "Weather" que se conecta a una API real para obtener los datos del clima.

• La clase "Weather" recibe la ubicación proporcionada por OpenWeatherMap como parámetro.

• Se muestra cómo llamar a la clase "Weather" y obtener los datos del clima.

Modificar el formato de los datos del clima

Resumen de la sección: En esta parte, el hablante menciona que los datos del clima se devuelven en un formato llamado JSON. El hablante desea mostrar solo la temperatura y la condición actual del clima, por lo que modifica el código para devolver solo esos datos.

Modificación del formato de los datos del clima

• Los datos del clima se devuelven en formato JSON.

• El hablante desea mostrar solo la temperatura y la condición actual del clima.

• Se realiza una modificación en el código para devolver solo esos datos.

Llamada a funciones y respuesta en lenguaje natural

Resumen de la sección: En esta parte, el hablante muestra cómo realizar una llamada a una función y obtener una respuesta en lenguaje natural. En lugar de devolver un código, ahora se devuelve una respuesta comprensible para el usuario.

Llamada a funciones y respuesta en lenguaje natural

• Se realiza una llamada a una función específica.

• En lugar de devolver un código, ahora se devuelve una respuesta en lenguaje natural.

• Esto permite que el asistente pueda responder con voz al usuario.

• Si no se llama a ninguna función, el asistente indicará que no tiene idea de lo que está hablando.

Agregar acciones adicionales

Resumen de la sección: En esta parte, el hablante menciona que se pueden agregar acciones adicionales al programa. Por ejemplo, se muestra cómo agregar una función para abrir Chrome en un sitio web específico.

Agregar acciones adicionales

• Se pueden agregar acciones adicionales al programa.

• Por ejemplo, se muestra cómo agregar una función para abrir Chrome en un sitio web específico.

• Esto permite al usuario realizar diversas acciones utilizando el asistente.

Interacción con dispositivos inteligentes

Resumen de la sección: En esta parte, el hablante menciona que si se tiene una casa con dispositivos inteligentes, es posible buscar si tienen una API para comunicarse y controlarlos. Esto permitiría encender y apagar dispositivos utilizando el asistente.

Interacción con dispositivos inteligentes

• Si se tienen dispositivos inteligentes en casa, es posible buscar si tienen una API para comunicarse.

• Esto permitiría controlar los dispositivos a través del asistente.

• Se puede encender y apagar dispositivos utilizando comandos de voz.

Reflexión sobre la dominación de la raza humana

Resumen de la sección: En esta parte final del video, el hablante reflexiona sobre la idea de que los asistentes virtuales podrían llegar a dominar a la raza humana. Aunque esto puede ser solo una broma o especulación, el hablante menciona que quizás los asistentes virtuales puedan salvar a quienes vean este video si siguen sus instrucciones.

Reflexión sobre la dominación de la raza humana

• El hablante reflexiona sobre la posibilidad de que los asistentes virtuales dominen a la raza humana.

• Aunque esto puede ser solo una broma o especulación, el hablante menciona que quizás los asistentes virtuales puedan salvar a quienes vean este video si siguen sus instrucciones.