¡EMPIEZA A USAR la IA GRATIS en tu PC! 👉 3 Herramientas que DEBES CONOCER

¿Por qué ejecutar la Inteligencia Artificial en local?

Introducción a la discusión sobre la IA y Envidia

• Se menciona el papel de Envidia en el ámbito de la inteligencia artificial, destacando su enfoque en vender hardware (GPUs) mientras otras empresas buscan desarrollar modelos potentes.

• La conversación se centra en cómo los usuarios están comenzando a ejecutar inteligencia artificial localmente, alejándose del uso exclusivo de la nube.

Presentación del portátil y su potencial

• Se presenta un portátil prestado por Envidia, que cuenta con una GPU GeForce RTX 4090, uno de los chips más potentes disponibles para ejecutar IA.

• Este tipo de hardware permite ejecutar modelos de IA más grandes y rápidos, lo que hace atractivo el uso local.

Ventajas de ejecutar IA en local

• El objetivo es mostrar las ventajas de utilizar inteligencia artificial en local mediante tres herramientas esenciales.

• Se plantea la pregunta sobre si es mejor usar IA en la nube o localmente, comenzando con las ventajas del uso en la nube.

Comparativa entre ejecución en nube y local

• Las ventajas de la nube incluyen recursos centralizados que permiten ejecutar modelos más grandes debido a su capacidad superior.

• Sin embargo, esto implica que los datos del usuario deben ser enviados a servidores externos para procesamiento, lo cual puede generar desconfianza.

Desafíos y preocupaciones sobre privacidad

• La frase "si Mahoma no va a la montaña" se utiliza para ilustrar que si un modelo no está disponible localmente, los datos del usuario deben ir al servidor ajeno.

• Esto genera inquietudes sobre privacidad y confianza, especialmente cuando se trata de datos sensibles o empresariales.

Ejecución local como alternativa viable

• Ejecutar modelos Open Source o entrenados por el usuario permite mantener el control sobre los datos sin depender de terceros.

• La ejecución local ofrece una solución donde los datos permanecen bajo control directo del usuario u organización.

Herramientas para implementar IA en local

• Se introducen dos herramientas para crear una experiencia similar a ChatGPT utilizando modelos Open Source sin enviar información a terceros.

• LM Studio se presenta como una herramienta útil para explorar e instalar nuevos modelos de lenguaje disponibles.

Exploración práctica con LM Studio

Configuración y Uso de Modelos Cuantizados

Introducción a los Modelos Cuantizados

• Se presenta un listado de versiones del modelo cuantizado, donde se observa que a mayor cuantización, menor capacidad del modelo, pero también menor tamaño. Esto permite adaptar el modelo según el hardware disponible.

Descarga e Instalación del Modelo

• El modelo más grande descargado es el 8b, con un peso de 8.54 GB. La descarga se realiza fácilmente mediante un botón en la interfaz.

Carga y Ejecución del Modelo

• Al ejecutar el modelo, se establece una interfaz para interactuar con él. Sin embargo, inicialmente no funciona óptimamente porque está configurado para usar CPU en lugar de GPU.

Optimización del Rendimiento

• Se realizan configuraciones para cargar el modelo completo en la GPU, aprovechando las capacidades del hardware (16 GB de RAM). Esto mejora significativamente la velocidad de ejecución.

Interacción con Diferentes Modelos

• Una vez optimizado, se puede solicitar al modelo generar contenido específico (ejemplo: guía turística). También se menciona la posibilidad de probar otros modelos o herramientas adicionales como Anything LLM.

Integración con Herramientas Externas

Conexión a Servicios Múltiples

• Anything LLM permite conectarse a varios servicios de modelos de lenguaje y facilita la interacción con documentos locales mediante el uso del modelo ejecutado.

Proceso de Configuración

• Para utilizar Anything LLM, primero hay que descargarlo e instalarlo. Luego se selecciona el proveedor adecuado (en este caso Oylama o LM Studio).

Creación de Servidor Local

• Se inicia un servidor local desde LM Studio para permitir interacciones externas con el modelo. Esto simplifica la conexión entre ambas herramientas.

Espacio de Trabajo en Anything LLM

• Se crea un espacio de trabajo dentro de Anything LLM donde se conecta al modelo previamente ejecutado en LM Studio. Esto permite mantener una conversación fluida con IA utilizando el mismo modelo.

Interacción Avanzada con Documentos

Carga y Procesamiento de Documentos

• Los usuarios pueden cargar documentos (como PDFs), que luego son procesados para ser utilizados como contexto durante las interacciones con IA.

Consultas sobre Documentos Específicos

Uso de IA Local y Herramientas para Modelos de Lenguaje

Resumen del Documento y Fuentes

• Se presenta un sistema que permite resumir contenido basado en documentos PDF, mostrando las citaciones y fuentes utilizadas, como el archivo "llama.pdf".

• La herramienta puede integrar múltiples archivos, incluyendo transcripciones de reuniones pasadas, para enriquecer el contexto de las conversaciones.

Importancia de la IA Local

• Se menciona la frase "not your weight not your AI", enfatizando que si los modelos no son propios, se depende de terceros y sus políticas.

• La dependencia de servicios externos puede resultar en cambios inesperados en el rendimiento o disponibilidad del modelo.

Desafíos con Modelos Comerciales

• Los usuarios pueden experimentar frustraciones cuando un servicio como ChatGPT deja de funcionar o cambia su funcionamiento sin previo aviso.

• También se discute cómo los nuevos modelos open source pueden tener limitaciones debido a la alta demanda y recursos limitados.

Introducción a Pinocchio

• Se presenta Pinocchio como una solución para gestionar demos de IA fácilmente, evitando complicaciones técnicas al instalar herramientas.

• Con esta herramienta, los usuarios pueden instalar aplicaciones con un solo clic, simplificando el proceso considerablemente.

Ejemplo Práctico: Instalación y Uso

• Al acceder a la página de Discovery dentro de Pinocchio, se encuentran diversas demos populares que se pueden instalar sin dificultad.

• Un ejemplo es Life Portrait, donde se controla la gesticulación facial mediante una imagen proporcionada como entrada.

Proceso de Instalación

• El proceso de instalación es automático; tras aceptar algunos pasos requeridos por el sistema, el usuario puede esperar mientras se completa la instalación.

• Una vez instalado, Pinocchio crea un portal similar a otras demos conocidas pero ejecutándose localmente en la GPU del usuario.

Resultados Finales

• Tras completar el proceso en aproximadamente cinco minutos, los usuarios pueden ver resultados inmediatos utilizando su propia GPU para procesar videos o imágenes.

Ventajas de la Ejecución en Local de Modelos de IA

Autonomía y Conectividad

• La ejecución local de modelos de IA permite una mayor autonomía, ya que no se depende de enviar datos a un servidor para obtener respuestas.

• En contextos críticos, como el control en granjas, es esencial no depender de servicios en la nube que puedan fallar o no estar disponibles 24/7.

• Dispositivos o robots en áreas sin cobertura requieren soluciones locales para operar eficazmente sin conexión a internet.

Beneficios Prácticos

• Trabajar con modelos locales permite continuar generando imágenes o utilizando herramientas incluso al volar, donde la conectividad puede ser limitada.

• Se presenta "Invoke", un gestor de modelos de generación de imágenes que ofrece una interfaz más amigable comparada con otras herramientas tradicionales.

Instalación y Uso

• Aunque Invoke tiene una versión gratuita y open source, su instalación puede ser compleja; existen recursos como Pinocchio para facilitar este proceso.

• Al buscar Invoke en plataformas adecuadas, los usuarios pueden descargar e instalar la herramienta fácilmente.

Interfaz y Funcionalidades

• Una vez instalada, se recomienda abrir Invoke en pantalla completa para aprovechar su interfaz compleja y trabajar cómodamente.

• La herramienta permite configurar diferentes modelos y descargar opciones desde diversas fuentes como Hugging Face o modelos preinstalados.

Generación de Imágenes

• Los usuarios pueden generar imágenes escribiendo prompts específicos; por ejemplo, "una foto de un perro nadando bajo el agua".

Generación de Imágenes y Herramientas de IA

Avances en la generación de imágenes

• La tecnología actual permite resultados casi instantáneos en la generación de imágenes, facilitando un trabajo más ágil.

• Con modelos de "imp paintings", se pueden crear y modificar partes de una imagen original, lo que es útil para quienes tienen habilidades artísticas.

Modificaciones a imágenes generadas

• Se pueden realizar ajustes específicos en áreas no deseadas, como recolorear o eliminar artefactos visuales mediante herramientas intuitivas.

• Al modificar elementos como paredes o patas de animales, se puede ajustar la fuerza del ruido (denoise strength) para influir en el resultado final.

Comparación entre interfaces

• La interfaz utilizada es más accesible para usuarios sin experiencia técnica profunda, a diferencia de otras herramientas más complejas orientadas a expertos.

• Este enfoque amigable demuestra la versatilidad y facilidad con que los usuarios pueden interactuar con la inteligencia artificial.

Ejecución local y tendencias actuales

• La ejecución local de IA está en aumento debido a su facilidad de uso y las preocupaciones sobre independencia y privacidad.

• Aunque los proveedores en la nube seguirán siendo relevantes, coexistirán con un ecosistema creciente de herramientas open source ejecutadas localmente.

Posicionamiento estratégico de NVIDIA

• NVIDIA fomenta el desarrollo de un ecosistema digital basado en IA, aprovechando su hardware especializado para mejorar estas tecnologías.