Prompt Engineering in the Real World with PromptLayer
Ingeniería de Prompt en el mundo real
Resumen de la sección: En esta sección, Jared Zonnerich presenta su charla sobre ingeniería de prompt y cómo puede mejorar en el futuro.
¿Qué es la ingeniería de prompt?
- La práctica de poner un prompt y obtener una salida.
- Un modelo grande de lenguaje que completa texto.
- Comunicación con IA para decirle lo que quieres que haga.
Cómo empezar
- Ir al playground para empezar a jugar.
- La ingeniería de prompt es una habilidad nueva y no solo para los ingenieros.
Desafíos actuales
- Entender cómo se está haciendo actualmente la ingeniería de prompt.
- Tinkering - proceso continuo para mejorar la comunicación con IA.
Demostración
- Demostración del Prompt Layer, plataforma que resuelve desafíos reales.
La ingeniería de prompts y los conceptos clave
Resumen de la sección: En esta sección, el presentador habla sobre cómo se realiza actualmente la ingeniería de prompts y presenta algunos conceptos clave que se han desarrollado para mejorarla.
La forma en que se hacen las cosas hoy en día
- Actualmente, la mayoría de los equipos construyendo modelos de lenguaje natural (LM) utilizan solo 10 ejemplos de prueba para evaluar sus prompts antes de enviarlos a producción.
- Este proceso es preocupante porque no hay suficiente pruebas para garantizar que el prompt funcionará correctamente en todos los casos.
Conceptos clave
Cadenas (Chains)
- Las cadenas son una forma importante de unir varios prompts juntos para resolver problemas más complejos.
- Por ejemplo, si desea resumir un informe diario del Congreso, puede usar varias cadenas diferentes para dividir el informe en partes más pequeñas y luego resumirlas.
Agentes y complementos (Agents and Plugins)
- Los agentes y complementos son herramientas adicionales que pueden ayudar a los LM a realizar tareas específicas que normalmente no podrían hacer.
- Por ejemplo, un agente podría ayudar al LM a comprender mejor ciertos tipos de información o un complemento podría permitirle realizar cálculos matemáticos.
Herramientas de OpenAI
Resumen de la sección: En esta sección, el orador habla sobre las herramientas principales de OpenAI que la gente usa hoy en día y menciona algunas nuevas herramientas que pronto estarán disponibles.
Herramientas principales de OpenAI
- Las tres herramientas principales de OpenAI que la gente usa hoy en día son mencionadas sin especificar cuáles son.
- Pronto estarán disponibles nuevas herramientas como Cohear, Anthropic y modelos ajustados.
- También hay modelos de código abierto disponibles, con un agradecimiento especial a GPD por su trabajo.
Segmentación del usuario
- La segmentación del usuario es importante para obtener los mejores resultados al utilizar estas herramientas.
- Diferentes usuarios necesitan diferentes estímulos para obtener los mejores resultados.
- La segmentación del usuario fue un tema común entre los equipos con los que habló el orador.
Desafíos del mundo real
Resumen de la sección: En esta sección, el orador habla sobre los desafíos reales al usar LMS (Sistemas de Modelado del Lenguaje).
Problemas con el sistema
- El problema principal es saber cuándo falla algo. Es fundamental conocer cuando algo no funciona correctamente para construir un sistema confiable.
- Detectar fallas no es trivial en LMS porque ¿qué significa "falla"? ¿Cuándo es una falla?
- Un ejemplo dado es Bing, donde las personas podían hacer que actuara mal. ¿Es eso una falla?
- Otra forma en que puede haber una falla es si la salida generada por el LMS no es buena.
- La detección de fallas se puede hacer de varias maneras, como contratar personas en mturk para revisar los datos o pedir a los usuarios finales que den su opinión.
Comparaciones
- Todo se reduce a si una sugerencia es mejor que otra.
- Es importante saber cuándo una sugerencia es mejor que otra y si las nuevas sugerencias son seguras para implementar.
- La producción de datos es la forma en que se puede saber qué funciona mejor.
Optimización
- Cómo mejorar el sistema con el tiempo.
- Elegir qué modelo usar para cada tarea y cómo probarlo.
- A/B testing es una gran parte de esto.
Capa frontal
- Front Layer es la herramienta que están construyendo para resolver estos problemas del mundo real.
- Su objetivo es ser la plataforma a la que acudir para hacer que LLM sea confiable.
Introducción a Prompt Engineering
Resumen de la sección: En esta sección, el presentador introduce Prompt Engineering y cómo su producto, Prompt Layer, puede ayudar a los usuarios a rastrear el uso de sus sistemas y crear plantillas de prompts.
¿Qué es Prompt Engineering?
- Prompt Engineering es una técnica para crear prompts efectivos que pueden ser utilizados en sistemas de inteligencia artificial.
- El producto del presentador, Prompt Layer, ayuda a los usuarios a rastrear el uso de sus sistemas y crear plantillas visuales para prompts.
- Es importante organizar los prompts para poder compararlos y evaluar su eficacia.
Evaluación sintética
- La evaluación sintética es una forma de evaluar la eficacia de un prompt utilizando ejemplos y puntuaciones numéricas.
- La evaluación sintética puede ser realizada por un usuario final o mediante programación.
- La evaluación sintética también puede ser utilizada para detectar problemas en los prompts.
Analítica
- El panel analítico de Prompt Layer permite a los usuarios ver qué modelos están utilizando, cuántas solicitudes hay y cuánto cuesta la evaluación.
- El objetivo principal de Prompt Layer es hacer que la ingeniería de prompts sea más confiable.
Convierte cualquier video en un resumen como este
Videos de YouTube, reuniones, clases — con transcripción, búsqueda y chat.