Prompt Engineering in the Real World with PromptLayer

Ingeniería de Prompt en el mundo real

Resumen de la sección: En esta sección, Jared Zonnerich presenta su charla sobre ingeniería de prompt y cómo puede mejorar en el futuro.

¿Qué es la ingeniería de prompt?

• La práctica de poner un prompt y obtener una salida.

• Un modelo grande de lenguaje que completa texto.

• Comunicación con IA para decirle lo que quieres que haga.

Cómo empezar

• Ir al playground para empezar a jugar.

• La ingeniería de prompt es una habilidad nueva y no solo para los ingenieros.

Desafíos actuales

• Entender cómo se está haciendo actualmente la ingeniería de prompt.

• Tinkering - proceso continuo para mejorar la comunicación con IA.

Demostración

• Demostración del Prompt Layer, plataforma que resuelve desafíos reales.

La ingeniería de prompts y los conceptos clave

Resumen de la sección: En esta sección, el presentador habla sobre cómo se realiza actualmente la ingeniería de prompts y presenta algunos conceptos clave que se han desarrollado para mejorarla.

La forma en que se hacen las cosas hoy en día

• Actualmente, la mayoría de los equipos construyendo modelos de lenguaje natural (LM) utilizan solo 10 ejemplos de prueba para evaluar sus prompts antes de enviarlos a producción.

• Este proceso es preocupante porque no hay suficiente pruebas para garantizar que el prompt funcionará correctamente en todos los casos.

Conceptos clave

Cadenas (Chains)

• Las cadenas son una forma importante de unir varios prompts juntos para resolver problemas más complejos.

• Por ejemplo, si desea resumir un informe diario del Congreso, puede usar varias cadenas diferentes para dividir el informe en partes más pequeñas y luego resumirlas.

Agentes y complementos (Agents and Plugins)

• Los agentes y complementos son herramientas adicionales que pueden ayudar a los LM a realizar tareas específicas que normalmente no podrían hacer.

• Por ejemplo, un agente podría ayudar al LM a comprender mejor ciertos tipos de información o un complemento podría permitirle realizar cálculos matemáticos.

Herramientas de OpenAI

Resumen de la sección: En esta sección, el orador habla sobre las herramientas principales de OpenAI que la gente usa hoy en día y menciona algunas nuevas herramientas que pronto estarán disponibles.

Herramientas principales de OpenAI

• Las tres herramientas principales de OpenAI que la gente usa hoy en día son mencionadas sin especificar cuáles son.

• Pronto estarán disponibles nuevas herramientas como Cohear, Anthropic y modelos ajustados.

• También hay modelos de código abierto disponibles, con un agradecimiento especial a GPD por su trabajo.

Segmentación del usuario

• La segmentación del usuario es importante para obtener los mejores resultados al utilizar estas herramientas.

• Diferentes usuarios necesitan diferentes estímulos para obtener los mejores resultados.

• La segmentación del usuario fue un tema común entre los equipos con los que habló el orador.

Desafíos del mundo real

Resumen de la sección: En esta sección, el orador habla sobre los desafíos reales al usar LMS (Sistemas de Modelado del Lenguaje).

Problemas con el sistema

• El problema principal es saber cuándo falla algo. Es fundamental conocer cuando algo no funciona correctamente para construir un sistema confiable.

• Detectar fallas no es trivial en LMS porque ¿qué significa "falla"? ¿Cuándo es una falla?

• Un ejemplo dado es Bing, donde las personas podían hacer que actuara mal. ¿Es eso una falla?

• Otra forma en que puede haber una falla es si la salida generada por el LMS no es buena.

• La detección de fallas se puede hacer de varias maneras, como contratar personas en mturk para revisar los datos o pedir a los usuarios finales que den su opinión.

Comparaciones

• Todo se reduce a si una sugerencia es mejor que otra.

• Es importante saber cuándo una sugerencia es mejor que otra y si las nuevas sugerencias son seguras para implementar.

• La producción de datos es la forma en que se puede saber qué funciona mejor.

Optimización

• Cómo mejorar el sistema con el tiempo.

• Elegir qué modelo usar para cada tarea y cómo probarlo.

• A/B testing es una gran parte de esto.

Capa frontal

• Front Layer es la herramienta que están construyendo para resolver estos problemas del mundo real.

• Su objetivo es ser la plataforma a la que acudir para hacer que LLM sea confiable.

Introducción a Prompt Engineering

Resumen de la sección: En esta sección, el presentador introduce Prompt Engineering y cómo su producto, Prompt Layer, puede ayudar a los usuarios a rastrear el uso de sus sistemas y crear plantillas de prompts.

¿Qué es Prompt Engineering?

• Prompt Engineering es una técnica para crear prompts efectivos que pueden ser utilizados en sistemas de inteligencia artificial.

• El producto del presentador, Prompt Layer, ayuda a los usuarios a rastrear el uso de sus sistemas y crear plantillas visuales para prompts.

• Es importante organizar los prompts para poder compararlos y evaluar su eficacia.

Evaluación sintética

• La evaluación sintética es una forma de evaluar la eficacia de un prompt utilizando ejemplos y puntuaciones numéricas.

• La evaluación sintética puede ser realizada por un usuario final o mediante programación.

• La evaluación sintética también puede ser utilizada para detectar problemas en los prompts.

Analítica

• El panel analítico de Prompt Layer permite a los usuarios ver qué modelos están utilizando, cuántas solicitudes hay y cuánto cuesta la evaluación.

• El objetivo principal de Prompt Layer es hacer que la ingeniería de prompts sea más confiable.