Why SharePoint Knowledge in Copilot Studio Isn’t Working (and How to Fix It)

Why SharePoint Knowledge in Copilot Studio Isn’t Working (and How to Fix It)

¿Cómo mejorar los resultados en SharePoint con Co-Pilot Studio?

Introducción

  • El video aborda cómo optimizar el uso de SharePoint como fuente de conocimiento en Co-Pilot Studio.
  • Se presenta un escenario típico donde se conecta a un sitio interno y documentos relevantes para el personal.

Configuración del Agente

  • Se describen documentos estándar sobre políticas de recursos humanos, incluyendo permisos y gestión del rendimiento.
  • Se menciona la existencia de currículos y una hoja de Excel con candidatos en una subcarpeta.

Creación del Agente

  • Inicia la creación del agente en Co-Pilot Studio, asumiendo que los usuarios ya han configurado su parte inicial.
  • Se recomienda usar la URL hasta el primer nivel del sitio de recursos humanos, eliminando "https".

Conexión a Fuentes de Conocimiento

  • Es posible navegar por archivos directamente desde la biblioteca de documentos o incluir información adicional del sitio.
  • Importancia de agregar descripciones para ayudar a la IA a entender las fuentes de conocimiento.

Interacción con el Agente

  • Ejemplo práctico: preguntar cuántos días de permiso se tienen disponibles.
  • Posibles respuestas: puede responder correctamente o indicar que no puede ayudar si no encuentra información relevante.

Consideraciones Adicionales

  • Si el contenido es nuevo, puede requerir tiempo para indexarse; esperar puede ser necesario.
  • La IA utiliza su propio conocimiento general, lo que puede afectar los resultados obtenidos.

Respuestas Generadas por IA

  • Pregunta sobre qué hacer si no hay suficiente permiso; respuesta generada por IA sin referencia a documentos específicos.

¿Cómo optimizar el uso de SharePoint?

Configuración inicial

  • Desactivar el conocimiento general en SharePoint para mejorar la precisión de las respuestas.
  • Preguntas específicas sobre políticas y procedimientos funcionan mejor con un agente bien configurado.

Ejemplos de preguntas efectivas

  • Preguntar cómo crear una publicación "sobre mí" genera respuestas precisas desde el sitio de SharePoint.
  • Consultar sobre días de licencia o gestión de lesiones también proporciona respuestas correctas.

Limitaciones y desafíos

  • Las preguntas deben estar formuladas con palabras clave exactas para obtener resultados satisfactorios.
  • Cambiar la redacción puede resultar en respuestas no encontradas, incluso si la información está disponible.

Mejorando la experiencia del usuario

Comprensión del sistema

  • Es crucial entender cómo funcionan las fuentes de conocimiento para evitar expectativas erróneas.
  • Obtener al menos una licencia de Microsoft 365 co-pilot mejora significativamente los resultados.

Funciones avanzadas

  • La nueva función de orquestación AI generativa ayuda a determinar dónde buscar respuestas, mejorando la eficiencia.

Proceso de generación de respuestas

  • El sistema actúa como un bibliotecario eficiente, recuperando información y generando respuestas en sus propias palabras.

¿Cómo funciona el uso de documentos en Microsoft 365?

  • La herramienta utiliza fuentes de referencia para generar respuestas, pero no imita estilos organizacionales.
  • Responde preguntas específicas como políticas sobre el uso de la coma Oxford, pero no aprende ni reproduce estilos.
  • Funciona bien con documentos de Word, PowerPoint y PDFs; Excel presenta problemas al recuperar datos.

Limitaciones del uso de Excel y tamaño de archivos

  • Excel es problemático para razonamientos complejos; se recomienda usar bases de datos estructuradas.
  • Microsoft advierte que sin licencias adecuadas, hay limitaciones en el tamaño del archivo a 7 MB.
  • El conocimiento organizacional probablemente exceda este límite, afectando los resultados.

Licencias y mejoras en la búsqueda

  • Con una licencia Microsoft 365 co-pilot, se mejora el manejo del tamaño del archivo hasta 512 MB.
  • Se obtiene un mejor rendimiento en las búsquedas gracias a la indexación vectorial en SharePoint.
  • La indexación vectorial asigna valores numéricos a palabras según su significado, mejorando la comprensión semántica.

Diferencia entre indexación por palabras clave y comprensión semántica

  • La indexación por palabras clave busca términos específicos; puede ser limitada si se usan contextos variados.
  • La comprensión semántica permite entender relaciones entre palabras y variaciones significativas.

¿Cómo mejorar la experiencia con modelos de lenguaje?

Activación de características avanzadas

  • Se habilita la función de orquestación generativa, permitiendo al modelo entender mejor la intención detrás de las preguntas.
  • La orquestación ayuda a decidir qué fuente de conocimiento utilizar para encontrar respuestas adecuadas.
  • Esta característica mejora significativamente los resultados obtenidos en comparación con versiones anteriores.

Comparación de resultados

  • Con la orquestación activada, el agente puede manejar preguntas complejas que antes no podía responder.
  • Aunque no se tenga licencia de Microsoft 365 Co-pilot, activar esta función cambia drásticamente la experiencia del usuario.
  • Preguntas sobre Excel aún presentan limitaciones; el sistema no logra proporcionar respuestas satisfactorias.

Ejemplos prácticos

  • Se plantea una pregunta sobre implicaciones laborales tras una lesión; se comparan respuestas con y sin licencia Co-pilot.
  • La búsqueda mejorada está activa si se tiene acceso a Microsoft 365 Co-pilot; su desactivación es recomendable si no se cuenta con ella.
  • Se observa una diferencia notable en calidad y comprensión entre agentes con y sin indexación vectorial.

Análisis adicional

  • La combinación de orquestación generativa e indexación vectorial proporciona respuestas más precisas y sofisticadas.
  • Un ejemplo sobre opciones durante emergencias familiares muestra cómo se pueden obtener mejores resultados utilizando ambas características.
  • La tecnología permite identificar tipos adicionales de permisos que podrían ser relevantes en situaciones específicas.

Manejo de documentos múltiples

  • Se discute un caso donde hay múltiples versiones del mismo documento, lo cual puede confundir al AI al buscar información precisa.
  • Al preguntar sobre gastos en alojamiento, el sistema presenta confusión debido a las diferentes versiones del documento consultado.

Cómo mejorar el rendimiento en SharePoint

Estrategias para optimizar el uso de SharePoint

  • Obtener una licencia de Microsoft 365 Co-pilot puede mejorar significativamente el rendimiento.
  • Activar la función de orquestación de IA generativa, incluso en vista previa, para mejores respuestas.
Channel: Lisa Crosbie
Video description

If you're using SharePoint as a knowledge source in Copilot Studio but aren’t getting the results you expected, don’t worry—you’re not alone! In this video, I’ll break down: ✅ How SharePoint works behind the scenes ✅ The key limitations that could be impacting your AI agent ✅ Practical ways to improve search accuracy and responses ✅ How Enhanced Search Results and Generative Orchestration can make a difference But if you're looking for a shortcut: 1️⃣If at all possible, it is worth having at least one Microsoft 365 Copilot license in your tenant - it changes and improves the way the indexing is done 2️⃣ Switch on the (preview) generative orchestration feature 3️⃣ Share this video with someone who wants a deeper dive into understanding how it works and why 😉 ------------------------------------------------------------------------ Connect with me: ☕ Buy me a coffee: https://www.buymeacoffee.com/lisacrosbie 📘 Get my book: Microsoft Copilot Pro: Step by Step https://www.microsoftpressstore.com/store/microsoft-copilot-pro-step-by-step-9780135369425 🦉 Learn more about AI: https://aka.ms/learnwithlisa 🖇 LinkedIn: https://www.linkedin.com/in/lisa-crosbie/ 📼 TikTok: https://www.tiktok.com/@lisa.crosbie ---------------------------------------------------------------------- 00:00 - SharePoint Knowlege not working in Copilot Studio 00:21 - Create an agent connected to SharePoint 03:34 - Common error: "I'm sorry, I'm not sure how to help with that" 04:37 - Allowing AI to use its own general knowledge 06:29 - Testing your agent & understanding questions that work well 07:45 - Why SharePoint knowledge fails 09:14 - 3 ways to improve results 10:24 - Understanding RAG (Retrieval-Augmented Generation) in Copilot Studio 12:16 - File type & size limitations (Why Excel doesn’t work!) 14:45 - Enhanced search results with Microsoft 365 Copilot 15:42 - Vector indexing vs. Keyword indexing 18:22 - Enabling Generative Orchestration 20:35 - Comparing results with Enhanced Search Results switched on 24:01 - Final advice for best results