Home
» Wiki
»
Microsoft anuncia una nueva herramienta para detectar y corregir contenido alucinatorio en la salida de IA
Microsoft anuncia una nueva herramienta para detectar y corregir contenido alucinatorio en la salida de IA
Azure AI Content Safety es el servicio de IA de Microsoft que ayuda a detectar contenido dañino generado por IA en aplicaciones, servicios y plataformas. Esta utilidad proporciona API de texto e imágenes, lo que permite a los desarrolladores identificar contenido no deseado.
La API Groundedness en Azure AI Content Safety puede identificar si la respuesta de un modelo de lenguaje grande se basa en un documento de origen seleccionado por el usuario. Dado que los modelos de lenguaje grandes actuales pueden producir información inexacta o falsa (información ilusoria), esta API ayuda a los desarrolladores a identificar dicho contenido en los datos de salida de IA.
Hoy, Microsoft anunció una vista previa de la solución. Como resultado, los desarrolladores ahora pueden detectar y corregir contenido “ilusorio” en los datos de salida de IA en tiempo real, lo que garantiza que los usuarios finales siempre reciban contenido generado por IA con datos precisos. Esta función funciona de la siguiente manera:
El desarrollador de la aplicación habilita capacidades de edición.
Cuando se detectan datos infundados, se envía una nueva solicitud al modelo de IA para corregir el error.
El algoritmo LLM evaluará la puntuación general basándose en documentos autorizados.
Es posible que se filtren por completo las frases que no sean relevantes para el documento autenticado subyacente.
Si el contenido se deriva de un documento base, el modelo base reescribirá la oración sin fundamento para que coincida con el documento.
Junto con la función de edición, Microsoft también anunció una vista previa pública de Hybrid Azure AI Content Safety (AACS). Esta función permite a los desarrolladores implementar mecanismos de seguridad de contenido en la nube y en el dispositivo. El SDK integrado de AACS permite realizar comprobaciones de seguridad de contenido en tiempo real directamente en el dispositivo, incluso sin conexión a Internet.
Finalmente, Microsoft ha anunciado una versión preliminar de Protected Materials Detection for Code que se puede utilizar con aplicaciones de IA generadoras de código para detectar si LLM está generando algún código protegido. Anteriormente, esta función solo estaba disponible a través del servicio Azure OpenAI. Microsoft ahora pone a disposición de los clientes la detección de materiales protegidos para código para que la utilicen junto con otros modelos de IA de generación de código.