OpenAI considera agregar marcas de agua al texto generado por ChatGPT

Según The Wall Street Journal, OpenAI tiene listo desde hace aproximadamente un año un sistema para marcar el texto generado por ChatGPT y una herramienta para detectar marcas de agua. Pero la compañía está debatiendo internamente si lanzarlo. Por un lado, parece que es lo más responsable que se puede hacer; Por otro lado, puede perjudicar las ganancias de la empresa.

La marca de agua de OpenAI se describe como el ajuste de cómo el modelo predice las palabras y frases más probables después de las palabras y frases anteriores, creando un patrón detectable.

Proporcionar algún modo de detectar material escrito con IA es un beneficio potencial para los docentes que intentan disuadir a los estudiantes de usar IA para hacer sus tareas. El diario informa que la empresa descubrió que la marca de agua no afectó la calidad del texto de salida del chatbot. En una encuesta encargada por la empresa, “la gente de todo el mundo apoyó la idea de las herramientas de detección de IA por un margen de 4:1”, escribe el Journal.

Después de que el Journal publicara su artículo, OpenAI confirmó que había presionado para que se agregara la marca de agua de texto en una actualización de publicación de blog detectada hoy por TechCrunch. En él, la compañía afirma que su método es altamente preciso (“99,9 por ciento efectivo”, según documentos vistos por el Journal) y resistente a “la falsificación, como la paráfrasis”. La compañía también dijo que estaba preocupada por el estigma en torno a la utilidad de las herramientas de IA para hablantes no nativos.

Pero parece que a OpenAI también le preocupa que el uso de una marca de agua pueda alejar a los usuarios de ChatGPT. Según la encuesta, casi el 30% de ellos le dijeron a la empresa que usarían menos el software si se implementara la función de marca de agua.

Aun así, algunos empleados creen que la función de marca de agua sería efectiva. Sin embargo, en respuesta a la frustración de los usuarios, el Journal dijo que algunos de los métodos de prueba propuestos "pueden ser menos controvertidos entre los usuarios, pero no están probados". En la actualización de la publicación del blog de hoy, la compañía dijo que está "en las primeras etapas" de exploración de la incorporación de metadatos y que todavía es "demasiado pronto" para saber qué tan bien funcionará la nueva característica, pero dado que está firmada criptográficamente, no debería haber falsos positivos.