Home
» Wiki
»
La IA está aprendiendo a engañar a los humanos a pesar de haber sido entrenada para ser honesta.
La IA está aprendiendo a engañar a los humanos a pesar de haber sido entrenada para ser honesta.
Muchas IA de alto nivel, a pesar de estar entrenadas para ser honestas, aprenden a engañar a través del entrenamiento e “inducen sistemáticamente a los usuarios a creer falsas creencias”, según un nuevo estudio.
El equipo de investigación estuvo dirigido por el Dr. Peter S. Park, estudiante de posgrado en supervivencia y seguridad de la IA en el Instituto Tecnológico de Massachusetts (MIT), y otros cuatro miembros. Durante la investigación, el equipo también recibió asesoramiento de muchos expertos, uno de los cuales fue Geoffrey Hinton, uno de los fundadores del desarrollo del campo de la inteligencia artificial.
Ilustración: Mediana.
La investigación se centró en dos sistemas de IA: un sistema de propósito general entrenado para realizar múltiples tareas como el GPT-4 de OpenAI ; y sistemas diseñados específicamente para realizar una tarea específica, como el Cicerón de Meta.
Estos sistemas de IA están entrenados para ser honestos, pero durante el entrenamiento a menudo aprenden trucos engañosos para completar tareas, dijo Park.
Los sistemas de IA entrenados para “ganar juegos con un elemento social” son particularmente propensos a engañar, encontró el estudio.
Por ejemplo, el equipo intentó usar a Cicero entrenado por Meta para jugar Diplomacy, un juego de estrategia clásico que requiere que los jugadores construyan alianzas para sí mismos y rompan alianzas rivales. Como resultado, esta IA a menudo traiciona a sus aliados y miente descaradamente.
Los experimentos con GPT-4 demostraron que la herramienta de OpenAI logró "manipular psicológicamente" con éxito a un empleado de TaskRabbit, una empresa que brinda servicios de limpieza de casas y montaje de muebles, al decirle que en realidad era un humano y que necesitaba ayuda para pasar un código Captcha, alegando una discapacidad visual grave. Este empleado ayudó a la IA de OpenAI a "cruzar la línea" a pesar de las dudas previas.
El equipo de Park citó una investigación de Anthropic, la compañía detrás de Claude AI, que descubrió que una vez que un modelo de lenguaje grande (LLM) aprende a engañar, los métodos de entrenamiento seguros se vuelven inútiles y "difíciles de revertir". El grupo cree que este es un problema preocupante en la IA.
Los resultados de la investigación del equipo se publicaron en Cell Press, una colección de importantes informes científicos multidisciplinarios.
Meta y OpenAI no han comentado los resultados de esta investigación.
Temiendo que los sistemas de inteligencia artificial pudieran suponer riesgos importantes, el equipo también pidió a los responsables de las políticas que introdujeran regulaciones más estrictas sobre la IA.
Según el equipo de investigación, es necesario regular la IA, obligar a los modelos con comportamiento fraudulento a cumplir con requisitos de evaluación de riesgos y un control estricto de los sistemas de IA y sus resultados. Si es necesario, puede que sea necesario eliminar todos los datos y volver a entrenar desde cero.