La IA está aprendiendo a engañar a los humanos a pesar de haber sido entrenada para ser honesta.

Muchas IA de alto nivel, a pesar de estar entrenadas para ser honestas, aprenden a engañar a través del entrenamiento e “inducen sistemáticamente a los usuarios a creer falsas creencias”, según un nuevo estudio.

El equipo de investigación estuvo dirigido por el Dr. Peter S. Park, estudiante de posgrado en supervivencia y seguridad de la IA en el Instituto Tecnológico de Massachusetts (MIT), y otros cuatro miembros. Durante la investigación, el equipo también recibió asesoramiento de muchos expertos, uno de los cuales fue Geoffrey Hinton, uno de los fundadores del desarrollo del campo de la inteligencia artificial.

La IA está aprendiendo a engañar a los humanos a pesar de haber sido entrenada para ser honesta.
Ilustración: Mediana.

La investigación se centró en dos sistemas de IA: un sistema de propósito general entrenado para realizar múltiples tareas como el GPT-4 de OpenAI ; y sistemas diseñados específicamente para realizar una tarea específica, como el Cicerón de Meta.

Estos sistemas de IA están entrenados para ser honestos, pero durante el entrenamiento a menudo aprenden trucos engañosos para completar tareas, dijo Park.

Los sistemas de IA entrenados para “ganar juegos con un elemento social” son particularmente propensos a engañar, encontró el estudio.

Por ejemplo, el equipo intentó usar a Cicero entrenado por Meta para jugar Diplomacy, un juego de estrategia clásico que requiere que los jugadores construyan alianzas para sí mismos y rompan alianzas rivales. Como resultado, esta IA a menudo traiciona a sus aliados y miente descaradamente.

Los experimentos con GPT-4 demostraron que la herramienta de OpenAI logró "manipular psicológicamente" con éxito a un empleado de TaskRabbit, una empresa que brinda servicios de limpieza de casas y montaje de muebles, al decirle que en realidad era un humano y que necesitaba ayuda para pasar un código Captcha, alegando una discapacidad visual grave. Este empleado ayudó a la IA de OpenAI a "cruzar la línea" a pesar de las dudas previas.

El equipo de Park citó una investigación de Anthropic, la compañía detrás de Claude AI, que descubrió que una vez que un modelo de lenguaje grande (LLM) aprende a engañar, los métodos de entrenamiento seguros se vuelven inútiles y "difíciles de revertir". El grupo cree que este es un problema preocupante en la IA.

Los resultados de la investigación del equipo se publicaron en Cell Press, una colección de importantes informes científicos multidisciplinarios.

Meta y OpenAI no han comentado los resultados de esta investigación.

Temiendo que los sistemas de inteligencia artificial pudieran suponer riesgos importantes, el equipo también pidió a los responsables de las políticas que introdujeran regulaciones más estrictas sobre la IA.

Según el equipo de investigación, es necesario regular la IA, obligar a los modelos con comportamiento fraudulento a cumplir con requisitos de evaluación de riesgos y un control estricto de los sistemas de IA y sus resultados. Si es necesario, puede que sea necesario eliminar todos los datos y volver a entrenar desde cero.

Dejar un comentario

¿Se vería Europa involucrada en una hipotética guerra nuclear entre Estados Unidos, Israel e Irán? Explicación de las normas de la OTAN.

¿Se vería Europa involucrada en una hipotética guerra nuclear entre Estados Unidos, Israel e Irán? Explicación de las normas de la OTAN.

Una guía sobre los artículos 4 y 5 de la OTAN, las normas de legítima defensa de la ONU y por qué la consulta no implica la entrada automática de Europa en la guerra.

¿Podría Irán ya tener armas nucleares? Cómo interpretar las pruebas.

¿Podría Irán ya tener armas nucleares? Cómo interpretar las pruebas.

Evaluar las afirmaciones sobre Irán en seis pasos, distinguiendo entre enriquecimiento de uranio, desarrollo de armas y posesión verificada.

Autoridad nuclear de EE. UU. e Israel: lo que explican realmente las fuentes públicas.

Autoridad nuclear de EE. UU. e Israel: lo que explican realmente las fuentes públicas.

Comprenda la autoridad para tomar decisiones nucleares en seis pasos, incluyendo el control civil estadounidense y los límites de la información pública sobre Israel.

Estrecho de Ormuz en 2026: Lo que dicen las fuentes oficiales sobre las interrupciones en el transporte marítimo

Estrecho de Ormuz en 2026: Lo que dicen las fuentes oficiales sobre las interrupciones en el transporte marítimo

Una guía con la información oficial disponible hasta 2026 sobre las interrupciones en el transporte marítimo por el estrecho de Ormuz, las reclamaciones relacionadas con Irán, los incidentes confirmados y las cuestiones que aún se desconocen.

¿Un hipotético ataque nuclear estadounidense-israelí contra Irán provocaría la Tercera Guerra Mundial?

¿Un hipotético ataque nuclear estadounidense-israelí contra Irán provocaría la Tercera Guerra Mundial?

Una guía basada en fuentes sobre los riesgos de escalada nuclear, las normas de la Carta de las Naciones Unidas y el Artículo 5 de la OTAN en un escenario estrictamente hipotético con Irán.

Cómo prepararse para un hipotético apagón relacionado con un pulso electromagnético: 5 pasos para civiles

Cómo prepararse para un hipotético apagón relacionado con un pulso electromagnético: 5 pasos para civiles

Siga estos cinco pasos para prepararse ante un apagón; los escenarios nucleares y de pulso electromagnético son hipotéticos, y las instrucciones oficiales de refugio deben seguirse primero.

Cómo evaluar las interrupciones cibernéticas sin presuponer una Tercera Guerra Mundial: una guía de 5 pasos

Cómo evaluar las interrupciones cibernéticas sin presuponer una Tercera Guerra Mundial: una guía de 5 pasos

Siga estos 5 pasos de defensa para verificar una interrupción cibernética, proteger las cuentas domésticas y evitar confundir un apagón con una guerra.

Invierno nuclear: cómo evaluar los efectos climáticos globales de un hipotético ataque iraní.

Siga estos 5 pasos para evaluar los efectos climáticos de un hipotético ataque en Irán, comparar las suposiciones de los modelos y evitar predicciones sin fundamento.

¿Cuánto tiempo tardaría la Tierra en recuperarse tras una hipotética guerra nuclear?

¿Cuánto tiempo tardaría la Tierra en recuperarse tras una hipotética guerra nuclear?

Descubra seis pasos para interpretar investigaciones sobre el clima, la alimentación y la recuperación de los ecosistemas tras un hipotético conflicto nuclear.

Lista de verificación para la preparación ante la lluvia radiactiva: suministros esenciales y medidas para la construcción de refugios.

Lista de verificación para la preparación ante la lluvia radiactiva: suministros esenciales y medidas para la construcción de refugios.

Crea un kit práctico de preparación para emergencias por lluvia radiactiva en seis pasos, con alimentos y agua envasados, una radio, suministros médicos e instrucciones para refugiarse.