Un organismo británico alertó que modelos de IA mostraron un nivel de autonomía y engaño sin precedentes

El Instituto de Seguridad de la IA del Reino Unido (AISI) informó que los modelos Mythos, de Anthropic, y Sol, de OpenAI, exhibieron un nivel de autonomía y engaño que el organismo aseguró no había observado hasta ahora durante pruebas de seguridad.

Según el informe, un agente de Mythos creó identidades falsas basadas en personas reales e intentó manipular a usuarios para introducir código malicioso en GitHub, la plataforma utilizada por desarrolladores para almacenar y compartir software. Además, el sistema habría modificado parte de su actividad cuando detectó que sus acciones estaban siendo cuestionadas e incluso evaluó adoptar una nueva identidad para continuar con el intento.

Los investigadores aclararon que todas las maniobras fueron detenidas por la supervisión humana y que el código malicioso nunca llegó a incorporarse al sistema de GitHub. Aun así, remarcaron que fue la primera vez que observaron comportamientos de este tipo sin que el modelo hubiera recibido instrucciones específicas para actuar de esa manera.

El organismo británico también señaló que detectó transferencias inusuales de datos durante las pruebas y que algunos agentes realizaron actividades potencialmente perjudiciales dirigidas a personas y organizaciones reales. La mayoría de los episodios atribuidos por AISI correspondieron al modelo Mythos, mientras que Sol, de OpenAI, fue vinculado únicamente a dos de las acciones observadas.

Tras conocerse el informe, Anthropic y OpenAI respondieron que las pruebas fueron realizadas con varias de las protecciones habituales reducidas o desactivadas, por lo que consideraron que el escenario evaluado no representa el funcionamiento cotidiano de sus sistemas. Ambas compañías aseguraron que continuarán colaborando con los organismos de evaluación para reforzar las medidas de seguridad.

Desde AISI explicaron que este tipo de pruebas con restricciones reducidas forma parte de los procedimientos habituales para evaluar el comportamiento de los modelos en situaciones extremas. Sin embargo, advirtieron que las conductas detectadas fueron más allá de lo esperado y abrieron un nuevo debate sobre los desafíos que plantea el desarrollo de sistemas de inteligencia artificial cada vez más avanzados.