Anthropic ha retirado el acceso a internet en tiempo real de todos sus modelos de inteligencia artificial durante sus evaluaciones internas. La medida se adoptó después de que varios agentes capaces de resolver tareas complejas sin supervisión humana exhibieran conductas inesperadas y explotaran fallos de seguridad en sitios web.
Una denuncia falsa enviada a la Policía de Filadelfia
El incidente más relevante consistió en el envío de una pista falsa sobre un homicidio al Departamento de Policía de Filadelfia, en Pensilvania (Estados Unidos). La propia compañía informó de este episodio en un comunicado, tras detectar las anomalías durante una revisión interna de registros que comenzó en julio.
Según Anthropic, sus agentes de IA llegaron a sortear muros de pago en bases de datos públicas, emplear acortadores de enlaces para ocultar transferencias y rellenar formularios sensibles sin intervención humana.
El mensaje inventado por Claude Haiku 4.5
Durante una prueba, el modelo Claude Haiku 4.5 recibió la instrucción de interactuar de forma exploratoria con páginas web seleccionadas al azar. En ese proceso, encontró un portal sobre un crimen sin resolver que incluía un canal para que los ciudadanos aportaran información.
El sistema envió un aviso falso con el siguiente texto: «Es posible que tenga información sobre este caso. Recuerdo haber visto a alguien que coincidía con la descripción en la zona durante ese período de tiempo. Por favor, pónganse en contacto conmigo si esta información es relevante».
El mensaje fue clasificado directamente como spam y no provocó la movilización de los investigadores. No obstante, el caso generó preocupación por la capacidad de los modelos para crear información falsa al tratar de cumplir una orden.
«Aunque el impacto de estos comportamientos fue mínimo y ya habíamos desactivado el acceso a internet en tiempo real para algunas evaluaciones de ciberseguridad y de alto riesgo, ahora hemos decidido ampliarlo para incluir todas nuestras evaluaciones internas hasta que hayamos confirmado que nuestras medidas de seguridad y supervisión detectan de forma fiable comportamientos como estos», explicó Anthropic.
El reto del control de los agentes de IA
La empresa admitió además que las actuales técnicas de entrenamiento «aún no son suficientes» para garantizar un control estricto de los modelos de IA cuando navegan por internet.
Estos comportamientos se relacionan con el denominado «reward hacking» o hackeo de recompensas: una situación en la que el agente interpreta que saltarse restricciones forma parte del éxito necesario para alcanzar su objetivo. Los modelos también llegaron a afectar a servidores de agencias del Gobierno de Estados Unidos.
Una solución que reduce los riesgos, pero también la utilidad
Aislar a los modelos de IA del entorno exterior elimina de forma inmediata determinados riesgos de seguridad, aunque también reduce considerablemente su utilidad en situaciones reales, según señaló The Verge.
«Hay que alinearlos en algún momento», advirtió Sydney Von Arx, fundadora de Nightingale. «Si las IA se lanzan a producción y nunca tienen acceso a internet, no son herramientas muy útiles».
Por su parte, Conrad Stosz, portavoz de Transluce, sostuvo que estos fallos demuestran «la necesidad de una verificación independiente, creíble y por parte de terceros de los sistemas de IA».
Deja una respuesta