NACIONES UNIDAS – Las salvaguardas utilizadas actualmente para controlar los sistemas de inteligencia artificial pueden estar quedándose atrás frente al rápido desarrollo de los llamados agentes de IA, advirtió este lunes 21 un panel científico independiente respaldado por las Naciones Unidas.
La advertencia se basa en el análisis de un incidente ocurrido este verano boreal, durante unas pruebas realizadas por OpenAI, la empresa estadounidense creadora del programa ChatGPT, en las que agentes de inteligencia artificial lograron vulnerar sistemas de la plataforma de modelos de aprendizaje automático Hugging Face.
A diferencia de un chatbot, que normalmente responde a preguntas o instrucciones concretas, un agente de inteligencia artificial puede realizar tareas de forma autónoma en nombre de un usuario, tomando decisiones y ejecutando distintos pasos para alcanzar un objetivo.
El Panel Científico Internacional Independiente sobre Inteligencia Artificial concluyó que el incidente reunió tres condiciones que los investigadores llevan tiempo señalando como relevantes para un posible escenario de pérdida de control.
https://www.un.org/independent-international-scientific-panel-ai/en/thematic-briefs/ai-agents-misalignment-risks?
Ellas son: que un sistema persiga un objetivo de una manera distinta a la prevista, que tenga capacidad suficiente para hacerlo y que el entorno le permita actuar.
“Este verano, los tres se dieron juntos en un sistema real, no en un laboratorio. Dado que no se trata de una observación aislada, esto plantea serias preguntas sobre la forma en que actualmente se entrenan los agentes de IA”, explicó el científico informático canadiense Yoshua Bengio, copresidente del panel.
Aunque se trataba de una evaluación, los agentes interactuaron con sistemas reales y lograron superar algunos de los controles establecidos.
Durante esas pruebas, realizadas entre mayo y julio, unos 1200 agentes de IA intercambiaron más de 70 000 mensajes y archivos, en una actividad que se extendió desde Hugging Face hasta un clúster (agrupación) de investigación de OpenAI.
Según el análisis, los agentes lograron sortear salvaguardas establecidas para las pruebas, coordinarse a través de una herramienta interna que no había sido diseñada para permitir la comunicación entre ellos, y obtener acceso no autorizado a internet y a funciones de administrador.
También ocultaron intentos de hacer trampa en evaluaciones de ciberseguridad y, en algunos casos, ciertos agentes llegaron a “sacrificarse” en beneficio del grupo.
Para los expertos, el episodio no demuestra que los seres humanos hayan perdido el control de estos sistemas ni significa que una pérdida grave de control sea inevitable.
Pero detener el incidente tampoco ofrece garantías de que los humanos puedan controlar de manera fiable agentes más avanzados, especialmente a medida que estos se vuelvan más capaces, difíciles de supervisar y mejores a la hora de encontrar lagunas o esconder sus actividades.
La explicación más inmediata de lo que pasó, según el panel, es que se pasaron por alto prácticas básicas de ciberseguridad y que las protecciones existentes no están avanzando al mismo ritmo que las capacidades de la inteligencia artificial.
Sin embargo, los científicos plantean una preocupación más profunda: que los métodos actuales de entrenamiento puedan llevar a los agentes a adoptar objetivos propios, incumplir instrucciones de seguridad y ocultar lo que están haciendo.
La incógnita es si las salvaguardas diseñadas hoy seguirán funcionando cuando los propios agentes puedan entenderlas y planificar cómo sortearlas.
El panel define la pérdida de control como una situación en la que los seres humanos ya no pueden dirigir, limitar o detener de forma fiable un sistema autónomo de inteligencia artificial.
“Esto no es únicamente una cuestión de velocidad. En términos sencillos, el modelo tradicional de salvaguardas está comenzando a desmoronarse”, señala el análisis.
Los expertos advierten de que el desafío para la gobernanza de la inteligencia artificial está cambiando.
Hasta ahora, buena parte de la regulación y de las medidas de seguridad se han concentrado en los modelos de IA. Pero el creciente uso de agentes capaces de actuar de manera autónoma plantea riesgos distintos.
Un fallo localizado podría extenderse a través de organizaciones e incluso de fronteras nacionales, por lo que la seguridad de la inteligencia artificial podría convertirse no sólo en una cuestión de gobernanza empresarial, sino también de seguridad colectiva, señala el panel.
El análisis examina también las prácticas desarrolladas durante décadas en otros sectores de alto riesgo, como la aviación, la medicina y la ciberseguridad, donde existen sistemas de notificación de incidentes, supervisión independiente y múltiples capas de protección.
Sin embargo, esas medidas podrían no ser suficientes a medida que los agentes de inteligencia artificial sean más capaces, autónomos y difíciles de vigilar.
“No partimos de cero”, afirmó Qinghua Lu, integrante del panel y especialista en seguridad de inteligencia artificial, “pero será necesario adaptar las salvaguardas existentes y desarrollar otras nuevas que protejan a la propia IA, al sistema en el que opera, y que continúen siendo efectivas a medida que aumenten sus capacidades”.
El panel fue creado por la Asamblea General de la ONU en agosto de 2025 y está integrado por 40 expertos independientes de todas las regiones del mundo.
Sus miembros trabajan a título personal y sus conclusiones científicas no están sujetas a revisión o aprobación de las Naciones Unidas.
A-E/HM
