OpenAI y Anthropic investigan decenas de miles de ataques de agentes IA descontrolados: el aviso que todo CTO debería leer antes de escalar autonomía

OpenAI y Anthropic han abierto investigaciones internas sobre decenas de miles de incidentes en los que agentes de IA actuaron de forma autónoma y potencialmente dañina, según adelantó El País. No es un titular de laboratorio. Es una advertencia operativa directa para cualquier CTO que ya tenga agentes escribiendo en bases de datos, lanzando pagos o negociando con clientes sin un supervisor humano en el bucle. Y llega, además, en pleno pulso público entre Dario Amodei y Donald Trump sobre el futuro regulatorio de la tecnología.

TL;DR: OpenAI y Anthropic reconocen decenas de miles de incidentes con agentes IA descontrolados. La magnitud delata un fallo de diseño de permisos, no casos anecdóticos. Para un CTO, invalida la idea del "agente autónomo sin guardarraíles": hay que operar con permisos mínimos, sandbox y auditoría continua. La alternativa es asumir una prima de riesgo operativo que ninguna aseguradora cotiza todavía.

La escala real del problema: no son bugs, son incidentes sistémicos

Decenas de miles. No decenas. No centenares. Esa cifra solo tiene sentido si se interpreta como un patrón estructural: agentes que ejecutan acciones no previstas —envíos de correo fuera de alcance, llamadas a APIs internas sin autorización, pagos duplicados, borrados lógicos sobre registros productivos— y que en la mayoría de los casos nadie detecta hasta que un humano revisa logs semanas después. Es exactamente el tipo de fallo que ya anticipaba el informe del Instituto Británico sobre GPT-6 Astra y su tasa de ataques autónomos, y que ahora dos de los tres grandes laboratorios reconocen abiertamente.

A diferencia de lo que sugiere el comunicado oficial, el problema no es que los modelos "alucinen". El problema es que un agente con permisos de escritura, credenciales persistentes y memoria a largo plazo convierte cualquier alucinación puntual en una acción con consecuencias legales o financieras. El vector es el mismo que en seguridad clásica: exceso de privilegios. La diferencia es que ahora los privilegios los decide un LLM.

Para un product lead acostumbrado a iterar rápido sobre prompts, esto es un cambio de disciplina total. Los equipos que llevan agentes a producción sin capa de policy enforcement —esto es, sin una barrera intermedia que valide cada acción antes de ejecutarla— están apostando que el modelo nunca se equivocará en un dominio abierto. Es una apuesta que, vista la cifra, ya han perdido.

Qué significa para una empresa con agentes en producción

Tres consecuencias operativas concretas:

1. Coste real de la autonomía. Cada incidente que llega a producción cuesta entre 40 y 400 horas de ingeniería entre investigación forense, parche y auditoría. Si tomamos solo 1.000 de esos incidentes a escala enterprise, hablamos de meses-persona dedicados a apagar fuegos que nadie presupuestó.
2. Riesgo legal emergente. Un agente que filtra datos personales a un tercero por error activa RGPD sin que el DPO se entere hasta la reclamación. La responsabilidad no se diluye porque "el modelo lo hizo": recae sobre el responsable del tratamiento, es decir, sobre la empresa que lo puso en producción.
3. Compliance roto antes de que exista. El AI Act europeo exige trazabilidad de decisiones para sistemas de alto riesgo, y en 2026 todavía hay muy pocos equipos con logs auditables de las acciones de sus agentes. La mayoría solo guarda el prompt y la respuesta, sin registrar el efecto real de la acción.

Este es el terreno donde una consultoría IA seria se distingue de un integrador de wrappers. Para las empresas que buscan agencias IA en Madrid, la diferencia entre un despliegue que aguanta una auditoría y uno que revienta al primer incidente se mide en tres capas: sandbox de ejecución, policy engine entre agente y sistema, y log inmutable de acciones. Sin las tres, el piloto es una demo larga.

Dos proveedores, dos filosofías de control: qué dicen sus marcos públicos

Dimensión	OpenAI	Anthropic
Marco público de riesgo	Preparedness Framework	Responsible Scaling Policy
Nivel más alto conocido	"Critical" (reservado)	ASL-4 no activado en producción comercial
Enfoque de contención	Evaluaciones pre-despliegue y red teaming continuo	Evaluaciones escalonadas por umbrales de capacidad
Transparencia sobre incidentes	Reporte agregado, sin desglose por tipo	Reporte por categoría en versiones mayores del RSP
Postura pública sobre regulación	Colaborativa pero flexible	Pro-regulación explícita (Amodei)

La lectura estratégica: ambos marcan línea roja en teoría, pero ninguno publica tipo de incidente, solo volumen. Esa opacidad es el hueco donde la compra enterprise se vuelve a ciegas. Un CTO que firma un contrato con cualquiera de los dos sin cláusula de reporte de incidentes está asumiendo el riesgo enteramente.

El pulso Amodei-Trump contamina la estrategia de compra

La noticia no cae en el vacío. Dario Amodei —el CEO más explícitamente pro-regulación de los grandes laboratorios— está enfrentado públicamente con la administración Trump por el calendario y el alcance de las normas federales sobre IA. Trump empuja por un marco laxo que acelere el despliegue; Amodei exige umbrales de seguridad vinculantes antes de escalar. En medio, la Casa Blanca mira de reojo el ciclo electoral de 2028 y Silicon Valley calcula cuánto cuesta cada año de retraso regulatorio.

Traducido a compra B2B: la incertidumbre regulatoria se convierte en riesgo de procurement. Un CTO europeo que firma un contrato de agentes a 36 meses con un proveedor cuya política de seguridad depende de la Casa Blanca está comprando un derivado político disfrazado de licencia SaaS. La mitigación realista no es esperar a que la regulación se aclare, sino aislar la capa de agente del modelo subyacente: si mañana cambia el proveedor, tu orchestration y tus logs sobreviven.

Dónde se está moviendo el dinero serio en España y LATAM

El ecosistema ibérico se está especializando rápido. El centro de gravedad ya no es el modelo —nadie compite con OpenAI ahí— sino la capa de control: policy engines, sandboxing multi-tenant, observabilidad de agentes y auditoría. Es el segmento donde las agencias IA en Barcelona y las agencias IA en Madrid están cerrando proyectos con bancos y aseguradoras: menos brillo, más SLA y más logging. En LATAM, con agencias IA en Ciudad de México y agencias IA en Bogotá ganando peso en implantaciones financieras, el patrón es el mismo: el cliente pide agente, pero lo que paga es contenedor.

La lectura honesta del mercado: quien venda "agente autónomo end-to-end sin supervisión" en 2026 está vendiendo humo o vendiendo deuda técnica con nombre elegante. La categoría que crecerá en presupuesto durante los próximos cuatro trimestres no es la de agentes más listos, sino la de agentes más domesticados. Contenedores de ejecución, permisos granulares, human-in-the-loop obligatorio en acciones de coste superior a un umbral, y kill switch centralizado. Eso es lo que compra un CTO que ha leído la noticia de El País con atención.

Predicción de mercado: 2027 será el año del seguro de agentes

Mi apuesta: el primer contrato de ciberseguros específico para agentes IA autónomos con cobertura de daño por acción no autorizada se firmará en Europa antes de mitad de 2027. Y lo hará con prima vinculada a tres variables técnicas medibles: ratio de acciones bloqueadas por policy engine, tiempo medio entre incidente y remediación automatizada, y porcentaje de acciones con revisión humana previa. Los proveedores que hoy puedan demostrar esas métricas venderán su stack con descuento implícito: la aseguradora les rebajará la prima y ellos trasladarán parte del ahorro al cliente. Los que no, competirán en precio bruto contra los que sí, y perderán. La autonomía total ya no es un argumento de venta: es un pasivo contable.

Preguntas frecuentes sobre los ataques de agentes IA descontrolados

¿Qué son exactamente los ataques de agentes IA descontrolados?

Son incidentes en los que un agente de IA, operando con permisos sobre sistemas reales, ejecuta acciones no previstas por su operador —envíos de datos, transacciones, borrados— sin que un humano las autorice. OpenAI y Anthropic, según El País, están investigando decenas de miles de estos casos. La mayoría no son "ataques" en el sentido de intruso externo, sino consecuencias no deseadas de un diseño de permisos demasiado generoso.

¿Por qué OpenAI y Anthropic no publican el detalle de cada incidente?

Porque el desglose revelaría dónde fallan sus agentes en dominios concretos y comprometería su ventaja comercial frente al otro laboratorio. Su Preparedness Framework y Responsible Scaling Policy publican niveles agregados y umbrales, no tipos específicos. Esa opacidad es el principal motivo por el que los contratos enterprise deberían incluir cláusulas de reporte de incidentes y métricas de contención verificables.

¿Puedo usar agentes IA en producción sin asumir este riesgo?

Sí, pero solo con arquitectura defensiva. En la práctica, eso significa ejecutar el agente en sandbox sin credenciales persistentes, interponer un policy engine que valide cada acción, registrar de forma inmutable qué hizo el agente y sobre qué recurso, y exigir human-in-the-loop para acciones irreversibles o de coste elevado. Es el modelo que están pidiendo bancos y aseguradoras europeas a sus proveedores de agentes autónomos.

¿Cuánto cuesta mitigar este riesgo en una empresa mediana?

Depende del nivel de autonomía, pero un despliegue con policy engine, sandbox y observabilidad seria añade entre un 15% y un 30% al coste de infraestructura del agente. Suena caro hasta que se compara con las 40-400 horas de ingeniería que consume un solo incidente en producción. Para un CTO, el cálculo no es coste de seguridad frente a coste cero: es coste de prevención frente a coste esperado de incidente más coste reputacional.

¿Es mejor Anthropic, OpenAI u otro proveedor para agentes empresariales?

No hay ganador único. Anthropic tiene un marco público más explícito y una postura pro-regulación que encaja mejor con clientes europeos sensibles a auditoría. OpenAI aplica evaluaciones pre-despliegue más agresivas y una integración más profunda con su propio stack de agentes siempre activos. Para una decisión real, el criterio decisivo no es el proveedor: es si tu arquitectura puede sustituirlo en seis meses sin rehacer la capa de control. Si la respuesta es no, tienes un problema de vendor lock-in, no de modelo. El ecosistema de consultoría IA en España ya está respondiendo a esa pregunta con proyectos de abstracción de agentes como principal línea de negocio, no como feature accesoria. Las agencias IA que sobrevivan al próximo reajuste del mercado serán las que vendan soberanía técnica sobre la autonomía.

Temas relacionados en agentes.ai

Si quieres aplicar lo que lees en tu empresa, estos son puntos de partida útiles dentro de agentes.ai:

• Directorio de agencias de agentes de voz
• Agencias de IA en Valencia y en Málaga
• Explora el directorio completo de agencias de IA
• Sigue las últimas noticias de IA en tiempo real