Sam Altman admite que habrá «cosas malas» con la IA: lo que significa para tu contrato, tu seguro y tus agentes

Sam Altman ha dicho, sin anestesia, que el mundo debería aceptar que «sucedan algunas cosas malas» si de verdad quiere captar los beneficios de la IA. Lo recogió Genbeta el 30 de octubre de 2026 y lo presentó como una de sus diferencias de fondo con Anthropic. Traducido a la mesa de un comité de dirección: el proveedor de modelos más grande del planeta te está avisando, en público, de que no va a cubrir el daño residual de tu despliegue.

TL;DR: Altman admite que habrá incidentes derivados de la IA y sostiene que tolerarlos es el precio de capturar sus beneficios, marcando distancia con la postura precautoria de Anthropic. Esa frase no es filosofía: es una transferencia de riesgo hacia quien compra y despliega. Analizamos qué cambia en contratos, seguros, criterios de compra y diseño de agentes autónomos bajo el AI Act europeo.

El «daño aceptable» es una transferencia de riesgo al comprador

Cuando el CEO de un proveedor dice que algunos daños son asumibles, lo que está haciendo es fijar el perímetro de lo que no piensa indemnizar. Y en la práctica, ese perímetro ya es casi todo: los términos empresariales estándar de OpenAI y de Anthropic excluyen responsabilidad por las salidas del modelo, con topes que en muchos casos se limitan a las cuotas pagadas en los últimos doce meses. Si tu agente de atención al cliente promete un reembolso inexistente y provoca una fuga de caja, el proveedor no es el responsable contractual.

La diferencia con el cloud clásico es importante. Cuando AWS cae, hay un SLA con créditos y un histórico de disponibilidad medible. Cuando un modelo alucina, no hay SLA que cubra el error semántico. La Declaración de Altman formaliza lo que ya estaba en la letra pequeña: el riesgo de aplicación es tuyo. Para un CTO esto no es una advertencia moral, es una línea más del análisis de coste total de propiedad, junto al coste por millón de tokens.

Y ojo con el matiz: Altman enmarca la tolerancia al daño en clave social —vidas, información, decisiones públicas—, no en clave de P&L. Pero la empresa que integra un agente en producción opera en la capa donde esos dos planos se tocan. Ahí no hay «daño aceptable»: hay siniestro, reclamación y, si el sistema es de alto riesgo, expediente administrativo.

OpenAI vs Anthropic: la seguridad como criterio de compra, no como relato

La comparación que hace Altman es real en el discurso y bastante más difusa en la práctica contractual. Estas son las diferencias que un comité de compras puede verificar hoy:

Dimensión	OpenAI	Anthropic
Marco público de riesgo	Preparedness Framework (Low → Critical)	Responsible Scaling Policy (niveles ASL-2 a ASL-5)
Umbral de pausa	No despliega si el riesgo es High/Critical sin mitigaciones	Pausa el entrenamiento o despliegue si no hay salvaguardas probadas
Postura declarada	Innovación primero, tolerancia acotada al daño	Precaución primero, capacidad de decisión humana
Transparencia	System cards y evaluaciones parciales	System cards y evaluaciones ligadas al RSP
Responsabilidad sobre salidas	Exención estándar	Exención estándar

La última fila es la que importa. Ni OpenAI ni Anthropic firman cheque en blanco por lo que haga tu agente con su modelo. La diferencia de gobernanza se juega en la capa de riesgo catastrófico —capacidad peligrosa del modelo base—, no en el error operativo que te va a costar dinero el martes. Vender «seguridad» como criterio de compra sin leer el anexo de limitación de responsabilidad es hacer procurement de marketing.

Dicho esto, la postura de Anthropic sí tiene una consecuencia práctica: sus políticas de escalado obligan a evaluaciones previas antes de subir de nivel de capacidad. Para un cliente europeo que opera en un sector regulado, eso se traduce en más documentación auditable del proveedor. Con OpenAI, el marco existe pero el umbral de pausa es más laxo y la comunicación pública de incidentes es más selectiva. En una due diligence de terceros bajo AI Act, ese detalle pesa.

La «capacidad de decisión» que defiende Altman es una decisión de arquitectura

Altman insiste en que la gente mantenga capacidad de decisión. Suena a declaración de principios, pero es una restricción de diseño con coste. Si aceptas ese marco, tus agentes autónomos no pueden operar en bucle cerrado sobre decisiones con impacto económico o legal: necesitan puertas de aprobación humana, trazabilidad de cada acción y un botón de parada real, no un «contacta con soporte».

Eso tiene un precio en latencia y en horas-persona. Un agente de voz que gestiona devoluciones sin supervisión puede resolver el 70% de las llamadas, pero si el 30% restante requiere validación, tu ahorro se recalcula. El ecosistema de agencias IA en Barcelona está especializándose en este tipo de arquitecturas híbridas —humano en el bucle para operaciones sensibles, autonomía plena para tareas reversibles—, porque los clientes corporativos ya no compran «autonomía total», compran autonomía acotada con auditoría.

A diferencia de lo que sugiere el relato del lanzamiento, el verdadero reto para las agencias españolas no es integrar el modelo más potente, sino diseñar el sistema de permisos que decide qué puede hacer el agente sin preguntar. Ahí se gana o se pierde el contrato con un banco, una aseguradora o una cadena retail.

El coste real de un incidente no se mide en tokens

Aquí entra la normativa europea, que es la que convierte la filosofía de Altman en euros. El AI Act establece sanciones de hasta 35 millones de euros o el 7% del volumen de negocio global para prácticas prohibidas, hasta 15 millones o el 3% por incumplir obligaciones de sistemas de alto riesgo, y hasta 7,5 millones o el 1% por información incorrecta a las autoridades. A partir de agosto de 2026 las obligaciones sobre sistemas de alto riesgo son plenamente aplicables.

Si despliegas un sistema de IA en RRHH, scoring crediticio, sanidad o infraestructuras críticas, eres «deployer» con obligaciones propias: supervisión humana efectiva, registro de eventos, evaluación de impacto y notificación de incidentes graves en plazos cortos. La frase de Altman no te exime de nada de eso. Al contrario: refuerza la necesidad de un sistema de gestión de riesgos documentado que sobreviva a una inspección.

Para las empresas que buscan consultoría IA para preparar ese expediente, el encargo ya no es «implantar un chatbot», es «montar el marco de gobernanza que el regulador va a pedir». Y ese marco incluye la decisión explícita de qué daños toleras como organización, con qué umbral y quién firma cuando se cruza.

Comprar IA cuando el proveedor admite el daño

El playbook de procurement cambia. Primero, dejas de comprar un modelo y empiezas a comprar una cadena de responsabilidad: quién responde si el agente ejecuta una acción no autorizada, quién conserva los logs, durante cuánto tiempo y con qué nivel de detalle. Segundo, exiges evaluación propia con tu dataset, no la demo del proveedor: los benchmarks públicos no te dicen cómo se comporta el modelo con tus políticas internas.

Tercero, negocias cláusulas de incidente: notificación en plazo, derecho a auditoría, obligación de informar de cambios de versión que alteren comportamiento. Cuarto, revisas la póliza. El seguro de responsabilidad civil tecnológica cubre parcialmente errores de software, pero la cobertura específica de IA aún es incipiente y las aseguradoras piden evidencia de controles. Sin logs y sin supervisión documentada, no hay póliza.

Quinto, diseñas para degradar. Todo despliegue con agentes IA en producción necesita un modo de operación reducido que se active cuando el sistema falla o cuando una nueva versión del modelo cambia el comportamiento sin previo aviso. Los proveedores actualizan modelos con más frecuencia de la que tu proceso de validación soporta; ese desfase es una fuente de riesgo estructural que ningún marco de seguridad del proveedor va a cubrir por ti.

El ecosistema de agencias IA en Madrid que trabaja con grandes cuentas ya está incorporando estas capas al alcance del proyecto, porque el cliente ha aprendido que el coste de integración inicial es la parte barata. Si tu proveedor actual no te puede entregar un registro de incidentes o un plan de contingencia por cambio de modelo, tienes un problema que la próxima renovación va a hacer explícito.

Predicción: el «riesgo aceptable» se convierte en cláusula y en producto de seguro

Mi lectura es que la declaración de Altman no es un desliz, es una posición estratégica que va a normalizar el lenguaje del sector. En los próximos ciclos de renovación veremos cláusulas de tolerancia al daño negociadas con la misma intensidad que hoy se negocian los SLA de disponibilidad, y aparecerán coberturas específicas de IA con primas calculadas sobre evidencia de controles, no sobre declaraciones de principios.

El proveedor que publique un registro verificable de incidentes y permita auditoría técnica se llevará los contratos regulados, incluso si su modelo puntúa peor en un benchmark. Porque cuando el CEO del mayor laboratorio del mundo dice que algunas cosas malas van a pasar, la pregunta del comité de dirección deja de ser «¿es seguro?» y pasa a ser «¿quién firma cuando pasa?». Y esa respuesta solo se compra con contratos, arquitectura y evidencia.

Preguntas frecuentes sobre la postura de Sam Altman y el riesgo de la IA

¿Qué ha dicho exactamente Sam Altman sobre los daños de la IA?

Sostiene que el mundo debería aceptar que sucedan algunas cosas malas para poder aprovechar los beneficios de la inteligencia artificial, y presenta esta postura como una de sus diferencias con Anthropic. Además defiende que las personas mantengan capacidad de decisión sobre los sistemas. Es una posición pública sobre tolerancia al riesgo, no un cambio en los términos contractuales de OpenAI.

¿Quién paga si un agente de IA causa un daño en mi empresa?

En la práctica, tú. Los términos empresariales estándar de los principales proveedores excluyen la responsabilidad por las salidas del modelo y limitan la indemnización a las cuotas pagadas. La responsabilidad operativa y regulatoria recae en quien despliega el sistema. Por eso son necesarios logs, supervisión humana documentada y, cuando exista, una póliza específica con evidencia de controles.

¿Es más seguro contratar Anthropic que OpenAI?

Depende de qué llames seguro. Anthropic publica una política de escalado con umbrales de pausa más estrictos, lo que genera más documentación auditable del proveedor. Pero ambos eximen la responsabilidad sobre las salidas del modelo, así que el riesgo operativo de tu aplicación sigue siendo tuyo en los dos casos. La elección afecta a la due diligence, no al reparto de responsabilidad.

¿Cómo afecta el AI Act europeo a esta tolerancia al daño?

La sustituye por obligaciones concretas. Si tu sistema es de alto riesgo, eres «deployer» y debes garantizar supervisión humana efectiva, registro de eventos, evaluación de impacto y notificación de incidentes graves. Las sanciones llegan a 35 millones de euros o el 7% del volumen de negocio global en prácticas prohibidas, y a 15 millones o el 3% por incumplir obligaciones de alto riesgo. Ninguna declaración de un proveedor te exime.

¿Puedo usar agentes autónomos en producción con este nivel de riesgo?

Sí, con autonomía acotada. El patrón que funciona es permitir ejecución plena en tareas reversibles y de bajo impacto, y exigir aprobación humana en operaciones con efecto económico, legal o sobre personas. Ese diseño añade latencia y coste, pero es el único que sobrevive a una auditoría y a una reclamación. La alternativa —autonomía total sin trazabilidad— es un pasivo contable pendiente de materializarse.

Temas relacionados en agentes.ai

Si quieres aplicar lo que lees en tu empresa, estos son puntos de partida útiles dentro de agentes.ai:

• Directorio de agencias de agentes de voz
• Agencias de IA en Sevilla y en Zaragoza
• Explora el directorio completo de agencias de IA
• Sigue las últimas noticias de IA en tiempo real