ElevenLabs Realtime: 0,57 segundos para enterrar el turno de palabra en los agentes de voz

ElevenLabs acaba de poner en el mercado Eleven Realtime v1 y v1 Max, dos modelos de voz a voz con 0,57 segundos de latencia y 98,8 % en el benchmark Big Bench Audio para la variante Max. La compañía afirma que ningún modelo del ranking de Artificial Analysis es simultáneamente más rápido y más preciso. Traducido al mundo real: el enésimo intento de matar la conversación por turnos en los agentes de voz.

TL;DR: ElevenLabs cierra la brecha entre latencia y precisión con Eleven Realtime v1 Max: 98,8 % en Big Bench Audio y 570 ms de respuesta. Para un CTO, el cambio no está en la calidad de la voz, sino en que desaparece la excusa técnica para no desplegar agentes conversacionales en atención al cliente, cualificación de leads y soporte telefónico. El cuello de botella se traslada del motor de voz al enrutado, la orquestación y el coste por minuto. Las agencias IA que sólo vendan 'voces bonitas' van a tener un problema comercial.

El fin del turno de palabra como arquitectura por defecto

Durante los últimos tres años, casi todos los agentes de voz desplegados en producción en España funcionaban con una arquitectura de tres patas: STT (speech-to-text) → LLM → TTS (text-to-speech), con un VAD (voice activity detection) que decidía cuándo el usuario había terminado de hablar. Esa arquitectura introduce entre 1,2 y 2,5 segundos de latencia total en el mejor de los casos, y muchos más si el LLM es grande o el TTS no está cacheado.

Los Eleven Realtime modelos rompen el esquema: son speech-to-speech, es decir, el modelo procesa audio de entrada y emite audio de salida directamente, sin pasar por una representación textual intermedia obligatoria. La latencia publicada de 0,57 segundos para v1 Max no es marketing: es el umbral psicológico a partir del cual una conversación deja de sentirse 'de robot' y empieza a sentirse humana. El benchmark Big Bench Audio mide precisamente eso, calidad de comprensión y respuesta en tareas conversacionales, no sólo WER (word error rate) como los benchmarks clásicos de ASR.

ElevenLabs lo confirma en su nota recogida por The Decoder: ningún modelo del ranking de Artificial Analysis combina simultáneamente esa velocidad y esa precisión. Es una afirmación de posicionamiento agresiva, y hay que leerla como tal. Artificial Analysis mide un conjunto limitado de modelos comerciales, no todos los open-source en producción. La ventaja puede durar semanas, no años.

Qué implica para el coste real de un agente de voz en producción

Aquí viene lo que los anuncios oficiales no dicen. Un modelo voz a voz más rápido no necesariamente abarata el minuto de conversación, porque el coste ya no está en la latencia, sino en tres capas: el precio por segundo de audio, el coste de orquestación (function calling, retrieval, memoria) y el coste de telefonía (SIP trunking, terminación).

La tabla real que un CTO debería tener hoy sobre la mesa sería esta:

Capa	Qué mide	Peso típico en el coste/minuto
Motor voz a voz	Precio por segundo procesado	30-45 %
Orquestación LLM + tools	Tokens de contexto, llamadas a APIs	25-40 %
Telefonía y streaming	SIP, transcodificación, CDN	10-20 %
Observabilidad y QA	Trazas, evals, human-in-the-loop	5-15 %

Si sólo se optimiza la primera capa, el ahorro agregado rara vez supera el 15 %. Aquí es donde las agencias IA en Madrid y las agencias IA en Barcelona que realmente están desplegando agentes en banca, seguros y telco llevan meses ganando dinero: no revendiendo el modelo, sino rediseñando el enrutado y la memoria conversacional para que el motor de voz no tenga que pedir contexto al LLM en cada turno.

La precisión del 98,8 % no significa 'listo para producción sin guardarraíles'

Un 98,8 % en Big Bench Audio es un número excelente. Pero conviene desconfiar de la lectura ingenua. Big Bench Audio evalúa precisión de respuesta en dominios controlados, no resistencia a prompt injection por audio, no robustez ante ruido industrial, no acentos extremos, no code-switching castellano-catalán-inglés (un escenario habitual en atención al cliente en Cataluña o en soporte técnico de multinacionales).

La diferencia entre un agente de demo y un agente en producción sigue estando en el 1,2 % restante. Un agente que falla 1 de cada 80 turnos en un call center de 5.000 llamadas diarias genera 62 conversaciones problemáticas cada día. Con datos personales o financieros, eso es inviable sin un layer de escalado a humano.

Dicho de otro modo: Eleven Realtime v1 Max sube el techo de calidad del motor, pero no resuelve el problema de la evaluación continua. El verdadero coste operativo de los agentes autónomos en voz está en la observabilidad: trazas de audio, transcripciones anotadas y evals automatizadas con muestreo humano. Ningún benchmark sustituye ese trabajo.

El desplazamiento del valor: del TTS al motor de enrutado

Hay una lectura de mercado que conviene poner sobre la mesa. ElevenLabs no compite ya contra otros TTS. Compite contra arquitecturas de agentes completas: contra el stack de OpenAI Realtime, contra Google Gemini Live, contra soluciones propias montadas sobre Whisper + Llama + Cartesia. Al lanzar dos variantes (v1 y v1 Max), está segmentando por caso de uso: v1 para conversaciones de alto volumen donde la latencia importa más que la precisión fina; v1 Max para casos donde una respuesta errónea tiene coste legal o económico.

Esa segmentación es inteligente y, a la vez, tramposa. Porque el comprador empresarial no quiere elegir entre velocidad y precisión: quiere ambas, y con SLA. La pregunta correcta que debería hacer un product lead no es '¿cuál de los dos contrato?', sino '¿cuál de los dos me aguanta un 99,5 % de disponibilidad en navidad?'. ElevenLabs no ha publicado todavía SLA por variante en la información disponible. Eso, y no los benchmarks, es lo que un CTO debe exigir en la negociación.

Para las empresas que buscan una agencia de agentes de voz con experiencia real, este lanzamiento es una buena noticia: reduce la fricción técnica para montar PoCs en una semana en lugar de un trimestre. Para las agencias que sólo revendían integraciones sobre TTS clásicos, es una mala noticia: su capa de valor se adelgaza.

España: donde el agente de voz se juega el EBITDA

El mercado español tiene un contexto particular que conviene subrayar. La penetración de agentes de voz en atención al cliente sigue siendo baja comparada con Reino Unido o Alemania, pero el coste laboral del turno telefónico ha subido y la presión regulatoria (tiempos de espera, atención a colectivos vulnerables) ha aumentado. Un agente de voz con 0,57 segundos de latencia cambia la ecuación de coste-beneficio: por primera vez, el cliente no percibe que habla con una máquina lenta.

El ecosistema de consultoría IA en Valencia, Sevilla o Bilbao tiene aquí una ventana de doce a dieciocho meses antes de que los grandes integradores (Accenture, Deloitte, NTT Data) empaqueten la solución y la revendan con margen de servicios. Esa ventana es la que explica por qué las agencias IA en Madrid están fichando perfiles de speech engineer, no de marketing.

Un dato que un CFO español debería tener en la cabeza: en un contact center de 200 agentes humanos, sustituir el 30 % de las llamadas de nivel 1 por un agente de voz bien diseñado puede reducir entre 1,2 y 2,4 millones de euros anuales en coste operativo. La latencia de 0,57 s no es lo que produce ese ahorro, pero sí es lo que permite que el cliente no cuelgue en los primeros 10 segundos, que es donde se pierde el 60 % de las sustituciones mal ejecutadas.

TorchTPU y el resto del ruido del día

Mientras ElevenLabs mueve ficha en voz, Google ha liberado TorchTPU, su versión de PyTorch para correr sobre TPUs sin reescribir código. Es una noticia relevante para el stack de infraestructura, pero de segundo orden para quien está comprando agentes: la batalla del silicio y la batalla de la interacción ocurren en capas distintas. Que no te distraigan los titulares cruzados. El anuncio de Oro Mobility (80 M$) o la contratación de 300.000 temporales por parte de Amazon para Navidad confirman una cosa: la automatización no está sustituyendo empleo estacional de inmediato, pero sí está reconfigurando qué tareas se reservan para humanos.

La predicción: el precio por minuto de voz va a caer un 60 % en doce meses

Once the latency barrier is broken, competition shifts to price. ElevenLabs ha ganado la carrera de calidad y latencia esta semana, pero el mercado de modelos voz a voz está a punto de comoditizarse igual que pasó con los LLM entre 2023 y 2025. OpenAI Realtime, Google Gemini Live y al menos dos actores chinos van a presionar el precio por minuto hacia abajo durante los próximos doce meses. Mi predicción concreta: el coste por minuto de un agente de voz conversacional en producción caerá un 60 % antes de octubre de 2027, y la diferenciación se trasladará definitivamente a la orquestación, la memoria y el cumplimiento regulatorio.

Lo que eso significa para un directivo que esté leyendo esto ahora: no firmes contratos de voz a doce meses con precio fijo. Y no compres 'agentes de voz' como producto. Compra capacidad de diseño de flujos conversacionales, porque es la única capa que no se va a abaratar por decreto del mercado.

Preguntas frecuentes sobre ElevenLabs Realtime

¿Qué es Eleven Realtime de ElevenLabs?

Es una nueva familia de modelos de voz a voz (speech-to-speech) diseñada para conversaciones de IA en tiempo real. Incluye dos variantes: v1 y v1 Max, esta última con un 98,8 % en el benchmark Big Bench Audio y 0,57 segundos de latencia de respuesta. A diferencia de los stacks STT → LLM → TTS clásicos, procesa audio directamente y elimina la representación textual intermedia.

¿Cuánto cuesta Eleven Realtime?

ElevenLabs no ha publicado tarifas específicas por variante en la información disponible del lanzamiento. Lo relevante para un CTO es que el coste real por minuto de un agente de voz depende más de la orquestación (tokens LLM, tools, memoria) y de la telefonía que del motor de voz en sí. Antes de contratar, exige precio por segundo de audio y SLA por variante.

¿Puedo usar Eleven Realtime v1 Max en producción desde hoy?

Técnicamente sí, pero con matices. El 98,8 % de precisión en Big Bench Audio no equivale a robustez ante prompt injection por audio, ruido industrial, acentos marcados o code-switching. Para producción real en banca, seguros o salud, necesitas un layer de evaluación continua y un mecanismo de escalado a humano para el 1,2 % de casos fallidos.

¿Eleven Realtime v1 o v1 Max: cuál elegir?

v1 está pensado para conversaciones de alto volumen donde la latencia prima sobre la precisión fina. v1 Max para casos donde una respuesta errónea tiene coste legal o económico. Para la mayoría de despliegues B2B en España, el patrón sensato es empezar con v1 Max en horario comercial y v1 en valle nocturno, con enrutado dinámico según tipo de consulta.

¿Cómo afecta esto a las agencias IA en España?

Reduce la fricción técnica para montar PoCs de agentes de voz en una semana, lo que baja la barrera de entrada. Para las agencias que sólo revendían integraciones sobre TTS clásicos, adelgaza su capa de valor. Para las que saben diseñar flujos conversacionales, memoria y observabilidad, abre una ventana comercial de doce a dieciocho meses antes de que los grandes integradores empaqueten la solución.

Temas relacionados en agentes.ai

Si quieres aplicar lo que lees en tu empresa, estos son puntos de partida útiles dentro de agentes.ai:

• Directorio de agencias de agentes de voz
• Agencias de IA en Sevilla y en Zaragoza
• Explora el directorio completo de agencias de IA
• Sigue las últimas noticias de IA en tiempo real