Aplicaciones · · 6 min de lectura

CLM-8B: un verificador abierto hasta 9× más rápido que Jev en zero-shot y 4,1–5,7× como verificador

CLM-8B puntúa acciones sin generar texto. Qué miden realmente sus comparaciones con Jev, qué precisión sacrifica y qué exige autoalojarlo.

Comparte: Compartir en LinkedIn Publicar en X

Revisión editorial: 29 de octubre de 2026.

CLM-8B es un modelo abierto de Contrastive-LM que puntúa la adecuación entre un estado y acciones candidatas sin generar una explicación. La ficha oficial en Hugging Face y el repositorio de código publican comparaciones de latencia y precisión con Jev, además de resultados como verificador en tareas de software. Son cifras de los autores, no mediciones independientes de agentes.ai.

TL;DR: El resultado de hasta 9× procede únicamente de T-Rex en zero-shot: 16,5 ms para CLM local en una RTX 4090 frente a 149,8 ms para la API alojada de Jev, no una prueba con el mismo hardware. Como verificador ajustado, los autores miden entre 4,1 y 5,7× menos latencia en H100. CLM es más rápido en sus pruebas, pero no más preciso: queda por debajo de Jev en BFCL v4 y WikiRacing y empata en los juegos. No existe una comparación publicada con un juez generativo basado en LLM.

No marca el fin del verificador generativo

La comparación correcta no es «puntuación frente a generación». Jev ya es un modelo System One no generativo: la documentación oficial de TypeSafe indica que devuelve decisiones tipadas y probabilidades, no texto generado. CLM-8B explora otra forma de obtener esa señal mediante aprendizaje contrastivo.

Por tanto, los datos publicados no permiten afirmar que CLM supere a un LLM-as-a-judge generativo ni que esa categoría haya quedado obsoleta. Tampoco eliminan la necesidad de permisos, umbrales, revisión humana o trazabilidad: una puntuación ordena candidatas, pero no demuestra por sí sola que una acción sea segura.

Arquitectura, entrenamiento y significado del score

La ficha del modelo describe un codificador Qwen3-8B congelado con dos cabezas de proyección, una para estados y otra para acciones, entrenadas con una pérdida InfoNCE bidireccional. El entrenamiento combina aproximadamente:

  • 60 millones de pares de preguntas y respuestas Nemotron.
  • 30 millones de negativos difíciles sintéticos.
  • 1 millón de trayectorias de agentes.

En inferencia, CLM compara la representación del estado con la de cada candidata. La separación permite reutilizar embeddings cuando se repiten estados o acciones. Sus probabilidades se obtienen en relación con el conjunto de candidatas suministrado: no son una garantía de calibración absoluta ni una probabilidad universal de éxito. Antes de fijar un umbral hay que evaluar esa relación con datos propios y decidir qué ocurre si ninguna candidata es aceptable.

Qué miden las comparaciones zero-shot

Los autores presentan a CLM como más rápido en todas las pruebas, pero no como más preciso. Esta distinción evita convertir una ventaja de latencia en una victoria general:

Prueba Resultado publicado Lectura correcta
T-Rex, zero-shot CLM: 16,5 ms; Jev: 149,8 ms La única base del «hasta 9×»; CLM local en RTX 4090 frente a Jev mediante API alojada, con red y entornos distintos
BFCL v4 CLM: 95,2%; Jev: 99,2% CLM es menos preciso en esta prueba de llamadas a herramientas
WikiRacing CLM: 26/30; Jev: 30/30 Menor latencia no equivale a igualdad de aciertos
Juegos evaluados Empate en precisión No respalda una superioridad de calidad

Estas cifras proceden del repositorio oficial y sus evaluaciones. Para un despliegue real hace falta repetir la comparación con idénticas tareas, candidatas, hardware, red, lotes y configuración de caché.

Resultados como verificador: más contexto y una discrepancia aritmética

Aquí CLM no funciona con la cabeza de referencia en zero-shot, sino con cabezas ajustadas que eligen la mejor de varias soluciones ya generadas:

  • DeepSWE: 81,6%, equivalente a 31 de 38 tareas reservadas, seleccionando la mejor de cuatro candidatas producidas por Opus 5.
  • Terminal-Bench 2.1: 87,6% sobre 30 tareas reservadas, seleccionando la mejor de cinco candidatas producidas por Fable 5.
  • Latencia de verificación: los autores reportan entre 4,1 y 5,7× menos latencia que Jev en H100.

El 87,6% merece una cautela explícita: con 30 tareas, un recuento entero de aciertos avanza en incrementos de 3,33 puntos, y el repositorio no explica cómo deriva ese porcentaje. Debe atribuirse a los autores y no presentarse como un resultado independiente ni como un recuento directo reconstruible. Estos experimentos miden el valor de CLM dentro de un sistema best-of-N; no son benchmarks independientes del modelo base ni prueban el mismo rendimiento en otros dominios.

Autoalojamiento, licencia y límites operativos

El código y los pesos de CLM-8B se publican bajo Apache 2.0, y la ficha también identifica Qwen3-8B como Apache 2.0. El autoalojamiento no consiste en cargar solo una cabeza ligera: la guía oficial requiere servir Qwen3-8B mediante vLLM, una GPU de 24 GB y la cabeza de referencia de 75 MB. Hay que presupuestar el codificador completo, la memoria y la operación, no únicamente el archivo de la cabeza.

La configuración documentada trunca los estados que superan 2.048 tokens. Aumentar el límite exige cambiar tanto vLLM como clm-serve y consume más memoria. La cabeza de referencia se ha probado y calibrado en contextos de 2K a 8K, por lo que no debe darse por válida una ventana mayor sin una evaluación específica.

Otros límites prácticos son la ausencia de explicaciones generadas, la dependencia del codificador y la necesidad de ajustar cabezas para reproducir los resultados de verificador. En dominios distintos de código y terminal, la generalización debe demostrarse con tareas propias.

Cómo evaluarlo sin sobredimensionar la evidencia

Un piloto útil compara el verificador actual y CLM sobre las mismas acciones candidatas y recoge precisión de la elección final, latencia total, reintentos, escalados y coste de infraestructura. Si se usa una cascada, también debe medirse cuántos casos siguen necesitando revisión generativa o humana. El objetivo es comprobar el equilibrio entre calidad y latencia por tarea, no trasladar el 9× de T-Rex a toda la arquitectura.

Para decisiones cerradas con etiquetas predefinidas, el enfoque de Liquid AI d1 es una alternativa relacionada, aunque su interfaz y sus condiciones no son idénticas.

Preguntas frecuentes sobre CLM-8B

¿CLM-8B es nueve veces más rápido que Jev en cualquier tarea?

No. Ese máximo corresponde a T-Rex en zero-shot y compara CLM local en RTX 4090 con la API alojada de Jev. En los dos trabajos de verificación publicados, el rango declarado es de 4,1–5,7× menos latencia en H100.

¿También supera a Jev en precisión?

No de forma general. Los autores reportan 95,2% frente a 99,2% en BFCL v4 y 26/30 frente a 30/30 en WikiRacing, con empate en los juegos. La evidencia respalda una compensación entre velocidad y precisión que debe medirse en cada uso.

¿Ha demostrado superar a un verificador generativo?

No hay una comparación publicada contra un LLM-as-a-judge generativo. Además, Jev ya devuelve decisiones tipadas y probabilidades sin generar texto, así que tampoco sería correcto presentarlo como ese tipo de baseline.

¿Es open source y se puede autoalojar?

El código y los pesos tienen licencia Apache 2.0. El despliegue documentado necesita Qwen3-8B servido con vLLM, una GPU de 24 GB y la cabeza de 75 MB; también deben respetarse los límites de contexto y evaluarse los términos aplicables a los datos y al uso previsto.

Temas relacionados en agentes.ai

Si quieres aplicar lo que lees en tu empresa, estos son puntos de partida útiles dentro de agentes.ai:

Posts relacionados