Modelos · · 11 min de lectura

Inkling 2 Mini de Thinking Machines Lab: cómo reducir tokens de razonamiento con un modelo abierto de 26.4B

Analizamos la arquitectura de repetición de capas de Inkling 2 Mini, su viabilidad en hardware local y el impacto económico de sustituir cadenas de pensamiento verbosas por cómputo interno.

Comparte: Compartir en LinkedIn Publicar en X

Inkling 2 Mini de Thinking Machines Lab reduce el consumo de tokens de razonamiento ejecutando tres pasadas por sus capas intermedias con solo 26.400 millones de parámetros. Para un CTO, esto permite desplegar inferencia lógica compleja en hardware local o portátiles corporativos, eliminando la factura variable de las cadenas de pensamiento verbosas en APIs comerciales.

TL;DR: Thinking Machines Lab ha lanzado Inkling 2 Mini, un transformador de pesos abiertos de 26.4B de parámetros diseñado para ejecutarse incluso en un ordenador portátil. Su arquitectura repite las capas intermedias tres veces por token, trasladando el esfuerzo de razonamiento del texto visible al procesamiento latente. Mi tesis es que este diseño cambia la economía de los flujos agénticos al recortar el sobrecoste por tokens generados.

¿Qué es Inkling 2 Mini y cómo funciona su repetición de capas?

Inkling 2 Mini es un modelo transformador de pesos abiertos desarrollado por Thinking Machines Lab que cuenta con 26.400 millones de parámetros y optimiza el razonamiento repitiendo sus capas intermedias tres veces por cada token procesado, según recoge Techmeme. Esta arquitectura compacta permite su ejecución directa en un ordenador portátil sin depender de clústeres en la nube.

El enfoque habitual de la industria para mejorar la lógica en modelos de lenguaje ha consistido en expandir la cadena de pensamiento (Chain-of-Thought): forzar al sistema a emitir cientos o miles de tokens intermedios antes de entregar la respuesta final. La fuente afirma que la propuesta de Thinking Machines Lab ataca el problema desde la arquitectura del transformador, aplicando una recurrencia de tres iteraciones sobre los bloques intermedios por cada token generado.

Se deduce de estos datos que el modelo desacopla el almacenamiento de conocimiento (fijado en los 26.400 millones de parámetros en memoria) de la profundidad computacional aplicada a cada paso de inferencia. En términos de ingeniería de sistemas, el procesamiento ocurre de la siguiente manera:

  1. Ingesta y proyección inicial: El token atraviesa las primeras capas de embedding y atención estándar sin multiplicar la huella de memoria de los pesos.
  2. Bucle de refinamiento latente: Las capas intermedias procesan la representación oculta del token tres veces consecutivas, permitiendo resolver dependencias lógicas sin emitir texto visible.
  3. Decodificación ahorrativa: El cabezal de salida proyecta un token final que ya incorpora tres ciclos de cómputo interno, reduciendo la necesidad de verbalizar pasos intermedios.

Mi tesis es que esta separación entre memoria estática y cómputo por token es la vía más pragmática para llevar capacidades de razonamiento a entornos edge y servidores departamentales. Mientras que escalar a modelos de más de 70B o 100B bloquea la ejecución local por falta de VRAM, mantener una huella de 26.4B y aumentar los ciclos de reloj sobre las mismas matrices permite aprovechar la potencia de cálculo de los procesadores modernos sin saturar el ancho de banda de memoria.

¿Cómo cambia la estructura de costes frente a los modelos de razonamiento por API?

El cambio principal radica en sustituir el pago por tokens de pensamiento verbalizados por un coste de cómputo local fijo y predecible. Al procesar la lógica mediante tres repeticiones de sus capas intermedias en lugar de generar largas secuencias de texto oculto, Inkling 2 Mini evita que las llamadas iterativas disparen la factura de inferencia.

En despliegues empresariales que orquestan agentes autónomos para procesos de negocio, el coste real rara vez está en la respuesta final que lee el usuario, sino en el monólogo interno que el modelo genera para validar reglas, parsear JSON o decidir qué herramienta invocar. Cuando un proveedor de API cobra por cada token de razonamiento generado, la latencia de red y el gasto operativo escalan de forma lineal con la verbosidad del modelo.

Para dimensionar el impacto operativo, podemos plantear un cálculo propio de volumen de tokens (etiquetado estrictamente como simulación matemática bajo supuestos explícitos, no como benchmark de mercado):

  • Datos de partida y supuestos: Supongamos un flujo B2B de auditoría documental que ejecuta 10.000 consultas diarias. Asumimos un escenario A (modelo tradicional de cadena de pensamiento explícita) que requiere una media supuesta de 600 tokens de razonamiento intermedio más 150 tokens de salida final por consulta (750 tokens generados en total). Asumimos un escenario B (arquitectura tipo Inkling 2 Mini) donde la triple pasada por capa intermedia permite reducir la verbalización intermedia en un supuesto 60%, requiriendo 240 tokens de apoyo más los mismos 150 tokens de salida (390 tokens generados en total).
  • Operación: En el escenario A, el sistema decodifica 7.500.000 tokens diarios ($10.000 \times 750$). En el escenario B, el sistema decodifica 3.900.000 tokens diarios ($10.000 \times 390$).
  • Resultado del cálculo: Bajo estos supuestos, el ahorro en generación secuencial es de 3.600.000 tokens diarios (una reducción del 48% en el volumen total de decodificación). Incluso asumiendo que cada token de Inkling 2 Mini exige más operaciones de coma flotante (FLOPs) por su triple paso interno, reducir casi a la mitad los pasos de decodificación autorregresiva alivia el principal cuello de botella de la inferencia LLM: la lectura repetida de la caché KV en memoria.
Dimensión técnica y económica Razonamiento por expansión de tokens (CoT tradicional) Razonamiento por recurrencia de capas (Inkling 2 Mini)
Arquitectura declarada Transformador estándar de paso único por capa Transformador de 26.4B con 3 repeticiones en capas intermedias
Mecanismo de razonamiento Emisión secuencial de tokens intermedios antes de la respuesta Refinamiento en espacio latente mediante bucle de capas por token
Cuello de botella en hardware Ancho de banda de memoria por lectura continua de pesos y caché KV Capacidad de cómputo (ALU/Tensor Cores) por triplicar el paso intermedio
Huella de despliegue Frecuentemente dependiente de nube o clústeres multi-GPU dedicados Ejecutable localmente, incluso en un ordenador portátil
Licencia de los pesos Mayoritariamente propietarios o abiertos de gran tamaño (>70B) Pesos abiertos (open-weights)

¿En qué casos de uso B2B tiene sentido desplegar un modelo de 26.4B en local?

Desplegar Inkling 2 Mini en infraestructura local tiene sentido en flujos de trabajo que exigen soberanía estricta del dato, desconexión de redes públicas o ejecución intensiva sin coste marginal por petición. Sus 26.400 millones de parámetros y su capacidad para correr en un portátil lo hacen viable para auditoría de código, clasificación legal y extracción estructurada.

La volatilidad actual del sector tecnológico —con las acciones de Anthropic cayendo hasta un 12% en su segundo día de cotización y la crisis de gobernanza en Nvidia tras la destitución de Jensen Huang por falta de franqueza ante su junta— demuestra el peligro de atar la operativa crítica de una empresa a un único proveedor de nube o de silicio propietario. Al mismo tiempo, la fuga de vendedores veteranos en plataformas como Etsy tras cambiar sus términos para entrenar IA con contenido de usuarios refleja una resistencia creciente a ceder propiedad intelectual a terceros.

En este clima de desconfianza hacia las plataformas centralizadas, un modelo de pesos abiertos de 26.4B capaz de razonar en un portátil o en un servidor on-premise modesto resuelve tres problemas reales de dirección técnica:

  • Consultoría, auditoría y defensa en terreno: Equipos que trabajan en instalaciones de clientes sin acceso a internet o bajo normativas de confidencialidad que prohíben enviar código fuente o contratos a endpoints externos. El modelo viaja en la estación de trabajo del auditor.
  • Microservicios de transformación y enrutamiento: En proyectos de integración de sistemas empresariales con IA, utilizar un modelo gigante en la nube para validar esquemas de datos o decidir qué API interna llamar es matar moscas a cañonazos. Un modelo de 26.4B con alto razonamiento por token puede actuar como orquestador local sin coste variable.
  • Procesamiento por lotes nocturno (batch processing): Empresas que necesitan analizar miles de expedientes internos diariamente utilizando su capacidad instalada ociosa, amortizando hardware propio en lugar de pagar peajes por token en proyectos de automatización de procesos complejos.

¿Cuáles son los límites técnicos y riesgos de adoptar Inkling 2 Mini en producción?

El principal límite técnico de Inkling 2 Mini es la penalización de cómputo por token individual derivada de ejecutar sus capas intermedias tres veces, junto con la restricción de conocimiento enciclopédico propia de una red de 26.400 millones de parámetros. Si la tarea requiere memoria factual masiva en lugar de deducción lógica, el modelo mostrará carencias.

Adoptar cualquier arquitectura de pesos abiertos recién lanzada exige separar la novedad científica de la fiabilidad en producción. Un director de producto o CTO debe evaluar tres compromisos arquitectónicos antes de sustituir sus pipelines actuales:

  1. Tiempo hasta el primer token (TTFT) en prompts extensos: Se deduce de su arquitectura que, al repetir las capas intermedias tres veces por token, la fase de prellenado (prefill) —que es intensiva en cómputo puro— exigirá más ciclos de procesador que en un modelo estándar de 26.4B. Si envías documentos de 30.000 tokens en el prompt, el portátil tardará notablemente más en empezar a responder, aunque luego ahorre tiempo al emitir menos tokens de salida.
  2. Conocimiento de cola larga limitado: Un modelo de 26.4B no puede almacenar en sus pesos la misma cantidad de hechos oscuros, jurisprudencia específica o sintaxis de librerías minoritarias que un modelo frontera de varios cientos de miles de millones de parámetros. Para que funcione en producción B2B, debe operar obligatoriamente acoplado a una arquitectura RAG (Generación Aumentada por Recuperación) que le inyecte el contexto factual en cada consulta.
  3. Soporte del ecosistema de inferencia: Las arquitecturas no estándar que introducen bucles o repetición de capas a menudo requieren adaptaciones específicas en motores de inferencia como vLLM, llama.cpp o TensorRT-LLM para alcanzar su rendimiento teórico. Antes de comprometer recursos internos, conviene apoyarse en una consultoría especializada en estrategia e infraestructura de IA para auditar si los motores de cuantización actuales respetan la estabilidad numérica tras tres pasos consecutivos por las mismas capas.

El lanzamiento de Thinking Machines Lab confirma una transición estructural en el mercado B2B: la era de medir la capacidad de un sistema únicamente por su recuento bruto de parámetros o por la longitud de sus cadenas de texto intermedias ha tocado techo económico. En los próximos doce meses veremos cómo los departamentos de ingeniería corporativos dejan de subvencionar la verbosidad de las grandes APIs comerciales para adoptar arquitecturas recurrentes compactas, donde la inteligencia del sistema se mide por cuánta lógica es capaz de resolver en silencio antes de escribir la primera palabra.

Preguntas frecuentes sobre Inkling 2 Mini

¿Cuántos parámetros tiene Inkling 2 Mini y quién lo ha desarrollado?

Inkling 2 Mini cuenta exactamente con 26.400 millones de parámetros y ha sido desarrollado por el laboratorio de investigación Thinking Machines Lab. Se distribuye como un modelo transformador de pesos abiertos, lo que permite a las empresas descargar, inspeccionar y ejecutar la red neuronal en su propia infraestructura sin depender de APIs de terceros.

¿Por qué Inkling 2 Mini necesita menos tokens para razonar?

El modelo reduce la cantidad de tokens necesarios porque repite sus capas intermedias tres veces por cada token que procesa. En lugar de escribir largas cadenas de texto intermedio para resolver un problema paso a paso, realiza ese esfuerzo de refinamiento lógico dentro de sus representaciones internas antes de emitir la respuesta.

¿Qué hardware se necesita para ejecutar Inkling 2 Mini?

Según los datos de lanzamiento reportados por Techmeme, Inkling 2 Mini es lo suficientemente compacto como para ejecutarse directamente en un ordenador portátil. Su tamaño de 26.4B de parámetros evita la necesidad de grandes clústeres de servidores, permitiendo su despliegue en estaciones de trabajo locales con memoria unificada o GPUs de consumo avanzadas.

¿Cuándo conviene usar Inkling 2 Mini frente a un modelo comercial en la nube?

Conviene utilizarlo cuando el caso de uso exige privacidad estricta de los datos, operación sin conexión a internet o un control riguroso del gasto por inferencia en tareas lógicas repetitivas. Por el contrario, si la aplicación requiere un conocimiento enciclopédico masivo sin apoyo de buscadores externos, un modelo frontera en la nube seguirá teniendo ventaja.

Temas relacionados en agentes.ai

Si quieres aplicar lo que lees en tu empresa, estos son puntos de partida útiles dentro de agentes.ai:

Posts relacionados