Arquitecturas de modelos · Inferencia y hardware
¿Se acabaron los LLM? Qué es NCM y qué cambia de verdad
Un modelo que escribe por niveles, una cifra de 31× que se entendió mal y un archivo de 5 bytes. Revisado contra el artículo original de Stanford.
En corto: NCM (Next-Concept Modeling) es una forma nueva de generar texto: primero un boceto de toda la respuesta y luego más detalle, nivel por nivel. Es real, es rápido y tiene resultados interesantes. Pero no reemplaza a los LLM, porque también es un LLM, y hoy no lo puedes usar como asistente.
- Verificado: revisado directamente en el artículo, el repositorio o el informe técnico.
- Análisis: interpretación o cálculo propio, no lo dicen las fuentes.
- Corrección: dato del video que se precisa contra la fuente primaria.
El problema: escribir de a un token
Los chatbots que usas hoy son autorregresivos (AR): producen un token, lo agregan al texto y recién entonces calculan el siguiente. El token 500 no puede partir hasta que termina el 499.
Lo caro de cada paso no son tanto las cuentas como el transporte. Para producir un solo token, la GPU tiene que leer los pesos del modelo desde su memoria. Es como consultar un manual de 16 kilos que está en la bodega: da lo mismo lo rápido que pienses si para cada palabra tienes que ir a buscarlo.
Dónde se pierde el tiempo
Un modelo de 16 GB escribiendo 1.024 tokens, en una GPU que mueve 1.792 GB/s.
Cálculo ilustrativo solo del tráfico de pesos: 16 GB × 1.024 lecturas ÷ 1.792 GB/s. No incluye el tiempo de cálculo.
Por eso los modelos más capaces también se sienten más lentos: más parámetros significan más memoria que transportar por cada token.
El informe técnico de Google lo plantea igual: con una o pocas solicitudes, la generación autorregresiva queda limitada por la memoria, y el tiempo moviendo pesos y caché supera con creces al de cálculo 4.
Tres formas de escribir el mismo texto
Para entender NCM conviene compararlo con los otros dos enfoques. Prueba el esquema: cada cuadro es una de las 48 posiciones de un resumen, que es la prueba de donde sale la cifra del 31×.
Cómo se llenan 48 posiciones
Elige un método, reprodúcelo y mira qué se gasta en cada caso.
Niveles reales del modelo XSum de NCM: 6, 10, 14, 20, 26, 32, 40 y 48. El esquema de difusión usa 128 pasadas sobre las 48 posiciones como referencia. Sin JavaScript, usa la tabla de abajo.
| Método (48 tokens) | Lecturas de pesos | Posiciones calculadas | Qué lo frena |
|---|---|---|---|
| Token a token | 48 | 48 | Memoria |
| Difusión | 128 | 6.144 | Cálculo, y muchas pasadas |
| NCM | 8 | 196 | Cálculo, pero mucho menos |
Esta tabla es la idea central de la pieza. AR calcula poco, pero viaja a la memoria muchísimas veces. La difusión viaja algo más y además recalcula todo en cada pasada. NCM viaja poco y calcula bastante menos que la difusión, aunque más que AR.
Cómo funciona NCM por dentro
Una analogía que usa Jorge Marfil en su video funciona muy bien: una foto que llega por WhatsApp con mala señal. Primero ves un borrón, luego formas, y al final los detalles finos. NCM hace eso con el texto. Para lograrlo necesita dos modelos, que se entrenan por separado.
Las dos piezas de NCM
Tamaños del modelo de resúmenes (XSum).
1. Compresor
Un VQ-VAE residual multiescala aprende a convertir texto en códigos, por niveles. Se entrena primero y se congela.
60,6 M de parámetros2. Generador
Un transformer normal predice todos los códigos de un nivel a la vez, usando los niveles anteriores como guía.
88,0 M de parámetros3. Decodificador
Es parte del compresor. Recibe la suma de todos los niveles y recién ahí la convierte en palabras.
Las palabras salen al finalFuente: tablas 5 y 6 del artículo 1. Sin el compresor no hay texto, así que el sistema real suma unos 149 M.
La palabra residual es la clave: cada nivel guarda solo lo que los anteriores no alcanzaron a capturar. Es como dar una dirección: primero la comuna, después la calle y al final el número. Cada dato corrige y precisa lo anterior.
Este es un caso real del artículo: una traducción del alemán al inglés, leída después de cada nivel.
Una traducción que se va afinando
Mueve el control para avanzar por los 11 niveles del modelo de traducción.
Salidas textuales de la tabla 12 del artículo 1; es una sola ejecución. Los decodificados intermedios son para inspeccionar el proceso: en generación normal, el texto solo se decodifica al final.
Fíjate en dos cosas. La primera es que la estructura de la oración aparece antes que los detalles. La segunda es que la calidad no sube en línea recta: pasa de 51,7 en el nivel 8 a 38,9 en el nivel 9, y los autores lo advierten explícitamente.
"Concepto" no significa idea. Tampoco es exactamente "un número de una tabla", como se dice en el video. En el artículo, concepto es la información que llevan los niveles gruesos de la jerarquía; los códigos son la forma de guardarla. Las tablas tienen 4.096 entradas en casi todos los modelos, 8.192 en LM1B y 16 en Sudoku. Y no tiene relación con los Large Concept Models de Meta de 2024.
¿En qué se diferencia de la difusión?
Ambos escriben varias posiciones a la vez, pero un modelo de difusión típico trabaja siempre sobre el texto completo: cada pasada cuesta lo mismo, y si reduces pasadas, la calidad cae rápido. NCM solo trabaja en toda la longitud en la última pasada, y nunca vuelve a un nivel ya hecho.
Qué significa de verdad el 31×
El dato es real, pero se difundió sin sus condiciones. Esto es lo que se midió:
- Contra quién: Aurora-LM, un modelo de difusión. No contra GPT, Claude ni otro modelo autorregresivo.
- En qué: resúmenes de 48 tokens en el conjunto XSum, con calidad comparable.
- Cómo: tiempo real para generar 1.024 secuencias, en lotes de 16, en una NVIDIA H100 de 80 GB.
En otras pruebas la ventaja fue de 21× en LM1B y de 10× en OpenWebText. En las mediciones de velocidad del artículo no encontré ninguna contra un modelo AR; contra AR compara calidad y número de pasadas, no tiempo.
El 31× coincide con la razón de posiciones calculadas. Difusión: 48 × 128 = 6.144. NCM: 196. La razón es 31,35. Dicho de otro modo: 16 veces menos pasadas, por pasadas que en promedio cuestan cerca de la mitad (24,5 posiciones contra 48). Es una coincidencia sugerente y no una demostración: asume que Aurora-LM procesa 48 posiciones por pasada y que el costo escala parejo con ellas.
Dónde gana y dónde pierde
Una de las virtudes del artículo es que publica también sus derrotas. Mira las pasadas junto a la nota: mejorar la calidad casi siempre sale a cambio de más pasadas.
Calidad y pasadas por tarea
Más alto es mejor en las tres. Cada barra está escalada dentro de su propio panel.
Traducción alemán-inglés
WMT14 · BLEU
| AR clásico | 25,2 | 64 pasadas · 99 M |
|---|---|---|
| E2D2 (difusión) | 24,8 | 64 pasadas · 99 M |
| NCM | 22,6 | 11 pasadas · 120 M |
| NCM + MBR | 25,2 | 132 pasadas · 120 M |
Resumen de noticias
XSum · ROUGE-L
| AR clásico | 24,4 | 64 pasadas · 99 M |
|---|---|---|
| Aurora-LM | 26,6 | 128 pasadas · 130 M |
| Aurora-LM + guía | 28,6 | 184 pasadas · 130 M |
| NCM | 28,0 | 8 pasadas · 88 M |
| NCM + MBR | 29,6 | 128 pasadas · 88 M |
Sudoku difícil
30 pistas · % resuelto
| AR (greedy) | 1,0 | 128 pasadas · 25 M |
|---|---|---|
| DUO | 58,4 | 128 pasadas · 29 M |
| FMLM+ | 81,3 | 16 pasadas · 29 M |
| NCM | 86,1 | 12 pasadas · 25 M |
Fuente: tablas 2 y 3 del artículo 1. Los modelos son pequeños y experimentales; ninguna de estas notas es comparable con un asistente actual. Los tamaños cuentan solo el generador.
¿Qué es MBR? Generar varios candidatos y quedarse con el que más se parece a los demás, como una votación interna. NCM puede pagarlo porque cada candidato le sale barato: para igualar a AR en traducción usa 12 candidatos de 11 pasadas, o sea 132 en total, casi el doble que las 64 de AR.
¿Por qué arrasa en Sudoku? Ahí todas las casillas dependen entre sí. Un modelo AR se compromete de izquierda a derecha y no puede corregir; NCM refina el tablero completo por niveles, lo que le permite planificar globalmente.
En Sudoku, 128 y 12 son pasadas, no "intentos". El 29,6 contra 26,6 compara a NCM con Aurora-LM sin guía; con guía, Aurora llega a 28,6 usando 184 pasadas. NCM sigue arriba, pero por menos. Los 120 M de NCM en traducción son solo el generador: con su compresor de 144 M, el sistema suma 264 M contra los 99 M del modelo AR. Aplicando la misma lógica del video para XSum, en traducción NCM es bastante más grande.
Calculadora: el cambio de memoria por cálculo
Aquí está la consecuencia más práctica para quien corre modelos en su propio equipo. Ajusta los valores y compara cuánto se mueve por el canal de memoria.
Tráfico de pesos por respuesta
Solo mide cuánto demora mover los pesos, no el cálculo.
: .
Tráfico = pesos × lecturas (una por token, o una por nivel). NCM de 16 GB aún no existe: es un orden de magnitud, no una medición. El archivo LM1B de 2,9 GB sí está publicado.
Ese ahorro no es gratis. El tráfico que te ahorras se transforma en cálculo: el modelo de resúmenes procesa 196 posiciones para entregar 48 tokens, unas cuatro veces más. NCM cambia un cuello de botella por otro.
Si alguna vez viste a un modelo pensar antes de responder a un prompt largo, ya conoces este tipo de carga: ese momento es el prefill, donde muchas posiciones se procesan juntas y lo que manda es la potencia de cálculo. NCM hace que generar se parezca más a esa etapa.
Si esta idea se volviera común, comprar hardware cambiaría: importaría más la potencia de cálculo paralelo y menos el ancho de banda. Eso favorecería a las GPU potentes por sobre equipos con mucho ancho de banda y menos cálculo, como varios Mac. Es una proyección, no algo que ocurra hoy.
Por qué no amenaza a los grandes proveedores
El titular da a entender que OpenAI o Google deberían estar preocupados. La física dice casi lo contrario: un proveedor junta muchas solicitudes en un mismo lote, y una sola lectura de los pesos sirve para todos. El cuello de botella que NCM alivia lo sufre sobre todo quien tiene una conversación en su propio equipo.
Una lectura de 16 GB, repartida
Mueve el control para simular más solicitudes simultáneas.
Reparto ilustrativo por token. La medición es de DiffusionGemma, no de NCM 4.
Google midió esto con DiffusionGemma, también en una H100. Con una sola solicitud, entrega unos 1.456 tokens por segundo, frente a 204 de Gemma 4 AR: 7,1 veces más. Pero con unas 32 solicitudes simultáneas los modelos AR empiezan a tener ventaja de rendimiento. Google aclara que no optimizó para lotes grandes, así que ese punto podría moverse 4.
Por qué no lo puedes usar hoy
1. Escribe en una caja de tamaño fijo
Cada modelo tiene longitud y niveles fijos. Un chatbot necesita respuestas de tres palabras y de tres páginas en la misma conversación. Los autores lo declaran como limitación: incluso una respuesta breve recorre toda la jerarquía.
Modelo de 1.024 posiciones
2. Todavía es muy pequeño
La mayoría de los modelos del artículo rondan los 100 M de parámetros y el mayor llega a 725 M. Lo que se usa en casa suele partir en miles de millones. Las primeras pruebas de escalamiento son positivas, pero nadie sabe aún si la calidad se sostiene a 7.000 o 70.000 millones.
3. El código es solo para evaluar
El repositorio permite descargar modelos y reproducir puntuaciones. No incluye flujo de entrenamiento, así que no puedes crear tu propio modelo. Se recomienda una GPU compatible con CUDA.
4. El modelo más útil no está publicado
En Hugging Face, la carpeta owt/ contiene un solo archivo: TODO.md, de 5 bytes. El README enlaza su tokenizador, generador y configuración, pero esos archivos no existen. Ese es el modelo de texto libre, lo más parecido a un chatbot 3.
5. Puede cambiar nombres y cifras
El compresor no reproduce el texto a la perfección. Según los autores, sus errores suelen ser sustituciones de palabras o entidades relacionadas, y en su análisis aparecen ciudades y años cambiados por otros parecidos.
| Modelo | Exactitud por token | Tokens | Errores esperados |
|---|---|---|---|
| Traducción (WMT14) | 98,79 % | 64 | 0,77 por texto |
| Resumen (XSum) | 99,79 % | 48 | 0,10 por texto |
| OpenWebText | 99,99 % | 1.024 | 0,10 por texto |
| Sudoku difícil | 100 % | 89 | 0 |
Los errores esperados son un cálculo simple (tokens × tasa de error) y corresponden solo al compresor, antes de cualquier error del generador. Importa si trabajas con nombres, fechas, precios o cifras.
Lo que sí existe hoy: DiffusionGemma
Si quieres velocidad en paralelo ya mismo, la opción concreta no es NCM. DiffusionGemma, de Google DeepMind, es un modelo abierto con licencia Apache 2.0, basado en Gemma 4, con 25.200 millones de parámetros, 3.800 millones activos en cada paso y un promedio cercano a 20 tokens por pasada. Es un modelo experimental y paga la velocidad con calidad.
Calidad en dos pruebas exigentes
Más alto es mejor. Todos con modo de razonamiento activo.
Matemáticas
AIME 2026
| DiffusionGemma | 69,1 | Difusión · abierto |
|---|---|---|
| Gemma 4 26B | 84,2 | AR · abierto |
| Gemma 4 26B + MTP | 88,3 | AR · abierto |
| Mercury 2 (High) | 91,7 | Difusión · cerrado |
Programación
LiveCodeBench v6
| DiffusionGemma | 69,1 | Difusión · abierto |
|---|---|---|
| Gemma 4 26B | 71,4 | AR · abierto |
| Gemma 4 26B + MTP | 77,1 | AR · abierto |
| Mercury 2 (High) | 79,4 | Difusión · cerrado |
Fuente: tabla 3 del informe técnico de DiffusionGemma 4. MTP: predicción de varios tokens.
El rango de "8 a 19 puntos" del video compara con Gemma 4 usando MTP. Contra Gemma 4 sin MTP, la diferencia baja a 15,1 puntos en AIME y 2,3 en LiveCodeBench. Además, la tabla agrega algo que el video no menciona: Mercury 2 también usa difusión y queda primero. Perder calidad no es una ley de la difusión, aunque sí es lo que pasa hoy con los modelos abiertos.
Qué hacer con todo esto
Corres modelos en tu equipo
Nada cambia este mes. Si te cabe en memoria, DiffusionGemma sirve para probar borradores, resúmenes y tareas donde la velocidad pese más que la precisión.
Pagas una API
No hay decisión que tomar. Los proveedores ya reparten el costo de memoria en lotes.
Vas a comprar hardware
El criterio del video es bueno: compra por ancho de banda y vigila el cálculo.
Haces tareas con datos exactos
Evita por ahora los modelos paralelos para código, cifras o nombres sin una revisión posterior.
Si quieres reproducir los resultados
Necesitas una GPU compatible con CUDA. Son los comandos publicados en el repositorio 2, y las descargas pesan varios GB:
git clone https://github.com/HazyResearch/ncm.git
cd ncm
pip install -r requirements.txt
hf download hazyresearch/ncm-checkpoints --local-dir artifacts
hf download hazyresearch/ncm-datasets --repo-type dataset --local-dir data
python evaluate.py --config config/eval/xsum.yaml \
--checkpoint-dir artifacts/xsum --data-dir data/xsumFuentes y método
Esta pieza parte del video de Jorge Marfil y lo contrasta con las fuentes primarias. No incluye la transcripción del video, y los esquemas son de elaboración propia.
- Kumbong, Khare et al. Next-Concept Modeling: Fast, Parallel Coarse-to-Fine Text Generation. arXiv 2610.14162, 9 oct 2026.
- HazyResearch. Repositorio de NCM. Licencia MIT.
- hazyresearch. ncm-checkpoints en Hugging Face. Revisado el 31 oct 2026.
- DiffusionGemma Team, Google DeepMind. DiffusionGemma Technical Report. arXiv 2608.00146, 31 jul 2026.
- Jorge Marfil. ¿Es El Fin De Los LLM? (NCM). YouTube, 29 oct 2026.
Se dejaron fuera, por no poder confirmarlos en fuentes primarias: las cifras de descargas de DiffusionGemma, los comentarios citados desde Reddit, los rumores sobre la RTX 5090 y la mención a un modelo "2.1 mini". El ancho de banda de las GPU viene de sus especificaciones públicas.
Para estudiar
Conceptos clave
- Autorregresivo
- Difusión
- NCM
- VQ-VAE
- Ancho de banda
- Lote
- MBR
- Prefill
Autoevaluación
Intenta responder antes de abrir cada pregunta.
¿Por qué un modelo autorregresivo queda limitado por la memoria cuando atiende a una sola persona?
Porque cada token obliga a leer los pesos desde la memoria. Con una sola solicitud, ese transporte toma mucho más tiempo que el cálculo y la GPU pasa esperando.
Para 48 tokens, ¿cuántas lecturas de pesos y posiciones calculadas usan AR, difusión de 128 pasadas y NCM?
AR: 48 y 48. Difusión: 128 y 6.144. NCM: 8 y 196.
¿Contra qué, en qué tarea y en qué condiciones se midió el 31×?
Contra Aurora-LM, un modelo de difusión, en resúmenes de 48 tokens de XSum, con calidad comparable, generando 1.024 secuencias en lotes de 16 en una H100 de 80 GB.
¿Qué significa 'residual' en NCM?
Que cada nivel guarda solo lo que los niveles anteriores no alcanzaron a capturar, y así corrige y precisa la reconstrucción.
¿Por qué NCM no reemplaza a los LLM?
Porque NCM también es un LLM: un transformer entrenado con texto que produce texto. Lo que cuestiona es la costumbre de escribir token a token.
¿Por qué escribir en paralelo favorece más a una persona en casa que a un gran proveedor?
Porque un proveedor reparte una lectura de pesos entre muchas solicitudes. En DiffusionGemma, los modelos AR empiezan a tener ventaja cerca de 32 solicitudes simultáneas.
Nombra tres razones por las que NCM no se puede usar hoy como asistente.
Tamaño de salida fijo, modelos todavía pequeños, código solo de evaluación y modelo OpenWebText sin publicar. También cambia a veces nombres y cifras.
¿Qué cambia NCM en el consumo de recursos?
Cambia tráfico de memoria por cálculo: lee menos veces los pesos, pero procesa más posiciones de las que entrega; 196 para 48 tokens en XSum.