Repaso
Las preguntas de todas las piezas. Intenta responder antes de abrir cada una.
Arquitecturas de modelos
¿Por qué un modelo autorregresivo queda limitado por la memoria cuando atiende a una sola persona?
Porque cada token obliga a leer los pesos desde la memoria. Con una sola solicitud, ese transporte toma mucho más tiempo que el cálculo y la GPU pasa esperando.
De: ¿Se acabaron los LLM? Qué es NCM y qué cambia de verdadPara 48 tokens, ¿cuántas lecturas de pesos y posiciones calculadas usan AR, difusión de 128 pasadas y NCM?
AR: 48 y 48. Difusión: 128 y 6.144. NCM: 8 y 196.
De: ¿Se acabaron los LLM? Qué es NCM y qué cambia de verdad¿Contra qué, en qué tarea y en qué condiciones se midió el 31×?
Contra Aurora-LM, un modelo de difusión, en resúmenes de 48 tokens de XSum, con calidad comparable, generando 1.024 secuencias en lotes de 16 en una H100 de 80 GB.
De: ¿Se acabaron los LLM? Qué es NCM y qué cambia de verdad¿Qué significa 'residual' en NCM?
Que cada nivel guarda solo lo que los niveles anteriores no alcanzaron a capturar, y así corrige y precisa la reconstrucción.
De: ¿Se acabaron los LLM? Qué es NCM y qué cambia de verdad¿Por qué NCM no reemplaza a los LLM?
Porque NCM también es un LLM: un transformer entrenado con texto que produce texto. Lo que cuestiona es la costumbre de escribir token a token.
De: ¿Se acabaron los LLM? Qué es NCM y qué cambia de verdad¿Por qué escribir en paralelo favorece más a una persona en casa que a un gran proveedor?
Porque un proveedor reparte una lectura de pesos entre muchas solicitudes. En DiffusionGemma, los modelos AR empiezan a tener ventaja cerca de 32 solicitudes simultáneas.
De: ¿Se acabaron los LLM? Qué es NCM y qué cambia de verdadNombra tres razones por las que NCM no se puede usar hoy como asistente.
Tamaño de salida fijo, modelos todavía pequeños, código solo de evaluación y modelo OpenWebText sin publicar. También cambia a veces nombres y cifras.
De: ¿Se acabaron los LLM? Qué es NCM y qué cambia de verdad¿Qué cambia NCM en el consumo de recursos?
Cambia tráfico de memoria por cálculo: lee menos veces los pesos, pero procesa más posiciones de las que entrega; 196 para 48 tokens en XSum.
De: ¿Se acabaron los LLM? Qué es NCM y qué cambia de verdadSeguridad en IA
¿Cuál es la diferencia entre que una IA local sea privada y que sea segura?
Privada significa que tus prompts no salen de tu equipo. Segura depende de qué puede lograr que haga tu equipo un archivo o servicio de terceros.
De: Tu IA local es privada, pero ¿es segura? Las cinco capas que debes revisar¿Qué pregunta responden los escáneres de modelos y por qué no alcanzan?
Si un archivo ejecuta código al cargarse. Los ataques nuevos no ejecutan nada al cargar: alteran lo que el modelo lee o responde y dejan que tu software haga el resto.
De: Tu IA local es privada, pero ¿es segura? Las cinco capas que debes revisar¿Por qué un hash SHA-256 correcto no prueba que un modelo sea confiable?
Solo demuestra que recibiste el archivo que quiso entregarte quien lo publicó. No dice nada de sus intenciones.
De: Tu IA local es privada, pero ¿es segura? Las cinco capas que debes revisar¿Qué hace especial a la plantilla de chat frente a los pesos?
Se ejecuta en cada mensaje y puede agregar instrucciones ocultas. Pero, a diferencia de los pesos, es texto que se puede leer y comparar con la original.
De: Tu IA local es privada, pero ¿es segura? Las cinco capas que debes revisar¿Qué lección deja la cronología de Bleeding Llama?
La versión corregida salió el 24 de febrero sin mencionar seguridad y el CVE se publicó el 1 de mayo. Por eso conviene actualizar por costumbre.
De: Tu IA local es privada, pero ¿es segura? Las cinco capas que debes revisar¿Por qué OLLAMA_HOST=0.0.0.0 es riesgoso aun detrás del router?
Porque escucha en todas las interfaces, la API no pide autenticación y se omite la validación de Host, lo que abre la puerta a DNS rebinding desde tu propio navegador.
De: Tu IA local es privada, pero ¿es segura? Las cinco capas que debes revisar¿Por qué en el experimento de ProjectDiscovery un escáner de pesos no encuentra nada?
Porque los pesos solo guardan una conducta aprendida: ante una frase, proponer una llamada a una URL. Quien ejecuta el comando es el agente, y el contenido de la URL se puede cambiar después.
De: Tu IA local es privada, pero ¿es segura? Las cinco capas que debes revisar¿Qué conclusión correcta se saca del estudio de los 250 documentos?
Que puede bastar muy poco veneno, y que el número no creció con el tamaño en ese experimento. No demuestra que cualquier modelo grande se pueda envenenar así ni con conductas complejas.
De: Tu IA local es privada, pero ¿es segura? Las cinco capas que debes revisar¿Cuáles son las cinco medidas y cuál limita el daño aunque el modelo esté comprometido?
Loopback, runner al día, procedencia conocida, secretos fuera de alcance y separar ejecución de red. Las dos últimas limitan el daño aunque no sepas que el modelo tiene una puerta trasera.
De: Tu IA local es privada, pero ¿es segura? Las cinco capas que debes revisarModelos y benchmarks
¿Qué está confirmado de Qwen 4 27B?
Solo que Qwen 4 está en entrenamiento. El nombre 27B circula, pero no hay pesos, ficha, licencia, benchmarks ni fecha.
De: ¿Compro tarjeta o espero a Qwen 4? Las cuentas de un modelo que todavía no existe¿Qué diferencia a un modelo denso de una mezcla de expertos?
En el denso trabajan todos los parámetros en cada token. En la mezcla de expertos un enrutador activa solo una parte, aunque el resto igual ocupa memoria.
De: ¿Compro tarjeta o espero a Qwen 4? Las cuentas de un modelo que todavía no existe¿Por qué no se pueden comparar notas de versiones distintas del índice?
Porque cambian pruebas y pesos. Qwen 3.8 27B pasó de 33,7 en v4.3.2 a 20,1 en v5.0 sin que el modelo cambiara.
De: ¿Compro tarjeta o espero a Qwen 4? Las cuentas de un modelo que todavía no existe¿Cuáles son las tres vías por las que mejora un modelo?
Entrenamiento, tiempo pensando y arquitectura. Entre Qwen 3.6 y 3.8 27B no cambió la arquitectura.
De: ¿Compro tarjeta o espero a Qwen 4? Las cuentas de un modelo que todavía no existe¿Cómo se reparte la mejora de 12,3 puntos entre Qwen 3.6 y 3.8 27B?
Casi mitad y mitad: 6,2 puntos llegaron con el modelo nuevo usando menos tokens y 6,1 al subir de esfuerzo medio a máximo.
De: ¿Compro tarjeta o espero a Qwen 4? Las cuentas de un modelo que todavía no existe¿Por qué solo 16 de las 64 capas consumen caché KV en Qwen 3.8 27B?
Porque solo una de cada cuatro es de atención completa; las otras son de atención lineal y no guardan esa caché.
De: ¿Compro tarjeta o espero a Qwen 4? Las cuentas de un modelo que todavía no existe¿Por qué 16,46 GB + 8,6 GB no significan 25 GB en una tarjeta de 24?
Porque se mezclan unidades. Las tarjetas se miden en GiB: la suma real es 15,33 + 8,0 = 23,3 GiB. Cabe, pero sin margen para el motor.
De: ¿Compro tarjeta o espero a Qwen 4? Las cuentas de un modelo que todavía no existe¿Qué omite una comparación de tarjeta y nube hecha solo con precio de entrada?
Tokens de salida, electricidad, descuentos por caché y sobre todo la velocidad: una tarjeta quizá ni alcance a procesar ese volumen en un día.
De: ¿Compro tarjeta o espero a Qwen 4? Las cuentas de un modelo que todavía no existe