Capítulo 5 — Desmitificando la cuantización

Quinta entrega del recorrido capítulo por capítulo de LLM Primer VI: Scaling AI Systems. El capítulo que explica por qué un modelo de 70B sobrevive la cuantización a 4 bits mientras que uno de 1B no — y cómo elegir la receta.

Por qué existe este capítulo

El decoding está limitado por ancho de banda de memoria; la moneda del ancho de banda son bytes por peso. Un modelo de 70B en BF16 lee 140 GB por forward pass. El mismo modelo en INT4 lee 35 GB. La aritmética es idéntica. El cuello de botella se mueve por un factor de cuatro. Esa única observación es por qué la cuantización ha pasado de curiosidad de investigación a camino de despliegue por defecto para inferencia de producción. El Capítulo 5 recorre la mecánica — qué significa realmente la precisión, por qué una cuantización agresiva no destruye un modelo grande como destruye a uno pequeño, qué hacen AWQ, GPTQ, SmoothQuant y GGUF por debajo, y dónde la cuantización deja de ser segura y empieza a degradar silenciosamente la calidad.

5.1 Por qué los modelos grandes sobreviven a 4 bits y los pequeños no

Tres observaciones sostienen la cuantización de modelos grandes. Primero, el contenido de información de un peso individual en un transformer grande es bajo: el comportamiento predictivo emerge de la interacción colectiva de miles de millones de pesos cuya distribución está fuertemente concentrada cerca de cero. Redondear un peso de 0,0031 a 0,003 no cambia nada que la capa siguiente pueda detectar. Segundo, los transformers entrenados viven dentro de una región plana del espacio de parámetros donde muchas configuraciones vecinas producen salidas casi idénticas, y para modelos por encima de 30B o así la región es lo bastante ancha como para absorber una perturbación de 4 bits con degradación en MMLU inferior a un punto. Tercero, la precisión mixta permite que capas sensibles — puntuaciones de atención, layer norms, los logits finales — se queden en BF16 mientras el grueso de proyecciones lineales cae a INT4. Un modelo de 70B en INT4 es empíricamente casi indistinguible de su versión BF16; uno de 1B en INT4 es notablemente peor, porque la región plana es más estrecha y la perturbación lo saca de ella. La intuición ingenua — que los modelos más pequeños deberían cuantizar más fácilmente — es exactamente al revés.

5.2 AWQ, GPTQ, SmoothQuant y GGUF hacen cosas distintas

GPTQ recorre la matriz de pesos columna a columna, elige los niveles de cuantización que minimizan el error de salida contra un pequeño conjunto de calibración, y actualiza las columnas todavía sin cuantizar para absorber el residuo — una compensación aproximada por Hessian que mantiene la salida de la capa cerca de la original. AWQ parte de una observación distinta: los outliers de activación importan tanto como los de pesos, así que escala hacia arriba los canales de pesos salientes antes de cuantizar (y baja las activaciones para compensar), lo que reparte los niveles de cuantización sobre el rango que esos pesos realmente ocupan. SmoothQuant ataca el lado de las activaciones: los LLMs tienen un puñado de canales con magnitudes enormes que arruinan la cuantización ingenua de activaciones, así que migra la magnitud outlier de las activaciones a los pesos por canal, permitiendo que W8A8 aterrice con pérdida despreciable. GGUF es un formato de archivo más que un algoritmo único — la escala anidada por super-bloques al estilo Q4_K_M que usa llama.cpp para inferencia en CPU y edge, ecológicamente importante pero raramente usado en GPUs de centro de datos.

5.3 La escalera de seguridad y la disciplina de calibración

La escalera empírica de seguridad es limpia. BF16 → FP8 es casi siempre sin pérdida y es el default para producción. BF16 → INT8 es sin pérdida por encima de ~7B con un algoritmo competente. BF16 → INT4 es sin pérdida por encima de ~30B con AWQ o GPTQ; por debajo de 13B cuesta uno a tres puntos MMLU; por debajo de 7B cuesta cinco o más sin entrenamiento consciente de cuantización. INT3 y por debajo es experimental. Dos disciplinas gobiernan si la escalera se sostiene en producción. La primera es calibrar sobre la distribución correcta: 128–512 muestras representativas extraídas de la misma distribución de la que sacará la carga en producción, re-ejecutadas cada seis a doce meses a medida que la carga deriva. La segunda es evaluación del lado de la tarea: los benchmarks estándar pueden pasar por alto cambios de calidad en la cola larga de la capacidad del modelo — hechos raros, razonamiento multi-paso, código en lenguas minoritarias — y una cuantización agresiva debe validarse contra una porción de tráfico real de producción puntuada por las dimensiones que importan a la aplicación.

Lo que prepara el Capítulo 5

La cuantización reduce los bytes por peso. El siguiente capítulo reduce el número de pesos directamente. El Capítulo 6 recorre el pruning — incluida la sparsity estructurada 2:4 que Hopper acelera de forma nativa — y la destilación de conocimiento, donde el comportamiento de un profesor grande se transfiere a un estudiante más pequeño que corre más barato de punta a punta. Juntas, las tres compresiones (cuantizar, prune, destilar) forman el toolkit del lado del modelo para bajar la carga de ancho de banda que el Capítulo 1 nombró. El Capítulo 7 pasa luego a la palanca del lado del runtime — el batching — que convierte el margen recién ganado en throughput de usuarios concurrentes.

Próximamente — Capítulo 6: Pruning y destilación de conocimiento. Las dos compresiones del lado del modelo que atacan el número de pesos directamente en vez de la anchura de cada peso.