Introducción a LLM
Esta página proporciona una guía sencilla sobre los modelos de lenguaje de gran escala (LLM), desde lo básico hasta las aplicaciones para los entusiastas de la IA.
Total de 2 artículos disponibles. |
Actualmente en la página 1 de 1.
Capítulo 8 — Gestión de caché KV de nueva generación
Octava entrega del recorrido de LLM Primer VI. Traer la paginación del sistema operativo dentro del motor de inferencia, y convertir la caché KV de una losa de bytes reservados en un recurso compartido, evictable y prefix-cacheable. PagedAttention, H2O, InfiniGen y RadixAttention.
2026-04-30
Capítulo 8 — Optimizar rendimiento, serving y coste
Octava y última entrega del recorrido de LLM Primer V. La llamada más barata es la que nunca se hace: caché semántica y enrutado dinámico arriba, y dentro del servidor de inferencia PagedAttention, continuous batching, decodificación especulativa y prefix caching que ponen el suelo de coste.
2026-04-21