Introducción a LLM
Esta página proporciona una guía sencilla sobre los modelos de lenguaje de gran escala (LLM), desde lo básico hasta las aplicaciones para los entusiastas de la IA.
Total de 2 artículos disponibles. |
Actualmente en la página 1 de 1.
Capítulo 9 — Decodificación especulativa
Novena entrega del recorrido de LLM Primer VI. Cómo la decodificación especulativa paga por una suposición barata y una verificación un poco más ancha, y si acierta lo bastante a menudo el modelo objetivo produce varios tokens al coste de reloj de uno. EAGLE, Medusa, la aritmética del speedup.
2026-05-01
Capítulo 8 — Optimizar rendimiento, serving y coste
Octava y última entrega del recorrido de LLM Primer V. La llamada más barata es la que nunca se hace: caché semántica y enrutado dinámico arriba, y dentro del servidor de inferencia PagedAttention, continuous batching, decodificación especulativa y prefix caching que ponen el suelo de coste.
2026-04-21