Introduction to LLM
This page provides an easy-to-understand guide on LLMs (Large Language Models) from basics to applications for AI enthusiasts.
Total of 2 articles available. |
Currently on page 1 of 1.
제8장 — 차세대 KV 캐시 관리
운영체제의 페이징 통찰을 추론 엔진으로 옮겨 오는 장 — KV 캐시를 예약된 바이트 슬래브에서 공유·축출·프리픽스 캐시가 가능한 자원으로 바꿉니다.
2026-04-30
제2장 — KV 캐시라는 과제
KV 캐시는 산술을 메모리와 맞바꿉니다 — 그리고 그 메모리는 배치, 시퀀스 길이, 레이어 수, 헤드 수, 헤드 차원에 동시에 비례합니다. 그래서 서빙 클러스터는 다른 어떤 자원보다 VRAM이 먼저 떨어집니다.
2026-04-24