Introduction to LLM

This page provides an easy-to-understand guide on LLMs (Large Language Models) from basics to applications for AI enthusiasts.

Total of 3 articles available. | Currently on page 1 of 1.

제12장 — 분리 서빙과 쿠버네티스

프리필과 디코드를 별도 GPU 풀로 나누고, 파드가 인터커넥트의 올바른 쪽에 안착하도록 하는 쿠버네티스 프리미티브를 걷는 장.

2026-05-04

KV 캐시는 산술을 메모리와 맞바꿉니다 — 그리고 그 메모리는 배치, 시퀀스 길이, 레이어 수, 헤드 수, 헤드 차원에 동시에 비례합니다. 그래서 서빙 클러스터는 다른 어떤 자원보다 VRAM이 먼저 떨어집니다.

2026-04-24

프로덕션 LLM 경제학을 층진 규율로 다루는 장. 가장 저렴한 호출은 결코 이루어지지 않는 호출이고, 아래 각 층은 다음 호출을 저렴하게 만들어 주는 층입니다.

2026-04-21