Introduction to LLM

This page provides an easy-to-understand guide on LLMs (Large Language Models) from basics to applications for AI enthusiasts.


Total of 4 articles available. | Currently on page 1 of 1.

제13장 — 오토스케일링과 콜드 스타트 완화

기본 쿠버네티스 오토스케일러가 LLM 트래픽에서 왜 장애를 만드는지, 그리고 KEDA·Knative·CRIU가 어떻게 그 해법을 구성하는지 설명하는 장.

2026-05-05

제12장 — 분리 서빙과 쿠버네티스

프리필과 디코드를 별도 GPU 풀로 나누고, 파드가 인터커넥트의 올바른 쪽에 안착하도록 하는 쿠버네티스 프리미티브를 걷는 장.

2026-05-04

제7장 — 고급 배칭 전략

배칭은 최적화가 아니라 대역폭에 묶인 디코딩을 감당 가능하게 만드는 하중 지지 수이며, 배치는 명사가 아니라 동사입니다.

2026-04-29

제6장 — AI 관측성과 트레이싱

사용자 질의를 요청 로그가 아니라 인과 트리로 다루고, 그 트리가 읽히기 위해 무엇이 트레이스되어야 하는지 보이는 장.

2026-04-19