Introduction to LLM

This page provides an easy-to-understand guide on LLMs (Large Language Models) from basics to applications for AI enthusiasts.


Total of 16 articles available. | Currently on page 1 of 1.

제8장 — 모델에 대한 적대적 공격

FGSM에서 TextFooler·보편적 접미사까지의 계보, API 예산이 시사하는 것보다 저렴한 블랙박스 공격, 그리고 블랙박스를 사실상 화이트박스로 바꾸는 모델 탈취.

2026-05-17

제15장 — 서버리스 API 대 전용 인프라

손익분기 산수를 테이블에 올리고, 대부분의 팀에게 답을 뒤집는 플랫폼 엔지니어링 라인 아이템에 이름을 붙이는 장.

2026-05-07

제14장 — 토큰 경제학과 API 가격

제1장의 물리를 청구서의 라인 아이템에 연결하고, 첫 달의 청구서가 왜 팀이 모델링한 것과 닮지 않는 경우가 많은지 설명하는 장.

2026-05-06

제13장 — 오토스케일링과 콜드 스타트 완화

기본 쿠버네티스 오토스케일러가 LLM 트래픽에서 왜 장애를 만드는지, 그리고 KEDA·Knative·CRIU가 어떻게 그 해법을 구성하는지 설명하는 장.

2026-05-05

제12장 — 분리 서빙과 쿠버네티스

프리필과 디코드를 별도 GPU 풀로 나누고, 파드가 인터커넥트의 올바른 쪽에 안착하도록 하는 쿠버네티스 프리미티브를 걷는 장.

2026-05-04

제11장 — 플랫폼과 오케스트레이션 계층

플랫폼 선택은 기능이 아니라 어느 운영 모델이 팀의 기존 운영 문화에 맞는가의 문제라고 주장하는 장.

2026-05-03

제10장 — LLM 엔진 계층

엔진과 플랫폼 사이의 경계에 이름을 붙이고, 2026년 그 계층을 지배하는 다섯 엔진을 걷는 장.

2026-05-02

제9장 — 투기적 디코딩

자기회귀의 순차 병목에 수학적 허점이 있다는 것, 그리고 언제 그 허점이 이득이 되는지의 산수를 보여 주는 장.

2026-05-01

제7장 — 고급 배칭 전략

배칭은 최적화가 아니라 대역폭에 묶인 디코딩을 감당 가능하게 만드는 하중 지지 수이며, 배치는 명사가 아니라 동사입니다.

2026-04-29

제5장 — 양자화의 정체를 풀다

70B 모델은 4비트 양자화에서도 살아남는데 1B 모델은 그렇지 못한 이유, 그리고 레시피를 고르는 법.

2026-04-27

제4장 — 특화 AI 실리콘과 ASIC

GPU와 ASIC의 선택은 워크로드 모양의 문제입니다 — 이 장은 그 모양을 줍니다.

2026-04-26

제3장 — 생성 AI를 위한 데이터센터 GPU

서빙용 GPU는 스펙 시트 앞면의 FLOP/s 숫자가 아니라 HBM 대역폭과 VRAM 용량으로 사야 한다는 주장을 하는 장입니다.

2026-04-25

제2장 — KV 캐시라는 과제

KV 캐시는 산술을 메모리와 맞바꿉니다 — 그리고 그 메모리는 배치, 시퀀스 길이, 레이어 수, 헤드 수, 헤드 차원에 동시에 비례합니다. 그래서 서빙 클러스터는 다른 어떤 자원보다 VRAM이 먼저 떨어집니다.

2026-04-24

LLM Primer VI — 시리즈 서문 및 목차

LLM Primer VI — AI 시스템 확장하기의 16개 챕터를 하루 한 편씩 걷는 워크스루의 서문입니다. 메모리 대역폭, 스케줄링, 그리고 청구서가 만나는 지점에서 LLM 추론을 엔지니어링 학문으로 다룹니다.

2026-04-22

제4장 — 올바른 벡터 데이터베이스 선택

LLM Primer III 워크스루의 네 번째 글입니다. 목적별 벡터 데이터베이스와 Postgres 류 확장의 아키텍처적 분기, 매니지드의 선두 주자(Pinecone, Vertex), 오픈소스의 진영(Qdrant, Milvus, Weaviate), 임베디드 옵션, 그리고 실제 선택을 가르는 세 운영 축 — 데이터 거주성, 운영, 비용 — 을 함께 살펴봅니다.

2026-03-21

LLM 입문서 시리즈 — 생성형 AI를 한 권씩 풀어내는 일곱 권의 안내서

LLM Primer 시리즈 — Sho Shimoda의 생성형 AI 필드 가이드, 이제 완결. 기초부터 보안까지 7권 전권. 자매 볼륨 Physical AI도 포함. 7권 모두 Amazon에서 판매 중.

2026-02-15