LLM入門
このページでは、AI技術に関心のある方のために、LLM（大規模言語モデル）の基礎から応用までをわかりやすく解説します。
合計 5 件の記事があります。 |
現在 1 ページ中の 1 ページ目です。
第10章 — ポストトレーニングとアラインメントの数学
LLM Primer II シリーズの第10章です。事前学習で出来上がった「賢いが野生のままの次トークン予測器」を、いかにして役に立つアシスタントへと飼い慣らすか。教師ありファインチューニング、Bradley–Terry に基づく報酬モデル、KL の手綱付き RLHF、そして報酬モデルも RL ループも消し去る DPO の鮮やかな導出。アラインメントの数学を、3つの楽章として整理します。
2026-03-12第9章 — スケールでの学習
LLM Primer II シリーズの第9章を紹介します。データ前処理が後段すべてを静かに左右する数学、ミニバッチと並列化の力学、そして数千の GPU にまたがる学習を数値的に安定に保つための、思いのほか繊細な工夫を、控えめに整理します。
2026-03-11
LLM入門書シリーズ — 生成AIを理解するために、分解してみる
LLM入門書シリーズは、大規模言語モデルとどう向き合うかを、全7巻にわたって扱う入門書です。第1巻の基礎から、第6巻の本番運用、第7巻の安全性まで、巻ごとに別の角度から取り上げています。このページでは、シリーズ全体の構成と、すでに読める第1巻・第2巻について、章ごとの解説をまとめて紹介します。
2026-02-15
7.2 LLMの省リソーストレーニング技術 | 蒸留、量子化、スパース化、分散トレーニング
LLMのトレーニングにおける省リソース技術を解説。モデル蒸留、量子化、スパース化、分散トレーニングの手法でコストを削減しながら性能を維持する方法を紹介します。
2024-11-25