LLM入門
このページでは、AI技術に関心のある方のために、LLM（大規模言語モデル）の基礎から応用までをわかりやすく解説します。
合計 2 件の記事があります。 |
現在 1 ページ中の 1 ページ目です。
第2章 — 確率、トークン、テキスト: 次の単語を当てるゲーム
LLM Primer I シリーズの第2章です。LLM がテキストをトークンに変換する仕組み、なぜ言語モデリングが本質的に確率の問題なのか、そして昔の n-gram アプローチが汎化できるニューラルモデルにどう道を譲ったかを解説します。パープレキシティのやさしい言葉での説明と、トークン境界がなぜ重要かも扱います。
2026-02-19
3.1 確率論と統計 - LLMにおける言語生成と予測の基礎
確率論と統計は、LLMの言語生成や次の単語の予測において重要な役割を果たします。n-gramモデル、マルコフ連鎖、最大尤度推定（MLE）など、LLMの予測精度を向上させる数理的手法について解説します。
2024-10-09