LLM入門
このページでは、AI技術に関心のある方のために、LLM(大規模言語モデル)の基礎から応用までをわかりやすく解説します。
第3章 — データセキュリティとプライバシー
『LLM Primer VII: AIセキュリティ』ウォークスルー第3回。データを固有のライフサイクルを持つ資産として扱う — モデルが部分的に記憶している訓練コーパスから、Samsung のエンジニアが名前が付く前にChatGPTに貼り付けたユーザー入力まで、という章です。
2026-05-12第14章 — ベンチマーク、テスト、性能
LLM Primer IV ウォークスルー最終回。本物のサーバーに対する MCP-Universe ベンチマーク、明らかになった2つの体系的失敗モード、セッション・パー・リクエストと共有セッション・プールの10倍スループット差、そして第V巻への橋渡し。
2026-04-12複数モデル(LLM)の使い分け設計とは?|MCP入門 4.2|GPT-4・Claude・Geminiをタスクごとに最適活用
GPT-4、Claude、Geminiなど複数のLLMを目的に応じて使い分ける設計は、生成AIの品質・速度・コスト最適化に不可欠です。本節では、MCPによる役割分担、タスク別・属性別・フォールバック・ワークフロー設計を詳しく解説します。
2025-03-19RAGは本当に不要になるのか?長文対応LLM時代の検索戦略を再考する|LLM入門 7.3
GPT-4 128kやClaude 2の登場により、「検索せず全文渡す」構成が可能になってきました。本記事ではRetrieval不要論の背景と現実的な限界、そしてRAGの再定義について丁寧に解説します。
2025-03-06モデルにとっての記憶とは何か?|MCP入門 1.4|生成AIと文脈再現の技術
生成AIは本当に記憶しているのか?実は、AIの“記憶”は文脈の再構築にすぎません。エフェメラルメモリ・永続メモリ・役割設計など、MCP(Model Context Protocol)での記憶制御の仕組みをわかりやすく解説します。
2025-03-06コンテキストウィンドウとは?生成AIにおける文脈の限界とMCP設計|MCP入門 1.3
生成AIが扱える“文脈”には上限があります。それがコンテキストウィンドウです。トークン数の制限とは何か、なぜ応答が急に崩れるのか、MCP(Model Context Protocol)における設計の工夫まで、丁寧に解説します。
2025-03-05RAGの限界と今後の展望とは?幻覚・検索精度・モデル進化にどう向き合うか|LLM入門 第7章
RAGには明確な強みがある一方で、限界や課題も存在します。本章では、幻覚対策やハイブリッド検索の可能性、大規模コンテキストモデルとの関係、そして今後の運用と設計戦略について実践的に整理します。
2025-03-03RAG設計におけるトークン制限への対処法とは?情報量と生成精度を両立する工夫|LLM入門 6.4
生成AIにはトークン数の上限という物理的な制約があります。本記事では、Retriever出力やプロンプトを設計する際に考慮すべきトークン制限と、その中で最も有効な情報を渡すための工夫と設計指針を解説します。
2025-03-02OpenAI Embeddingsとベクトル検索エンジンの連携方法|RAG構築の基本|LLM入門 5.1
RAGを構築する上で基本となるのが、OpenAIの埋め込みモデルとベクトルストアの組み合わせです。本記事では、text-embedding-ada-002の特徴と、FAISSやPineconeとの連携設計、実装時の注意点を詳しく解説します。
2025-02-22RAG構築に使える主要ツールとサービスの選び方|LLM入門 第5章
RAGを実装するには、適切なツールやサービスの選定が不可欠です。本章では、OpenAI Embeddings、LangChain、LlamaIndex、Azure Cognitive Searchなど、RAG構築に役立つ代表的な選択肢を比較・解説します。
2025-02-214.3 LLMのモデル圧縮技術|知識蒸留、量子化、プルーニングの解説
知識蒸留、量子化、プルーニングなどのモデル圧縮技術を使い、LLMの計算コストと推論速度を改善する方法を解説します。Pythonの実装例も紹介。
2024-11-154.0 LLMのモデル圧縮と推論速度の最適化|効率的なパフォーマンス改善
LLMのモデル圧縮技術と推論速度の最適化手法を解説。量子化、知識蒸留、ONNXを使用したPython実装例で効率的なLLMのデプロイをサポート。
2024-11-123.1 LLMのサブワードトークナイザーの使用方法|BERTやGPT-2でのトークン化の解説
サブワードトークナイザーを使用したLLMのトークン化方法を解説。Hugging FaceのBERTやGPT-2トークナイザーを使用し、Pythonコード例で具体的な実装方法を紹介します。
2024-11-102.1 Hugging Face Transformersを使ったモデルのファインチューニング|BERTのPython実装例
Hugging FaceのTransformersライブラリを使って、BERTモデルのファインチューニングを行う方法を解説します。Pythonコード例と共に、データ前処理やトレーニング設定のポイントも紹介。
2024-11-062.0 LLMモデルのファインチューニング|Hugging Faceを使った効率的な微調整手法
Hugging FaceのTransformersライブラリを使用して、LLMのファインチューニングを行う方法を解説。トレーニングデータの準備から評価までの具体的な手順を紹介。
2024-11-059.2 LLMの実装に向けたリソースと学習の提案 - 効果的なツールとコースの活用
LLM(大規模言語モデル)の実装に必要なリソースや学習方法を紹介します。オープンソースフレームワーク、クラウドプラットフォーム、データセット、オンラインコースなど、実践的なアプローチに必要なリソースを提供します。
2024-10-278.1 モデルサイズと計算コスト - LLMの効率的な運用とコスト削減の技術
LLM(大規模言語モデル)のモデルサイズと計算コストに関する課題を解説し、量子化やプルーニングなどのモデル圧縮技術や、分散学習を通じたトレーニングコスト削減の方法を紹介します。
2024-10-232.1 LLM(大規模言語モデル)とは、人間の言葉を“理解しようとする”AIのしくみ
自然言語処理(NLP)の基本概念と、その数学的手法を解説します。確率論、統計、線形代数を利用したアプローチを通じて、NLPがどのようにテキストを理解・生成し、LLMに応用されているのかを紹介します。
2024-10-067.4 LLMにおけるデータ倫理とバイアス問題 | 公平性を高めるための対策
LLM(大規模言語モデル)のデータ倫理とバイアスの問題について解説。バイアスの発生要因とその影響、バイアス軽減のための対策、法的・社会的な影響についてエンジニア向けに詳述します。
2024-10-017.1 LLMの大規模モデル進化 | モデルサイズの拡大とその課題、技術的アプローチ
LLM(大規模言語モデル)の進化について解説。モデルサイズの急速な拡大とそれに伴う課題、そして効率的なトレーニング手法や量子化技術など、技術的なアプローチを紹介します。
2024-09-286.2 Pythonを使ったLLM実装例 | Hugging Face, OpenAI, Google Cloud, Azureを活用したテキスト生成
Pythonを使ってLLM(大規模言語モデル)を簡単に実装する方法をエンジニア向けに解説。Hugging Face、OpenAI、Google Cloud、Azureを使用したテキスト生成や感情分析の実装例を紹介します。
2024-09-266.1 LLMを試すためのオープンソースツールとAPIの紹介 | Hugging Face, OpenAI, Google Cloud, Azure
LLM(大規模言語モデル)を試すための主要なオープンソースツールやAPIをエンジニア向けに解説。Hugging Face、OpenAI、Google Cloud AI、Microsoft Azure Cognitive Servicesの特徴と使用方法を紹介し、簡単な実装例も提供。
2024-09-256.0 実際にLLMを試してみる | オープンソースツールと簡単な実装例
LLM(大規模言語モデル)を実際に試すためのオープンソースツールやAPIを紹介し、エンジニア向けにPythonを使った簡単な実装例を提供します。テキスト生成や会話ボットの構築、デプロイ方法についても解説。
2024-09-243.2 LLMのトレーニングステップ | フォワードプロパゲーションとバックプロパゲーションの解説
LLM(大規模言語モデル)のトレーニングプロセスをエンジニア向けに解説。初期化からフォワードプロパゲーション、ロス計算、バックプロパゲーションまで、トレーニングの主要なステップと学習率やハイパーパラメータ調整の重要性について説明します。
2024-09-133.0 LLMのトレーニング方法 | データセット、前処理、ファインチューニングの解説
LLM(大規模言語モデル)のトレーニング方法をエンジニア向けに解説。データセットの前処理、トレーニングのステップ、ファインチューニングやトランスファーラーニングを活用した効率的なモデル構築の方法を詳述。
2024-09-112.0 LLMの基本的な仕組み | トランスフォーマーと注意機構の解説
LLM(大規模言語モデル)の基本的な仕組みをエンジニア向けに解説。トランスフォーマーモデル、注意機構(Attention Mechanism)、BERT、GPT、T5などの代表的なモデルの特徴を詳しく説明します。
2024-09-061.1 LLMとは何か: 定義と概要 | 大規模言語モデルの基本をエンジニア向けに解説
LLM(大規模言語モデル)とは何か?GPTやBERTなどの代表的なモデルや学習の仕組み、自然言語処理における役割をわかりやすく解説。『LLM入門:しくみから学ぶ生成AIの基礎』からの要約版です。
2024-09-03LLM入門: しくみから学ぶ 生成AIの基礎
自然言語処理で注目される大規模言語モデル(LLM)の仕組みやトレーニング方法、応用例をエンジニア向けに分かりやすく解説。GPTやBERTなどの最新モデルの解説も含む、実際にLLMを活用するための実践的なガイド。
2024-09-01