LLM入門
合計 4 件の記事があります。
現在 1 ページ中の 1 ページ目です。

2.2 LLMのトレーニングデータ準備と前処理|Pythonでのデータクレンジングとトークナイゼーション
LLMのファインチューニングに必要なデータ準備と前処理を解説。Pythonを使用したデータクレンジング、トークナイゼーション、データセット整理の方法を紹介します。
2024-11-07

3.2 LLMのトレーニングステップ | フォワードプロパゲーションとバックプロパゲーションの解説
LLM(大規模言語モデル)のトレーニングプロセスをエンジニア向けに解説。初期化からフォワードプロパゲーション、ロス計算、バックプロパゲーションまで、トレーニングの主要なステップと学習率やハイパーパラメータ調整の重要性について説明します。
2024-09-13

3.1 LLMのデータセットと前処理 | データクリーニングとトークナイゼーションの重要性
LLM(大規模言語モデル)のトレーニングに必要なデータセットと前処理をエンジニア向けに解説。データのノイズ除去、トークナイゼーション、正規化、データバランスの取り方について詳しく説明します。
2024-09-12

3.0 LLMのトレーニング方法 | データセット、前処理、ファインチューニングの解説
LLM(大規模言語モデル)のトレーニング方法をエンジニア向けに解説。データセットの前処理、トレーニングのステップ、ファインチューニングやトランスファーラーニングを活用した効率的なモデル構築の方法を詳述。
2024-09-11
カテゴリー
検索履歴
会話履歴 508
エンジニア向け 351
マルコフ連鎖 315
大規模言語モデル 312
自動要約 311
NLP トランスフォーマー 305
言語モデル 299
データ前処理 298
パーソナライズドコンテンツ 297
生成型要約 296
注意メカニズム 295
教育AI 294
数学的アプローチ 289
トークン化 285
ミニバッチ学習 282
LLM 要約 274
クロスエントロピー損失 274
セルフアテンション 274
バイアス 問題 272
LLM テキスト生成 271
ロス計算 270
GPT テキスト生成 267
GPT-2 テキスト生成 265
線形代数 265
トレーニング 264
自動翻訳 261
バッチサイズ 260
抽出型要約 259
自然言語処理 翻訳 259
LLM リアルタイム処理 258
チーム

任 弘毅
株式会社レシートローラーにて開発とサポートを担当。POSレジやShopifyアプリ開発の経験を活かし、業務のデジタル化を促進。

下田 昌平
開発と設計を担当。1994年からプログラミングを始め、今もなお最新技術への探究心を持ち続けています。