LLM入門
合計 2 件の記事があります。
現在 1 ページ中の 1 ページ目です。
3.2 LLMのデータクレンジング自動化｜Pythonでの効率的なノイズ除去と前処理
LLMのトレーニングにおけるデータクレンジングの重要性とその自動化手法を解説。Pythonコード例で、HTMLタグの除去、ストップワードの削除、正規化などの基本的なクレンジングプロセスを紹介します。
2024-11-11
3.1 LLMのデータセットと前処理 | データクリーニングとトークナイゼーションの重要性
LLM（大規模言語モデル）のトレーニングに必要なデータセットと前処理をエンジニア向けに解説。データのノイズ除去、トークナイゼーション、正規化、データバランスの取り方について詳しく説明します。
2024-09-12
カテゴリー
検索履歴
会話履歴 581
エンジニア向け 356
マルコフ連鎖 322
大規模言語モデル 321
自動要約 317
NLP トランスフォーマー 310
言語モデル 310
データ前処理 306
注意メカニズム 305
生成型要約 305
パーソナライズドコンテンツ 303
教育AI 299
数学的アプローチ 296
トークン化 292
ミニバッチ学習 287
LLM 要約 283
LLM テキスト生成 281
GPT テキスト生成 279
セルフアテンション 279
バイアス 問題 279
ロス計算 279
クロスエントロピー損失 277
線形代数 272
GPT-2 テキスト生成 271
バッチサイズ 271
自動翻訳 270
トレーニング 269
サンプリング 267
抽出型要約 266
LLM リアルタイム処理 265
チーム
任 弘毅
株式会社レシートローラーにて開発とサポートを担当。POSレジやShopifyアプリ開発の経験を活かし、業務のデジタル化を促進。
下田 昌平
開発と設計を担当。1994年からプログラミングを始め、今もなお最新技術への探究心を持ち続けています。