LLM入門
このページでは、AI技術に関心のある方のために、LLM（大規模言語モデル）の基礎から応用までをわかりやすく解説します。
合計 1 件の記事があります。 |
現在 1 ページ中の 1 ページ目です。
4.2 LLMの推論速度を最適化する方法｜バッチ推論と半精度推論の活用
LLMの推論速度を改善するための技術を解説。バッチ推論、ONNX Runtime、半精度推論（FP16）など、効率的な推論手法とその実装例を紹介します。
2024-11-14