1.0 LLMを使ったAPIの設計と実装
このセクションでは、LLM（大規模言語モデル）を利用したAPIの設計と実装について解説します。FlaskやFastAPIなどのPythonフレームワークを活用し、効率的なAPIを構築する方法を学びます。また、LLM推論APIのスケーリングやキャッシュ戦略についても説明します。
ひとことで言うと
この章では、Python の FlaskとFastAPI を使って LLM（大規模言語モデル）を API 化する流れを、基本設計・スケーリング・キャッシュ戦略の3つに分けて紹介します。
| 項目 | Flask | FastAPI |
|---|---|---|
| 非同期処理 | △（別ライブラリ要） | ◎（標準対応） |
| 学習コスト | 低い | やや高い |
| 型ヒント／自動ドキュメント | △ | ◎（Pydantic + Swagger） |
| LLM 推論への相性 | 小規模なら十分 | 大規模／高スループット向き |
1.1 FlaskまたはFastAPIを使ったAPIの基本設計
FlaskやFastAPIを使い、APIエンドポイントにLLM推論を組み込む方法を紹介します。
# FastAPIを使用したシンプルなLLM API例
from fastapi import FastAPI
from transformers import AutoModelForCausalLM, AutoTokenizer
app = FastAPI()
tokenizer = AutoTokenizer.from_pretrained("gpt2")
model = AutoModelForCausalLM.from_pretrained("gpt2")
@app.post("/predict")
async def predict(input_text: str):
input_ids = tokenizer.encode(input_text, return_tensors="pt")
output = model.generate(input_ids, max_length=50)
response_text = tokenizer.decode(output[0], skip_special_tokens=True)
return {"response": response_text}
1.2 LLM推論APIのスケーリング
推論APIのスケーリングには、GunicornやUvicornの活用、負荷分散の設定が推奨されます。
# Gunicornを使ったAPIスケーリング例
gunicorn -w 4 -k uvicorn.workers.UvicornWorker myapi:app --bind 0.0.0.0:8000
1.3 キャッシュ戦略
Redisキャッシュを活用して、推論結果を保存し、APIの応答速度を改善します。
# Redisを使ったキャッシュの実装例
import redis
cache = redis.Redis(host="localhost", port=6379, db=0)
@app.post("/predict")
async def predict(input_text: str):
cached_response = cache.get(input_text)
if cached_response:
return {"response": cached_response.decode()}
input_ids = tokenizer.encode(input_text, return_tensors="pt")
output = model.generate(input_ids, max_length=50)
response_text = tokenizer.decode(output[0], skip_special_tokens=True)
cache.set(input_text, response_text)
return {"response": response_text}
押さえておきたいポイント
- Flask は軽量、FastAPI は非同期対応で高速。用途で使い分ける
- 推論APIはワーカー数と負荷分散を前提に設計する
- キャッシュ導入は応答速度と GPU コスト削減の両方に効く
