مقدمة إلى LLM

الفصل 13 — التوسع التلقائي والتخفيف من البدء البارد

المقالة الثالثة عشرة من جولة LLM Primer VI. لماذا يفشل HPA على LLM بأربع طرق، وKEDA يُوسِّع على عمق الطابور وTTFT وامتلاء KV، وCRIU يضغط بدءاً بارداً إلى 3–6 ثوانٍ.

1447-11-18