مقدمة إلى LLM

الفصل 8 — الجيل التالي من إدارة ذاكرة KV

المقالة الثامنة من جولة LLM Primer VI. PagedAttention يجعل KV ذاكرةً افتراضيّة، وإخلاء H2O وInfiniGen يُزيل الرموز التي لا تهم، والتخزين المؤقت للبادئات هو أعلى رافعة عائد.

1447-11-13

الفصل 2 — تحدي ذاكرة KV

المقالة الثانية من جولة LLM Primer VI. صيغة حجم ذاكرة KV، والمقايضات المعمارية بين MHA وGQA وMQA وMLA، ولماذا يهدر التخصيص الساذج معظمَ الميزانية بالتجزئة الداخلية.

1447-11-07

الفصل 8 — تحسين الأداء والتخديم والتكلفة

المقالة الأخيرة من جولة LLM Primer V. اقتصاديات LLM الإنتاجية بوصفها انضباطاً مُتعدد الطبقات — الاستدعاء الأرخص هو الذي لم يُجرَ (تخزين مؤقت دلالي)، والتالي هو المُجرى ضد أصغر نموذجٍ يفي بالغرض (مُوجِّه)، والأرضية تُوضع داخل خادم الاستدلال بـ KV cache والدُّفَعات المستمرة وفكّ الترميز التخميني.

1447-11-04