مقدمة إلى LLM

الفصل 8 — الجيل التالي من إدارة ذاكرة KV

المقالة الثامنة من جولة LLM Primer VI. PagedAttention يجعل KV ذاكرةً افتراضيّة، وإخلاء H2O وInfiniGen يُزيل الرموز التي لا تهم، والتخزين المؤقت للبادئات هو أعلى رافعة عائد.

1447-11-13

الفصل 7 — استراتيجيات التجميع المتقدمة

المقالة السابعة من جولة LLM Primer VI. لماذا يفشل التجميع الساكن على مشكلة الأسرع انتهاءً، وكيف يُحوِّل التجميع المستمر الدُّفعة إلى فعل، والتعبئة الأمامية المُجزَّأة توحِّد الطورَين.

1447-11-12

الفصل 2 — تحدي ذاكرة KV

المقالة الثانية من جولة LLM Primer VI. صيغة حجم ذاكرة KV، والمقايضات المعمارية بين MHA وGQA وMQA وMLA، ولماذا يهدر التخصيص الساذج معظمَ الميزانية بالتجزئة الداخلية.

1447-11-07

LLM Primer VI — مقدمة السلسلة والفهرس

مقدمة الجولة الفصلية لـ LLM Primer VI: توسيع أنظمة الذكاء الاصطناعي. لماذا يترك مستخدم واحد وحدةَ H100 عاطلة بنسبة 99.7٪، وكيف تتعامل الفصول الستة عشر مع اختناق عرض النطاق التخديمي.

1447-11-05