مقدمة إلى LLM

الفصل 10 — طبقة محرك LLM

المقالة العاشرة من جولة LLM Primer VI. vLLM كافتراضي Python-Native، وTensorRT-LLM يشتري الإنتاجية بخط بناء، وSGLang يفوز على أعباء الوكيل، وشجرة قرار بحسب شكل عبء العمل.

1447-11-15

الفصل 8 — الجيل التالي من إدارة ذاكرة KV

المقالة الثامنة من جولة LLM Primer VI. PagedAttention يجعل KV ذاكرةً افتراضيّة، وإخلاء H2O وInfiniGen يُزيل الرموز التي لا تهم، والتخزين المؤقت للبادئات هو أعلى رافعة عائد.

1447-11-13