مقدمة إلى LLM

الفصل 11 — طبقة المنصة والتنسيق

المقالة الحادية عشرة من جولة LLM Primer VI. Ray Serve أولاً Python، KServe أولاً Kubernetes، BentoML يحزم، Triton يُجمِّع نماذج مختلفة — الاختيار عن ملاءمة ثقافة التشغيل.

1447-11-16

الفصل 10 — طبقة محرك LLM

المقالة العاشرة من جولة LLM Primer VI. vLLM كافتراضي Python-Native، وTensorRT-LLM يشتري الإنتاجية بخط بناء، وSGLang يفوز على أعباء الوكيل، وشجرة قرار بحسب شكل عبء العمل.

1447-11-15

LLM Primer VI — مقدمة السلسلة والفهرس

مقدمة الجولة الفصلية لـ LLM Primer VI: توسيع أنظمة الذكاء الاصطناعي. لماذا يترك مستخدم واحد وحدةَ H100 عاطلة بنسبة 99.7٪، وكيف تتعامل الفصول الستة عشر مع اختناق عرض النطاق التخديمي.

1447-11-05