LLM Primer VI — مقدمة السلسلة والفهرس

جولة فصلاً بفصل داخل LLM Primer VI: توسيع أنظمة الذكاء الاصطناعي — المجلد الذي يُعامِل استدلال LLM باعتباره انضباطاً هندسياً تلتقي فيه سعة عرض النطاق للذاكرة والجدولة وعلامات الدولار.

لماذا توجد هذه السلسلة

وحدة H100 مؤجَّرة بأربعة إلى ثمانية دولارات في الساعة تُقدِّم 989 TFLOP/s من حوسبة BF16. أما مستخدم واحد يُولِّد استجابة واحدة في الوقت الحقيقي عبر نموذج 70B على تلك الرقاقة فيستهلك نحو 0.34 بالمئة من تلك الحوسبة. الرقاقة عاطلة بنسبة 99.7 بالمئة — لا لأن عبء العمل صغير، بل لأنه مُقيَّد بعرض نطاق الذاكرة، ووحدات الحوسبة في الرقاقة لا تجد ما تفعله بينما تتدفق الأوزان عبر HBM. هندسة الاستدلال هي انضباط إيجاد عمل لتلك الوحدات العاطلة. إنها انضباط التجميع، ومحاسبة ذاكرة KV، والتكميم، وفك التشفير التخميني، والجدولة، ثم المنصة والتنسيق والتكلفة. كل تقنية في هذا المجلد صيغة مختلفة لنفس الحركة: تحويل الهدر المُقيَّد بعرض النطاق إلى إنتاجية دون كسر زمن الاستجابة الذي يشعر به المستخدم فعلاً.

لمن كتبتُ هذا

لمهندسي المنصات وموظفي SRE ومهندسي البنية التحتية الذين يمتلكون استدلال LLM على نطاق واسع — الأشخاص الذين تُوقظهم إشعارات الطوارئ عند ارتفاع زمن الاستجابة، وميزانيّتهم بند تجمُّع GPU، وعليهم أن يُوضِّحوا للقسم المالي سبب مضاعفة فاتورة الشهر الماضي. كما كُتب لمهندسي التعلم الآلي الذين درَّبوا النموذج ثم صار عليهم أن يُخدِّموه، ولمهندسي الواجهة الخلفية الذين يجدون أنفسهم فجأة أقربَ ما لدى الفريق إلى خبير استدلال. يفترض الكتاب طلاقةً في الأنظمة الموزَّعة والحاويات؛ ولا يفترض معرفةً مسبقة بأعماق GPU أو نمط ذاكرة المحوِّل. تلك يبنيها من مبادئ أولى.

كيف تقرأه

تنقسم الفصول الستة عشر إلى ستة أجزاء. الفصلان 1 و2 يُسمِّيان عبء العمل — الحلقة الانحدارية الذاتية وذاكرة KV. الفصلان 3 و4 يمشيان على السيليكون الذي يُشغِّله، من H100 إلى LPU من Groq. الفصلان 5 و6 يمشيان على تقليصات الجانب النموذجي — التكميم والتقليم والتقطير — التي تُقلِّص عبء عرض النطاق. الفصول 7–9 تمشي على تقنيات وقت التشغيل — التجميع، وذاكرة KV المُصفَّحة، وفك التشفير التخميني — التي تُخفي الوقت العاطل. الفصول 10–13 تمشي على مكدس التخديم — المحركات، والمنصات، والتفصيل، والتوسع التلقائي — الذي يُحوِّل تلك التقنيات إلى خدمة. الفصول 14–16 تمشي على المال: اقتصاديات الرموز، والاستضافة الذاتية مقابل واجهات API، وحركات خفض التكلفة التي تتراكم. يمكن قراءة الفصول بالترتيب أو الغوص فيها بحسب الموضوع، لكن التأطير الذي يبدأ من الآلية يعتمد على الفصلين 1 و2.

جولة الفصول الستة عشر

بين 23 أبريل و8 مايو تنشر الجولة فصلاً واحداً في اليوم. تُقطِّر كلُّ مقالة أفكارَ الفصل الثلاث الأساسية في قراءة تدوم خمس دقائق تقريباً، ويُوفِّر فصل الكتاب الأمثلة المشروحة والشيفرة وحواشي «بلغة بسيطة».

• 23 أبريل — الفصل 1 — ميكانيكا توليد الرموز. الحلقة الانحدارية الذاتية، والتعبئة الأمامية مقابل فك التشفير، ولماذا يترك مستخدم واحد وحدةَ H100 عاطلةً بنسبة 99.7 بالمئة.
• 24 أبريل — الفصل 2 — تحدي ذاكرة KV. صيغة الذاكرة، والمقايضات بين MHA وGQA وMQA، ولماذا يُدمِّر التخصيص الساذج التزامنَ.
• 25 أبريل — الفصل 3 — وحدات GPU لمراكز البيانات للذكاء الاصطناعي التوليدي. H100 وH200 وB200 وL40S وMI300X — تُقرأ بوصفها ملامح عرض نطاق وسعة VRAM، لا FLOP.
• 26 أبريل — الفصل 4 — السيليكون المتخصص ودوائر ASIC. LPU من Groq وInferentia2 وTPU v5p/v6 وGaudi 3 — أين تفوز ASIC وأين تخسر.
• 27 أبريل — الفصل 5 — كشف غموض التكميم. لماذا يُضاعِف الانتقال من FP16 إلى INT4 الإنتاجيةَ أربع مرات، وماذا يفعل كلٌّ من AWQ وGPTQ وSmoothQuant وGGUF فعلاً.
• 28 أبريل — الفصل 6 — التقليم وتقطير المعرفة. تناثر 2:4 على Hopper، وكيف تصير التسميات الليّنة من المُعلِّم نموذجَ طالب أصغر.
• 29 أبريل — الفصل 7 — استراتيجيات التجميع المتقدمة. من التجميع الساكن إلى التجميع المستمر على مستوى التكرار، والدَّين الذي يُنشئه التجميع المستمر.
• 30 أبريل — الفصل 8 — الجيل التالي من إدارة ذاكرة KV. PagedAttention وإخلاء H2O وInfiniGen واقتصاد التخزين المؤقت للبادئات.
• 1 مايو — الفصل 9 — فك التشفير التخميني. المسوَّدة والتحقق، وحساب متى يُؤتي التخمين ثماره — EAGLE وMedusa وMTP.
• 2 مايو — الفصل 10 — طبقة محرك LLM. vLLM وTensorRT-LLM وSGLang وTGI وOllama، وكيف تختار محركاً بحسب الآلية لا المعيار.
• 3 مايو — الفصل 11 — طبقة المنصة والتنسيق. Ray Serve وKServe وBentoML وTriton — أيها يوافق ثقافة التشغيل.
• 4 مايو — الفصل 12 — التخديم المُفصَّل وKubernetes. تقسيم التعبئة الأمامية وفك التشفير بين تجمُّعَي GPU، وبدائيّات Kubernetes التي تُعبِّر عن ذلك.
• 5 مايو — الفصل 13 — التوسع التلقائي والتخفيف من البدء البارد. لماذا HPA خاطئ لـ LLM، وكيف يُركِّب KEDA وKnative وCRIU بدءاً بارداً دون خمس ثوانٍ.
• 6 مايو — الفصل 14 — اقتصاديات الرموز وتسعير API. لماذا يُسعَّر المخرَج فوق المُدخَل، وكيف تُفاجئ رموزُ التفكير غير المرئية الفاتورةَ.
• 7 مايو — الفصل 15 — واجهات API بلا خادم مقابل البنية التحتية المخصصة. حسابات نقطة التعادل، وبنْد هندسة المنصة الذي تُقلِّل الفرق شأنه.
• 8 مايو — الفصل 16 — استراتيجيات خفض التكلفة في الإنتاج. التوجيه، وضغط السياق، وواجهات API المُجمَّعة، والتخزين المؤقت الدلالي — الحركات التي تتراكم.

عن هذا الكتاب والسلسلة

سلسلة LLM Primer سبعة مجلدات كتبها شو شيمودا، ونُشرت على Amazon KDP وتُقرأ فصلاً بفصل هنا على مدوَّنة ReceiptRoller. تُحاجج السلسلة بأن البناء بـ LLM انضباطُ أنظمة، وأن هذا الانضباط يُتعلَّم بأفضل صورة عبر المشي في كل طبقة من المكدس بأسلوب يبدأ من الآلية لا بصورة قائمة تحقق. المجلد السادس هو مجلد البنية التحتية — الذي يُجيب، طبقةً بطبقة، عن سؤال ما الذي يجب أن يكون صحيحاً في العتاد ووقت التشغيل والمنصة كي تنجو ميزةُ LLM من حركة المرور الحقيقية ومن مراجعة القسم المالي.