الفصل 9 — فك التشفير التخميني
المقالة التاسعة من الجولة الفصلية لـ LLM Primer VI: توسيع أنظمة الذكاء الاصطناعي. الفصل الذي يتبيَّن فيه أن للاختناق التسلسلي للانحدار الذاتي منفذاً رياضياً — ويُبيِّن حسابيات متى يُؤتي ثماره.
لماذا يوجد هذا الفصل
هاجم الفصلان 7 و8 التزامنَ، مُبقيَين GPU مشغولاً عبر تسلسلات كثيرة. لا يُغيِّر أيٌّ منهما حقيقةَ أن كل تسلسل لا يزال يستقبل رمزاً مُخرَجاً واحداً لكل تكرار. تلك الأرضية تبدو حتمية لأن التمرير الأمامي للمحوِّل يعتمد حقاً على الرمز المُختار سابقاً. فك التشفير التخميني هو ملاحظة أن الاعتماد على التوليد، لا على التحقق: بإعطاء مرشَّح للرمز t+1، يستطيع نموذج الهدف تشغيل تمرير أمامي واحد يسأل «هل كنتُ سأختار هذا؟» ويحسب توزيع t+2 بافتراض أن المرشَّح صحيح. يمشي الفصل 9 على الآلية، وخوارزميات المسوَّدة (EAGLE وMedusa وLookahead وMTP وn-gram وsuffix)، وحسابيات متى يكون التخمين رِبحاً.
9.1 رؤية التحقق تحفظ الصحة تماماً
تقترح آلية مسوَّدة رخيصة N رموز مرشَّحة. يُشغِّل الهدف — النموذج الباهظ الذي نُريده — تمريراً أمامياً واحداً على البادئة مُتَّصلةً بالمرشَّحين N. لأن التمرير الأمامي للمحوِّل متوازٍ عبر المواقع، يُنتج الهدف توزيعه للرمز التالي عند كل واحد من N+1 موضعاً في ذلك التمرير الواحد. أطول بادئة يتَّفق فيها المرشَّحون مع الهدف تُقبَل؛ وأول خلاف حيث يلتزم المحرك باختيار الهدف نفسه ويطرح الباقي. قاعدة القبول — اقبل x مسحوباً من المسوَّدة q باحتمالية min(1, p(x)/q(x))، وإلا اسحب من البقية المُنعَّمة (p−q)₊ — تجعل توزيع المُخرَج مطابقاً لمعاينة الهدف العادية. التخمين يحفظ الصحة؛ والمسوَّدة تُؤثِّر على السرعة فقط. على GPU الحديثة يكلف تمرير التحقق عند N=4 نحو 1.2–1.5× من خطوة فك تشفير عادية، لأن الاهتمام يمتد الآن على N+1 موضع استعلام لكنه يظل داخل النطاق المُقيَّد بالذاكرة بأريحية.
9.2 EAGLE يربط المسوَّدة بالحالة المخفية للهدف
استخدمت التنفيذات المبكرة نموذجاً صغيراً منفصلاً كمسوَّدة — Llama-7B يُسوِّد لـ Llama-70B — وهو يعمل لكنه يكلف تدفُّق HBM ثانياً لأوزان المسوَّدة ويحد القبول لأن النموذجَين لا يتشاركان التمثيلات. EAGLE، المُصقَل عبر EAGLE-2 وEAGLE-3 خلال 2024–2025، يربط المسوَّدة بالهدف: طبقة محوِّل واحدة مُدرَّبة للتنبؤ بالحالة المخفية للطبقة التالية من الهدف، مُسقَطة عبر تضمين مُخرَج الهدف نفسه. لا توجد مجموعة أوزان 7B منفصلة لتدفُّقها؛ رأس المسوَّدة بضعة مئات من الميغابايت. EAGLE-2 يُضيف توسُّع شجرة المسوَّدة الديناميكي — شجرة مرشَّحين مُتحقَّق منها في تمرير اهتمام واحد بقناع مُخصَّص — فيختار الهدف أفضل من عدة مسارات بدل تخمين المسوَّدة الواحد. EAGLE-3 يُضيف خلط ميزات متعدِّد الطبقات، مُستهلكاً طبقات هدف متوسطة بدل الطبقة قبل الأخيرة فقط. تحطُّ معدلات القبول عند 75–85 بالمئة على الدردشة والكود بـ N في 5–8، مُترجَمةً إلى تسريعات نهاية إلى نهاية 3–4× على فك التشفير العادي. Medusa يأخذ المسار البديل — رؤوس مسوَّدة متوازية تتنبَّأ بعدة رموز مستقبلية في تمرير واحد بدل انحدارياً — بقصة تدريب أبسط وقبول أقل قليلاً. n-gram وفك تشفير suffix هما الغداء المجاني لأعباء العمل المتكررة (تحرير الكود، مُخرَجات القوالب) حيث المسوَّدة مجرد بحث في السياق الأخير.
9.3 تمرير التحقق نفسه يصير السقف
صيغة التسريع دقيقة كفاية لكتابتها: E[accepted_tokens] / (T_draft/T_decode + 1 + α·N)، حيث α هي نفقات التحقق لكل موضع، عادةً 0.05–0.15. يظهر سقفان. أولاً، α·N ينمو مع N، فزيادة N بلا حد لا تُفيد؛ الذروة حول N=6–8 عند p=0.8، N=10–12 عند p=0.9. المحركات التي تُثبِّت N تُفوِّت الأمثل على تنوع عبء العمل. ثانياً، والأدق، التسريع المُقارَب مع اقتراب p من 1 هو 1/α — نحو 10× لـ α=0.10، و20× لـ α=0.05 — لأن تمرير التحقق نفسه هو الجدار. قاست محركات الإنتاج ذروات تسريع في هذا النطاق على أعباء عمل شديدة التكرار ولم تتجاوزها. يتفاعل التخمين مع التجميع كذلك: عند أحجام دُفعات عالية، يكون تمرير الهدف الأمامي قريباً من كونه مُقيَّداً بالحوسبة، وتدفعه رموز التحقق الإضافية أبعد، فينكمش التسريع مع نمو الدُّفعة. النقطة الحلوة للتخمين هي حجم دُفعة منخفض إلى متوسط على أعباء عمل حَرِجة زمن الاستجابة — بالضبط النطاق الذي تعيش فيه الحوسبةُ ناقصة الاستخدام من الفصل 1.
ما يُمهِّد له الفصل 9
استنفدت الفصول من 5 إلى 9 عُدَّة النموذج ووقت التشغيل — التكميم والتقليم والتقطير والتجميع وKV المُصفَّحة وفك التشفير التخميني. لا يُشحَن أيٌّ منها كمكتبة تستطيع pip install ونسيانها. على أحدهم توصيلها في وقت تشغيل يمتلك نموذجاً على GPU، ويُشغِّل دُفعة مستمرة، ويُعرِّض واجهة استدلال. ذلك الوقت التشغيل هو المحرك. يمشي الفصل 10 على المحركات الخمسة المُهيمنة على مكدس 2026 — vLLM وTensorRT-LLM وSGLang وTGI وOllama — والمقايضات الميكانيكية التي تُقرِّر أيٌّ هو الاختيار الصحيح لنشرة معيَّنة.
التالي — الفصل 10: طبقة محرك LLM. vLLM وTensorRT-LLM وSGLang وTGI وOllama — المحركات كوقت تشغيل عقدة واحدة، مُختارَة بحسب الآلية لا المعيار.
