الفصل 6 — التقليم وتقطير المعرفة

المقالة السادسة من الجولة الفصلية لـ LLM Primer VI: توسيع أنظمة الذكاء الاصطناعي. الفصل الذي يُهاجم عدد الأوزان مباشرةً — أولاً بتصفير الأوزان التي لا تهم، ثم بنقل سلوك نموذج كبير إلى نموذج أصغر.

لماذا يوجد هذا الفصل

يُقلِّص التكميم البايتات لكل وزن. يُقلِّص التقليم عدد الأوزان التي تُضرَب أصلاً. يُقطِّر تقطير المعرفة سلوك مُعلِّم كبير إلى طالب أصغر يعمل أرخص من طرف إلى طرف. التقليم تعديل بنفس العمارة يشذِّب النفقات؛ والتقطير تغيير عمارة يقبل كلفة زمن التدريب مقابل توفير دائم في زمن الاستدلال. يمشي الفصل 6 على كليهما — الميكانيكا التي يعتمد عليها كل منهما، وأنماط الفشل التي يواجهها الممارسون، والنمط المُسرَّع عتاديّاً (تناثر 2:4) الذي جعل التقليم المُهيكل مثيراً اقتصادياً مرة أخرى على Hopper وBlackwell.

6.1 تناثر 2:4 هو نمط التقليم الذي يُكافئه العتاد

التقليم بالمقدار غير المُهيكل — صفِّر أصغر 50 بالمئة من الأوزان وضبطها لفترة قصيرة — يعمل عددياً لكنه لا يُسرِّع. GPU تُنفِّذ GEMM كثيفة؛ الأصفار المُتناثرة لا تزال تُضرَب. التقليم المُهيكل يُزيل وحدات كاملة تستطيع الأجهزة تخطِّيها: رؤوس اهتمام، أو خلايا MLP، أو (الحالة المهمَّة) أنماط N:M داخل مصفوفات الأوزان. Hopper وBlackwell تدعمان تناثر 2:4 أصلياً — صفران بالضبط في كل أربعة أوزان متتالية على بُعد الإدخال. تُخزِّن الرقاقة كل مجموعة من أربعة أوزان بقيمتين غير صفريّتين مع قناع بتَّين، وتتخطَّى نواة الموتِّرات المتناثرة عمليات الضرب في الصفر، وتنخفض عرض النطاق وFLOP كلٌّ بمعامل تقريباً. في إنتاجية فك التشفير المُقاسة، ذلك تسريعٌ من 1.7 إلى 1.9×. الحيلة أن 2:4 يجب أن يُفرَض أثناء التقليم: تمشي الخوارزمية على كل مصفوفة بمجموعات من أربعة وتُجبِر الأصغر منها على الصفر، ثم إما تُضبط لفترة قصيرة أو تُطبِّق SparseGPT للتعويض. القناع بيانات وصفية؛ وتوفير وقت التشغيل تلقائي.

6.2 التقطير ينقل توزيع المُعلِّم لا مُتغيَّره الأقصى

ينتج LLM مُعلَّم مُدرَّب في كل موضع توزيعاً على المُفردات — softmax 128k البُعد. المُتغيَّر الأقصى هو الرمز الذي كان سيُصدره عند فك التشفير الجشع. لكن التوزيع يُشفِّر شكوك المُعلِّم، وبنيته التفضيلية عبر المرادفات القريبة، ومعايرته. تدريب طالب على مطابقة ذلك التوزيع ينقل كل ذلك: الخسارةُ هي تباعُد KL بين مخرجات المُعلِّم والطالب المُنعَّمة، بحرارةٍ تُوسِّع إشارة الميل إلى الذيل منخفض الاحتمال. يخرج الطالبُ سالكاً سلوك نسخة أصغر وأسرع من المُعلِّم بدل نموذج أصغر مُدرَّب من الصفر على نفس البيانات. تقطير المعرفة الصبور (Patient KD) يُوسِّع الوصفة إلى الطبقات المتوسطة، مطابقاً الحالات المخفية بين أزواج طبقات طالب-مُعلِّم مُرتبطة. MiniLLM يُعالج فشلاً أدق — مشكلة متوسط الأنماط، حيث يُحاوط طالب KL-الأمامي عبر عدة استمراريات مُعلِّم محتملة ويُنتج مُخرَجاً مُبتذلاً — بالانتقال إلى KL-العكسي، الذي يُفضِّل مطابقة حادة لأحد أنماط المُعلِّم على تغطية ليّنة لجميعها.

6.3 التقليصات الثلاث تتراكم، بترتيب مُحدَّد

قطِّر أولاً، ثم قلِّم، ثم كمِّم أخيراً. التقطير أكثر العمليات كلفةً وأشدها تدخُّلاً معمارياً؛ من المنطقي فعله مرة واحدة على نموذج كثيف عالي الدقة قبل أن تُثبَّت خيارات أخرى. قلِّم الطالبَ إلى 2:4 مع SparseGPT وضبطٍ قصير للاسترداد. كمِّم الطالبَ المُنَاثَر إلى FP8 مع llm-compressor. مكدَّس مشروح: 70B بدقة BF16 مُعلِّم ← 13B بدقة BF16 طالب مُقطَّر ← مُنَاثَر بـ 2:4 ← مُكمَّم بـ FP8. تنخفض بايتات الأوزان لكل تمرير أمامي من 140 GB إلى نحو 6.5 GB — تقليصٌ بمعامل 22× — وتُحوِّل مسارات FP8 و2:4 في Hopper ذلك إلى ربح إنتاجية 8–10× لكل GPU. ما لا تُقلِّصه المكدَّس هو ذاكرة KV، التي تعتمد على البُعد المخفي وعدد الرؤوس وطول السياق لا على عدد الأوزان. ذلك موضوع الفصل 8. وضغط مستوى النموذج لكل استدلال؛ يمنح GPU فسحةً، لكن الرافعة من جانب وقت التشغيل التي تملأ الفسحة بمستخدمين متزامنين هي التجميع.

ما يُمهِّد له الفصل 6

استنفد الفصلان 5 و6 التقليصات من جانب النموذج — كمِّم البايتات لكل وزن، قلِّم عدد الأوزان، قطِّر النموذج بأكمله. لـ GPU الآن فسحة على كل تمرير أمامي. يتوجَّه الفصل 7 إلى الرافعة على مستوى النظام التي تملأ تلك الفسحة بعمل مفيد: التجميع. التجميع الساكن يعمل تقريباً وينهار على مشكلة الأسرع انتهاءً. التجميع المستمر، بجدولة على مستوى التكرار، هو ما تُشغِّله محركات الإنتاج وما يُحوِّل مرحلة فك التشفير المُقيَّدة بعرض النطاق من رقاقة عاطلة إلى رقاقة تخدم مستخدمين كثيرين بتزامن.

التالي — الفصل 7: استراتيجيات التجميع المتقدمة. التجميع الساكن، الديناميكي، والمستمر — والدَّين الذي يُنشئه التجميع المستمر لذاكرة KV.