الفصل 5 — كشف غموض التكميم

المقالة الخامسة من الجولة الفصلية لـ LLM Primer VI: توسيع أنظمة الذكاء الاصطناعي. الفصل الذي يُوضِّح لماذا ينجو نموذج 70B من التكميم إلى 4-bit بينما لا ينجو نموذج 1B — وكيف تختار الوصفة.

لماذا يوجد هذا الفصل

فك التشفير مُقيَّد بعرض نطاق الذاكرة؛ وعملة عرض النطاق هي البايتات لكل وزن. نموذج 70B بدقة BF16 يقرأ 140 GB لكل تمرير أمامي. نفس النموذج بدقة INT4 يقرأ 35 GB. الحسابيات متطابقة. يتحرَّك الاختناق بمعامل أربعة. تلك الملاحظة وحدها هي سبب انتقال التكميم من فضول بحثي إلى المسار الافتراضي لنشر الاستدلال الإنتاجي. يمشي الفصل 5 على الميكانيكا — ماذا تعني الدقة فعلاً، ولماذا لا يُدمِّر التكميم العدواني نموذجاً كبيراً كما يُدمِّر نموذجاً صغيراً، وماذا يفعل AWQ وGPTQ وSmoothQuant وGGUF تحت الغطاء فعلاً، وأين يتوقَّف التكميم عن كونه آمناً ويبدأ بتدهور الجودة بصمت.

في سطر واحد: التكميم مقايضةُ عرض نطاق — تدفع اضطراباً عددياً صغيراً وتشتري تقليصاً مضاعفاً في البايتات التي على الرقاقة تدفُّقها لكل رمز.

5.1 لماذا تنجو النماذج الكبيرة من 4-bit والصغيرة لا تنجو

ثلاث ملاحظات تُدعِّم تكميم النماذج الكبيرة. أولاً، محتوى المعلومات لوزن فردي في محوِّل كبير منخفض: يظهر السلوك التنبؤي من التفاعل الجماعي لمليارات الأوزان التي يبلغ توزيعها ذروتَه بحدة قرب الصفر. تقريب وزن من 0.0031 إلى 0.003 لا يُغيِّر شيئاً تستطيع الطبقة التالية اكتشافه. ثانياً، المحوِّلات المُدرَّبة تجلس داخل منطقة مسطَّحة من فضاء المعاملات حيث تُنتج تكوينات كثيرة قريبة مخرجات متطابقة تقريباً، وللنماذج فوق 30B أو نحوها، المنطقة عريضة بحيث تمتصُّ اضطراب 4-bit بتدهور MMLU دون نقطة. ثالثاً، الدقة المختلطة تدع الطبقات الحساسة — نتائج الاهتمام، وتطبيع الطبقات، والقياس النهائي — تبقى في BF16 بينما تهبط إسقاطات المصفوفات الخطية الكبرى إلى INT4. نموذج 70B بدقة INT4 تجريبياً لا يكاد يتميَّز عن نفسه بدقة BF16؛ ونموذج 1B بدقة INT4 أسوأ ملحوظاً، لأن المنطقة المسطَّحة أصغر والاضطراب يدفع النموذج خارجها. الحدس الساذج — بأن النماذج الأصغر يجب أن تُكمَّم بأسهل — هو بالضبط عكس الصحيح.

5.2 AWQ وGPTQ وSmoothQuant وGGUF تفعل أشياء مختلفة

GPTQ يمشي على مصفوفة الأوزان عموداً بعمود، يختار مستويات التكميم لتقليل خطأ المُخرَج مقابل مجموعة معايرة صغيرة، ويُحدِّث الأعمدة غير المُكمَّمة لامتصاص البقية — تعويض تقريبي هيسيّ يُبقي مُخرَج الطبقة قريباً من الأصل. AWQ يبدأ من ملاحظة مختلفة: القيم الشاذة في التنشيطات مهمَّة كأهمية القيم الشاذة في الأوزان، فيُوسِّع قنوات الأوزان البارزة قبل التكميم (ويُقلِّص التنشيطات للتعويض)، مما يُوزِّع مستويات التكميم على المدى الذي تشغله تلك الأوزان فعلاً. SmoothQuant يُهاجم جانب التنشيط: LLM لديها حفنة من القنوات ذات مقاديرَ ضخمة تُدمِّر التكميم الساذج للتنشيطات، فيُهاجر مقدارَ القيمة الشاذة من التنشيطات إلى الأوزان لكل قناة، مما يُتيح لـ W8A8 أن يحطَّ بخسارة لا تُذكر. GGUF صيغة ملف لا خوارزمية واحدة — تحجيم الكتلة الفائقة المُتداخلة على نمط Q4_K_M المستخدَم من llama.cpp لاستدلال CPU والحافة، مهم إيكولوجياً لكنه نادر الاستخدام على GPU مراكز البيانات.

5.3 سُلَّم الأمان وانضباط المعايرة

سُلَّم الأمان التجريبي نظيف. BF16 ← FP8 دائماً تقريباً بلا خسارة وهو الافتراضي للإنتاج. BF16 ← INT8 بلا خسارة فوق ~7B مع خوارزمية كفؤة. BF16 ← INT4 بلا خسارة فوق ~30B مع AWQ أو GPTQ؛ تحت 13B يكلف نقطة إلى ثلاث نقاط MMLU؛ تحت 7B يكلف خمساً أو أكثر بلا تدريب واعٍ للتكميم. INT3 وأقل تجريبي. يحكم انضباطان ما إذا كان السُّلَّم يبقى في الإنتاج. الأول هو المعايرة على التوزيع الصحيح: 128–512 عيّنة تمثيلية مسحوبة من نفس التوزيع الذي ستسحبه أعباء العمل الإنتاجية، مُعادة كل ستة إلى اثني عشر شهراً مع انجراف عبء العمل. الثاني هو التقييم من جانب المهمَّة: قد تُفوِّت المعايير القياسية تحوُّلات الجودة في الذيل الطويل لقدرة النموذج — الحقائق النادرة، والاستدلال متعدِّد الخطوات، والكود بلغات الأقليات — والتكميم العدواني يجب أن يُتحقَّق منه مقابل شريحة من حركة المرور الإنتاجية الحقيقية مُقيَّمة بالأبعاد المهمَّة للتطبيق.

يجدر بنا تذكُّره: ابدأ من FP8 — إنه شبه مجاني ودائماً تقريباً آمن. انتقل إلى INT4 أو NVFP4 فقط إذا كان النموذج كبيراً كفايةً لامتصاصه، واستطعت التحقق مقابل تقييم على شكل الإنتاج. عامل التكميم كقرار نشر لكل نموذج مع جدول إعادة معايرة، لا كتحويل لمرة واحدة.

ما يُمهِّد له الفصل 5

يُقلِّص التكميم البايتات لكل وزن. يُقلِّص الفصل التالي عدد الأوزان مباشرةً. يمشي الفصل 6 على التقليم — بما في ذلك تناثر 2:4 المُهيكل الذي تُسرِّعه Hopper أصلياً — وتقطير المعرفة، حيث يُنقَل سلوك مُعلِّم كبير إلى طالب أصغر يعمل أرخص من طرف إلى طرف. معاً، تُشكِّل التقليصات الثلاث (كمِّم، قلِّم، قطِّر) عُدَّة الجانب النموذجي لتقليل عبء عرض النطاق الذي سمَّاه الفصل 1. ثم يتوجَّه الفصل 7 إلى الرافعة من جانب وقت التشغيل — التجميع — التي تُحوِّل الفسحة الجديدة إلى إنتاجية مستخدمين متزامنين.

التالي — الفصل 6: التقليم وتقطير المعرفة. التقليصان من جانب النموذج اللذان يُهاجمان عدد الأوزان مباشرةً بدل عرض الوزن.

هل تريد الصورة الكاملة؟ يشمل فصل الكتاب سير عمل معايرة FP8 الكامل مع llm-compressor، ووصفة NVIDIA ModelOpt لـ FP8 وNVFP4، وشيفرة قابلة للتشغيل لـ W4A16 GPTQ، وحواشي «بلغة بسيطة» عن التكميم بتصويت لجنة وFP8-مقابل-INT4 في الإنتاج. اطّلع على LLM Primer VI على أمازون ←