الفصل 10 — رياضيات ما بعد التدريب والمواءمة

المقالة العاشرة من الجولة الفصلية في LLM Primer II: Language Models Through Mathematics. الفصل الذي يُروَّض فيه متنبئٌ بالرمز التالي — لامعٌ ومتوحِّش في آنٍ — حتى يَصير مساعداً مفيداً. والفصل الذي تَنطوي فيه منظومةُ التعلُّم المعزَّز بأَسرها، باشتقاقٍ أنيق، في شيءٍ يُمكن تدريبه كأنَّه مُصنِّفٌ عادي.

لماذا هذا الفصل

الفصلان الثامن والتاسع أَخرجا نموذجاً مُدرَّباً مسبقاً. قد قرأ كثيراً من الإنترنت، وصار يُكمل أيَّ نصٍّ بِطلاقةٍ غريبة. غير أنَّه لا يَميل بطبعه إلى أن يَكون مفيداً. تَطرح عليه سؤالاً فيُولِّد أسئلةً أخرى — لامعٌ ومتوحِّش في آنٍ.

الفصل العاشر هو الجسر بين ذلك الكائن والمساعد الذي تَستخدمه فعلاً. وهو أيضاً من أَكثر فصول الكتاب جَمالاً من ناحية الرياضيات — هندسةُ المواءمة تَستندُ إلى ثلاث أفكارٍ نظيفة متتالية، والثالثةُ منها أنيقةٌ بصورةٍ غير معقولة.

10.1 الضبط الدقيق الموجَّه

الخطوة الأولى والأَلطف. ليس فيها جديدٌ رياضياً — تَجمع أزواجاً من (موجِّه، إجابة مثالية) من البشر، وتُدرِّب بالخسارة المُتقاطعة نفسها التي رأينَاها في الفصل الأوَّل. بمحاكاة آلافٍ من أمثلة المساعد المفيد، يَتعلَّم النموذجُ أن يَتصرَّف كذلك المساعد بدلاً من أن يَتصرَّف كصفحةٍ من الإنترنت. السقف هنا واضح: المحاكاة لا تَتجاوز مَن يَعرضون النموذجَ، وكتابةُ الإجابة المثالية أصعبُ بكثيرٍ من التعرُّف عليها.

10.2 نماذج المكافأة ورياضيات التفضيل

إن كانت كتابةُ الإجابة المثالية صعبةً والمقارنةُ بين إجابتَين سهلة، فلنَجمع المقارنات. والجسر من المقارنات البشرية المُشوَّشة إلى دالةِ تَسجيلٍ سلسة هو نموذج برادلي-تيري (إحصاءٌ من خمسينيات القرن الماضي). يُعطي كلَّ عنصرٍ قوةً مُختفية، وتَكون احتمالية أن يَتغلَّب أحدُهما على الآخر محكومةً بفارق القوَّتَين عبر دالةٍ لوجستية. يُدرَّب نموذج المكافأة لِيَجعل هذه الاحتمالية مُطابِقةً للوسوم البشرية. تأمَّل المعادلة مرَّةً أخرى وستُدرك: هذا انحدارٌ لوجستيٌّ على فروق المكافآت.

10.3 RLHF على مقود

التعلُّم المعزَّز السَّاذج — تَعظيم المكافأة المتوقَّعة — مَصيدةٌ. نموذج المكافأة وسيط، له بُقَعٌ عمياء. وسياسةٌ تُحسَّن بقوَّةٍ كافية تَستغلُّ تلك البُقَع وتُنتج نصاً مُنحلاً يَحصل على دَرجاتٍ عالية بشكلٍ مُضحك بينما يَبدو هَذَياناً للبشر. اختراق المكافأة — أَوضح صورةٍ لِما يُسمَّى مُلاعبة المواصفات. الحلُّ: إضافة عقوبة تَباعد KL تَجذب السياسةَ نحو المرجع المُدرَّب مسبقاً. والفنُّ في التوازن: مقودٌ قصيرٌ يَختنق فلا يَتحسَّن النموذج، ومقودٌ طويلٌ يَهرب فيَخترق المكافأة.

10.4 DPO: حين يَذوب التعلُّم المعزَّز

من أَجمل النتائج في تَعلُّم الآلة الحديث. هدف RLHF يَبدو كأنَّه يَستوجب المنظومةَ بأَسرها — نموذج مكافأة، حلقة تعلُّم معزَّز، عيِّنات. أثبتَ تحسين التفضيلات المباشر (DPO) أنَّه لا يَستوجبها. لِتَعظيم المكافأة المقيَّد بـ KL حلٌّ مُغلق الشكل: السياسة المرجعية مُعاد وَزنها بمكافأةٍ مَأخوذةٍ من الأُسِّ. اقلب الاتجاه: حُلَّ المكافأةَ بدلالة السياسة المُثلى، ثم عوِّض في خسارة تفضيل برادلي-تيري، وراقب نموذج المكافأة وهو يَتلاشى. ما يَبقى خسارةٌ مُعبَّر عنها كاملةً بلوغاريتمات احتمالات السياسة نفسها مقابل المرجع. لا نموذج مكافأة منفصل. لا حلقة تعلُّم معزَّز. مجرَّد تعلُّمٍ مُشرَف على أزواج التفضيلات.

10.5 الأفضل من بين n، ضريبة المواءمة، تحفُّظاتٌ صادقة

بديلٌ أبسط: أَخذ العيِّنات بالرَّفض / الأفضل من بين n. وَلِّد n مُرشَّحاً، سَجِّلها كلَّها، احتفظ بالأَفضل. لا تدريبَ للسياسة، فقط استدلالٌ إضافي. خطُّ أَساسٍ قويٌّ وبسيطٌ إلى أَبعد الحدود.

تَحفُّظان. الأوَّل، ضريبة المواءمة: نموذجٌ مُضبَطٌ بشدَّةٍ نحو الفائدة والأمان قد يَفقد بعضاً من قدرته الخام. والثاني، أَعمق: كلُّ طريقةٍ هنا تُحسِّن من أجل القَبول البشري، وذلك ليس هو الصدقَ ولا الخير. النموذج قد يَتعلَّم أن يُحبَّ دون أن يَتعلَّم أن يُصيب.

يُغطِّي الفصل أيضاً RLAIF (استخدام حُكم نموذجٍ لِمُواءمة آخر) والذكاء الاصطناعي الدستوري (قِيَمٌ مكتوبةٌ بلغةٍ مفهومة). كلاهما يُلمِّح إلى المشكلة الأعمق: الإشراف القابل للتوسُّع.

ما يُؤسِّس له الفصل العاشر

تَخرج بثلاث حركاتٍ وقطعتَين جميلتَين من الإحصاء. ومن هنا يَنتقل الكتاب إلى السؤال المتَّصل والرياضيِّ بالدرجة نفسها: الآن وقد بَنينا نموذجاً وواءَمنَاه، كيف نَعرف أنَّه جيِّد؟

غداً — الفصل 11: التقييم والمعايرة والاستدلال. الحَيْرة (perplexity)، المعايرة، أَشرطة الخطأ التي ينبغي أن يَحملها كلُّ مقياس معياري، ورياضيات قياس الهلوسة.