الفصل الرابع — كيف يَتعلَّم النموذج

المقالة الرابعة من الجولة الفصلية في LLM Primer I: How Generative AI Works. الصورة الكاملة لكيف صار النموذج الذي تَستخدمه يومياً ما هو الآن.

ثلاث مراحل — لا تَفهم النموذج إلّا حين تَرى الثلاث

أن تَنظر إلى نموذج LLM حديث وتُحاول أن تَستعيد دفعةً واحدةً المسار الذي قَطعَه كي يَصير المساعدَ على شاشتك — هذا ليس سهلاً. التدريب المسبق، الضبط الدقيق، التعلُّم بالتعزيز من التغذية الراجعة البشرية (RLHF). الفصل الرابع من الكتاب مُكرَّس لهذه المراحل الثلاث — ما يَفعله كلٌّ منها، وما يُنتجه، ولماذا لا نَصل إلى المساعد الذي نَثق به يوميّاً إلّا بِجَمعها كلِّها معاً.

حين تَفهم أيُّ مرحلةٍ تُشكِّل أيَّ جانب من النموذج، تَصير أسئلة من نوع "لماذا هذا النموذج قويٌّ في X وضعيفٌ في Y؟" قابلةً لِأن تُجيب عنها بكلماتك أنت.

التدريب المسبق — المرحلة التي تَرسم سقف القدرة

التدريب المسبق هو نقطة انطلاق LLM. ومن حيث الكلفة، هو الوحش: الحصّةُ الأكبر بكثير من وقت المشروع وحوسبته. تدريبُ نموذجٍ كبيرٍ من الصفر، حجمياً، يَقترب من بناء طائرة.

في هذه المرحلة، يَتلقّى النموذج محيطاً من النصوص — كتب، صفحات وِب، أكواد، ويكي، أوراق بحثية — ومَهَمَّتُه واحدة، تلك التي بِتنا نَعرفها جيّداً: تَنبَّأ بالرمز التالي. بِتكرار هذا الهدف البسيط على تريليونات من الرموز، يَستوعب النموذج — وكأنّه أثرٌ جانبي — النحوَ، والحقائقَ، وخيوط الاستدلال، وطبقاتٍ متراكمةً من أنماط التعبير البشري.

هنا يُبرز الكتاب جملةً واحدة: هذه المرحلة هي التي تُحدِّد "سقف القدرة". قد تَنحت المراحل التالية الشخصية، لكن إضافةَ قدرةٍ لم تَكن موجودةً في التدريب المسبق هي شِبه مستحيلة.

الضبط الدقيق — نَحتُ القدرة إلى شكلٍ قابلٍ للاستخدام

النموذج بعد التدريب المسبق مباشرةً قويٌّ، لكنّه غيرُ مَريحٍ في الاستعمال. يُنتج كلَّ شيء، لكنّه نادراً ما يَصبّ في القالب الذي تَتوقَّعه. التشبيهُ الذي أَستعمله غالباً: حوارٌ مع شخصٍ شديد الذكاء، ضعيف اللطافة الاجتماعية. القدرةُ موجودة، أمّا التغليفُ فلا.

هنا يَدخل الضبط الدقيق. على مجموعةٍ من البيانات أصغرَ بكثير ومُنتقاة بعنايةٍ شديدة — في العادة حواراتٌ نموذجية يَكتبها بشر، تَقول للنموذج "نُريد منك أن تَستجيب هكذا" — يُدرَّب النموذج إضافياً. تَتحرَّك الأوزان قليلاً جداً، لكن في اتّجاهٍ يَتراكم — فيَنتقل النموذج من "جافٍّ" إلى "لطيف"، ومن "مشتَّت" إلى "مُرتَّب"، ومن "إجابةٍ سطرية" إلى "بسط عند الحاجة".

النموذج المُدرَّب مُسبقاً نفسه، بحسب نوع الضبط الدقيق الذي تَلقّاه، يَصدر بأشكالٍ متباينة جدّاً: مساعدٌ للبرمجة، مُستشارٌ بنبرةٍ طبّية، روبوت محادثةٍ خفيف. هنا تَبدأ عائلات النماذج بِالتفرّع.

RLHF — المرحلة التي يُصنَع فيها المساعد الذي تُحبّه

أكثر المراحل دقّةً، وفي الوقت ذاته أعمَقُها أثراً في الشخصية النهائية، هي RLHF. في سطرٍ واحد: دَع النموذج يُنتج إجابتَين مختلفتَين عن السؤال نفسه ← اطلُب من مُقيِّمٍ بشريٍّ أن يَختار أيَّ الاثنتَين أفضل ← استخدِم هذه الإشارة لِتحريك النموذج قليلاً في ذلك الاتّجاه. كرِّر هذا عشراتِ، مئاتِ الآلاف من المرّات.

الدقّةُ التي تَنحَت من هذه العملية ثقيلة. ما الذي يُعَدُّ "مفيداً حقّاً"، وما الذي يُعَدُّ إجابةً آمنة، ومتى يَنبغي أن يَقول "لا أعرف"، وأينَ يُصبح الأدبُ مُبالغاً فيه — كلُّ هذه الدقائق يُؤشِّر عليها بشرٌ مثالاً مثالاً. وعلى هذه الإشارات يَنحت — ببطء — الشخصيةُ التي نَدعوها "المساعد".

لماذا نماذج العائلة الواحدة تبدو مختلفة

مع وضع هذه المراحل الثلاث في رأسك، تَتّضح أسئلةٌ كانت تَطفو. لماذا يُجيب نموذجا OpenAI و Anthropic بنبراتٍ مختلفة على السؤال ذاته؟ لماذا نَموذجان بالحجم نفسه يَتقاربان في البرمجة ويَختلفان في النثر؟ لماذا أحدُهما يَقول "لا أعرف" بسهولة، والآخرُ يُصرّ على إعطاء إجابةٍ مهما كَلَّف الأمر؟

معظم الفوارق — فوق فارقَ بيانات التدريب المسبق — تأتي من مرحلتَي الضبط الدقيق و RLHF. هاتان المرحلتان هما "أسلوب" العائلة، ولذلك فإنّ التعوُّد على عائلةٍ من النماذج يَعني، في جوهره، التعوُّد على فلسفة تدريبها.

الصورة الذهنية التي يَتركها الفصل الرابع

عند ختام الفصل الرابع يَصير واضحاً أنّ "النموذج الأساس" و"النموذج المساعد" ليسا الشيءَ نفسه، وأنّ كلَّ مرحلةٍ من التدريب تُشكِّل سلوكاً بعينه. مع هذا الوضوح، يَسهُل التوقُّع — ما الذي يَجدر تَوقُّعه وما الذي لا يَجدر — من أيِّ LLM يَعترض طريقك.

غداً — الفصل الخامس: لا تزال ثمَّة عيوبٌ صغيرة. سنُغيِّر النبرة قليلاً، ونَنظر بصدق إلى نقاط الضعف الباقية حتّى في LLM المُدرَّب جيِّداً — الهلوسة، الإحساس بالزمن، الحساب، الاتّساق. وسَنُبيِّن لماذا هذه ليست أخطاءً بل خواصُّ الآلية ذاتها.