الفصل الثالث — كيف يتدفّق النصّ داخل النموذج

المقالة الثالثة من الجولة الفصلية في LLM Primer I: How Generative AI Works. أحدُ فصول الكتاب المفضَّلة لديّ — نَدخل لِنَرى ما الذي يَحدث للرمز بعد أن يَتجاوز العتبة.

ماذا يَعني أن "تَصير الكلمة متّجهاً"

من هنا تبدأ الأمور المثيرة فعلاً. في اللحظة التي يَدخل فيها الرمز إلى النموذج، يَتوقّف عن كونه أحرفاً. يَتحوَّل كلُّ رمزٍ إلى تتابعِ أرقامٍ بَعدِها بضع مئاتٍ من الأبعاد — تضمينٌ (embedding).

لماذا كلُّ هذا العناء؟ لأنّ تتابع الأرقام هذا يَحمل، بطريقةٍ ما، "معنى" الرمز — على الأقلّ في الصورة التي يستطيع النموذج التعامل معها. في هذا الفضاء، يَقع "ملك" بقرب "ملكة"، و"باريس" بقرب "فرنسا". يَحمل تضمينُ الرمز معلوماتٍ أغنى بكثير من السلسلة القصيرة — مع أيِّ كلماتٍ يَظهر عادةً، وفي أيِّ سياقاتٍ، ومع أيٍّ من الكلمات الأخرى يَتصرَّف بطريقةٍ مشابهة.

يُكرِّس الفصل الثالث مساحةً لكيفية تكوُّن هذه التضمينات، والأهمُّ — وهذه النقطة تُدهش في كلِّ مرّة — أنّها ليست قاموساً ثابتاً. هي تمثيلٌ مُتَعَلَّم.

الانتباه — الالتفاتة التي غيَّرت كلَّ شيء

بعد التضمين، تَدخل المسرحَ آليةٌ أعادت تشكيل المجال كلِّه. الانتباه — أو بدقّةٍ أكثر، الانتباه الذاتي (self-attention) — فكرتُه التالية: حين يُعالج النموذج رمزاً ما، يستطيع أن يَنظر إلى كلِّ الرموز الأخرى في السلسلة، ويُقرِّر لكلِّ واحدٍ منها: "كم يَهُمُّك في فهم هذا الرمز الذي أَعمل عليه الآن؟".

قبل الانتباه، كانت النماذج تَقرأ النصّ كلمةً بعد كلمة، بالترتيب. بعد الانتباه، يُمكن لأيِّ رمزٍ أن يَربط نفسه بأيِّ رمزٍ آخر في خطوةٍ واحدة.

لماذا هذا ثقيل بهذه الدرجة؟ تَخيَّل جملةً مثل "دَخل إلى الحديقة، وكانت قد خَلَت". لِيَفهم النموذج إلى أيِّ شيءٍ يَعود ضمير "هي" (المُتضمَّن في "كانت") — إلى الشخص أم إلى الحديقة — عليه أن يَرسم خطّاً بين الرمز و"مرجعه". الانتباهُ هو الذي يُتيح رسمَ هذا الخطّ.

يُقدِّم الكتاب الانتباه دون أن يُغرقك في المصفوفات. ما إن تَستقرّ هذه الصورة الذهنية، حتّى يَصير في الإمكان تفسير كلِّ ما يأتي بعدُ عن سلوك LLM بالاستناد إليها تقريباً.

Transformer — كَدِّس المكعِّب نفسه ستّين مرّة

إذا كان الانتباه قويّاً إلى هذا الحدّ، فماذا لو كَدَّسناه ببساطة؟ معمارية Transformer هي الجوابُ بالضبط. الانتباه مضافاً إليه تحويلٌ موضعي بسيط (طبقة feed-forward) يُشكِّلان مكعَّباً، وذلك المكعَّب يُكدَّس — اثنتي عشرة طبقة، ستّين طبقة، وفي النماذج الأكبر مئاتٍ منها.

كلُّ طبقةٍ تَصقل تمثيل الرموز خطوةً أبعد، فتَجعلها أكثر تجريداً وأكثر اندماجاً في السياق ككلّ. التشبيهُ الذي أَعود إليه في الكتاب — أنّ فهم النصّ يَنطلق من السطح (الأحرف)، فمن النحو، فمن المعنى، إلى "ما هو الرمز التالي الأكثر احتمالاً؟" — يَعمل جيّداً لِتَصوُّر ما تَفعله كلُّ طبقة.

متلبِّساً بهذا التشبيه، يَصير أقلَّ غرابةً كيف يَستطيع نمطٌ بسيط، مكدَّسٌ ستّين مرّة، أن يُولِّد هذا الثراءَ السلوكي.

الفقرة التي أَسعدَني كَتْبُها أكثر

في مكانٍ ما من هذا الفصل، توجد صفحةٌ كانت كتابتُها لي مَصدرَ متعةٍ خاصّة — تلك التي تَصف، بالرسم وبالنصّ، كيف تتدفّق المعلومة داخل Transformer.

نَنطلق من تضمين المُدخَل، ونَعبُر طبقةً من الانتباه، فيَزداد التمثيل غنىً. ثمَّ طبقة أخرى، فيَزداد غنىً مرّة جديدة. عند النهاية، يَحمل تمثيلُ كلِّ رمزٍ ليس فقط ما هو، بل ما يفعله السياقُ كلُّه به. قال لي قرّاءٌ أحياناً إنّ هذه الصفحة، ما إن يَرَوها، تُغيِّر طريقة تفكيرهم بـ LLM كلِّياً.

لو طُلب منّي تلخيصُ هذا الفصل في جملةٍ واحدة: Transformer آلةٌ يَنظر فيها كلُّ رمزٍ إلى جيرانه، يَستوعب منهم المعلومات، ثمَّ يُمرِّر إلى الأمام نسخةً أذكى قليلاً من نفسه، وذلك يَتكرَّر طبقةً تلوَ طبقة حتّى تَظهر إجابة.

إن وَصلتَ إلى هنا، فأنت تَسير على ما يُرام

إنهاء الفصل الثالث يَعني أنّك تَجاوزتَ الجبلَ الأكثرَ تقنيّةً في الكتاب. التضمين، الانتباه، Transformer المُكدَّس. لقد وَطئتَ داخل النموذج، ورأيتَ كيف يتدفّق فيه كلُّ شيء. مع هذه الصورة في يدك، تَجد كلَّ الفصول التالية — التدريب، الضبط الدقيق، RAG، الوكلاء، نماذج الاستدلال — تَستندُ إلى أساسٍ صلب.

غداً — الفصل الرابع: كيف يَتعلَّم النموذج. نَعود خطوةً إلى الوراء — من "كيف يَعمل" إلى "كيف تَعلَّم". التدريب المسبق مقابل الضبط الدقيق، وكيف يُحوِّل RLHF نموذجاً خاماً إلى المساعد الذي نَستخدمه يومياً.