الفصل الثاني — الاحتمال، الرموز، والنصّ

المقالة الثانية من الجولة الفصلية في LLM Primer I: How Generative AI Works. الكلمتان الأكثر أهمّيةً في الكتاب كلِّه — الرمز (token) والاحتمال — نَفُكّهما بعنايةٍ هنا.

النموذج لا يَرى "الكلمات"

يَبدأ الفصل الثاني بحقيقةٍ تخالف الحدس قليلاً. حين تُرسل جملةً إلى LLM، فإنّها من زاوية نظره ليست جملةً. هي سلسلةٌ من الرموز — أجزاءٌ أصغر من الكلمات.

يُمكن أن يكون الرمز أقصرَ من الكلمة، ويُمكن أن يكون أطولَ. الكلماتُ المتواترة — "the"، "and"، "النموذج" — تَنزل عادةً في رمزٍ واحد. أمّا كلمةٌ نادرة مثل "detokenization" (إزالة التقطيع) فعلى الأرجح تُقطَّع إلى "de / token / iz / ation" أي إلى أربعة رموزٍ أو خمسة. مفرداتُ LLM الفعلية تختلف اختلافاً ملموساً عمّا نراه في معاجم اللغة.

هذا الفرق أهمُّ ممّا يبدو. إن احتفظتَ في ذهنك بفكرة أنّ النموذج "دُرِّب كلمةً كلمة"، فإنّ حدسك حول مَواطن قوَّته وضعفه يَنحرف على الفور. حين ترى آلية التقطيع، تَفهم في الحال — لماذا يَتعثَّر LLM في تهجئة أسماء المؤلِّفين بدقّة، ولماذا يتصرَّف بغرابةٍ مع الكلمات المُستحدَثة، ولماذا تَستهلك بعض اللغات رموزاً أكثر من غيرها.

إذن، ما الذي يُنتجه النموذج بالضبط؟

تأتي الحركة الكبرى الثانية في الفصل. حين يُنتج LLM رمزاً واحداً، فإنّه لا يَختار ذلك الرمز وحده. هو في كلِّ خطوةٍ يَبني توزيعاً احتمالياً كاملاً — جدولاً يحوي درجةً لكلِّ رمزٍ من عشرات الآلاف من الرموز الممكنة في المفردات. "the" بِـ 0.31، "a" بِـ 0.12، "النموذج" بِـ 0.04، "موزة" بِـ 0.00001…

هذه الصورة تستحقّ أن تَتوقّف عندها قليلاً، لأنّها تُفسِّر كثيراً. هي السبب في أنّ المُوجِّه نفسه قد يَنتج إجاباتٍ مختلفة؛ وفي أنّ النموذج نفسه قد يَكتب نصّاً مَملولاً وآخرَ نضراً — فالإجابة تُسحَب من توزيعٍ كاملٍ، لا من "فائزٍ" مُحدَّدٍ مُسبقاً.

السؤال التالي — وهذا ما يُسمَّى "أخذ العيّنات" (sampling) — هو: كيف نَسحب، بالضبط، رمزاً واحداً من هذا التوزيع؟

temperature وtop-p — المقبضان اللذان يَهُمّان

ثمّةَ أكثر من طريقةٍ لِسَحب رمزٍ من توزيع. الطريقتان اللتان يُكرِّس الكتاب لهما أكبر مساحة — temperature وtop-p — سَمعتَ بهما على الأرجح، لكن قلَّما رأيتَهما مَشروحتَين كما يَجب.

Temperature تُغيِّر شكل التوزيع نفسه. إذا خفَّضتَها، يَزداد المرشَّحون في القمّة ارتفاعاً، فيَختار النموذج تقريباً دائماً الرمز الآمن المتوقَّع. تَصير المخرَجات منظَّمة — ومنبسطة رتيبة في الوقت ذاته. وإذا رفعتَها، يَنبسط التوزيع، ويَنال مرشَّحون كانوا مُهْمَلين فرصةً للظهور. تَصير المخرَجات منعشة — وإن رفعتَها كثيراً تبدأ تَبدو شاردة، متفكِّكة. في سطرٍ واحد: temperature هي مِقبض المسافة بين الجِدّة والتماسك.

Top-p (المسمَّى أيضاً nucleus sampling) يُعالج المسألة ذاتها من زاوية أخرى. بدلاً من ضغط التوزيع كلِّه، يَحتفظ فقط بالمرشَّحين الذين يَبلغ مجموع احتمالاتهم p — في العادة 0.9 — ثمَّ يأخذ العيّنة من هذه المجموعة الفرعية. الأثر: تَقطع الذيلَ الاحتمالي البعيد، لكن تَحتفظ بالتنوُّع بين المرشَّحين المنطقيّين.

الجَمع بين هذين المقبضَين — والطرق أكثرُ ممّا تَظنّ — هو ما يَسمح لـ LLM نفسه أن يتصرَّف باتّساقٍ كاملٍ كمعبدٍ، أو ارتجالٍ كموسيقيِّ جاز. هذا ليس اختياراً بين "إبداعي" و"متوازن" بتلك الفجاجة. يُكرِّس الكتاب صفحاتٍ لإظهار من أين تأتي آثار هذَين المقبضَين فعلاً.

التفكير "رمزاً تلوَ آخر"

أهمُّ نمطٍ ذهني أَتمنّى أن أنقله من هذا الكتاب نمطٌ واحد: لا تَنسَ لحظةً أنّ النموذج يُنتج رمزاً واحداً في كلِّ مرّة.

إنتاج إجابةٍ طويلة يَعني أن يُكرّر النموذج، أكثر من ألف مرّة، حلقةَ "أَخذُ كلِّ ما كُتب حتّى الآن سياقاً، ثمَّ سَحبُ الرمز التالي". كلُّ رمزٍ جديد يَعتمد على كلِّ ما سبق. تَعَثُّرٌ مبكِّر يَتردّد صداه إلى النهاية. والعكسُ صحيح: بدايةٌ تَسلك الاتّجاهَ الصحيح تَسحب السلسلة كلَّها إلى مسارٍ أفضل.

كلُّ مسألةٍ هي مسألة "الرمز التالي"

يُغلِق الفصل بفكرةٍ أكبر. كتابةُ الكود، نَظمُ الشعر، حلُّ مسألةٍ رياضية، تلخيصُ مذكَّرة، الرَّدُّ في الجولة الخامسة من حوار — كلُّ هذه المهامّ، من زاوية نظر النموذج، تَنزل إلى الشيء ذاته. بالنظر إلى السياق حتّى اللحظة، ما هو الرمز التالي الأكثر احتمالاً؟ هذا فقط. كلُّ الثراء الذي نَراه يَستند إلى هذه الدعامة البسيطة الوحيدة.

حين يَستقرّ هذا النمط في ذهنك، تتحسَّن تفاعلاتك مع LLM في صمت — في طريقة كتابتك للموجِّهات، وفي اختيارك للنموذج، وفي حِدسك بما يُجيده كلٌّ وما لا يُجيده.

غداً — الفصل الثالث: كيف يتدفَّق النصّ داخل النموذج. نخطو خطوةً أعمق — ما الذي يَحدث بعد أن يَدخل الرمز. التضمين (التمثيل العددي للرمز)، الانتباه (كيف يُقرِّر النموذج "أين يَنظر")، وكيف تَجتمع هذه كلُّها في Transformer.