الفصل 11 — التقييم والمعايرة والاستدلال

المقالة الحادية عشرة من الجولة الفصلية في LLM Primer II: Language Models Through Mathematics. الفصل الذي نَسأل فيه كيف يُمكن لأحدٍ أن يَقيس آلةً تَستطيع قول أيِّ شيء — ونَكتشف أنَّ النموذج الواثق غالباً ما يَكون نموذجاً سيِّءَ المعايرة.

السؤال الذي يَتَّضح أنَّه رياضي

بَنينَا نموذجاً في الجزء الثاني، ودرَّبنَاه في الجزء الثالث، وواءَمنَاه في الفصل العاشر. كيف نَعرف إن كان شيءٌ من ذلك قد عمل فعلاً؟ يَبدو السؤال طريّاً. وهو من أَصعب الأسئلة في المجال وأَكثرها رياضية، لأنَّ نموذج اللغة يَستطيع إنتاج أيِّ نصٍّ تقريباً، و"الجيد" يَأبى التعريف.

11.1 الحَيرة

أكثر المقاييس أساسيةً لا يَحتاج إلى بشرٍ على الإطلاق — يَخرج مباشرةً من هدف التدريب. قِس الاحتمال الذي يُعطيه النموذج لمجموعة اختبارٍ مَحجوزة. لكلِّ رمزٍ، ومأخوذاً أُسِّياً، يُسمَّى ذلك الحَيرة (perplexity) — مفاجأةُ النموذج المتوسِّطة في صورةِ معامل تفرُّعٍ فعَّال. رخيصة، موضوعية، آلية. عمياء عن كلِّ ما يَهمُّ في الممارسة تقريباً: الفائدة، الصدق، الأمان. وغير قابلةٍ للمقارنة بين المُرمِّزات المختلفة. يُغطِّي الفصل أيضاً BLEU وROUGE ومعدَّل تنفيذ الشيفرة ودرجات النماذج الحَكَمة — لكلِّ واحدٍ منها وجوهُ فشلٍ معروفة.

11.2 المعايرة

النموذج حسن المعايرة إذا كانت ثقته مُطابقةً لدقَّته — حين يَقول إنَّه واثقٌ بنسبة 80% فينبغي أن يَكون مُحقّاً في نحو 80% من الحالات. ليست الدقَّةَ ذاتها. النموذج قد يَكون دقيقاً لكنَّه مُفرطُ الثقة، أو غير دقيقٍ لكنَّه صادق. في كلِّ استخدامٍ عالي المخاطر، تَعدل المعايرة الدقَّةَ في الأهمية.

يُقاس ذلك بـمخطَّط الموثوقية: قسِّم التنبؤات إلى صناديق حسب الثقة المُعلَنة، وفي كلِّ صندوق احسب الدقَّة. النموذج المُعايَر مثاليّاً يَسير على القُطر، والحالة الشائعة تَنتأ تحت القُطر (مُفرطُ الثقة). والمقياس المُختصِر هو خطأ المعايرة المتوقَّع (ECE). قياسُ الحرارة — قَسم اللوغاريتمات على عدد سُلَّمي مُتعلَّم — حلٌّ بَعدي بسيطٌ وفعَّال. والمثير أنَّ RLHF كثيراً ما يُسوِّء المعايرة.

11.3 عدم اليقين المعياري

حين يَنال نموذجٌ "87% على مَعيار"، السؤال الغائب هو: 87% زائد أو ناقص ماذا؟ الخطأ المعياري للدقَّة قريباً من 50% على n سؤالاً نحو 1/(2√n). لـ n=1000 يَكون ذلك نحو 1.6 نقطةٍ مئوية — فدرجةُ 87% ودرجةُ 85% ليستا بالضرورة مُختلفتَين. ومخاطرُ مُتراكِبة: المقارنات المتعدِّدة (اختبر ما يَكفي من النماذج على ما يَكفي من المعايير، يَبدو بعضها أَفضل بالصدفة)، والتلوُّث (إن تَسرَّبت أسئلة المعيار إلى بيانات التدريب، فالدرجةُ تَقيس الحفظ). هذا هو القسم الذي يَحتاج الإعلام التقني إلى قراءته أكثر من غيره.

11.4 الهلوسة وهندسة الاسترجاع

الهلوسة — التأكيد الواثق على الباطل — هي وجهُ الفشل الذي يَرسم حدود LLM أكثر من سواه، وأَصعبها قياساً لأنَّه يَستوجب الحُكمَ بالصدق. تَختبر مقاييس الإخلاص ما إذا كان كلُّ تأكيدٍ في الإجابة مُستلزَماً من السياق المُقدَّم.

أبرزُ أداةٍ لتقليل الهلوسة هو التوليد المعزَّز بالاسترجاع: تَأريض النموذج بوثائق حقيقية. وعمليتُه الجوهرية تُعيدنا، بشكلٍ مناسب، إلى هندسة الجزء الأوَّل — البحث بالضرب الداخلي الأعظمي على تَضمينات (الفصل 3) للاستفهام والمقاطع المُرشَّحة. هندسةُ الفصل 3 تَصير فجأةً حاملةً للوزن في الإنتاج.

ما يُؤسِّس له الفصل الحادي عشر

تَخرج بِأدوات القياس الصادق: الحَيرة كمقياسٍ جوهري، والمعايرة كسؤالٍ كثيراً ما يَفوق الدقَّة في الأهمية، وأَشرطة الخطأ كَترياقٍ لمسرحيَّة المعايير، وهندسةُ الاسترجاع كأداةِ إنتاجٍ للتحكُّم في الهلوسة. يُغلَق هنا الجزء الثالث. ومن هنا يَنتقل الكتاب إلى ما نَفعله فعلاً بهذه النماذج.

غداً — الفصل 12: تطبيقات نماذج اللغة الكبيرة في العالم الواقعي. أوَّل فصلٍ من الجزء الرابع. توليد النصوص، التلخيص، الإجابة عن الأسئلة، الترجمة، الاستدلال — كيف يَبدو كلُّ واحدٍ منها من خلال الرياضيات التي بحوزتنا الآن.