الفصل 7 — الهلوسة والموثوقية

المقال السابع من الجولة الفصلية لـ LLM Primer VII: أمان الذكاء الاصطناعي. الفصل الذي يُعامل الموثوقية خاصّيةً أمنية من الدرجة الأولى — لأن المخرج الخاطئ بثقة مشكلة أمنية حيثما اعتمدت العواقب على الصحة.

لماذا يوجد هذا الفصل

كانت الهلوسة أصلاً مصطلحاً في توليد اللغة الطبيعية للمخرجات التي تحوي معلومات لا يدعمها مصدرها. عند تطبيقها على LLM، تنقسم الظاهرة إلى معنيين نافعَين: إخفاقات الوقائع، حيث يُناقض النموذج حقائق ثابتة، وإخفاقات الوفاء، حيث ينحرف النموذج عن تعليمات المستخدم أو السياق المُقدَّم. كلاهما مُهمّ، ولكلٍّ آليات محدّدة. أعطت مراجعة Ji وآخرين في ACM Computing Surveys 2023 وتصنيف Huang وآخرين في العام نفسه الميدانَ مفرداتِه. يُعامل هذا الفصل الموثوقيةَ خاصّية أمن من الدرجة الأولى، لأن نظاماً يتصرّف بناءً على مُخرج النموذج آمن بقدر صحّة المُخرج فحسب — وليس للنموذج آلية مُدمَجة لمعرفة متى لا يعرف.

في سطر واحد: LLM مُفرِط الثقة بنيوياً — هدف تدريبه يُكافئ وضع الاحتمال على الرمز المُلاحَظ، لا على أن يكون صحيحاً — وهندسة الموثوقية اختصاصُ إضافة المعايرة والتأصيل والتحقق التي لم يمنحها الهدف.

7.1 للهلوسة آليات، لا مزاج

تُنبّئ النماذج اللغوية بالرموز بالمعاينة من توزيعٍ وضع عليه هدف التدريب كتلةً. يُشكّل التوزيعَ التكرارُ في ذخيرة التدريب، والانحيازات الاستقرائية للنموذج، وأيّ تدريب محاذاة طُبّق بعدها. لا شيء من هذه الآليات ينتقي الصحة الوقائعية بالطريقة التي يفعلها استعلامُ قاعدة بيانات. تحدث إخفاقات الوقائع حين يجزم النموذج بشيء يناقضه العالم — تاريخ خاطئ، أو استشهاد مختلَق، أو توقيع دالّة غير موجود. تحدث إخفاقات الوفاء حين ينحرف مُخرج النموذج عن نيّة المستخدم أو السياق المُقدَّم — الإجابة عن سؤال مختلف قليلاً، أو تجاهل أجزاء من مقطعٍ طلب المستخدم تلخيصه، أو التفكير المتناقض عبر استجابة طويلة. تتقاطع الفئتان لكنهما تحتاجان تشخيصات مختلفة. تشمل الآليات ديناميكيات الرمز التالي التي تُقايض الطلاقة بالدقة في توليد طويل، ونقص تمثيل حقائق متخصّصة في توزيع بيانات التدريب، وتدريب محاذاة يُثبّط قول «لا أعرف»، وأنماط توجيهٍ تدفع النموذج نحو الاحتمالية لا الحقيقة. فهم الآلية ما يجعل التخفيف مُوجَّهاً لا صورياً.

7.2 الثقة ليست الصحة

لنظام احتمالي معايَر ثقاتٌ مصرّحة تُطابق دقّته: حين يقول 80%، يكون محقّاً 80% من الوقت عبر عيّنة كبيرة. أبلغت ورقة Guo وزملائه في ICML 2017 «On Calibration of Modern Neural Networks» عن نتيجة لافتة — الشبكات العصبية الحديثة مُفرِطة الثقة منظومياً. نموذجٌ يقول 80% قد يكون محقّاً 65%؛ نموذجٌ يقول 99% قد يكون محقّاً 88%. الآلية هدف الإنتروبيا المُتقاطعة، الذي يُكافئ وضع كتلة على الصنف الصحيح دون معاقبة فرط الثقة. النماذج الأكبر والأكثر تعبيراً تُطابق بيانات التدريب بإحكامٍ أكثر، مُنتجةً توزيعاتٍ أحدّ على أمثلة اختبار تُشبه سطحياً التدريب. لـ LLM المشكلة أشدّ لأن المخرجات تسلسلات رموز، وتدريب المحاذاة يُعيد تشكيل التوزيع بطرق قد تُحرّك الاحتمالات دون تحريك الدقة، ويقرأ المستخدمون جملةً واثقة دليلاً أن النموذج يعرف ما يقول. الفجوة بين الثقة والصحة سبب أن هندسة الموثوقية لا يمكنها الاكتفاء بالوثوق بإشارة النموذج الخاصّة.

7.3 المعايرة والتحقق الهجين هما الإصلاح التشغيلي

تنقسم تقنيات المعايرة إلى زمن التدريب وزمن الاستدلال. قياس الحرارة، الذي قدّمه Guo وآخرون في الورقة نفسها 2017، هو المعيار: بعد التدريب، اضبط قيمة قياسية واحدة تقسم اللوغيتات قبل softmax حتى يتقلّص خطأ المعايرة على مجموعة مُحتجَزة. لا تتغيّر التنبؤات؛ تتغيّر الاحتمالات. الثقة اللفظية — طلب مُخرَجٍ من النموذج بتقدير للثقة إلى جانب إجابته — دُرست منذ 2022 وتعمل إلى حدّ، لكن ثقة النموذج المصرّحة هي بنفسها رمزٌ لغوي خاضعٌ للضغوط التوزيعية نفسها. عيّنات الاتّساق الذاتي تُولّد إكمالات متعدّدة وتُصوّت؛ يرتبط الاتّفاق بالصحة أفضل من احتمالية أيّ إكمال وحده. البنى الهجينة تُنجز عملاً أكثر. التوليد المُعزَّز بالاسترجاع، بوصفه تقنية موثوقية، كان الأكثر فعّالية باستمرار — تتبّعت لوحة Vectara HHEM أنظمة RAG المُكيَّفة جيداً تحت 1% معدّل هلوسة على تلخيصٍ وقائعي حيث يتجاوز التوليد الخام 5% في المهام نفسها. خطوط التحقق المُهيكلة تُشغّل المُخرج عبر نموذج ثانٍ يفحص الحقائق ضدّ مستندات المصدر. المراجعة البشرية داخل الحلقة تظل أقوى دفاع للمخرجات عالية المخاطر، خاضعةً لنمطَي فشل سمّاهما الميدان بالفعل: المراجعة الآلية عند الحجم، والمراجعة بلا سياق حيث يفتقر المُراجع إلى مادّة المصدر للتحقق من ادّعاء النموذج.

يجدر بنا تذكُّره: إجابة خاطئة واثقة منتَجٌ أسوأ من «لا أعرف» مُعترَفٍ بها. عمل المعايرة — قياس الحرارة، والثقة اللفظية، والاتّساق الذاتي، والتحقق المُؤصَّل بـ RAG — هو ما يُعلّم النظام التمييز بين الاثنين، وقرار التوجيه على طبقة التطبيق هو حيث يُصبح ذلك التمييز مرئياً للمستخدم.

ما يُمهّد له الفصل 7

يتحوّل الفصل 8 من أنماط الفشل العرَضية إلى المتعمَّدة — الهجمات الخصومية التي تُعامل النموذج هدفاً وتبني مُدخلات مُصمَّمة للتلاعب بالمخرجات في اتّجاهات لم يقصدها المُشغّل. يمشي الفصل على النسب من FGSM لـ Goodfellow في 2014 عبر عمل NLP المخصّص — HotFlip، وTextFooler، وBERT-ATTACK — إلى عمل مُحفّزات الخصومي العامّة لـ Wallace وزملائه وعمل اللواحق العامّة لـ Zou وزملائه المذكور في الفصل 4. ثم يمشي على الهجمات على الصندوق الأسود ضدّ APIs وسرقة النماذج، من ورقة Tramèr في USENIX 2016 إلى ورقة Carlini في ICML 2024 التي استخرجت طبقات إسقاط تضمين الإنتاج. يُكمل الفصل 9 القسم الثالث بسلسلة التوريد: النماذج المزوّدة بأبواب خلفية، وsafetensors مقابل pickle، وتوقيع Sigstore، ورصد الانحراف.

التالي — الفصل 8: الهجمات الخصومية على النماذج. هجمات قائمة على المشتقّات في فضاء مُدخل متقطّع، وهجمات صندوق أسود عبر APIs، وسرقة النماذج مسألةَ سرّية وأمن.

هل تريد الصورة الكاملة؟ يشمل فصل الكتاب تصنيف Ji/Huang الكامل، ورياضيات قياس الحرارة، وخطوط تحقق هجينة عملية، ونمطَي فشل المراجعة البشرية مع تخفيفاتهما، وحواشي «بلغة بسيطة» التي تُلخّصها هذه المقالة فحسب. اطّلع على LLM Primer VII على أمازون ←