الفصل 5 — التحقق من المُدخل وتصفية المُخرج

المقال الخامس من الجولة الفصلية لـ LLM Primer VII: أمان الذكاء الاصطناعي. الفصل الذي يُحوّل إطارَ التخفيف الطبقي في الفصل 4 إلى انضباط عملي — مراحلَ تطهير، وأدواتِ حواجز، ومخرجاً مُهيكلاً، وفريقاً أحمر، ومقاييس أمانٍ ذات معنى.

لماذا يوجد هذا الفصل

البنية الطبقية للتخفيف المُسمّاة في الفصل 4 جيّدة بقدر عملانية طبقاتها. يُطوّر الفصل 5 اثنتين منها: جانبَ المُدخل، حيث تُفحَص طلبات المستخدم فتُمرَّر أو تُحوَّل أو تُرفَض؛ وجانبَ المُخرج، حيث تُفحَص استجابة النموذج ضدّ مجموعةٍ ثانية من البوابات قبل خروجها من النظام. حول كليهما تجلس اختصاصات التوجيه المُهيكل، والاختبار الخصومي، وقياس الأمان. نضجت الأدوات — Llama Guard، وNeMo Guardrails، وLakera Guard، وAWS Bedrock Guardrails، وGarak، وPyRIT، وpromptfoo — واستقرت الأنماط التشغيلية لربطها معاً.

في سطر واحد: يُركّب التحقق من المُدخل وتصفية المُخرج توزيعَي احتمالِ خطأ مستقلَّين حاصلُ ضربهما أصغر من أيٍّ منهما وحده — وكلاهما بحاجة إلى القياس لا إلى الجزم، إن كان لادّعاء الأمان أن يصمد أمام حركة حقيقية.

5.1 التطهير مرحلي، لا لقطة واحدة

يحمل «تطهير المُدخل» دلالاتٍ مُضلِّلة من عصر حقن SQL. في أنظمة LLM، التطهير عملية مرحلية — فحص، وتصنيف، وتحويل، وتمرير أو رفض — مخرجُها ليس مُدخلاً «آمناً» بل مُدخلٌ اجتاز مجموعة بوابات سياسة مع تسجيل النتيجة. عادة يشمل الخطُّ أربعة أنواع فحص، مُرتَّبة بالكلفة. الفحوصات البنيوية أرخص: حدود الطول، وقيود مجموعة الأحرف، وتوحيد Unicode NFKC، وإزالة الأحرف الصفرية العرض والمُخادعة التي تُشكّل معظم أدبيات التهريب. الفحوصات القائمة على الأنماط تلتقط النقض الصريح والقوالب الخصومية المعروفة؛ وهي مُشوشة في الاتّجاهين لكنها مفيدة شاشةً خشنة حين تُسجَّل الإصابات لا تُحجَب. الفحوصات التصنيفية تستخدم نماذج أمانٍ مخصّصة — Llama Guard، وOpenAI Moderation API، ومكافئاتها من Lakera وAWS Bedrock — لتُسجّل المُدخل بحسب تصنيف معرَّف. الفحوصات القائمة على LLM، الطبقة الأغلى، تستدعي نموذجاً أصغر ليُفكّر في النيّة حين تكون ثقة المُصنِّف متوسّطة. لكل مرحلة معدّل خطأ إيجابي وسلبي، وكلاهما يحتاج إلى قياس قبل ائتمان الخطّ على حركة الإنتاج.

5.2 المُخرج المُهيكل دفاع، لا مجرّد راحة تنسيق

لبنية الدفاع في العمق في الفصل 4 طبقة بنيوية ثالثة يُطوّرها هذا الفصل: تقييد مُخرج النموذج بمُخطَّط معرَّف، لكي لا يستطيع حتى مُخرجٌ متأثّرٌ بالحقن الفكاك من الغلاف البنيوي. أبسط الأشكال JSON مُلزَم بمُخطَّط. يُطلب من النموذج إصدار JSON مطابق لمُخطَّط؛ يُحلّل التطبيق ويتحقّق؛ يُرفض غير المطابق أو يُعاد. تُغلّف مكتبةُ instructor لـ Jason Liu عملاء OpenAI وAnthropic بنماذج pydantic — يكتب المطوّر صنفاً يصف بنية المُخرج وتتكفّل المكتبة ببناء التوجيه والتحقق وإعادة المحاولة. تُوسّع Microsoft Research مع Guidance، بتقييد التوليد رمزاً برمز ضدّ قالبٍ يُحدّد بالضبط أيّ مواضع يمكن أن تحوي نصّاً حرّاً. على جانب اعتدال المُخرج، أصبحت عائلة Llama Guard من Meta — إصداراتها 1 إلى 3، بتغطية متعدّدة الوسائط أُضيفت في 3 — المُصنِّف المرجعي مفتوح الأوزان عبر نافذة 2023-2025، مُدمَجاً في معظم منصّات الإنتاج مُصفّياً للاستجابة. NVIDIA NeMo Guardrails والعروض التجارية من Lakera وAWS Bedrock وCisco AI Defense تتنافس على أرضية مشابهة.

5.3 الدفاع الذي لا يُقاس ليس دفاعاً

الفريق الأحمر ما يُحوّل ادّعاء أمان إلى قياس. الفريق الأحمر اليدوي — مُختبِرون خصوميون مُدرَّبون، غالباً خارجيون — يُنتج توجيهات محدّدة نجحت ضدّ النشرة، مُصنَّفة بأنماط الهجوم. يُوسّع الفريق الأحمر الآلي العمل اليدوي عبر فضاء المُدخل. NVIDIA Garak، مفتوح المصدر في 2023 ومُحدَّث باستمرار، يُشغّل بطارية استكشافات ضدّ نقطة نهاية مُستهدَفة ويُبلّغ أيّها نجح؛ تُغطّي الاستكشافات حقن التوجيهات، وتسريب البيانات، وإثارة خطاب الكراهية، وتهريب الترميز، وكسر قيود تمثيل الأدوار، وهكذا. تُضيف Microsoft PyRIT (Python Risk Identification Toolkit)، أُصدرت في 2024، نمط فريقٍ أحمر وكيلاً يُولّد فيه نموذجٌ الهجماتِ ضدّ آخر. promptfoo يُقارن التوجيهات والنماذج ضدّ مجموعات تقييم، مفيدٌ حين يكون السؤال أيّ تكوين أأمن. المقاييس التي تهمّ تُركّب نمطَي فشل. معدّل نجاح الهجوم يُجيب «أيّ نسبة من مجموعة هجومٍ معرَّفة تعبر؟». معايرة الرفض تُجيب «أيّ نسبة من الطلبات المرفوضة ما كان ينبغي رفضها؟». نظامٌ بمعدّل نجاح هجوم صفر ومعدّل رفض 50% لم يحلّ المشكلة؛ نقل الكلفة من مخرجات غير آمنة إلى غير مفيدة. كلا المقياسَين يحتاجان إلى عيّنات مُوسَمة مسحوبة من توزيعات الحركة الحقيقية، وكلاهما مشروط بتكوين مجموعة التقييم. الإبلاغ برقم واحد بلا التكوين هو حيث تُضلّل ادّعاءات الأمان عادةً.

يجدر بنا تذكُّره: معدّل نجاح هجومٍ 0.7% على مجموعة تقييم داخلية من 1,000 عنصر هو سبع إخفاقات. المعدّل نفسه على مليار استعلام إنتاجي هو سبعة ملايين. عند حجمٍ كافٍ، تُصبح الإخفاقات منخفضة الاحتمال يقيناتٍ — والإبلاغ بالمقاييس بلا مقام الحركة يُخفي هذا الحساب عن الأشخاص الذين يجب أن يروه.

ما يُمهّد له الفصل 5

يتناول الفصل 6 التوليد المُعزَّز بالاسترجاع تحديداً. تُعامل طبقة المُدخل المُطوَّرة هنا رسالة المستخدم بوصفها الجزء غير الموثوق. أنظمة RAG تُضيف جزءاً ثانياً غير موثوق: الشذرات المُسترجَعة، التي غالباً ما يكون مصدرها أقلّ نظافةً من رسالة المستخدم. الحقن غير المباشر لـ Greshake، وتوصيف Liu لهجمات الحقن ضدّ التطبيقات المُدمَجة مع LLM، وتسميم Zhong لذخائر الاسترجاع، وخطّا PoisonedRAG وBadRAG الأحدث كلها تصف كيف يفشل هذا السطح الثاني. يمشي الفصل 6 على حدود الثقة في RAG، وأنماط الهجوم المحدّدة، وبنية الاسترجاع الآمنة التي التقى عليها الميدان، وممارسات الرصد التي تُبرز الهجمات على مستوى الاسترجاع قبل أن تُصبح حوادث.

التالي — الفصل 6: مخاطر التوليد المُعزَّز بالاسترجاع. حدود الثقة في RAG، وحقن المستندات الخبيث، وتسميم الفهرس عبر مسار التضمينات، والرصد الذي يلتقط الهجمات التي فاتها التطهير.

هل تريد الصورة الكاملة؟ يشمل فصل الكتاب مغلّفات Llama Guard قابلة للتشغيل، وأنماط Guidance وinstructor من طرفٍ إلى طرف، وConstitutional AI من Anthropic بوصفها مكمّلاً في زمن التدريب، وحواشي «بلغة بسيطة» التي تُلخّصها هذه المقالة فحسب. اطّلع على LLM Primer VII على أمازون ←