الفصل 11 — الرصد والتسجيل والاستجابة للحوادث
المقال الحادي عشر من الجولة الفصلية لـ LLM Primer VII: أمان الذكاء الاصطناعي. الفصل الذي يُعامل التسجيل والتنبيه والاستجابة للحوادث الطبقةَ التي تُحوّل الدفاعات البنيوية إلى نظام يستطيع المُشغّلون تشغيله فعلاً.
لماذا يوجد هذا الفصل
نظامٌ بالبنية الصحيحة بلا رؤية يفشل بلا رؤية. يمشي الفصل 11 على طبقة الرصد لأنظمة LLM — ماذا يُسجَّل، وكيف تُكتشف الإساءة والشذوذ، وكيف يُنبَّه بلا ضوضاء، وكيف يُشغَّل دليل استجابة الحوادث حين يخطأ شيء، وكيف يُتعلَّم مما حدث. تنتقل الاختصاصات العامّة من الهندسة التشغيلية في أماكن أخرى، بامتدادات مخصّصة لـ LLM: تعني المخرجات الاحتمالية أن إعادة إنتاج الحوادث تتطلّب التقاط حالة أكثر مما في الأنظمة الحتمية؛ وتُوفّر أعراف OpenTelemetry GenAI الدلالية، المُطوَّرة منذ 2024، المفردات المستقلّة عن المورّد لتلك الحالة.
11.1 ماذا يُسجَّل قرار سياسة، لا افتراضي
التسجيل القليل يترك الفريق عاجزاً عن التحقيق. التسجيل الكثير يخلق مشكلات امتثال وكلفة وخصوصية تُجبر لاحقاً على التقليص. الموقف المُدافَع عنه هو الحدّ الأدنى الذي يدعم حالات الاستخدام التشغيلية التي حدّدها الفريق، بصيغة مُهيكلة تدعم كل حالة. تشمل الأغراض عادة التنبيه في الوقت الحقيقي على الإساءة أو الشذوذ، والتحقيق بعد الوقوع في الحوادث، وتخطيط السعة وتحليل الكلفة، والإبلاغ الامتثالي، والتقييم المستمرّ لسلوك النموذج. لكل غرض متطلّبات مختلفة على المُخطَّط؛ سجلٌّ صُمّم لغرض غير كافٍ للأخرى. تُعرِّف أعراف OpenTelemetry GenAI الدلالية spans وسمات لاستدعاء LLM — اسم النموذج، والمزوّد، ومعاملات الطلب، ومحتوى التوجيه، ومحتوى الاستجابة، وعدد الرموز، والتأخير، والكلفة — تُتيح للأدوات اللاحقة تحليل التغذية عن بُعد نفسها بمعزل عن SDK المحدّد. Langfuse، وHelicone، وArize Phoenix، وDatadog LLM Observability يستهلكون هذا الشكل. سجلّ إنتاج نموذجي يشمل معرّف الطلب، والحساب الموثّق، والمستأجر، ونسخة النموذج ومزوّده، والتوجيه المُجمَّع الكامل (مع السياق المُسترجَع ومصدره)، واستدعاءات الأدوات ومخرجاتها، ومحتوى الاستجابة، ودرجات مُصنِّف السلامة عند المُدخل والمُخرج، والتأخير ومحاسبة الرموز. حفظ هذا بمسؤولية يعني الصراحة حول نوافذ الاحتفاظ، ومعالجة المعلومات الشخصية، وضوابط الوصول إلى مخزن السجلات نفسه.
11.2 الكشف يُركّب إشارات التوقيع والإحصاء والسلوك
ما إن تُهيكَل التغذية عن بُعد، يُصبح السؤال التالي أيّ أنماط تُشير إلى وجود خطأ. المطابقة بالتوقيع هي أرخص خطّ أوّل — جمل حقن توجيهات معروفة، وتمهيدات بأسلوب DAN، وحمولات base64 مُشفّرة، وإعدادات تمثيل أدوار لُوحظت من قبل. تُبنى القائمة من الأبحاث العامّة، وعمل الفريق الأحمر الداخلي، والحوادث السابقة. تلتقط التوقيعات المتغيّرات المعروفة؛ يتكيّف الخصوم ما إن يعرفوا أيّ العبارات مُوسَّمة. كشف الشذوذ الإحصائي يترقّب التباعد عن خطّ الأساس: توزيعات رموز غير معتادة، ونسب تأخير-إلى-طول شاذّة، وارتفاعات مفاجئة في معدّلات الرفض أو في معدّل استدعاءات أدوات محدّدة. تنجرف خطوط الأساس ببطء تحت الظروف الطبيعية وتتحوّل فجأة تحت الشاذّة. كشف الأنماط السلوكية يُطابق بروفايلات الإساءة حتى حين لا تكون الطلبات الفردية خبيثة صراحة — حسابٌ واحد يُصدر آلاف المتغيّرات المُعاد صياغتها لطلب مُقيَّد بعينه، وارتفاع في الطلبات التي تجمع محتوى مشروعاً بلاحقة محدّدة، وانحراف بطيء في توزيعات الاستجابات لكل مستخدم. الكشف مفيد فقط إن قاد إلى تنبيهات يستجيب لها المُشغّلون فعلاً. يُميّز التصنيف عادة بين حرج (إساءة نشطة عند الحجم، استدعِ مهندس المناوبة)، وعالٍ (نمط بارز بضرر محدود، إبلاغ في ساعات العمل)، ومتوسّط/منخفض (لوحات ومراجعة أسبوعية). إعياء التنبيه هو نمط الفشل؛ انضباط الشدّة الصارم هو ما يمنعه.
11.3 الاستجابة للحوادث دليل عمل، لا ارتجال
يُعطي NIST SP 800-61 Revision 2 الإطار — التحضير، والكشف والتحليل، والاحتواء، والاستئصال، والاستعادة، ونشاط ما بعد الحادثة — الذي يُمدّده الدليل المخصّص لـ LLM. يعني التحضير أن الأدلة، ومناوبات الاستدعاء، والوصول إلى الأدوات المعنية موجودة قبل الحادثة. الكشف والتحليل حيث تُقايض رؤيةُ القسم 11.1 كلفتها. الاحتواء لحادثة LLM قد يعني تحويل مفتاح ميزة لتعطيل أداة، أو الرجوع إلى نسخة نموذج أكثر تحفّظاً، أو تشديد حدود المعدّل على حساب أو مستأجر محدّد، أو إعادة توجيه الحركة إلى حزمة بديلة. الاستئصال يتوقّف على نوع الحادثة: كسر قيود قد يحتاج قاعدة تصفية مُضافة، ومستند RAG مُخترَق قد يحتاج إزالته من الفهرس، واعتماد مُسرَّب قد يحتاج تدوير. الاستعادة حين يعود النظام إلى طبيعته، بإلغاء الاحتواء والتحقق من الاستئصال. نشاط ما بعد الحادثة حيث يتركّز العمل المخصّص للنموذج: إعادة إنتاج السلوك إن أمكن، وتوصيف حدود الفشل، وتقرير إن كانت الحادثة تعكس شيئاً عن النموذج ينبغي أن يُغيّر كيفية استخدامه، وتغذية النتيجة في مجموعة التقييم كي تُلتقط الانحدارات المستقبلية قبل النشر. الإنتاج ليس دائماً ممكناً تحت معاينة بحرارة غير صفرية، لكن الهدف تحديد متى يحدث السلوك غير المرغوب.
ما يُمهّد له الفصل 11
يُغلق الفصل 12 القسم الرابع بطبقة الهوية والوصول — من يُسمح له بالتفاعل مع النظام، وبأيّ شروط، وكيف تُهيكَل الفرض عبر المكوّنات. تنطبق الاختصاصات التقليدية: المصادقة بمفاتيح API، وOAuth، وmTLS؛ والتخويل بـ RBAC وABAC؛ وعزل تعدّد المستأجرين؛ وحدود المعدّل والحصص؛ وطبقات الحوكمة المؤسّسية. تخصّ الامتدادات المخصّصة لـ LLM النموذجَ حساباً — وكيلٌ يعمل بالنيابة عن مستخدم له هويّتُه الخاصّة وصلاحياتُه الخاصّة — ودور رموز القدرة لاستدعاء الأدوات، والتكوين لكل مستأجر لسلوك النموذج الذي يجب على منصّات LLM متعدّدة المستأجرين دعمه. يفتح الفصل 13 القسم الخامس بالخريطة التنظيمية، حيث يجب تخطيط الضوابط التقنية التي طوّرها هذا الكتاب على قانون AI الأوروبي، وGDPR، وقوانين الولايات الأمريكية، والأطر المحيطة بها.
التالي — الفصل 12: التحكم بالوصول والهوية. المصادقة، وRBAC مقابل ABAC، وعزل تعدّد المستأجرين، وحدود المعدّل، وطبقة الحوكمة المؤسّسية التي تجعل أنظمة LLM قابلة للاستخدام في بيئات منظّمة.
