الفصل 2 — نمذجة التهديد لأنظمة LLM

المقال الثاني من الجولة الفصلية لـ LLM Primer VII: أمان الذكاء الاصطناعي. الفصل الذي يأخذ الأسئلة الأربعة لـ Shostack، وSTRIDE، وPASTA، وMITRE ATLAS، ويُطبّقها على نظامٍ يقرأ فيه المكوّن الأشد قوةً كلَّ مُدخَل باعتباره تعليماً محتملاً.

لماذا يوجد هذا الفصل

حاجج الفصل 1 بأن أمن الذكاء الاصطناعي مختلف بنيوياً. يمنح الفصل 2 هذا الاختلافَ صيغةً عملية. الأسئلة الأربعة لـ Adam Shostack — على ماذا نعمل، ما الذي يمكن أن يخطأ، ماذا سنفعل حياله، هل أدّينا العمل جيداً — هي نفسها لأيّ نظام، لكن الرسومات ومخزونات الأصول وفهارس الخصوم التي تُجيب عنها تبدو مختلفة حين يشمل النظامُ المعنيُّ منطقَ بناءِ التوجيه، ومسارَ الاسترجاع، وسجلَّ الأدوات، ودالةً احتمالية تُعامل المحتوى المُسترجَع بالمرتبة نفسها مع تعليمات المطوّر. يمرّ الفصل على الأطر — STRIDE وPASTA وMITRE ATLAS وNIST AI 100-2 — ويُنتج القالب العملي لنموذج تهديد LLM الذي تعود إليه الفصول اللاحقة.

في سطر واحد: نموذج تهديد نظام LLM هو الاختصاص نفسه لأيّ نظامٍ آخر، لكنه يجب أن يبدأ برسمٍ يكشف مكوّنات بناء التوجيه والاسترجاع والأدوات ومعالجة المخرج بوصفها متمايزة — لأن «صندوقاً واحداً موسوماً بـ LLM» يُخفي معظم البنية ذات الأهمية الأمنية.

2.1 الأطر تتكيّف، والرسوم لا يُسمح لها بالكسل

يتبيّن أن STRIDE — الانتحال، والعبث، والتنصّل، وإفشاء المعلومات، وحجب الخدمة، ورفع الامتياز — يُخطَّط بشكل جيد على أنظمة LLM. يُصبح الانتحال هجماتَ هويةٍ على واجهة API أو انتحالَ المستخدم. يُصبح العبثُ حقنَ التوجيهات وتسميمَ بيانات التدريب وتلاعبَ فهرس الاسترجاع. يُصبح التنصّل نزاعاتٍ حول من أرسل أيّ توجيه ومن أنتج أيّ مخرج. يُصبح إفشاء المعلومات استخراجَ بيانات التدريب، وتسريبَ توجيه النظام، والانكشاف بين المستأجرين. يُصبح حجب الخدمة LLM10 من OWASP، الاستهلاك غير المحدود عبر توجيهات مكلفة وفيضانات رموز. يُصبح رفع الامتياز حدودَ استخدام الأدوات — مستخدمٌ يُحرّض النموذج على استدعاء أداةٍ ذات امتياز يرث امتيازها. يُضيف PASTA السياقَ التجاري ومحاكاةَ الخصوم للفرق التي تعمل بالفعل عملَ الفريق الأحمر. كلا الإطارَين يفترضان رسمَ تدفق بيانات يفصل المكوّنات التي يعتمد عليها السؤال الرقابي. لأنظمة LLM، ينبغي أن يفصل الرسمُ دائماً منطقَ بناء التوجيه، ومسارَ الاسترجاع، وسجلَّ الأدوات، واستدعاءَ النموذج، ومسارَ معالجة المخرج، ومسارَ التسجيل.

2.2 أصول لا تظهر في المخزونات التقليدية

نموذج التهديد جيّد بقدر جودة مخزون أصوله. تُدخل أنظمة LLM فئاتٍ غير مألوفة لفرقٍ كان عملها السابق على تطبيقاتٍ تقليدية. للنموذج نفسه أصول فرعية عدّة — الأوزان (ملف ثنائي بعدة غيغابايتات يُمثّل استثماراً تدريبياً كبيراً)، والسلوك المُوثَّق (توجيه النظام، وسياسات الأمان، وتدريب المحاذاة)، والسمعة (فشل عامّ يُلحق الضرر بالمنتَج بمعزل عن أيّ اختراق تقني). تشمل البيانات: بيانات التدريب، وبيانات الضبط، وذخائر الاسترجاع، ومُدخلات المستخدم، والمخرجات؛ لكلٍّ منها متطلّبات سرّية وسلامة وتوافر خاصّة. أصبح التوجيهُ نفسه أصلاً الآن — الملكية الفكرية لكثير من المنتجات تعيش في توجيه نظامٍ صُقل شهوراً، وتذكر قائمة OWASP لعام 2025 تسريبَ توجيه النظام صراحةً بوصفه LLM07. تشمل البنية التحتية منصّة الاستدلال، ومتجرَ الأشعّة، وواجهاتِ الأدوات، والاعتمادات التي تربطها. السجلات أصل لأنها السجلّ الجنائي، والأصول من الدرجة الثانية — سمعة النموذج، والوضع التنظيمي، وثقة العميل — تعتمد على بقاء الأصول الأوّلية بعد الاتصال بالحركة.

2.3 للخصوم دوافع محدّدة

نموذج تهديد يحمي كل شيء بالتساوي لا يحمي شيئاً. لا بدّ من أن يكون مخزون الخصوم محدّداً. المستخدمون الفضوليون يستكشفون النظام ليروا ما سيفعله — يستخدمون تقنياتٍ من التواصل الاجتماعي، حجمُهم عالٍ، أثرهم الفردي لكل حادثة منخفض، لكن أثرهم التراكمي على السلامة الظاهرية للنظام كبير. المستخدمون الخبثاء يقصدون ضرراً محدّداً — استخراج محتوى ينبغي للنظام رفضه، أو سرقة بيانات مستخدمين آخرين أو توجيه النظام، أو استخدام النظام لمهاجمة أطراف ثالثة عبر تصيّد مصوغ أو برمجيات خبيثة مُولَّدة. المنافسون يستخرجون النموذج (الفصل 8) أو توجيه النظام لتقليل كلفة تطويرهم. المُطلَّعون يعملون من داخل حدود الثقة. الجهات الحكومية تجمع بين الهجمات على مستوى النموذج والحرفة الأوسع، وأهدافهم عادةً منظّمات لا نموذج مباشرةً. الوكلاء الآليون — أنفسهم LLM، أحياناً يقودهم خصوم آخرون — هم الفئة الأحدث والفئة التي يتناولها الفصل 17. لكل فئة خصوم قدرات مختلفة، ودوافع مختلفة، وبروفايلات كشف مختلفة، والتخفيفات التي ترفع الكلفة على واحد قد لا تُؤثّر على آخر.

يجدر بنا تذكُّره: في عمليات نشر LLM المستندة إلى واجهة API، تقع أجزاءٌ كبيرة مما يُسمّيه فريق الأمن «منطق التطبيق» — سلوك النموذج — على الجانب الآخر من حدٍّ تعاقدي لا يستطيع الفريقُ فحصه. يجب على نموذج التهديد الإقرارُ بهذا التباين لا التظاهر بأن النموذج مجرّد مكوّن آخر.

ما يُمهّد له الفصل 2

القالب المُطوَّر هنا — وصفُ نظامٍ من صفحة واحدة، ورسمُ تدفق بيانات بحدود ثقة، ومخزونُ أصول، وفهرسُ خصوم، وتعدادُ تهديدات بـ STRIDE، وتخطيطُ تخفيفات، وسجلُّ مخاطر متبقية — هو الإطار الذي تملؤه بقية الكتاب. يُوسّع الفصل 3 فئةَ أصول البيانات إلى بنيتها الكاملة — مخاطر بيانات التدريب، والاستذكار والاستخراج، ومعالجة المُدخلات الحساسة، والتشفير والاحتفاظ. يتناول الفصل 4 حقنَ التوجيهات، الذي سمّته فئةُ العبث في STRIDE بالفعل بوصفه التهديد المهيمن على مكوّن بناء التوجيه. يُطوّر الفصلان 5 و6 تخفيفات حقن التوجيهات في طبقات المُدخل والمُخرج وRAG. تعود الفصول اللاحقة إلى القالب نفسه — الفصل 11 للرصد، والفصل 12 للهوية — لكن مخزون الأصول وفهرس الخصوم المُقدَّمَين هنا هما ما تُمدّده تلك الفصول.

التالي — الفصل 3: أمن البيانات والخصوصية. مخاطر بيانات التدريب، والاستذكار والاستخراج، وحادثتا Samsung وGarante، ونظام التشفير والعزل والاحتفاظ الذي يُطالب به أمن البيانات في أنظمة LLM.

هل تريد الصورة الكاملة؟ يشمل فصل الكتاب أمثلة قابلة للتشغيل لرسوم تدفق البيانات، وسجلَّ تهديدات خطوةً بخطوة لمساعد دعمٍ مبنيّ على RAG، وجداول التخطيط الكاملة لـ STRIDE وPASTA، وحواشي «بلغة بسيطة» التي تُلخّصها هذه المقالة فحسب. اطّلع على LLM Primer VII على أمازون ←