LLM Primer VII — تمهيد السلسلة والفهرس

جولة فصلاً فصلاً في LLM Primer VII: أمان الذكاء الاصطناعي — خاتمة السلسلة، حيث يهبط قوس هندسة LLM Primer على الاختصاص الذي يحسم ما إذا كان أيٌّ منها سيصمد أمام الخصوم أو المنظّمين أو أنماط الفشل اليومية للأنظمة الاحتمالية.

لماذا توجد هذه السلسلة

في الأمن التقليدي، الشيفرة والبيانات شيئان مختلفان. تقوم المُحلّلات، ومحارف الهروب، والاستعلامات الوسيطة كلها على هذا الفصل. أما في أنظمة LLM، فإن السلسلة النصية نفسها التي تحمل تعليمات المطوّر تحمل أيضاً مُدخل المستخدم، والمستند المُسترجَع، ومخرج الأداة، وكلَّ ما شاهده النموذج أثناء التدريب مما يُشبه أياً من هذه. لا يوجد موضع نحوي يمكن إثبات خموله أمام محوّل، ولا سلسلة جزئية يُضمن أن يقرأها النموذج بوصفها بيانات لا تعليمات. هذا التصادم البنيوي هو السبب في أن حقن التوجيهات وكسر القيود والهجمات الخصومية ليست أخطاء تنفيذية تُرقَّع، بل نتائج تصميمية تُدار. ينبني اختصاص أمن أنظمة LLM على مفردات الأمن التقليدي — الأصول، والخصوم، والضوابط، والحوادث — لكنه يُعيد بناء البنية التحتية تحتها. المجلد السابع هو هذا البناء المُعاد مكتوباً، من نموذج التهديد إلى المحيط التنظيمي.

لمن كتبتُ هذا

مهندسو الأمن الذين أصبحوا مسؤولين اليوم عن نموذج LLM في الإنتاج ويتساءلون أيّ جزءٍ من دليلهم القائم لا يزال ينطبق. مهندسو تعلّم الآلة الذين درّبوا النموذج أو ضبطوه ويحتاجون الآن إلى التفكير في من قد يُهاجمه. قادة المنصّات ومسؤولو الموثوقية الذين يُشغّلون منصّة الاستدلال ويصلهم استدعاءٌ حين ترتفع أنماط الإساءة. ومسؤولو أمن المعلومات الذين يُوقّعون على نشرات الذكاء الاصطناعي ويُجيبون مجالس الإدارة والمنظّمين والمدقّقين عن معنى «الآمن» حين يُصدر المكوّن المعنيّ توزيعات احتمالية. يفترض الكتاب الطلاقة في هندسة الإنتاج ولا يفترض إلماماً مسبقاً بتعلّم الآلة الخصومي؛ يبني الأجزاء المُتمركزة حول النموذج من الأسس الأولى، ويربطها بالاختصاصات الأمنية القائمة حيثما كان الرابط حقيقياً.

كيف تقرأ الكتاب

ينقسم الفصول السبعة عشر إلى ستة أقسام. الفصول 1 إلى 3 تُرسي الأسس — لماذا يختلف أمن الذكاء الاصطناعي، وكيف يُنمذَج تهديد نظام LLM، والبُعد البياني عبر دورة حياته. الفصول 4 إلى 6 تسير على طبقة التوجيه والتفاعل: حقن التوجيهات، وتصفية المُدخل والمُخرج، والتوليد المُعزَّز بالاسترجاع. الفصول 7 إلى 9 تسير على النموذج نفسه: الهلوسة بوصفها فشلاً موثوقياً، والهجمات الخصومية، وسلسلة توريد النموذج. الفصول 10 إلى 12 تسير على البنية النظامية حول النموذج — العزل، والرصد، والتحكّم بالوصول. الفصول 13 إلى 15 تسير على المحيط الحوكمي — التنظيم، والذكاء الاصطناعي المسؤول، والمنظّمة التي تحمل الاختصاص. الفصل 16 يُعالج الضبط الدقيق بوصفه سطح هجومه الخاصّ، ويختم الفصل 17 بالتهديدات الناشئة التي لا تزال في طور التشكّل.

الجولة في سبعة عشر فصلاً

بين 10 و26 مايو، تنشر الجولة فصلاً في اليوم. يُلخّص كل مقال أفكار الفصل الثلاث الأساسية في قراءة بحدود خمس دقائق؛ ويحمل فصل الكتاب الأمثلة العملية، والشيفرة، وحواشي «بلغة بسيطة».

• 10 مايو — الفصل 1 — لماذا أمن الذكاء الاصطناعي مختلف. الأمن التقليدي مقابل الأمن المُتمركز حول النموذج؛ ولماذا تكسر LLM الفصل بين الشيفرة والبيانات وتُحوّل غلاف السلوك إلى سطح الهجوم.
• 11 مايو — الفصل 2 — نمذجة التهديد لأنظمة LLM. STRIDE وPASTA وMITRE ATLAS مُطبَّقة على أصول أنظمة LLM وخصومها وأسطح هجومها.
• 12 مايو — الفصل 3 — أمن البيانات والخصوصية. مخاطر بيانات التدريب، والاستذكار والاستخراج، وحادثتا Samsung وGarante، ونظام التشفير والعزل والاحتفاظ.
• 13 مايو — الفصل 4 — حقن التوجيهات وكسر القيود. الحقن المباشر وغير المباشر، وتصنيفات كسر القيود، واللواحق العامّة، ولماذا يجب أن يكون التخفيف طبقياً لا نحوياً.
• 14 مايو — الفصل 5 — التحقق من المُدخل وتصفية المُخرج. مراحل التطهير، والتوجيه المُهيكل، وLlama Guard، والفريق الأحمر بأدوات Garak وPyRIT، ومقاييس أمان صادقة.
• 15 مايو — الفصل 6 — مخاطر التوليد المُعزَّز بالاسترجاع. حدود الثقة في RAG، وحقن المستندات الخبيث، وتسميم الفهرس والتضمينات، ورصد مسار الاسترجاع.
• 16 مايو — الفصل 7 — الهلوسة والموثوقية. لماذا تختلق النماذج، والمعايرة، وقياس الحرارة، وبنى التحقق الهجينة، وأنماط الإنسان في الحلقة الفعّالة.
• 17 مايو — الفصل 8 — الهجمات الخصومية على النماذج. النسب من FGSM عبر TextFooler إلى اللواحق العامّة، والهجمات على واجهات API في الصندوق الأسود، وسرقة النماذج مسألةَ سرّية.
• 18 مايو — الفصل 9 — سلامة النموذج ومخاطر سلسلة التوريد. BadNets، وSleeper Agents، وإلغاء تسلسل pickle مقابل safetensors، وSigstore، ورصد الانحراف السلوكي.
• 19 مايو — الفصل 10 — تصميم بنى LLM آمنة. العزل، والتحقق متعدّد الطبقات، ومحرّكات السياسات OPA وCedar، وتصميم API آمن، وتطبيق الثقة الصفرية على استدعاءات النموذج.
• 20 مايو — الفصل 11 — الرصد والتسجيل والاستجابة للحوادث. ماذا يُسجَّل بأعراف OpenTelemetry GenAI، وكشف الإساءة، والتنبيه، وأدلة استجابة الحوادث بشكل NIST.
• 21 مايو — الفصل 12 — التحكم بالوصول والهوية. OAuth، وmTLS، وRBAC مقابل ABAC، وعزل تعدّد المستأجرين، وحدود المعدّل، وطبقة الحوكمة المؤسّسية.
• 22 مايو — الفصل 13 — الخريطة التنظيمية. التطبيق المرحلي لقانون AI الأوروبي، وGDPR على الذكاء الاصطناعي، والقابلية للتدقيق، وبطاقات النماذج، وأطر تصنيف المخاطر.
• 23 مايو — الفصل 14 — التحيز والإنصاف والذكاء الاصطناعي المسؤول. مصادر التحيز، ومعايير الإنصاف وحدودها، ومقايضة الأمان مقابل النفع، وسياسة الذكاء الاصطناعي التنظيمية.
• 24 مايو — الفصل 15 — بناء منظّمة ذكاء اصطناعي آمنة. ثقافة أمن مخصّصة للذكاء الاصطناعي، وفرق حمراء داخلية، ومخاطر المورّدين، والتقييم المستمر، والوصاية طويلة الأمد على النماذج.
• 25 مايو — الفصل 16 — الضبط الدقيق والتكييف الآمنان. تآكل المحاذاة عبر بيانات حميدة، والتسميم المتعمَّد، وبوابات التقييم في CI، ونظام التراجع.
• 26 مايو — الفصل 17 — تهديدات المستقبل والدفاعات الناشئة. الوكلاء المستقلّون ونصف قطر انفجار استخدام الأدوات، وأسطح الهجوم متعدّدة الوسائط، والهوية الاصطناعية، وضمان الذكاء الاصطناعي في مواجهة الذكاء الاصطناعي.

عن هذا الكتاب والسلسلة

سلسلة LLM Primer سبعة مجلدات كتبها Sho Shimoda، ونُشرت على Amazon KDP، وتُقرأ فصلاً فصلاً هنا على مدوّنة ReceiptRoller. تُحاجّ السلسلة بأن البناء بـ LLM اختصاص نُظُمي، وأن أفضل طريقة لتعلّم الاختصاص هي السير في كل طبقة من الحزمة بنثر يبدأ من الآلية، لا بقوائم الفحص. المجلد السابع يُغلق ذلك القوس. هو مجلد الأمن، وهو أيضاً المجلد الذي يعود قراءةً في المجلدات الستة الأخرى بعدسة خصومية — خطُّ الاسترجاع في المجلد الثالث بوصفه قناة حقن، ومنصّة الاستدلال في المجلد السادس بوصفها حدود معدّل، وعمل المحاذاة في المجلد الثاني بوصفه سطح هجوم للضبط الدقيق. حيث قالت المجلدات السابقة «هكذا يعمل هذا»، يقول هذا المجلد «هكذا يمكن أن يُجعل يفشل، وماذا يُصنع حيال ذلك».