الفصل 1 — لماذا أمن الذكاء الاصطناعي مختلف

المقال الأول من الجولة الفصلية لـ LLM Primer VII: أمان الذكاء الاصطناعي. الفصل الذي يُحاجج بأن أمن الذكاء الاصطناعي ليس الأمنَ التقليدي مضافةً إليه صفةُ ML — البنيةُ التحتية تغيّرت، وكل فصل لاحق ينحدر من هذا التغيّر.

لماذا يوجد هذا الفصل

ثلاثة عقود، وقفت هندسة الأمن على أساس مستقرّ: الشيفرة والبيانات شيئان مختلفان، والثغرات تناقضاتٌ بين السلوك المُحدَّد فعلياً، والتصحيحات تُغلقها. تكسر النماذج اللغوية الكبيرة هذا الأساس بطريقة محدّدة. السلوك الذي يحتاج إلى الدفاع عنه لم يعد مُشفَّراً في شيفرة المصدر، بل في مليارات الأوزان المُتعلَّمة، تُنفَّذ ضدّ مُدخلات تخلط تعليمات موثوقة بمحتوى غير موثوق داخل السلسلة النصية نفسها. «الثغرة» في الغالب ليست خطأً — إنها النموذج يفعل بالضبط ما دُرِّب على فعله، في سياقٍ لم يتوقّعه المصمّمون. لا يوجد تصحيح لـ «كان النموذج مُساعِداً أكثر من اللازم». لا يوجد إلا إعادة التصميم، وإعادة التدريب، أو الاحتواء الإضافي. يُسمّي هذا الفصل الاختلافات البنيوية التي تُشكّل كل ما يليه.

في سطر واحد: أمن LLM ليس أمنَ شيفرة بقائمة هجوم جديدة، بل هو أمنُ غلاف السلوك مُطبَّقاً على نظامٍ احتمالي يتوزّع سلوكه على أوزانٍ لم يقرأها بشر، وتصل «شيفرته» و«بياناته» في سيل الرموز نفسه.

1.1 البنية التحتية تغيّرت

ينجح أمن التطبيقات التقليدي لأن السلوك مُحدَّدٌ في الشيفرة، والعيوب قابلة للتحديد الموضعي. لحقن SQL إصلاحٌ بنيوي — الاستعلامات الوسيطة — لأن ثمّة تمييزاً نحوياً بين الاستعلام والوسيط. لا يمتلك النموذج اللغوي مثل هذا التحديد. يمتلك هدف تدريب وتوزيعاً للأوزان، وسلوكه على أيّ مُدخل بعينه ناتجٌ ناشئ. حين يرفض نموذجٌ صياغةً ويمتثل لأخرى، لا يوجد سطرٌ يُصلَح. يتحوّل السؤال الأمني من «هل ثمّة خطأٌ في هذا المسار» إلى «ما الذي يقدر عليه هذا النظام، وتحت أيّ ظروف تُصبح تلك القدرة خطراً؟». افترض الأمن التقليدي أيضاً الحتميّة أساساً؛ هنا الأساسُ احتمالي. مُرشّح أمانٍ ينجح على ألف حالة اختبار قد يفشل على الحالة الحادية بعد الألف لأن العيّنة سلكت مساراً مختلفاً. يُفكّر المُدافع بتوزيعات وفترات ثقة، لا ببراهين عدم بلوغ. قائمة OWASP Top 10 لتطبيقات LLM، المُنقَّحة في 2025، محاولةٌ لتسمية هذه الطبقة الجديدة — بحقن التوجيهات في LLM01 والاستهلاك غير المحدود في LLM10 — لكنها أرضيّةٌ فوق أرضيّة تطبيقات الويب القائمة، لا بديل عنها.

1.2 سطح الهجوم يتّسع

يُدخل التطبيق المُدمَج مع LLM أسطحاً لم تكن موجودة. التوجيه نفسه سلسلةُ ضمّ من تعليمات المطوّر، وسياق مُسترجَع، ومُدخل المستخدم، ومخرجات الأدوات — كلها رموز يقرأها النموذج بلا حدود ثقة أصلية. إن استطاع المستخدم التأثير في أيّ جزء منه، فقد شارك القناة نفسها التي يثق بها المطوّر. مسار الاسترجاع هو السطح الجديد الثاني: كل مستند مُفهرَس يُصبح مُدخَلاً غير مباشر، وأيّ من يستطيع التأثير فيما يدخل الفهرس يستطيع التأثير فيما يراه النموذج. سمّى Greshake وزملاؤه هذا حقنَ التوجيه غير المباشر في 2023 وأظهروا أن القناة حقيقية ويصعب إغلاقها. حدود استخدام الأدوات هو السطح الثالث: كل أداةٍ تُمنح للنموذج امتيازٌ تخرج نتائجه من نصّ الاستجابة وتصل إلى أنظمة حقيقية. خطّ التدريب هو الرابع، إذ إن أيّ بيانات تُستخدم لتحديث النموذج تُصبح جزءاً من حدود الثقة. أثر النموذج هو الخامس — ملفات ثنائية كبيرة قد يُنفّذ إلغاءُ تسلسلها، كما أثبتت CVE-2024-3568، شيفرةً عند التحميل. معالجة المخرج هي السادس، إذ إن المحتوى المولَّد من النموذج المُوجَّه إلى ما بعد النموذج هو مُدخَلٌ غير موثوق باسم آخر. تُصنّف MITRE ATLAS التكتيكات والتقنيات ضدّ هذا السطح المُتّسع.

1.3 النماذج تُصبح بنيةً تحتية

بين 2012 و2022، كانت النماذج ميزاتٍ داخل التطبيقات. نظامُ توصيةٍ يفشل يُنتج توصياتٍ أسوأ. غيّرت النماذج اللغوية الكبيرة، وخصوصاً مع استخدام الأدوات، هذا. النموذج على نحو متزايد هو طبقة التنسيق — يقرأ المستندات، ويقرّر أيّ أداة يستدعي، ويصوغ الرسالة، ويولّد الشيفرة التي ينفّذها مكوّنٌ آخر. في الغالب هو المكوّن الأشد قوة في النظام، وهو أيضاً الأكثر مطاوعةً، مقودٌ بمُدخلات باللغة الطبيعية يستطيع أيّ شخص كتابتها. لقاعدة بيانات تقليدية لغاتُ استعلام وضوابطُ وصول؛ نموذجُ LLM الذي يعمل مُنسِّقاً لا يمتلك أياً من هذه القيود الجوهرية، سوى ما يُضيفه التطبيق المحيط. هذا ما تعنيه «البنية التحتية» هنا: مكوّناتٌ حاملة يتوسّع اختراقها. تحصل البنية التحتية على أهداف SLO مُعرَّفة، وتسجيلٍ شامل، وضبطٍ للتغيير، واستجابةٍ للحوادث. معظم عمليات نشر LLM حتى 2024 و2025 لم تبلغ بعد ذلك النضج. يمتدّ إطار البنية التحتية إلى الشراء أيضاً: حين تُدمج منظّمةٌ خدمة LLM مُدارة في حزمتها، يُصبح انضباط تحديث النموذج لدى المورّد وبواباتُ التقييم وممارسات الإفصاح جزءاً من بروفايل مخاطر المشتري.

يجدر بنا تذكُّره: تركيبُ الأمن على أنظمةٍ لم تُصمَّم له يترك دروزاً لا يُغلقها أيُّ قدرٍ من الترقيع كاملاً — مصادقة البريد، وتشفير النقل، وعزل العمليات كلها سلكت هذا المسار. أنظمة LLM إمّا أن تُصمَّم بالأمن بوصفه شغلاً أوّلياً، أو تكتشف الدروز لاحقاً، على الملأ، وبتكلفة.

ما يُمهّد له الفصل 1

بقية الكتاب استجابةٌ للتحوّلات البنيوية المُسمّاة هنا. يُقدّم الفصل 2 نمذجة التهديد المُكيَّفة لأنظمة LLM — إطارَي STRIDE وPASTA مُوجَّهَين نحو أصولٍ وخصومٍ وأسطح هجومٍ لا تظهر في الرسومات التقليدية. الفصل 3 يمرّ على البُعد البياني عبر كامل دورة الحياة. الفصول 4 إلى 6 تسير على داخل التوجيه والتفاعل: الحقن، والتصفية، وRAG. الفصول 7 إلى 9 تسير على طبقة النموذج. الفصول 10 إلى 12 تسير على البنية النظامية حوله. الفصول 13 إلى 15 تُضيف المحيط التنظيمي والمسؤول والتنظيمي. الفصل 16 يُعالج الضبط الدقيق بوصفه سطحَ هجومٍ خاصّاً، والفصل 17 ينظر في التهديدات التي لا تزال تتشكّل. يقوم القوس كله على مقدّمة أرساها هذا الفصل: البنية التحتية تغيّرت، وعلى الاختصاص أن يتغيّر معها.

التالي — الفصل 2: نمذجة التهديد لأنظمة LLM. الأسئلة الأربعة لـ Shostack، وSTRIDE وPASTA ضدّ أصول LLM، وMITRE ATLAS بوصفه فهرس تكتيكات الخصوم الذين يجذبهم هذا السطح الجديد.

هل تريد الصورة الكاملة؟ يشمل فصل الكتاب المخطَّط الكامل لـ OWASP LLM Top 10، والنقاش المُطوَّل حول NIST AI 100-1 وAI 600-1 كما يُطبَّقان على وضعية الإنتاج، وحواشي «بلغة بسيطة» التي تُلخّصها هذه المقالة فحسب. اطّلع على LLM Primer VII على أمازون ←