الفصل 17 — تهديدات المستقبل والدفاعات الناشئة
المقال السابع عشر والأخير من الجولة الفصلية لـ LLM Primer VII: أمان الذكاء الاصطناعي. الفصل الذي ينظر بعد الاختصاصات الناضجة بما يكفي لكتابتها ويُسمّي تلك التي لا يزال المجتمع يعمل عليها — الوكلاء المستقلّون، وأسطح الهجوم متعدّدة الوسائط، والهوية الاصطناعية، وسباق تسلّح الذكاء الاصطناعي مقابل الذكاء الاصطناعي في منتصف 2026.
لماذا يوجد هذا الفصل
مشت الفصول من 1 إلى 16 على الاختصاصات الأمنية الناضجة بما يكفي لكتابتها. يمشي الفصل 17 على تلك التي لا تزال تتشكّل. التباين مهمّ. أجابت الفصول السابقة «نعرف كيف نفعل هذا، والسؤال هل ستفعله منظّمتك». يُجيب هذا الفصل «المجتمع لا يزال يعمل على معرفة ما يبدو عليه الحسن، وقد تختلف الإجابات العام المقبل عن هذا العام». كلا النوعَين من العمل حقيقي، وكلاهما ينتمي إلى ذخيرة المهندس. النوع الأول يُبقي الأنظمة آمنة اليوم. النوع الثاني يُبقيها آمنة بعد عامين.
17.1 الوكلاء المستقلّون يُضاعفون نصف قطر الانفجار بميزانية الأدوات
الوكيل المستقلّ نظامٌ يُعطى فيه نموذج لغوي هدفاً، ومجموعة أدوات، وسلطة استدعاء تلك الأدوات تتاباعاً بلا مراجعة بشرية لكل خطوة. يُقرّر النموذج ما يفعل تالياً؛ تُنفّذ الأدوات؛ تعود النتائج؛ تستمرّ الحلقة حتى بلوغ الهدف أو تحفيز شرط توقّف. نمذج AutoGPT وBabyAGI النمطَ علناً في مطلع 2023؛ ورسمته LangChain رسمياً؛ وحوّلت Claude computer use من Anthropic (أكتوبر 2024) وOperator من OpenAI (يناير 2025) النمطَ إلى منتجات تجارية تُعطي نموذجاً سلطة على متصفّح أو سطح مكتب. الخصائص الأمنية مختلفة نوعاً عن التوليد ذي الدور الواحد. نموذجٌ يُنتج إكمالاً واحداً له سلطة كتابة نصٍّ قد يتصرّف عليه التطبيق. نموذجٌ يُشغّل متصفّحاً له، في أسوأ الحالات، سلطة فعل ما يستطيع فعله المتصفّح، بلا نقطة مراجعة بشرية. تنطبق التخفيفات المُرَكَّبة من الفصول السابقة — قوائم سماح الأدوات، ورموز القدرة بنطاق ضيّق، وفحوصات السياسة لكل أداة خارج النموذج، والتأكيد البشري للأفعال ذات الأثر العالي، وحدود خطوات صلبة، وسقوف الميزانية — هنا بتشديدٍ مُبرَز. استقلال الوكيل قرار تصميم يُتَّخذ قبل أيّ حادثة محدّدة، والتصميم يُقرّر سقف أيّ اختراق.
17.2 الأسطح متعدّدة الوسائط تُوسّع قناة الحقن بمراتب
نموذجٌ نصّي يقرأ ما يعرفه المُقطّع. نموذج لغة-رؤية يقرأ صوراً يتجاوز عرض نطاق البكسل فيها ما يمكن أن يحمله النصّ، والتطبيق المحيط عادةً لا يستطيع فحص ما تحويه صورة كما يستطيع فحص سلسلة نصية. أظهرت ورقة Schlarmann وHein في 2023 «On the Adversarial Robustness of Multi-Modal Foundation Models» أن اضطرابات غير محسوسة للبشر لصورة يمكن أن تُغيّر جوهرياً مخرجات النصّ لنموذج VLM — هجوم المثال الخصومي الكلاسيكي مُكيَّفاً إلى وسيط جديد. النصّ المُضمَّن في الصور (لقطات الشاشة، والميمز، ومسحات المستندات) سطح آخر: التعليمات المُكتشَفة بـ OCR في صورة يمكن أن تكون حقنَ توجيه غير مباشر عبر قناة بصرية. نماذج لغة-صوت تأخذ مُدخلاً منطوقاً؛ وقد أُظهرت اضطرابات صوتية خصومية، بعضها غير مسموع للبشر. الفيديو يُضيف القناتَين معاً. كل وسيط سطح حقن جديد، وعمل الدفاع بدأ يلحق فقط: ماسحات ما قبل VLM تُعلّم أو تُزيل النصّ المُكتشَف بـ OCR في الصور؛ ووسوم مصدر على المُدخلات متعدّدة الوسائط؛ وتدريب محاذاة يُعامل القناتَين البصرية والصوتية بالشكّ نفسه للنصّ؛ وتصفية مُخرج مُدركة للوسيط. النمط من الفصول السابقة — لا تسمح لحدود الثقة بالانهيار إلى مُدخل واحد — يمتدّ إلى وسائط لم تكن الفصول السابقة تحتاج تسميتها.
17.3 الهوية الاصطناعية والذكاء الاصطناعي مقابل الذكاء الاصطناعي يُعيدان تشكيل المحيط
عالج القسمان الأولان النموذج هدفاً. الثالث يُعالجه أداة. نموذجٌ توليدي مخرجاته لا تُمَيَّز عن الإنتاج البشري الأصيل يُقوّض أيَّ آلية أمن تعتمد على أن الأصالة قابلة للكشف. الصوت الاصطناعي المُولَّد من دقائق كلام يُشغّل تصيّداً صوتياً ضدّ موظفي المالية الذين يتعرّفون على صوت الرئيس التنفيذي. الفيديوهات المُزيَّفة العميقة تختلق لقطات لشخصيات عامّة. النصّ الاصطناعي يُقلّد كتابة شخص محدّد في اختراق بريد الأعمال. لا شيء منها غريب بحلول 2026؛ الأدوات سلعة، وكلفة التوليد قروش. الاستجابة الدفاعية كانت بنية تحتية للمصدر — C2PA لبيانات المحتوى، وأبحاث العلامة المائية، والتوقيع التشفيري للوسائط الأصيلة — وترقية التحقق من الهوية حيث تعتمد قرارات عالية المخاطر على أصالة القناة. مسار الدفاع الأوسع الذكاء الاصطناعي مقابل الذكاء الاصطناعي: أنظمة أمن مبنية على نماذج لغوية، مَنشورة للدفاع ضدّ هجمات مُولَّدة أو مُضخَّمة بنماذج لغوية أخرى. الفريق الأحمر الآلي — NVIDIA Garak، وMicrosoft PyRIT — يستبدل نموذجاً بإنسان على جانب المهاجم. الحواجز، ومُصنّفات الأمان، وكشف الشذوذ تستبدل نموذجاً بإنسان على جانب المُدافع. سباق التسلّح مُقلق لكنه واقع التشغيل. تأمين الذكاء الاصطناعي، الاختصاص الناشئ لإظهار أن نظام الذكاء الاصطناعي يستوفي متطلّباته بثقة معرَّفة، هو ما يحاول إعطاء سباق التسلّح موطئاً مستقرّاً — بنية تحتية للتقييم المستمرّ، واعتماد طرف ثالث، وأعراف الإفصاح عن الحوادث، وعمل المعايير الذي يُمدّه مجتمعا ISO/IEC 42001 وNIST AI RMF.
هنا تنتهي السلسلة
الفصل 17 هو الفصل الأخير من LLM Primer VII، ومعه الفصل الأخير من سلسلة LLM Primer بمجملها. قدّم المجلد الأول معمارية النماذج اللغوية القائمة على المحوّلات بدءاً من آلية الانتباه فما تلا. غطّى الثاني التدريب، والمحاذاة، ودورة الحياة العملية لبناء واحد. فحص الثالث التوليد المُعزَّز بالاسترجاع وخطوط البيانات المحيطة. نظر الرابع في التقييم والأدوات وممارسات الهندسة التي تحيط بالنموذج في الإنتاج. عالج الخامس أنماط الوكلاء واستخدام الأدوات التي عالجها هذا الفصل الآن بوجهها الخصومي. غطّى السادس البنية التحتية للاستدلال وأنماط التوسّع على نطاق تنظيمي. المجلد السابع، هذا، كان عن الدفاع عن كل ذلك. كُتبت المجلدات السبعة خريطةً موصولة. القرّاء الذين يبلغون هذا الفصل دون زيارة المجلدات السابقة يُنصحون بالعودة، لأن كثيراً من ادّعاءات الأمن في هذا الكتاب تقوم على تفاصيل معمارية تُرسيها تلك المجلدات.
المجلد الشقيق، Physical AI، يمدّ الخريطة إلى الأنظمة المُجسّدة — الروبوتات، والمركبات ذاتية القيادة، ونشرات العالم المادي حيث تتحكّم البنية الاحتمالية نفسها الآن بالمحرّكات وتُشارك البشر الفضاء المادي. تنتقل شواغل أمن هذا المجلد بتعديلات: يُصبح حقن التوجيه عبر القناة البصرية شاغلَ سلامة بمدى متر من الوصول المادي؛ ويُصبح حدُّ الأداة الآن مُتحكّم محرّك؛ وتُصبح المُدخلات الخصومية أشياء موضوعة في بيئة التشغيل. اختصاصات هذه المجلدات السبعة شروط مسبقة لذلك العمل لا بدائل عنه، والقوس من انتباه المحوّل عبر البنية التحتية عبر الأمن يستمرّ إلى العالم المادي حيث تُصبح المخاطر ملموسة.
شكراً لك على قراءة الجولة. يحمل الكتاب نفسه الأمثلة العملية، والشيفرة القابلة للتشغيل، وأدلة الحوادث، وحواشي «بلغة بسيطة» بصيغة أطول مما تحتمله هذه المقالات. إن كان أيٌّ من ذلك مفيداً، الخطوة التالية الأشد أثراً هي تطبيق الإطار على النظام المحدّد الذي تُدافع عنه منظّمتك — نموذج التهديد من الفصل 2، والتخفيفات الطبقية من الفصلَين 4 و5، وأنماط البنية من الفصل 10، والرصد من الفصل 11، والانضباط التنظيمي من الفصل 15 هي القطع الحاملة.
