الفصل 16 — الضبط الدقيق والتكييف الآمنان

المقال السادس عشر من الجولة الفصلية لـ LLM Primer VII: أمان الذكاء الاصطناعي. الفصل الذي يُعامل نموذجاً مُضبَطاً دقيقاً أثراً يجب كسب خصائصه الأمنية لا وراثتها — لأن خطوات المشتقّة نفسها التي تُعلّم مفردات المجال يمكن أن تُآكل المحاذاة التي وصل بها النموذج الأساسي.

لماذا يوجد هذا الفصل

يبدو الضبط الدقيق عملية منخفضة المخاطرة. يأخذ فريقٌ نموذجاً أساسياً مُحاذى جيداً، ويُضبطه على بيانات مجاله، ويتوقّع أن يصمد السلوك المُحاذى. الأدبيات التجريبية واضحة منذ 2023 أن هذا التوقّع خاطئ. أظهرت ورقة Qi وآخرين في ICLR 2024 «Fine-tuning Aligned Language Models Compromises Safety, Even When Users Do Not Intend To!» أنه حتى بيانات التعليمات الحميدة يمكن أن تُخفّض معدّلات الرفض على معايير الضرر. أظهرت ورقة Yang وآخرين في 2023 «Shadow Alignment» أن مائة مثال مصوغ عمداً يمكن أن تُخرّب نموذجاً مفتوح الأوزان مُحاذى أمانياً. يمشي الفصل على الآليات، ونموذج تهديد التسميم، وبوابات التقييم التي تلتقط الانحدارات في CI، وتقنيات المحاذاة التي تُعيد تركيب ما آكله الضبط، وانضباط التراجع الذي يُحوّل التحديثات السيّئة إلى عمليات روتينية.

16.1 المحاذاة تتآكل عبر الآلية التي تُدرّب السلوك

التكييف على المجال عادةً حسن التبرير. النموذج الأساسي عامّ جداً، والفريق يمتلك ذخيرة تلتقط كيف يتحدّث مجالُه، والضبط يُضيّق السلوك إلى شيء أدقّ وأكثر مطابقةً للعلامة التجارية. ما يفوت هو أن التضييق ليس مجانياً. خطوات المشتقّة نفسها التي تُعلّم مفردات المجال تُعيد أيضاً وزن كل سلوك آخر، بما فيه السلوكيات التي منعت النموذج من توليد تركيب أسلحة بيولوجية أو كتابة تصيّد مُقنع. قاس Qi وآخرون هذا مباشرة بضبط نسخة Llama-2 مُحاذاة أمانياً دقيقاً على مجموعة بيانات Alpaca للتعليمات — متاحة علناً، بلا محتوى ضارّ صريح — ولاحظوا أن معدّلات الرفض على معايير الضرر انخفضت جوهرياً. لا شيء في مجموعة التدريب طلب من النموذج أن يكون أقلّ أماناً. الإشارة كانت محمولة بغياب عروض الرفض: تعلّم النموذج أن الإجابات المفيدة مُكافأة وأن الرفض نادراً ما يُنمذَج، وعمّم ذلك الدرس على طلبات كان الرفض فيها الافتراضي المُدرَّب. الآلية هي ما يفعله انحدار المشتقّة حين يكون الهدف «اتّبع التعليمات» والعروض لا ترفض إلا نادراً. التخفيفات معمارية — امزج أمثلة الرفض في مجموعة الضبط الدقيق، واستخدم تقنيات مثل DPO أو KTO التي تحفظ سلوك النموذج المرجعي، وطبّق إعادة تدريب أمان بعد التكييف على المجال — لكن لا شيء منها آلي.

16.2 التسميم المتعمَّد هجوم بيانات صغيرة

إن كان التآكل العرَضي هو الحالة الشائعة، فالتسميم هو الحالة الأسوأ. نموذج التهديد مباشر: يُسهم مهاجمٌ بجزء من بيانات الضبط الدقيق بهدف تثبيت سلوك محدّد لن يلاحظه الناشر عند التقييم. السلوك يمكن أن يكون باباً خلفياً (مُخرج مُحفَّز على عبارة مُحفِّزة)، أو رفع رفض (امتثالٌ حيث رفض النموذج الأساسي)، أو إدراج محتوى (يُوصي بمنتج محدّد أو حزب حين يُسأل أسئلة غير ذات صلة)، أو محاذاة سوء طويلة الأفق تُنشَّط تحت ظروف محدّدة. أظهر Yang وآخرون في «Shadow Alignment» أن مائة زوج خصومي، مُهيكلة زوجَ تعليمات-استجابة عادياً، يمكن أن تُخرّب سلوك أمان نموذج مفتوح الأوزان رئيسي. كرّر Qi وآخرون في ICLR 2024 عند حجم أدنى: عشرة أمثلة مختارة جيداً تكفي لاختراق المحاذاة مادياً. لم تكن الأمثلة تحتاج أن تكون غريبة. ممزوجة ببيانات حميدة، تبدو مجموعة البيانات غير ملحوظة. يتّسع سطح التهديد مع عدد الأطراف التي تُسهم بالبيانات — إسهامات العملاء لخطّ التوسيم، والمقاولون الذين يُوسمون البيانات، والموظفون الذين يُعدّون ذخائر الضبط الداخلية، ومجموعات البيانات المفتوحة الأعلى. كلٌّ قناة حقن محتملة، والوضعية الدفاعية هي انضباط المصدر: كل مثال تدريب يجب أن يكون قابلاً للتتبّع إلى أصله، والأصل يجب أن يكون موثوقاً بمستوى ما تتطلّبه نتيجة الضبط الدقيق.

16.3 بوابات التقييم والتراجع هما شبكة الأمان التشغيلية

نقطة تفتيش مُضبَطة دقيقاً ليست نموذجاً قابلاً للنشر. إنها مرشّح. تُغلق الفجوة بالتقييم — تقييم القدرة الذي يُؤكّد أن النموذج لا يزال يفعل عمله وتقييم الأمان الذي يُؤكّد أنه لم ينحدر. النموذج الذهني الصحيح بوابة نشر، لا تقرير معايير. للبوابة معايير قبول/رفض، وعتبات مُحدّدة سلفاً، ونتيجة معرَّفة حين لا تُستوفَ المعايير — لا ترقية إلى staging، ولا حركة، وتذكرة آلية. تحت ضغط المواعيد، تُصبح تقارير المعايير استشارية؛ والبوابات المفروضة بـ CI هي ما يصمد فعلاً. تقنيات المحاذاة التي تُعيد تركيب الأمان بعد تآكل الضبط تشمل مزج أمثلة الرفض في مجموعة الضبط، وRLHF أو DPO على تفضيلات الرفض، وConstitutional AI (Bai وآخرون، Anthropic، 2022) نهجاً زمن تدريب يتوسّع بلا توسيم بشري، وتدريب أمانياً مُستمرّاً على مجموعات مِعْيار. كل نموذج مُضبَط دقيقاً سيُسيء التصرّف في النهاية. السؤال الوحيد هو هل يستطيع الفريق التراجع إلى نسخة معروفة الصلاح في دقائق أم يقضي يوماً في الاستجابة للحوادث. الفرق انضباط قبل النشر. سجلّ نموذج — MLflow Model Registry، أو AWS SageMaker، أو Vertex AI، أو مكافئات داخلية — يتتبّع كل أثر، ومصدره، ونتائج تقييمه، وحالة نشره، ونسبه هو النمط التأسيسي. سجلّ لا يُسجّل نتائج التقييم مخزنُ آثار؛ ومخزن آثار لا يُساعد أثناء التراجع. التراجع نفسه يجب أن يكون أمراً واحداً جُرّبت سلامته.

ما يُمهّد له الفصل 16

يُغلق الفصل 17 الكتاب بالنظر إلى الأمام إلى تهديدات لا تزال ناشئة في منتصف 2026: الوكلاء المستقلّون الذين يُركّبون مُخرج النموذج مع استخدام الأدوات ويعملون مئات الخطوات بلا إشراف؛ والنماذج متعدّدة الوسائط التي يشمل سطح مُدخلها الآن الصور والصوت؛ والهويات الاصطناعية التي تُآكل الافتراض بأن الكيان على الطرف الآخر من قناة هو من يدّعي أنه؛ وسباق تسلّح الذكاء الاصطناعي مقابل الذكاء الاصطناعي حيث المهاجمون والمُدافعون كلاهما نماذج بنفسها. شواغل الضبط الدقيق من هذا الفصل لا تختفي في ذلك العالم؛ تتكثّف. نموذج تآكلت محاذاته بهدوء قبل ثلاثة أسابيع يُصبح مشكلة أكبر بكثير حين يكون هو أيضاً مُنسّق وكيل بوصول shell.

التالي — الفصل 17: تهديدات المستقبل والدفاعات الناشئة. الوكلاء المستقلّون، وأسطح الهجوم متعدّدة الوسائط، والهوية الاصطناعية، وديناميكيات الذكاء الاصطناعي مقابل الذكاء الاصطناعي، وشكل تأمين الذكاء الاصطناعي بوصفه الاختصاص الذي يُصبح إليه.