الفصل 3 — التوليد المُعزَّز بالاسترجاع

المقالة الثالثة من الجولة الفصلية لـ LLM Primer V: بناء تطبيقات LLM في العالم الحقيقي. الفصل الذي يمشي على خط أنابيب RAG من طرفٍ إلى طرف، ويفصل العرض الذي يعمل على وثائقك العشر المُفضَّلة عن النظام الذي يصمد لملامسة مدوَّنتك الحقيقية.

لماذا يوجد هذا الفصل

يعرف النموذج الأساسي ما أظهرته له مدوَّنة تدريبه ولا شيء سواه. المنتج الذي تبنيه يحتاج على الأرجح أن يُفكر النموذج في أشياء خارج تلك المدوَّنة — مستنداتٌ داخلية، وتذاكر الأسبوع الماضي، وسِجل طلبات العميل، وسياسةٌ شُحنت هذا الصباح. التوليد المُعزَّز بالاسترجاع هو الانضباط الهندسي الذي يسدّ الفجوة: زمن الاستعلام، جلب المادة ذات الصلة من نظام تسجيل، وتنسيقها في المُوجِّه، وترك النموذج يُولِّد ضدها. النسخة الساذجة استدعاءُ تضمينٍ واحدٌ وبحثُ أعلى-k. النسخة الإنتاجية خطُ أنابيبٍ باستراتيجية تقطيع، وتحويل استعلام، وتسجيلٍ هجين، وإعادة ترتيب، وحلقة تقييم. يمشي الفصل 3 على خط الأنابيب من طرفٍ إلى طرف، ثم على التقنيات التي تُحوّل خط أنابيب العرض إلى نشرٍ فعلي.

3.1 خط الأنابيب ذو المراحل الخمس والاسترجاع الهجين

لخط أنابيب RAG الأدنى خمس مراحل، وكلٌّ منها يتفاعل مع الآخرين بطُرقٍ واضحةٍ في المُراجَعة. تحفظ المُحمِّلات البنية — العناوين، ومسارات الأقسام، والأختام الزمنية، وعناوين URL المصدر، وتسميات التحكم بالوصول — لأن كل ما يليها يعتمد على ما احتفظ به المُحمِّل. تقطع المُقطِّعات على الحبّة الطبيعية للوثيقة، لا على عدّ رموزٍ اعتباطي. تُسقِط المُضمِّنات القِطع في فضاءٍ متجهيٍّ هندسته يُحددها بالكامل توزيع تدريب نموذج التضمين. تجد المُسترجعات الجيران الأقرب. يُوجَّه المُولِّد بالسياق المُسترجَع، والصياغة تُهم: «أَجِب بالاستناد إلى السياق أدناه فقط، وإلا فرُدَّ ‹لا أملك هذه المعلومة›» هو النمط الأشد فاعليةً منفرداً للحدّ من الهلوسة في RAG الإنتاجي. يفهم الاسترجاع الكثيف الخالص إعادة الصياغة لكنه يُخطئ المُعرِّفات الدقيقة؛ ويُصيب الاسترجاع المُعجمي المُعرِّفات لكنه يُخطئ الدلالة؛ ويحصل الاسترجاع الهجين المُدمج بـ Reciprocal Rank Fusion على الأثرَين، ويشتري مُعيدُ ترتيبٍ متعابرٌ على أعلى-50 المُدمج نسبةً إضافيةً من عشرة إلى عشرين بالمئة في الدقة.

3.2 التقطيع هو حيث تعيش الجودة أو تموت

افتراض «قسّم كل 500 رمز بتراكب 50 رمزاً» يعمل على شريحةٍ مُدهشة من المدوَّنات العامة ويفشل على كل تخصصيةٍ تقريباً. يمشي المُقطِّع البنيوي على HTML أو Markdown بحسب مستوى العنوان ويُصدر قِطعةً واحدةً لكل قسمٍ ورقي، مسبوقةً بمسار العناوين الأسلاف. يُضمِّن المُقطِّع أب-ابن قِطعاً صغيرةً ابنة لدقة الاسترجاع، لكنه يُوسِّع كل مطابقةٍ إلى فقرتها الأب قبل تمريرها للمُولِّد، فيفصل وحدة الاسترجاع عن وحدة السياق. يمشي المُقطِّع الدلالي على تسلسل تضمينِ جُملٍ ويقسم حيث ينتقل الموضوع. مُركَّبَين، البنيوي أولاً والدلالي داخل الأقسام الطويلة، يتعامل النمطان مع كل نوع مصدرٍ تقريباً تحتويه مدوَّنةٌ حقيقية. وتحمل كل قِطعةٍ بيانات إثراء — المصدر، وURL، والختم الزمني، ومسار العنوان، واللغة، ونطاق الرؤية — لأن تلك هي الحقول التي تجعل القِطع المُسترجَعة قابلةً للنسب، وللتصفية، ومقروءةً لبقية النظام.

3.3 تحويل الاستعلامات، والوسائط المتعددة، وتحويل النص إلى SQL

استعلام المستخدم نادراً ما يكون المثالي للاسترجاع. يطلب توسيع الاستعلام المتعدد من النموذج عدة إعادات صياغة، ويسترجع لكل واحدة، ويدمج. HyDE — تضمينات الوثيقة الافتراضية — تطلب من النموذج أن يخترع إجابةً معقولة ويُضمِّن تلك بدلاً من السؤال، على فرضية أن الإجابات تعيش في منطقةٍ من فضاء التضمين تختلف عن التي تعيش فيها الأسئلة. يُنتج توجيه الخطوة إلى الوراء نسخةً أعمّ من السؤال، ويسترجع ضد الاثنين، ويترك النموذج يستعمل الإطار للإجابة على الحالة المحددة. يقسم التفكيك سؤالاً مُركَّباً إلى أسئلةٍ فرعيةٍ يستطيع المُسترجع التعامل معها واحدةً واحدة. يترك الاسترجاع التكراري للنموذج قرار ما يجلبه تالياً — الجسر بين RAG والوكلاء. يمتد RAG أيضاً ما بعد النص: فضاءات تضمينٍ صورةٍ-نصٍّ مشتركة من طراز CLIP تدعم الاسترجاع متعدد الوسائط، ويُعامل تحويل النص إلى SQL مخططات قواعد البيانات بوصفها مدوَّنة الاسترجاع ويُولِّد استعلاماتٍ ضد نسخةٍ متماثلةٍ للقراءة مع مهلة. يُختار مُوجِّهٌ التحويلَ الصحيح لكل استعلام بدلاً من تشغيل جميعها.

ما يُمهِّد له الفصل 3

RAG قدرةٌ بين قدراتٍ كثيرة. مُساعدٌ إنتاجيٌّ نادراً ما يعيش على الاسترجاع وحده: يحتاج جلب طلبات العميل الأخيرة، وفحص المخزون في نظامٍ آخر، وتلخيص النتائج، وطرح سؤالٍ توضيحي، والقرار من تلقاء نفسه متى يفعل ماذا. الإطار الطبيعي لذلك السلوك وكيلي — يختار النموذج من مجموعة أدوات، ويُشغّل النظام الأداة المُختارة، وتعود النتيجة إلى النموذج، وتستمر الحلقة حتى تكتمل المهمة. الاسترجاع، في ذلك الإطار، أداةٌ يستطيع الوكيل مدّ يده إليها. يُحوّل الفصل 4 الغِلاف إلى وكيل: حلقة ReAct، ومخططات الأدوات بوصفها عقوداً، وطبقات الذاكرة الثلاث التي تُتيح للوكيل أن يحمل حالةً عبر الأدوار.

التالي — الفصل 4: الوكلاء واستدعاء الأدوات. الحلقة التي تُحوّل نموذجاً عديم الحالة إلى فاعلٍ يُلاحق هدفاً — بأدوات، وذاكرة، وحدودٍ صارمةٍ على السلوك الجامح.