الفصل 6 — قابلية الرصد والتتبع للذكاء الاصطناعي

المقالة السادسة من الجولة الفصلية لـ LLM Primer V: بناء تطبيقات LLM في العالم الحقيقي. الفصل الذي يُعامل استعلام المستخدم شجرةً سببيةً لا سِجل طلبات، ويُظهر ما يجب تتبعه لتصير الشجرة مقروءة.

لماذا يوجد هذا الفصل

ينتشر استعلامٌ واحدٌ للمستخدم في نظام LLM شجرةً: إعادةُ صياغة استعلام، وثلاثةُ استدعاءات استرجاعٍ ضد فهرسَين، وإعادة ترتيب، واستدعاءُ مُخطِّط، وأربعُ استدعاءات أدوات، ومُلخِّص، وتوليدٌ نهائي. اطوِ تلك الشجرة إلى «طلبٌ استُقبل، ردٌّ أُرسل» فتضيع الحقيقة. حين يشتكي المستخدم أن الإجابة كانت خاطئة، لا يستطيع الفريق أن يقول إن كان الاسترجاع أخطأ القِطعة الصحيحة، أو المُخطِّط اختار الأداة الخاطئة، أو الأداة أعادت البيانات الخاطئة، أو المُولِّد تجاهل ما أُعطي. يُعيد الفصل 6 بناء قابلية الرصد لهذا الشكل. التتبع الموزع الكلاسيكي هو الأرضية؛ واصطلاحات OpenTelemetry الدلالية لـ GenAI هي الامتداد الذي يجعل استدعاءات النموذج مواطنين من الدرجة الأولى؛ وقياسات LLM المحددة — TTFT وTPOT وتكلفة كل استدعاء ودرجات القاضي — هي ما يُحوّل أثراً إلى شيءٍ يستطيع الفريق تشغيل النظام عليه.

في سطر واحد: قابلية رصد LLM هي التتبع الموزع زائد اصطلاحات GenAI الدلالية زائد مجموعة صغيرة من القياسات — TTFT، وTPOT، والتكلفة، والجودة — وخط أنابيب التصدير الذي يُحوّل الآثار الإنتاجية إلى مجموعة تقييم الإصدار التالي.

6.1 من سِجلات الطلبات إلى الآثار السببية

الحركة من سِجلات طلباتٍ مسطَّحة إلى نطاقاتٍ مُتداخلة. يُعطي OpenTelemetry باصطلاحات GenAI الدلالية أشكال نطاقاتٍ محمولةً ومحايدة المزوّد لاستدعاءات LLM، والتضمينات، والاسترجاعات، واستدعاءات الأدوات. تصير حلقة الوكيل نطاقَ جذر؛ ويصير كل تكرارٍ نطاقاً ابنياً؛ ويتداخل كل استدعاء LLM واستدعاء أداةٍ واسترجاعٍ تحته. تصير الجلسات متعددة الأدوار أشجاراً من أشجار، مع روابط نطاقٍ تُنمذج حالةً مُشترَكة عبر الأدوار — الملخّص من الدور الثالث الذي لا يزال الدور السابع يعتمد عليه. تظهر القيمة أول مرةٍ تُنقّح فيها: «أيُّ قِطعةٍ أظهرها المُسترجع لذلك الاستعلام، وهل استشهد بها المُولِّد فعلاً»، سؤالٌ لا تستطيع السجلات المسطَّحة الإجابة عليه دون تنقيبٍ أثري، يصير أثراً واحداً يُنظر فيه. شكل النطاق محمولٌ عبر المُوردين لأنه معيار OpenTelemetry لا صيغةٌ خاصة، ويصير التبديل من LangSmith إلى Langfuse تغييرَ توجيه بدل إعادة كتابة.

6.2 القياسات المُهمّة — TTFT، وTPOT، والتكلفة، والجودة

زمن الاستجابة الإجمالي وحده لا يكفي. يُهيمن زمن الرمز الأول على السرعة المُدرَكة للردود المُتدفِّقة — يترقّب المستخدم أول حرف، لا الأخير — وينتمي TTFT إلى النطاق جنب زمن الاستجابة الإجمالي. يُهيمن زمن كل رمز إخراج على شعور الردود الطويلة وهو ما يُحسّه المستخدم حين يقول «كان بطيئاً في الانتهاء». تنتمي التكلفة إلى النطاق خاصيةً من الدرجة الأولى، تُحسب في موضع الاستدعاء من جدول تسعيرٍ مُصدَّر، لكي يقول الأثرُ التاريخي الحقيقةَ حتى بعد تغيّر الأسعار. تلتصق إشارات الجودة — إبهامٌ مُطأطئ من المستخدم، ودرجةُ قاضٍ من خط أنابيب التقييم، ومُشغِّلُ احتياطي من الغِلاف — بالأثر خصائصَ، وهي كيف يربط الفريق إجابةً سيئةً باستدعاء النموذج المحدد والاسترجاع الذي أنتجها. تظهر القياسات على لوحات، لكن العائد الأعلى أنها قابلةٌ للاستعلام لكل أثر، فيُمكن تصفية انحدارٍ بـ«تكلفة عالية، درجة قاضٍ منخفضة» فيظهر الطريق المخطئ فوراً.

6.3 المنصات وإغلاق الحلقة

تشغل أربع منصات المشهد الحالي. LangSmith خيارٌ مُتكامل مع LangChain بأقلّ احتكاك إن كان التطبيق فيه أصلاً. Langfuse خيارٌ مفتوح المصدر ذاتي الاستضافة يُناسب النشر الخاضع للتنظيم والمؤسسات التي تحتاج بقاء الآثار داخل محيطها. Arize Phoenix قويٌّ في تحليل التضمين وهو الأداة الصحيحة حين يكون السؤال التشخيصي «أيُّ الاستعلامات تهبط في المنطقة الخاطئة من فضاء المتجهات». يعمل Helicone وسيطاً أمام واجهة المزوّد، وهو التكامل الأقلّ لمساً لكنه يرى طبقة استدعاء LLM فحسب. الاختيار تشغيليٌّ لا نوعي — تعرض معظمها الشكل الجوهري ذاته. العمل الأعلى قيمةً هو خط أنابيب التصدير: تصير آثار التغذية الراجعة السلبية، ودرجات القاضي المنخفضة، ومُشغِّلات الاحتياطي، حالات تقييمٍ مُرشَّحة، تُنسَّق في مجموعة التقييم، وتُبوَّب في الإصدار التالي. تلك الحلقة هي ما يُحوّل الإنتاج إلى مُعلِّمٍ للتطوير.

يجدر بنا تذكُّره: الفارق بين «نعرف أنه انكسر» و«نعرف أيّ خطوةٍ انكسرت» هو إن كان التتبع مُهيَّئاً قبل الحادثة. التكلفة قياسٌ آخر على الأثر، تُحسب في موضع الاستدعاء وتُختم جنب زمن الاستجابة.

ما يُمهِّد له الفصل 6

الآثار أيضاً حيث تصير الحوادث الأمنية مرئية. حقنُ مُوجِّهٍ ناجحٌ يظهر بوصفه استدعاء أداةٍ غير متوقع في شجرة الأثر. التسرّبُ يظهر بوصفه نطاق استرجاعٍ أطاع النموذج قِطعتَه بوصفها تعليمات. مُوجِّهُ نظامٍ مُسرَّب يظهر بوصفه نطاقَ إتمامٍ نصُّه يتقاطع بشكلٍ مُريب مع المُوجِّه فوقه. يُوجِّه الفصل 7 أرضية التتبع ذاتها نحو انضباط الأمن — قائمة OWASP LLM Top 10 مفرداتٍ منتصف 2025، وتصنيف الحقن المباشر مقابل غير المباشر الذي تُحاول المفردات تسميته، ومصفوفة التخفيف رباعية الطبقات التي تُفرض فيها أن الصلاحية يجب أن تُطابق أصل الثقة.

التالي — الفصل 7: أمن LLM ومحاورها الوقائية. الوضعية الأمنية التي تُجيب على السؤال الذي جعلت طبقة التتبع طرحَه ممكناً — ماذا كان ينبغي أن يحدث، ومن كان مُصرَّحاً له بأن يجعله يحدث.

هل تريد الصورة الكاملة؟ يمشي فصل الكتاب على خصائص نطاق OpenTelemetry GenAI بالتفصيل، وتكاملات Langfuse وLangSmith SDK بشيفرةٍ ملموسة، وجدول إسناد التكلفة بالإصدارات، وخط أنابيب التصدير من الأثر إلى التقييم. اطّلع على LLM Primer V على أمازون ←