الفصل العاشر — متعدِّد الوسائط: وراء النصّ

المقالة العاشرة من الجولة الفصلية في LLM Primer I: How Generative AI Works. لم يَعُد النصُّ هو المُدخَلَ الوحيد — تَدخل الصور والصوت إلى النموذج ذاته.

ماذا يَعني أن "النموذج نفسه يَرى الصور"

أمام نموذجٍ متعدِّد الوسائط، يَطرأ السؤال بطبيعة الحال: كيف يَتعامل النموذج نفسه مع النصِّ والصورة والصوت في وقتٍ واحد؟ الجواب، بعد كلِّ ما رَأينا، أبسطُ ممّا يَبدو. لأنّ كلَّ المُدخَلات تَنتهي سلسلةً من الرموز، والرموزُ تَنتهي تضميناتٍ.

تَعود صورةُ الفصل الثالث إلى المشهد. داخل النموذج، الرموزُ تضميناتٌ بِبضع مئاتٍ من الأبعاد. من أين أَتت هذه التضمينات — من نصٍّ، من صورة، من صوت — لم تَعُد بعد دخولها إلى التيّار حاسمةً لما يأتي بعد. يُعالجها Transformer جميعاً بآلية الانتباه ذاتها.

كيف "تُرَمَّز" الصورة

كيف نُحوِّل صورةً إلى سلسلةٍ من الرموز؟ الطريقة الأكثر استقراراً هي vision transformer (ViT) — يَقطع الصورة إلى مربَّعاتٍ صغيرة (patches)، ويَتعامل مع كلِّ مربَّعٍ على أنّه رمز. صورةٌ واحدة تَصير حفنةً من رموز المربَّعات. تَنظر هذه الرموز إلى بعضها بآلية الانتباه ذاتها، ويَستوعب النموذج من هذا التفاعل شكلَ الصورة كاملاً.

المثير أنّ رموزَ النصِّ ورموزَ الصورة تَستطيع أن تَسير جنباً إلى جنبٍ في السياق نفسه. حين تُرسل جملةً مع صورة، يستطيع الانتباه أن يَرسم خطوطاً بينهما بكلِّ حريّة.

الصوت

الصوتُ يَسير في طريقٍ مماثل. شظايا زمنيةٌ قصيرةٌ تُحوَّل إلى تضمينات، وتَدخل إلى السياق. الشكل العامّ ذاته: مهما كان مصدرُ المُدخَل، يَنتهي عند فضاء التضمين الواحد ذاتِه.

بهذه البنية، يَصير نموذجٌ واحد قادراً، في تفاعلٍ واحد، على أن يُجيب على "اقرأ ما هو مكتوبٌ على هذه اللافتة في الصورة"، و"ما نبرة هذا التسجيل؟"، و"لخِّص مسار هذا الفيديو في سطر".

القوّة والحدّ في تعدُّد الوسائط

القوّة في التماهي الطبيعي. تُعطي صورة، وتَطرح سؤالاً نصياً — والنموذج يَخيط الاثنَين معاً. ما كان لِيَكون خطَّ إنتاجٍ معقَّداً في البناء اليدوي، يَنضغط هنا في استدعاءٍ واحد.

الحدّ بصراحة: لا يزال النصُّ هو الأساس، والقدرةُ النصّية هي الأعمق. تَلتقط الصورةُ الإطارَ العامّ جيِّداً، أمّا التفاصيل — الحروف الصغيرة، المواقع الدقيقة، الأرقام بدقّة — فليست دائماً مَضبوطة. والصوت كذلك: يَلتقط النبرة والبنية العامّة، وما تَزال هناك مسافةٌ تَحتاج إلى قطعٍ في الالتقاطات الدقيقة.

خيط الفصل العاشر

ما يَبقى من هذا الفصل في جملةٍ واحدة: قَلبُ التعدُّد الوسائطي هو "تَوحيدُ الفضاء التضميني لمختلف المُدخَلات". متى دَخلت هذه الجملة الرأسَ، تَجد أيَّ نموذجٍ جديد يَظهر — للفيديو، للصوت، لأيِّ شيء — يَنزل على الخريطة الذهنية ذاتها بسلاسة، دون أن يَدفعك إلى الفوضى.

غداً — الفصل الحادي عشر: نماذج أصغر، نماذج أذكى. ندخل أرضَ الكفاءة. التقطير، التكميم، MoE — وأيضاً §11.6 الجديد، المخصَّص كاملاً لِنماذج الاستدلال.