الفصل 10 — رياضيات ما بعد التدريب والمواءمة

تم النشر في: 1447-09-23 آخر تحديث في: 1447-12-20 الإصدار: 1

ุงู„ูุตู„ 10 โ€” ุฑูŠุงุถูŠุงุช ู…ุง ุจุนุฏ ุงู„ุชุฏุฑูŠุจ ูˆุงู„ู…ูˆุงุกู…ุฉ

ุงู„ู…ู‚ุงู„ุฉ ุงู„ุนุงุดุฑุฉ ู…ู† ุงู„ุฌูˆู„ุฉ ุงู„ูุตู„ูŠุฉ ููŠ LLM Primer II: Language Models Through Mathematics. ุงู„ูุตู„ ุงู„ุฐูŠ ูŠูุฑูˆูŽู‘ุถ ููŠู‡ ู…ุชู†ุจุฆูŒ ุจุงู„ุฑู…ุฒ ุงู„ุชุงู„ูŠ โ€” ู„ุงู…ุนูŒ ูˆู…ุชูˆุญูู‘ุด ููŠ ุขู†ู โ€” ุญุชู‰ ูŠูŽุตูŠุฑ ู…ุณุงุนุฏุงู‹ ู…ููŠุฏุงู‹. ูˆุงู„ูุตู„ ุงู„ุฐูŠ ุชูŽู†ุทูˆูŠ ููŠู‡ ู…ู†ุธูˆู…ุฉู ุงู„ุชุนู„ูู‘ู… ุงู„ู…ุนุฒูŽู‘ุฒ ุจุฃูŽุณุฑู‡ุงุŒ ุจุงุดุชู‚ุงู‚ู ุฃู†ูŠู‚ุŒ ููŠ ุดูŠุกู ูŠูู…ูƒู† ุชุฏุฑูŠุจู‡ ูƒุฃู†ูŽู‘ู‡ ู…ูุตู†ูู‘ููŒ ุนุงุฏูŠ.


ู„ู…ุงุฐุง ู‡ุฐุง ุงู„ูุตู„

ุงู„ูุตู„ุงู† ุงู„ุซุงู…ู† ูˆุงู„ุชุงุณุน ุฃูŽุฎุฑุฌุง ู†ู…ูˆุฐุฌุงู‹ ู…ูุฏุฑูŽู‘ุจุงู‹ ู…ุณุจู‚ุงู‹. ู‚ุฏ ู‚ุฑุฃ ูƒุซูŠุฑุงู‹ ู…ู† ุงู„ุฅู†ุชุฑู†ุชุŒ ูˆุตุงุฑ ูŠููƒู…ู„ ุฃูŠูŽู‘ ู†ุตูู‘ ุจูุทู„ุงู‚ุฉู ุบุฑูŠุจุฉ. ุบูŠุฑ ุฃู†ูŽู‘ู‡ ู„ุง ูŠูŽู…ูŠู„ ุจุทุจุนู‡ ุฅู„ู‰ ุฃู† ูŠูŽูƒูˆู† ู…ููŠุฏุงู‹. ุชูŽุทุฑุญ ุนู„ูŠู‡ ุณุคุงู„ุงู‹ ููŠููˆู„ูู‘ุฏ ุฃุณุฆู„ุฉู‹ ุฃุฎุฑู‰ โ€” ู„ุงู…ุนูŒ ูˆู…ุชูˆุญูู‘ุด ููŠ ุขู†ู.

ุงู„ูุตู„ ุงู„ุนุงุดุฑ ู‡ูˆ ุงู„ุฌุณุฑ ุจูŠู† ุฐู„ูƒ ุงู„ูƒุงุฆู† ูˆุงู„ู…ุณุงุนุฏ ุงู„ุฐูŠ ุชูŽุณุชุฎุฏู…ู‡ ูุนู„ุงู‹. ูˆู‡ูˆ ุฃูŠุถุงู‹ ู…ู† ุฃูŽูƒุซุฑ ูุตูˆู„ ุงู„ูƒุชุงุจ ุฌูŽู…ุงู„ุงู‹ ู…ู† ู†ุงุญูŠุฉ ุงู„ุฑูŠุงุถูŠุงุช โ€” ู‡ู†ุฏุณุฉู ุงู„ู…ูˆุงุกู…ุฉ ุชูŽุณุชู†ุฏู ุฅู„ู‰ ุซู„ุงุซ ุฃููƒุงุฑู ู†ุธูŠูุฉ ู…ุชุชุงู„ูŠุฉุŒ ูˆุงู„ุซุงู„ุซุฉู ู…ู†ู‡ุง ุฃู†ูŠู‚ุฉูŒ ุจุตูˆุฑุฉู ุบูŠุฑ ู…ุนู‚ูˆู„ุฉ.

ููŠ ุฌู…ู„ุฉู ูˆุงุญุฏุฉ: ู…ุง ุจุนุฏ ุงู„ุชุฏุฑูŠุจ ููŠ ุซู„ุงุซ ุญุฑูƒุงุช โ€” ุงู„ุถุจุท ุงู„ุฏู‚ูŠู‚ ุงู„ู…ูˆุฌูŽู‘ู‡ ูŠูุนู„ูู‘ู… ุงู„ู†ู…ูˆุฐุฌูŽ ู…ุญุงูƒุงุฉูŽ ุงู„ุฅุฌุงุจุงุช ุงู„ุฌูŠุฏุฉุŒ ูˆู†ู…ูˆุฐุฌ ุงู„ู…ูƒุงูุฃุฉ ูŠูŽุชุนู„ูŽู‘ู… ุชูุถูŠู„ุงุช ุงู„ุจุดุฑุŒ ูˆุชุญุณูŠู† ุงู„ุชูุถูŠู„ุงุช ูŠูŽุถุจุท ุงู„ู†ู…ูˆุฐุฌูŽ ู„ูŠูู„ุจูู‘ูŠู‡ุงุŒ ู…ุน ู…ู‚ูˆุฏู ู…ู† KL ูŠูุจู‚ูŠู‡ ู‚ุฑูŠุจุงู‹ ู…ู† ุงู„ุฃุตู„.

10.1 ุงู„ุถุจุท ุงู„ุฏู‚ูŠู‚ ุงู„ู…ูˆุฌูŽู‘ู‡

ุงู„ุฎุทูˆุฉ ุงู„ุฃูˆู„ู‰ ูˆุงู„ุฃูŽู„ุทู. ู„ูŠุณ ููŠู‡ุง ุฌุฏูŠุฏูŒ ุฑูŠุงุถูŠุงู‹ โ€” ุชูŽุฌู…ุน ุฃุฒูˆุงุฌุงู‹ ู…ู† (ู…ูˆุฌูู‘ู‡ุŒ ุฅุฌุงุจุฉ ู…ุซุงู„ูŠุฉ) ู…ู† ุงู„ุจุดุฑุŒ ูˆุชูุฏุฑูู‘ุจ ุจุงู„ุฎุณุงุฑุฉ ุงู„ู…ูุชู‚ุงุทุนุฉ ู†ูุณู‡ุง ุงู„ุชูŠ ุฑุฃูŠู†ูŽุงู‡ุง ููŠ ุงู„ูุตู„ ุงู„ุฃูˆูŽู‘ู„. ุจู…ุญุงูƒุงุฉ ุขู„ุงูู ู…ู† ุฃู…ุซู„ุฉ ุงู„ู…ุณุงุนุฏ ุงู„ู…ููŠุฏุŒ ูŠูŽุชุนู„ูŽู‘ู… ุงู„ู†ู…ูˆุฐุฌู ุฃู† ูŠูŽุชุตุฑูŽู‘ู ูƒุฐู„ูƒ ุงู„ู…ุณุงุนุฏ ุจุฏู„ุงู‹ ู…ู† ุฃู† ูŠูŽุชุตุฑูŽู‘ู ูƒุตูุญุฉู ู…ู† ุงู„ุฅู†ุชุฑู†ุช. ุงู„ุณู‚ู ู‡ู†ุง ูˆุงุถุญ: ุงู„ู…ุญุงูƒุงุฉ ู„ุง ุชูŽุชุฌุงูˆุฒ ู…ูŽู† ูŠูŽุนุฑุถูˆู† ุงู„ู†ู…ูˆุฐุฌูŽุŒ ูˆูƒุชุงุจุฉู ุงู„ุฅุฌุงุจุฉ ุงู„ู…ุซุงู„ูŠุฉ ุฃุตุนุจู ุจูƒุซูŠุฑู ู…ู† ุงู„ุชุนุฑูู‘ู ุนู„ูŠู‡ุง.

10.2 ู†ู…ุงุฐุฌ ุงู„ู…ูƒุงูุฃุฉ ูˆุฑูŠุงุถูŠุงุช ุงู„ุชูุถูŠู„

ุฅู† ูƒุงู†ุช ูƒุชุงุจุฉู ุงู„ุฅุฌุงุจุฉ ุงู„ู…ุซุงู„ูŠุฉ ุตุนุจุฉู‹ ูˆุงู„ู…ู‚ุงุฑู†ุฉู ุจูŠู† ุฅุฌุงุจุชูŽูŠู† ุณู‡ู„ุฉุŒ ูู„ู†ูŽุฌู…ุน ุงู„ู…ู‚ุงุฑู†ุงุช. ูˆุงู„ุฌุณุฑ ู…ู† ุงู„ู…ู‚ุงุฑู†ุงุช ุงู„ุจุดุฑูŠุฉ ุงู„ู…ูุดูˆูŽู‘ุดุฉ ุฅู„ู‰ ุฏุงู„ุฉู ุชูŽุณุฌูŠู„ู ุณู„ุณุฉ ู‡ูˆ ู†ู…ูˆุฐุฌ ุจุฑุงุฏู„ูŠ-ุชูŠุฑูŠ (ุฅุญุตุงุกูŒ ู…ู† ุฎู…ุณูŠู†ูŠุงุช ุงู„ู‚ุฑู† ุงู„ู…ุงุถูŠ). ูŠูุนุทูŠ ูƒู„ูŽู‘ ุนู†ุตุฑู ู‚ูˆุฉู‹ ู…ูุฎุชููŠุฉุŒ ูˆุชูŽูƒูˆู† ุงุญุชู…ุงู„ูŠุฉ ุฃู† ูŠูŽุชุบู„ูŽู‘ุจ ุฃุญุฏูู‡ู…ุง ุนู„ู‰ ุงู„ุขุฎุฑ ู…ุญูƒูˆู…ุฉู‹ ุจูุงุฑู‚ ุงู„ู‚ูˆูŽู‘ุชูŽูŠู† ุนุจุฑ ุฏุงู„ุฉู ู„ูˆุฌุณุชูŠุฉ. ูŠูุฏุฑูŽู‘ุจ ู†ู…ูˆุฐุฌ ุงู„ู…ูƒุงูุฃุฉ ู„ููŠูŽุฌุนู„ ู‡ุฐู‡ ุงู„ุงุญุชู…ุงู„ูŠุฉ ู…ูุทุงุจูู‚ุฉู‹ ู„ู„ูˆุณูˆู… ุงู„ุจุดุฑูŠุฉ. ุชุฃู…ูŽู‘ู„ ุงู„ู…ุนุงุฏู„ุฉ ู…ุฑูŽู‘ุฉู‹ ุฃุฎุฑู‰ ูˆุณุชูุฏุฑูƒ: ู‡ุฐุง ุงู†ุญุฏุงุฑูŒ ู„ูˆุฌุณุชูŠูŒู‘ ุนู„ู‰ ูุฑูˆู‚ ุงู„ู…ูƒุงูุขุช.

10.3 RLHF ุนู„ู‰ ู…ู‚ูˆุฏ

ุงู„ุชุนู„ูู‘ู… ุงู„ู…ุนุฒูŽู‘ุฒ ุงู„ุณูŽู‘ุงุฐุฌ โ€” ุชูŽุนุธูŠู… ุงู„ู…ูƒุงูุฃุฉ ุงู„ู…ุชูˆู‚ูŽู‘ุนุฉ โ€” ู…ูŽุตูŠุฏุฉูŒ. ู†ู…ูˆุฐุฌ ุงู„ู…ูƒุงูุฃุฉ ูˆุณูŠุทุŒ ู„ู‡ ุจูู‚ูŽุนูŒ ุนู…ูŠุงุก. ูˆุณูŠุงุณุฉูŒ ุชูุญุณูŽู‘ู† ุจู‚ูˆูŽู‘ุฉู ูƒุงููŠุฉ ุชูŽุณุชุบู„ูู‘ ุชู„ูƒ ุงู„ุจูู‚ูŽุน ูˆุชูู†ุชุฌ ู†ุตุงู‹ ู…ูู†ุญู„ุงู‹ ูŠูŽุญุตู„ ุนู„ู‰ ุฏูŽุฑุฌุงุชู ุนุงู„ูŠุฉ ุจุดูƒู„ู ู…ูุถุญูƒ ุจูŠู†ู…ุง ูŠูŽุจุฏูˆ ู‡ูŽุฐูŽูŠุงู†ุงู‹ ู„ู„ุจุดุฑ. ุงุฎุชุฑุงู‚ ุงู„ู…ูƒุงูุฃุฉ โ€” ุฃูŽูˆุถุญ ุตูˆุฑุฉู ู„ูู…ุง ูŠูุณู…ูŽู‘ู‰ ู…ูู„ุงุนุจุฉ ุงู„ู…ูˆุงุตูุงุช. ุงู„ุญู„ูู‘: ุฅุถุงูุฉ ุนู‚ูˆุจุฉ ุชูŽุจุงุนุฏ KL ุชูŽุฌุฐุจ ุงู„ุณูŠุงุณุฉูŽ ู†ุญูˆ ุงู„ู…ุฑุฌุน ุงู„ู…ูุฏุฑูŽู‘ุจ ู…ุณุจู‚ุงู‹. ูˆุงู„ูู†ูู‘ ููŠ ุงู„ุชูˆุงุฒู†: ู…ู‚ูˆุฏูŒ ู‚ุตูŠุฑูŒ ูŠูŽุฎุชู†ู‚ ูู„ุง ูŠูŽุชุญุณูŽู‘ู† ุงู„ู†ู…ูˆุฐุฌุŒ ูˆู…ู‚ูˆุฏูŒ ุทูˆูŠู„ูŒ ูŠูŽู‡ุฑุจ ููŠูŽุฎุชุฑู‚ ุงู„ู…ูƒุงูุฃุฉ.

10.4 DPO: ุญูŠู† ูŠูŽุฐูˆุจ ุงู„ุชุนู„ูู‘ู… ุงู„ู…ุนุฒูŽู‘ุฒ

ู…ู† ุฃูŽุฌู…ู„ ุงู„ู†ุชุงุฆุฌ ููŠ ุชูŽุนู„ูู‘ู… ุงู„ุขู„ุฉ ุงู„ุญุฏูŠุซ. ู‡ุฏู RLHF ูŠูŽุจุฏูˆ ูƒุฃู†ูŽู‘ู‡ ูŠูŽุณุชูˆุฌุจ ุงู„ู…ู†ุธูˆู…ุฉูŽ ุจุฃูŽุณุฑู‡ุง โ€” ู†ู…ูˆุฐุฌ ู…ูƒุงูุฃุฉุŒ ุญู„ู‚ุฉ ุชุนู„ูู‘ู… ู…ุนุฒูŽู‘ุฒุŒ ุนูŠูู‘ู†ุงุช. ุฃุซุจุชูŽ ุชุญุณูŠู† ุงู„ุชูุถูŠู„ุงุช ุงู„ู…ุจุงุดุฑ (DPO) ุฃู†ูŽู‘ู‡ ู„ุง ูŠูŽุณุชูˆุฌุจู‡ุง. ู„ูุชูŽุนุธูŠู… ุงู„ู…ูƒุงูุฃุฉ ุงู„ู…ู‚ูŠูŽู‘ุฏ ุจู€ KL ุญู„ูŒู‘ ู…ูุบู„ู‚ ุงู„ุดูƒู„: ุงู„ุณูŠุงุณุฉ ุงู„ู…ุฑุฌุนูŠุฉ ู…ูุนุงุฏ ูˆูŽุฒู†ู‡ุง ุจู…ูƒุงูุฃุฉู ู…ูŽุฃุฎูˆุฐุฉู ู…ู† ุงู„ุฃูุณูู‘. ุงู‚ู„ุจ ุงู„ุงุชุฌุงู‡: ุญูู„ูŽู‘ ุงู„ู…ูƒุงูุฃุฉูŽ ุจุฏู„ุงู„ุฉ ุงู„ุณูŠุงุณุฉ ุงู„ู…ูุซู„ู‰ุŒ ุซู… ุนูˆูู‘ุถ ููŠ ุฎุณุงุฑุฉ ุชูุถูŠู„ ุจุฑุงุฏู„ูŠ-ุชูŠุฑูŠุŒ ูˆุฑุงู‚ุจ ู†ู…ูˆุฐุฌ ุงู„ู…ูƒุงูุฃุฉ ูˆู‡ูˆ ูŠูŽุชู„ุงุดู‰. ู…ุง ูŠูŽุจู‚ู‰ ุฎุณุงุฑุฉูŒ ู…ูุนุจูŽู‘ุฑ ุนู†ู‡ุง ูƒุงู…ู„ุฉู‹ ุจู„ูˆุบุงุฑูŠุชู…ุงุช ุงุญุชู…ุงู„ุงุช ุงู„ุณูŠุงุณุฉ ู†ูุณู‡ุง ู…ู‚ุงุจู„ ุงู„ู…ุฑุฌุน. ู„ุง ู†ู…ูˆุฐุฌ ู…ูƒุงูุฃุฉ ู…ู†ูุตู„. ู„ุง ุญู„ู‚ุฉ ุชุนู„ูู‘ู… ู…ุนุฒูŽู‘ุฒ. ู…ุฌุฑูŽู‘ุฏ ุชุนู„ูู‘ู…ู ู…ูุดุฑูŽู ุนู„ู‰ ุฃุฒูˆุงุฌ ุงู„ุชูุถูŠู„ุงุช.

ูŠูŽุณุชุญู‚ูู‘ ุงู„ุชูŽู‘ู…ุณูู‘ูƒ: DPO ู…ู† ุงู„ู†ุชุงุฆุฌ ุงู„ุชูŠ ุชูŽุฌุนู„ ุงู„ู…ุฌุงู„ูŽ ูŠูŽุจุฏูˆ ุตุบูŠุฑุงู‹ ูˆุฃู†ูŠู‚ุงู‹ ู„ู„ุญุธุฉ. ุญุฏูŠู‚ุฉูŒ ู…ุชุญุฑูู‘ูƒุฉ ูƒุงู…ู„ุฉูŒ ู…ู† ุงู„ู…ููƒูˆูู‘ู†ุงุช ุชูŽู†ุทูˆูŠ ุจุฃู†ุงู‚ุฉู ููŠ ุฎุณุงุฑุฉู ู…ูุดุฑูŽูุฉู ูˆุงุญุฏุฉ. ุงู„ุฑูŠุงุถูŠุงุชู ู†ูุณู‡ุงุŒ ุขู„ููŠูŽู‘ุฉูŒ ุฃู‚ู„.

10.5 ุงู„ุฃูุถู„ ู…ู† ุจูŠู† nุŒ ุถุฑูŠุจุฉ ุงู„ู…ูˆุงุกู…ุฉุŒ ุชุญููู‘ุธุงุชูŒ ุตุงุฏู‚ุฉ

ุจุฏูŠู„ูŒ ุฃุจุณุท: ุฃูŽุฎุฐ ุงู„ุนูŠูู‘ู†ุงุช ุจุงู„ุฑูŽู‘ูุถ / ุงู„ุฃูุถู„ ู…ู† ุจูŠู† n. ูˆูŽู„ูู‘ุฏ n ู…ูุฑุดูŽู‘ุญุงู‹ุŒ ุณูŽุฌูู‘ู„ู‡ุง ูƒู„ูŽู‘ู‡ุงุŒ ุงุญุชูุธ ุจุงู„ุฃูŽูุถู„. ู„ุง ุชุฏุฑูŠุจูŽ ู„ู„ุณูŠุงุณุฉุŒ ูู‚ุท ุงุณุชุฏู„ุงู„ูŒ ุฅุถุงููŠ. ุฎุทูู‘ ุฃูŽุณุงุณู ู‚ูˆูŠูŒู‘ ูˆุจุณูŠุทูŒ ุฅู„ู‰ ุฃูŽุจุนุฏ ุงู„ุญุฏูˆุฏ.

ุชูŽุญููู‘ุธุงู†. ุงู„ุฃูˆูŽู‘ู„ุŒ ุถุฑูŠุจุฉ ุงู„ู…ูˆุงุกู…ุฉ: ู†ู…ูˆุฐุฌูŒ ู…ูุถุจูŽุทูŒ ุจุดุฏูŽู‘ุฉู ู†ุญูˆ ุงู„ูุงุฆุฏุฉ ูˆุงู„ุฃู…ุงู† ู‚ุฏ ูŠูŽูู‚ุฏ ุจุนุถุงู‹ ู…ู† ู‚ุฏุฑุชู‡ ุงู„ุฎุงู…. ูˆุงู„ุซุงู†ูŠุŒ ุฃูŽุนู…ู‚: ูƒู„ูู‘ ุทุฑูŠู‚ุฉู ู‡ู†ุง ุชูุญุณูู‘ู† ู…ู† ุฃุฌู„ ุงู„ู‚ูŽุจูˆู„ ุงู„ุจุดุฑูŠุŒ ูˆุฐู„ูƒ ู„ูŠุณ ู‡ูˆ ุงู„ุตุฏู‚ูŽ ูˆู„ุง ุงู„ุฎูŠุฑ. ุงู„ู†ู…ูˆุฐุฌ ู‚ุฏ ูŠูŽุชุนู„ูŽู‘ู… ุฃู† ูŠูุญุจูŽู‘ ุฏูˆู† ุฃู† ูŠูŽุชุนู„ูŽู‘ู… ุฃู† ูŠูุตูŠุจ.

ูŠูุบุทูู‘ูŠ ุงู„ูุตู„ ุฃูŠุถุงู‹ RLAIF (ุงุณุชุฎุฏุงู… ุญููƒู… ู†ู…ูˆุฐุฌู ู„ูู…ููˆุงุกู…ุฉ ุขุฎุฑ) ูˆุงู„ุฐูƒุงุก ุงู„ุงุตุทู†ุงุนูŠ ุงู„ุฏุณุชูˆุฑูŠ (ู‚ููŠูŽู…ูŒ ู…ูƒุชูˆุจุฉูŒ ุจู„ุบุฉู ู…ูู‡ูˆู…ุฉ). ูƒู„ุงู‡ู…ุง ูŠูู„ู…ูู‘ุญ ุฅู„ู‰ ุงู„ู…ุดูƒู„ุฉ ุงู„ุฃุนู…ู‚: ุงู„ุฅุดุฑุงู ุงู„ู‚ุงุจู„ ู„ู„ุชูˆุณูู‘ุน.

ู…ุง ูŠูุคุณูู‘ุณ ู„ู‡ ุงู„ูุตู„ ุงู„ุนุงุดุฑ

ุชูŽุฎุฑุฌ ุจุซู„ุงุซ ุญุฑูƒุงุชู ูˆู‚ุทุนุชูŽูŠู† ุฌู…ูŠู„ุชูŽูŠู† ู…ู† ุงู„ุฅุญุตุงุก. ูˆู…ู† ู‡ู†ุง ูŠูŽู†ุชู‚ู„ ุงู„ูƒุชุงุจ ุฅู„ู‰ ุงู„ุณุคุงู„ ุงู„ู…ุชูŽู‘ุตู„ ูˆุงู„ุฑูŠุงุถูŠูู‘ ุจุงู„ุฏุฑุฌุฉ ู†ูุณู‡ุง: ุงู„ุขู† ูˆู‚ุฏ ุจูŽู†ูŠู†ุง ู†ู…ูˆุฐุฌุงู‹ ูˆูˆุงุกูŽู…ู†ูŽุงู‡ุŒ ูƒูŠู ู†ูŽุนุฑู ุฃู†ูŽู‘ู‡ ุฌูŠูู‘ุฏุŸ


ุบุฏุงู‹ โ€” ุงู„ูุตู„ 11: ุงู„ุชู‚ูŠูŠู… ูˆุงู„ู…ุนุงูŠุฑุฉ ูˆุงู„ุงุณุชุฏู„ุงู„. ุงู„ุญูŽูŠู’ุฑุฉ (perplexity)ุŒ ุงู„ู…ุนุงูŠุฑุฉุŒ ุฃูŽุดุฑุทุฉ ุงู„ุฎุทุฃ ุงู„ุชูŠ ูŠู†ุจุบูŠ ุฃู† ูŠูŽุญู…ู„ู‡ุง ูƒู„ูู‘ ู…ู‚ูŠุงุณ ู…ุนูŠุงุฑูŠุŒ ูˆุฑูŠุงุถูŠุงุช ู‚ูŠุงุณ ุงู„ู‡ู„ูˆุณุฉ.

ู‡ู„ ุชุฑูŠุฏ ุงู„ุตูˆุฑุฉ ุงู„ูƒุงู…ู„ุฉุŸ ุงู„ูƒุชุงุจ ูŠูŽุชุถู…ูŽู‘ู† ุงุดุชู‚ุงู‚ ุจุฑุงุฏู„ูŠ-ุชูŠุฑูŠ ูƒุงู…ู„ุงู‹ุŒ ูˆุญู„ูŽู‘ DPO ุงู„ู…ูุบู„ู‚ ุงู„ุดูƒู„ ู…ุน ุจุฑู‡ุงู† ุงู„ุชุนูˆูŠุถุŒ ูˆูƒูˆุฑูŠุบุฑุงููŠุง RLHF ุจู†ู…ุงุฐุฌู‡ุง ุงู„ุซู„ุงุซุฉ ู…ูŽุฑุณูˆู…ุฉู‹ ุชุฎุทูŠุทูŠุงู‹. ุชูŽุตููŽู‘ุญ LLM Primer II ุนู„ู‰ ุฃู…ุงุฒูˆู† โ†

SHO
SHO
ู…ุฏูŠุฑ ุงู„ุชูƒู†ูˆู„ูˆุฌูŠุง ูˆุงู„ู…ุคุณุณ ู„ุดุฑูƒุฉ RECEIPTROLLER. ูŠุฑูƒุฒ ุนู„ู‰ ุงู„ุจูŠุงู†ุงุชุŒ ู…ุฏููˆุน ุจุงู„ุงุจุชูƒุงุฑุŒ ุฏุงุฆู… ุงู„ูุถูˆู„.