الفصل 11 — التقييم والمعايرة والاستدلال

تم النشر في: 1447-09-24 آخر تحديث في: 1447-12-20 الإصدار: 1

ุงู„ูุตู„ 11 โ€” ุงู„ุชู‚ูŠูŠู… ูˆุงู„ู…ุนุงูŠุฑุฉ ูˆุงู„ุงุณุชุฏู„ุงู„

ุงู„ู…ู‚ุงู„ุฉ ุงู„ุญุงุฏูŠุฉ ุนุดุฑุฉ ู…ู† ุงู„ุฌูˆู„ุฉ ุงู„ูุตู„ูŠุฉ ููŠ LLM Primer II: Language Models Through Mathematics. ุงู„ูุตู„ ุงู„ุฐูŠ ู†ูŽุณุฃู„ ููŠู‡ ูƒูŠู ูŠูู…ูƒู† ู„ุฃุญุฏู ุฃู† ูŠูŽู‚ูŠุณ ุขู„ุฉู‹ ุชูŽุณุชุทูŠุน ู‚ูˆู„ ุฃูŠูู‘ ุดูŠุก โ€” ูˆู†ูŽูƒุชุดู ุฃู†ูŽู‘ ุงู„ู†ู…ูˆุฐุฌ ุงู„ูˆุงุซู‚ ุบุงู„ุจุงู‹ ู…ุง ูŠูŽูƒูˆู† ู†ู…ูˆุฐุฌุงู‹ ุณูŠูู‘ุกูŽ ุงู„ู…ุนุงูŠุฑุฉ.


ุงู„ุณุคุงู„ ุงู„ุฐูŠ ูŠูŽุชูŽู‘ุถุญ ุฃู†ูŽู‘ู‡ ุฑูŠุงุถูŠ

ุจูŽู†ูŠู†ูŽุง ู†ู…ูˆุฐุฌุงู‹ ููŠ ุงู„ุฌุฒุก ุงู„ุซุงู†ูŠุŒ ูˆุฏุฑูŽู‘ุจู†ูŽุงู‡ ููŠ ุงู„ุฌุฒุก ุงู„ุซุงู„ุซุŒ ูˆูˆุงุกูŽู…ู†ูŽุงู‡ ููŠ ุงู„ูุตู„ ุงู„ุนุงุดุฑ. ูƒูŠู ู†ูŽุนุฑู ุฅู† ูƒุงู† ุดูŠุกูŒ ู…ู† ุฐู„ูƒ ู‚ุฏ ุนู…ู„ ูุนู„ุงู‹ุŸ ูŠูŽุจุฏูˆ ุงู„ุณุคุงู„ ุทุฑูŠู‘ุงู‹. ูˆู‡ูˆ ู…ู† ุฃูŽุตุนุจ ุงู„ุฃุณุฆู„ุฉ ููŠ ุงู„ู…ุฌุงู„ ูˆุฃูŽูƒุซุฑู‡ุง ุฑูŠุงุถูŠุฉุŒ ู„ุฃู†ูŽู‘ ู†ู…ูˆุฐุฌ ุงู„ู„ุบุฉ ูŠูŽุณุชุทูŠุน ุฅู†ุชุงุฌ ุฃูŠูู‘ ู†ุตูู‘ ุชู‚ุฑูŠุจุงู‹ุŒ ูˆ"ุงู„ุฌูŠุฏ" ูŠูŽุฃุจู‰ ุงู„ุชุนุฑูŠู.

11.1 ุงู„ุญูŽูŠุฑุฉ

ุฃูƒุซุฑ ุงู„ู…ู‚ุงูŠูŠุณ ุฃุณุงุณูŠุฉู‹ ู„ุง ูŠูŽุญุชุงุฌ ุฅู„ู‰ ุจุดุฑู ุนู„ู‰ ุงู„ุฅุทู„ุงู‚ โ€” ูŠูŽุฎุฑุฌ ู…ุจุงุดุฑุฉู‹ ู…ู† ู‡ุฏู ุงู„ุชุฏุฑูŠุจ. ู‚ูุณ ุงู„ุงุญุชู…ุงู„ ุงู„ุฐูŠ ูŠูุนุทูŠู‡ ุงู„ู†ู…ูˆุฐุฌ ู„ู…ุฌู…ูˆุนุฉ ุงุฎุชุจุงุฑู ู…ูŽุญุฌูˆุฒุฉ. ู„ูƒู„ูู‘ ุฑู…ุฒูุŒ ูˆู…ุฃุฎูˆุฐุงู‹ ุฃูุณูู‘ูŠุงู‹ุŒ ูŠูุณู…ูŽู‘ู‰ ุฐู„ูƒ ุงู„ุญูŽูŠุฑุฉ (perplexity) โ€” ู…ูุงุฌุฃุฉู ุงู„ู†ู…ูˆุฐุฌ ุงู„ู…ุชูˆุณูู‘ุทุฉ ููŠ ุตูˆุฑุฉู ู…ุนุงู…ู„ ุชูุฑูู‘ุนู ูุนูŽู‘ุงู„. ุฑุฎูŠุตุฉุŒ ู…ูˆุถูˆุนูŠุฉุŒ ุขู„ูŠุฉ. ุนู…ูŠุงุก ุนู† ูƒู„ูู‘ ู…ุง ูŠูŽู‡ู…ูู‘ ููŠ ุงู„ู…ู…ุงุฑุณุฉ ุชู‚ุฑูŠุจุงู‹: ุงู„ูุงุฆุฏุฉุŒ ุงู„ุตุฏู‚ุŒ ุงู„ุฃู…ุงู†. ูˆุบูŠุฑ ู‚ุงุจู„ุฉู ู„ู„ู…ู‚ุงุฑู†ุฉ ุจูŠู† ุงู„ู…ูุฑู…ูู‘ุฒุงุช ุงู„ู…ุฎุชู„ูุฉ. ูŠูุบุทูู‘ูŠ ุงู„ูุตู„ ุฃูŠุถุงู‹ BLEU ูˆROUGE ูˆู…ุนุฏูŽู‘ู„ ุชู†ููŠุฐ ุงู„ุดูŠูุฑุฉ ูˆุฏุฑุฌุงุช ุงู„ู†ู…ุงุฐุฌ ุงู„ุญูŽูƒูŽู…ุฉ โ€” ู„ูƒู„ูู‘ ูˆุงุญุฏู ู…ู†ู‡ุง ูˆุฌูˆู‡ู ูุดู„ู ู…ุนุฑูˆูุฉ.

ููŠ ุฌู…ู„ุฉู ูˆุงุญุฏุฉ: ุงู„ุญูŽูŠุฑุฉ ู‡ูŠ ุงู„ู…ู‚ูŠุงุณ ุงู„ุฌูˆู‡ุฑูŠ ุงู„ุฑุฎูŠุต. ุตุงุฏู‚ุฉูŒ ููŠ ุงู„ุชู†ุจุคุŒ ุตุงู…ุชุฉูŒ ุนู† ูƒู„ูู‘ ุดูŠุกู ุขุฎุฑ.

11.2 ุงู„ู…ุนุงูŠุฑุฉ

ุงู„ู†ู…ูˆุฐุฌ ุญุณู† ุงู„ู…ุนุงูŠุฑุฉ ุฅุฐุง ูƒุงู†ุช ุซู‚ุชู‡ ู…ูุทุงุจู‚ุฉู‹ ู„ุฏู‚ูŽู‘ุชู‡ โ€” ุญูŠู† ูŠูŽู‚ูˆู„ ุฅู†ูŽู‘ู‡ ูˆุงุซู‚ูŒ ุจู†ุณุจุฉ 80% ููŠู†ุจุบูŠ ุฃู† ูŠูŽูƒูˆู† ู…ูุญู‚ู‘ุงู‹ ููŠ ู†ุญูˆ 80% ู…ู† ุงู„ุญุงู„ุงุช. ู„ูŠุณุช ุงู„ุฏู‚ูŽู‘ุฉูŽ ุฐุงุชู‡ุง. ุงู„ู†ู…ูˆุฐุฌ ู‚ุฏ ูŠูŽูƒูˆู† ุฏู‚ูŠู‚ุงู‹ ู„ูƒู†ูŽู‘ู‡ ู…ููุฑุทู ุงู„ุซู‚ุฉุŒ ุฃูˆ ุบูŠุฑ ุฏู‚ูŠู‚ู ู„ูƒู†ูŽู‘ู‡ ุตุงุฏู‚. ููŠ ูƒู„ูู‘ ุงุณุชุฎุฏุงู…ู ุนุงู„ูŠ ุงู„ู…ุฎุงุทุฑุŒ ุชูŽุนุฏู„ ุงู„ู…ุนุงูŠุฑุฉ ุงู„ุฏู‚ูŽู‘ุฉูŽ ููŠ ุงู„ุฃู‡ู…ูŠุฉ.

ูŠูู‚ุงุณ ุฐู„ูƒ ุจู€ู…ุฎุทูŽู‘ุท ุงู„ู…ูˆุซูˆู‚ูŠุฉ: ู‚ุณูู‘ู… ุงู„ุชู†ุจุคุงุช ุฅู„ู‰ ุตู†ุงุฏูŠู‚ ุญุณุจ ุงู„ุซู‚ุฉ ุงู„ู…ูุนู„ูŽู†ุฉุŒ ูˆููŠ ูƒู„ูู‘ ุตู†ุฏูˆู‚ ุงุญุณุจ ุงู„ุฏู‚ูŽู‘ุฉ. ุงู„ู†ู…ูˆุฐุฌ ุงู„ู…ูุนุงูŠูŽุฑ ู…ุซุงู„ูŠู‘ุงู‹ ูŠูŽุณูŠุฑ ุนู„ู‰ ุงู„ู‚ูุทุฑุŒ ูˆุงู„ุญุงู„ุฉ ุงู„ุดุงุฆุนุฉ ุชูŽู†ุชุฃ ุชุญุช ุงู„ู‚ูุทุฑ (ู…ููุฑุทู ุงู„ุซู‚ุฉ). ูˆุงู„ู…ู‚ูŠุงุณ ุงู„ู…ูุฎุชุตูุฑ ู‡ูˆ ุฎุทุฃ ุงู„ู…ุนุงูŠุฑุฉ ุงู„ู…ุชูˆู‚ูŽู‘ุน (ECE). ู‚ูŠุงุณู ุงู„ุญุฑุงุฑุฉ โ€” ู‚ูŽุณู… ุงู„ู„ูˆุบุงุฑูŠุชู…ุงุช ุนู„ู‰ ุนุฏุฏ ุณูู„ูŽู‘ู…ูŠ ู…ูุชุนู„ูŽู‘ู… โ€” ุญู„ูŒู‘ ุจูŽุนุฏูŠ ุจุณูŠุทูŒ ูˆูุนูŽู‘ุงู„. ูˆุงู„ู…ุซูŠุฑ ุฃู†ูŽู‘ RLHF ูƒุซูŠุฑุงู‹ ู…ุง ูŠูุณูˆูู‘ุก ุงู„ู…ุนุงูŠุฑุฉ.

11.3 ุนุฏู… ุงู„ูŠู‚ูŠู† ุงู„ู…ุนูŠุงุฑูŠ

ุญูŠู† ูŠูŽู†ุงู„ ู†ู…ูˆุฐุฌูŒ "87% ุนู„ู‰ ู…ูŽุนูŠุงุฑ"ุŒ ุงู„ุณุคุงู„ ุงู„ุบุงุฆุจ ู‡ูˆ: 87% ุฒุงุฆุฏ ุฃูˆ ู†ุงู‚ุต ู…ุงุฐุงุŸ ุงู„ุฎุทุฃ ุงู„ู…ุนูŠุงุฑูŠ ู„ู„ุฏู‚ูŽู‘ุฉ ู‚ุฑูŠุจุงู‹ ู…ู† 50% ุนู„ู‰ n ุณุคุงู„ุงู‹ ู†ุญูˆ 1/(2โˆšn). ู„ู€ n=1000 ูŠูŽูƒูˆู† ุฐู„ูƒ ู†ุญูˆ 1.6 ู†ู‚ุทุฉู ู…ุฆูˆูŠุฉ โ€” ูุฏุฑุฌุฉู 87% ูˆุฏุฑุฌุฉู 85% ู„ูŠุณุชุง ุจุงู„ุถุฑูˆุฑุฉ ู…ูุฎุชู„ูุชูŽูŠู†. ูˆู…ุฎุงุทุฑู ู…ูุชุฑุงูƒูุจุฉ: ุงู„ู…ู‚ุงุฑู†ุงุช ุงู„ู…ุชุนุฏูู‘ุฏุฉ (ุงุฎุชุจุฑ ู…ุง ูŠูŽูƒููŠ ู…ู† ุงู„ู†ู…ุงุฐุฌ ุนู„ู‰ ู…ุง ูŠูŽูƒููŠ ู…ู† ุงู„ู…ุนุงูŠูŠุฑุŒ ูŠูŽุจุฏูˆ ุจุนุถู‡ุง ุฃูŽูุถู„ ุจุงู„ุตุฏูุฉ)ุŒ ูˆุงู„ุชู„ูˆูู‘ุซ (ุฅู† ุชูŽุณุฑูŽู‘ุจุช ุฃุณุฆู„ุฉ ุงู„ู…ุนูŠุงุฑ ุฅู„ู‰ ุจูŠุงู†ุงุช ุงู„ุชุฏุฑูŠุจุŒ ูุงู„ุฏุฑุฌุฉู ุชูŽู‚ูŠุณ ุงู„ุญูุธ). ู‡ุฐุง ู‡ูˆ ุงู„ู‚ุณู… ุงู„ุฐูŠ ูŠูŽุญุชุงุฌ ุงู„ุฅุนู„ุงู… ุงู„ุชู‚ู†ูŠ ุฅู„ู‰ ู‚ุฑุงุกุชู‡ ุฃูƒุซุฑ ู…ู† ุบูŠุฑู‡.

11.4 ุงู„ู‡ู„ูˆุณุฉ ูˆู‡ู†ุฏุณุฉ ุงู„ุงุณุชุฑุฌุงุน

ุงู„ู‡ู„ูˆุณุฉ โ€” ุงู„ุชุฃูƒูŠุฏ ุงู„ูˆุงุซู‚ ุนู„ู‰ ุงู„ุจุงุทู„ โ€” ู‡ูŠ ูˆุฌู‡ู ุงู„ูุดู„ ุงู„ุฐูŠ ูŠูŽุฑุณู… ุญุฏูˆุฏ LLM ุฃูƒุซุฑ ู…ู† ุณูˆุงู‡ุŒ ูˆุฃูŽุตุนุจู‡ุง ู‚ูŠุงุณุงู‹ ู„ุฃู†ูŽู‘ู‡ ูŠูŽุณุชูˆุฌุจ ุงู„ุญููƒู…ูŽ ุจุงู„ุตุฏู‚. ุชูŽุฎุชุจุฑ ู…ู‚ุงูŠูŠุณ ุงู„ุฅุฎู„ุงุต ู…ุง ุฅุฐุง ูƒุงู† ูƒู„ูู‘ ุชุฃูƒูŠุฏู ููŠ ุงู„ุฅุฌุงุจุฉ ู…ูุณุชู„ุฒูŽู…ุงู‹ ู…ู† ุงู„ุณูŠุงู‚ ุงู„ู…ูู‚ุฏูŽู‘ู….

ุฃุจุฑุฒู ุฃุฏุงุฉู ู„ุชู‚ู„ูŠู„ ุงู„ู‡ู„ูˆุณุฉ ู‡ูˆ ุงู„ุชูˆู„ูŠุฏ ุงู„ู…ุนุฒูŽู‘ุฒ ุจุงู„ุงุณุชุฑุฌุงุน: ุชูŽุฃุฑูŠุถ ุงู„ู†ู…ูˆุฐุฌ ุจูˆุซุงุฆู‚ ุญู‚ูŠู‚ูŠุฉ. ูˆุนู…ู„ูŠุชูู‡ ุงู„ุฌูˆู‡ุฑูŠุฉ ุชูุนูŠุฏู†ุงุŒ ุจุดูƒู„ู ู…ู†ุงุณุจุŒ ุฅู„ู‰ ู‡ู†ุฏุณุฉ ุงู„ุฌุฒุก ุงู„ุฃูˆูŽู‘ู„ โ€” ุงู„ุจุญุซ ุจุงู„ุถุฑุจ ุงู„ุฏุงุฎู„ูŠ ุงู„ุฃุนุธู…ูŠ ุนู„ู‰ ุชูŽุถู…ูŠู†ุงุช (ุงู„ูุตู„ 3) ู„ู„ุงุณุชูู‡ุงู… ูˆุงู„ู…ู‚ุงุทุน ุงู„ู…ูุฑุดูŽู‘ุญุฉ. ู‡ู†ุฏุณุฉู ุงู„ูุตู„ 3 ุชูŽุตูŠุฑ ูุฌุฃุฉู‹ ุญุงู…ู„ุฉู‹ ู„ู„ูˆุฒู† ููŠ ุงู„ุฅู†ุชุงุฌ.

ูŠูŽุณุชุญู‚ูู‘ ุงู„ุชูŽู‘ู…ุณูู‘ูƒ โ€” ู‚ุงู†ูˆู† ุบูˆุฏู‡ุงุฑุช: "ุญูŠู† ูŠูŽุตูŠุฑ ุงู„ู…ู‚ูŠุงุณู ู‡ุฏูุงู‹ุŒ ูŠูŽูƒููู‘ ุนู† ูƒูˆู†ู‡ ู…ู‚ูŠุงุณุงู‹ ุฌูŠุฏุงู‹." ูƒู„ูู‘ ู…ู‚ูŠุงุณู ููŠ ู‡ุฐุง ุงู„ูุตู„ ูŠูŽุตูŠุฑ ู…ู‚ูŠุงุณุงู‹ ูุงุณุฏุงู‹ ุงู„ู„ุญุธุฉูŽ ุงู„ุชูŠ ุชูุญุณูู‘ู† ู…ู† ุฃุฌู„ู‡. ู„ุง ู…ูŽู‡ุฑูŽุจุ› ู‡ู†ุงู„ูƒ ูู‚ุท ุงู„ุฅุฏุงุฑุฉ โ€” ู…ูŽุนุงูŠูŠุฑู ุฌุฏูŠุฏุฉุŒ ุชุซู„ูŠุซูŒ ุนุจุฑ ู…ู‚ุงูŠูŠุณ ูƒุซูŠุฑุฉุŒ ุจุดุฑูŒ ููŠ ุงู„ุญู„ู‚ุฉ ุญูŠุซ ู„ุง ุชูŽุตู„ ุงู„ุฃูŽุชู…ุชุฉ.

ู…ุง ูŠูุคุณูู‘ุณ ู„ู‡ ุงู„ูุตู„ ุงู„ุญุงุฏูŠ ุนุดุฑ

ุชูŽุฎุฑุฌ ุจูุฃุฏูˆุงุช ุงู„ู‚ูŠุงุณ ุงู„ุตุงุฏู‚: ุงู„ุญูŽูŠุฑุฉ ูƒู…ู‚ูŠุงุณู ุฌูˆู‡ุฑูŠุŒ ูˆุงู„ู…ุนุงูŠุฑุฉ ูƒุณุคุงู„ู ูƒุซูŠุฑุงู‹ ู…ุง ูŠูŽููˆู‚ ุงู„ุฏู‚ูŽู‘ุฉ ููŠ ุงู„ุฃู‡ู…ูŠุฉุŒ ูˆุฃูŽุดุฑุทุฉ ุงู„ุฎุทุฃ ูƒูŽุชุฑูŠุงู‚ู ู„ู…ุณุฑุญูŠูŽู‘ุฉ ุงู„ู…ุนุงูŠูŠุฑุŒ ูˆู‡ู†ุฏุณุฉู ุงู„ุงุณุชุฑุฌุงุน ูƒุฃุฏุงุฉู ุฅู†ุชุงุฌู ู„ู„ุชุญูƒูู‘ู… ููŠ ุงู„ู‡ู„ูˆุณุฉ. ูŠูุบู„ูŽู‚ ู‡ู†ุง ุงู„ุฌุฒุก ุงู„ุซุงู„ุซ. ูˆู…ู† ู‡ู†ุง ูŠูŽู†ุชู‚ู„ ุงู„ูƒุชุงุจ ุฅู„ู‰ ู…ุง ู†ูŽูุนู„ู‡ ูุนู„ุงู‹ ุจู‡ุฐู‡ ุงู„ู†ู…ุงุฐุฌ.


ุบุฏุงู‹ โ€” ุงู„ูุตู„ 12: ุชุทุจูŠู‚ุงุช ู†ู…ุงุฐุฌ ุงู„ู„ุบุฉ ุงู„ูƒุจูŠุฑุฉ ููŠ ุงู„ุนุงู„ู… ุงู„ูˆุงู‚ุนูŠ. ุฃูˆูŽู‘ู„ ูุตู„ู ู…ู† ุงู„ุฌุฒุก ุงู„ุฑุงุจุน. ุชูˆู„ูŠุฏ ุงู„ู†ุตูˆุตุŒ ุงู„ุชู„ุฎูŠุตุŒ ุงู„ุฅุฌุงุจุฉ ุนู† ุงู„ุฃุณุฆู„ุฉุŒ ุงู„ุชุฑุฌู…ุฉุŒ ุงู„ุงุณุชุฏู„ุงู„ โ€” ูƒูŠู ูŠูŽุจุฏูˆ ูƒู„ูู‘ ูˆุงุญุฏู ู…ู†ู‡ุง ู…ู† ุฎู„ุงู„ ุงู„ุฑูŠุงุถูŠุงุช ุงู„ุชูŠ ุจุญูˆุฒุชู†ุง ุงู„ุขู†.

ู‡ู„ ุชุฑูŠุฏ ุงู„ุตูˆุฑุฉ ุงู„ูƒุงู…ู„ุฉุŸ ุงู„ูƒุชุงุจ ูŠูŽุชุถู…ูŽู‘ู† ุงุดุชู‚ุงู‚ ู…ูุฎุทูŽู‘ุท ุงู„ู…ูˆุซูˆู‚ูŠุฉุŒ ุตูŠุบุฉ ECEุŒ ุฑูŠุงุถูŠุงุช ุงู„ุฎุทุฃ ุงู„ู…ุนูŠุงุฑูŠ ู„ู„ู…ุนุงูŠูŠุฑุŒ ูˆู…ู‚ุงูŠูŠุณ ุงู„ุฅุฎู„ุงุต ู„ู„ู‡ู„ูˆุณุฉ โ€” ู…ุน ุงู„ุตู„ุฉ ุงู„ุฑุงุฌุนุฉ ุฅู„ู‰ ู‡ู†ุฏุณุฉ ุชูŽุถู…ูŠู†ุงุช ุงู„ูุตู„ 3. ุชูŽุตููŽู‘ุญ LLM Primer II ุนู„ู‰ ุฃู…ุงุฒูˆู† โ†

SHO
SHO
ู…ุฏูŠุฑ ุงู„ุชูƒู†ูˆู„ูˆุฌูŠุง ูˆุงู„ู…ุคุณุณ ู„ุดุฑูƒุฉ RECEIPTROLLER. ูŠุฑูƒุฒ ุนู„ู‰ ุงู„ุจูŠุงู†ุงุชุŒ ู…ุฏููˆุน ุจุงู„ุงุจุชูƒุงุฑุŒ ุฏุงุฆู… ุงู„ูุถูˆู„.