1.0 LLM์ด๋ ๋ฌด์์ธ๊ฐ?
LLM(๋๊ท๋ชจ ์ธ์ด ๋ชจ๋ธ, Large Language Model)์ ์์ฐ์ด ์ฒ๋ฆฌ(NLP) ๋ถ์ผ์์ ํ์ ์ ์ด๋ ํต์ฌ ๊ธฐ์ ์ ๋๋ค. ๋ฐฉ๋ํ ํ ์คํธ ๋ฐ์ดํฐ์ ์ ๊ธฐ๋ฐ์ผ๋ก ํ์ต๋ ์ด ๋ชจ๋ธ์ ๋ฌธ๋งฅ์ ์ดํดํ๊ณ , ์ฌ๋์ฒ๋ผ ์์ฐ์ค๋ฝ๊ณ ์๋ฏธ ์๋ ๋ฌธ์ฅ์ ์์ฑํ ์ ์์ต๋๋ค. ๋ณธ ๊ธ์์๋ LLM์ ๊ธฐ๋ณธ ๊ฐ๋ , ์ญํ , ๊ทธ๋ฆฌ๊ณ ์ ํต์ ์ธ ๊ธฐ๊ณํ์ต ๋ชจ๋ธ๊ณผ์ ์ฐจ์ด๋ฅผ ์ดํด๋ด ๋๋ค.
1.1 ์ ์์ ๊ฐ์
LLM์ ์์ต์์ ์์กฐ ๊ฐ์ ๋ฌํ๋ ํ๋ผ๋ฏธํฐ(parameter)๋ฅผ ๊ฐ์ง ๊ณ ๋ํ๋ ์ธ์ด ๋ชจ๋ธ์ ๋๋ค. ๋ฐฉ๋ํ ํ ์คํธ ๋ฐ์ดํฐ๋ฅผ ํ์ตํ๋ฉด์ ๋ฌธ๋งฅ์ ์ดํดํ๊ณ , ๋ฌธ๋ฒ์ ์ผ๋ก ์ฌ๋ฐ๋ฅด๋ฉฐ ์ผ๊ด์ฑ ์๋ ๋ฌธ์ฅ์ ์์ฑํ ์ ์์ต๋๋ค. ์ด๋ฌํ ํน์ฑ ๋๋ถ์ ์ฌ๋์ ์ธ์ด ์ดํด๋ฅผ ํ๋ด ๋ด๋ ์์ค์ ๋์ด, ๋ค์ํ NLP ์์ฉ ๋ถ์ผ์์ ํ์ฉ๋ฉ๋๋ค.
1.2 ์์ฐ์ด ์ฒ๋ฆฌ์์์ ์ญํ
LLM์ ๋ฒ์ญ, ์์ฝ, ์ง์์๋ต, ํ ์คํธ ์์ฑ ๋ฑ ๋ค์ํ NLP ์์ ์์ ๋ฐ์ด๋ ์ฑ๋ฅ์ ๋ฐํํฉ๋๋ค. ๋ฌธ๋งฅ์ ๊น์ด ์ดํดํ ์ ์๊ธฐ ๋๋ฌธ์ ๊ธฐ์กด์ ๊ท์น ๊ธฐ๋ฐ ์์คํ ์ด๋ ๋จ์ํ ํต๊ณ์ ๋ชจ๋ธ๋ณด๋ค ํจ์ฌ ๋ ์ ํํ๊ณ ์ ์ฐํ๋ฉฐ ํ์ฅ ๊ฐ๋ฅํ ๊ฒฐ๊ณผ๋ฅผ ์ ๊ณตํฉ๋๋ค.
1.3 ๊ธฐ์กด ๊ธฐ๊ณํ์ต๊ณผ์ ์ฐจ์ด
์ ํต์ ์ธ ๊ธฐ๊ณํ์ต ๋ชจ๋ธ์ ๋ณดํต ํ๋์ ์์ ์ ํนํ๋์ด ์์ผ๋ฉฐ, ์๋ก์ด ๊ณผ์ ๋ฅผ ์ํํ๋ ค๋ฉด ๋ค์ ํ์ตํด์ผ ํฉ๋๋ค. ๋ฐ๋ฉด LLM์ ๋ฒ์ฉ์ ์ผ๋ก ์ค๊ณ๋์ด ์ด๊ธฐ ํ์ต ํ ์ ์ดํ์ต(Transfer Learning) ๋ฑ์ ํตํด ๋ค์ํ ์์ ์ ์ ์ํ ์ ์์ต๋๋ค. ์ด ์ ์ฐ์ฑ์ด LLM์ ์ฐจ๋ณํํ๋ ์์์ด์ง๋ง, ๋์์ ๊ธฐ์กด ๋ชจ๋ธ๋ณด๋ค ํจ์ฌ ๋ ๋ง์ ์ฐ์ฐ ์์๊ณผ ๋น์ฉ์ ์๊ตฌํ๋ค๋ ์ ์์ ๋์ ๊ณผ์ ๋ ์กด์ฌํฉ๋๋ค.
๋ค์ ์น์ ์ธ "LLM์ ์ ์์ ๊ฐ์"์์๋ LLM์ ๊ตฌ์กฐ์ ํ์ฅ์ฑ, ๊ทธ๋ฆฌ๊ณ ์ด๋ป๊ฒ ๊ณ ๋ํ๋ NLP ์์ ์ ์ํํ๋๋ก ํ์ต๋๋์ง ๊ตฌ์ฒด์ ์ผ๋ก ์ดํด๋ด ๋๋ค.