제5장 — 검색 파이프라인 설계

게시일: 2026-03-22 마지막 업데이트 날짜: 2026-06-09 버전: 1

์ œ5์žฅ โ€” ๊ฒ€์ƒ‰ ํŒŒ์ดํ”„๋ผ์ธ ์„ค๊ณ„

LLM Primer III: RAG๋กœ ๊ฐ•ํ™”ํ•˜๋Š” ์—”ํ„ฐํ”„๋ผ์ด์ฆˆ AI๋ฅผ ์ฑ•ํ„ฐ๋ณ„๋กœ ์†Œ๊ฐœํ•˜๋Š” ์‹œ๋ฆฌ์ฆˆ์˜ ๋‹ค์„ฏ ๋ฒˆ์งธ ๊ธ€์ž…๋‹ˆ๋‹ค. ํ•œ ๋ฒˆ์˜ ๋ฒกํ„ฐ ๊ฒ€์ƒ‰์€ ๋Œ€๋ถ€๋ถ„์˜ ํ”„๋กœํ† ํƒ€์ž…์ด ๋ฉˆ์ถ”๋Š” ์ž๋ฆฌ์ด์ž ๋Œ€๋ถ€๋ถ„์˜ ํ”„๋กœ๋•์…˜ ์‹คํŒจ๊ฐ€ ์‹œ์ž‘๋˜๋Š” ์ž๋ฆฌ์ž…๋‹ˆ๋‹ค. ์ด ์žฅ์€ ์ ˆ๋ฐ˜์ฏค ํ˜•์„ฑ๋œ ์ฟผ๋ฆฌ์—์„œ ์ƒ์„ฑ๊ธฐ์— ๋‹ฟ๋Š” ์ตœ์ข… ํ›„๋ณด๊นŒ์ง€์˜ ์ „์ฒด ๊ฒฝ๋กœ๋ฅผ โ€” ๊ทธ๋ฆฌ๊ณ  ๊ฐ ๋‹จ๊ณ„๊ฐ€ ์กด์žฌํ•˜๋Š” ์ด์œ ๋ฅผ โ€” ๊ฑท์Šต๋‹ˆ๋‹ค.


์ด ์žฅ์ด ์กด์žฌํ•˜๋Š” ์ด์œ 

์ œ2์žฅ๋ถ€ํ„ฐ ์ œ4์žฅ๊นŒ์ง€ ๋งŒ๋“  ๊ฒƒ์€ ๋ฒกํ„ฐ ์Šคํ† ์–ด์ž…๋‹ˆ๋‹ค: ํŒŒ์‹ฑ๋œ ๋ฌธ์„œ, ์‹ ์ค‘ํ•˜๊ฒŒ ์ฒญํฌํ™”๋˜๊ณ , ์ž„๋ฒ ๋”ฉ๋˜์–ด ์ธ๋ฑ์‹ฑ๋จ. ์ˆœ์ง„ํ•œ ๋‹ค์Œ ๋‹จ๊ณ„๋Š” ์‚ฌ์šฉ์ž์˜ ์ฟผ๋ฆฌ๋ฅผ ์ž„๋ฒ ๋“œํ•˜๊ณ , ์ตœ๊ทผ์ ‘ ์ด์›ƒ ์กฐํšŒ๋ฅผ ๋Œ๋ ค, ์ƒ์œ„ k๊ฐœ๋ฅผ ์ƒ์„ฑ๊ธฐ์— ๋จน์ด๋Š” ๊ฒƒ์ž…๋‹ˆ๋‹ค. ์‚ฌ์†Œํ•œ ์ฝ”ํผ์Šค์—์„œ๋Š” ํ†ตํ•ฉ๋‹ˆ๋‹ค. ํ”„๋กœ๋•์…˜์—์„œ๋Š” ๊ฑฐ์˜ ํ†ตํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค. ์ฟผ๋ฆฌ๋Š” ๋ฏธ๋ช…์„ธ ์ƒํƒœ๋กœ, ์ž„๋ฒ ๋”๊ฐ€ ๋ณธ ์  ์—†๋Š” ๊ณ ์œ ๋ช…์‚ฌ๋ฅผ ๊ฐ€๋“ ์•ˆ๊ณ  ๋„์ฐฉํ•ฉ๋‹ˆ๋‹ค. ์ฝ”ํผ์Šค์—๋Š” ๋‹จ์ผ ๋žญํ‚น์˜ ์ƒ์œ„๋ฅผ ๊ฐ€๋ฆฌ๋Š” ๊ฑฐ์˜ ์ค‘๋ณต๋œ ํ•ญ๋ชฉ๋“ค์ด ์‚ด๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. ์‹๋ณ„์ž์™€ ์ฝ”๋“œ๋Š” ์ž„๋ฒ ๋”๊ฐ€ ๋งค๋ˆํ•˜๊ฒŒ ์ง€์›Œ ๋ฒ„๋ฆฌ๋Š” ์˜๋ฏธ๋ฅผ ์•ˆ๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค.

์ œ5์žฅ์€ ์„ฑ์ˆ™ํ•œ ์‹œ์Šคํ…œ์ด ์ˆ˜๋ ดํ•˜๋Š” ์•„ํ‚คํ…์ฒ˜์— ๊ด€ํ•œ ๊ธ€์ž…๋‹ˆ๋‹ค. ์—ฐ๊ตฌ์˜ ์‚ฐ๋ฌผ์ด ์•„๋‹™๋‹ˆ๋‹ค. ํšŒ์ˆ˜, ์ •๋ฐ€๋„, ์ง€์—ฐ์„ ๋ชจ๋‘ ๋™์‹œ์— ์ง€์ผœ์•ผ ํ•  ๋•Œ ํŒ€์ด ์‹ค์ œ๋กœ ๊ตด๋ฆฌ๋Š” ๋ชจ์–‘์ž…๋‹ˆ๋‹ค.

ํ•œ ์ค„๋กœ: ํ”„๋กœ๋•์…˜ ๊ฒ€์ƒ‰ ํŒŒ์ดํ”„๋ผ์ธ์€ RRF๋กœ ์œตํ•ฉ๋œ ํ•˜์ด๋ธŒ๋ฆฌ๋“œ ๊ฒ€์ƒ‰, ๊ทธ ์œ„์— ์–น์€ ํฌ๋กœ์Šค ์ธ์ฝ”๋” ๋ฆฌ๋žญ์ปค, ๊ทธ๋ฆฌ๊ณ  ์‹œ์Šคํ…œ์ด ๋‹ต์„ ์‹œ๋„ํ•˜๊ธฐ ์ „์— ๋ฌผ์Œ์„ ๋‹ค์‹œ ์“ฐ๋Š” ์•ž๋‹จ์˜ ์ฟผ๋ฆฌ ์ดํ•ด ๋‹จ๊ณ„์ž…๋‹ˆ๋‹ค.

5.1 ๋‹จ์ผ ๋ฒกํ„ฐ ๊ฒ€์ƒ‰๋งŒ์œผ๋กœ ๋ถ€์กฑํ•œ ์ด์œ 

๋ฐ€์ง‘ ๊ฒ€์ƒ‰์€ ๊ฒ€์ƒ‰์˜ ์…ˆ์„ ๋‹ค์‹œ ์งญ๋‹ˆ๋‹ค๋งŒ, ์ž„๋ฒ ๋”ฉ์„ ์“ธ๋ชจ ์žˆ๊ฒŒ ๋งŒ๋“œ๋Š” ๊ทธ ํŒจ๋Ÿฌํ”„๋ ˆ์ด์ฆˆ ๊ด€์šฉ์ด ๋™์‹œ์— ์ž„๋ฒ ๋”ฉ์„ ๊นจ์ง€๊ธฐ ์‰ฝ๊ฒŒ ๋งŒ๋“ญ๋‹ˆ๋‹ค. ์ˆซ์ž ํ† ํฐ, ๋ฒ•๋ น ์ธ์šฉ, ๊ฑฐ๋ž˜ ์ฝ”๋“œ, ๋ถ€ํ’ˆ ๋ฒˆํ˜ธ โ€” ํ‘œ๋ฉดํ˜• ๊ทธ ์ž์ฒด๊ฐ€ ์˜๋ฏธ์ธ ๊ฒƒ์€ ๋ชจ๋‘ โ€” ๋ฒกํ„ฐ ๊ณต๊ฐ„์˜ ์ž„์˜ ๊ตฌ์„์— ๋–จ์–ด์ง‘๋‹ˆ๋‹ค. ๊ฑฐ๊ธฐ ์žˆ๋Š” ๊ฒƒ์„ ๋‹จ์ˆœํžˆ ์„ธ๋Š” BM25์—๋Š” ๊ทธ๋Ÿฐ ๋ฌธ์ œ๊ฐ€ ์—†์Šต๋‹ˆ๋‹ค.

๋‘ ๋ฐฉ๋ฒ•์€ ์„œ๋กœ ๋‹ค๋ฅธ ์ž…๋ ฅ์—์„œ ์‹คํŒจํ•ฉ๋‹ˆ๋‹ค. ์ด ๋‹จ ํ•˜๋‚˜์˜ ๊ด€์ฐฐ์ด ํ•˜์ด๋ธŒ๋ฆฌ๋“œ ๊ฒ€์ƒ‰์˜ ๋ชจ๋“  ๊ทผ๊ฑฐ์ด๊ณ , ์ด ์žฅ์ด ๊ธฐ๋Œ€๊ณ  ์žˆ๋Š” ์ฒซ ์›๋ฆฌ์ž…๋‹ˆ๋‹ค. ๋‚˜๋จธ์ง€๋Š” ๋”ฐ๋ผ์˜ต๋‹ˆ๋‹ค: ์–ด๋А ๋‹จ์ผ ๋ฆฌํŠธ๋ฆฌ๋ฒ„๋„ ์ถฉ๋ถ„ํ•˜์ง€ ์•Š๋‹ค๋ฉด, ํŒŒ์ดํ”„๋ผ์ธ์€ ์—ฌ๋Ÿฟ์„ ๊ฒฐํ•ฉํ•˜๊ณ , ๊ทธ ๋žญํ‚น์„ ์ •์งํ•˜๊ฒŒ ์œตํ•ฉํ•˜๊ณ , ๋งˆ์ง€๋ง‰ ์ •๋ฐ€ ํŒจ์Šค์— ์ง„์งœ ๊ณ„์‚ฐ์„ ๋“ค์ด๊ณ , ๊ทธ ๋ชจ๋“  ์ผ์ด ์‹œ์ž‘๋˜๊ธฐ ์ „์— ์ฟผ๋ฆฌ๋ฅผ ์ค€๋น„ํ•ด์•ผ ํ•ฉ๋‹ˆ๋‹ค.

5.2 ํ•˜์ด๋ธŒ๋ฆฌ๋“œ ๊ฒ€์ƒ‰: ๋ณ‘๋ ฌ๋กœ ๋„๋Š” ๋ฐ€์ง‘ ๋ฒกํ„ฐ์™€ BM25

๊ฐ™์€ ์ฒญํฌ ์œ„์— ๋‘ ๊ฐœ์˜ ์ธ๋ฑ์Šค: ์ž„๋ฒ ๋”์—์„œ ๋‚˜์˜จ ๋ฐ€์ง‘ HNSW ํ˜น์€ IVF ์ธ๋ฑ์Šค์™€, BM25 ํ˜น์€ SPLADE์—์„œ ๋‚˜์˜จ ํฌ์†Œ ์—ญ์ƒ‰์ธ. ๋‘˜ ๋ชจ๋‘์— ์งˆ์˜ํ•˜๊ณ , ๋‘˜ ๋ชจ๋‘ ์ˆœ์œ„ ๋งค๊ฒจ์ง„ ๋ชฉ๋ก์„ ๋Œ๋ ค์ฃผ๋ฉฐ, ์ˆ˜์ง‘ ํŒŒ์ดํ”„๋ผ์ธ์€ ๋‘˜์— ๋ณด์กฐ๋ฅผ ๋งž์ถฐ ์”๋‹ˆ๋‹ค. BM25๋Š” ๋ ˆ๊ฑฐ์‹œ๊ฐ€ ์•„๋‹™๋‹ˆ๋‹ค. ๊ฐ€์žฅ ์‹ ๋ขฐํ•  ๋งŒํ•œ ํ‚ค์›Œ๋“œ ๋žญํ‚น ํ•จ์ˆ˜์ด๋ฉฐ, ํŒŒ๋ผ๋ฏธํ„ฐ๊ฐ€ ๊ฐ€๋ณ์ง€๋งŒ ํŒŒ๋ผ๋ฏธํ„ฐ๊ฐ€ ์—†์ง€๋Š” ์•Š์Šต๋‹ˆ๋‹ค. BEIR ๋ฒค์น˜๋งˆํฌ ๋ชจ์Œ ์ „๋ฐ˜์—์„œ ํ•˜์ด๋ธŒ๋ฆฌ๋“œ ๊ฒ€์ƒ‰์€ ๋„๋ฉ”์ธ ๋ฐ– ๊ณผ์ œ์˜ ๋‹ค์ˆ˜์—์„œ ๋ฐ€์ง‘-๋‹จ๋…์„ ์•ž์„ญ๋‹ˆ๋‹ค. ๋„๋ฉ”์ธ์ด ์ž„๋ฒ ๋”์˜ ํ•™์Šต ๋ถ„ํฌ์—์„œ ๋ฉ€์–ด์งˆ์ˆ˜๋ก ๊ฒฉ์ฐจ๊ฐ€ ๋ฒŒ์–ด์ง‘๋‹ˆ๋‹ค.

์ด๋ฆ„ ๋ถ™์—ฌ ๋‘˜ ๋งŒํ•œ ํŠน์ • ์‹คํŒจ ๋ชจ๋“œ ํ•˜๋‚˜: BM25๋Š” ๋ฒ”์œ„ ์•ˆ์˜ ๊ฐ ์–ธ์–ด์— ๋Œ€ํ•ด ์˜ฌ๋ฐ”๋ฅด๊ฒŒ ํ† ํฌ๋‚˜์ด์ฆˆ๋˜์–ด์•ผ ํ•ฉ๋‹ˆ๋‹ค. ์ผ๋ณธ์–ด ์ฝ”ํผ์Šค๋ฅผ ๊ธฐ๋ณธ ์˜์–ด ๋ถ„์„๊ธฐ๋กœ ๋ณด๋‚ด๋ฉด BM25 ๋‹ค๋ฆฌ๋Š” ์กฐ์šฉํžˆ ์ˆœ์ˆ˜ ์žก์Œ์ด ๋˜๊ณ , ์‹œ์Šคํ…œ์€ ๋ฐ€์ง‘ ๋‹ค๋ฆฌ๊ฐ€ ๋ชจ๋‘ ๋– ๋ฐ›์น˜๊ณ  ์žˆ๊ธฐ ๋•Œ๋ฌธ์— ์ž˜ ๋Œ์•„ ๋ณด์ผ ๋ฟ์ž…๋‹ˆ๋‹ค. ํฌ์†Œ ๊ฒ€์ƒ‰๋„ ์ง„ํ™”ํ–ˆ์Šต๋‹ˆ๋‹ค โ€” SPLADE ๋ฅ˜์˜ ํ•™์Šต๋œ ํฌ์†Œ ๋ชจ๋ธ์€ BM25์˜ ์šด์˜์  ๋‹จ์ˆœํ•จ์„ ๋ฌผ๋ ค๋ฐ›์œผ๋ฉด์„œ ๋ฐ€์ง‘ ๋ฆฌํŠธ๋ฆฌ๋ฒ„์˜ ํšŒ์ˆ˜ ํ–‰๋™์„ ๊ฐ–์Šต๋‹ˆ๋‹ค.

5.3 RRF์™€ ํฌ๋กœ์Šค ์ธ์ฝ”๋” ๋ฆฌ๋žญํ‚น

๋‘ ์ˆœ์œ„ ๋ชฉ๋ก์„ ๊ฒฐํ•ฉํ•˜๋Š” ์ˆœ์ง„ํ•œ ๋ฐฉ์‹์€ ์ ์ˆ˜๋ฅผ ๋”ํ•˜๋Š” ๊ฒƒ์ž…๋‹ˆ๋‹ค. ํ†ตํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค โ€” BM25์˜ ํฌ๊ธฐ๋Š” ํ•œ์ด ์—†๊ณ  ์ฝ”ํผ์Šค์— ์˜์กดํ•˜๋ฉฐ, ์ฝ”์‚ฌ์ธ ์œ ์‚ฌ๋„๋Š” ๋Œ€๋žต [-1, 1]์— ์ž๋ฆฌํ•ฉ๋‹ˆ๋‹ค. ๋‘˜์€ ๋น„๊ต ๊ฐ€๋Šฅํ•˜์ง€ ์•Š๊ณ , ์–ด๋–ค ๊ณ ์ • ๊ฐ€์ค‘์น˜๋„ ์˜์›ํ•œ ํŠœ๋‹ ๋ฌธ์ œ๊ฐ€ ๋ฉ๋‹ˆ๋‹ค. Reciprocal Rank Fusion์€ ์ ์ˆ˜๋ฅผ ๋ฒ„๋ฆผ์œผ๋กœ์จ ๊ทธ ๋ฌธ์ œ๋ฅผ ์šฐํšŒํ•ฉ๋‹ˆ๋‹ค. ๊ฐ ํ›„๋ณด์— ๋Œ€ํ•ด ์œตํ•ฉ ์ ์ˆ˜๋Š” ๋ฆฌํŠธ๋ฆฌ๋ฒ„ ์ „์ฒด์— ๊ฑธ์นœ 1/(k + rank)์˜ ํ•ฉ์ด๊ณ , k = 60์ž…๋‹ˆ๋‹ค. ๋ชจ์–‘์€ ์ƒ์œ„์—์„œ ๊ฐ€ํŒŒ๋ฅด๊ณ  ๊ผฌ๋ฆฌ์—์„œ ํ‰ํ‰ํ•˜๋ฉฐ, ๊ฒฐ๊ณผ๋Š” k์— ๋‘”๊ฐํ•˜๊ณ , ์•Œ๊ณ ๋ฆฌ์ฆ˜์€ ๋‹ค์ค‘ ์ฟผ๋ฆฌ ํ™•์žฅ๊ณผ ์ž์—ฐ์Šค๋Ÿฝ๊ฒŒ ํ•ฉ์„ฑ๋ฉ๋‹ˆ๋‹ค โ€” ๋‘ ๋ฆฌํŠธ๋ฆฌ๋ฒ„์— ๋Œ€ํ•œ ์„ธ ํŒจ๋Ÿฌํ”„๋ ˆ์ด์ฆˆ์—์„œ ๋‚˜์˜จ ์—ฌ์„ฏ ๋ชฉ๋ก์ด ๊ฐ™์€ ํ•œ ์ค„ ์ฝ”๋“œ๋กœ ์œตํ•ฉ๋ฉ๋‹ˆ๋‹ค.

RRF๋Š” ์–ด๋А ๋ฆฌํŠธ๋ฆฌ๋ฒ„๋„ ํ‘œ๋ฉดํ™”ํ•˜์ง€ ๋ชปํ•œ ๋ฌธ์„œ๋ฅผ ๊ตฌํ•ด ๋‚ด์ง€ ๋ชปํ•ฉ๋‹ˆ๋‹ค. ๊ทธ ์ผ์€ ์ฟผ๋ฆฌ ์žฌ์ž‘์„ฑ์— ์†ํ•ฉ๋‹ˆ๋‹ค. RRF๊ฐ€ ํ•˜๋Š” ์ผ์€, ๊ฐ’์‹ธ๊ฒŒ ๊ทธ๋ฆฌ๊ณ  ํ•˜์ดํผํŒŒ๋ผ๋ฏธํ„ฐ ์—†์ด, ๋…๋ฆฝ์ ์œผ๋กœ ์—…๊ทธ๋ ˆ์ด๋“œ๋˜๊ณ  ๊ต์ฒด๋˜๋Š” ๋ฆฌํŠธ๋ฆฌ๋ฒ„๋“ค์„ ํ™”ํ•ด์‹œํ‚ค๋Š” ๊ฒƒ์ž…๋‹ˆ๋‹ค โ€” ๋‹ค๋ฆฌ๊ฐ€ ๋ฐ”๋€” ๋•Œ ์œตํ•ฉ์„ ๋‹ค์‹œ ํŠœ๋‹ํ•˜์ง€ ์•Š์•„๋„ ๋˜๋Š” ํŒŒ์ดํ”„๋ผ์ธ์€ ์œ ์ง€ ๋น„์šฉ์ด ๊ทน์ ์œผ๋กœ ๋‚ฎ์Šต๋‹ˆ๋‹ค.

์ด ๋žญํ‚น์„ ๋งŒ๋“ค์–ด ๋‚ธ ๋ฐ”์ด ์ธ์ฝ”๋”๋Š” ์ฟผ๋ฆฌ์™€ ์ฒญํฌ๋ฅผ ํ•จ๊ป˜ ๋ณธ ์ ์ด ์—†์Šต๋‹ˆ๋‹ค. ํฌ๋กœ์Šค ์ธ์ฝ”๋” ๋ฆฌ๋žญ์ปค๋Š” ๊ทธ๊ฒƒ์„ ๋ด…๋‹ˆ๋‹ค โ€” ์Œ์„ ์ด์–ด ๋ถ™์—ฌ ์ ํ•ฉ๋„ ์ ์ˆ˜๋ฅผ ๋‚ด๋„๋ก ํŒŒ์ธํŠœ๋‹๋œ ํŠธ๋žœ์Šคํฌ๋จธ์— ํ•œ ๋ฒˆ์— ํ†ต๊ณผ์‹œํ‚ต๋‹ˆ๋‹ค. ๋ชจ๋“  ์–ดํ…์…˜ ํ—ค๋“œ๊ฐ€ ์–‘์ชฝ์„ ๋™์‹œ์— ๋ณด๊ณ , ๋ชจ๋ธ์€ ์ฒญํฌ์˜ ํŠน์ • ๊ตฌ์ ˆ๊ณผ ๋งค์น˜๋˜์–ด์•ผ ํ•  ์ฟผ๋ฆฌ์˜ ํŠน์ • ๊ตฌ์ ˆ์— ์–ดํ…์…˜ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๋ฏธ๋ฆฌ ๊ณ„์‚ฐํ•  ์ˆ˜ ์—†์œผ๋ฏ€๋กœ ์ผ์ฐจ ๋ฆฌํŠธ๋ฆฌ๋ฒ„๋กœ๋Š” ๋„ˆ๋ฌด ๋А๋ฆฌ์ง€๋งŒ, ํ•˜์ด๋ธŒ๋ฆฌ๋“œ ๊ฒ€์ƒ‰์ด ํ‘œ๋ฉดํ™”ํ•˜๋Š” 50~200๊ฐœ์˜ ํ›„๋ณด ์œ„์—์„œ๋Š” ์™„๋ฒฝํ•ฉ๋‹ˆ๋‹ค. NDCG@10์˜ ํ–ฅ์ƒ์€ ๋ณดํ†ต 5~15์ ์ž…๋‹ˆ๋‹ค โ€” ๋ฐ”์ด ์ธ์ฝ”๋” ๊ฐ€์กฑ ์•ˆ์—์„œ ์ž„๋ฒ ๋”ฉ ๋ชจ๋ธ์„ ๋ฐ”๊พธ๋Š” ๊ฒƒ๋ณด๋‹ค ํฝ๋‹ˆ๋‹ค.

5.4 ์ฟผ๋ฆฌ ์ดํ•ด: ์žฌ์ž‘์„ฑ, ํ™•์žฅ, HyDE

์œ„ ๋ชจ๋“  ๊ฒƒ์€ ์ฟผ๋ฆฌ๊ฐ€ ์ž˜ ํ˜•์„ฑ๋˜์–ด ์žˆ๋‹ค๊ณ  ๊ฐ€์ •ํ–ˆ์Šต๋‹ˆ๋‹ค. ๊ฑฐ์˜ ๊ทธ๋ ‡์ง€ ์•Š์Šต๋‹ˆ๋‹ค. ํ—ฌํ”„๋ฐ์Šคํฌ ์‚ฌ์šฉ์ž๊ฐ€ ใ€Œํœด๊ฐ€ใ€๋ผ๊ณ  ์นฉ๋‹ˆ๋‹ค. ์ •์ฑ…์—๋Š” ใ€Œ์—ฐ์ฐจ ์‚ฌ์šฉ ๊ถŒ๋ฆฌใ€๋ผ๊ณ  ์“ฐ์—ฌ ์žˆ์Šต๋‹ˆ๋‹ค. ๊ฐœ๋ฐœ์ž๊ฐ€ ใ€Œauth fails 500ใ€์„ ์นฉ๋‹ˆ๋‹ค. ๋Ÿฐ๋ถ์€ ใ€Œ์ธ์ฆ ์„œ๋น„์Šค๊ฐ€ ํ† ํฐ ๊ฒ€์ฆ ์‹คํŒจ์™€ ํ•จ๊ป˜ HTTP 500์„ ๋ฐ˜ํ™˜ใ€์ด๋ผ ๋ฌ˜์‚ฌํ•ฉ๋‹ˆ๋‹ค. ์ž‘์—…์€ ์ฟผ๋ฆฌ ์ธก์—์„œ ์ด๋ฃจ์–ด์ ธ์•ผ ํ•ฉ๋‹ˆ๋‹ค. ์„ธ ํŒจํ„ด์ด ํ•ฉ์„ฑ๋ฉ๋‹ˆ๋‹ค: ์ฟผ๋ฆฌ๋ฅผ ์ž๋ฆฝ ๊ฐ€๋Šฅํ•˜๊ฒŒ ๋งŒ๋“œ๋Š” ์žฌ์ž‘์„ฑ(๋Œ€๋ช…์‚ฌ ํ•ด๊ฒฐ, ์•ฝ์–ด ํ™•์žฅ, ์ฝ”ํผ์Šค ์–ธ์–ด์— ๋งž์ถฐ ์–ธ์–ด ์ „ํ™˜), ํ•œ ์คŒ์˜ ํŒจ๋Ÿฌํ”„๋ ˆ์ด์ฆˆ๋กœ์˜ ํ™•์žฅ โ€” ๊ฐ๊ฐ์ด ๋‘ ๋ฆฌํŠธ๋ฆฌ๋ฒ„๋กœ ํŽผ์ณ์ง‘๋‹ˆ๋‹ค โ€” ๊ทธ๋ฆฌ๊ณ  ์ž‘์€ ๋ชจ๋ธ์—๊ฒŒ ๊ฐ€์ƒ์˜ ๋‹ต์„ ์“ฐ๋ผ๊ณ  ์š”์ฒญํ•ด ์งˆ๋ฌธ ๋Œ€์‹  ๊ทธ๊ฒƒ์„ ์ž„๋ฒ ๋“œํ•˜๋Š” HyDE. ์ฝ”ํผ์Šค๋Š” ๋‹ต์œผ๋กœ ์ฐจ ์žˆ๊ณ , ๋‹ต์€ ์งˆ๋ฌธ๋ณด๋‹ค ๋‹ค๋ฅธ ๋‹ต์„ ๋” ๋‹ฎ์Šต๋‹ˆ๋‹ค.

๋ฐฉ์–ด์ ์ธ ํŒจํ„ด์€ ์›๋ž˜ ์ฟผ๋ฆฌ๋ฅผ ์žฌ์ž‘์„ฑ๋œ ๊ฒƒ๊ณผ ํ•จ๊ป˜ ๋ณด์กดํ•˜๊ณ  ๋‘˜ ๋‹ค๋ฅผ ๋””์ŠคํŒจ์น˜ํ•˜๋Š” ๊ฒƒ์ž…๋‹ˆ๋‹ค. ์žฌ์ž‘์„ฑ๊ธฐ์˜ ์ถœ๋ ฅ์€ ๋Œ€์ฒด๊ฐ€ ์•„๋‹ˆ๋ผ ๊ฐ€์„ค์ž…๋‹ˆ๋‹ค. ์—์ด์ „ํ‹ฑ ์‹œ์Šคํ…œ์˜ ๋Œ€๋ถ€๋ถ„์˜ ใ€Œ๊ฒ€์ƒ‰ ํšŒ๊ท€ใ€๋Š” ์‹ค์€ ์žฌ์ž‘์„ฑ ํšŒ๊ท€์ด๊ณ , ๋‹จ๊ณ„๋ณ„ ํ…”๋ ˆ๋ฉ”ํŠธ๋ฆฌ ์—†์ด๋Š” ๋ณด์ด์ง€ ์•Š์Šต๋‹ˆ๋‹ค.

๊ธฐ์–ตํ•ด ๋‘˜ ๊ฒƒ: ํ”„๋กœ๋•์…˜ ํŒŒ์ดํ”„๋ผ์ธ์€ ์—ฌ์„ฏ ๋‹จ๊ณ„์ž…๋‹ˆ๋‹ค โ€” ๋ถ„๋ฅ˜, ์žฌ์ž‘์„ฑ, ๋ณ‘๋ ฌ ๊ฒ€์ƒ‰, RRF ์œตํ•ฉ, ํฌ๋กœ์Šค ์ธ์ฝ”๋” ๋ฆฌ๋žญํ‚น, ์ƒ์„ฑ โ€” ๊ทธ๋ฆฌ๊ณ  ๋งค ๋…ธ๋“œ์—์„œ ๊ฐ€์žฅ ๊ฐ•๋ ฅํ•œ ๋ชจ๋ธ์„ ์“ฐ๋ ค๋Š” ๋ฐ˜์‚ฌ๋Š”, ๋น„์‹ธ๊ณ  ๋А๋ฆฌ๊ณ  ํ‰๋ฒ”ํ•œ RAG ์‹œ์Šคํ…œ์˜ ๊ฐ€์žฅ ํ”ํ•œ ์›์ธ ์ค‘ ํ•˜๋‚˜์ž…๋‹ˆ๋‹ค. ์ผ์— ๋งž์ถฐ ํฌ๊ธฐ๋ฅผ ์žก์€ 7B ์žฌ์ž‘์„ฑ๊ธฐ์™€ 110M ๋ฆฌ๋žญ์ปค๊ฐ€ ๋งค ๋…ธ๋“œ์—์„œ ๊ฑฐ์˜ ํ•ญ์ƒ ์ตœ์ „์„  ๋ชจ๋ธ์„ ์ด๊น๋‹ˆ๋‹ค.

์ œ5์žฅ์ด ์ค€๋น„ํ•˜๋Š” ๊ฒƒ

๊ทธ๋ ค ๋‘” ํŒŒ์ดํ”„๋ผ์ธ์€ ๋™์‹œ์— ๊ณต๊ฒฉ์ž๊ฐ€ ๋ฌด๋ ฅํ™”ํ•ด์•ผ ํ•  ์ „์ฒด ํ‘œ๋ฉด์ž…๋‹ˆ๋‹ค. ๊ฐ ๋‹จ๊ณ„๋Š” ์ž…๋ ฅ์„ ๋ฐ›๊ณ , ์ถœ๋ ฅ์„ ๋‚ด๋ฉฐ, ๋‹ค๋ฃจ๋Š” ๋ฐ์ดํ„ฐ๋ฅผ ์‹ ๋ขฐํ•ฉ๋‹ˆ๋‹ค. ์ฝ”ํผ์Šค๋Š” ์ˆ˜์ง‘ ์‹œ์ ์— ์˜ค์—ผ๋  ์ˆ˜ ์žˆ๊ณ , ์ž„๋ฒ ๋”๋Š” ์ ๋Œ€์  ์ฒญํฌ์— ์กฐ์ž‘๋  ์ˆ˜ ์žˆ์œผ๋ฉฐ, ๋ฆฌ๋žญ์ปค๋Š” ํŽธํ–ฅ๋  ์ˆ˜ ์žˆ๊ณ , ์ƒ์„ฑ๊ธฐ๋Š” ๊ฒ€์ƒ‰๋œ ์ฝ˜ํ…์ธ ์— ์ˆจ๊ฒจ์ง„ ์ง€์‹œ์— ์†์„ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์—ฌ๊ธฐ์„œ๋ถ€ํ„ฐ ์ฑ…์€ ์ œ4๋ถ€๋ฅผ ์—ด๊ณ , ํ‹€์ง“๊ธฐ๋Š” ์–ด๋–ป๊ฒŒ ์ž˜ ๊ฒ€์ƒ‰ํ•  ๊ฒƒ์ธ๊ฐ€์—์„œ ๊ฒ€์ƒ‰์ด ๊ณต๊ฒฉ๋ฐ›์„ ๋•Œ ๋ฌด์—‡์ด ์ผ์–ด๋‚˜๋Š”๊ฐ€๋กœ ์˜ฎ๊ฒจ ๊ฐ‘๋‹ˆ๋‹ค.


๋‹ค์Œ โ†’ ์ œ6์žฅ: RAG ์œ„ํ˜‘ ๋ชจ๋ธ๊ณผ ์ทจ์•ฝ์ . RAG๋ฅผ ์“ธ๋ชจ ์žˆ๊ฒŒ ๋งŒ๋“œ๋Š” ๊ทธ ๊ฐœ๋ฐฉ์„ฑ์€ ๋™์‹œ์— ์ ๋Œ€์ž๊ฐ€ ์ด์šฉํ•˜๋Š” ํ‘œ๋ฉด์ด๊ธฐ๋„ ํ•ฉ๋‹ˆ๋‹ค โ€” ์ฝ”ํผ์Šค ์˜ค์—ผ, ์ ๋Œ€์  ๊ฒ€์ƒ‰, ๊ฐ„์ ‘ ํ”„๋กฌํ”„ํŠธ ์ฃผ์ž…, ์ž„๋ฒ ๋”ฉ ์—ญ๋ณ€ํ™˜, ๊ทธ๋ฆฌ๊ณ  ํ—ท๊ฐˆ๋ฆฐ ๋Œ€๋ฆฌ์ž.

์ „์ฒด ๊ทธ๋ฆผ์„ ๋ณด๊ณ  ์‹ถ์œผ์‹œ๋‹ค๋ฉด? ์ฑ…์€ ๋ถ€๋ก A์— BM25 ๊ณต์‹๊ณผ ๊ทธ ์œ ๋„๋ฅผ, ๋ณธ๋ฌธ์— RRF ์ˆ˜ํ•™ ์ „์ฒด, ๋ฐ”์ด ์ธ์ฝ”๋”์™€ ํฌ๋กœ์Šค ์ธ์ฝ”๋” ์‚ฌ์ด์˜ ์„ธ ๋ฒˆ์งธ ์•„ํ‚คํ…์ฒ˜๋กœ์„œ์˜ ๋Šฆ์€-์ƒํ˜ธ์ž‘์šฉ ColBERT, ๊ทธ๋ฆฌ๊ณ  ๋‹จ๊ณ„๋ณ„ ํ…”๋ ˆ๋ฉ”ํŠธ๋ฆฌ์™€ ์ง€์—ฐ ์˜ˆ์‚ฐ์ด ํ‘œ์‹œ๋œ ์ข…๋‹จ ๊ฐ„ ํ”„๋กœ๋•์…˜ ํŒŒ์ดํ”„๋ผ์ธ ๋„๋ฉด์„ ํ•จ๊ป˜ ์‹ฃ์Šต๋‹ˆ๋‹ค. Amazon์—์„œ LLM Primer III ๋ณด๊ธฐ โ†’

SHO
SHO