ChatGPTだけでは業務に使えない理由とは？｜生成AIの限界とRAGの必要性｜LLM入門 1.1

1.1 ChatGPTだけでは不十分な理由

ChatGPTをはじめとする大規模言語モデル（LLM）は、自然な文章生成に優れており、一般的な情報に対して非常にスムーズな応答を返すことができます。たとえば、「来週の営業会議に向けた企画案を考えて」といった抽象的な依頼に対しても、複数の具体的な提案を短時間で提示することができます。

こうした技術の登場により、ビジネスにおけるAI活用への期待は一気に高まりました。しかし、実際に現場で導入しようとすると、いくつかの根本的な問題に直面します。この節では、ChatGPTをそのまま業務に適用するには限界があることを、具体的な視点から丁寧に説明していきます。

自社固有の知識を持っていないという本質的な制限

ChatGPTは、大量のテキストデータ（Web上の情報、書籍、ニュースなど）を事前に学習して作られています。これは驚異的な知識の幅を持つ一方で、ある特定の企業や団体が保有する“固有情報”には触れていないという限界を意味します。

たとえば、以下のようなやり取りを考えてみましょう。

質問：
「返品の手続き方法を教えてください。」

ChatGPTの回答：
「通常、商品到着から7日以内であれば返品が可能です。詳細はお客様サポートまでお問い合わせください。」

この回答は一見自然ですが、実際の企業ごとに返品ポリシーは異なります。「14日以内で未使用品に限る」「セール品は対象外」「LINEで返品申請が必要」など、細かな条件は多岐にわたります。ChatGPTはそれを知ることができません。

つまり、LLMは「一般論として正しそうなこと」は言えても、「その会社において実際に正しいこと」は答えられないのです。これは、業務における正確な対応が求められる場面では致命的な問題になります。

幻覚（hallucination）の問題

ChatGPTは、与えられた文脈に対してもっともらしい文章を生成する能力を持ちますが、それは裏を返せば「知らないことでも自信を持って答えてしまう」リスクを伴います。この現象は「幻覚（hallucination）」と呼ばれ、生成AIの弱点のひとつとされています。

たとえば、以下のようなケースが想定されます。

質問：
「SmartPrint Proの印刷解像度を教えてください。」

ChatGPTの回答：
「SmartPrint Proは600dpiで高精細な印刷に対応しています。」

この回答が事実であれば問題ありませんが、もし実際には800dpiであった場合、AIが堂々と誤った情報を提供していることになります。
このように、ChatGPTは情報源に基づく「事実確認」よりも、「文として自然かどうか」を優先して出力する性質があり、そのため事実性の保証が非常に難しいという問題があります。

モデルの学習時点で情報が固定されている

ChatGPTは2023年までの情報を学習しているモデルです（バージョンによって学習時点は異なりますが）。そのため、リアルタイムで更新される情報、たとえば製品の仕様変更、最新の価格改定、新しいルールの導入などには対応できません。

さらに、社内マニュアル、営業トークスクリプト、顧客とのやりとりなど、企業の内部で生まれる情報については、原則としてモデルが学習していない情報であるため、LLMが知ることはありません。

これらの情報は業務において非常に重要であり、これらが反映されていない生成結果では、現場で使える回答を出すのは困難です。

カスタマイズの困難と運用の限界

それならば、「自社データを使ってChatGPTを再学習すればよい」と考える方もいるかもしれません。しかし、これは実際には簡単なことではありません。

まず、大規模言語モデルの再学習（ファインチューニング）には、数十万件以上の高品質なテキストデータと専門的な知識、そして相当な計算資源が必要です。加えて、データには最新の情報が常に含まれている必要があり、現実的にはメンテナンスコストが非常に高くつきます。

さらに、社内文書をクラウド上にアップロードし外部のモデルと統合することには、セキュリティやプライバシーの懸念もついて回ります。業種によっては、法的な規制が存在することもあります。

このように、ChatGPT単体で「自社に合ったAI」を作るには、さまざまなハードルが存在するのです。

生成AIには「文脈を与える仕組み」が必要

これらの課題を整理すると、生成AIの限界は以下のようにまとめることができます。

• モデルの中に「自社の知識」が含まれていない

• 知らない情報でも推測で回答してしまう

• 最新情報を自動的に取り込むことができない

• 運用・メンテナンスの負担が大きい

このような背景から、多くの企業が「生成」だけでなく「検索」を組み合わせる設計へとシフトしています。検索によって必要な知識を取り出し、それを生成AIに渡して文脈として活用させる。RAG（Retrieval-Augmented Generation）は、この考え方に基づいた構造です。

RAGの登場は、「AIに答えさせる」から「AIが答えるための情報を設計する」という発想への転換を意味しています。
次のセクション「1.2 業務利用における限界とRAGの登場」では、このRAGという仕組みがどのようにして登場したのか、その背景と価値について詳しく見ていきましょう。