ChatGPTで法律を学ぶときの3つの限界——ハルシネーション・カットオフ・改正前後

ChatGPTやGemini、Claudeなどの汎用LLMは、概念の導入や学習計画の壁打ちに便利な一方、本試験の答案に直接転記する用途には注意が必要である。本稿では、法律学習で繰り返し問題になる3つの限界（ハルシネーション、カットオフ、改正前後の混同）と、それを踏まえたプロンプト設計の考え方を整理する。

扱うのは、①ハルシネーション（架空の判例・条文の生成）、②カットオフ（学習データの時点制約）、③改正前後の混同、④判旨原文を渡すプロンプト設計、⑤AIと判例データベースの併用、の順である。関連記事として[AIで法律を学ぶこと](/blog/what-is-ai-law-learning)もあわせて参照してほしい。

限界①——ハルシネーション

汎用LLMが、実在しない判例（『最判平成○年○月○日』のような体裁の架空判決）や条文を生成することがある。形式が整っているため、初見では誤りに気づきにくいのが厄介である。最大判昭和48年4月4日（尊属殺重罰違憲判決）や最大判昭和62年4月22日（森林法共有林違憲判決）のような著名判決でも、判旨を要約する過程で原文と異なる内容が混ざることがある。

対策は、AIが出力した判例の日付・事件名・判旨を、最高裁判例集・判例タイムズ・e-Gov判例検索のような一次ソースで確認することである。本試験で答案に引用する以上、一次ソースでの検証を経ていない判例引用は使わない、というルールを最初から決めておくと安全である。

限界②——カットオフ

汎用LLMは、学習データのカットオフ時点までの情報を中心に応答する。最近の判例や改正法には対応が遅れることがあり、最大判令和3年6月23日（夫婦同氏制合憲）のような大法廷判決についても、モデルによって対応状況が分かれる。

対策は、本試験で扱う論点が、利用しているモデルのカットオフより後に出された判例や改正法に関わるかを最初に確認することである。カットオフ後の情報については、AIの内部知識に頼らず、外部の一次ソースから情報を渡したうえで整理してもらうかたちに切り替える。

限界③——改正前後の混同

民法（債権関係）改正のように、要件・効果が大きく変わった分野では、改正前の判例の射程を改正後の事案にそのまま当てはめてしまう回答が見られる。最判昭和49年9月26日（取消後の第三者）のように、改正前の96条3項（善意のみ要件）を前提とした判例を、改正後の96条3項（善意かつ無過失）に機械的に流用すると、要件の理解にズレが生じる。最大判平成27年12月16日（女性の再婚禁止期間違憲）のように、その後の改正で条文自体が変わった分野も同様である。

対策は、プロンプトで『改正前の事案か改正後の事案か』『どの時点の条文か』を明示することと、施行日と判決日の前後関係を意識して引用することである。改正前後でどの部分が変わり、判例の射程がどこまで現行法で維持されているかを、自分で対比表を持っておくと、AI出力の検証が楽になる。

判旨原文を渡すプロンプト設計

AIの精度を上げる最も効果的な方法は、コンテキスト（条文・判旨原文）を直接プロンプトに渡すことである。AIに内部知識から判例を取り出させると、ハルシネーションのリスクが上がる一方、判旨原文をペーストしたうえで『この判旨の射程を整理してほしい』と頼めば、その範囲内で比較的安定した整理が得られる。

よくある質問