ハルシネーションとガードレール

01

ハルシネーションはなぜ起きる？

ある家電メーカーが、サポート用のチャットボットを公開しました。お客さまが新製品の電気ケトル K2の特徴をたずねると、チャットボットは4つの文でなめらかに答えました。下の図で、回答の文を1つずつ製品の説明書と照らし合わせてみましょう。

事実ではないことや根拠のないことを、事実のように話してしまう現象をハルシネーション（hallucination、幻覚）といいます。大きく分けて2種類あります。世の中の事実と違うことを言うケースと、渡した資料と食い違うこと・資料にないことを言うケースです。図の「保証2年」は資料と食い違い、「食洗機で洗える」は資料にないことをでっち上げていました。

原因は、LLMが文章を作る仕組みにあります。LLMは事実を調べてから答えているわけではありません。前の文に続く、いちばんもっともらしい言葉を選んでいるだけです。電気ケトルの説明には「保証2年」や「食洗機対応」といった言葉がよく出てくるので、自然に見えてしまうのです。学習したことのない製品、学習が終わった後のニュース、あいまいな質問ほど、でっち上げが起きやすくなります。

ハルシネーションを完全になくすことはできません。では、どこまで減らせるのでしょうか。

02

ハルシネーションを減らす

ハルシネーションは、1つの方法だけでは解決しません。いくつもの対策を重ねて減らしていきます。下の図で、対策を1つずつ足してみましょう。

よくある誤解が2つあります。1つ目は、temperatureを下げれば正しくなるという誤解です。下げると回答のばらつきが減るだけで、事実になるわけではありません。2つ目は、事実を覚えさせるためにファインチューニングするという方法です。学習した事実をモデルがいつも正確に取り出せるとは限らず、情報が変わるたびに学習し直す必要があります。事実はRAGで渡し、ファインチューニングは口調や形式を整えるのに使いましょう。

ハルシネーションは、モデルが自分でミスをする問題です。一方で、ユーザーがわざと有害な答えを引き出そうとしたり、モデルが言ってはいけないことを言ってしまったりする問題もあります。