AIのしくみ 002生成AIの基本
ハルシネーションの起き方
学習していない事柄でも確率で1つ選ぶため、根拠のない内容を言い切る。30秒の動画で、効果音と画面の字幕だけで進みます。
用語 ハルシネーション = Hallucination
字幕の全文
- LLMは、どの質問にも次のトークンを選んで答えます
- よく知っている事柄では、1つの候補の確率が高くなります
- 学習していない事柄では、候補の確率がほぼ横並びです
- それでもLLMは1つを選び、言い切りの文に仕上げます
- これが、根拠のない数字を言い切るハルシネーションです
- 資料を入力に足すと、資料に沿った候補の確率が上がります
- LLMは、それらしさを基準に続きを選びます
- 大事な答えは、元の資料で確かめてから使ってください