환각과 가드레일

01

환각은 왜 생기나

어느 가전 회사가 상담 챗봇을 열었습니다. 고객이 새 제품인 전기포트 K2의 특징을 물었습니다. 챗봇은 네 문장으로 매끄럽게 답했습니다. 아래 그림에서 답의 문장을 제품 설명서와 하나씩 대조해 보세요.

사실이 아니거나 근거 없는 내용을 사실처럼 말하는 것을 환각(hallucination)이라고 합니다. 환각에는 두 갈래가 있습니다. 세상의 사실과 다른 말을 하는 것, 그리고 붙여 준 자료와 어긋나거나 자료에 없는 말을 하는 것입니다. 그림의 "보증 2년"은 자료와 어긋났고, "식기세척기 사용 가능"은 자료에 없는 말을 지어냈습니다.

환각이 생기는 까닭은 LLM이 글을 만드는 방식에 있습니다. LLM은 사실을 찾아보고 답하는 게 아니라, 앞의 글에 이어질 가장 그럴듯한 말을 고릅니다. 전기포트 설명에는 흔히 "보증 2년", "식기세척기 사용 가능" 같은 말이 따라 나오니 그럴듯해 보이는 겁니다. 학습한 적 없는 제품, 학습이 끝난 뒤의 소식, 애매한 질문일수록 더 쉽게 지어냅니다.

환각을 아예 없앨 수는 없습니다. 그렇다면 어디까지 줄일 수 있을까요?

02

환각 줄이기

환각을 줄이는 방법은 여러 겹으로 쌓습니다. 하나로 끝나는 방법은 없습니다. 아래 그림에서 장치를 하나씩 더해 보세요.

자주 나오는 오해가 둘 있습니다. temperature를 낮추면 답이 일관될 뿐 사실이 되는 건 아닙니다. 그리고 사실을 넣으려고 파인튜닝하는 것은 좋은 방법이 아닙니다. 학습한 사실을 모델이 늘 정확히 꺼내는 것도 아니고, 정보가 바뀌면 다시 학습해야 합니다. 사실은 RAG로 붙이고, 파인튜닝은 말투와 형식에 씁니다.

환각은 모델이 실수하는 문제입니다. 그런데 사용자가 일부러 해로운 답을 끌어내려 하거나, 모델이 하지 말아야 할 말을 하는 문제도 있습니다.