Hallucination — AI가 자신 있게 틀리는 현상의 원리

AI가 확신에 차서 틀리는 현상. Hallucination이라 부르는 이 현상은 AI를 처음 접한 사람들에게 가장 당혹스럽게 느껴지는 동작 방식 중 하나다. 없는 논문을 인용하고, 실존하지 않는 법률 조항을 자신 있게 설명한다. 단순한 버그가 아니라 llm 구조 자체에서 비롯된 본질적인 특성이다.

정의

Hallucination(할루시네이션, 환각)은 llm(Large Language Model)이 학습 데이터에 없거나 검증할 수 없는 정보를 사실인 것처럼 생성하는 현상이다. 단순한 오류와 다른 점은, 모델이 높은 확신도로 잘못된 내용을 출력한다는 것이다. 모델 자신도 자신이 틀렸다는 사실을 인식하지 못한다.

원리: 왜 AI는 자신 있게 틀리는가

llm은 "다음에 올 가능성이 높은 토큰"을 예측하는 방식으로 텍스트를 생성한다. 사실 데이터베이스를 참조하는 것이 아니라, 학습된 패턴에서 문맥적으로 그럴듯한 단어 조합을 출력한다. 이 구조에는 세 가지 핵심 원인이 있다.

지식 경계의 불투명성: 모델은 무엇을 모르는지 알지 못한다. 학습 데이터에서 자주 등장한 패턴은 높은 확신도로 재생성되지만, 그 패턴이 실제 사실인지는 별개 문제다.

압력 기반 완성: 사용자가 특정 형식(예: "2023년 논문 인용")을 요청하면, 모델은 해당 형식에 맞는 텍스트를 생성하려는 경향을 보인다. 실제 논문이 없어도 그럴듯한 제목과 저자를 조합해 출력한다.

컨텍스트 의존성: context-window 범위 내 정보가 충분하지 않으면, 모델은 학습된 유사 패턴으로 공백을 채운다. 이 과정에서 사실과 다른 정보가 삽입될 수 있다.

Hallucination의 유형

발생 패턴은 크게 네 가지로 분류된다.

• 사실 오류: 실존하지 않는 인물, 날짜, 통계를 생성. 역사적 사건의 날짜나 인물 관계를 잘못 연결하는 경우가 대표적이다.
• 소스 조작: 없는 논문·기사 URL을 그럴듯하게 조합. 저자명, 저널명, 출판 연도까지 그럴듯하게 구성되어 검증 없이는 식별하기 어렵다.
• 논리 모순: 같은 응답 내에서 모순된 사실을 동시에 주장. 앞 단락에서 A라고 했다가 뒤 단락에서 not-A를 사실처럼 서술한다.
• 과도한 추론: 근거 없이 결론을 지나치게 확장. 주어진 데이터에서 지지되지 않는 인과관계를 생성한다.

완화 전략

Hallucination을 완전히 제거하는 방법은 현재 존재하지 않는다. 그러나 다음 전략으로 발생 빈도를 낮출 수 있다.

rag(Retrieval-Augmented Generation): 외부 지식 베이스에서 관련 문서를 검색해 llm 문맥에 주입한다. 모델이 실제 문서를 참조해 답변을 생성하므로 사실 오류가 감소한다. 사내 문서 Q&A, 법률·의료 도메인에서 가장 효과적으로 활용된다.

온도(Temperature) 조정: temperature를 낮추면 모델이 더 보수적인 예측을 선택해 창의적 오류가 줄어든다. 0에 가까울수록 확정적인 답변, 높을수록 창의적·무작위적 답변이 생성된다.

Chain-of-Thought 프롬프팅: 단계별 추론을 유도하면 중간 오류를 발견하기 쉬워진다. "단계별로 생각하고 답하라"는 지시가 Hallucination 감소에 유의미한 효과를 보인다.

출처 요구: "출처를 명시해 답변하라"는 지시를 포함하면 모델이 불확실한 내용을 더 신중히 처리하는 경향이 있다. 출처가 검증 가능한지 사람이 확인하는 단계가 뒤따라야 한다.

관련 용어

• llm — Large Language Model. Hallucination의 근본 발생 주체
• context-window — LLM이 한 번에 처리하는 텍스트 범위. 범위 외 정보는 Hallucination 위험 증가
• rag — 외부 검색과 생성을 결합해 Hallucination을 완화하는 대표 기법
• temperature — 모델 출력의 무작위성을 조절하는 파라미터
• prompt-engineering — 올바른 출력을 유도하는 프롬프트 설계 기술