"이 책의 ISBN을 알려주세요." LLM이 그럴듯한 13자리 숫자를 답합니다. 검증해보면 가짜. "당신네 회사 환불 정책은?" 그럴듯한 답이지만 실제 정책과 다름. 이 자리가 환각(hallucination) — LLM의 가장 큰 운영 리스크입니다. 환각이 왜 일어나는지·언제 가장 자주 발생하는지·운영적으로 어떻게 줄이는지를 마케터 시각으로 정리합니다.
1. 환각의 한 줄 정의
LLM 환각의 한 줄 정의:
모델이 사실이 아닌 정보를 사실인 것처럼 자신 있게 출력.
세 가지 유형으로 나뉩니다.
- 완전 거짓 (fabrication) — 존재하지 않는 사실 만들어냄 (가짜 ISBN·가짜 인용)
- 사실 왜곡 (factual error) — 비슷한 사실인데 디테일 틀림 (잘못된 연도·잘못된 수치)
- 맥락 무시 (contextual) — 컨텍스트와 다른 답 (회사 정책 무시한 일반 답)
운영적 위험은 모두 같음 — 그럴듯해서 사람이 검증 안 하면 거짓이 그대로 노출됩니다.
LLM은 다음 토큰을 통계적으로 예측한다. 학습 데이터에 정확한 답이 없거나 약하면 그럴듯한 패턴으로 답을 만들어낸다. 그게 환각.
📌 이 글에서 다루는 것
이 글은 환각의 본질적 원인과 운영적 완화 도구에 집중. huny.log의 LLM 기초·RAG 평가·LLM-as-judge·LLM 에이전트 마케팅 리포트 글들과 함께 읽으면 좋습니다.
2. 환각이 일어나는 본질적 이유
LLM 기초 글에서 본 LLM의 작동 원리를 다시 한 줄:
LLM은 다음 토큰의 확률을 예측하는 통계적 도구이지 진실 검증기가 아니다.
이 한 줄에서 환각이 모두 흘러나옵니다.
2-1. "모름" 토큰의 확률이 낮다
학습 데이터에서 "모르겠습니다·확실하지 않습니다"가 일반적 답보다 적게 나옵니다. 모델은 자연스럽게 그럴듯한 답을 더 자주 예측. "모름" 답하는 능력이 약하게 학습됨.
2-2. 비슷한 패턴에서 채워 넣음
학습 시점에 본 비슷한 패턴을 보고 모델이 빈자리를 채워 넣음. ISBN 형식(13자리 숫자)을 알기 때문에 형식상 그럴듯한 가짜 ISBN 생성. 정확한 ISBN은 모름.
2-3. 컨텍스트보다 사전 학습이 강할 때
회사 정책을 컨텍스트에 줘도 모델이 학습 시점에 본 일반적 정책 패턴이 더 강하면 그쪽으로 답이 흐름. 컨텍스트 무시 환각.
2-4. 일관성보다 그럴듯함
LLM은 "모르겠다"보다 "한 답"을 선호하도록 학습됐습니다 (RLHF). 답을 했을 때 사용자가 더 만족하기 때문. 결과적으로 모르는 자리에도 답을 만들어냄.
3. 환각이 가장 자주 일어나는 자리
운영 환경에서 환각이 자주 일어나는 자리들:
3-1. 정확한 사실·숫자
- ISBN·전화번호·정확한 가격
- 회사 정책의 미세 디테일
- 통계 수치·연구 인용
LLM은 형식은 맞고 디테일은 틀린 답을 자주 생성.
3-2. 학습 이후 정보
- 모델 학습 시점 이후 사건·정책 변경
- 신규 인물·신규 회사·신규 제품
학습 시점에 없던 정보를 모르지만 비슷한 패턴으로 추론해 답.
3-3. 도메인 특화·전문 지식
- 의료·법률·재무의 미세 디테일
- 한국 도메인 특화 (한국 법규·한국 광고 정책)
- 업계 신조어·약어
학습 데이터에 약하게 노출된 도메인.
3-4. 명확한 답이 없는 자리
- "이 카피의 CTR은?"
- "다음 분기 매출 예측은?"
모델이 답을 모르는 자리에도 그럴듯한 숫자를 만들어냄.
3-5. 긴 컨텍스트의 중간 정보
트랜스포머 직관 글의 lost-in-the-middle. 긴 컨텍스트의 중간 정보가 모델 attention에 약하게 잡혀 무시되거나 왜곡됨.
4. 운영적 완화 도구 — 5가지
4-1. RAG로 외부 지식 보강
가장 강력한 도구. 회사 내부 정보·최신 정보가 필요한 자리는 RAG로 외부 문서를 컨텍스트에 추가. 모델이 "기억"해서 답하는 게 아니라 "이 문서를 보고" 답.
다만 RAG도 검색이 잘못되면 잘못된 컨텍스트 → 환각. 검색 정확도가 답 정확도의 토대.
4-2. Prompting으로 "모름" 허용
시스템 프롬프트에:
"확실하지 않은 자리는 '확실하지 않습니다'로 답하세요. 추측해서 답하지 마세요."
이런 한 줄이 환각을 30~50% 줄입니다 (Anthropic·OpenAI 보고). 모델이 "모름" 답하는 것을 사회적으로 허용해주는 효과.
4-3. 출력 검증·도구 사용
모델 출력을 코드로 검증:
- 숫자 답이면 외부 DB와 대조
- 인용이면 진짜 출처 확인
- 정책 답이면 회사 정책 DB 매칭
도구 사용(function calling) 패턴 — 모델이 직접 답하지 말고 도구를 호출해 정확 답 가져오게 함.
4-4. Temperature 낮추기
Temperature 높으면 분포 평탄화 → 비주류 토큰 가능성 증가 → 환각 가능성 증가. 사실 답변은 temperature 0~0.3.
4-5. LLM-as-judge로 사후 검증
LLM-as-judge로 답의 일관성·정확성을 다른 모델이 평가. 평가 점수 낮으면 사람 검토 또는 자동 거부.
# 환각 완화의 한 패턴
system_prompt = """
당신은 마케팅 정책 전문가입니다.
- 컨텍스트에 명시된 사실만 답하세요.
- 컨텍스트에 없는 정보는 "확실하지 않습니다"로 답하세요.
- 추측·가정으로 답하지 마세요.
"""
r = client.chat.completions.create(
model='gpt-4o',
messages=[{'role': 'system', 'content': system_prompt},
{'role': 'user', 'content': f'컨텍스트: {context}\n질문: {question}'}],
temperature=0.0,
seed=42,
)
이게 본문에 박는 유일한 코드입니다. 시스템 프롬프트의 "모름 허용" + temperature 0 + seed 고정. 가장 단순한 환각 완화 패턴.
5. 마케팅 운영의 환각 위험 자리
5-1. 고객 문의 자동 응답
회사 정책·반품·환불 답변에서 환각이 일어나면 직접적 비즈니스 위험. RAG + "모름 허용" prompting + 사후 검증의 결합 필수.
5-2. 광고 카피 생성
상품 사양·가격을 LLM이 만들어내면 잘못된 정보가 광고로. 카피의 사실 부분은 외부 DB에서 가져오고, LLM은 표현만 만들게 분리.
5-3. 마케팅 리포트 자동 생성
데이터를 직접 LLM이 다루면 숫자 환각. 도구 사용으로 BI 쿼리는 직접 호출, LLM은 결과 해석·narrative만. LLM 에이전트 글 참조.
5-4. 외부 데이터 인용
논문·연구 인용을 LLM이 만들어내면 가짜 인용. 실제 인용은 외부 검색 도구로, LLM은 요약만.
{/* TODO_HUNY: huny가 운영 중인 LLM 자리에서 환각으로 인한 운영 사고 한 가지 추가해주세요. 어떤 자리·어떤 유형의 환각이었는지·어떻게 발견했는지. */}
6. 환각을 0으로 못 만들지만
환각을 완전히 없애는 건 현재 LLM 기술로 불가능합니다. 통계적 토큰 예측의 본질이라 그렇습니다. 하지만 운영에서 위험을 통제 가능한 수준으로 줄이는 건 가능.
운영 표준 흐름:
-
고위험 자리 — 환각 = 비즈니스 손실 (의료·법률·재무·정책)
- RAG + 도구 사용 + 사람 최종 검토
-
중위험 자리 — 환각 = 신뢰 손실 (FAQ·고객 응답)
- RAG + LLM-as-judge + 일별 모니터링
-
저위험 자리 — 환각 = 작은 운영 부담 (카피 생성·아이디어 생성)
- 사람 검토만으로 충분
자리의 위험 수준에 맞춘 완화 도구의 결합이 운영 결정.
⚠️ 환각이 0이 되는 자리는 없다
RAG·도구 사용·사후 검증을 다 깔아도 환각이 일부 남습니다. 운영자의 첫 일은 "환각이 일어났을 때의 대응"을 미리 디자인하는 것 — 알람·롤백·사람 검토 흐름. 환각을 0으로 만드는 게 목표가 아니라 손실을 통제 가능하게.
7. 환각의 미래 — 줄어드는 추세
LLM 환각은 시간에 따라 줄어드는 추세입니다.
- GPT-3 (2020) — 환각 매우 흔함
- GPT-4 (2023) — 30~50% 감소
- GPT-4o (2024) — 추가 감소, 도구 사용 표준화
- 향후 — RAG·도구 통합·"모름" 답하기 능력 강화
다만 0으로 가지는 않을 것. 통계적 본질이 그대로이기 때문. 운영자는 "환각이 줄어들지만 0은 아니다"의 전제 위에 운영 인프라 구축.
8. 마치며 — AI 기초 5편의 마지막
이 시리즈 5편 (LLM 기초·임베딩·트랜스포머·도구 분기·환각)을 통해 마케터의 AI 기초 체력을 정리했습니다.
LLM은 토큰을 통계적으로 예측하는 도구. 임베딩은 의미를 벡터로. 트랜스포머의 attention이 모든 단어가 모든 단어를 본다. 도구 선택은 prompting → RAG → fine-tuning. 환각은 통계적 본질이라 완전히 못 없앤다.
이 5가지 직관이 huny.log의 모든 LLM·AI 글들의 토대입니다. 이 위에 시리즈 1·2·3의 도구들이 자연스럽게 얹힙니다.
다음 글에서는 같은 자리의 또 다른 기초 — 머신러닝 기초 체력 시리즈로 넘어갑니다. 회귀·분류·손실 함수·overfitting의 직관.
참고
- Ji et al. (2023), Survey of Hallucination in Natural Language Generation — 환각 종합 리뷰
- OpenAI, GPT-4 Technical Report (2023) — 환각 완화 측정
- Lewis et al. (2020), Retrieval-Augmented Generation, NeurIPS — RAG로 환각 완화
- Bai et al. (2022), Constitutional AI: Harmlessness from AI Feedback (Anthropic) — RLHF의 환각 효과
- HuggingFace, Hallucinations Leaderboard — 모델별 환각 비교
- huny.log 내부 글: LLM 기초, 임베딩 기초, 트랜스포머 직관, 도구 분기, RAG 평가, LLM-as-judge, LLM 에이전트
