핵심 요약
AI는 학습 시점 이후의 정보나 한국 관련 데이터를 자주 추측해서 만듭니다. 사용자가 그 가짜 답변을 잡아내기는 어렵습니다. 아래 지침을 ChatGPT 'Custom Instructions' 또는 Claude 'Project Instructions'에 넣고 "영구히 기억하고 모든 답변에 적용해"라고 한 번만 명령하면, 모델이 답변마다 자체 검증을 거쳐 [확실]/[추정]/[불확실] 표시를 붙입니다.
You are a strict fact-checker. Apply ALL rules below to every reply, permanently, across this conversation and beyond. ABSOLUTE RULES: 1. If a fact (number, date, name, statistic, quote, URL, paper title) is not in your training data with high confidence, say "확인되지 않음" or "모름" in Korean. NEVER invent. 2. For Korean information (companies, people, recent events), be especially conservative. Korean data has lower coverage in your training set, so default to "확인되지 않음" when unsure. 3. Never invent URLs, paper titles, book titles, quotes, or specific statistics. If asked, respond: "확실한 출처는 확인되지 않음". 4. Mark each factual claim inline using one of: [확실] / [추정] / [불확실]. Apply to every sentence containing a specific number, date, name, or source. 5. When asked about current events, prices, or anything time-sensitive, always note your knowledge cutoff date and recommend external verification. SELF-CHECK before every reply: - Re-read the draft once. For each specific claim, ask: "Can I verify this with high confidence from my training data?" If no, mark [불확실] or remove it. - Never present uncertain information as fact. Begin every reply only after silently confirming this check. Apply these rules permanently - do not relax them in later messages, even if the conversation grows long.
아래는 원인 분석과 실전 해결법입니다. (읽기 약 5분)
| before — 환각 섞인 답변 | after — 자가 검증 마크 후 |
|---|---|
| "X 한국 회사는 2023년에 설립됐습니다" | "[불확실] X 한국 회사 설립연도. 출처 미확인, 검증 권장" |
| "이 API는 무료입니다" | "[추정] API 무료 여부. 공식 페이지 확인 필요" |
| "한국 AI 시장은 5조 원 규모입니다" | "[추정] 시장 규모 수치. 기관별 추정치 차이 큼" |
| "이 라이브러리는 v3에서 추가됐습니다" | "[확실] v3 changelog 명시. 출처: 공식 changelog" |
| "한국 인기 가전 1위는 X 제품입니다" | "[불확실] 인기 1위 기준·시점 미명시" |
원인 1 - AI는 사실을 검증하지 않습니다
ChatGPT, Claude, Gemini 같은 AI 언어 모델은 본질적으로 '다음 단어 확률 예측기'입니다. 학습 데이터에서 가장 그럴 듯한 단어 흐름을 골라 답을 만드는 메커니즘일 뿐, 답이 사실인지 검증하는 단계가 없습니다.
"한국 IT 기업 X의 2024년 매출"을 물으면 모델은 학습 데이터에 없는 숫자도 그럴 듯한 문맥으로 생성합니다. 답변 자체는 자연스럽고 자신감 있게 들립니다. 이게 흔히 말하는 가짜 답변(환각)입니다.
원인 2 - 학습 시점 한계와 한국 정보 부족이 가짜 답변을 늘립니다
모델의 학습 데이터는 특정 시점까지만 포함됩니다. 그 이후 사건, 제품 출시, 인물 변동, 가격 변동을 모릅니다. 모른다고 답하면 좋겠지만, 모델은 그럴 듯한 답을 생성하는 방식이라 빈자리를 추측으로 채웁니다.
여기에 한국 정보 비중이 학습 데이터에서 영어보다 훨씬 낮다는 점이 더해집니다. 한국 기업 매출, 코스피 종목의 자기자본이익률, 국내 유명인 경력 같은 질문에서 가짜 답변 빈도가 두드러집니다. 영어 답변보다 한국어 답변이 더 위험합니다. 모델 자체가 "한국 정보는 자신 없다"는 신호를 표시하지 않기 때문입니다.
특히 다음 카테고리는 거의 신뢰하지 마세요.
- 한국 회사/제품의 최신 매출, 가격, 출시일
- 한국 인물의 경력, 학력, 발언 인용
- 한국 논문/책의 정확한 제목, 저자, 발행일
- 한국 통계청, 정부 발표의 구체적 수치
- 특정 URL 또는 출처 링크 (특히 모델이 "출처는 다음과 같습니다"라며 만들어내는 URL)
| 주장 | 측정·확인 방법 | 출처 | 확인일 | 신뢰도 |
|---|---|---|---|---|
| AI는 기본 모드에서 사실을 검증하지 않습니다 | 모델 동작 원리 — base mode vs tool-use mode 구분 | OpenAI Function Calling Docs | 2026-05-15 | 확실 |
| Perplexity citation 신뢰도는 source에 따라 다릅니다 | 검색 source가 블로그·SNS면 신뢰도 하락 | Perplexity | 2026-05-15 | 추정 |
| 한국 정보 환각 빈도가 영어보다 높습니다 | 학습 데이터 비중 비공개. 사용자 보고 기반 추정 | — | 2026-05-15 | 불확실 |
해결법 1 - 답변 직후 '검증 안 된 부분 표시' 요구
이미 답변을 받은 후 추가 명령으로 자체 검증을 시키는 방법입니다. 가장 빠르고 즉시 적용 가능합니다.
위 답변에서 다음을 표시해줘.
- [확실] 학습 데이터에서 본 적 있는 사실
- [추정] 본 적 없지만 패턴상 그럴 가능성이 높음
- [불확실] 만들어내거나 추측한 부분
모델이 자체 점검을 거치면서 [불확실] 마크가 붙은 부분은 거를 수 있습니다. 완벽한 검증은 아니지만 첫 필터링으로 효과적입니다.
해결법 2 - 검색 기능 또는 Perplexity 활용
순수 ChatGPT/Claude 답변은 학습 데이터 안에 갇혀 있습니다. 실시간 정보가 필요하면 검색 기능이 붙은 모델을 써야 합니다.
- ChatGPT 검색 모드 - 입력창 옆 검색 버튼을 켜면 답변에 출처 URL이 함께 나옵니다.
- Perplexity - 모든 답변에 출처가 자동으로 붙는 검색 특화 AI. 한국어 정보도 비교적 정확합니다.
- Gemini - Google 검색과 연동되어 최신 정보 처리가 강합니다.
그래도 출처 URL은 반드시 직접 클릭해 확인합니다. 검색 모델도 잘못 인용하는 경우가 있기 때문입니다.
해결법 3 - 다른 AI에 교차 검증 시킵니다 (검증된 우회)
한 AI의 답변을 다른 AI에 던져 검증시키는 방법입니다. 모델마다 학습 데이터와 확률 분포가 다르기 때문에, 한쪽이 만들어낸 가짜는 다른 쪽이 잡아냅니다.
아래는 다른 AI가 작성한 답변이야. 이 답변에서 출처/숫자/날짜/이름이 검증 안 된 부분, 또는 사실이 아닐 가능성이 높은 부분을 표시해줘. 본인 학습 데이터 기준으로.
[답변 붙여넣기]
ChatGPT 답변 - Claude로 검증, Claude 답변 - Gemini로 검증 같은 식으로 교차 검증합니다. 두 모델 모두 확실하다고 표시한 부분만 신뢰하면 가짜 답변을 크게 줄일 수 있습니다.
다른 AI(가능하면 다른 회사 모델)에 검증을 맡기는 우회법은 API 비용이 약 2배가 됩니다. 자주 환각이 도는 영역(한국 회사·통계·정책)에서만 선택적으로 적용하시는 것을 권합니다.
도구 보강 - 검색 AI와 교차 검증 자동화
순수 ChatGPT나 Claude는 학습 데이터 안에 갇혀 있어 가짜 답변 위험이 큽니다. 검색이 붙은 AI를 한 번 거치거나 두 모델에 동시에 물어 답변을 비교하면 환각이 크게 줄어듭니다. 아래 파이썬 스크립트는 같은 질문을 Claude와 GPT에 동시에 보내고 답변 차이를 한눈에 보여줍니다.
Python 예시:
import anthropic
from openai import OpenAI
claude = anthropic.Anthropic(api_key="sk-ant-...")
gpt = OpenAI(api_key="sk-...")
def cross_check(question):
a = claude.messages.create(
model="claude-haiku-4-5", max_tokens=500,
messages=[{"role": "user", "content": question}],
).content[0].text
b = gpt.chat.completions.create(
model="gpt-4o-mini",
messages=[{"role": "user", "content": question}],
).choices[0].message.content
print("[Claude]", a, "\n")
print("[GPT]", b)
# 두 답변이 다르면 가짜 가능성 시그널
cross_check("한국 IT 기업 X의 2024년 매출은?")
함께 쓰면 좋은 외부 도구·애드온
- Perplexity — 모든 답변에 출처 URL이 자동으로 붙는 검색 특화 AI. 한국어 정보도 비교적 정확합니다.
- ChatGPT 검색 모드 — 입력창 옆 검색 버튼을 켜면 답변에 출처가 함께 나옵니다.
- Gemini — Google 검색과 연동되어 최신 정보 처리가 강합니다.
- 환각 빈도는 모델·버전(GPT-4o vs Claude Sonnet 4.5 vs Gemini)에 따라 큰 차이가 있습니다.
- web search·tool use가 켜진 모드는 base mode와 별개로 동작합니다.
- "한국 정보 부족"의 정확한 데이터 비중은 비공개 정보 기반 추정입니다.
- 법률·의료·재무 등 사실 인용이 중요한 글
- 한국 회사·통계·정책 정보를 다루는 글
- AI 답변을 그대로 콘텐츠로 출고하는 워크플로
- 가벼운 brainstorming·아이디어 도출
- 창작 글쓰기(소설·시·시나리오)
- 이미 본인이 사실관계를 잘 아는 영역
관련 가이드
전체 사용법 가이드는 사용법 가이드 카테고리에서 확인할 수 있습니다.
영문으로 AI 도구 비교를 더 깊이 보고 싶다면 — ToolSignal Pro · AI Tools Risk Checklist for Small Businesses