지난 편들에서 시스템 프롬프트, 컨텍스트, 토큰을 정리했다. AI를 둘러싼 기본 작동 방식 개념. 이번 편은 좀 다른 결의 단어다. 작동 방식이 아니라, AI를 쓰면서 가장 많이 부딪히는 문제이자 가장 자주 들리는 단어. 할루시네이션(Hallucination)이다.
할루시네이션이 뭐야?
할루시네이션은 한국어로 "환각"이다.
AI가 사실이 아닌 정보를 사실인 것처럼 자신 있게 말하는 현상. 여기서 중요한 건 AI가 의도적으로 거짓말하는 게 아니라는 점이다. AI는 "이게 진짜인지 아닌지"를 판단할 수 있는 기능 자체가 없다. 그래서 사실과 지어낸 정보를 똑같은 톤으로 말한다.
왜 일어나는가?
이 부분이 핵심이다. 알면 할루시네이션이 왜 생기는지 이해가 된다.
AI는 본질적으로 다음 단어 예측 모델이다. 지금까지의 문맥을 보고 "이 다음에 올 가능성이 가장 높은 단어는 뭐지?"를 통계적으로 계산해서 한 글자씩, 한 토큰씩 출력한다. 의미를 이해해서 답하는 게 아니라, 학습 데이터에서 본 패턴을 바탕으로 다음 이어갈 답을 만드는 모델.
그래서 AI가 모르는 영역에 들어가면 어떻게 되냐? 모른다고 멈추지 않는다. 그냥 "그럴듯한 다음 말"을 계속 이어간다.
예를들어 시험을 보는데 모르는 문제가 나왔다고 해보자. 빈 칸으로 두면 0점이니까, 학생은 자기가 아는 것들을 끄집어내서 그럴듯한 답을 적는다. 그게 맞을 때도 있고, 완전히 틀릴 때도 있다. AI가 답을 만들어내는 방식이 이거랑 비슷하다. 그게 사실이면 다행이지만, 지어낸 거면 그게 할루시네이션이다.
그래서 우리가 알면 뭐가 좋나
할루시네이션은 완전히 없앨 수는 없다. 난 AI의 본능같은 것이라고 이해했다.
그래서 우리가 할 수 있는 건 "할루시네이션이 있다는 걸 알고 쓰는 것"이다.
1. 출처 요청은 도움이 되지만 출처도 가짜일 수 있다. 학술 논문 제목, 저자, URL까지 그럴싸하게 지어내는 경우가 실제로 있다고 한다. 출처 자체를 따로 확인해야 한다.
2. 검색 기능이 붙은 도구를 쓰기. 정말 정확한 정보가 필요할 때는 검색이 결합된 AI를 쓰는게 안전하다. 웹 검색 같은 도구들은 답할 때 실제 웹 페이지를 참고해서 답한다. 학습 데이터 안에서만 만들어내는 답보다 할루시네이션이 덜 생길 수 있다. 근데, 검색한 결과도 정확한가? 그건 다른 문제이다.
3. 도메인 자료를 직접 던져주기. 회사 내부 정책, 특정 제품 매뉴얼, 우리 팀 문서 같은 건 AI가 기본적으로 모른다. 모르는걸 물어보면 할루시네이션이 생길 수 있다. 모르니까 지어내서 멈추지 않고 대답해버리는 케이스. 이럴 땐 자료를 직접 첨부해서 참고하게 하자.
4. 사실이 중요한 분야는 AI 단독으로 안 끝내기. 의료, 법률, 금융, 회계처럼 한 글자라도 틀리면 큰일 나는 분야는 AI 답을 그대로 쓰면 안 된다. AI는 초안을 빠르게 만드는 도구로 쓰고, 최종 검증은 반드시 사람이 하는게 맞다고 본다.
다음 편은 지금까지 정리한 개념을 다 한 번에 활용하는 방법, 프롬프트 엔지니어링을 이야기해보려한다. 대단하고 어려운 단어처럼 보일 수 있지만 AI와 대화하는법, 그걸로 무엇인가 일을 해내는 법 일 뿐이다.