할루시네이션
Hallucination
Read in English할루시네이션은 AI 모델이 근거 없는 내용을 사실처럼 만들어 내는 현상으로, 소설 집필에서는 설정집에 없는 인물·과거·규칙을 지어내 원고의 일관성을 깨는 형태로 나타난다.
다른 표기: 환각 · AI 환각 · 설정 왜곡 · confabulation · 지어내기 · 사실 오류
뜻
할루시네이션은 모델이 근거 없는 내용을 확신에 차서 만들어 내는 것이다. 사실 질문에서는 존재하지 않는 논문이나 잘못된 날짜를 답하는 형태로 나타나고, 소설 집필에서는 다른 형태로 나타난다. 설정집에 없는 조연이 갑자기 등장한다. 주인공에게 없던 여동생이 생긴다. 3화에서 정한 마법 규칙이 40화에서 조용히 바뀐다. 인물이 자기가 모를 리 없는 정보를 안다. 모델은 이야기를 "그럴듯하게" 이어 가도록 훈련되어 있으므로, 빈칸이 있으면 그럴듯한 것으로 채운다. 그 채움이 작품의 사실과 다를 때 할루시네이션이다.
왜 중요한가
소설에서 할루시네이션은 사실 오류가 아니라 설정 충돌로 나타나고, 독자는 그것을 즉시 잡아낸다. "얘 원래 외동 아니었어?"라는 댓글 하나가 작품의 신뢰를 깎는다. 원인은 대개 컨텍스트 창이다. 모델이 설정집을 보지 못했거나(넣지 않음), 보았지만 잘렸거나(한도 초과), 보았지만 이번 장면과 무관한 항목이라 무시했거나. 대책은 세 가지다. 첫째, 이번 장면에 나오는 인물·장소·규칙을 설정집에서 발췌해 프롬프트에 넣는다. 둘째, 프롬프트에 "설정집에 없는 인물·사실을 만들지 말 것"을 명시한다. 셋째, 생성 결과를 설정집과 대조하는 검토 단계를 둔다. SparkLore의 일관성 검사가 하는 일이 세 번째다. 할루시네이션은 완전히 막을 수 없다. 잡아내는 구조를 만드는 것이 현실적 목표다.
예시
설정집: 한유리 — 외동. 부모는 유리가 다섯 살 때 사고로 사망. 할머니가 키움.
프롬프트(설정집 미포함): 유리가 장례식장에서 친척들과 대화하는 장면.
생성 결과 일부: "언니, 할머니 유품은 어떻게 할 거야?" 동생 유나가 물었다. 유리는 대답하지 않았다.
유나는 존재하지 않는다. 모델은 "장례식장의 친척 대화"라는 요청에서 가족을 필요로 했고, 설정집이 없으니 동생을 만들었다. 같은 프롬프트에 설정집 발췌("외동, 부모 사망, 할머니가 키움")를 넣자 결과는 먼 친척과의 어색한 대화로 바뀌었고, 그쪽이 인물에 맞았다.
흔한 실수
- 설정집 없이 생성한다. 모델은 빈칸을 채운다. 빈칸을 남기지 마라.
- 결과를 읽지 않고 붙인다. 생성문을 원고에 넣기 전에 인물·장소·사실을 한 번 훑어라. 30초면 된다.
- 할루시네이션을 모델 탓만 한다. 대부분은 프롬프트에 정보가 없었던 것이다. 컨텍스트를 고쳐라.