AI 탐지기

뜻

AI 탐지기는 텍스트가 AI로 생성되었을 확률을 통계적으로 추정하는 도구다. 문장의 예측 가능성(퍼플렉시티), 문장 길이의 변동(버스티니스), 어휘 분포 같은 특징을 재서 "AI 생성 확률 N%"로 표시한다. 워터마크를 읽는 것이 아니라 패턴을 추정하는 것이므로 확정 판정이 아니다. 균일하고 매끄러운 인간의 글은 AI로 오탐되고, 퇴고를 거친 AI 글은 인간으로 판정될 수 있다. 특히 한국어 탐지기는 영어보다 학습 데이터가 적어 정확도 편차가 크다.

왜 중요한가

탐지기가 중요해진 것은 제출 요건이 되었기 때문이다. 문학상과 일부 공모전이 AI 사용을 금지하면서, 출판사와 주최 측이 응모작에 탐지 보고서를 첨부하라고 요구하는 경우가 생겼다. 작가에게 탐지기는 두 가지 의미다. 첫째, 자기 원고가 어디까지 "AI처럼 보이는가"를 재는 참고 지표. AI 티를 지우는 퇴고 뒤에 점수가 내려가면 퇴고가 통한 것이다. 둘째, 오탐의 위험. 순수하게 직접 쓴 글이 AI로 판정되어 실격되는 사례가 보고되며, 반박 수단이 마땅치 않다. 그래서 탐지기 점수는 통과 기준이 아니라 점검 도구로 써야 한다. 점수가 높게 나온 문단을 열어 보면 대개 AI 티의 패턴(균일한 문장, 감정 명사, 요약형 결말)이 있고, 그것을 고치면 사람이 읽기에도 좋아진다. 점수를 낮추기 위한 조작(일부러 오타 넣기, 문장 뒤섞기)은 글을 망친다.

예시

서준은 공모전 제출 전에 원고를 탐지기에 넣었다. 전체 AI 확률 34%. 문단별로 보니 세 문단이 80%를 넘었다.

세 문단을 열었다. 하나는 헌터 협회의 등급 체계를 설명하는 문단이었다. 문장 일곱 개가 전부 "~이다"로 끝나고 길이가 비슷했다. 다른 둘은 전투 뒤 주인공의 감상 문단이었다. "안도감이 밀려왔다", "새로운 결의를 다졌다".

그는 설명 문단을 대사로 바꾸고, 감상 문단을 행동(장비를 닦는다, 정산서를 확인한다)으로 바꿨다. 다시 재니 전체 12%. 그러나 그가 얻은 것은 점수가 아니라, 어느 문단이 약했는지에 대한 지도였다.

흔한 실수

• 점수를 판정으로 믿는다. 탐지기는 추정이다. 사람이 쓴 글도 40%가 나올 수 있다.
• 점수를 낮추려고 글을 훼손한다. 오타·비문·뒤섞기는 탐지기를 속일지 몰라도 독자를 속이지 못한다.
• 공모전 규정을 탐지기 점수로 대신한다. 규정은 "AI 사용 여부"를 묻는다. 점수가 낮아도 규정 위반이면 위반이다. 요강을 먼저 읽어라.