AI 탐지기는 글의 통계적 패턴을 분석하고, 이를 사람의 글과 기계의 글에서 전형적으로 나타나는 패턴과 비교하는 방식으로 작동해요. 대부분은 예측 가능성(각 단어가 얼마나 예상되는지)을 재는 지표와, 라벨이 붙은 대량의 예시로 학습한 분류기를 함께 써요. 결과는 글 전체나 개별 문장이 AI가 생성한 글과 닮았을 확률이지, 누가 썼는지에 대한 증거가 아니에요.
이 요약 뒤에는 흥미로운 세부 사항이 많이 숨어 있어요. 이를 이해하면 탐지기 결과를 적절한 수준으로만 믿을 수 있어요.
핵심 아이디어: AI 글은 예측 가능해요
언어 모델은 단어를 하나씩 골라 가며 글을 써요. 매 단계에서 다음에 올 가능성이 가장 높은 단어를 추정하고, 보통 상위 후보 중 하나를 골라요. 그래서 글이 매끄럽고 유창하지만, 통계적으로는 "안전한" 글이 돼요.
사람은 그만큼 일관적이지 않아요. 엉뚱한 단어를 고르고, 우리끼리만 아는 농담을 넣고, 갑자기 딴 얘기를 하고, 문장이 이리저리 흘러가요. 실수도 해요. 이런 버릇이 우리 글의 통계에 지문처럼 남아요.
AI 탐지기는 그 차이를 측정하려고 해요. 사실상 이렇게 묻는 셈이에요. "이 글은 언어 모델이 자연스럽게 만들어 낼 법한 글과 얼마나 닮았나?"
신호 1: 퍼플렉시티
퍼플렉시티는 '놀라움'의 척도예요. 문장 하나를 단어 단위로 언어 모델에 입력한다고 해 볼게요. 모델은 매 단계에서 다음 단어를 예측해요. 실제 단어가 모델이 예상한 단어라면 놀라움이 낮고, 특이한 단어라면 놀라움이 높아요.
- 낮은 퍼플렉시티: 예측 가능한 선택으로 가득한 글이에요. 예: "오늘 날씨는 맑고 따뜻하다."
- 높은 퍼플렉시티: 예상 밖의 선택이 들어 있는 글이에요. 예: "오늘 날씨는 사춘기 아이처럼 뾰로통하다."
AI가 생성한 글은 그 글을 만든 모델이 가능성 높은 단어를 선호했기 때문에 퍼플렉시티가 낮은 경우가 많아요. 하지만 사람이 쓴 글 중에도 퍼플렉시티가 낮은 글이 많아요. 사용 설명서, 정의, 법률 문서, 꼼꼼한 사람이 쓴 단순한 문장 같은 것들이요. 이 겹침이 오탐(false positive)의 주요 원인 중 하나예요.
신호 2: 버스티니스
버스티니스는 한 문장 안이 아니라 글 전체에 걸친 변화를 봐요. 사람은 몰아치듯 쓰는 경향이 있어요. 길고 구불구불한 문장 다음에 짧은 문장. 그리고 어쩌면 조각난 문장 하나. AI 모델은 비슷한 길이와 구조의 문장을 연달아 만들어 내는 경우가 많아요.
탐지기는 글 전체에서 문장 길이, 복잡도, 퍼플렉시티가 얼마나 오르내리는지를 측정해요. 아주 고른 글은 점수를 AI 쪽으로, 변화가 큰 글은 사람 쪽으로 기울게 해요.
다시 말하지만 이것은 경향이지 규칙이 아니에요. 체계적인 실험 보고서를 쓰는 학생은 일부러 고르고 일관된 문장을 써요.
신호 3: 학습된 분류기
요즘 탐지기는 단순한 공식에만 의존하는 경우가 드물어요. 대부분은 두 범주를 구분하도록 학습된 머신러닝 모델, 즉 분류기를 사용해요.
학습 과정은 대략 이래요.
- 예시 수집. 사람이 쓴 것으로 확인된 글(에세이, 기사, 커뮤니티 게시글)과 여러 AI 모델이 생성한 글을 대량으로 모아요.
- 라벨 붙이기. 각 예시에 사람 또는 AI라고 표시해요.
- 모델 학습. 분류기는 두 그룹을 구분하는 특징을 학습해요. 미묘한 특징이 수천 개에 이르는 경우도 많아요.
- 테스트와 보정. 개발자는 모델이 본 적 없는 예시로 성능을 확인하고, 무엇을 "AI일 가능성 높음"으로 볼지 기준값을 정해요.
분류기는 퍼플렉시티와 버스티니스를 입력으로 쓰기도 하고, 어휘 패턴, 문장부호 습관, 사람이라면 이름 붙일 생각조차 못 할 특징도 함께 써요.
AI 탐지기문장별 AI 점수신호 4: 어휘와 표현 패턴
언어 모델에는 즐겨 쓰는 단어와 표현이 있어요. 특정한 접속 표현, 추상 명사, 거창한 문장이 일반적인 사람의 글보다 AI 글에 더 자주 나와요. 탐지기는 이런 선호를 학습할 수 있어요.
AI스러운 표현이 글 자체를 약하게 만드는 이유도 여기에 있어요. 막연하고 그럴듯해 보이는 단어에 기댄 문단은, 누가 썼든 구체적인 내용으로 이루어진 문단보다 전달하는 게 적어요.
문장 점수에서 문서 점수로
ZeroTell을 포함한 많은 탐지기는 문장 단위로 점수를 매긴 다음, 그 결과를 합쳐 문서 전체의 점수를 내요. 이 방식에는 두 가지 장점이 있어요.
- 투명성. 어떤 문장이 점수를 끌어올렸는지 볼 수 있어요.
- 혼합된 문서. 한 부분만 AI가 생성했다면, 문장 단위 점수로 모든 것을 하나의 숫자로 뭉뚱그리지 않고 그 부분을 보여 줄 수 있어요.
문장 점수를 합치는 방식은 도구마다 달라요. 평균을 내는 도구도 있고, 긴 문장에 더 큰 가중치를 주는 도구도 있고, 표시된 문장이 몰려 있으면 추가 로직을 적용하는 도구도 있어요. 같은 글인데도 탐지기마다 숫자가 다르게 나오는 이유 중 하나예요.
탐지기가 틀리는 이유
위의 모든 단계에 추정이 들어가므로, 오류는 구조적으로 피할 수 없어요.
| 오류의 원인 | 일어나는 일 |
|---|---|
| 짧은 글 | 안정적인 통계를 내기에 데이터가 너무 적음 |
| 정형화된 장르 | 사람의 글이 예측 가능해 보임 |
| 외국어로 쓴 글 | 단순한 어휘가 AI 패턴과 닮음 |
| 많이 고친 글 | 사람이 손본 AI 글은 지문이 사라짐 |
| 새로운 모델 | 분류기가 그 문체의 예시를 거의 보지 못함 |
| 학습 데이터 공백 | 특정 장르나 주제가 학습 데이터에 적게 들어 있음 |
구조적인 트레이드오프도 있어요. 기준값을 낮추면 AI 글을 더 많이 잡아내지만 사람의 글도 더 많이 표시해요. 높이면 사람은 보호되지만 AI 글을 더 많이 놓쳐요. 어떤 설정도 두 가지 오류를 모두 없애지는 못해요. 더 자세한 내용은 AI 탐지기는 얼마나 정확할까를 참고하세요.
탐지기가 하지 않는 일
탐지기를 실제보다 강력하게 상상하기 쉬워요. 탐지기는 다음과 같은 일을 하지 않아요.
- 인터넷에서 "원본" AI 대화를 찾아내기
- 챗봇의 로그나 내 계정 기록에 접근하기
- 글쓴이, 과제, 초안 작성 과정에 대해 아는 것
- 의도나 부정행위를 증명하기
탐지기는 눈앞의 글만 봐요. 그래서 사람의 판단, 초안, 대화가 여전히 꼭 필요해요.
실제 예시
같은 주제를 다룬 짧은 글 두 개를 생각해 볼게요. 첫 번째는 전형적인 챗봇 출력이에요. "규칙적인 운동은 신체 건강과 정신 건강 모두에 수많은 이점을 제공합니다. 심혈관 건강을 개선하고 스트레스 수준을 낮출 수 있습니다." 두 번째는 사람이 쓴 글이에요. "무릎을 고치려고 달리기를 시작했다. 정작 고쳐진 건 잠이었는데, 나보다 의사가 더 놀랐다."
탐지기는 아마 첫 번째 글을 더 AI 같다고 판단할 거예요. 단어 하나하나가 예측하기 쉽고, 문장 길이가 비슷하며, 어휘가 일반적이에요. 두 번째 글에는 개인적인 시각, 예상 밖의 전환, 고르지 않은 리듬이 있어요. 하지만 첫 번째 글도 사람이 얼마든지 썼을 수 있다는 점에 주목하세요. 이를테면 건강 안내 책자에서요. 탐지기는 사람이 아니라 패턴을 봐요.
표절 검사기와의 차이
AI 탐지기와 표절 검사기를 헷갈리는 사람이 많아요. 표절 검사기는 내 글을 기존 출처 데이터베이스와 비교해 일치하는 구절을 찾아요. AI 탐지기는 특정 출처와 비교하지 않고 통계적 패턴을 찾아요. AI가 쓴 글은 표절이라는 의미에서는 "독창적"인 경우가 많아서, 표절 검사기에 전혀 걸리지 않을 수도 있어요. 다른 쪽 이야기는 표절 검사기의 작동 원리 가이드에서 설명해요.
이 지식을 잘 활용하는 법
글을 쓰는 사람이라면, 교훈은 통계를 속이라는 것이 아니에요. 막연하고 획일적이며 상투적인 표현이 가득한 글은 약한 글이라는 거예요. 구체적인 예시, 솔직한 의견, 자연스러운 변화가 글을 더 읽기 좋게, 더 분명하게 내 글로 만들어 줘요.
글을 검토하는 사람이라면, 교훈은 하이라이트를 읽고, 장르와 글쓴이를 고려하고, 점수를 여러 증거 중 하나로 다루라는 거예요.
핵심 정리
- 탐지기는 글이 AI 글쓰기 패턴과 얼마나 가까운지를 추정해요.
- 대표적인 신호는 퍼플렉시티(예측 가능성), 버스티니스(변화), 어휘 습관, 학습된 분류기예요.
- 문장 단위 점수로 어떤 부분이 결과를 이끌었는지 알 수 있어요.
- 오류는 짧은 글, 정형화된 장르, 외국어로 쓴 글, 편집, 새로운 모델에서 생겨요.
- 탐지기 결과는 확률일 뿐, 결코 작성자에 대한 증거가 아니에요.