글만 보고 AI가 썼는지 확실하게 알 수는 없지만, 여러 신호가 함께 보이면 합리적인 의심을 할 수 있어요. 구체적인 내용이 거의 없는 일반적인 글, 균일한 문장 리듬, 상투적인 표현, 확신에 찬 오류, 존재하지 않는 인용 같은 것들이요. AI 탐지기는 확률 추정치를 더해 줄 뿐, 증거를 주지는 않아요. 공정한 방법은 신호와 점수를 더 자세히 살펴보고 글쓴이와 이야기할 이유로 다루는 것이지, 그것만으로 의혹을 제기할 근거로 삼는 게 아니에요.
글 속의 신호
이 중 어느 것도 단독으로는 아무것도 증명하지 않아요. 꼼꼼하게 쓰는 사람의 글에도 일부가 나타나요. 여러 개가 함께 나타날 때, 특히 내가 아는 글쓴이의 모습과 맞지 않을 때 의미가 있어요.
1. 일반적인 내용, 부족한 구체성
AI 글은 거의 무엇에든 적용될 수 있는 그럴듯한 주장을 하는 경우가 많아요. 다음을 살펴보세요.
- 가상적이고 막연한 예시("어떤 회사는 효율을 높이기 위해 이것을 활용할 수 있다").
- 수업 토론, 지정된 읽기 자료, 글쓴이 자신의 경험에 대한 언급이 없어요.
- 맞는 말처럼 들리지만 실제 과제 질문을 구체적으로 다루지 않아요.
2. 균일한 구조와 리듬
비슷한 길이의 문단이 저마다 주제문으로 시작해 작은 요약으로 끝나요. 문장의 길이와 모양도 비슷해요. 세 가지씩 나열하는 경우가 많아요. 사람의 글은 보통 더 울퉁불퉁해요.
3. 상투적인 어휘와 표현
어떤 단어와 표현은 일반적인 글보다 AI 출력에 훨씬 자주 나와요. 영어라면 "delve", "tapestry", "it's important to note", "navigate the complexities", "plays a crucial role" 같은 것들이에요. 하나만 있으면 아무 의미가 없어요. 여러 개가 몰려 있으면 눈여겨볼 만해요.
4. 입장 없는 얼버무림
모든 논점에서 균형을 맞추고("한편으로는... 다른 한편으로는") 답은 "여러 요인에 달려 있다"고 결론짓는 글이에요. 논증 과제인데 논증이 없다면 신호예요. 다만 확신이 없는 학생들의 흔한 습관이기도 해요.
5. 확신에 찬 오류와 날조
글에서 볼 수 있는 가장 강력한 신호예요. 다음을 살펴보세요.
- 존재하지 않는 논문이나 책을 인용하거나, 실제로 있지만 글에서 주장하는 내용은 담고 있지 않은 자료를 인용해요.
- 실존 인물이 했다는 인용문인데 어디에서도 찾을 수 없어요.
- 그럴듯하지만 틀린 날짜, 숫자, 정의.
참고문헌 두세 개를 확인해 보세요. 존재하지 않는다면 원인이 무엇이든 문제가 있다는 구체적이고 검증 가능한 증거예요.
6. 글쓴이와의 불일치
교사와 편집자에게 가장 유용한 비교 대상은 그 사람의 다른 작업이에요. 수업 중 쓴 글과 비교해 어휘, 구조, 완성도가 갑자기 뛰었다면 대화해 볼 만해요. 반복해서 쓴 용어를 설명하지 못하는 경우도 마찬가지예요.
글 밖의 신호
때로는 단어보다 맥락이 더 많은 것을 알려 줘요. 이것들도 고려할 만하지만, 역시 조심스럽게 다루세요.
- 작성 과정의 증거. 문서의 버전 기록을 보면 글이 몇 시간이나 며칠에 걸쳐 자라난 게 아니라 한 번에 크게 붙여 넣어진 것으로 나타날 수 있어요. 결정적이지는 않지만(다른 곳에서 초안을 쓰고 붙여 넣는 사람도 있어요), 초안 작성 과정을 물어볼 이유는 돼요.
- 남아 있는 프롬프트나 챗봇 문구. 가끔 "물론이죠! 요청하신 에세이입니다..."나 "저는 AI 언어 모델로서" 같은 챗봇 응답의 흔적이 글에 남아 있어요. 꼼꼼한 제출물에서는 드물지만, 다른 이유로는 설명하기 어려워요.
- 과제 질문에서 벗어남. 내가 낸 질문과 조금 다른 질문, 대개 더 일반적인 버전의 질문에 답하고 있어요.
- 형식상의 특이점. 특이한 제목 스타일, 모든 문단 앞의 굵은 라벨, 최종 문서에서 렌더링되지 않은 마크다운 기호는 채팅 인터페이스에서 복사한 글임을 시사할 수 있어요.
- 시기가 지났거나 범위를 벗어난 내용. 수업에서 다루지 않았고 어디서 찾았는지 설명하지 못하는 아이디어나 예시를 인용해요.
글 속의 신호와 마찬가지로, 단서 하나가 아니라 패턴을 찾고 열린 마음을 유지하세요. 이것들 모두 경우에 따라 무고한 이유가 있을 수 있어요.
AI 탐지기가 알려 줄 수 있는 것과 없는 것
AI 탐지기는 단어 선택이 얼마나 예측 가능한지, 문장 사이에 변화가 얼마나 있는지 같은 글의 통계적 특성을 분석하고, 모델이 만들었을 가능성을 추정해요. 예를 들어 ZeroTell의 AI 탐지기는 가장 기계처럼 보이는 문장을 하이라이트해서, 숫자 하나에 의존하지 않고 점수가 어디서 나왔는지 볼 수 있게 해 줘요.
AI 탐지기문장별 AI 점수잘 쓰면 탐지기는 어디를 봐야 할지 정하는 데 도움이 돼요. 한계도 중요해요.
- 사실이 아니라 확률이에요. 높은 점수는 글이 AI 출력과 닮았다는 뜻이지, AI가 썼다는 뜻이 아니에요.
- 오탐이 일어나요. 짧은 글, 정형화된 장르, 비원어민의 글, 많이 고친 글은 잘못 판단될 가능성이 더 높아요.
- 미탐도 일어나요. 편집되었거나 섞인 AI 글은 낮게 나올 수 있어요.
- 도구마다 결과가 달라요. 같은 글이 탐지기마다 아주 다른 점수를 받을 수 있어요.
- 점수는 의도를 설명하지 않아요. 학생이 문법 도움이나 브레인스토밍처럼 수업에서 허용한 방식으로 AI를 썼을 수도 있어요.
많은 대학과 탐지 업체가 점수를 부정행위 판정의 유일한 근거로 쓰지 말라고 권고해요. 타당한 원칙이에요.
의심이 들 때의 공정한 절차
교사든 편집자든 관리자든, 합리적인 순서는 다음과 같아요.
- 구체적인 신호를 기록하세요. 무엇 때문에 의심이 들었는지 적어 두세요. 특정 구절, 빠진 구체성, 검증할 수 없는 인용 같은 것들이요.
- 사실과 출처를 검증하세요. 참고문헌을 찾아보세요. 날조된 출처는 구체적이고, 문체 해석에 의존하지 않아요.
- 알고 있는 작업과 비교하세요. 글쓴이의 이전 과제, 수업 중 글쓰기, 이전 보고서를 보세요.
- 필요하다면 탐지기를 돌리세요. 결과는 데이터 하나로 다루고, 어떤 도구와 설정을 썼는지 기록하세요.
- 글쓴이와 이야기하세요. 중립적이고 궁금해하는 어조로 작성 과정, 출처, 선택에 대해 물어보세요. 초안이나 버전 기록을 보여 달라고 하세요.
- 기관의 절차를 따르세요. 우려가 남는다면 비공식적인 처벌 대신 공식 절차를 이용하세요.
"이 에세이를 어떻게 완성했는지 더 듣고 싶어요. 출처를 어떻게 찾았는지 차근차근 설명해 주고, 이전 초안이나 메모를 보여 줄 수 있을까요? 채점을 마치기 전에 작성 과정을 이해하고 싶어서요."
이렇게 시작하면 정직한 글쓴이에게 자기 작업을 보여 줄 공정한 기회를 주게 되고(그게 바로 원하는 것이죠), 어느 쪽이든 상황이 빨리 분명해지는 경우가 많아요.
처음부터 AI 사용을 판단하기 쉽게 만들기
탐지는 어렵기 때문에, 예방과 분명한 기대치가 더 큰 효과를 내요.
- 과제마다 명확한 AI 정책을 쓰세요. 무엇이 허용되고 무엇을 밝혀야 하는지요.
- 작성 과정 자료를 요청하세요: 개요, 초안, 주석을 단 출처, 작업을 어떻게 했는지에 대한 짧은 소감문.
- 수업 토론, 지역 데이터, 개인적인 경험과 연결되는 구체적인 과제 질문을 설계하세요.
- 학생마다 목소리의 기준선을 만들 수 있도록 수업 중 글쓰기를 일부 포함하세요.
잘못 판단될까 걱정되는 글쓴이라면
초안을 보관하고 버전 기록이 남는 도구를 쓰세요. 내가 읽은 것과 경험에서 나온 구체적인 내용으로 쓰세요. 의심을 받는다면 AI를 쓰지 않았다는 걸 증명하는 법 가이드에서 어떤 증거가 도움이 되는지 설명해요.
핵심 정리
- 글 속의 신호는 의심을 키울 수 있지만, 문제를 결론짓는 경우는 드물어요.
- 날조된 인용과 사실이 가장 구체적인 증거예요.
- 탐지기 점수는 확률적이며 양방향으로 틀릴 수 있어요.
- 알고 있는 작업과 비교하고, 출처를 검증하고, 글쓴이와 이야기하세요.
- 점수만 보고 누군가에게 혐의를 씌우지 마세요.