네, Turnitin에는 제출물 중 얼마만큼이 AI로 생성됐을 가능성이 있는지 추정하는 AI 작성 지표가 있으며, 교수자에게 백분율과 하이라이트된 구절로 표시돼요. 이것은 확률에 기반한 신호일 뿐 증거가 아니고, Turnitin 스스로도 부정행위 판단의 유일한 근거가 되어서는 안 된다고 밝혔어요. 이 지표에 얼마나 비중을 둘지는 소속 기관의 정책과 교수자의 판단에 달려 있어요.
ZeroTell은 이 블로그를 운영하며 자체 AI 탐지기를 만들고 있어요. Turnitin은 학교를 대상으로 판매하는 별개의 회사이며, 아래 내용은 Turnitin의 공개 발표와 문서를 바탕으로 했어요.
AI 작성 지표란 무엇인가요
Turnitin은 웹페이지, 출판물, 과거 제출물과 과제를 비교하는 유사도 검사로 가장 잘 알려져 있어요. 2023년에는 AI가 생성한 글을 찾는 별도의 기능을 추가했어요.
이 지표는 유사도 검사와 다르게 작동해요. 텍스트를 데이터베이스와 대조하는 대신, 텍스트를 구간별로 읽고 각 구간이 대규모 언어 모델로 생성됐을 가능성을 추정해요. 결과는 다음과 같아요.
- 모델이 AI 생성 가능성이 높다고 판단한, 분석 대상 텍스트의 전체 백분율
- 해당 구절의 위치를 보여 주는 하이라이트된 구간
Turnitin은 나중에 문장 바꾸기 도구를 거친 AI 텍스트도 식별하려고 모델이 시도한다고 밝혔고, 모델을 꾸준히 업데이트해 왔어요. 탐지기는 계속 바뀌기 때문에, 지금 무엇을 잡아내고 무엇을 못 잡아내는지에 대한 구체적인 주장은 내일이면 맞지 않을 수 있어요.
ChatGPT 텍스트와 수정본에 관한 구체적인 내용은 Turnitin은 ChatGPT를 탐지할 수 있을까?를 참고하세요.
AI 점수는 누가 볼 수 있나요
가장 자주 나오는 질문 중 하나이고, 답을 들으면 학생들이 놀라곤 해요. 일반적인 설정에서 AI 작성 보고서는 과제를 제출한 학생이 아니라 교수자와 관리자에게 보여요. 세부 사항은 소속 기관의 설정에 따라 정해져요.
즉, 교수자가 공유하지 않으면 내 점수를 모를 수도 있어요. 궁금하거나 걱정된다면 물어보는 것이 합리적이에요.
Turnitin과 다른 이들이 인정하는 한계
AI 탐지는 확률에 기반해요. Turnitin만의 문제가 아니라 모든 탐지기에 해당하는 이야기예요. 널리 논의되는 한계는 다음과 같아요.
- 오탐. 사람이 쓴 글도 표시될 수 있어요. Turnitin도 이를 인정했으며, 낮은 백분율은 신뢰도가 떨어지기 때문에 보고서에서 더욱 신중하게 표시한다고 밝혔어요.
- 짧은 글. 탐지기가 패턴을 판단하려면 충분한 단어가 필요해요. 아주 짧은 제출물은 평가하기 어려우며, Turnitin은 이 지표에 최소 길이를 두고 있어요.
- 정형화된 글. 실험 보고서, 법률 요약, 양식이 정해진 과제는 원래 예측 가능하게 읽혀요.
- 영어가 모국어가 아닌 작성자. 연구와 교육자 보고서에서는 더 단순하고 규칙적인 영어가 탐지기에 더 "AI처럼" 보일 수 있다는 우려가 제기됐어요.
- 혼합되거나 편집된 글. 사람과 AI가 함께 문서를 다듬으면 결과를 해석하기가 더 어려워져요.
기관이 실제로 활용하는 방식
정해진 하나의 방식은 없어요. 크게 보면 학교들은 몇 가지 유형으로 나뉘어요.
| 방식 | 모습 | 학교가 택하는 이유 |
|---|---|---|
| 지표 비활성화 | AI 작성 보고서를 끔 | 오탐과 공정성에 대한 우려 |
| 대화를 위한 신호 | 교수자가 볼 수는 있지만 추가 조사가 필수 | 인지와 신중함 사이의 균형 |
| 여러 증거 중 하나로 공식 활용 | 초안, 면담과 함께 점수를 학업 윤리 기록에 포함 | 여러 단계의 확인을 거치는 체계적 절차 |
| 수업별 선택 | 교수자마다 결정 | 과제와 AI 정책이 서로 다름 |
여러 대학이 신뢰성 우려를 이유로 AI 지표를 비활성화하거나 제한했다고 공개적으로 발표했어요. 단독으로 사용해서는 안 된다는 지침과 함께 유지하는 곳도 있어요.
신중한 교수자가 높은 점수를 보고 하는 일
책임감 있는 검토에는 보통 다음이 포함돼요.
- 하이라이트된 구절을 읽고 실제로 어색하게 느껴지는지 확인하기.
- 수업 중에 쓴 글을 포함해 학생의 다른 과제와 비교하기.
- 인용 확인하기. AI는 존재하지 않는 출처를 만들어 내는 경우가 많기 때문이에요.
- 내용과 작성 과정에 대해 학생과 이야기하기.
- 초안이나 버전 기록 요청하기.
학생이 예상할 수 있는 것
점수에 대해 질문을 받으면 보통 설명할 기회가 주어져요. 절차, 일정, 이의 제기 방법은 학교의 학업 윤리 규정에 나와 있어야 해요. 필요해지기 전에 미리 읽어 두세요.
보고서 읽기: 짧은 예시
교수자가 1,800단어 분량의 역사 에세이를 열었는데, 중간 정도의 AI 백분율과 함께 끝부분 두 문단이 하이라이트돼 있다고 상상해 보세요.
성급하게 읽으면 "이 학생이 부정행위를 했다"고 결론 내려요. 신중하게 읽으면 다른 질문을 던져요. 하이라이트된 문단이 원래 일반적일 수밖에 없는 결론과 배경 사실 요약인가요? 수업 자료와 연결된 구체적인 주장을 하나요, 아니면 이 주제의 어느 에세이에나 나올 법한 넓은 진술인가요? 그 부분에서 인용 방식이 갑자기 바뀌나요? 학생의 버전 기록을 보면 그 문단들이 시간을 두고 입력됐나요, 아니면 한 번에 붙여 넣어졌나요?
어떤 때는 답이 AI 사용을 가리켜요. 어떤 때는 새벽 1시에 밋밋한 결론을 쓴 학생을 가리켜요. 지표는 어디를 봐야 할지 표시했을 뿐이고, 판단은 여전히 수업과 학생을 아는 사람이 해야 해요.
지표를 사용하는 교사라면
AI 점수는 결론이 아니라 더 자세히 살펴보라는 신호로 쓸 때 가장 유용해요. 다음과 같은 방법이 도움이 돼요.
- 강의계획서에 AI 정책을 명확히 밝히세요. 무엇이 허용되는지, 사용 사실을 밝혀야 하는지 포함하세요.
- 과정이 드러나는 과제를 설계하세요. 계획서, 개요, 초안, 성찰문 등이 있어요.
- 학기 초에 부담 없는 수업 중 글쓰기로 학생들의 문체를 파악하세요.
- Turnitin 스스로 권하듯 낮은 백분율은 더욱 신중하게 다루세요.
- 비난하기 전에 대화하세요. 많은 경우가 대화로 해결돼요.
학생을 위한 자기 보호법
학교가 이 지표를 쓰든 안 쓰든, 다음 습관이 도움이 돼요.
- 수업마다 규칙을 확인하세요. AI 정책은 교수자마다 다를 수 있어요.
- Google Docs나 Microsoft 365처럼 버전 기록이 남는 문서에서 작성하세요.
- 자료 조사를 하면서 메모와 출처를 정리해 두세요.
- 수업에서 요구한다면 AI 도움을 받은 사실을 밝히세요.
- 점수를 조작하려 하지 마세요. 탐지기에 읽히는 방식을 바꾸려고 텍스트를 도구에 돌리는 것은 많은 규정에서 은폐로 간주되며, 결과가 좋은 경우는 드물어요.
AI를 쓰지 않았는데 글이 표시됐다면 증거를 모아 면담을 요청하세요. 무엇을 준비해야 하는지는 AI 탐지 오탐 글에서 설명해요.
유사도, AI 작성, 그리고 각각이 잡아내는 것
Turnitin의 두 보고서를 머릿속에서 분리해 두면 도움이 돼요.
- 유사도 보고서: "이 텍스트가 이미 존재하는 무언가와 일치하나요?" 베끼기와 잘못된 인용을 잡아내요.
- AI 작성 지표: "이 텍스트가 언어 모델에서 나온 것처럼 읽히나요?" 출처가 아니라 글쓰기 패턴을 봐요.
학생은 AI 없이도 표절할 수 있고(웹사이트에서 베끼기), 기존 출처를 표절하지 않고도 AI를 쓸 수 있어요(새로 생성된 AI 텍스트). 그래서 학교는 둘 다 사용하고, 어느 하나만으로는 전체 그림을 알 수 없어요.
핵심 정리
- Turnitin의 AI 작성 지표는 AI가 썼을 가능성이 높은 텍스트의 비율을 추정하고 해당 구절을 하이라이트해요.
- 기관 설정에 따라 다르지만, 보통 학생이 아니라 교수자에게 보여요.
- 확률에 기반하므로 오탐이 발생하며, 특히 짧은 글, 정형화된 글, 비원어민의 글에서 그래요.
- 학교마다 기능을 끄는 곳부터 여러 증거 중 하나로 쓰는 곳까지 방식이 크게 달라요.
- 가장 좋은 보호책은 수업의 AI 정책을 따르고 글을 어떻게 썼는지 기록을 분명히 남기는 거예요.
다음 단계: 학교의 학업 윤리 규정을 찾아 AI에 관한 부분을 읽어 보세요. 생각보다 짧은 경우가 많아요.