はい、Turnitin には AI ライティング指標があり、提出物のうち AI が生成した可能性が高い部分の量を推定して、パーセンテージとハイライトされた箇所として教員に表示します。これは確率に基づくシグナルであって証拠ではなく、Turnitin 自身も不正行為の判断の唯一の根拠にすべきではないとしています。どれだけ重視されるかは、所属機関の方針と教員の判断によります。
このブログは ZeroTell が運営しており、ZeroTell は独自の AI 検出ツールを提供しています。Turnitin は学校向けに販売している別の会社であり、以下の内容は同社の公式発表とドキュメントに基づいています。
AI ライティング指標とは
Turnitin は類似度チェック、つまりレポートをウェブページ、出版物、過去の提出物と照合する機能で最もよく知られています。2023年には、AI が生成した文章を探す別の機能が追加されました。
この指標は類似度チェックとは仕組みが異なります。文章をデータベースと照合するのではなく、文章を区切って読み、それぞれの部分が大規模言語モデルによって生成された可能性を推定します。出力されるのは次のとおりです。
- 対象となる文章のうち、モデルが AI 生成の可能性が高いとみなした部分の全体のパーセンテージ
- それらの箇所を示すハイライトされた部分
Turnitin は、後から言い換えツールにかけた AI の文章も見つけられるようモデルを工夫しているとしており、モデルも随時更新しています。検出ツールは変化するため、現時点で何を検出できる・できないという具体的な主張は、明日には古くなっているかもしれません。
ChatGPT の文章とその編集というケースについては、Turnitin は ChatGPT を検出できるかをご覧ください。
AI スコアを見られるのは誰か
これは最もよくある質問のひとつで、その答えに学生は驚きます。一般的な設定では、AI ライティングのレポートを見られるのは教員と管理者であり、提出した学生本人ではありません。詳細は所属機関の設定によって決まります。
つまり、教員が共有しない限り、自分のスコアを知らない可能性があります。気になる場合や心配な場合は、尋ねても問題ありません。
Turnitin などが認めている既知の限界
AI 検出は確率的なものです。これは Turnitin だけへの批判ではなく、すべての検出ツールに当てはまります。広く議論されている限界には次のようなものがあります。
- 誤検出。 人が書いた文章がフラグされることがあります。Turnitin もこれを認めており、低いパーセンテージは信頼性が低いため、レポートではより慎重な形で表示するとしています。
- 短い文章。 検出ツールがパターンを判断するには十分な語数が必要です。非常に短い提出物は評価が難しく、Turnitin はこの指標に最低語数を設けています。
- 定型的な文章。 実験レポート、法律の要約、テンプレートに沿った課題は、もともと予測しやすく読めます。
- 英語を母語としない書き手。 研究や教育者の報告では、よりシンプルで規則的な英語が検出ツールにとって「AI らしく」見えやすいという懸念が示されています。
- 混在した文章や編集された文章。 人と AI の両方が文書に関わると、結果の解釈は難しくなります。
教育機関での実際の使われ方
決まったやり方はひとつではありません。大まかに言うと、学校はいくつかのタイプに分かれます。
| アプローチ | 具体的な形 | 学校がそれを選ぶ理由 |
|---|---|---|
| 指標をオフにする | AI ライティングのレポートを無効化 | 誤検出と公平性への懸念 |
| 話し合いのためのシグナル | 教員は閲覧できるが、さらなる調査が必須 | 把握することと慎重さのバランス |
| 複数ある正式な証拠のひとつ | 下書きや面談とともに、スコアを学術不正の記録に含める | 複数のチェックを伴う体系的な手続き |
| 授業ごとの判断 | 各教員が決める | 課題や AI の方針がそれぞれ異なる |
いくつかの大学は、信頼性への懸念を理由に AI 指標を無効化または制限したことを公表しています。単独で使ってはならないというガイダンス付きで残している大学もあります。
慎重な教員はスコアが高いときに何をするか
責任あるレビューには、通常次のことが含まれます。
- ハイライトされた箇所を読み、本当に不自然に感じるかを確認する。
- 学生のほかの作品と比べる。授業中に書いた文章も含めて。
- 引用を確認する。AI は存在しない情報源を出すことがよくあるためです。
- 学生と話す。内容と執筆過程について。
- 下書きやバージョン履歴を求める。
学生が知っておくべきこと
スコアについて尋ねられた場合、たいていは説明する機会が与えられます。手続き、期限、異議申し立ての方法は、学校の学術的誠実性に関する規程に書かれているはずです。必要になる前に読んでおきましょう。
レポートの読み方：短い例
ある教員が1,800語の歴史エッセイを開き、中程度の AI パーセンテージと、終盤でハイライトされた2つの段落を目にしたとします。
急いで読めば「この学生は不正をした」となります。慎重に読むなら、別の問いを立てます。ハイライトされた段落は、もともとありきたりになりがちな結論や背景事実のまとめではないか。授業の文献に結びついた具体的な論点なのか、それともこのテーマのどのエッセイにも出てきそうな大まかな記述なのか。そこで引用スタイルが急に変わっていないか。学生のバージョン履歴では、その段落は時間をかけて打ち込まれたのか、一度に貼り付けられたのか。
答えが AI の利用を示すこともあります。夜中の1時に味気ない結論を書いた学生を示すこともあります。指標はどこを見るべきかを示しただけで、判断には授業と学生をよく知る人が必要です。
指標を使う教員の方へ
AI スコアは、結論としてではなく、詳しく見るきっかけとして使うときに最も役立ちます。次のような取り組みが有効です。
- AI の方針をシラバスに明記する。 何が許されるか、開示が必要かどうかも含めて。
- 執筆過程が見える課題を設計する。 計画書、アウトライン、下書き、振り返りなど。
- 学生の文体を知っておく。 学期の早い段階で、成績への影響が小さい授業内の作文を取り入れましょう。
- 低いパーセンテージは特に慎重に扱う。 Turnitin 自身もそう勧めています。
- 疑いをかける前に話し合う。 話し合いで解決するケースは少なくありません。
学生の方へ：自分を守るために
学校がこの指標を使っているかどうかにかかわらず、次の習慣が役立ちます。
- 授業ごとのルールを把握する。 AI の方針は教員によって異なることがあります。
- バージョン履歴が残る文書で書く。 Google ドキュメントや Microsoft 365 などです。
- メモと情報源を整理しておく。 調べながら記録しましょう。
- 授業で求められたら AI の支援を開示する。
- スコアをごまかそうとしない。 検出ツールからの見え方を変えるために文章をツールにかけることは、多くの規程で隠蔽として扱われ、たいていうまくいきません。
AI を使っていないのにフラグされた場合は、証拠を集めて面談を申し込みましょう。何を持っていけばよいかは、AI 検出の誤検出の記事で説明しています。
類似度と AI ライティング、それぞれが見つけるもの
Turnitin の2つのレポートは、頭の中で分けて考えると理解しやすくなります。
- 類似度レポート：「この文章はすでに存在する何かと一致するか？」コピーや不適切な引用を見つけます。
- AI ライティング指標：「この文章は言語モデルから出てきたように読めるか？」情報源ではなく、文章のパターンを見ます。
学生は AI を使わずに盗用することも（ウェブサイトからのコピー）、既存の情報源を盗用せずに AI を使うこともできます（新たに AI が生成した文章）。だからこそ学校は両方を使い、どちらか一方だけでは全体像がわからないのです。
まとめ
- Turnitin の AI ライティング指標は、AI が書いた可能性が高い文章の割合を推定し、その箇所をハイライトします。
- 教育機関の設定にもよりますが、通常は学生ではなく教員が見られます。
- 確率的なものであり、特に短い文章、定型的な文章、母語でない人の文章では誤検出が起こります。
- 学校の対応は、オフにするところから証拠のひとつとして使うところまでさまざまです。
- 最善の自衛策は、授業の AI の方針に従い、どう書いたかの記録をはっきり残しておくことです。
次のステップ：学校の学術的誠実性に関する規程を探して、AI に関する部分を読んでみましょう。たいていは思っているより短いはずです。