Turnitin は、ChatGPT が書いた文章、特にほとんど手を加えずに貼り付けた長い文章にフラグを付けられることがよくあります。出力を編集したり、自分の文章と混ぜたり、ほかのツールにかけたりすると指標の確実性は下がりますが、確実性が下がることは、安全である、あるいは許されているという意味ではありません。先生は、スコアをあなたの下書き、普段の文章、そしてその内容について話せるかどうかと合わせて判断します。
ZeroTell はこのブログを運営し、AI 検出ツールと AI ヒューマナイザーを提供しています。Turnitin は独自の教育機関向け製品を持つ別の会社です。ここで述べる Turnitin についての情報は、すべて同社が公に発表している内容に基づいています。
Turnitin は ChatGPT の文章をどう見ているか
Turnitin は 2023 年、類似度チェック製品に AI ライティング指標を追加しました。大まかに言うと、そのモデルは提出物を区切って読み、各部分が大規模言語モデルによって生成された可能性を推定します。レポートには全体のパーセンテージが表示され、AI 生成の可能性が高いと判断した箇所がハイライトされます。
ChatGPT はそうしたモデルのなかで最も広く使われているため、多くの人が気にするのもこのモデルです。指標の背後にあるモデルは、「ChatGPT」というブランドを読み取っているわけではありません。読み取っているのは、言語モデルに共通する統計的なクセです。予測しやすい語の選択、均一なリズム、滑らかだけれどありきたりなつなぎ言葉などです。
指標そのものと学校での使われ方については、関連記事 Turnitin は AI を検出できる？ をご覧ください。
シナリオ別：よく起きること
Turnitin の外部にいる人には、ある文書を同社のモデルがどう採点するかを正確に言うことはできません。私たちが説明できるのは、検出ツールに見られる一般的な傾向であり、Turnitin 自身のガイダンスもおおむねそれを反映しています。
| 文章の作り方 | よく起きること | 方針上の現実 |
|---|---|---|
| ChatGPT からそのまま貼り付け | ハイライトされる可能性が最も高い | AI による執筆が認められていなければ、ほとんどの場合問題 |
| ChatGPT の下書きを軽く編集 | 大部分がハイライトされたままのことが多い | ほとんどの方針で、やはり AI が生み出した文章 |
| 自分の文章と AI の段落の混在 | AI の部分はハイライトされうるが、自分の部分はされないことが多い | 混在が認められ、開示されているかによる |
| 自分の下書きの文法を ChatGPT が修正 | たいてい影響は小さいが、予測はできない | 認められることが多い。開示が必要か確認を |
| AI の文章を大幅に書き直し | 確実性が下がる。ハイライトされるかは不明 | アイデアと構成はやはり AI 由来 |
| 自分の文章で、AI はまったく不使用 | たいてい低いが、誤検出は起こる | 問題なし。それでも証拠は残しておく |
そのままの出力
未編集の ChatGPT の文章は、検出ツールが最も強い領域です。文章は流暢でバランスが取れており、語のレベルで予測しやすく、まさにこうしたモデルが認識するよう学習しているものです。
軽い編集
いくつかの語を入れ替えたり、冒頭に個人的な一文を加えたりしても、長い文章全体のパターンはほとんど変わりません。検出ツールは1つのフレーズではなく、多くの文にわたって見ています。
混在した文書
レポートが自分の段落と AI の段落を組み合わせていると、指標は一部をハイライトし、ほかはハイライトしないことがあります。先生にはそのムラが見え、それが話し合いのきっかけになることがよくあります。
大幅な書き直し
人が AI の文章を徹底的に書き直すほど、文章は人間のパターンを帯び、どの検出ツールも確信を持てなくなります。しかし大事なのはここです。論旨、構成、根拠が ChatGPT から来ているなら、その文章は、ほとんどの課題が求める意味ではやはりあなたのものではありません。スコアが下がってもそれは変わりません。
スコアが証拠の1つにすぎない理由
Turnitin は、AI 指標を学業上の誠実性に関する判断の唯一の根拠にすべきではないと述べており、誤検出が起こりうることも認めています。AI の使用を疑う先生は、一般に次の点を見ます。
- あなたのほかの文章。 このエッセイは、授業中の文章や以前の課題と同じような書きぶりか？
- あなたの執筆過程。 下書き、メモ、バージョン履歴を見せられるか？
- あなたの理解。 自分の論旨と情報源を会話の中で説明できるか？
- 情報源。 引用文献は実在し、レポートが主張している内容が書かれているか？ChatGPT には、もっともらしいけれど架空の参考文献を作り出す傾向があることが知られています。
- 課題の問い。 ありきたりな問いへの AI の回答は、クラス全体で似通って聞こえることがよくあります。
最後の点は、多くの学生にとって予想外です。複数の人が同じエッセイの問いを ChatGPT に尋ねると、回答の構成や例が似ることがよくあり、30本のレポートを読む先生はそれに気づきます。
学生がよく尋ねるグレーゾーン
ChatGPT の使い方のすべてが、はっきり許可か禁止かに分かれるわけではありません。よく話題になるものを挙げます。
翻訳。 母語でエッセイを書き、ChatGPT に英語へ翻訳してもらう場合。アイデアはあなたのものですが、英語の文はモデルが生成したもので、検出ツールにもそのように読まれるかもしれません。開示すれば認める授業もあれば、特に語学の授業などでは認めないところもあります。尋ねてみましょう。
アウトライン。 ChatGPT が構成を提案し、すべての文は自分で書く場合。多くの先生はこれを問題にしませんが、開示を求める先生もいれば、構成も評価対象の思考の一部と考える先生も少数います。
1つの段落の言い直し。 ぎこちない段落を書き、ChatGPT に整えてもらった場合。その段落は、レポートのほかの部分と読み味が違ってしまうかもしれません。方針で編集の手助けが認められているなら、最初に何を書いたかを示せるよう元のバージョンを残しておきましょう。
フィードバックをもとに自分で直す。 「私の論旨の弱いところは？」と尋ね、自分で直すのは、AI の助けとしてはほぼ最もリスクの低い使い方です。すべての文があなたのもののままだからです。
迷ったときは、自分が何をするつもりかを具体的に書いた短いメッセージを先生に送れば、はっきりした答えが得られます。たいていの先生は、尋ねてもらえることを歓迎します。
ルールの範囲内で ChatGPT を使う
ChatGPT は役に立つ学習パートナーになりえます。その状態を保つ方法は次のとおりです。
- 授業の AI 方針を確認する。 シラバスや授業ページを見ましょう。見当たらなければ尋ねます。
- 書く前に使う。 概念を理解する、問いを生み出す、反論に対して自分の主題を試す、といった使い方です。
- 自分で下書きを書く。 バージョン履歴の残る文書で書きましょう。
- フィードバックに使う。 明快さや構成についての意見をもらい、修正は自分で行います。
- 情報源としては決して使わない。 本物の情報源を見つけ、読み、引用しましょう。
- 求められたら開示する。 AI をどう使ったかについての短い注記だけで十分なことがよくあります。
提出前に自分の文章が AI 検出ツールにどう読まれるかを見たいなら、チェックツールでどの文が型どおりに聞こえるかがわかります。目標スコアとしてではなく、文体についてのフィードバックとして使いましょう。
AI 検出ツール文ごとの AI スコアChatGPT を使っていないのにフラグが付いたら
誤検出は実際に起こり、特定の種類の文章で起こりやすい傾向があります。短い回答、型どおりの実験レポート、テンプレートの多い課題、第二言語で書く人の文章などです。
自分の身に起きたら、次のようにしましょう。
- 慌てたり、むきになったりしない。 フラグは話し合いの始まりであり、判決ではありません。
- 証拠を集める。 バージョン履歴、アウトライン、メモ、リサーチ中のブラウザ履歴、以前の下書きなどです。
- 面談を申し込み、どのように書いたかを先生に順を追って説明しましょう。
- 内容について話し合うこと、または監督のもとでそのテーマについて短い文章を書くことを申し出ましょう。
- 自分の権利を知る。 学校の誠実性に関する方針に、手続きと異議申し立ての方法が書かれています。
AI 検出の誤検出のガイドで、これを順を追って説明しています。
認められた範囲を超えて ChatGPT を使ってしまったら
そういうこともあります。たいていの場合、最善の手は正直になることです。できれば正式な案件になる前に先生と話しましょう。何をなぜ使ったのかを説明し、やり直せるかどうか尋ねます。多くの先生は、否定よりも率直さにずっと好意的に応じますし、隠そうとするとたいてい結果は悪くなります。
重要なポイント
- Turnitin は、そのままの、または軽く編集しただけの ChatGPT の文章によくフラグを付けます。大幅に書き直すとスコアの確実性は下がります。
- スコアが下がっても、AI が生成した文章が授業の方針上認められるようになるわけではありません。
- 先生はパーセンテージだけでなく、下書き、執筆履歴、話し合いを判断材料にします。
- ChatGPT は理解とフィードバックに使い、下書きは自分で書き、求められたら開示しましょう。
- 誤ってフラグが付いたとき、バージョン履歴とメモが最も強い証拠になります。
今取り組んでいる課題のシラバスを開いて、AI に関する項目を今すぐ探してみましょう。ルールを知っていることが、あなたにとって最良の備えです。