ZeroTell の AI 検出ツールは、文章を文ごとに読み、機械生成の文章に最もよく似た文をハイライトし、それらのシグナルを組み合わせて文書全体のパーセンテージを出します。文章のどの部分が AI の出力に似ているかを確認するのに役立つ方法ですが、ほかのすべての検出ツールと同じく確率に基づいて動いているため、間違えることがあります。私たちは精度のパーセンテージを公表していません。あらゆる種類の文章にわたる性能を、1つの数値で誠実に表すことはできないからです。
このページは、ZeroTell を開発しているチームが書いています。ツールが何をするのか、どこに限界があるのか、結果をどう賢く使えばよいのかを理解していただきたいと考えています。
ZeroTell が文章を採点する仕組み
文書を検出ツールに貼り付けると、いくつかの段階を経て処理されます。
- 分割。 1つの文書にはさまざまな文体が混在していることが多いため、文章を文単位に分けます。導入部はありきたりでも、本文は個人的な詳細に満ちている、ということもあります。
- 文ごとの採点。 各文について、非常に予測しやすい語の選択、均一なリズム、決まり文句といった、AI 生成の文章によく見られるパターンを評価します。強く AI らしく見える文はハイライトされます。
- 文書全体のスコア。 文ごとのスコアを平均して、文書全体の1つのパーセンテージにします。このとき、長い文ほど大きく反映されます。この数値は、文章全体がどれだけ AI らしく読めるかの推定であって、文字どおり機械がどれだけ書いたかの測定値ではありません。
最も役に立つのはハイライトです。どの文がスコアを押し上げたのかが正確にわかるので、なぜその数値が出たのかと首をかしげることはありません。
精度の数値を公表しない理由
目を引く精度の数値を宣伝している検出ツールを見かけるでしょう。私たちはそうしないことを選びました。理由はシンプルで、精度は1つの数値ではないからです。
どんな検出ツールでも、性能は次の要素に左右されます。
- 長さ。 長いサンプルは、短いものよりはるかに判定しやすくなります。
- 編集。 そのままのチャットボットの出力は、人が書き直した文章とはまったく違って見えます。
- ジャンル。 個人的なエッセイと化学の実験レポートでは、「普通」のパターンがまったく異なります。
- 書き手の背景。 第二言語での文章は、より無難で予測しやすい構文を使うことがよくあります。
- モデル。 新しい AI モデルやあまり一般的でないモデルの文章は、なじみが薄く見えることがあります。
慎重に選んだ1つのテストセットで測った数値からは、そのツールがあなたの文章でどう振る舞うかはほとんどわかりません。私たちは、文ごとに根拠を示し、限界をはっきり伝えることを選びます。
ZeroTell の検出ツールの既知の限界
弱点について正直であることは、検出ツールを責任を持って使うことの一部です。私たちの結果を特に慎重に扱っていただきたい場面を紹介します。
短い文章
数文しかなければ、判断に使えるシグナルはごくわずかです。短い入力のスコアは、言葉遣いを少し変えるだけで大きく変動することがあります。せいぜい大まかな目安として扱ってください。
型どおりの文章
テンプレートは予測しやすい文章を生みます。要旨、方法のセクション、法律の定型文、製品仕様、厳格に構成された学校のエッセイは、人がすべての語を書いた場合でもフラグが付くことがあります。
英語を母語としない人の文章
英語を第二言語や第三言語として書く人は、なじみのある語彙や、明快で標準的な文に頼ることがあります。それは良い書き方ですが、言語モデルが生み出す無難な言い回しに似ることがあります。こうした文章へのフラグは、特に慎重に扱うべきです。
混在した文章や編集された文章
多くの文書には、文法チェッカー、翻訳ツール、場合によっては AI でのアイデア出しなど、複数のツールが関わっています。混在した文章は、中程度のスコアと散らばったハイライトになることがよくあります。それは隠れた真実ではなく、本当の曖昧さを反映しています。
リスト、定義、事実
広く知られた事実を述べる文や標準的な用語を定義する文は、誰が書いても同じように読める傾向があります。それらがハイライトされても驚かないでください。
AI 検出ツール文ごとの AI スコア結果の読み方
表示された結果を解釈する手順を順に紹介します。
- まず長さを確認する。 文章が短ければ、スコアを真剣に受け止める前にもっと集めましょう。
- パーセンテージより先にハイライトを見る。 フラグの付いた文に共通点はあるでしょうか。ありきたりな書き出しでしょうか。定義でしょうか。つなぎ言葉でしょうか。
- 文章のほかの部分と比べる。 ハイライトは1つのセクションに集中していますか、それとも散らばっていますか？集中している場合、その部分だけ書き方が違うことを示しているかもしれません。
- ジャンルを考慮する。 型どおりの文書は、個人的な振り返りよりも自然と高いスコアになります。
- 書き手について考える。 その人の普段の書き方と一貫していますか？下書きやメモはありますか？
| 結果に見られるパターン | 考えられる説明 |
|---|---|
| 1つのセクションに強いハイライト、ほかはなし | そのセクションは別の方法で書かれたか編集された。詳しく見る価値あり |
| 全体に軽いハイライトが散らばる | ありきたりな言い回しや型どおりの文体。人間が書いたことも多い |
| 短いサンプルで高いパーセンテージ | データ不足。信頼できない |
| 定義と事実だけにフラグ | 誰が書いても同じように読める標準的な内容 |
ZeroTell が自分の文章にフラグを付けたら
まず、慌てないでください。フラグは告発ではなく、あなたの意図については何も語っていません。
ハイライトされた文を見てみましょう。多くの場合、それはいずれにしても文章のなかで最も弱い部分です。大まかな書き出し、埋め草のつなぎ言葉、すでに言ったことを繰り返すまとめなどです。具体的な例、自分自身の推論、細かなディテールで書き直すと、たいてい文章が良くなります。それは低い数値を追うためではなく、読み手のためにする価値があります。
執筆過程の証拠を残しておきましょう。保存した下書き、ワープロソフトのバージョン履歴、アウトライン、リサーチのメモは、あなたの文章があなたのものであることを示す最も強い手段です。文章にフラグが付いたときにすべきことのガイドで、さらに詳しく説明しています。
検出ツールが知らないこと
検出ツールが決して目にしない情報を明確にしておくと役立ちます。検出ツールは、あなたが誰なのか、その文章がどの授業のために書かれたのか、どれだけ時間をかけたのか、途中でどんなツールを使ったのかを知りません。以前の課題とあなたの文章を比べることもなく、ブラウザ履歴や下書きを読むこともできません。手元にあるのは、ページ上の言葉だけです。
だからこそ、文脈がとても重要なのです。書き手、課題、下書きの過程を知っている評価者は、文章の塊しか見ないモデルよりも、いつでも状況をよく理解できます。検出ツールは、ある文が典型的な AI の出力のように読めると教えることはできます。それが特定のケースで何を意味するかを決められるのは、人だけです。
また、文章が変われば結果も変わりうるということです。段落を1つ加えたり、引用を削ったり、誤字を直したりすると、文ごとのスコアがわずかに変わり、それに伴って全体のパーセンテージも変わることがあります。そうした小さな変動は正常であり、意味のあるものとして読むべきではありません。
AI ヒューマナイザーを責任を持って使う
ZeroTell は AI ヒューマナイザーも提供しています。硬い文章やロボットのような文章を、より自然に読めるよう書き直すツールで、AI の助けを借りて下書きをし、より明快で個人的な文章にしたいときに役立ちます。これは編集の補助であって、誰かのルールをくぐり抜ける手段ではありません。学校や勤務先が AI の利用を制限しているなら、そのルールはヒューマナイズした文章にも適用され、それを守り、必要に応じて AI の利用を開示する責任はあなたにあります。
教師や評価者の方へ
ZeroTell を使って学生や職員の文章を評価する場合は、結果を出発点として扱ってください。ハイライトされた文をご自身で読みましょう。下書きを求めましょう。書き手と話しましょう。言語的な背景と課題の種類を考慮しましょう。検出ツールは話し合う価値のある箇所を示すことはできますが、何が起きたかを教えることはできません。
重要なポイント
- ZeroTell は文章を文ごとに採点し、AI らしい文をハイライトし、それらを文書全体のパーセンテージにまとめます。
- 性能は長さ、ジャンル、編集、書き手の背景によって変わるため、精度のパーセンテージは公表していません。
- 短い文章、型どおりの文章、第二言語での文章は、人が書いたものでもフラグが付くことがあります。
- 数値より先に、ハイライトと文脈を読みましょう。
- スコアは詳しく見る理由であって、それだけでは決して証明になりません。全体像については AI 検出ツールの精度をご覧ください。