AI 検出ツールは、文章の統計的なパターンを分析し、人間の文章と機械の文章に典型的なパターンと比べることで動いています。多くは、予測しやすさ（各語がどれだけ予想どおりか）の指標と、ラベル付きの大量の例で学習した分類器を組み合わせています。出力されるのは、文章全体または個々の文が AI 生成の文章に似ている確率であり、誰が書いたかの証明ではありません。
この要約の裏には、興味深い詳細がたくさん隠れています。それを理解すると、検出結果をちょうどよい程度に信頼して読めるようになります。
基本の考え方：AI の文章は予測しやすい
言語モデルは、語を1つずつ選びながら文章を書きます。各ステップで、次に来る可能性が最も高い語を推定し、たいていは上位の候補の1つを選びます。そのため文章は滑らかで流暢になりますが、統計的には「無難」にもなります。
人間の書き手はそれほど一貫していません。変わった言葉選び、内輪のジョーク、突然の脱線、あちこちへさまよう文を使います。間違いもします。こうしたクセが、文章の統計に指紋のように残ります。
AI 検出ツールはその違いを測ろうとします。要するに「この文章は、言語モデルが自然に生み出しそうなものにどれだけ似ているか？」を問うているのです。
シグナル1：パープレキシティ
パープレキシティは「驚き」の指標です。ある文を語ごとに言語モデルに入力すると、モデルは各ステップで次の語を予測します。実際の語がモデルの予想どおりなら驚きは小さく、意外な語なら驚きは大きくなります。
- パープレキシティが低い： 予測しやすい選択ばかりの文章。例："The weather today is sunny and warm."（今日の天気は晴れで暖かい。）
- パープレキシティが高い： 予想外の選択を含む文章。例："The weather today is sulking like a teenager."（今日の天気は思春期の子どものようにすねている。）
AI が生成した文章は、生成したモデルがありそうな語を好んだため、パープレキシティが低くなりがちです。しかし、人間の文章にもパープレキシティの低いものはたくさんあります。説明書、定義、法律の文言、丁寧な書き手によるシンプルな文などです。この重なりが、誤検出（フォールスポジティブ）の主な原因の1つです。
シグナル2：バースティネス
バースティネスは、1つの文の中ではなく、文章全体にわたるばらつきを見ます。人間は波のある書き方をしがちです。長く曲がりくねった文のあとに短い文。それから、ときには断片だけ。AI モデルは、似たような長さと構造の文を次々に生み出すことがよくあります。
検出ツールは、文の長さ、複雑さ、パープレキシティが文章全体でどれだけ変動するかを測ります。とても均一な文章はスコアを AI 寄りに、変化に富んだ文章は人間寄りに押します。
これもまた傾向であって、ルールではありません。構成の決まった実験レポートを書く学生は、意図的に均一で一貫した文を書きます。
シグナル3：学習済み分類器
最近の検出ツールが単純な数式だけに頼ることはまれです。多くは分類器、つまり2つのカテゴリーを見分けるよう学習した機械学習モデルを使います。
学習のプロセスはおおよそ次のとおりです。
- 例を集める。 人間が書いたとわかっている文章（エッセイ、記事、フォーラムの投稿）と、さまざまな AI モデルが生成した文章を大量に集めます。
- ラベルを付ける。 各例に人間か AI かの印を付けます。
- モデルを学習させる。 分類器は、2つのグループを区別する特徴（多くの場合、何千もの微妙な特徴）を学びます。
- テストと調整。 開発者は、モデルが見たことのない例で性能を確認し、「AI の可能性が高い」とみなす基準となるしきい値を設定します。
分類器は、パープレキシティやバースティネスに加えて、語彙のパターン、句読点のクセ、人間なら名前すら思いつかないような特徴も入力として使うことがあります。
AI 検出ツール文ごとの AI スコアシグナル4：語彙と言い回しのパターン
言語モデルにはお気に入りの語やフレーズがあります。特定のつなぎの言葉、抽象名詞、大げさな表現は、一般的な人間の文章よりも AI の文章によく現れます。検出ツールはこうした好みを学習できます。
これは、AI っぽいフレーズが文章全般を弱くする理由でもあります。漠然として重要そうに聞こえる言葉に頼った段落は、誰が書いたにせよ、具体的な内容に基づく段落より伝わる情報が少なくなります。
文単位のスコアから文書全体のスコアへ
ZeroTell を含む多くの検出ツールは、文単位でスコアを付け、その結果を組み合わせて文書全体の数値にします。この方法には2つの利点があります。
- 透明性。 どの文がスコアを押し上げたかがわかります。
- 混在した文書への対応。 1つのセクションだけが AI 生成だった場合、文単位のスコアならすべてを1つの数値に混ぜてしまわず、そのことを示せます。
文ごとのスコアの組み合わせ方はツールによって異なります。平均するもの、長い文に重みを付けるもの、フラグの付いた文がまとまっている場合に追加のロジックを適用するものがあります。これが、同じ文章でも検出ツールによって数値が異なる理由の1つです。
検出ツールが間違える理由
ここまでのすべてのステップに推定が含まれるため、誤りは避けられません。
| 誤りの原因 | 何が起きるか |
|---|---|
| 短い文章 | 安定した統計を出すにはデータが少なすぎる |
| 型の決まったジャンル | 人間の文章が予測しやすく見える |
| 第二言語での文章 | シンプルな語彙が AI のパターンに似る |
| 大幅な編集 | 人が手を入れた AI の文章は指紋を失う |
| 新しいモデル | 分類器がそのスタイルの例をほとんど見ていない |
| 学習データの偏り | 学習データに少ないジャンルや話題がある |
さらに、構造的なトレードオフもあります。しきい値を低くすると AI の文章をより多く捕まえられますが、人間の文章にもより多くフラグが付きます。高くすると人間は守られますが、見逃す AI の文章が増えます。両方の誤りをなくせる設定はありません。詳しくは AI 検出ツールの精度をご覧ください。
検出ツールにできないこと
検出ツールを実際以上に強力なものと想像しがちです。検出ツールは次のことはしません。
- インターネットで「元の」AI との会話を探す
- チャットボットのログやあなたのアカウント履歴にアクセスする
- 書き手、課題、下書きの過程について何かを知る
- 意図や不正行為を証明する
検出ツールが見るのは目の前の文章だけです。だからこそ、人間の判断、下書き、そして対話が欠かせないのです。
具体例で考える
同じテーマについての短い2つの文章を考えてみましょう。1つ目は典型的なチャットボットの出力です。"Regular exercise offers numerous benefits for both physical and mental health. It can improve cardiovascular fitness and reduce stress levels."（定期的な運動は、身体と心の両方の健康に数多くの利点をもたらします。心肺機能を向上させ、ストレスレベルを下げることができます。）2つ目は人が書いたものです。"I started running to fix my knees. What it actually fixed was my sleep, which surprised my doctor more than me."（膝を治すために走り始めた。実際に治ったのは睡眠のほうで、私より医者のほうが驚いていた。）
検出ツールは、おそらく1つ目をより AI らしいと判定するでしょう。どの語も予測しやすく、文の長さは似ていて、語彙はありきたりです。2つ目には個人的な視点、意外な展開、不規則なリズムがあります。ただし、1つ目の文章も、たとえば健康パンフレットの中で人が書いた可能性は十分にあることに注目してください。検出ツールが見ているのはパターンであって、人ではありません。
盗用チェッカーとの違い
AI 検出ツールと盗用チェッカーはよく混同されます。盗用チェッカーは、文章を既存の情報源のデータベースと照合し、一致する箇所を探します。AI 検出ツールは、特定の情報源と比べることなく統計的なパターンを探します。AI が書いた文章は盗用という意味では「オリジナル」であることが多いため、盗用チェッカーではまったくフラグが付かない場合もあります。もう一方の仕組みについては、盗用チェッカーの仕組みのガイドで解説しています。
この知識をうまく活かす
書き手にとっての教訓は、統計をごまかすことではありません。漠然として均一で、決まり文句だらけの文章は弱い文章だということです。具体的な例、正直な意見、自然な変化があると、文章はより読みやすくなり、よりはっきりとあなた自身のものになります。
評価する側にとっての教訓は、ハイライトを読み、ジャンルと書き手を考慮し、スコアを証拠の1つとして扱うことです。
重要なポイント
- 検出ツールは、文章が AI の文章パターンにどれだけ近いかを推定します。
- 主なシグナルは、パープレキシティ（予測しやすさ）、バースティネス（ばらつき）、語彙のクセ、学習済み分類器です。
- 文単位のスコアで、どの部分が結果を左右したかがわかります。
- 誤りは、短い文章、型の決まったジャンル、第二言語での文章、編集、新しいモデルから生じます。
- 検出結果は確率であり、執筆者の証明には決してなりません。