AI 检测器的工作原理是分析文本中的统计模式,并与人类写作和机器写作的典型模式进行比较。大多数检测器会把可预测性指标(每个词有多容易被预料到)和一个用大量标注样本训练出来的分类器结合起来。输出的是一个概率,表示文本或其中的单个句子与 AI 生成的写作有多相似,而不是证明谁写了它。
这个概括背后藏着很多有意思的细节。弄懂它们,能帮你以恰当的信任程度来解读检测结果。
核心思路:AI 文本是可预测的
语言模型是一个词一个词地写作的。每一步,模型都会估计下一个最可能出现的词,通常从排名靠前的候选词里选一个。这让文本流畅顺滑,但在统计上也很“稳妥”。
人类作者没那么一致。我们会用古怪的措辞、圈内笑话、突然的题外话,还有东拉西扯的句子。我们也会犯错。这些小怪癖会在写作的统计特征中留下指纹。
AI 检测器试图衡量的正是这种差异。它们实际上在问:“这段文本有多像语言模型自然会写出来的东西?”
信号一:困惑度
困惑度是对“意外程度”的衡量。拿一个句子,逐词输入给语言模型。每一步,模型都会预测下一个词。如果实际出现的词正是模型预料到的,意外程度就低;如果是不寻常的词,意外程度就高。
- 低困惑度:文本满是可预测的选择。例如:“The weather today is sunny and warm.”(今天天气晴朗温暖。)
- 高困惑度:文本包含出人意料的选择。例如:“The weather today is sulking like a teenager.”(今天的天气像个青春期少年一样在闹别扭。)
AI 生成的文本困惑度往往较低,因为生成它的模型偏爱高概率的词。但大量人类写作的困惑度也很低:操作说明、定义、法律文书,以及认真的作者写的简单句子。这种重叠是误报的主要来源之一。
信号二:突发性
突发性关注的是整段文字中的变化,而不是单个句子内部。人类往往是“一阵一阵”地写:一个冗长曲折的句子后面跟一个短句。然后也许是一个片段。AI 模型则常常一句接一句地产出长度和结构相似的句子。
检测器会衡量句子长度、复杂度和困惑度在整篇文本中的起伏程度。非常均匀的文本会让分数偏向 AI,变化丰富的文本则让分数偏向人类。
同样,这只是一种倾向,不是规则。一个写结构化实验报告的学生,会刻意写出均匀、一致的句子。
信号三:训练好的分类器
现代检测器很少只靠简单公式。大多数会使用分类器,也就是一种经过训练、用来区分两个类别的机器学习模型。
训练过程大致如下:
- 收集样本:收集大量已知由人类撰写的文本(论文、文章、论坛帖子),以及由各种 AI 模型生成的文本。
- 打标签:把每个样本标记为人类或 AI。
- 训练模型:分类器学习哪些特征能区分这两组,通常是成千上万个细微特征。
- 测试与校准:开发者用模型没见过的样本检验其表现,并设定“可能是 AI”的阈值。
分类器可能会把困惑度和突发性作为输入,再加上词汇模式、标点习惯,以及人类根本想不到去命名的特征。
AI 检测器逐句给出 AI 评分信号四:词汇和措辞模式
语言模型有自己偏爱的词语和短语。某些过渡词、抽象名词和宏大表述在 AI 文本中出现的频率高于一般的人类写作。检测器可以学到这些偏好。
这也是为什么 AI 腔的短语总体上会削弱文章。一段靠空泛、听起来很重要的词撑起来的文字,无论是谁写的,传达的信息都不如一段建立在具体细节上的文字。
从句子到整篇文档的分数
很多检测器,包括 ZeroTell 的,都会先在句子层面打分,再把这些结果合并成一个文档层面的数字。这种做法有两个好处:
- 透明:你能看到是哪些句子拉高了分数。
- 混合文档:如果只有某一部分是 AI 生成的,逐句打分可以把它显示出来,而不是把一切混成一个数字。
句子分数的合并方式因工具而异。有的取平均值,有的给较长的句子更高权重,有的还会对成簇出现的标记句子加入额外逻辑。这也是不同检测器对同一段文本给出不同数字的原因之一。
检测器为什么会出错
上面每一步都涉及估计,所以误差是内在的。
| 误差来源 | 会发生什么 |
|---|---|
| 文本过短 | 数据太少,统计不稳定 |
| 模板化文体 | 人类写作看起来很可预测 |
| 非母语写作 | 较简单的词汇与 AI 模式相似 |
| 大量编辑 | 经人改写的 AI 文本失去了指纹 |
| 新模型 | 分类器很少见过它们的风格 |
| 训练空白 | 某些文体或主题在训练数据中代表性不足 |
这里还有一个内在的取舍。把阈值设低,工具能抓到更多 AI 文本,但也会标记更多人类作者;把阈值设高,能保护人类作者,却会漏掉更多 AI 文本。没有哪种设置能同时消除两类错误。更完整的讨论,请看 AI 检测器有多准确。
检测器做不到什么
人们很容易把检测器想象得比实际更强大。它们不会:
- 在网上搜索“原始的” AI 对话
- 访问聊天机器人的日志或你的账户历史
- 了解作者、作业或写作过程
- 证明意图或不当行为
它们只看摆在面前的文本。这就是为什么人的判断、草稿和沟通依然不可或缺。
一个具体例子
来看关于同一话题的两段短文。第一段是典型的聊天机器人输出:“Regular exercise offers numerous benefits for both physical and mental health. It can improve cardiovascular fitness and reduce stress levels.”(规律运动对身心健康都有诸多益处。它可以改善心肺功能并降低压力水平。)第二段出自真人之手:“I started running to fix my knees. What it actually fixed was my sleep, which surprised my doctor more than me.”(我开始跑步是为了治膝盖。结果真正被治好的是我的睡眠,这让我的医生比我还意外。)
检测器很可能会给第一段打出更像 AI 的分数。每个词都高度可预测,句子长度相近,用词也很笼统。第二段有个人视角、意想不到的转折和参差的节奏。但要注意,第一段同样很可能出自真人之手,比如一份健康宣传单。检测器看到的是模式,而不是人。
查重工具有何不同
人们经常把 AI 检测器和查重工具搞混。查重工具会把你的文本与现有来源的数据库进行比对,找出相同的段落。AI 检测器则是寻找统计模式,不与任何具体来源比对。从抄袭的角度看,AI 写的文本往往是“原创”的,所以查重工具可能根本不会标记它。我们关于 查重工具如何工作 的指南讲解了另一面。
用好这些知识
如果你是作者,要记住的不是去钻统计的空子,而是:空泛、单调、堆砌套话的文字本身就是较弱的文字。具体的例子、真诚的观点和自然的变化,会让你的作品更好读,也更明显是你自己的。
如果你是审阅者,要记住的是:看高亮的部分,考虑文体和作者,把分数当作众多证据中的一项。
要点总结
- 检测器估计的是文本与 AI 写作模式的吻合程度。
- 常见信号包括困惑度(可预测性)、突发性(变化程度)、用词习惯和训练好的分类器。
- 逐句打分能显示是哪些部分决定了结果。
- 误差来自文本过短、模板化文体、非母语写作、编辑改动和新模型。
- 检测结果是一个概率,绝不是作者身份的证明。