跳到主要内容

ZeroTell Pro 为自动续费订阅,可按周、按月或按年计费。可随时在“控制台 → 订阅”中取消。查看方案和价格。

AI

AI 检测器如何工作?困惑度、分类器与局限

通俗讲清 AI 检测器如何分析文本:可预测性、句子变化、训练好的分类器,以及为什么结果只是概率。

作者:ZeroTell Editorial Team阅读约 6 分钟

本页目录
  1. 核心思路:AI 文本是可预测的
  2. 信号一:困惑度
  3. 信号二:突发性
  4. 信号三:训练好的分类器
  5. 信号四:词汇和措辞模式
  6. 从句子到整篇文档的分数
  7. 检测器为什么会出错
  8. 检测器做不到什么
  9. 一个具体例子
  10. 查重工具有何不同
  11. 用好这些知识
  12. 要点总结

AI 检测器的工作原理是分析文本中的统计模式,并与人类写作和机器写作的典型模式进行比较。大多数检测器会把可预测性指标(每个词有多容易被预料到)和一个用大量标注样本训练出来的分类器结合起来。输出的是一个概率,表示文本或其中的单个句子与 AI 生成的写作有多相似,而不是证明谁写了它。

这个概括背后藏着很多有意思的细节。弄懂它们,能帮你以恰当的信任程度来解读检测结果。

核心思路:AI 文本是可预测的

语言模型是一个词一个词地写作的。每一步,模型都会估计下一个最可能出现的词,通常从排名靠前的候选词里选一个。这让文本流畅顺滑,但在统计上也很“稳妥”。

人类作者没那么一致。我们会用古怪的措辞、圈内笑话、突然的题外话,还有东拉西扯的句子。我们也会犯错。这些小怪癖会在写作的统计特征中留下指纹。

AI 检测器试图衡量的正是这种差异。它们实际上在问:“这段文本有多像语言模型自然会写出来的东西?”

信号一:困惑度

困惑度是对“意外程度”的衡量。拿一个句子,逐词输入给语言模型。每一步,模型都会预测下一个词。如果实际出现的词正是模型预料到的,意外程度就低;如果是不寻常的词,意外程度就高。

  • 低困惑度:文本满是可预测的选择。例如:“The weather today is sunny and warm.”(今天天气晴朗温暖。)
  • 高困惑度:文本包含出人意料的选择。例如:“The weather today is sulking like a teenager.”(今天的天气像个青春期少年一样在闹别扭。)

AI 生成的文本困惑度往往较低,因为生成它的模型偏爱高概率的词。但大量人类写作的困惑度也很低:操作说明、定义、法律文书,以及认真的作者写的简单句子。这种重叠是误报的主要来源之一。

信号二:突发性

突发性关注的是整段文字中的变化,而不是单个句子内部。人类往往是“一阵一阵”地写:一个冗长曲折的句子后面跟一个短句。然后也许是一个片段。AI 模型则常常一句接一句地产出长度和结构相似的句子。

检测器会衡量句子长度、复杂度和困惑度在整篇文本中的起伏程度。非常均匀的文本会让分数偏向 AI,变化丰富的文本则让分数偏向人类。

同样,这只是一种倾向,不是规则。一个写结构化实验报告的学生,会刻意写出均匀、一致的句子。

信号三:训练好的分类器

现代检测器很少只靠简单公式。大多数会使用分类器,也就是一种经过训练、用来区分两个类别的机器学习模型。

训练过程大致如下:

  1. 收集样本:收集大量已知由人类撰写的文本(论文、文章、论坛帖子),以及由各种 AI 模型生成的文本。
  2. 打标签:把每个样本标记为人类或 AI。
  3. 训练模型:分类器学习哪些特征能区分这两组,通常是成千上万个细微特征。
  4. 测试与校准:开发者用模型没见过的样本检验其表现,并设定“可能是 AI”的阈值。

分类器可能会把困惑度和突发性作为输入,再加上词汇模式、标点习惯,以及人类根本想不到去命名的特征。

AI 检测器逐句给出 AI 评分

信号四:词汇和措辞模式

语言模型有自己偏爱的词语和短语。某些过渡词、抽象名词和宏大表述在 AI 文本中出现的频率高于一般的人类写作。检测器可以学到这些偏好。

这也是为什么 AI 腔的短语总体上会削弱文章。一段靠空泛、听起来很重要的词撑起来的文字,无论是谁写的,传达的信息都不如一段建立在具体细节上的文字。

从句子到整篇文档的分数

很多检测器,包括 ZeroTell 的,都会先在句子层面打分,再把这些结果合并成一个文档层面的数字。这种做法有两个好处:

  • 透明:你能看到是哪些句子拉高了分数。
  • 混合文档:如果只有某一部分是 AI 生成的,逐句打分可以把它显示出来,而不是把一切混成一个数字。

句子分数的合并方式因工具而异。有的取平均值,有的给较长的句子更高权重,有的还会对成簇出现的标记句子加入额外逻辑。这也是不同检测器对同一段文本给出不同数字的原因之一。

检测器为什么会出错

上面每一步都涉及估计,所以误差是内在的。

误差来源会发生什么
文本过短数据太少,统计不稳定
模板化文体人类写作看起来很可预测
非母语写作较简单的词汇与 AI 模式相似
大量编辑经人改写的 AI 文本失去了指纹
新模型分类器很少见过它们的风格
训练空白某些文体或主题在训练数据中代表性不足

这里还有一个内在的取舍。把阈值设低,工具能抓到更多 AI 文本,但也会标记更多人类作者;把阈值设高,能保护人类作者,却会漏掉更多 AI 文本。没有哪种设置能同时消除两类错误。更完整的讨论,请看 AI 检测器有多准确。

检测器做不到什么

人们很容易把检测器想象得比实际更强大。它们不会:

  • 在网上搜索“原始的” AI 对话
  • 访问聊天机器人的日志或你的账户历史
  • 了解作者、作业或写作过程
  • 证明意图或不当行为

它们只看摆在面前的文本。这就是为什么人的判断、草稿和沟通依然不可或缺。

一个具体例子

来看关于同一话题的两段短文。第一段是典型的聊天机器人输出:“Regular exercise offers numerous benefits for both physical and mental health. It can improve cardiovascular fitness and reduce stress levels.”(规律运动对身心健康都有诸多益处。它可以改善心肺功能并降低压力水平。)第二段出自真人之手:“I started running to fix my knees. What it actually fixed was my sleep, which surprised my doctor more than me.”(我开始跑步是为了治膝盖。结果真正被治好的是我的睡眠,这让我的医生比我还意外。)

检测器很可能会给第一段打出更像 AI 的分数。每个词都高度可预测,句子长度相近,用词也很笼统。第二段有个人视角、意想不到的转折和参差的节奏。但要注意,第一段同样很可能出自真人之手,比如一份健康宣传单。检测器看到的是模式,而不是人。

查重工具有何不同

人们经常把 AI 检测器和查重工具搞混。查重工具会把你的文本与现有来源的数据库进行比对,找出相同的段落。AI 检测器则是寻找统计模式,不与任何具体来源比对。从抄袭的角度看,AI 写的文本往往是“原创”的,所以查重工具可能根本不会标记它。我们关于 查重工具如何工作 的指南讲解了另一面。

用好这些知识

如果你是作者,要记住的不是去钻统计的空子,而是:空泛、单调、堆砌套话的文字本身就是较弱的文字。具体的例子、真诚的观点和自然的变化,会让你的作品更好读,也更明显是你自己的。

如果你是审阅者,要记住的是:看高亮的部分,考虑文体和作者,把分数当作众多证据中的一项。

要点总结

  • 检测器估计的是文本与 AI 写作模式的吻合程度。
  • 常见信号包括困惑度(可预测性)、突发性(变化程度)、用词习惯和训练好的分类器。
  • 逐句打分能显示是哪些部分决定了结果。
  • 误差来自文本过短、模板化文体、非母语写作、编辑改动和新模型。
  • 检测结果是一个概率,绝不是作者身份的证明。

常见问题

AI 检测中的困惑度是什么?

困惑度衡量语言模型对一段文本有多“意外”。满是高概率用词的文本困惑度低。AI 输出的困惑度往往较低,因为模型倾向于选择高概率的词,但平实的人类写作同样可能困惑度低。

什么是突发性(burstiness)?

突发性描述句子长度和结构的变化程度。人们常常把短促有力的句子和冗长复杂的句子混着用。AI 文本往往更均匀。这是一个有用的信号,但很多认真细致的人类作者写得也很均匀。

AI 检测器会保存我粘贴的文本吗?

这取决于具体工具。检测敏感或未发表的作品前,先阅读隐私政策;不要把机密信息粘贴到任何你没有核实过的在线服务里。

AI 检测器能识别出文本是哪个聊天机器人写的吗?

有些工具会尝试,但把文本归因到某个具体模型,远比判断文本是否像机器生成要难得多。任何模型归因都只能当作粗略的猜测。

用你自己的文本试试

AI 检测器

逐句给出 AI 评分

打开AI 检测器

相关文章

AI

AI 检测器准吗?分数到底说明了什么

AI 检测器给出的是概率,不是证明。了解它们在哪些情况下靠谱、在哪些情况下失灵,以及如何冷静解读分数。

阅读约 5 分钟

AI

AI 分数是什么?如何解读 AI 检测结果

AI 分数估计文本由机器生成的可能性。了解这个数字代表什么、不代表什么、为何各工具结果不同,以及如何应对。

阅读约 5 分钟