跳至主要内容
五折优惠 全部方案,限时优惠。起价 $2.48/mo
17 min left
AI 与机器学习

为什么 AI 文本检测器总是判错

B 作者 Bruce 17 分钟阅读
Two overlapping probability distributions showing why AI detector false positives come from the overlap between human and AI writing

把更早、公认由人类撰写的文本丢进 AI 检测器,它们照样可能判定为 AI 生成。这告诉你一件厂商营销页面不会说的事:这类工具并没有在测量它名字所声称测量的东西。

这道鸿沟正是本文的全部主题。AI 文本检测器检测的并不是 AI 的著作权,而是一类写作——那种统计指纹与检测器训练时所见的 AI 输出相似的文本。当人类写作恰好带有同样的指纹时,检测器就会标记它,而且它无法分辨其中的差别。那些因为一个百分比分数而失去奖学金、合同和学术身份的人,正落在这场混淆的错误一侧。

本文要讲的是:这个分数代表什么,为什么这些错误是结构性的、而非下一个版本会修复的漏洞,它们会落到谁身上,以及一家严肃的机构可以改用什么。这也是为什么 AI 检测器会在唯一真正重要的场景里出错:关乎真实个人的高风险决策。

简短版本

  • AI 检测器测量的是统计相似度,而不是著作权。 一个很高的“AI”分数意味着这段文本看起来像检测器被训练去与 AI 关联起来的那种写作。它并不能证明是机器生成了它,也无法证明。
  • 假阳性率是一道数学下限,而不是一个工程漏洞。 2026 年的一项数学框架论证认为,任何有用的、仅凭文本、一次性的检测器,其误判率都由人类写作与 AI 写作的重叠程度所决定。更好的模型并不能消除它。
  • 这些错误最沉重地落在训练有素的写作者身上。 英语非母语者,以及以严谨、受约束的风格写作的人,包括科学、法律和技术类写作者,被标记的频率更高,因为干净、可预测的文风与检测器读作“AI”的统计特征相吻合。
  • 溯源正在取代统计式检测这一路径。 水印(SynthID)和带签名的内容凭证(C2PA)在生成时就记录来源,而不是事后去猜测。这是可验证的,但仅限于合规工具经手过的内容。

本文不涉及的内容

  • 这并不是一份评比哪款检测器“最好”的排名。这里的论点是:排名这个问题本身就问错了。
  • 这也不是一份规避检测的指南。那类东西别处多得是;本文谈的是这种测量到底意味着什么。
  • 它不是针对某项具体指控的法律建议。如果你正在申诉某一起,请找处理这类事务的专业人士谈。
  • 它不是一篇教程。没有工具要安装,也没有配置要照抄。

AI 检测器实际上在测量什么?

AI 文本检测器测量的是一段写作与 AI 生成文本的相似程度,依据三种信号:困惑度(perplexity)、突发性(burstiness)和训练好的分类器。它给出的是文本为机器所写的概率。它做不到、且在结构上无法做到的,是核实是谁或什么产出了这段文本。它审视的是词语并据此推断,而从不观察创造这些词语的过程。

困惑度 指的是语言模型对序列中下一个词有多“意外”。AI 文本往往在每一步都挑选统计上最可能的下一个 token,读起来就是低困惑度。人类写作会拐出更古怪的弯,因而得分更高。 突发性 测量的是句子长度和结构上的变化。人类会长短句混用;AI 则倾向于千篇一律。检测器把这两者合成一个综合分数。训练分类器这一路径跳过了人工挑选的信号,转而从大量带标注的人类与 AI 文本数据集中学习潜在模式。

每种信号都有同样的缺陷,只是换了身衣服。突发性无法把“训练有素的人类写作者”与“AI”区分开来;一份法律摘要和一个聊天机器人都会产出低方差的文本。在某个模型输出上训练出来的分类器无法迁移到下一个模型。 RAID 基准,是已发表的 AI 文本检测器评估中规模最大的之一,测试了跨 11 个模型、8 个领域、11 种对抗攻击和 4 种解码策略的 600 多万次生成。它的核心发现是:检测器很容易被对抗攻击、采样变化、重复惩罚和未见过的生成器削弱。而困惑度还有一个值得直说的精确性问题。

代理模型问题。要准确测量一段文本的困惑度,你需要来自撰写它的那个确切模型的完整概率分布(logits)。检测器几乎从不拥有这些;它们改用一个代理模型来估计困惑度。当写作模型与测量模型不同时——这正是常态——困惑度数字从一开始就烙进了系统性误差。迄今最精巧的统计方法, Binoculars,通过比较两个相关模型的困惑度来降低这种噪声,而它测量的仍然是文本的统计特性,而非文本的来源。

最后这一句是整节的要点。这里的每一种方法,从粗糙的困惑度阈值到 Binoculars,读的都是词语的属性。它们无一观察到写作这一行为本身。它们测量的是与某个训练分布的相似度。

相似不等于著作权——这就是全部问题,五个字讲完。

The three signals an AI text detector measures, perplexity, burstiness, and trained classifiers, all read text statistics rather than who wrote it

为什么 AI 检测器会产生这么多假阳性?

检测器之所以把人类写作标记为 AI,是因为它们会标记任何统计特性与 AI 输出相似的写作。2026 年的一项数学框架把这看作不止于调参误差:当评估方不知道每个人各自的写作分布时,误判就无可避免,其发生率由人类写作与 AI 写作的重叠程度决定。这道下限是真实的,而且不会移动。

这篇论文是 Garland 2026 年的 《AI 检测器辜负了多样化的学生群体:结构性检测极限的数学框架》。 传统检测理论把这项任务当作两个已知分布之间的检验:这是人类写作的样子,这是 AI 写作的样子,判断是哪一个产出了这段文本。Garland 的论点是,人类那一侧并不是单一分布。每个人天然的文风都是它自己的一个分布,而有些人的文风与 AI 输出重叠严重。用统计学的话说,原假设是复合的(是许多分布捆在一起,而非单个),而一个仅凭文本、一次性的检测器面对一个复合原假设时,根本无法避免误判。

“任何具有可用效力、仅凭文本、一次性的检测器,其产生误判的比率必然受学生写作与 AI 输出之间的分布重叠所支配。” Garland, 2026 (arXiv:2603.20254)

这个结论值得说精确,因为它正是把本文与惯常那套“检测器还不够完美”的说法区分开来的地方。这道界限来自群体的多样性,而非模型的质量。一个更好的检测器、一个更大的训练集、一个更聪明的分类器:它们都触及不到它,因为它所依赖的重叠是人们写作方式的一个属性,而不是工具工程做得好不好的属性。Garland 自己的政策建议直接随之而来:“检测分数不应在违规审理中充当唯一证据。”

经验记录与数学结论对得上。OpenAI 为自家模型的输出打造了一个分类器,眼看着它只在 26% 的情况下识别出 AI 文本,同时把 9% 的人类文本误标,随后在 2023 年 7 月将其关停,理由是可靠性低,“鉴于教育工作者可能会对学生做出带有潜在长远后果的判断”。2026 年发表于 International Journal of Educational Integrity 的一项同行评审研究,在一个混合数据集上把 Turnitin 的真实世界准确率定在 61%、Originality.ai 定在 69%,与营销页面上的 99% 相去甚远。一项 hCaptcha 基准测试 得出结论:它测试过的公开检测器没有一个胜过随机猜测。 科廷大学(Curtin University)后来停用了 Turnitin 的 AI 写作检测功能 ,自 2026 年 1 月 1 日起,理由是需要信任、清晰、公平以及面向未来的评估方式。

然后再乘以规模。范德堡大学(Vanderbilt)在对自身体量做过一番算术后停用了 Turnitin 的检测器:按其声称的 1% 假阳性率,在每年 75,000 份提交上,大约每年会有 750 名学生被错误标记。而这还是低估,取自厂商自己乐观的数字。

假阳性率是一道由人们写作方式差异所设定的下限,而不是下一个版本会降低的上限。

谁最容易被错误标记?

是的,检测器有偏见,而且是系统性的。英语非母语的写作者,以及以严谨、受约束的风格(法律、科学、技术)写作的人,被标记的频率更高,因为他们的写作可能带有检测器读作“AI”的低困惑度、低突发性特征。这种偏见与他们是谁无关;而在于严谨、朴实、可预测的文风在统计上看起来就像机器输出。

奠基性的证据是 Liang 等人 2023 年发表于 Patterns的研究。七款被广泛使用的检测器被拿去测试来自英语非母语者的 91 篇 TOEFL 作文,以及来自母语者的 88 篇美国八年级作文。这些检测器误判了一半以上的非母语作文(平均假阳性率为 61.3%),而在母语者那组上则近乎满分。全部七款检测器一致地把 19.8% 的人类撰写的 TOEFL 作文标记为 AI 所作。

为这桩案子盖棺定论的实验是那次干预。当研究人员用 ChatGPT 丰富这些相同非母语作文的词汇、使其听起来更像母语时,假阳性率从 61.3% 降到了 11.6%。让文本沾染更多 AI 的痕迹,反而让检测器更少地标记它,因为它们自始至终反应的是词汇的可预测性,而不是著作权。驱动这项指控的信号是困惑度,而困惑度从来就不是衡量谁写下这些词语的尺度。

这种模式并不止于语言能力。 BAID,第一个系统性的偏见基准,跨七个社会语言学维度(人口统计、年龄、年级、方言、正式程度、政治倾向和主题)在 200,000+ 个样本上评估检测器,结果在全部七个维度上都发现了一致的落差。Rashidi 等人发现,某款 AI 文本检测器 把多达 8% 已知由人类撰写的科学摘要误判为 AI 生成,所用摘要发表于 1980 至 2023 年之间,因为医学和科学写作依赖受约束的词汇、留有余地的措辞和标准化的结构。法律写作则天生就是程式化的。 The Authors Guild 把这件事的专业写作者版本说得很直白:一个写作者的文风越是精炼、越受控制,就越像这些工具被造出来去标记的那种输出。

最可能被错误指控的写作者,正是那些以最严谨、最受约束的方式写作的人——恰恰与“作弊”本应预示的相反。

AI detectors falsely flag non-native English writers and disciplined legal, scientific, and technical writing most often because that prose reads as low perplexity

如果检测器有用,为什么谁都能绕过它们?

绕过一个检测器是家常便饭,谈不上高明。检测器本就跑得很低,而对抗性操纵会把它们压得更低;对抗性改写会让检测器的真阳性率平均下降 88%。这场军备竞赛在构造上就是不对称的:检测器必须同时防守每一条规避路径,而一个绕过工具只需击败检测器当前所测量的那一种模式。

这些数字直接来自研究。 Perkins 等人(2024) 测得检测器在机器生成文本上的准确率为 39.5%,一旦施加规避手段便跌至 17.4%。 Cheng 等人(2025) 发现对抗性改写让各类检测器的平均真阳性率下降了 87.88%,并把 Fast-DetectGPT 削减了 98.96%。 Sadasivan 等人(2023) 表明递归式改写可以在保持文本可读的同时,大幅降低检测器性能,包括基于水印的检测器。围绕这些发现,还盘踞着一整个“人性化改写”(humanizer)工具的反向产业,其任务就是不断改写 AI 文本,直到它被判为人类所写;而这个产业的存在本身,就是关于检测器测量什么的一个证据。你无法造出一个可靠的工具去击败对著作权的衡量。你能造出一个去击败对文本统计的衡量,人们也确实造出来了。

这种不对称是结构性的,它体现在发布节奏上。当 Turnitin 推出一项 AI 绕过者检测功能(2025 年 8 月),试图抓住那些被跑过人性化改写工具的文本时,人性化改写工具的厂商很快就开始打广告宣称自己能绕过它。每一次检测器更新都定义了一个新靶子;每一个靶子都会被击中。

读者可以从这一切中得出一个推断,而它值得被标注为推断而非事实。这样看,检测器大多抓住的是那些提交原始、未经编辑的 AI 输出的人:动机最弱、最不上心的用户。而一项政策最想抓住的那些人,恰恰是最容易被漏掉的。

这场军备竞赛不是厂商会补上的一道临时缺口。它在设计上就是不对称的。

各机构现在在做什么?

一份不断增长的大学名单(Vanderbilt, Yale, Curtin,该 University of Waterloo,以及更多)已经停用或限制了 Turnitin 的 AI 检测器,理由包括假阳性数量、对非母语者的偏见、分数不稳定以及缺乏透明度。另一些则只把它当作一个参考性信号,绝不作为指控的唯一依据。机构层面的裁决正独立于学术论文之外得出,并且与它们意见一致。

其推理有据可查、具体明确。 Vanderbilt 在 2023 年 8 月停用该功能时列出了四条理由:每年 750 起误判的那笔算术、对非母语者的偏见、Turnitin 如何得出其判定的任何解释都付之阙如,以及关于向第三方提交数据的隐私顾虑。 科廷大学(Curtin University) 宣布,自 2026 年 1 月 1 日起,Turnitin 的 AI 写作检测功能将在所有校区和所有学期停用,而常规的文本比对检查将继续启用。滑铁卢大学(University of Waterloo) 停用了 Turnitin 的 AI 检测功能 ,自 2025 年 9 月起,此前经过了内部学术磋商。 德克萨斯大学奥斯汀分校(The University of Texas at Austin) 不为 AI 检测软件背书,没有任何启用了 AI 检测功能的中央合同或采购订单,并将这类软件归类为采购上的高风险。来自包括 MITStanford 在内的机构的教师指引,落到了同一个务实的结论上:AI 检测器有很高的错误率、假阳性和偏见风险,因此不应被当作决定性证据。

政策语言之下,是一个个具体的人。 Marley Stevens,北乔治亚大学(University of North Georgia)的一名学生,因一份她自己写的作业被 Turnitin 标记,被处以学术察看,并失去了她的 HOPE 奖学金;她说自己只不过把文本跑过了 Grammarly。在加州大学戴维斯分校(UC Davis), 一名被指控使用 AI 的学生 在出示了 Google Docs 的编辑历史后被还以清白;另有一项学生自行开展的测试报告称, GPTZero 把 247 份非 AI 文档中的 40% 误标。这些并不是被错误率四舍五入掉的边缘个案。在这些工具运行的体量上,它们就是被显现出来的错误率。

拿什么取代统计式检测?

正在浮现的答案是溯源:与其审视成品文本、再去猜测它的来源,不如在生成的那一刻就记录下一个可验证的来源信号。有两条路径正在汇合,Google DeepMind 的 SynthID 水印和 C2PA 内容凭证标准,再配上诸如草稿历史和课堂内作业这样的更古老的证据。溯源并不是猜得更准。它把问题换成了一个可以回答的问题。

SynthID 的工作原理是在模型生成文本时轻推 token 的概率,留下一种统计模式,供验证方日后核查。Google 已在生成的图像、文本、音频和视频中部署了 SynthID;其图像与视频帧的实现已被用于给超过 100 亿张图像和视频帧加水印,Google 如今还为受支持的媒体提供一个 SynthID Detector 门户。它的局限有据可查:它在较长、变化丰富的输出上效果最好,在简短或纯事实性的答案上表现不佳(“法国的首都”只有一种正确写法,所以没有什么可供调制的),而且在大幅改写或翻译之下其置信度会下降。它也看不到任何未实现它的模型所产的文本。

C2PA 内容凭证 采取的是互补的路径:在创建时附加经过密码学签名的元数据,记录是什么工具、在何时制作了这份内容。OpenAI 于 2024 年 5 月加入了 C2PA 指导委员会。2026 年 5 月,它扩展了受支持图像输出的溯源栈,将 C2PA 内容凭证与 Google DeepMind 的 SynthID 水印配对,并预览了验证工具。这两层彼此互为后盾。签名元数据信息丰富,但在重新上传时可能被剥除;而 SynthID 水印能挺过截图和格式变更,却携带更少的信息。其中的隐患与限制每一种溯源方案的那个隐患相同:它能验证参与其中的工具所产的内容,对不参与的工具所产的内容则无话可说。覆盖是自愿的,它只随采纳的增长而增长。

这正是这个领域不止步于水印的原因。大学指引和社区共识反复落到的那些替代方案是程序性的:要求提交草稿历史和版本提交、内嵌简短的课堂或口头环节、并设计出不经真正投入便难以伪造的评估。而当一个信号确实出现时,把它当作一场对话的开端,而不是一桩案子的了结。

这就是评估者可以带给利益相关方的具体要点。统计式检测问的是“这段文本看起来像 AI 吗?”——一个照 Garland 所言并无可靠答案的问题。溯源问的是“一个合规的工具签署了这个吗?”——一个对那些工具经手过的那部分内容而言拥有可验证答案的问题。这笔交换是:用更窄的覆盖,换一个你真能站得住脚的主张——当一个人的身份地位悬于一线时,这是更值得站的位置。

Statistical AI detection guesses at origin after the fact, while provenance approaches like SynthID watermarking and C2PA content credentials record origin at generation time

宣传的准确率 vs. 独立测得的结果

厂商的准确率宣称与独立测量相差甚远。下表把每款工具宣传的数字与独立测试所发现的对照排列。它不是一份选购指南;没有“推荐”那一栏,因为本文的论点是,这样一栏背后的框架本身就是坏的。它是一份关于这道鸿沟的记录。

工具厂商宣传的准确率 / 假阳性率独立测得的结果
GPTZero99% 准确率,1% 假阳性率在一项 78 篇作文的研究中,对人类撰写作文的假阳性率为 16%
Turnitin假阳性率 <1%整体准确率 61%,见一项 2026 年 International Journal for Educational Integrity 研究
ZeroGPT98.5% 检测准确率在一项足踝外科研究中,对人类撰写的医学摘要有 83% 的假阳性 足踝外科研究
Originality.ai99%+ 准确率 / 低假阳性宣称,视模型而定整体准确率 76%,见 Scribbr 2024 年的评测;整体准确率 69%,见一项 2026 年学术情境研究
Copyleaks准确率超过 99%在一项 2025 年检测器研究中,对人性化改写后的 DeepSeek 生成文本,准确率降到 71% 2025 年检测器研究
OpenAI 分类器不适用26% 真阳性率,9% 假阳性率;于 2023 年 7 月 20 日因准确率低而停用

这些数字作为基准分数并不可直接比较,因为每项测试用的数据集、阈值和写作条件都不同。要点在于:在受控的厂商宣称与更凌乱的真实世界或独立评估之间,那道鸿沟反复出现。

常见问题

AI 文本检测器实际检测的是什么:是 AI,还是一类写作?

它检测的是一类写作。检测器测量的是文本在统计上是否与 AI 输出相似:低困惑度和低突发性,或与某个训练好的分类器所学到的模式相匹配。它无法核实著作权。高分意味着这段写作看起来像这款工具训练时所见的 AI 文本,而不是意味着机器产出了它。

为什么我亲手写的作文被标记成 AI 生成?

因为你的写作带有检测器读作 AI 的低困惑度统计特征——一种在打磨精良、技术性或英语非母语的写作中很常见的特征。检测器反应的是可预测的词汇和一致的句式结构,而不是著作权。一次标记是关于你文本统计特性的一句陈述,而不是你使用了 AI 的证据。

AI 检测器对英语非母语者有偏见吗?

是的,而且可测量。Liang 等人(2023)发现,在非母语者的 TOEFL 作文上,平均假阳性率为 61.3%,而在母语者作文上则接近于零。BAID 基准后来在包括方言、正式程度和主题在内的七个维度上发现了类似的落差。成因是统计性的:受约束的词汇读起来是低困惑度,而检测器把它误读为 AI。

为什么同一段文本在反复扫描时会得到不同的 AI 检测分数?

因为检测器分数是基于模型的估计,而不是对著作权的直接观察。阈值、分类器行为、预处理和工具更新都可能影响最终的百分比,所以一个分数应被当作一个微弱的信号,而不是一个稳定的测量值。

组织应该用什么来取代 AI 文本检测器?

对来自合规生成器的内容,用溯源工具(SynthID 水印和 C2PA 内容凭证),配上诸如草稿历史、版本提交和课堂内作业这样的过程证据,再加上重新设计、要求真正投入的评估。任何检测器输出都应开启一场对话,绝不该在一个影响某人身份地位的决定中充当唯一证据。

Share

博客更多内容

继续阅读。

准备好部署了吗? 起价 $2.48/月。

独立云厂商,自 2008 年起。AMD EPYC、NVMe、40 Gbps。14 天退款保证。