利用“传统”机器学习检测大语言模型生成的文本
Hacker News 摘要原标题：Detecting LLM-Generated Texts with “Classical” Machine Learning
这篇文章由作者 lyc8503 撰写，主要探讨了如何利用传统的机器学习方法检测大语言模型（LLM）生成的网文小说。
核心观点与演示
作者指出，截至 2026 年初，主流 AI 生成的文本依然存在强烈的统计学特征。通过传统的机器学习模型，可以非常有效地将其与人类创作的内容区分开。他开发了一个在线演示工具，虽然该模型没有经过严格的工业化迭代，但在测试集上的单句检测准确率达到了约 85%。相关的核心代码草案和训练好的模型文件已经发布在 GitHub。
研究背景
作者在半年前写论文时就开始关注 AIGC 检测。他发现当时的查重平台已经具备一定的 AI 检测能力，这激发了他对底层原理的好奇。近期他在浏览 Lofter 等创作平台时，发现大量低质量、甚至带有 AI 提示词痕迹的同人小说泛滥，且部分还设有付费墙。这种被 AI 生成内容污染的阅读体验让他决定重启这个项目，制作一个属于自己的检测器。
技术探索过程
在研究初期，作者尝试了文本困惑度（Perplexity）的方法。其原理是利用 LLM 计算句子中每个词出现的概率，如果概率都很高，则认为是 AI 生成的。但实验结果显示这种方法存在大量误报和漏报，且推理成本高，跨模型泛化能力差，最终被放弃。
随后作者转向了经典的机器学习算法。他查阅了 scikit-learn 的技术路线图，选择了线性支持向量机（Linear SVC）和朴素贝叶斯模型。他认为 LLM 在用词偏好上有显著的模式，这些老牌算法应该能捕捉到这些信号。
数据准备与训练
为了训练分类器，作者需要大量标注数据：
• 人类样本： 抓取了 2010 年至 2022 年（ChatGPT 出现前）的网文数据，筛选出约 1 万篇长文本作为人类写作样本。
• AI 样本： 利用多种 LLM 生成对应主题的稿件。为了节省成本，作者使用了包括 Gemini、通义千问、GLM、Kimi、DeepSeek、豆包在内的 7 种模型，通过批量化任务和各种 API 渠道获取了大量生成文本。
在训练阶段，作者将文本按标点符号切分为单句，进行清洗后采用 TF-IDF 向量化处理，再输入 Linear SVC 模型。实验发现，尽管单句携带的信息有限，但分类准确率依然稳定在 85% 左右。如果将这些句子组合成篇章进行多数投票（只要有两个以上的子模型判定为 AI），判断的置信度会非常高。作者尝试过训练 8 分类模型来区分具体是哪个 AI 生成的，但由于各模型之间互相蒸馏学习，特征过于接近，分类效果并不理想，因此最终坚持使用二分类投票方案。
网页版实现
由于 Python 环境运行不便，且为了遵循无服务器化理念，作者通过 JavaScript 实现了浏览器端的推理引擎。虽然模型 JSON 文件解压后达 107MB（压缩后约 38MB），但对于现代宽带和内存来说是可以接受的。为了平衡性能与精度，模型保留了 50 万个特征。
性能测试与结果分析
作者对不同模型生成的文本进行了测试：
• 已知模型： 训练集中包含的 DeepSeek 和 豆包 检出率极高，分别达到 78% 和 93%。
• 未知模型： 对 Claude 4.6、GPT 5.2 等未参与训练的模型，检出率也在 70% 以上，证明了模型具备良好的泛化能力。
• 人类作品： 选取了 10 部 2022 年前的完本小说进行测试，检出率均在 30% 以下，大部分在 20% 左右。
在针对 Lofter 热门标签的实际调查中，作者发现约 32% 的长篇作品 AI 分数超过 50%，且这些作品均未标注由 AI 生成。相比之下，2022 年前的作品误报率极低，AI 分数超过 60% 的概率仅为 0.04%。
攻防对抗实验
作者测试了常见的绕过检测手段：
1. 翻译法： 经过中英中多次回译后，AI 分数虽有下降，但依然会被识别。
2. 提示词法： 通过提示词要求 LLM 减少 AI 味，效果极其有限，无法有效规避检测。
作者认为，目前的检测方法非常稳健，除非通过大规模人类文本微调模型，或者针对性地破坏 SVM 特征，否则很难绕过。
结语
作者感叹 AIGC 检测任务比预想中简单得多，简单的机器学习算法就能达到很好的效果。他认为 AI 生成的作品目前来看是缺乏灵魂的，其文字逻辑虽然通顺，但内容浅薄、模式重复。他对于生成式 AI 破坏创作生态感到担忧，但也对技术的发展保持观望态度。