他，一个22岁大学生，写了个AI反ChatGPT

过去一年，全世界的学生都恨上了一个名叫 Edward Tian 的人。他刚刚 22 岁，是普林斯顿大学计算机专业大四学生。

Tian 在 X 上发的个人照丨@edward_the6

恨意来自他的作品——去年底放假时熬夜敲代码，Tian 写出了一个叫“GPTZero”的软件。而 GPTZero ，就是个检测“一段文本是否是 AI 生成”的应用。

https://gptzero.me/｜应用页面

GPTZero 发出来的第二天，Tian 的手机就“爆炸”了，各种咒骂蜂拥而至，很多人说他就是个“打小报告”的“狗腿子”——因为老师们以后会用 GPTZero 来检查他们的作业是不是 AI 生成的。

让人更恨的是，Tian 还因此拿到了 350 万美元的风投基金，创办同名的公司 GPTZero。

高校是什么态度？

去年这会儿，ChatGPT 一问世就在全球迅速刮起了 AI 风暴。在几秒钟之内，它就可以输出一篇相当工整的文章。有时，你甚至无法分辨，电脑那头到底是 AI 还是真人。

对于没什么“人味儿”的八股文作业，“AI 写的”和“人写的”，差距可能就更小了。

一些聪明的学生很快掌握了这种未来工具，用它来应付作业。没有人可以确切地说出，已经有多少学生在使用 ChatGPT。

美国在线教育网站 Study.com 调查了 1000 多名 18 岁以上的学生，结果显示，高达 89% 的学生会用 ChatGPT 写作业，53% 的学生甚至会用它写论文。但调查问卷总是不准确的，因为填写者会撒谎。以 ChatGPT 的便利性来说，真实的数字可能会高得多。

另一边是老师们的反制。一些老师认为 ChatGPT 是一种作弊工具，他们担心学生们因此无法真正掌握学习内容。其中特别激进的一批人，只允许学生在教室里手写作业。

还有一些老师态度更开放些，把 ChatGPT 视为比搜索引擎更优秀的学习资源，但他们也担心 ChatGPT 会被学生滥用。

作为美国最大的公立学校系统，纽约的学校已经禁止学生通过校内网络接触 ChatGPT。这份禁用名单上，还包括牛津大学、巴黎政治学院、香港大学等一连串顶级高校。

也有一些大学质疑这种做法是否有效，毕竟学生们总是可以很容易地接触到 ChatGPT，而禁用 ChatGPT 是否侵害了学术自由，也是一个值得商榷的问题。

无论如何，ChatGPT 的介入意味着，人们的教学方式正在改变。

做 GPTZero 前，他没想到会火

Tian 在普林斯顿大学主修计算机，在写出 GPTZero 前，他在自然语言处理实验室研究了如何检测人工智能生成的文本。同时，他还辅修了新闻。在 BBC 实习时，他工作中的很大一部分就是核实新闻的真实性——假新闻一直都是存在的，但 AI 能力的大幅提升，已经让假新闻越发泛滥。

Tian 说，以上这些经历都是他研发 GPTZero 的动力：“实际上，这个工具的目标受众是我自己，因为我们对互联网上的虚假信息进行了大量调查，这个工具是非常理想的。”

图源：Unsplash

GPTZero 的受欢迎程度有些让人出乎意料。Tian 最初以为最多只会有几十个人使用这款产品，但在几个小时之内，就有超过 2000 人注册了测试版，甚至导致了 GPTZero 所在的托管平台的崩溃。

发布一周后，就有超过 3 万人使用了 GPTZero。截止到 2023 年 5 月，这个数字扩展到了 120 万。

Tian 并非反对 AI：“这项技术令人难以置信，我相信这就是未来。但与此同时，我们就像打开了潘多拉魔盒。我们需要采取安全措施，以负责任的方式应用它。”实际上，以他目前取得的成就来说，他也是 AI 风潮的受益者。

GPTZero 本身就是一种人工智能；在开发过程中，Tian 也借助了基于 GPT-3 的编程辅助软件 GitHub Copilot 的帮助。

GPTZero 啥原理？

GPTZero 宣称对 AI 文本的准确率为 85%，对人类文本的准确率高达 99%。

如果从原理来理解 GPTZero 的话，“困惑性”（Perplexity）和“突发性”（Burstiness）是两项关键指标。

从统计学的角度来说，人类文本和 AI 文本会呈现不同的统计特征。GPTZero 会根据这种统计特征为文本打分，分数越低，就越有可能是 AI 生成的文本。

具体而言，困惑性指的是文本中语句的随机程度。毕竟相比混乱的人类而言，接受过大量文本训练的 AI 已经形成了产生文本的范式。假如 GPTZero 接收到了它不熟悉的文本，产生“困惑”的 GPTZero 就更有可能判定这是人类生成的。

举个例子，“你好，我是一个 AI __”，如果这个句子后面接的是“助手”，那 GPTZero 就不会产生困惑。但如果接的是“土豆”，GPTZero 就会更有可能判定，这个句子是人类写的。

以数百字的文本长度来说，GPTZero 会分别计算出“文字总困惑度”“所有句子的平均困惑度”和“每个句子的困惑度”，计算出一个综合分数。

当这个分数大于 85 时，那这段文本就很有可能是人类写的。

另一个关键指标突发性，则指的是某个句子、词在文本中突然出现的现象。这是一个衡量文本全文句子长度和结构变化的参数。人类往往会有比较动态的写作风格，由此产生的文本结构相对参差。另一方面，AI 会更倾向于使用更加一致的结构生成文本。同时，大模型也会使用相同的规则来预测下一次单词，由此导致低突发性。

不过，Tian 也承认，GPTZero 会出现错误。就比如说，对于经过人工编辑的 AI 文本，GPTZero 还不具备检测能力。

7 月，开发 ChatGPT 的 OpenAI 就关停了旗下检测 AI 生成文本的 AI Text Classifier。根据官方 Blog，它只能正确识别 26% 的 AI 生成文本。

与其纠结于检测学生是否抄袭，提供文本的“可信度”可能是一个效率更高的方法。

GPTZero 最新的产品 Origin，就是一个集成到 Word 和浏览器中的插件。它可以跟踪学生写作过程、生成全周期的写作报告，以向老师证明，学生是独立完成写作的。

今年春天，GPTZero 募集到了 350 万美元的种子资金。有消息说，GPTZero 本来也在著名的风投基金 a16z 的关注名单中，但 a16z 并未参与此轮融资。比较微妙的是，这两家公司的创始人对于 AI 有着相反的立场。

a16z 的创始人 Marc Adreessen 曾经在 X 上发帖称：“如果你写不出比机器更好的东西，那你还写什么呢？”。

而 Tian 相信：“人类的文章中蕴含着一些美妙的东西，计算机永远无法做到这一点。”

在监管范围内拥抱？

Tian 在 X 上说：“任何学生都不应该因为使用 AI 而受到老师的惩罚……直到政策得到全面制定前。”

这种态度与最近多家香港大学的转变有些不谋而合——既然无法禁止，不如在监管范围内拥抱。

曾经禁止 ChatGPT 的香港大学已经宣布，在 9 月份的新学年中为师生免费提供多个 AIGC 工具，包括 ChatGPT 和 AI 绘画软件 DALL·E。

香港科技大学、香港理工大学、岭南大学、香港城市大学等高校拥抱了 AI。

当然，这种免费福利是有前提的，学生必须注明哪些内容是由 AI 生成的。

故事也还没完。有做 AI 检测的，就有人做反 AI 检测的。

在 GPTZero 发出后，就有一些狡猾的学生把攻略放在网上去，比如，用西里尔字母替换掉英文字母，就骗过了 AI 检测……Tian 之后修补了漏洞。

比如，一个叫 Joseph Semrai 的斯坦福大学新生就做了一个 app——WorkNinja。这个 app 可以生成文本，你拿去 GPTZero 检测后如果发现被判定为“AI 生成”，就再返回去按“Rephrase （修改措辞）” 按键，文本会被改写（比如同义词替换）。

AI 的背后是人类，只要人类还存在，这场猫鼠游戏就不会停止。

参考文献：

[1]  https://www.youtube.com/watch?v=0GrS3Edsm-4

[2] https://news.gptzero.me/perplexity-and-burstiness-what-is-it/

[3] https://www.youtube.com/watch?v=JGYQg2snF34

[4] https://www.npr.org/2023/01/09/1147549845/gptzero-ai-chatgpt-edward-tian-plagiarism?utm_source=twitter.com&utm_medium=social&utm_campaign=npr&utm_term=nprnews

[5] https://www.washingtonpost.com/technology/2023/08/14/prove-false-positive-ai-detection-turnitin-gptzero/?utm_campaign=wp_main&utm_source=twitter&utm_medium=social

[6] https://www.wired.com/story/ai-detection-chat-gpt-college-students/

本文来自微信公众号：果壳（ID：Guokr42），作者：ttt，编辑：malt