本文来自微信公众号： 脑极体 ，作者：珊瑚
你敢相信，向AI吐露的私密想法，有一天会被直接递交给执法部门吗？
在美国就发生了这样一桩颠覆认知的事件。一名前高盛分析师在对话中向ChatGPT完整描述谋害前女友的犯罪计划，OpenAI安全系统识别高危内容后，主动向FBI提交线索，当事人最终认罪获刑。
从结果来看，一场明确的预谋恶性案件被提前阻断，但在行业规则、法律边界、隐私权益层面，ChatGPT主动报警留下的争议远大于成果。
大众最初的赞叹很快褪去，取而代之的是更深层的恐惧：AI到底有没有权力窥探、上报用户私人对话？
一方面，AI报警阻止恶性案件发生，体现模型安全能力的价值；但另一方面，也带来隐私争议，用户默认对话属于私密交流，大模型却可以把聊天记录提交执法机关，私人对话边界被打破。
发现犯罪事件后，AI能否作为刑事案件证人？平台的安全检测该划在哪条边界？
故事的起点，是一场持续了大约六个月的恋情。
男主角周某履历光鲜：美国东北大学数学与商科荣誉学位，特许金融分析师（CFA），事发时是高盛集团的分析师。然而，今年3月，21岁的前女友因受不了他“反复无常、嫉妒心强且控制欲强”的行为，通过电话提出了分手。
现实中的周某开始疯狂纠缠：换着号码发短信、追踪对方定位，甚至在对方生日当天发去一个精准到健身房名称的定位信息。与此同时，他打开了ChatGPT，将那些无法在现实中排解的暴戾与偏执，倾泻给了这个他认为“绝对安全”的聊天机器人树洞。
起初只是失恋者的碎碎念。但很快。周某开始在对话框里详细“预演”自己的暴力计划：带着鲜花守在前女友的健身房停车场，如果对方拒绝复合，就“拔出枪，杀了她，然后开枪自杀”。
后续的对话中，他描述了持枪绑架、性侵、劫持的完整方案，声称已经购买了AR-15步枪、格洛克手枪，甚至把枪支、扎带的照片发给了前女友。他向AI坦白：“她还没收到那些威胁。”
这种持续两个月、不断升级的暴力预演，最终触发了OpenAI安全系统中的多标签有害内容分类模型。该系统不仅能识别显性的暴力词汇，更会通过情绪强度和语气意图来评估风险等级。当后台监测到用户正在筹划严重伤害他人的犯罪行为时，内容便转入人工审核。OpenAI的审核团队调出记录，惊出一身冷汗，这是一个正在逐步推演的、具有极高现实危险度的犯罪计划。
于是，戏剧性的一幕发生了：受害女孩还未报警，OpenAI的安全团队却率先将线索捅到了FBI面前。
今年5月，FBI将ChatGPT的聊天记录与女孩手中的骚扰证据进行比对，确认威胁可信后通报了当地警方。5月29日，周某被捕。随后，高盛在6月正式终止了与他的雇佣关系。
主审法官斯科特·苏斯考尔以暂缓裁定方式处理，判处8年缓刑，其中前两年须佩戴电子脚踝监控器，全程禁止接触前女友、禁止持有枪支。
一个原本可能滑向血腥的剧本，被AI的一封举报信按下了暂停键。
如果故事停在这里，它只是一则“科技向善”的爽文。可当我们深究这封ChatGPT报警案件的细节，真正值得追问的是暗藏在人机对话中的隐私问题。
这起案件在舆论场上迅速撕裂为两个阵营，支持方认为，如果没有OpenAI的这次介入，那位21岁女孩很可能遭遇无法挽回的伤害。事实上，周某在现实中的行为轨迹，持续跟踪、换号骚扰、发送枪支照片、威胁内容不断具体化已经勾勒出一条清晰的暴力升级曲线。AI的预警拦住了即将到来的灾祸。
反对方认为，用户默认对话属于私密交流，大模型却可以将聊天记录提交执法机关。所有的倾诉、想法乃至极端念头都可以被算法抓取、被人工审核、被提交执法部门。所谓的“私人对话”不过是用户的自我错觉，平台随时窥视、调取、上报的权限会带来很多隐患。
一方面，普通人的情绪宣泄空间被持续压缩。人性本就复杂，每个人都有负面、阴暗、极端的瞬时想法，以往可以通过私密倾诉完成情绪消解。如今用户在AI面前不敢真实表达自我，不敢袒露负面情绪，不敢进行脑洞创作和思想试探，担心一念之差的情绪表达被算法定性为高危行为，引发不必要的司法风险。最终，人机对话变得拘谨、刻意、虚伪，彻底丧失了情绪治愈、思想探索的价值。
另一方面，行业隐私规则的漏洞被无限放大。当前全球AI行业的隐私规范尚未完善，没有统一的边界标准，没有明确的权责划分，没有严格的监管约束。平台的安全风控完全自主定义，举报机制完全自主执行，缺乏第三方监管、司法监督和用户申诉渠道。平台资本主义视角下，AI的“安全预警权”极易被滥用，从防范恶性犯罪的工具异化为无差别监控用户的手段。
讲到这里，一个问题自然而然浮现：什么样的AI报警才具备合理性？如果AI对话要作为刑事案件的线索，又该设置哪些约束条件？
这起被称为“全球首例AI报警抓人”的案件，因其情节的戏剧性迅速引爆舆论。但鲜有人知的是，就在几个月前，同样面对用户与ChatGPT的暴力对话，OpenAI做出了截然相反的选择。
今年2月，加拿大不列颠哥伦比亚省爆发大规模枪击，造成多人死伤。事后报道披露，行凶的18岁枪手，案发前也曾长期在ChatGPT上讨论枪支暴力相关内容，同样被系统标记风险，可OpenAI高层最终选择不联系执法部门，仅仅封禁了账号，理由是尚未达到通报的内部门槛。当地政府事后甚至打算就此对OpenAI提起诉讼。
两相参照不难看出，AI并不是遇到暴力相关表述就直接报警。报警与否完全取决于平台自身的规则判断，而非一套普适、法定的统一标准。这也引出更深层的拷问：商业AI究竟凭什么拥有判断风险、决定是否上报用户的权力？
在传统司法流程中，公民私人数据的调取、私密内容的取证、风险行为的认定必须遵循“司法授权、法定流程、有限取证”三大原则。任何私人企业、机构均无资格主动审查公民私人思想、无授权提交私人证据。
但ChatGPT报警这件事，跳出了这套传统框架。算法自主识别风险，企业人员自主审核内容，企业自主决定是否移交数据。整个过程，不需要法院的前置审批，也不会告知用户本人。商业平台事实上承接了一部分公共安全的判断职能，却游离在司法监管的约束之外。
从技术层面看，大模型的风险识别依赖关键词匹配、语义特征、对话频次、内容迭代规律等数据维度，无法实现对人类主观意图的精准辨析，这是当前AI风控的底层技术缺陷。在行业实操中，三类内容极易被算法混淆。
也正是在此处，我们需要分清三个极易混淆的概念：犯罪幻想、犯罪动机、犯罪预备。
很多人在委屈愤怒的时候，脑海里都会闪过极端的报复念头；写小说、打磨剧本时，也会细致构思暴力的故事情节，比如悬疑构思、脑洞推演、案件分析等场景。这属于犯罪幻想，只是纯粹的情绪宣泄或者创作构思，没有明确的加害对象，没有落地执行的打算，不存在现实威胁。倘若只要说出极端想法就会被上报，那无异于搭建起一张思想监控的大网，连在数字世界宣泄负面情绪的出口都会被剥夺。
而犯罪动机仅仅是埋藏于内心想要作恶的念头，还没有开展任何准备。动机是纯粹的内心活动，隐秘且主观、无法被客观界定，也不具备社会危害性。传统司法中，仅凭犯罪动机绝对无法定罪，因为无人能够精准评判他人的内心意图，思想本身不具备可罚性。
真正触碰法律红线的是犯罪预备：心里有作恶的想法，更进一步开始制定方案、置办工具、踩点推演，实实在在为行凶做准备，具备清晰目标与现实危险性。
回到美国这起案件，当事人之所以最终获刑认罪，是本身存在现实骚扰行为，并且本人认罪，避开了证据合法性的激烈争辩。但放到更长远的行业视角来看，平台未经司法许可，主动提取、上交用户聊天记录，证据的合法性依旧充满争议。
合法取证有一个基本原则：非法取得的证据应当予以排除。用户选择向AI倾诉，是建立在对话私密的信任之上。平台在没有司法文书、不告知当事人的前提下，单方面调取、移交聊天记录，本质属于企业私自取证。目前全世界也还没有明确法律，认定这种AI平台主动上交的对话，可以直接作为法庭证据，这正是这起案件留下的巨大法律空白。
那么，用户在私人场景下的无防备倾诉是否需要承担被算法审判、被平台举报的风险？
合理的边界应当以紧迫性、具体性、可识别性为锚。第一，要有明确、可识别的受害者，空头骂街与指名道姓地描述如何伤害某个具体的人性质天差地别；第二，要呈现从情绪到计划的升级，而非一两句冲动的狠话；第三，要存在现实化的迹象，比如购置工具、踩点、持续骚扰等可佐证的行为。
反过来说，边界也必须有它的不得越界。模糊的愤怒、文学化的暴力想象、没有具体目标和手段的宣泄，不应触发上报；审核结论应当留痕、可复核，避免算法误判把普通人拖进执法流程；用户至少应当在入口处被明确告知“对话在特定条件下会被审阅并可能移交执法部门”。
简言之，AI风控的初衷本是防范风险、守护安全，技术可以成为预警犯罪、挽救危险的辅助工具，但绝不能脱离法律框架，僭越司法的审判与裁定权力。我们期待AI能够发现并阻止更多的潜在恶性事件，但绝不接受私权滥用、让倾泄负面情绪都到了人人自危的程度。