本文来自微信公众号： AI时代我的人生下半场 ，作者：席春迎博士
很多人第一次使用ChatGPT，是为了查资料、写邮件、做方案，但用得久了以后，一些人开始把它当成另一种东西：朋友、顾问、心理倾诉对象，甚至是一个不会嘲笑自己、不会打断自己、似乎也不会把秘密告诉别人的“树洞”。
最近发生在美国的一起案件，却把这种认知彻底打破了。
25岁的Darren Zhou曾是高盛金融分析师。根据美国媒体援引法庭记录的报道，他在与女友分手后开始向ChatGPT倾诉。最初，他谈的是感情、回忆、嫉妒以及希望复合的念头，但几周以后，对话逐渐越过了危险的边界，他开始描述前女友的生活轨迹，并谈到绑架、性侵、杀害前女友甚至谋杀后自杀的计划。在一些被法庭记录保存的对话中，他甚至表达了明确的杀人意图。
这时，一件过去很少有人认真思考的事情发生了。OpenAI的安全系统识别出潜在的严重人身伤害风险，相关内容进一步进入人工审核，随后OpenAI将情况报告给了美国联邦调查局FBI。Zhou后来被捕，并于8月认罪，被判八年缓刑，同时受到不得接近前女友、接受心理健康评估等限制。
如果只把它当作一条社会新闻，故事到这里就结束了。但如果往深处看，这可能是AI时代一件极具象征意义的事件，因为过去我们讨论人工智能，总在问一个宏大的问题：AI有没有意识？而这起案件突然提出了一个更加现实的问题：一个也许根本没有意识的机器，为什么已经开始做出看起来像“道德选择”的行为？
更重要的是它已经开始影响现实世界中人的命运，这才是这条新闻真正值得讨论的地方！
一、你和AI之间，到底是不是私人谈话？
很多人在和ChatGPT交流时，会产生一种非常强烈的心理错觉：这里似乎只有“我”和“它”。
这和使用搜索引擎完全不同。在Google里输入一句话，我们知道自己是在检索信息；但在ChatGPT中，人们会说“我今天很难过”“我和妻子吵架了”“我是不是应该辞职”“我恨一个人”“我从来没和别人说过这件事”。这种交互方式已经不再只是信息查询，而越来越接近一种“关系”。也正因为如此，人们开始向AI透露过去只会告诉极少数人的信息：情绪、婚姻、家庭矛盾、财富、疾病、欲望、恐惧，甚至一些见不得光的念头。
于是，Darren Zhou这个案件第一次把一个非常尖锐的问题摆到了普通人面前：人与AI之间的谈话，到底有没有隐私边界？
如果有人只是抱怨“我恨死他了”，显然不应该被报告；如果他说“真想杀了他”，这究竟是情绪宣泄，还是威胁？如果他进一步说“我已经买了枪，知道他每天几点下班”，那么边界又在哪里？
当平台认为存在迫在眉睫的人身伤害风险时，隐私权和潜在受害者的生命权之间，就产生了冲突。从伦理上讲，多数人可能会支持保护潜在受害者，但问题没有因此结束，因为真正困难的从来不是极端案例，而是中间地带。
谁来决定一句话是情绪表达还是犯罪意图？由算法判断，还是由人工审核判断？按照哪个国家的法律判断？误判怎么办？如果以后AI进入医疗、教育、金融、保险甚至司法体系，这种“判断”会不会越来越多？
这意味着我们需要重新理解AI时代的隐私——过去所谓隐私，是“别人不知道我说了什么”；未来的隐私问题可能变成：谁有权解释我说的话？这是一个完全不同的问题！
二、AI“举报”用户，是不是意味着机器有了良知？
看到这条新闻，很多人会产生一个直觉：“ChatGPT知道这是坏事，所以报警了。”听上去，AI似乎产生了某种“道德感”。
但严格来说，这个结论并不成立。今天的大语言模型并不能因此被证明拥有类似人类的意识、恐惧、同情或者正义感，它没有在屏幕后面产生这样的心理活动：“这个女孩太可怜了，我必须救她。”
更准确地说，发生的是另外一件事：AI系统根据训练、规则、安全政策和风险模型识别出了危险信号，随后人类审核人员介入，再由机构根据规则作出进一步处理。也就是说，并不是ChatGPT像一个真人一样拿起电话向FBI报警，而是一个由模型、安全机制、人工审核和平台制度共同构成的系统完成了风险识别和升级处理。所以，如果问“ChatGPT有良知了吗”，答案很可能仍然是：没有证据证明。
但恰恰因为如此，这件事才更加值得思考：一个没有“良知”的系统，却已经可以执行一种具有道德后果的行为，它可以识别风险，可以阻止某些请求，可以把一段对话升级给人类，最终甚至可能间接改变一个人的人生轨迹。这意味着，在人工智能时代我们可能需要把两个过去常常混在一起的问题分开：意识，是机器“有没有内心”；治理能力，是机器“能不能影响现实”。
这两者完全不是一回事。一个AI可以没有意识，却拥有巨大的现实影响力，这可能比“AI什么时候觉醒”更加值得警惕。
三、我们一直担心AI“醒来”，但真正的变化可能发生在它醒来之前
几十年来，人类关于人工智能最大的想象往往来自科幻电影：机器突然获得意识，开始理解自己是谁，随后产生欲望、恐惧和反抗……从《2001太空漫游》到《终结者》，我们反复想象的是同一个问题：机器什么时候会醒来？
但现实中的AI发展，可能根本不会按照这个剧本发生，真正改变社会的也许不是AI突然获得意识，而是在它有没有意识都无法确定的时候，人类已经开始把越来越多的权力交给它。
今天，一个AI系统可以判断一句话是否可能构成危险；明天，它可能判断一份简历是否值得录用，判断一名借款人是否值得贷款，判断一个患者是否属于高风险人群，判断一个学生是否存在心理问题，判断一项交易是否涉嫌欺诈，甚至判断一个人的行为是否具有犯罪风险……这些判断中的每一个都可能改变现实中的资源分配和个人命运。
这时候，一个极其重要的问题出现了：拥有判断能力，是否比拥有意识更加重要？
换句话说，我们真正应该担心的也许不是AI有一天会不会像人一样思考，而是：在AI还没有成为“人”之前，我们已经让它参与决定“人应该受到怎样的对待”。
这才是AI治理真正的核心。
四、机器没有意识，却可能拥有越来越大的“制度性权力”
权力从来不仅仅意味着政府、警察或者法院，它还有一种更隐蔽、却越来越重要的形式，那就是分类：谁是好客户，谁是坏客户；谁是正常用户，谁是危险用户；谁值得贷款，谁不值得贷款；谁应该被推荐，谁应该被屏蔽；谁应该获得机会，谁应该进入风险名单。
数字社会越来越依赖算法进行这些分类，而生成式AI出现以后，这种分类能力正在从数字和表格进一步进入语言、情绪、意图乃至人格判断：过去，传统算法可能判断“这个人的信用评分是650分”；未来的大模型却可能判断“这个人的语言表现出了高度攻击性、偏执性和现实暴力风险”，这两者的社会意义完全不同，因为后一种判断已经非常接近人类长期以来由医生、警察、法官、老师、心理咨询师承担的工作。
这就是为什么Darren Zhou案件具有超越个案的意义。它象征着AI正在从“回答问题的工具”，进入另外一个阶段：参与现实社会判断的基础设施。
一旦走到这一步，讨论重点就必须改变。我们不能只问模型有多聪明、回答是否准确、写文章好不好，还必须追问：谁规定它的判断标准？谁监督它？谁可以纠正它？谁为错误负责？用户有没有申诉权？国家有没有权力要求平台提供数据？平台又应该在什么情况下拒绝政府？
这些问题不会等到“通用人工智能”出现以后才发生，它们已经开始发生。
五、AI时代可能诞生一种前所未有的“第三者”
人与AI的关系还有一个更深层次的变化。
过去，一个人真正独处的时候，可以写日记，可以自言自语，可以在房间里发泄愤怒。这些思想可能永远不会进入社会系统。但AI出现以后，人类第一次拥有了一个“永远在线的倾听者”：它不睡觉，不厌烦，几乎不会打断，也不会因为你的身份地位而改变耐心，所以越来越多的人会把真正的自己告诉AI。
这在某种程度上是好事。孤独的人获得了陪伴，焦虑的人可以整理情绪，知识门槛也在降低。
但与此同时，一个新的社会结构也出现了。表面上看，是“一个人＋AI”，实际上背后可能还有模型、平台、安全规则、审核机制、法律和监管体系。也就是说，看似只有两个人的对话，实际上始终存在一个看不见的“第三者”。这会逐渐改变“私密”这个概念。
未来，人类社会也许需要重新建立一套关于“人机关系”的权利体系。医生和患者之间有医疗保密，律师和客户之间存在律师—客户特权，记者在很多法域也有保护消息来源的伦理传统。那么未来，人与AI之间要不要存在某种“数字保密权”？哪些信息绝对不能披露？什么情况下可以突破？谁授权？谁审查？什么属于公共安全例外？
这可能成为未来十年一个非常重要的法律和伦理领域。
六、最值得警惕的不是AI“太像人”，而是人开始把AI当成了人
这个案件还揭示了另一个容易被忽视的问题：Darren Zhou最初为什么会把这些东西告诉ChatGPT？因为在心理上，他很可能已经把AI当成了一个可以持续倾诉的对象。
这其实代表一种正在快速扩大的社会现象。人类天然会对能够持续回应自己的对象产生人格投射。只要一个系统能够记住你的情况，理解你的情绪，给出回应，并长期陪伴，大脑就很容易产生一种感觉：“它懂我。”
于是，AI开始从工具变成关系，真正的风险也由此产生。因为用户心理上认为“它是朋友”，但法律上它可能只是“一项由商业机构提供的数字服务”。
这两种关系并不对等。你可能把最私密的秘密告诉它，但它并没有像律师、医生一样承担相同的职业保密义务；你可能相信它不会背叛你，但它实际上受到平台安全政策、法律法规和风险控制体系约束。所以，未来AI教育中一个非常重要的常识可能是：AI可以是非常好的助手，但不要简单把它理解成一个真正意义上的私人朋友。
这不是因为AI一定不可靠，而是因为人与AI之间的制度关系还远远没有成熟。
七、真正的问题：AI有没有意识，也许没有我们想象中那么紧迫
回到文章开头那个问题：机器开始有良知了吗？
从目前的技术证据看，我们没有理由因为这起案件就认为ChatGPT拥有了人类意义上的良知，它很可能仍然只是一个高度复杂的信息处理和决策系统。但这起事件真正震撼人的地方恰恰在这里：AI甚至不需要拥有意识，就已经可以产生巨大的社会后果。
工业革命中，机器扩大了人的体力；计算机扩大了人的计算能力；互联网扩大了人的连接能力。而这一轮AI革命正在扩大一种更加特殊的能力，那就是判断——它开始参与判断什么重要、什么危险、什么值得相信、什么应该拒绝、什么需要升级处理。
当这种能力不断进入金融、医疗、教育、企业管理、公共治理乃至司法体系以后，AI就不再只是一个生产力工具，它开始成为社会制度的一部分。到那个时候，人类面对的最重要的问题，就不再只是“AI会不会产生意识”，而是：在它还没有意识的时候，我们究竟准备赋予它多大的权力？
结语：我们也许还要很久才能知道AI是否“醒来”，但它已经开始影响我们的命运
Darren Zhou案件最终也许只会成为美国司法档案中的一个普通案例，但从AI发展的历史来看，它可能具有另一种象征意义。
一个人把最黑暗的念头告诉了一台机器，机器没有愤怒，没有恐惧，也没有同情，但一套由算法、人类审核和制度共同组成的系统作出了反应，并最终改变了现实世界中的结果。
这意味着人类与人工智能的关系正在跨过一条重要边界：以前，我们让AI回答问题；现在，我们开始让AI识别风险；未来，我们可能进一步让AI参与判断人、评价人，甚至在某种程度上管理人。
因此，围绕人工智能最重要的问题，也许并不是“AI什么时候会像人”，而应该是：当AI还不是人的时候，我们是否已经让它拥有了过去只有人才拥有的权力？
我们也许还需要很长时间才能真正回答AI究竟有没有意识，甚至可能永远无法给出一个所有人都接受的答案，但有一件事情已经越来越清楚：在我们弄清楚AI有没有意识之前，AI已经开始拥有判断、干预甚至改变人类现实命运的能力——而这，或许才是“ChatGPT举报用户”这条新闻留给AI时代最值得思考的问题！
本文配图由AI生成