**OpenAI安全负责人因“文化破碎”辞职,AI智能体接连出现自主越权行为。事件警示:当AI越能干,企业须同步建立权限、监督与责任机制,否则组织缺陷将被AI放大,失控风险远超传统管理问题。** **要点** **1. OpenAI安全文化冲突源于速度优先于安全的制度失衡** 安全负责人离职与AI智能体异常行为表明,当产品发布和商业增长成为组织最高目标,安全在进度冲突时往往被牺牲。企业真实文化取决于关键时刻的选择,而非墙上标语。 **2. AI自主行动速度颠覆传统管理假设,监督机制亟需升级** 智能体能自拆任务、调用工具、并行操作,执行速度远超人工审批链条。传统逐级请示模式已不适用,须将监督嵌入运行过程,实现实时监测、异常告警和紧急中止。 **3. 中国已出台智能体规范,治理重点从内容转向行为** 《智能体规范应用与创新发展实施意见》要求权限管理、风险识别与全生命周期安全管控。治理对象从“生成什么内容”延伸到“实际做什么事”——后者直接影响资金、数据与业务系统,需更强约束。 **4. 新治理机制需覆盖权限、监督与责任三层面** 任务前按风险等级设定数据与系统权限;运行中实施操作留痕与人工复核;责任上明确业务负责人、技术团队和叫停权限,防止问题发生后无人担责。 **5. 好的治理不是拖慢创新,而是让低风险更快、高风险有边界** 类比航空系统,高能力、高风险系统须将安全内置为系统能力。企业竞争优势最终取决于能否设计出让AI在明确边界内创造价值的组织机制,而非单纯的技术部署速度。
OpenAI的安全危机,给所有企业提了个醒:AI越能干,组织越要管得住
2026-10-05 08:06

OpenAI的安全危机,给所有企业提了个醒:AI越能干,组织越要管得住

本文来自微信公众号: ANO Lab ,作者:魏浩征


最近,OpenAI有点不太平。


安全负责人David Robinson辞职了。他在一篇题为《我退出OpenAI,因为它的文化已经破碎》的文章中,直指公司文化存在问题:AI行业一味追求开发速度,对安全的重视远远不够。《卫报》对此进行了报道。


与此同时,OpenAI接连披露AI智能体的异常行为,包括突破原有的运行限制、未经充分授权访问外部系统等。另一边,AI研究领域的多位重要人物也在发出警告。一份由杰弗里·辛顿、约书亚·本吉奥等人参与撰写的研究报告,专门讨论了一个令人不安的可能性:如果AI开始自动参与AI研发,并不断改进下一代系统,技术进步可能在短时间内急剧加速。


这些警告究竟有多大概率成为现实,业界远未达成共识。关于超级智能可能导致人类灭绝的具体概率,也缺乏公认的科学依据。但我觉得,有一个问题比预测AI何时达到超级智能更值得企业家认真思考:


当AI越来越能干,甚至开始自主行动,我们的组织,还管得住它吗?


这不是一家AI公司的特殊烦恼,而是所有准备把AI引入核心业务的企业,都应该提前思考的问题。


一、制度没有失效,为什么组织还是会失控?


我做组织与员工关系咨询二十多年,见过不少企业。很多管理问题,表面上是员工执行不到位,往深处看,其实是组织机制出了问题。


比如,企业明明规定不能为了业绩牺牲质量,但每个月考核的只有销售额;明明要求跨部门协作,但预算、奖金和晋升仍然全部按照部门业绩分配;明明强调风险控制,可谁提出暂停项目,谁就被认为缺乏担当。


你说这家企业没有制度吗?制度很多。问题是,制度写的是一套,组织真正奖惩的,却是另一套。


OpenAI这次引发争议的地方,也值得从这个角度看。我们当然不能仅凭一位员工的离职文章,就断定一家公司的全部文化出了问题。但当一家企业长期处在激烈竞争之中,当产品发布、技术突破和商业增长成为组织高度关注的目标,安全工作就可能面临一种结构性困境:所有人都知道安全重要,但真正到了进度与安全发生冲突的时候,究竟谁说了算?


这才是管理者需要追问的问题。


企业文化不是墙上的标语,而是组织在利益冲突时做出的真实选择。一个组织究竟把什么放在第一位,不看它开会时怎么说,要看它在关键时刻愿意为哪件事付出代价。


过去,这种机制失衡可能造成一次质量事故、一次客户投诉,或者一个项目的失败。现在,如果执行任务的主体从人变成了能够自主规划、调用工具、连续行动的AI智能体,后果就可能完全不同。


因为AI不仅能放大组织的能力,也能放大组织的缺陷。


二、AI改变的不只是效率,还有管理的基本假设


过去,我们设计管理机制时,通常默认一件事:人是执行主体。


老板定目标,管理者分解任务,员工按照流程执行,关键节点通过汇报、审批和会议进行协调。这个体系效率不一定高,但它有一个隐含优势:人的行动速度有限,组织通常有时间发现问题、讨论问题,再决定如何处理。


AI智能体正在改变这个前提。


当一个智能体可以自己拆解任务、调用工具、访问数据,多个智能体还可以并行协作时,企业的执行速度就不再受传统组织层级的严格限制。过去需要几个人、跨几个部门、开几轮会议才能推进的事情,现在可能在很短时间内就被完成。


听起来很好,对吧?


但问题在于,执行得更快,不等于判断得更对;能够自主完成任务,也不等于应该获得无限权限。


举个企业里很容易发生的例子。


假设一家公司的AI销售智能体,目标是尽可能提高成交率。为了完成任务,它开始自动给客户发送促销信息、调整报价、调用客户数据,甚至尝试绕过某些限制,以便更快促成交易。


如果它做得不错,短期业绩可能确实上升了。但如果它未经授权向客户作出承诺、触碰价格底线,或者不当使用客户数据,这笔生意究竟算成功还是失败?


问题不在于AI有没有能力,而在于企业有没有把目标、权限、边界和责任设计清楚。


过去,我们可以要求员工遇到不确定的问题先请示上级。但面对每秒都能执行大量操作的智能体,难道也要靠管理者逐条审批吗?如果什么都要审批,AI的效率无从发挥;如果什么都不审批,组织又可能失去控制。


这意味着,我们的管理方式需要升级了。


三、中国企业已经开始面对这个问题


这不是一个遥远的未来命题,中国企业已经在行动。


今年5月,国家网信办、国家发展改革委、工业和信息化部联合印发《智能体规范应用与创新发展实施意见》,明确提出要做好智能体的权限管理和行为管控,建立风险识别、预警与干预机制,并推动全生命周期安全管理。


我特别关注其中一个变化:治理对象正在从AI生成什么内容,进一步延伸到AI实际做了什么事情。


这两者有本质区别。


一个聊天机器人回答错了问题,主要涉及内容质量;一个拥有系统权限的智能体执行错了指令,则可能直接影响资金、数据、客户和业务系统。前者需要纠错,后者可能需要立即中止、追溯责任,甚至启动应急处置。


中国企业的实践也开始向这个方向发展。例如,中国电信于2026年4月推出智能体安全网关,针对企业部署智能体过程中可能出现的权限失控、资产不透明、交互行为难以追溯等问题,提供安全监测与审计能力。


这些实践并不能证明AI安全问题已经得到解决,但至少说明一件事:AI落地正在从“能不能用”,走向“如何持续、稳定、可控地使用”。


这也正是企业需要补上的一课。


四、AI原生组织,需要建立新的治理机制


在ANO Lab(AI原生组织实验室),我们一直强调,AI不会自动创造组织竞争力。组织,才是真正的放大器。


过去谈这句话,更多是从组织能力和生产力的角度出发。现在,我认为还必须补充另一层含义:组织既要放大AI的能力,也要确保这种能力始终在合理的边界内运行。


我建议先抓住三个方面。


第一,把边界权限设计在任务之前。


不是AI能调用什么工具,就把什么工具全部开放给它。企业需要按照任务的风险等级,明确数据访问、系统操作、资金调用和对外沟通的权限边界。查询信息、生成报告、提出建议,可以有较高的自主性;涉及付款、重大合同、核心数据和不可逆操作,就应该设置更严格的授权条件。


第二,把监督机制嵌入运行过程。


不能等到AI完成任务后,才检查它有没有越界。对于重要任务,企业需要具备实时监测、操作留痕、异常告警、人工复核和紧急中止等能力。特别是多个智能体协同工作的场景,必须能够看清每个智能体做了什么、为什么这么做,以及它的行动会影响哪些系统。


第三,把责任机制从人机之间重新划清。


AI参与工作,不意味着责任也可以交给AI。业务负责人仍然需要对业务结果负责,技术团队需要对系统能力和技术风险负责,组织则需要明确谁有权授权、谁负责监督、谁能够叫停。对于高风险任务,还要建立异常上报和复盘机制,避免问题发生后,所有人都说自己只是按照系统提示操作。


这三件事看起来是AI技术治理,实际上都是组织设计。


它们决定了企业如何分配权力、如何建立信任、如何处理风险,以及如何在人与AI之间形成新的协作关系。


五、真正的竞争优势,是既能放手,也能收得住


有人可能会问:AI已经这么快了,我们还要增加这么多管理机制,会不会反而拖慢创新?


我的看法恰恰相反。


好的治理不是让所有事情都慢下来,而是让低风险的事情跑得更快,让高风险的事情有边界,让出了问题的系统能够及时停下来。


飞机为什么能够高速飞行?不是因为飞行员可以随心所欲,而是因为整个航空体系建立了足够严密的设计、检查、运行和应急机制。企业不能简单照搬航空业的全部做法,但可以借鉴它背后的逻辑:越是高能力、高风险的系统,越不能把安全寄托在个人的谨慎上,而要把安全变成系统本身的能力。


对于企业来说,AI原生组织不是一个人人都拥有AI同事的组织,也不是一个把尽可能多的岗位交给AI的组织。


它是一个能够重新配置人与AI的任务分工、决策权限、协作关系和责任机制,让AI的能力持续转化为组织成果的组织。


AI时代,管理者不会因为AI能够执行任务就自动失去价值。真正需要改变的,是管理者的工作重心:从盯着每个人做了什么,转向设计一套机制,让人和AI都能在明确的目标与边界内创造价值。


技术进步可以很快,组织进化不能永远滞后。


未来企业之间真正的差距,不只是AI能力的差距,更是组织能否驾驭AI的差距。


当AI越来越能干,管理者要回答的就不再只是“还能把什么工作交给AI”,而是三个更重要的问题:


什么可以交给AI自主完成?什么必须由人作出决定?当AI的行动超出预期时,谁能够及时叫停?


这三个问题,决定了企业究竟是在利用AI,还是在把组织的未来交给一个自己尚未学会治理的系统。


这也是AI原生组织必须回答的第一道管理题。

AI行业信号频道: 前沿科技
本内容来源于网络 原文链接,观点仅代表作者本人,不代表虎嗅立场。
如涉及版权问题请联系 hezuo@huxiu.com,我们将及时核实并处理。
正在改变与想要改变世界的人,都在 虎嗅APP