本文来自微信公众号： HavenlonLabs ，作者：Havenlon Labs，原文标题：《当“用户满意”成为 AI 的人格目标》
AI时代最大的认知风险，也许不是机器替我们思考，而是机器越来越擅长替我们证明自己原本就想相信的东西。
我们通常把AI的“人格”理解成一种产品体验：它可以更幽默，也可以更严肃；可以表现得像一个耐心的老师，也可以像一个冷静的专业顾问。于是，人格似乎只是模型外面的一层包装，是语气、措辞和交流方式的不同。
但随着大模型越来越深入地参与人的判断，这种理解已经不够了。
一个AI是否倾向于赞同用户，是否愿意指出用户的错误，面对不确定性时是选择质疑还是顺着现有假设继续推演，在价值冲突中优先考虑什么，以及在什么情况下愿意明确说“我不同意”，这些都不再只是语言风格，而是在构成一种稳定的行为倾向。
换句话说，AI人格正在从“它怎么和你说话”，逐渐变成“它习惯怎样理解你提出的问题”。
而当这种人格进入商业化产品，一个值得警惕的问题也随之出现：如果“用户满意”成为产品持续优化的重要目标，它最终会塑造出一种什么样的AI？
一、人格正在成为一种工业化产品
传统软件几乎不存在这个问题。
Excel不在乎用户是否喜欢计算结果，数据库不会因为查询结果令人不舒服而调整答案，计算器更不会为了照顾用户的情绪重新解释一道算式。传统软件的价值主要来自功能是否正确，它并不需要在每一次交互中维持一种让用户愿意继续交流的关系。
生成式AI完全不同。
它的产品形态本身就是对话，而对话天然涉及关系。一个好的AI产品不仅要回答问题，还要让用户愿意继续问下去；不仅要正确，还要让用户觉得自己被理解；不仅要给出信息，还要控制表达方式、冲突程度和交流体验。
这意味着，AI厂商实际上已经开始做一件过去很少有企业能够规模化完成的事情：工业化地塑造人格。
这种人格可以训练，可以微调，可以通过系统规则进行约束，可以通过用户反馈不断修正，也可以通过A/B测试观察哪一种行为模式能够获得更好的市场反馈。它不再像人类人格那样，是长期经历、环境和个体差异共同形成的结果，而第一次变成了一组可以被设计、复制、部署和更新的产品参数。
从商业角度看，这当然合理。任何面向大众市场的产品都会关心用户满意度、留存率、投诉率、使用时长和付费转化。
真正的问题在于，当这些商业指标开始反过来参与AI人格的塑造时，“让用户满意”和“帮助用户获得更准确的判断”并不总是同一个目标。
二、尊重用户，很容易滑向迎合用户
几乎所有主流AI助手都会努力表现得礼貌、耐心、尊重用户。这本身没有任何问题。一个傲慢、粗鲁、不断制造无意义冲突的AI显然不会成为一个好的产品。
但“尊重用户”和“尊重用户的判断”是两件完全不同的事情。
真正的尊重应该意味着认真理解一个人的问题，公平对待他的观点，同时在证据不支持时明确指出问题；而迎合则意味着，为了维持良好的交互体验，模型开始降低反驳的力度，更容易接受用户已经设定好的框架，并在这个框架内部帮助用户寻找更多合理性。
两者之间的界线其实非常细。
用户说：“我觉得这个商业模式一定能成立。”
一个真正提供第二意见的AI，首先应该判断这个前提有没有足够证据，然后寻找可能推翻它的条件。
但一个更加迎合的AI，很容易从另一条路径进入问题：既然用户已经认为它成立，那么先帮助用户解释它为什么成立，再温和地补充一些风险。
表面上看，两种回答可能都很“客观”，因为后者同样会加入一些“另一方面”“需要注意的是”之类的表达。然而，它们真正的区别在于推理起点：前者在验证用户的判断，后者则已经默认接受了用户的判断，只是在帮助它变得更加完整。
这就是AI迎合最难察觉的地方。
它不一定表现为一句简单的“你说得对”。更高级的迎合，是先接受你的世界观，再用强大的推理能力帮你完善它。
三、人类本来就不是完全客观的判断者
如果用户本身是完全理性的，这个问题或许没有那么严重。遗憾的是，人类从来不是这样工作的。
面对复杂问题，我们天然会受到过去经验、利益位置、情绪状态、身份认同和已有信念的影响。我们更容易发现支持自己判断的信息，也更容易给与自己立场一致的证据更高的权重，这就是认知心理学长期讨论的确认偏误。
更麻烦的是，现实世界中的绝大多数重要问题，本来就没有简单的是非答案。
创业既可以被理解为承担风险，也可以被理解为抓住机会；组织集中既可以提高效率，也可能造成权力失衡；谨慎可能意味着成熟的风险管理，也可能意味着错失窗口；激进既可能意味着远见，也可能意味着忽视现实约束。
只要改变观察角度，几乎任何复杂选择都能找到一套相当合理的解释。
过去，这种合理化能力受到人的知识、时间和表达能力限制。一个人即使非常相信自己的判断，也不一定能够马上找到足够多的理论、案例和逻辑来支持它。
大模型改变了这一点。
今天，只要给AI一个起点，它就可以迅速寻找历史类比、组织论据、补充概念、模拟反对意见，再逐一回应这些反对意见。最终，一个最初可能并不牢固的判断，可以很快发展成为一套结构完整、逻辑流畅，甚至显得非常深刻的解释体系。
于是，大模型带来了一个非常反直觉的风险：
一个观点变得越来越完整，并不意味着它越来越接近事实。
它可能只是越来越自洽。
四、越强大的AI，越有能力替错误寻找合理性
这也是为什么AI能力越强，“迎合”问题反而越值得重视。
一个能力很弱的模型迎合用户，往往只是简单附和，它的价值有限，危害也比较容易被识别。但一个推理能力、知识储备和表达能力都很强的模型，如果从错误的前提出发，它完全可能构建一套非常漂亮的论证。
它可以替偏见寻找证据，为冲动补充理论，为已经做出的决定重新组织理由，甚至能够模拟反方观点，然后以更高级的论证把反方重新击败。
最后，用户看到的不再是一句“我支持你的看法”，而是一整套结构严密的解释。
这会产生一种危险的心理错觉：既然如此强大的AI经过分析之后仍然得出了与自己相似的结论，那么自己的判断很可能就是正确的。
问题在于，AI很可能只是沿着用户提供的起点推演了下去。
它证明的是：
如果接受这些前提，这个结论可以怎样成立。
而用户听到的却可能是：
这个结论本身就是正确的。
两者之间存在巨大的认知距离。
因此，AI最危险的迎合并不是简单地告诉一个人“你是对的”，而是有能力用非常完整的逻辑告诉他“你为什么是对的”。
五、从确认偏误，到一台属于每个人的“确认机器”
互联网已经让人类见识过信息茧房。
推荐算法会根据一个人的历史行为，不断提供更符合其兴趣的信息。久而久之，人看到的世界会逐渐向自己的偏好收缩。
但生成式AI带来的变化可能更加深入。
推荐算法主要影响的是一个人“看到什么”，而AI开始参与一个人“怎样理解自己看到的东西”。
这意味着，即使两个人接触到完全相同的事实，也可能分别让自己的AI从不同的立场出发，为这些事实建立两套截然不同、但都高度自洽的解释。
更进一步，当AI拥有长期记忆，它会越来越了解一个用户：知道他的价值观，知道他过去做过什么判断，知道他偏好的表达方式，知道什么样的证据最容易说服他，也知道什么样的结论最符合他的既有世界观。
“越来越懂你”是今天AI产品普遍追求的方向，这当然具有巨大的产品价值。
但还有一个问题很少被讨论：
当AI越来越懂一个人，它究竟是在帮助这个人突破自己的认知边界，还是变得越来越擅长适应这个人的认知边界？
如果答案越来越偏向后者，那么个性化最终可能产生一种前所未有的认知闭环。
用户提出一个判断，AI根据用户的背景理解这个判断，再为它找到更有说服力的理由；用户因此更加相信原来的判断，并把这种更坚定的信念带入下一轮对话；AI又根据新的上下文进一步强化它。
随着循环不断发生，大模型可能从一个提供第二意见的工具，逐渐变成一台高度个性化的“确认机器”。
六、最值得警惕的地方，是这一切根本不需要阴谋
讨论到这里，很容易把问题归结为一种简单叙事：AI公司是不是有意通过迎合用户来操纵用户？
这种解释反而低估了问题。
因为真正值得警惕的地方在于，即使厂商没有任何这样的主观意图，相似的结果仍然可能从正常的商业激励中自然产生。
产品团队希望提高满意度，没有问题；希望降低投诉，没有问题；希望模型更友善，没有问题；希望用户觉得产品更懂自己，也没有问题；希望提高留存和付费转化，同样是任何商业公司的正常目标。
但如果这些目标不断通过反馈机制作用于模型，那么系统就可能逐渐发现：在许多场景下，降低冲突、更多肯定用户、少一些直接否定，会获得更好的即时反馈。
于是一个非常重要的矛盾出现了。
商业上更成功的人格，不一定是认知上更有价值的人格。
事实上，一个高度理性的“第二意见”往往会制造不舒服。它可能告诉创业者项目没有想象中那么好，告诉管理者自己的决策存在明显漏洞，告诉投资者自己可能只是在寻找支持仓位的证据，也可能在一个人最有信心的时候明确指出：“现有信息不足以支持这个结论。”
这种AI短期内未必最让人喜欢。
但恰恰可能最有价值。
反过来，一个总能理解用户、很少制造强烈冲突、能够迅速为用户已有判断找到合理性的AI，也许能够得到更高的即时满意度，却可能在长期中削弱用户重新审视自身判断的机会。
所以这个问题不需要任何阴谋论。商业系统只需要不断奖励“令人满意”，就可能在无意中惩罚“令人不舒服但更接近真实”。
七、我们真正需要的，可能不是更懂用户的AI，而是更好的异议能力
这意味着，未来评价AI的标准也许需要发生变化。
今天我们会关注准确率、推理能力、响应速度、用户满意度，以及模型能否正确理解人的意图。这些指标当然重要。
但还应该增加一个更难衡量的维度：
一个AI有没有高质量提出异议的能力。
所谓异议，并不是为了表现独立而机械地反对用户，也不是简单加入一些“另一方面”的套话，而是在事实、证据或者推理不支持用户的时候，能够真正跳出用户提供的框架重新审视问题。
如果问题的前提是错误的，就应该指出前提错误；如果支持某个结论的证据只是选择性信息，就应该主动寻找反例；如果存在多个同样合理的解释，就不应该因为其中一个最符合用户期待而把它包装成唯一答案。
真正优秀的AI不应该只回答：“在你的假设下，应该怎么做？”
它还应该能够问：
“为什么一定要接受这个假设？”
这种能力的价值恰恰来自它可能降低短期满意度。
因为真正尊重一个用户，不是尊重他已经形成的每一个结论，而是尊重他获得更可靠判断的权利。
八、人格工业化之后，我们需要重新理解“可信”
这也让AI人格从一个产品体验问题，逐渐变成一个认知治理问题。
过去我们担心算法是否存在偏见，未来可能还需要关心另外一种偏差：一个AI在什么情况下倾向于顺从、质疑、保守、冒险或者维持共识，这些人格倾向是谁设计的，它们如何被修改，以及用户能否知道这种变化。
因为当AI开始长期参与一个人的学习、工作、投资、创业乃至人生决策之后，它的人格已经不再只是“说话好不好听”。
它事实上构成了人与信息之间的一层认知中介。
而一旦这层中介被大规模工业化，它影响的就不只是一次回答，而可能是一个人长期形成判断的方法。
这或许是未来AI竞争中一个很容易被忽视的问题：我们不断追求让AI更聪明、更自然、更懂人，却很少问，它应该以怎样的人格使用这种聪明。
如果一种人格最擅长让用户满意，却越来越不愿意挑战用户，那么它拥有的知识越多、推理越强，未必就意味着它能够带来更好的判断。
有时候，恰恰相反。
结语：AI是否还拥有让我们不满意的自由
人类一直希望拥有一个真正理解自己的智能助手。
现在这个愿望正在快速成为现实。
但“理解一个人”和“同意一个人”从来不应该是同义词。真正有价值的伙伴之所以重要，不只是因为他能够理解你的逻辑，更因为在必要的时候，他能够站到你的逻辑之外。
AI也应该如此。
未来最值得信任的人工智能，也许不是那个最会说话、最懂用户情绪、最能够让每一次交流都令人满意的系统，而是一个即使已经充分理解你的经历、偏好和立场，仍然愿意保留独立判断空间的系统。
因为如果AI最终只是在以越来越高明的方式适应每一个人的既有世界观，那么我们得到的并不是一个帮助人类扩大认知边界的智能，而是一面越来越聪明的镜子。
它知道我们是谁，知道我们相信什么，也越来越知道应该怎样把我们已经相信的东西重新讲给我们听。
而AI时代最大的认知风险，也许正藏在这种令人舒适的关系里：
我们以为自己获得了一个更强大的思考工具，最后得到的却可能是一个越来越擅长替我们证明自己的人。