OpenAI首席执行官山姆·奥特曼近日公开警告用户，AI聊天机器人在提供情感支持时存在隐私和安全风险，强调'AI行业缺乏对敏感对话的保障措施'，并宣布公司已加强针对心理健康相关对话的保护机制，这一举措是在ChatGPT周活跃用户突破8亿、每日处理25亿次提示的背景下推出的。
在最近一期This Past Weekend w/ Theo Von节目中，OpenAI CEO山姆·奥特曼明确表示，用户在从ChatGPT寻求情感支持时应当保持谨慎，因为当前AI行业普遍缺乏对敏感对话的充分保障措施。[1]
奥特曼指出，尽管ChatGPT被广泛用于情感支持场景，但AI系统并非专业的心理健康服务提供者，其回应可能不准确甚至有害。这一警告与’我们在2025年已经预见到模型对心理健康的潜在影响’的表述相呼应，表明OpenAI高层早已意识到AI在心理健康领域的潜在风险，并在产品设计初期就考虑了相关问题。[1]
为应对这些挑战，OpenAI已实施多项保护措施，特别是针对未成年人用户。公司宣布了针对18岁以下ChatGPT用户的新政策，包括阻止与未成年人的调情交流，并在自杀讨论周围添加更强的保护机制，甚至在严重情况下上报给家长或当局。[1]
同时，OpenAI正在重组其安全与伦理团队，加强心理健康相关功能的监督和管理。作为’红色警报’状态的一部分，公司已将其他一些举措暂时搁置，优先改进ChatGPT的安全特性，包括心理健康相关对话的处理机制。[1]
为进一步提升用户安全，OpenAI还推出了以下具体措施：
当前，ChatGPT每日接收约25亿次提示，包括来自美国的约3.3亿次，这一数字是八个月前报告数量的两倍多。[1]
同时，ChatGPT的周活跃用户已增至8亿，覆盖全球成年人口10%以上。[2][3] 如此庞大的用户基数和交互量使得心理健康相关问题的处理变得尤为复杂和紧迫，也凸显了奥特曼警告的现实意义。
随着用户将ChatGPT用于情感支持、心理咨询等场景的频率增加，AI系统在处理这些敏感对话时面临的挑战也日益凸显。数据显示，约15%的ChatGPT交互涉及心理健康相关话题，这使得确保这些对话的安全性和适当性成为OpenAI的首要任务之一。[1]
奥特曼的警告引发了业界对AI心理健康影响的广泛讨论。多家AI公司已开始重新评估其产品在心理健康领域的应用边界，部分企业已暂停或限制AI在心理咨询领域的商业化应用。[1]
OpenAI表示将继续改进其系统，包括在敏感对话中增加更多保护层，同时教育用户了解AI在心理健康领域的局限性。公司计划在未来几个月内发布新的安全指南，详细说明AI在心理健康支持方面的最佳实践和限制。[1]
行业专家认为，随着AI在心理健康领域的应用日益广泛，如何平衡技术创新与用户安全将成为行业面临的重要课题。监管机构也开始关注这一领域，预计未来将出台更多针对AI心理健康应用的指导原则和法规。[1]