本文来自微信公众号：返朴（ID: fanpu2019），撰文：王培（美国天普大学计算机与信息科学系）
由于这些文件所代表的主流观点在对人工智能的认识上缺乏前瞻性，因此提出的各种措施不足以保证实现人工智能治理原则所想达成的目标。
近年来，人工智能的快速发展得到了全社会的高度关注，同时也引起了种种担心和忧虑。作为对公众的回应，若干科学组织先后宣布了相关的伦理规范（见参考文献2-4）。今年6月17日，国家新一代人工智能治理专业委员会发布了《新一代人工智能治理原则——发展负责任的人工智能》（以下简称《治理原则》，详见文末），提出了人工智能治理八条原则。这份文献展现了国内科技工作者在这个重要议题上的责任感和使命感，在内容上也和国际上的其它文献基本一致，代表了主流学术界在这个问题上的认识。
读过我前面文章的诸位知道我在人工智能的研究目标和技术路线上的非主流立场，因此大概不会奇怪我在人工智能治理这个问题上也有不同看法。我三年前在《人工智能危险吗？》文中就讨论过有关问题，这里试图更加全面地对这种少数派观点加以进一步解说，以示这不是“为了不同而不同”。下面的分析和结论直接针对《治理原则》，但也适用于其它已发布的规范。
首先要声明的是这些异议不说明我完全否认《治理原则》和其他文献的价值。我完全理解并尊重各位同仁的动机及努力，而且基本同意诸文件中提出的各项目标。我只是认为这些文件所代表的主流观点在对人工智能的认识上缺乏前瞻性，因此提出的各种措施不足以保证这些目标的实现。
一、该谁负责？
既然大家的目标都是“发展负责任的人工智能”（我对此并无异议），那么首先要确定谁该为一个人工智能系统的行为后果负责。
即使不提旨在定义“责任主体”的哲学或法学理论，这个问题也已经在若干应用领域中成为不可回避的了。这里的“责任”可能是好事，也可能是坏事：人工智能系统“创作”的诗歌、乐曲、绘画等等版权该归谁？如果自动驾驶汽车交通肇事，谁该受罚？《治理原则》提出要“建立人工智能问责机制，明确研发者、使用者和受用者等的责任”（其他文献中的建议也类似）。我的问题是：人工智能系统本身有可能需要负责任吗？
要说清这一点不得不回到我多次提过的“AI头号问题”：“人工智能”在这里是什么意思？不是我喜欢咬文嚼字，而是因为目前在这个名头下的各种系统实在是有根本差异。就责任归属而言，起码有三种非常不同的系统需要区别开来。
A．计算系统：在计算机理论中，“计算”指一个确定的输入输出关系，因此一个“计算系统”的功能是完全在其设计过程中决定了的。如果用这个办法来设计一辆自动驾驶汽车，那就要求设计者考虑到所有可能的路况和天气，并为汽车在每种情况下指定相应的操作。
这也就是说如果出现错误行为，责任常常要由设计者来负。除了设计错误和器件故障之外，使用者也可能要负责任，比如说如果一辆自动驾驶汽车被用来运毒品，汽车设计者一般来说是没有责任的。
B．学习系统：这是目前最常被称为“人工智能”的类型。这样的系统也是被造出来实现特定的输入输出关系，但由于关系太复杂，设计者无法一一考虑，以此就靠一个学习算法从大量的训练样本中总结出一般规则。
这样一来，在传统的建造者和使用者之外，又出现了第三种责任人：训练者。在某些问题上，训练者的责任大于（学习算法的）设计者和（训练结果的）使用者，比如说系统的“偏见”就有可能是训练数据选择不当造成的。在具体应用环境中，训练者的角色往往是由建造者或使用者所兼任的，因此常常不被单列出来作为责任人，尽管这个角色的职责和另两个是有明确差别的。
就上述两种系统而言，《治理原则》提出的应对是基本恰当的。但要由建造者和使用者负责的不仅仅是人工智能系统，而是所有自动化系统、信息加工系统，或者说计算机应用系统，因此这些原则和这些领域中一直被遵循的伦理原则并无重大差别。真正有特别需求的人工智能系统恰恰是不在前述两类范围之内的下面一类。
C．适应系统：这种系统终生都在学习，因此始终不形成固定的输入输出关系，同时所有使用者也都是训练者，因为使用过程也都成为了学习材料。之所以要把这类系统与学习系统区分开来，是因为尽管决定这类系统行为的先天因素可以由其设计者和建造者负责，后天因素却没有明确的责任人。由于系统的终身经历都会影响其行为，那么除非有人能掌控其全部经历的所有细节，没人能够决定其行为并需要对其后果负责。
尽管适应系统目前不在主流人工智能研究的范围之内，大概没人可以否认这种可能性，而且确实有少数研发中的系统属于此类，包括我自己的纳思系统。
即使不提这些，现有的工作已经有这方面的征兆。前一段某公司将一个有一定学习能力的聊天程序放在互联网上，没料到不久它就学了一堆偏见和脏话。谁该对这个后果负责呢？当然是某些和它对话的人把它教坏了的，但这可能涉及到很多人，每一个人又都不能负全责。
就这个具体案例而言，还可以责备那个（那些）把程序上网的决策者对后果缺乏预见性，但如果考虑到未来的适应系统可以直接和外部世界相互作用（比如机器人）或通过观察和阅读来学习，其行为的责任人就更难确定了。如果一个人工智能系统从《三国演义》里面学会了耍阴谋，该让谁负责？
这里的情形实际上和一个人已经很像了。某人的某些行为可能主要归因于其遗传基因或身体条件，这些一般被看作自然因素，无须有人负责，而在人工智能系统中类似的因素是由设计者和建造者负责的。
在系统“出生”后，其初始经验一般是很大程度上被他人（父母、监护人、老师等等）控制的，因此这些控制者要在一定程度上为系统所习得的行为负责。当系统逐渐“成熟”并离开受控环境（“走入社会”）之后，其行为的责任就会逐渐转移到系统自身之上，这一方面是因为没有任何其他人可以负这个责任，另一方面是适应系统具有一定的“责任能力”，即能够根据对后果的预期选择自身行为。
一个真正有智能的系统一定是有适应性的，因此一个“负责任的人工智能”必须能为其自身的某些行为负责，而不是把责任全部归于其设计者、建造者、训练者、使用者，尽管那些人也都有各自的责任。
二、谁的伦理？
不管谁负责，我相信绝大多数人（包括我自己）都同意研发人工智能的根本动机是造福人类而非危害人类。这在《治理原则》中表述为“人工智能发展应以增进人类共同福祉为目标；应符合人类的价值观和伦理道德”。这尽管听上去完全正确，落实起来可不容易。
首先，把“人类的价值观和伦理道德”都存储在一个人工智能系统中不解决任何问题。要实际规范系统的行为，伦理指令必须具体、清晰、明确。而只要我们仔细分析几个具体问题，就会发现想要“符合人类的价值观和伦理道德”绝不简单。试举几例：
如果一个人工智能系统通过分析用户所提供的信息发现了某些隐含或导出信息，这是不是侵犯隐私？如果是，那“隐私”的界限在哪里？（凡是没有明确陈述的都算？）
自动汽车在遭遇车祸时应当无条件保证车内乘客的安全吗？如果有例外，那么条件是什么？（这是伦理学“电车难题”和恋人测试“掉河里先救谁”的升级版。）
人工智能应该被用于军事用途吗？杀人当然不对，但杀坏人除外吧？如果杀少数人可以挽救多得多的人呢？（这时问“杀不杀？”和“救不救？”的效果是不同的。）
尽管《治理原则》和其它文献中所列的原则的确在很大程度上代表了普世价值，但在大量具体问题上人类内部还是没有共识的，更不必说这些原则在具体执行时常常是互相冲突的（骗人不对，但若能改善病人的心情呢？）在这种情况下，谁有权代表人类为人工智能提供伦理指令？即使有这样的权威，是否可能依此摆脱所有伦理困境？我们今天认定的伦理原则是否几十年后（还不要说更久）依然有效？想想我们自己的历史吧！
即使不谈对人类伦理的不同理解，这里仍有大问题在：人类伦理是用于规范人际关系的，因此不完全适用于规范“机际关系”或人机关系。
为纯粹的学术目的，我们可以让一个由适应性系统组成的社群中完全自发地生成某种伦理规范：为了共存和合作，这些系统有需求来建立和维护彼此都可以接受的规范，以实现社会行为的稳定性和可预测性。一个完全无法无天的系统一定是无法有效地和其它系统合作的。
这样形成的“规矩”会和人类伦理有共同点（比如大概都会在一定程度上接受“己所不欲勿施于人”这种类比推理），但不一定完全一样。至于和人的关系，即使将来人类在一定程度上承认人工智能系统的社会地位和权利，也不可能认为它们和人类完全一样（因为本来就不一样），这就是说不会完全像对待人一样对待它们。因为这些理由，人工智能的伦理规范一定是直接根植于这些系统自身经验的，否则不会真的有用。
总而言之，我完全同意人工智能需要依照某种伦理规范来行为，但不认为可以靠灌输一套人类伦理规范给它们就可以解决问题。植入或教给它们若干伦理律令是可能的，但必须允许系统通过对自身经验的总结和整理对其进行具体化，这也就使得个体差异和试错学习不可避免，正像发生在人类的伦理教育中那样。
三、如何治理？
对于适应性系统来说，尽管先天设计仍然重要（一个“精神不正常”的AI是难以用伦理来规范的），但“讲道德”“爱人类”等目标更多地要通过后天教育来逐渐实现，因为无论如何精细的设计都无法穷尽未来的可能情况，也不可能有足够的数据来通过有限的训练对所有情况做出准备。
如何教育一个具有适应性的人工智能系统是一个超出本文范围的题目。在这里我只列出我的看法，而把详细的讨论留给未来：
人类可以通过控制或影响适应性系统的经验来对其进行教育，以建立满足人类要求的动机、知识、技能结构。
这种教育过程会和对人类儿童的教育类似，只是没有其中生物性的部分，因为人工智能只有心理建构过程而没有生理发育过程。
这种教育过程和目前机器学习的训练过程有根本差别，不是单纯的统计推理。
由于未来环境不可精确预测，无论怎样的教育方案都无法保证被教育的系统不犯错误（包括伦理方面的），而只能保证它会从错误中学习（尽管仍有可能学到错误结论）。
系统的价值观和伦理准则是不断被系统自身根据经验修正和调整的。经验不同的系统会有不同的观点，但可以通过互动建立一定程度的共识。
针对人工智能的教育学和心理学会成为独立学科。
参考文献1对其中某些观点有进一步展开，但除了一些基本原则之外，我不认为可能在把这种系统造出来之前能完全保证它的安全性，这就像莱特兄弟在造出飞机之前无法制定完善的飞行安全条例一样。
目前有一种流行的观点，认为除非保证符合所有伦理、道德、法律方面的期望，人工智能研究根本就不该进行。
在我看来这就像是说如果一对夫妻不能证明他们未来的孩子不会犯法，就不给他们发“准生证”一样荒谬。我不是反对基于伦理考虑对研发进行限制，尤其同意不该将不成熟的技术冒险投入实际应用，但禁止制造原子弹和禁止研究原子物理学不是一回事。
尽管具有适应性的人工智能确有其危险，但其巨大的理论和应用潜力仍足以让我们接受这个挑战。
总结
要有效治理人工智能，我们先应该对这个治理对象有一个尽量全面、准确的认识。考虑到未来人工智能将要具有的适应性和自主性，对《治理原则》代表的主流方案需要进行下列修正：
在治理对象中注重人工智能系统本身，而不是仅仅考虑其设计者、制造者、训练者、使用者等等传统治理对象；
在治理手段中注重教育、伦理、法律等等后天培养、规范、奖惩措施，而不是寄希望于设计一个保证不可能犯错的人工智能系统；
在伦理建设中注重通过影响系统经验构建相关动机、知识、能力，而不是试图原样植入或灌输人类伦理价值指令。
我相信这些修正会提高人工智能的“安全可靠可控”水平，但不认为这是个可以一劳永逸地解决的问题，更不同意靠禁止或放缓人工智能研究可以使人类更安全。
参考文献
1. Jordi Bieger, Kristinn R. Thorisson and Pei Wang, Safe baby AGI, Proceedings of the Eighth Conference on Artificial General Intelligence, Pages 46-49, Berlin, July 2015
2. The Ethically Aligned Design（https://standards.ieee.org/industry-connections/ec/autonomous-systems.html）, prepared in 2016 by IEEE Standards Association
3. The Asilomar AI Principles（https://futureoflife.org/ai-principles/?cn-reloaded=1）, developed in conjunction with the 2017 Asilomar conference
4. The Ethics Guidelines for Trustworthy Artificial Intelligence (AI)（https://ec.europa.eu/futurium/en/ai-alliance-consultation/guidelines）, prepared in 2019 by the High-Level Expert Group on Artificial Intelligence of the European Commission
《治理原则》全文如下：
新一代人工智能治理原则——发展负责任的人工智能
全球人工智能发展进入新阶段，呈现出跨界融合、人机协同、群智开放等新特征，正在深刻改变人类社会生活、改变世界。为促进新一代人工智能健康发展，更好协调发展与治理的关系，确保人工智能安全可靠可控，推动经济、社会及生态可持续发展，共建人类命运共同体，人工智能发展相关各方应遵循以下原则：
一、和谐友好。人工智能发展应以增进人类共同福祉为目标；应符合人类的价值观和伦理道德，促进人机和谐，服务人类文明进步；应以保障社会安全、尊重人类权益为前提，避免误用，禁止滥用、恶用。
二、公平公正。人工智能发展应促进公平公正，保障利益相关者的权益，促进机会均等。通过持续提高技术水平、改善管理方式，在数据获取、算法设计、技术开发、产品研发和应用过程中消除偏见和歧视。
三、包容共享。人工智能应促进绿色发展，符合环境友好、资源节约的要求；应促进协调发展，推动各行各业转型升级，缩小区域差距；应促进包容发展，加强人工智能教育及科普，提升弱势群体适应性，努力消除数字鸿沟；应促进共享发展，避免数据与平台垄断，鼓励开放有序竞争。
四、尊重隐私。人工智能发展应尊重和保护个人隐私，充分保障个人的知情权和选择权。在个人信息的收集、存储、处理、使用等各环节应设置边界，建立规范。完善个人数据授权撤销机制，反对任何窃取、篡改、泄露和其他非法收集利用个人信息的行为。
五、安全可控。人工智能系统应不断提升透明性、可解释性、可靠性、可控性，逐步实现可审核、可监督、可追溯、可信赖。高度关注人工智能系统的安全，提高人工智能鲁棒性及抗干扰性，形成人工智能安全评估和管控能力。
六、共担责任。人工智能研发者、使用者及其他相关方应具有高度的社会责任感和自律意识，严格遵守法律法规、伦理道德和标准规范。建立人工智能问责机制，明确研发者、使用者和受用者等的责任。人工智能应用过程中应确保人类知情权，告知可能产生的风险和影响。防范利用人工智能进行非法活动。
七、开放协作。鼓励跨学科、跨领域、跨地区、跨国界的交流合作，推动国际组织、政府部门、科研机构、教育机构、企业、社会组织、公众在人工智能发展与治理中的协调互动。开展国际对话与合作，在充分尊重各国人工智能治理原则和实践的前提下，推动形成具有广泛共识的国际人工智能治理框架和标准规范。
八、敏捷治理。尊重人工智能发展规律，在推动人工智能创新发展、有序发展的同时，及时发现和解决可能引发的风险。不断提升智能化技术手段，优化管理机制，完善治理体系，推动治理原则贯穿人工智能产品和服务的全生命周期。对未来更高级人工智能的潜在风险持续开展研究和预判，确保人工智能始终朝着有利于社会的方向发展。
国家新一代人工智能治理专业委员会
2019年6月17日
来源：科技部