本文转自微信公众号：全媒派（ID：quanmeipai）。虎嗅网获授权转载。
硅谷正在迎来至暗时刻。
从搜索引擎到社交平台，科技巨头们在现代世界中的重要作用不可或缺，却对自身平台的现状视若无睹。
扎克伯格在哈佛宿舍里上线Facebook时，他还没有意识到这个平台将被算法宣发和过滤气泡所充斥；YouTube不会料到自己会被阴谋论者操控，而Twitter也不知道，煽动性的仇恨言论将会主宰整个平台。
但他们应当承担这些未知地责任吗？一本新的指导手册表明，通过预测未来人类与科技关系的变化，科技巨头们可以调整产品方向以避免风险。本期全媒派（ID：quanmeipai）编译《连线》对未来道德风险手册Ethical OS的分析，并精编手册内容，看硅谷应如何避免触礁风险。
未来冲击
Ethical OS由未来研究所、投资公司Omidyar Network和一家智库联合发起的技术与社会实验室推出，这个研究项目为期一年，旨在关注科技与社会的交叉领域。
手册概述
这份风险手册被视作学者与科技巨头之间沟通的桥梁，实验室的一位负责人Paula Goldman说：“在这个新时代，随着高科技的发展和普及，一系列意想不到的社会结果也会随之出现。然而，科技公司还不能理解这种联系，更无法提前做出应对措施。Ethical OS的意义正在于此，帮助科技公司们思考科技迅猛发展的后果，并提出应对方案，确保产品对世界有利，对科技公司的长期收益有利。”
这份风险手册阐述了从假新闻到多巴胺经济的社会负面影响。作为工作手册，这份指南为产品开发团队、设计师和投资人提供自检清单、实验思路和基本解决方案。
未来风险场景
第一部分基于当今科技界的焦虑情绪，概述了14个在不远的将来可能会发生的场景。例如，如果像Facebook这样的公司收购一家大银行，成为重要的社会信用提供者将会发生什么？再比如说，如果面部识别技术成为主流工具，开发出一款将该技术与约会和购物等日常活动整合的APP，又会发生什么？这份手册鼓励团队讨论每个可能会出现的场景，并将他们与现下开发的产品结合起来，讨论可以避免风险的办法。
这些场景都来自未来研究所认定的已经存在于当前社会的“信号”，例如“换脸”的deep fakes视频、利用算法来“预判”正义的软件以及对技术成瘾日益增长的担忧。
“我们收集想法，来激发团队的想象力。随后我们会尝试寻求发展的不同模式，采访技术的发明者们以研究避险理论。”未来研究所的游戏部研究主任和Ethical OS的研究负责人Jane McGonigal说。
八大风险区域
这份手册的第二部分为科技企业们列出了一份风险自查表，划出八个风险区域，包括机器伦理和算法偏差、数据资料使用与盈利等问题。
该指南旨在提醒技术团队可能会出现的风险，并尝试提出解决问题的方法，例如：技术是否强化、加深了偏见？如何设计产品才能提高用户时间利用率？如果公司被收购或关闭，如何处理用户数据？
以下是自查表中提出的八个风险区域的详细内容。
真相，假消息和宣传
真相正处在危险之中。
从假新闻传播到政治宣传的机器人，都在尽力模仿真实用户的行为和口吻。危险的假消息数量正在增加，甚至以“deep fakes”的换脸视频形式出现。这些虚假视频的说服力非常高，凭借技术改变视频中人物的身份、言论和面部表情，为从未发生过的事情伪造证据。
许多个人和团体希望大规模颠覆真相，特别是在政治领域。新的媒体技术让谣言传播更加容易，公众信任也更易倾塌。在接下来的十年中，还有什么将会被新技术伪造？我们需要保护哪些真相？
风险手册指出，企业应当着重排查以下问题：
用户希望企业开放、计算或收集哪些种类的数据？
现有的哪些技术会被恶意利用以颠覆事实？平台现有的哪些内容有可能会成为假新闻、deep fakes视频或水军账号？
现有的平台技术会被恶意利用以破坏公众对社会机构（媒体、医疗机构等）的信任吗？会被利用以捏造假消息、制造政治怀疑或社会动荡吗？
网络成瘾与多巴胺经济
Common Sense媒体机构研究发现，青少年每天花在媒介上的时间平均高达9个小时。事实上，花在电子设备上的时间之长越来越引起公众的担忧。人文科技中心的创始人Tristan Harris呼吁科技公司鼓励用户“善用时间”，建议产品设计师优化用户在平台上所花费的时间，从而提高用户的整体幸福感。
研究表明，Instagram和Snapchat这类手机应用的最佳使用时间是11分钟，超过这个时间，用户的幸福感就会下降。如何设计应用软件，才能让用户更好地利用时间？才能优先考虑用户的幸福感，而非尽可能长时间地占据用户注意力？
企业所选择的商业模式是否受益于最大限度的用户关注与参与？如果是，这对用户的身心健康有何益处或危害？
成瘾的平台用户行为是什么样？适度使用、健康参与的用户行为又是什么样？
如何设计鼓励健康使用行为的系统？企业可以研发出比用户成瘾更能获利的健康行为模式吗？
如果平台中存在可以提升用户参与度的有害内容，如阴谋论、宣传洗脑等，企业可以采取哪些措施来解决这些内容的传播？这些措施的力度是否足够？
财富不均
根据Oxfam在2017年的数据，世界前8位富豪拥有的财产相当于最底层人口财产总和的一半。财富的集中与分配问题贯穿了整个现代史，但如今情况变得越来越糟。在美国，现在是资产集中从1928年以来最为严重的时期。科技可以让人们获得更多的机遇和收入，同时也会因为只照顾高收入群体、减少低等重复性劳动而加剧收入不平等。
对于科技公司来说，为了避免出现加剧贫富差距的问题，应当注意以下问题：
这项技术的受众是什么样的群体？无法接触到该技术的人群，会因此落后于受众群体吗？
该项技术可以创造或传播什么财富？（例如：健康数据、虚拟货币、深度人工智能）谁有权使用该资产？谁有能力通过其盈利？该资产（或从中获得的利润）是否会参与公平分配？
企业是通过机器学习、机器人而非人工创造财富吗？如果企业因此减少了人力招聘岗位，会如何影响整体经济福祉和社会稳定？
机器伦理与算法偏差
随着人工智能在社会福利、教育、就业和司法等关键领域的应用日益增加，由人工智能引起、甚至放大的偏见令人担忧。不论是带有种族歧视色彩的警察面部识别系统，还是给予某些特征更高权重的搜索引擎，都在表明科技本身并不是中立的。这是因为技术通常是人类行为的产物或是人类使用的工具——而从本质上来说，人类并不是客观中立的。
依靠人工智能来应对上述挑战的解决方案常常忽视了这样一个事实：人工智能本身就是人类创造和使用的工具。在设计、使用和管理人工智能技术方面采取多领域的交叉办法，对于解决某些有意或无意的歧视仍然至关重要。
为了避免过度依赖人工智能、导致算法偏差，企业应当注意：
该技术是否利用了深度数据集和机器学习？如果是，数据中是否存在可能会影响结果公正性的任何缺陷？
是否了解过产品算法中存在的偏见实例？如何防止或减轻偏见影响？
该技术是否强化了现有的歧视偏见？
负责该产品算法开发的群体人员构成是什么样？是否缺乏多样性？
产品算法对于用户是否透明？自认受到不公对待的人，是否有权进行追询？
国家监管
一些利用水军账号攻击意见相左者的事例表明，即使是出于良性目的的技术也有可能会被用来制造伤害。
在某些情况下，大量Twitter和Facebook水军账号会被用来针对那些公开提出反对观点的记者、活动家，甚至普通公民。
与此同时，面部识别和社交媒体跟踪系统的大量使用，使得政府能够建立公民个人行为的深层记录。“公民积分”收集的多年数据可以用来限制部分公民进入公共场所、获得工作机会，这种积分体制本质上是基于公民先前的行为和言论，建立一种新型的不平等社会。
对于科技公司来说，在国家监管这一风险领域应当考虑以下问题：
政府或军事机构会如何利用该技术提高其监督或侵犯公民权利的能力？
如果允许政府访问平台数据，或是通过法律传唤、要求访问平台数据，政府可以做些什么？
除了政府和军事机构，还有谁可以利用企业旗下的工具或数据加强对公民的监管？
企业所创建的数据资料是否会跟随用户一辈子、并影响他们的个人名誉或未来机遇？会对个人的自由和名誉产生长期影响吗？
企业不希望谁利用其用户数据来监视用户？能够采取何种措施保护用户隐私安全？
数据管控及盈利
未来，用户也许能够使用某些工具，用于获取、共享、解释和验证个人及其生活环境信息。在披露会损害其权益的情况下，他们将保留维护个人和机构数据隐私的权利。除此之外，用户还有望控制对其个人数据的访问路径，并有选择地分享这些资料，与创建、使用这些数据资料的科技公司一道从中受益。
风险手册提出，科技公司应当能够回答：
企业收集了哪些用户数据？确实有收集的必要吗？会出售这些数据吗？出售给什么样的机构组织呢？用户会知道企业出售行为吗？如何使其更加透明？
平台用户是否有权访问企业所收集的数据资料？如果无权访问，如何提高用户知情度？
如果企业从用户数据的使用或销售中获利，用户是否可以分成？如何分成？
是否有方法让用户独立从个人数据中获利？
如果用户资料被恶意利用，会引发什么样的后果？如果数据丢失或被盗，所能导致的最严重损失是什么？
如果公司被收购或关闭，用户资料如何处理？是否有相应措施？
用户的盲目信任与理解
数据滥用是个严重的问题，但同样麻烦的是，许多用户并不能充分认识应用软件和平台是如何工作的，他们不了解自己的参与是如何一步步被优化，也不知道平台跟踪和收集的资料究竟是什么。多数平台的服务条款非常晦涩，用户往往很难弄懂，并在不了解的情况下就授予平台各种权限。
未来，如果在用户难以阅读艰深晦涩的服务条款的情况下，科技公司推出的产品或其职员违背条约内容，科技公司有可能面临更为强烈地指责。
因此，科技公司应当注意以下几点：
企业推出的技术是否为用户提供了明确的权限要求？服务条款是否易于阅读、访问和理解？
如果用户不想签署服务协议，是否有其他可使用的产品版本？
产品是否会在用户不知情的情况下做出某些举措？当用户发现时，是否会感到出乎意料？如果是，为何不向用户明确提出该要求？
如果用户反对公司从用户行为中获取经济利益或是将用户资料卖给特定组织，但是他们仍然想使用这个平台，用户有何选择？企业是否会创建替代产品来建立用户信任？
是否所有用户都能受到平等对待？如果不是，平台算法和预测技术将优先考虑某些信息，或为不同用户设定阶梯价格和访问权限，如此，公司将如何处理用户需求？如何遵守用户平等的行政规定？
恶意行为
2017年8月12日，在弗吉尼亚州一场名为“团结右派”的集会上，一名与白人至上主义组织有关联的男子开车撞向人群。据悉这次集会是通过Facebook组织的，尽管恶意报复社会的犯罪行为并不是什么新鲜事，但是互联网软件能够以前所未有的速度在全球范围内传递信息，让那些希望传播仇恨的人也可以轻易达到目的。
由于科技的发展，网络霸凌、激进言论、钓鱼行为等大量恶意行为迅速增长。对于在此种环境中的用户来说，减少或阻止负面体验几乎是不可能的。风险手册为企业提出的避雷指南如下：
用户如何利用平台及技术霸凌、跟踪或骚扰他人？
是否可以利用该技术进行绑架、盗窃、金融犯罪、欺诈或其他非法活动？
技术开发者是否具有阻止恶意行为的道德责任？
反社会组织是否可以利用该技术传播仇恨言论、招募新成员？
该技术如果被当做武器会有何风险？公司承担了何种阻止其被利用的责任？如何制定防止技术武器化的规章或国际条约？
实际应用
到目前为止，已经有将近20家公司、初创企业和学校对这份手册进行了试验，利用其促进道德规范管理或指导具体的产品决策。例如，在全国各地运行40多个创业加速项目的Techstars公司，已经开始使用Ethical OS框架来决定投资哪些初创企业。
“这种类型的决策在科技界并不常见。”技术与社会实验室常驻企业家Raina Kumra说，“此前我为自己的创业公司找投资时，我和一百多家风投机构的负责人交谈过，没有一次提到道德风险。”
在达特茅斯研究行为与科技交叉问题的研究员Luke Stark说：“正因为如此，这样的指南非常受欢迎，而且早就应该完成。学者们关注这些问题已经很久了，所以看到这些内容终于被应用于技术开发团队，十分令人激动。”
Stark说，在Ethical OS中关注的领域方向是“绝对正确的”。但是，由于这是一份面向技术开发团队和投资者的指南，所以其中提出的一些解决方案更看重经济利益而非社会需求。
Goldman把Ethical OS看作是企业思考未来影响的第一步，她把这份指南称之为“脚手架”——一个旨在构建更有深度、时效更长、更严肃的对话的企业框架。不仅仅在科技界，其他行业如医药行业，也有类似处理道德风险的准则。
这种未来避险模式能否成为产品开发守则？目前还有待观察。但是Goldman和Kumra表示，科技公司对此表示出了前所未有的兴趣。硅谷刚刚开始应用这份未来风险手册，并且希望将其做得更好。
Ethical OS手册全文：链接
Wired分析原文：链接
本文转自微信公众号：全媒派（ID：quanmeipai）。