数字的反乌托邦:算法是如何惩罚穷人的?
2020-07-07 20:00

数字的反乌托邦:算法是如何惩罚穷人的?

本文来自微信公众号:造就(ID:xingshu100),作者:黄一成,题图来自:原文


从美国伊利诺斯州的小镇到英格兰的罗奇代尔,从澳大利亚的珀斯到印度北部的杜姆卡,一场关于政府如何对待穷人的革命正在进行。


你可能没有听说过也看不到革命的发生。它是由工程师和编码人员在远离公众视野的隐蔽政府机构中闭门策划的。


由于人工智能、预测算法、风险建模和生物识别技术是背后的驱动力,因此只有数学家和计算机科学家能够完全理解这个巨大的变化。但如果你正处于福利改革接收端的数百万弱势人群之中,你一定会体会到其中严重甚至是致命的影响。


一场关于政府如何对待穷人的革命正在悄然发生


《卫报》过去三个月一直在调查,如何投入数十亿美元用于AI创新,因为这些创新正在爆炸性地重塑低收入人群与国家的互动方式。我们在美国、英国、印度和澳大利亚的记者们,共同探讨了数字福利国家的诞生。


这些记者的工作揭示了失业救济金、子女抚养费、住房和食品补贴等等是如何在网上炒作的。在此过程中,工业化国家和发展中国家的政府正花费大量资金使“贫穷自动化”,并将弱势公民的需要转化为数字,用机器的冷酷无情的决策取代人类办事员的判断。


最令人生畏的是,《卫报》的记者们描绘了一幅21世纪狄更斯(Charles Dickens)笔下的反乌托邦图画,它正以惊人的速度成形。美国政治学家弗吉尼亚·尤班克斯(Virginia Eubanks)总结出一个词:“数字贫民窟”。


冷酷无情的机器决策取代了人类办事员的判断


如果你关注政府的言论,就会听到关于新技术如何将贫困转变为一个高尚和良性的整体的重大承诺。它们将加快福利支付,提高效率和透明度,减少浪费,为纳税人节省资金,消除人类的谬误和偏见,并确保有限的资源能够到达最需要的人手中。但很多时候,这些承诺已经落空了。


在紧缩政策主导政治格局的时候,数百万人的福利被计算机程序削减或停止,这些程序的运作方式似乎很少有人能够控制甚至理解。错误仿佛流行病一般,没有途径让错误的受害者寻求补救。


贫困的自动化将走向世界舞台。作为联合国赤贫问题监督机构的人权律师菲利普·阿尔斯顿(Philip Alston)将在纽约向联合国大会提交一份开创性报告,该报告将敲响急于将社保数字化对人权影响的警钟。


阿尔斯顿的分析基于他在联合国对英国和美国贫困的研究,以及来自34个国家的政府、人权组织和专家提交的资料。它提供了世界现在所处的状况和走向的速写,特别是那些生活在越来越大的数字贫民群体面临的骚扰、针对和惩罚。


在伊利诺斯州,《卫报》发现,州政府和联邦政府联手要求福利领取者偿还“超额支付”,有些甚至追溯到30年前。这种通过技术武器化的“僵尸债务”体系正在唤起社会最弱势群体的恐惧和困苦。


正如一位被要求退款者描述的:“你欠的东西是已经给过你的。”


在英国,我们调查了纽卡斯尔郊外的安全政府站点,那里正花费数百万英镑用于开发新一代福利机器人来取代人类。一个由全球首位机器人领域的亿万富翁在纽约的公司正在加速这一进程,并创造了全新名词:“虚拟劳动力”、“增强决策”和“机器人过程自动化”。


尽管英国的“默认使用数字技术”的议程已经给数百万低收入英国人带来痛苦,但政府仍在抓紧推进。被索赔人讲述了他们忍受的饥饿、污秽、恐惧和恐慌。


在澳大利亚,《卫报》广泛报道了“机器人债务”计划,该计划被指责通过有缺陷的算法错误地收回历史负债。我们发现,政府已经开辟了一个新的数字战线:利用自动化来暂停数百万的福利支付。收款人在未经通知的情况下不再收到款项。


最令人不安的故事来自印度的杜姆卡。在这里,我们了解到Aadhaar这个印度政府向所有居民发出的12位的唯一识别号码给家庭带来的可怕影响,这堪称世界上最大的生物识别技术实验。


莫特卡·曼吉(Motka Manjhi)就因为电脑故障而无法识别他的Aadhaar密钥而付出了代价。他维持生计的口粮被停掉,他因为没有食物而变得骨瘦如柴。5月22日,他昏死在屋外,他的家人也确认他是因饥饿而死。


国家生物识别项目Aadhaar证件


《卫报》的调查揭示了这些新系统的共同特征。无论是在发展中国家还是发达国家,无论是东方还是西方,最明显的相似之处是,这一切正在以闪电般的速度发生,高科技方法席卷了社会服务、工作和养老金、残疾和医疗健康领域,而公众辩论或问责往往极少。


在这场革命中,福利国家的人为因素正在被稀释。现在,取代亲自评估人们福利需求的人类员工的是在线引导程序,预测分析将给未来风险打分,而算法将决定被评估人的命运。


在新的世界中,不平等和歧视将根深蒂固。如果你是英国500万成年人之一,没有上网的机会,很少或根本没有计算机知识,会发生什么?如果算法只是在现有的种族和阶级的扭曲中变本加厉,使富人和穷人、白人和黑人、受过大学教育的和体力劳动者之间的鸿沟更加不可逾越呢?


还有一个令人心寒的卡夫卡式的问题正影响全球。正如曼吉的发现展示出的悲观状况,错误会犯,机器会故障,但如果没有将人视为一个个体,而是视为一段要处理的12位数字,那么结果可能是致命的。


如果机器出现故障,结果可能是致命的


电脑上写着“查无此人”。你能怎么办?


(本文未经造就授权,禁止转载。)


本文来自微信公众号:造就(ID:xingshu100),作者:黄一成,版面:田晓娜

本内容为作者独立观点,不代表虎嗅立场。未经允许不得转载,授权事宜请联系hezuo@huxiu.com
如对本稿件有异议或投诉,请联系tougao@huxiu.com
正在改变与想要改变世界的人,都在 虎嗅APP
赞赏
关闭赞赏 开启赞赏

支持一下   修改

确定