AI正在清洗一批大数据苦工
2019-05-29 18:11

AI正在清洗一批大数据苦工

头图来自:东方IC;本文作者:韩昱、巴耳


没有一个柜员,没有一个保安,甚至没有一个大堂经理。


四大行之一,中国建设银行突然宣布:国内第一家无人银行,在上海正式开业。


人工智能AI的发展,正在将一大片看似光鲜的工作岗位洗牌。


数据工程师关铮铮就在通宵之后仍未合眼。


他叼了一只未点燃的烟,正在调取这个月的电商销售数据,赶出一篇数据报告。


关铮铮所在环节之前,数据获取、数据清洗、数据建模,每一步都有所谓的数据工程师坐在电脑前复制粘贴,或是敲着代码。


一秒钟17万个电商订单在线上堆积,就像一团乱麻,他们将这些麻线搬运、筛选、横竖摆置,织成一张张PPT画布。


01 云端机会


数据即资产,这已是共识。到2020年,我国大数据相关产品和服务业务收入将突破10000亿元,年复合增长率保持在30%左右。


数据工程师稀缺性凸显。


关铮铮负责数据链条最后一个环节,从数据的变化得出结论。


由于客户都是企业,所以得有专业的观点。“跟我原来的工作很像,都是整合数据和已有经验提出结论和建议”。2015年,他踩着大数据风口,从咨询公司跳槽而来。


AI打败了咨询公司里关铮铮的上游,填单子、做调研等工作已不需要投入大量人力。


大数据公司里,关铮铮的上游是谁?数据清理工程师、数据架构师、算法工程师……


“工程师”的名号似乎很有优越感,实际上他们就像销售公司里的“经理”。


Jawbone数据科学副总裁 Monica Rogati曾介绍,大部分数据工程师的工作极其枯燥乏味,他们80%的时间都是大数据苦工。


初始数据库的生成,就像把原材料筛选出来,拼装成了一个个零部组件,这由数据清理工程师完成;挖掘数据的规律、价值,让数据按照既有的逻辑得出想要的结果,由数据架构师和算法工程师操作;得出数据产品,分析背后的原因,关铮铮便属于这个工种。


这部分直接用到的数据部分不多,但要依托于数据呈现的结果。


简单重复、机械乏味,数据工程师就像富士康工人各司其职。但他们清楚,每一个环节里,人成为了领导,AI还不能够自主做事。


因此他们依旧稀缺。关铮铮的领导每年毕业季都要跑到北京、上海、西安等高校聚集的城市,市面上成熟的数据工程师奇缺,他只能把手伸到上游生源。


清华大数据产业联合会的秘书长王霞曾讲到,清华大数据相关专业的毕业生供不应求,还没毕业都已被企业预定完毕。

 

02 身价背后


大华,是这一个行业崛起的受益者。


从最开始月薪7000元的毕业生,到现在月薪超过20000元的算法工程师,他只用了两年。“未来一定会越来越好,你翻翻百度、今日头条这些公司的招聘,大数据相关的工程师起薪至少50000元,这还只是一线工作人员。”聊起自己这部分工作,大华充满信心。


虽然对收入没有这么大的预期,但关铮铮同样很满意现在的状态。他很愿意接纳现有的AI辅助,为了时效赶报告,AI帮他省去了不少简单却繁多的工作。


关铮铮入行快10年,最初做咨询研究时,支撑分析的数据报表需要研究员用Excel去刷,“Excel已经是相对很智能的工具了,那个时候Excel最多可以处理65536条数据,后来可以升级到10万条,但都不及现在。”


那时,关铮铮为了得出一个数据报表,需要在Excel里填写不同的公式。


简单报表得要一天才能完成,复杂些的就要耗上好几天。


而今,这些数据报表都是前端的IT人员做出来的,跑报表也不用手动操作,“机器自动完成,原来辛苦一天才能做出一个报表,现在机器一天就可以完成几千份。”


但欣喜背后同样有不为人知的辛苦。


数据清理师王姐头痛的是,没完没了地给数据补属性。


王姐主要负责商品数据的清洗工作,原始数据都需要包含商品的品牌、价格,以及相关的性能等标签。少一个标签都有可能在入库以后出错,严重时会影响产品的最终呈现。


最开始,这些补码的工作完全是由人工完成的,每个人从早到晚盯着拉不到底的Excel填空,时间稍长特别容易看串行,所以数据的初审复审等质检工作非常重要。


随着非结构化数据类型的增加、数据量几何型增长以及数据计算逻辑越发复杂,在原有IT系统里,要完成全部数据处理工作几乎是不可能完成的。


现在,初级的补码工作开始由AI来代替,但是人工还是不能省掉。


“机器毕竟还比较机械化,它只会在固定的位置补标签,如果原始数据串行,机器同样会发生错误,人工就会比机器考虑得更为全面些。”

他们习惯于将我们认为的AI,称为“机器”。


03 谁占上风


虽然会尝试引入AI替代人工,但在王姐看来,现在的AI还太初级,数据的清洗不只是补补码,贴贴漏掉的标签那么简单。


生成原始的数据库需要一定的逻辑在里边:


哪些标签需要加进来?哪些标签的权重更高?根据市场的变化,标签的性质、权重又都需要调整,即便有被AI替代的可能,也是重复、机械性的那部分,完全替代还需要时间。


“AI还太初级”,王姐道出了真谛。弱AI只能执行简单任务,强AI才能够达到与人类持平的智能水平。但王姐没有想到,强AI会在未来20~30年实现,已经成为行业的共识。


目前来看,大华最不容易被替代。


数据工程师进到算法和建模阶段,几乎都需要与具体业务场景关的,然后通过算法模型和编程,完成数据产品从初级阶段到成品的加工。


大华对于“AI能替代他”的观点感到惊讶。


大华认为,大数据就是通过算法和模型,在多源多维的数据中建立关联并挖掘其中的规律,并通过分布式技术,让系统的数据存储和计算能力大幅提高。


目前公司的AI程序编写,大华也有参与,“你说我编出来的一个程序,回头把我替代了?


人们在误解AI。科大讯飞的语音识别系统是AI,载着李彦宏闯入五环的无人驾驶汽车是AI,海尔在AWE上推出的物联网是AI,那么富士康的机械手是AI吗?


都是。通过大量数据输入,不停息的机器学习,AI正在变得越来越智能。


数据是AI的营养池,所以在互联网、金融等产生海量数据的行业里,AI吸食数据,并抢夺工作机会。


关铮铮组装数据,并将之形成产品。AI可以比他做更好看的PPT,可以比他懂更多的行业知识,更可以神速般分析数据。AI可能取代他吗?他同样自信地觉得能常驻与此。


取代或是不取代,我们不得而知。AI正在以每天学习30000套棋谱的速度追赶人类,我们以怎样的心态与行动去迎接,才是最有意义的话题。


北京东四环,华灯初上。


往北30公里,富士康工人已做好交接班,开始2元/次的KTV,4元/次的电影,或是10元/次的按摩。关铮铮所在大数据公司灯火通明,外卖和泡面的味道在楼层乱窜。


本文作者:韩昱、巴耳

本内容为作者独立观点,不代表虎嗅立场。未经允许不得转载,授权事宜请联系hezuo@huxiu.com
如对本稿件有异议或投诉,请联系tougao@huxiu.com
正在改变与想要改变世界的人,都在 虎嗅APP
赞赏
关闭赞赏 开启赞赏

支持一下   修改

确定