算法博士:像河流一样说话
2022-07-22 08:47

算法博士:像河流一样说话

本文来自微信公众号:西湖大学WestlakeUniversity(ID:westlakeuni),原文标题:《入职腾讯AI Lab   算法博士崔乐阳的西湖回忆录丨我在西湖读博士》,策划:俞熙娜,撰稿:沈是,校对:冯怡,题图:受访者合影



北纬1°18,新加坡。这个热带岛国雨水充沛,全年降水量约在2400毫米,是杭州的2倍,北京的4倍。但是,这里极度缺水,因为缺乏独流大河,少有湖泊,地表水快速流向了海洋。


2018年一场例行的阵雨后,崔乐阳走进了张岳的办公室。当时,张岳在新加坡科技与设计大学任教,崔乐阳在新加坡国立大学读硕士。一进门,桌子上散乱着用A4纸打印的论文,雨后阳光的反射下有点晃眼。


崔乐阳在准备升博士的时候,有一天刷知乎,看到张岳准备去西湖大学工作了。在自然语言处理(NLP)领域,他一直有听说张老师,就“鼓起勇气”发了封邮件。


“那你读完博士准备做什么?” 张岳的问题穿过那堆论文来到崔同学面前。“想去大厂。”崔乐阳的回答很实在。


“师徒”合影


“去哪里工作不是那么重要,重要的是在这个领域有做出改变的想法。”张岳说话的时候,特别轻声细语。这句话让崔乐阳记住了。


几个月后,两人离开新加坡,奔赴杭州,一个入职,一个入学,成了师徒。



张岳说的这个领域,叫自然语言处理,属于人工智能的重要分支。在今天,人工智能已经可以让自动驾驶上路,人脸识别的准确率达到99.99%。但是,自然语言处理领域被称为人工智能的塔尖明珠,为什么? 


1950年图灵在论文《计算机器与智能》提出如何判断机器拥有人类智能,就是让人类和机器进行“匿名”对话。如果有30%的人类觉得是在和真人聊天,那就算通过了这场测试。


图灵传记电影《模拟游戏》剧照


图灵还预测,这一天将在2000年到来。很遗憾,现在都2022年了,图灵测试在业界依然争论不休。


语言是思维的躯壳,我们的思维、情感、记忆都和语言揉合在一起。相比图像和声音,语言比较难“向量化”,让机器从事大量机械的学习容易,但涉及到语言背后的创造力,问题就进入了深水区。


就好比新加坡下了一场大雨,机器的算力可以抓到每一滴雨水,但人类的语言就像一条长长的河流,如何让无尽的水滴有生命地流淌起来?


在新加坡读硕士的时候,崔乐阳就做过一个研究,让机器识别人类语言中的“讽刺”。大致的方法就是从推特抓取带有讽刺标签的文本,然后让机器海量学习。这事儿听起来就有点天马行空,因为现实中,人类自己都很难搞清楚,对方说话有没有在讽刺。


再比如,在语言学中,有一种叫做“花园小径”的现象:


The old man the boat.


当你阅读到the old man 的时候,你一定会认为是“这位老人”要如何如何了,但读下去发现句子不对。哦,原来man是动词,是操控的意思,整句话应该理解为老人来开船。


听起来如此浪漫的语言学定义,其实背后正代表了语言的复杂性,人类的理解和思考活动,更像是穿梭在语言的花园内。


后来,崔乐阳在博士期间颇为得意的一篇论文,就是从“花园小径”出发,研究语言结构的问题。他在算法网络的每一层,都构建了一个词对所有输出标签的概率分布,以此增加算法对句子整体性的把握能力。



在自然语言处理领域,崔乐阳很佩服他的导师。


张岳在剑桥读博士阶段,受到人类从左到右阅读习惯的启发,研发出了一套机器学习去引导近似搜索的方法,处理速度比伯克利和斯坦福开发的模型快了15倍以上。在深度学习兴起后,张岳又开发了上述算法的神经网络版本,包括谷歌在内的公司,长时间在使用这些技术。


张岳在研究上总是力图找到关键的突破点。有一段时间,自然语言处理领域只研究各个单独任务,张岳觉得人脑并不是这样的,人会举一反三,触类旁通。受此启发,张岳提出了自然语言处理多个任务联合学习的模型,帮助机器学习算法取长补短,提升性能。



这些故事,给了崔乐阳不小的启发。师徒两人都是北京人,年龄相差不过十几岁。站在一起合影,两个人笑起来还有那么几分“师生相”。


崔乐阳刚来杭州的时候,写第一篇论文,张岳给他修改,第一天手把手改完第一段,然后对崔乐阳说:


“你按照这个思路,自己去修改第二段。”


第二天,崔乐阳修改完来找导师,然后张岳又一起修改了第二段,然后对崔乐阳说,按照这个思路,继续修改下一段。这篇论文就是这么一段段改的。当时崔乐阳的写作非常跳跃,没有办法顾及到阅读者的思路。


但这种手把手的教,仅限于细节层面,在思考层面,张岳主张鼓励学生先独立思考,然后再引导。他对学生有一句非常拗口的口头禅:


不愤不启,不悱不发。


这句话出自《论语》。学生需要主动思索,而老师需要在最关键的点上给予启发。


张岳在招博士生的时候,也极其看重学生对问题的好奇心。他说,做学术你就是自由的,完全需要兴趣驱动。而最难的,常常是起步寻找方向那一刻。


有一次,实验室玩桌游阿瓦隆结束后,张岳把崔乐阳和另外一位博士生叫到办公室,开始讲自己对接下来研究方向的思考,一些自己觉得重要但还没有人做的课题, 以及自己设计的算法模型。两位同学各拿了笔记本,记录了模型的细节。后来,两位同学在一年的时间内,各自完成了相应的工作,都发表在国际顶级会议上。


张岳(右)和崔乐阳在论文答辩会上


在学生们第一个项目完成之后,张岳逐渐把具体模型上的指导变成方向上的指引,鼓励同学自己思考,张岳相信学生能够独立发现有价值的方向,并提出合理的解决方案。


这相当于张岳在多年的研究思考基础上,给了博士生一个方向,一个初始速度。然后再慢慢给予方法论上的训练。崔乐阳在“花园小径”上的研究,就是张岳给了非常多的方法启发。


培养一个博士,有点像培养一个飞行员。飞行总会有不顺利。崔乐阳有一篇关于常识问题分析的论文屡投不中,整整半年。当时做这个方向的人还比较少,张岳就和他说:“被拒绝是挺糟糕的,但很常见,谷歌创始人当年的论文也投不上嘛。”


这就好比飞机出故障,一位年轻飞行员跳伞弃机了,回来后,老飞行员拍拍他的肩膀,编了个故事:据统计,王牌飞行员约会损失11架飞机。


锻炼不被接受的耐性,崔乐阳说这是他博士期间最大的收获。经过多次修改调整后,这篇文章最后还是被《机器之心》报道了。


张岳老师在b站的公开课程


去年开始,张岳在学生们的“怂恿”下,还成了“up主”,实验室团队成员把他100多期的讲课视频免费更新在b站上,张岳给剑桥大学出的自然语言处理教材可能在国内不容易找到,但这些视频完全可以让年轻人自学这们课程,账号的个性签名很调皮:


做人呢,最要紧开心啦。



崔乐阳在GitHub主页的头像,是他小时候的一张照片,还是那个笑容。在经历这一栏里,崔乐阳的履历非常清晰漂亮,博士期间,微软亚洲研究院的两次实习,然后在微信实习。崔乐阳把实习叫做“去工业界”。左手科研,右手实践,这样的模式下,崔乐阳非常清晰理论研究的应用方向。


崔乐阳的GitHub主页,实习经历拉满


这个理念,也是从张岳那边延续下来的。从张岳团队研发出来的自然语言处理的方法,可以结合非常多的领域应用。比如商业财经领域,例如让机器阅读公司财报、新闻、运营数据,从而对公司发展做出预判。再比如自动作文评分,以及帮助用户改写文案。


张岳团队一直希望把内核的问题想得更深一点。目前的人工智能往往需要大量的学习样本,耗费大量的计算资源,这个听起来就很像“人工的智能”。其实人类乃至生物界的学习不需要那么多样本。


答案可能还在自然界。目前张岳团队和浙江大学附属医院等研究机构合作,探索录制人类脑电信号,启发神经网络研究的自然语言处理算法。


崔乐阳办公室窗外


此时的崔乐阳,已经坐在腾讯42层的办公室,开发辅助写作工具。新加坡那次见面,他说要进互联网公司。4年过去了,这个愿望实现了一半。他确实去了高薪的互联网公司,但剩下的一半变了,看上去更有深意——在互联网公司的实验室,同样需要保持对研究的热情。


采访结束后,他发来一个正在参与开发的文本工具。


“算法博士:像河流一样说话”这句标题敲进去,大概3秒钟之后,纯白色的显示框里,跳出了一句机器写来的后续文案:


因为人类语言的发展历史并不长,而且人类的大脑结构也不是一成不变的。


本文来自微信公众号:西湖大学WestlakeUniversity(ID:westlakeuni),策划:俞熙娜,撰稿:沈是,校对:冯怡

本内容为作者独立观点,不代表虎嗅立场。未经允许不得转载,授权事宜请联系hezuo@huxiu.com
如对本稿件有异议或投诉,请联系tougao@huxiu.com
正在改变与想要改变世界的人,都在 虎嗅APP