本文所属虎嗅Pro精选专栏前沿技术情报所。
This is the first time a neural engine is responsible for generating the output image. It is computational photography mad science.
- Phil Schiller, Apple Inc.
这是首次由神经元引擎负责输出影像。这是疯狂的计算机摄影科学。
－菲尔．舒勒，苹果公司
今天的手机产业从业者都知道，人工智能是手机不可缺少的重要技术，而当中最重要的环节，是手机摄影。
苹果在本年推出iPhone 11 Pro时，更重申，它们的手机是疯狂的“计算机摄影”科学。
今天《前沿技术情报所》就来解读一下：
为什么人工智能对手机摄影如此重要？
为什么基于人工智能技术的计算机摄影，正在永久改变手机产业发展？
你拍的一张照片，并不是一张照片
手机上的摄像头，在原理上和一般相机并没有太大分别。大家都是通过镜头吸收外界光线，然后通过影像传感器转化为电子信息，再通过影像处理器转化为我们肉眼看到的影像。
那原理相似的手机摄像头，为什么就是“计算机摄影”？它与人工智能又有关系？这是因为从电脑的角度，手机拍出来的影像，并不完全是影像，它更多的是把影像转化成有用的数据，从中作出选择和决策，再把信息用于影像的进一步优化。
图片来源：Apple iPhone 11 Keynotes。
无论是 iPhone 11 也好、华为 Mate 30 Pro 也好、又或是小米9 Pro也好，今天的智能手机，在拍摄时已经不是单纯的拍“一张照片”，而是拍摄“多张照片”，然后通过人工智能算法，合成为一张照片，这种手法一般被称为“多帧合成”(Multi-frame Imaging)。
事实上，照片合成技术其实存在已久。会玩摄影、爱修图的摄影爱好者，早就会通过修图软件，合成多帧影像，来优化照片。那智能手机上的多帧合成，与人工智能有什么关系？
图片来源：Apple iPhone XS Keynotes。
以往，你在P图时需要自行决定如何合成，保留哪些细节、保留多少亮度和色彩等等。但在手机里呢？这些海量的决策和处理过程，全由电脑处理。而且，从拍摄多帧画面、合成影像、优化和输出，手机把超过一兆亿个操作，一秒之内、一键完成。整个过程无需人手干预、完全通过人工智能自主操作。（Photoshop等修图软件，后来也引入了人工智能算法，实现了一键自主合成的功能）
你拍出来的影像，并不是单纯的影像
人工智能的具体拍摄过程是怎样呢？
当你按下快门键的一刻，相机就需要在不足一秒之内，拍下4至16张不同曝光值的照片。如果智能手机使用多个不同镜头的组合，多镜头阵列也可能在用户按下快门的一刻，同一时间拍摄多张画面，然后合成不同特性的照片。但智能手机在这极短的一瞬间，不仅要拍摄，也必须进行一连串计算，准确判断出每一帧“多张照片”的不同焦距、快门、ISO 和白平衡数值，藉此采集更多的环境信息。
请注意：这绝非完整的“拍摄流程”，而仅仅是“采集信息流程”。因为真正的“照片”，根本还未生成。
这时候，智能手机会把采集得的多帧影像，通过算法找出相似的特征点，并将之准确对齐。然后，手机会再比对多帧影像里的不同信息，包括但不限于亮度、色彩、焦距、照片里的人或物，然后筛选适合的内容，进一步优化影像。
图片来源：ColorOS 公众号
我们可以用OPPO的ColorOS为例，相机在"Low Light HDR"模式，会先在精准曝光度(EV0)下拍摄4至6张照片进行合成，但同一时间也拍摄数张欠曝帧来进行二次合成。正确曝光的多帧影像，能记录暗部的画面细节，但高光部份却因过度曝光而丢失细节。但由于有了能保留高光细节的多重欠曝影像，手机就能通过算法比对光暗信息，再把两种难以共存的细节，结会为一张细节丰富的照片（上图）。
图片来源：Engadget 中文版。
我们再以Google Pixel 3智能手机，拍摄背景虚化的技术为例：系统会先用双核相位对焦技术，把影像传感器的像素点划分为两组，模拟双目立体视觉，产生深度信息。再通过卷积神经网络(Convolutional Neural Network, CNN)，在影像的特徵里把人物轮廓分辨出来（上图），再把人物以外的背景，按深度信息虚化。
你拿着智能手机，按下快门键的一刻，你拍下的已经不再是给眼睛看的影像，而是给电脑用的信息。这也是为什么现在的智能手机摄影，为什么会被视为“计算机摄影”的范畴。
人工智能如何帮助手机摄影
人工智能为手机摄影带来什么改变？它能改善手机摄像头的画质，也能为手机摄像头带来更多不容易实现的功能，突破手机原有的限制。
图片来源：DxOMark。
智能手机使用的是小型影像传感器，感光能力往往不够用。举例说，以往我们在大逆光环境拍摄人像，测光时往往会迁就背景强光而降低进光量，很容易会把人像拍成大黑脸，又或是只顾着拍到面，但背景细节都过了（上图左一和左二）。但今天的手机，往往大量使用先前提到的智能HDR技术，通过把不同曝光值、不同影细节的影像调色和合成，让用户轻松拍出满意的作品（上图右）。
图片来源：DxOMark。
另一个常见的应用场景，是夜景拍摄。由于手机摄像头感光能力不足，当遇上低光环境，就只能提升ISO来增加感光能力，影像难免产生大量噪点（上图左）。但新款智能手机能快速拍下多张大量噪点满布的照片，并与少量长曝光照片比对，以人工智能算法保留细节，再中和画面的噪点（上图右）。
也因这种多帧降噪技术，全新的智能手机（例如Google Pixel 4 和华为P30 Pro），更能以拍摄以往智能手机难以拍到的星空。
图片来源：虎嗅。
此外，由于手机难以搭配专业相机级别的镜头，所以难以做到像相应的相机镜头效果。但通过把多张照片合成为超高分辨率照片，然后再通过裁切进行无损数字变焦，智能手机就能通过小镜头，模拟专业长镜头的放大效果。同样地，智能手机也可以利用多组镜头，通过三角算法测出环境的深度信息，再将前景和背景分离和虚化，模拟出专业长焦镜头的浅景深效果（上图）。
更重要的是，计算机摄影技术主要通过后期手法，所以研发工程师进一步发挥创意，就可以产生更多传统手机、甚至是专业相机也无法做到的拍摄手法，例如：多帧防抖、全景拼接、影像超采样、多张照片合成的光轨或星轨效果。
为什么手机需要计算机摄影？
为什么智能手机需要用上“计算机摄影”技术？这是因为智能手机确实有这个需要，而手机也确实能最大程度上发挥“计算机摄影”的潜力。
以往在光学摄影的年代，判断一台相机好不好，往往是通过影像传感器的大小、以及镜头的质量来决定。专业级别的相机之所以质量杆杆，就是因为它有个全画幅或APS-C级别的大的影像传感器，以及拥有由N组非球面玻璃组成的镜头。不过也由于如此，这些专业相机往往都长得五大三粗，不太便携。
图片来源：iFixit。
但必须日常携带的智能手机，不可能容纳这么大的影像传感器、更不可能容纳这么大的镜头。如果要提升手机的拍摄画质，当然不可能单靠光学手法。计算机摄影正好为难以塞进更大尺寸光学元件的手机，在技术带来重大突破。以相机测评起家的 DxOMark，更指多帧合成技术，是手机摄影的“破坏性技术”。
图片来源：Bare Feats。
与此同时，智能手机在半导体技术日益进步下，无论在性能或功能上均有长足的进步。今天旗舰智能手机使用的系统芯片(SoC)，除了拥有电脑级别的强大性能之外，更集成了一般电脑所没有的硬件，包括：神经元引擎(Neural Engine)、多种传感器、以及多镜头设计。因此，手机能在一瞬间收集大量与影像相关的信息，并进行大量而快速的人工智能计算。
因此，相比起一般专业相机来说，智能手机更适合计算机摄影。
计算机摄影改变了手机产业
也由于计算机摄影与智能手机的“天作之合”，人工智能也永远地改变了手机产业的发展。智能手机的普及、简易及便携，大幅促使了手机摄影的发展，再加上智能手机海量的修图应用，以及其联网特性，从拍摄、修图和分享三个范畴，极大程度地促使了手机摄影生态圈的成长。
而手机摄影的生态，又反过来促使厂商进一步重视手机的摄影能力。导致在计算机摄影普及后，卖得好的智能手机，几乎都是拥有强悍计算机摄影能力的手机。以小米为例，他们的手机以往只重视堆硬件、压成本，重视性价，但后来被OPPO或vivo等广泛认为性价比低的手机品牌弯道超车。
摄影性能，不得不说是小米掉队其中的一个重要因素。
图片来源：小米
以往，老是“为发烧而生”、“不服跑个分”的小米，单纯通过最新最快的硬件、通过压缩利润来降低售价，就能在市场上占有一席位。但现在，小米也要宣布与智能手机摄影方案供应商 Light 合作，赶紧在相机测试网站DxOMark里争个第一（上图）。可见你即使能采购最好的硬件，也要有一定的人工智能和相机调校技术的积累，才能生产出优秀的摄影手机。
“多快好省”换不来优质的计算机摄影技术，智能手机的门槛，从此大幅抬高。
图片来源：华为
更要命的是：以往的手机芯片，只要时脉高，跑分快就好。但自从华为在自家手机芯片上，集成专门为人工智能开发的神经元处理器 (Neural Process Unit, NPU)，在计算机摄影范畴取得巨大的优势（上图），在拍照上干翻竞争对手，而苹果的 iPhone 11 甚至直接用神经元引擎，取代传统的影像信号处理器(ISP)来输出影像。
今天的计算机摄影，已经超出算法的范畴，慢慢进入芯片级别的阶段。
手机厂商除了要有充够的人工智能技术积累，现在更要有芯片级别的支持，也逼使手机厂商必须考虑设计自家手机芯片的可能性。部份厂商即使无法完全像苹果或华为一样，采用完全自主设计的芯片，也需要像vivo一样，与芯片生产商进行合作，为自家手机深度定制芯片。
视频：下一波人工智能浪潮
随着人工智能广被应用，在拍照上使用人工智能来改善画质的手机也愈来愈多。所谓“五色令人目盲，五音令人耳聋”，当愈来愈多的手机，通过人工智能拍出优质的照片，普通用户已经不容易分辨那台手机拍出来的照片比较好看。毕竟，但智能手机始终不是专业相机，用户也不会像专业摄影师一样，讲究智能手机画质的每一个细节。
图片来源：虎嗅
故此，智能手机不可能通过计算机摄影，无限提升手机的吸引力。根据边际效用递减定律(Law of diminishing marginal utility)（上图），拍摄质量提升所带来的额外效用，将会愈来愈低，直至负值。
诚然，计算机摄影是一种变相的后期操作，所以它也是一门很具争议性的摄影技术。不少从事摄影专业的用户、或是专注于光学影像的研发工程程，会觉得这一门科学是一种邪道。先前华为P30 Pro的“P月”事件，惹来巨大的争议，也是因为很多人都会把人工智能来优化照片这回事，一定程度视作为“作弊”似的操作。所以，如果把计算机摄影无限强化，结果可能得不尝失。
手机厂商实际上也意识到问题所在，不断挖掘新的增长点，而近年短视频和VLOG也日渐流行，刚好成为计算机摄影的下一波风口。OPPO早前推出的Reno 2，就以“超级防抖”为重点功能，而华为Mate 20 Pro也在宣传自己的四摄是“电影级摄像头”，而小米CC9 Pro更以DxOMark视频榜第一名，作为核心卖点。
不过，如果说人工智能摄影技术，提高了智能手机的技术门槛的话，那通过人工智能拍视频，技术门槛更是完全不同级别。
图片来源：虎嗅。
智能手机拍摄一张照片时，要在极短时间内进行一兆亿次以上的操作，已经十分不容易，但拍摄视频的话，是要让智能手机在极短时间内，拍摄和压缩24-120张不等的照片，其难度更是不可同日而喻。当 iPhone 11 推出的时候，业界都因其强横的HDR视频所震慑（上图），可见人工智能化视频所带来的新技术门槛，将会是决定未来智能手机胜负的新战场。
技术主导下的手机战争
在功能机年代，任何人只要找个方案供应商、再找家代工厂，就能参与手机市场，这也使当年山寨手机市场野蛮生长。但当手机产业进入智能手机阶段，山寨机黯退出市场，变成资本主导的市场：通过大量的资本投放实现规模经济生产，并压低成本和抢夺最先进的硬件，就能在手机市场上占一席位。
但在人工智能的时代，智能手机的门槛进一步被拔高，手机产业也转化为技术导向的市场。
如今，希望进场的投资者，已经难以只单凭资金来换取成绩，目前的手机厂商如果没有足够的技术壁叠，也难以在未来的市场中存活。参与手机产业的从业人员们，是时候进一步把目光新的技术上。
本文所属虎嗅Pro精选专栏前沿技术情报所。
评论