现在手机影像有多卷,手机影像还会有哪些实质性的创新和进步?
这个问题很大,涉及目前各家旗舰影像实力的同时也提及了现有短板,更展望了未来,所以只字片语很难回答好,首先“手机影像有多卷”这个问题,相信看过HOVM各家的旗舰手机后,大家都能看到“如何卷”,先说说各家的长板吧:
小米12s Ultra破天荒地把一吋底和潜望式长焦一起塞进了“寸土寸金”的移动设备并具备业界领先的拍摄响应;

华为在Mate50系列率先引入“多档光圈”可调的概念,并在Mate50 RS上实现了真正原生光学层面(非超广角/广角裁切)的中长焦微距摄影,多摄融合与XD Optics计算光学业界目前独一档;

如果让我简短总结小米和华为旗舰的影像实力,我想用“均衡”这个词来概括。
相比其他品牌,这两家在中长焦段的清晰度长板很抢眼,也正是这块长板的存在,让稳定的全焦段清晰度在这两家旗舰身上成为了可能。
绿厂OPPO与哈苏联手之后继续精进色彩标定,Find X5 Pro实现了我目前看下来几乎最和谐的多摄色标定以及几乎最好用的机内高色深堆栈RAW成片(RAW Plus),实战中涉及RAW域处理的马里亚纳芯片(Marisilicon X)也确实为宽容度与画质带来了很大提升,Find X5 Pro超广角与广角的“双IMX766”在我看来是把性能与空间两者均衡得很不错的方案选择,继续深挖下去其实可以做很多事情,只可惜裁切插值适配的中长焦对影像旗舰而言是一道软肋。

如果让我总结OPPO旗舰,我会把“内功已扎实,外功需硬气”这句话送给它。
至于蓝厂vivo,一些友商刚开始做的事情,vivo其实很早就已经开始做了,所以我想到的词是“特色糅杂”。
比如在和传统大厂合作吸取经验方面,2022年的小米刚牵上徕卡(LEICA)的手,OPPO和哈苏(HASSELBLAD)名义上的正式合作也开始不久,而vivo和蔡司(ZEISS)已共事多年,双方在光学模组品质、色彩影调优化、人像焦外模拟等方面迭代了数个方案,已有深厚的合作经验;
在防抖道路上,大家在堆镜头光学防抖(OIS)模组的采样频率,vivo则不仅烩了微云台(IBIS)与光学防抖(OIS)一锅炖,还开启了“地平线防抖”(超级电子防抖)的新领域;
在专优指令处理效率上,OPPO为了绕开ISP处理特定指令的低能效短板提升画质,专门研发了了DSA芯片(Marisilicon X),而vivo已开始推动V1+对V1芯片的半迭代,不仅提升了影像管线的处理效率与暗光画质增强,还进一步强化了MEMC插帧能力;

在架构适配方面,vivo也是第一个取得影像专优芯片与高通骁龙/联发科天玑SoC底层联调经验的终端品牌。
另外上文说过OPPO好用的堆栈RAW(RAW Plus)vivo其实也有(SuperRAW),利用芯片算力,一次按键即可将连拍的多张RAW合成一张,相比YUV域的JPG堆栈(8bit色深),SuperRAW为发烧友用户提供了色彩过渡更细腻(12bit色深),宽容度与细节信息也更丰富的照片。
vivo人像算法在肤色美化、人脸修容、抠像精度、场景氛围再现以及背景虚化特性上的实力就不用说了,目前的独一档。
和OPPO一样,vivo的短板在于中长焦,虽然潜望式光学模组让它的表现略胜于裁切插值的OPPO,但和现在的华为、小米比起来还相差较远。
各家长板说到这里,相信有些朋友也发觉了,我回答了问题的前半部分“手机影像有多卷”的同时,通过一些短板描述,也引出了问题的下半部分“目前有哪些遗憾有希望得到解决或改进的”。
先从表面上难度较小的“多摄色标定与光学模组品质”开始说:
理论上在对多摄传感器感光特性与光学模组光谱品质标定的基础上继续深挖就可以实现较为统一的多摄色彩再现,如果这个方面没有做到位,说明品牌的研发还遵循着以营销为导向的“短平快”思路,暨消费者感知不明显,且内容不够“炸”的项目(指理解门槛较高的非显性参数)就无需花费太多的人力物力将75分提升至90分。
和“一亿像素高精度传感器可以通过像素合并的方式进一步能提升暗光出图品质“这样的描述相比,”多个摄像头均可稳定还原色彩“听起来就乏味很多,也无法吸引大众的目光。但既然是必受发烧友考验的品牌旗舰,啃下“费神费力”的硬骨头才能体现实力与品质,“稳”这个字在旗舰的范畴中不能只体现在耐用性上,色彩上也必须有配得上定位的标准。你可以给彰显特性,风格飘逸的色彩模式,但原色基础必须要稳。既然是旗舰,踏实做好务实后才能向上务虚。
此外,光学模组品质被很多人忽略的原因是营销,营销教育受众把“画质”与“传感器面积”简单地等同起来,这么做虽然让消费者的关注点有了明确标的,但随着时间推移与市场节奏的演化,也会让一些品牌模糊影像研发上的焦点(急功近利地讨好大众口味),所以某些品牌会在发布会这种重要的技术宣讲环节对光学性能一嘴带过。并不是说大幅面传感器不好,独木难以成船,成像是系统工程,好比水桶的容量由短板决定,当大家都在挖掘大幅面传感器和RAW域调优的潜力,让长板更长时,光学采集端(镜头)的短板就开始无以为继了,这里表现为像场覆盖范围小、边缘解析力陡降、色散与各种像差抑制及抗眩光能力不足。

对较大幅面的传感器来说,我们还难以获得均一的画质(中心清晰度高,黄金分割线区域清晰度一般,边缘区域清晰度差),由于像场覆盖面过小,边缘失光(画面边缘区域亮度变暗)也较为严重(虽然自动电子矫正弥补了一些明度观感,但噪点也随之增加),另外就是以塑料为主要材质的镜片组所产生的色散还较为严重,机内矫正确实可以降低倍率色差(俗称的紫边),但遇到大光比场景下的的严重紫边,处理过后就容易形成浅灰色条纹,影响观感。而镀膜工艺的相对落后以及内反射让用户在拍摄夜景时,受到路灯炫光与鬼影的干扰。和广角主摄这个“门面”相比,这些弊端在超广角镜头上更容易遇到,也更难处理好,这也是中低端机宁愿堆SoC和散热方案也不愿意上超广角镜头(容易露短)的原因之一。
说回旗舰,改良光学模组品质的手段是在镀膜、物料与设计布局入手,提升镜片组的抗眩光、折射率与色散抑制能力(阿贝系数越高,色散抑制性能越强),曾经的解决方式是在塑料镜组中加入一片光学玻璃,缩短光路的同时也提升了光学模组的描写性能,近年开始玻璃物料升级为了高透低色散玻璃,以小米(红米K40游戏增强版)和vivo(X70系列)在发布会公开的玻塑混合方案为例,小米采用了阿贝系数75的物料,vivo则采用了阿贝系数81.6的高透低色散玻璃。


和全塑料模组及单纯的玻塑混合方案相比,高透光ED玻塑混合方案的性能提升显著。
插一句,不知道是不是大环境的关系,除了vivo X系列和先前红米K40游戏增强版的发布会,光学物料几乎不会在发布会上被详细提及,真的很可惜。相信随着产业链加工能力与化工水准的进一步提升,移动终端光学模组的“含玻”量还会继续提升,并通过精加工来降低驱动马达的负担(驱动单位体积的玻璃比驱动塑料要困难些)。在这里我们可以开个脑洞,如果哪个有深厚影像调优经验的品牌既用了大幅面传感器,又用了满足幅面像场覆盖的好镜头,相信用户体验一定会很棒。
除了那些表面上难度可能较小的项目(光学与色彩),我还期待各家能把专业模式深挖下去,这么多年了,大多数品牌的白平衡(WB)自定义还停留在只能调节冷暖的原始范畴(vivo则能同时调节冷暖与品青),对夜景灯光氛围的还原颇为不利;

二来,随着算力、光学模组的品质与机内吞吐能力的升级,后期余地更大的高色深堆栈RAW也该普及了,目前我只看到OPPO的RAW Plus与vivo的Super RAW提供了原生解决方案。

和低色深的8bit JPG文件相比,12bit甚至14bit的堆栈RAW文件提供了丰富得多的明暗与色彩信息,在后期(改变暗部亮度、改变色彩渲染)过程中更不容易出现断层。
另外,我个人认为影像专优芯片很可能会成为旗舰手机体验升级的必经之路。
虽然高通骁龙旗舰处理器NPU与ISP的峰值性能越来越强,但能效比让所谓的理论性能成为了束之高阁的不可及之物,离开大众视野已有一段时间的骁龙865其实已经拥有10bit 4K HDR或8K视频记录时,不间断同时捕获6400万像素照片的吞吐算力了,但能达到这个指标的旗舰至今仍少之又少,很重要的原因就是作为移动终端,完成这个表现的能耗与发热要不起。时隔多年,很多品牌依旧在思考如何优化日常使用的发热与续航,既然通用架构的局限明显,移动终端品牌又有对AI降噪、超分、宽容度的提升有极大需求,那何不另辟蹊径,把专业的事情交给专业的芯片去做?
目前看来也只有定制的专优芯片才能在功耗可控的前提下显著提升运算效率,OPPO的马里亚纳X,vivo的V1/V1+都证明了影像专优芯片在特定领域的强悍优势,接下来就看各大品牌是否会跟进了。
有意思的是上文说的“杂家”vivo似乎决定继续深耕,也不管各大品牌会不会跟进,什么时候跟进,就在今天(10月24日)举办了影像战略发布会,对外公开品牌的下一步影像进化方针,阐述内容不仅有光学层面, 新一代传感器、甚至新影像专优处理器的概述。

等等......用在X80系列身上的V1+才投放没多久,友商个别旗舰才刚搭载上影像芯片,这个节骨眼上,vivo就发布新一代(第三代)影像专优芯片了?这么嚣张嘛?
这次vivo用上了NV DLA(深度学习加速器)开源架构,在我看来最有意思的是把片上式SRAM与DLA深度学习加速器配合所产生的超高效性能相比上代又有了长足进步,与NPU不同,这次vivo采用的DLA更适合复杂图像运算,数据吞吐能力达到了1.3万亿bit/秒的片上SRAM的存在不仅保证了带宽,也避免了数据流入DDR内存所产生的延迟(典型值约100ns)与额外能耗。如果我没记错的话,V1+芯片的稳态吞吐能力大约是8GB/秒(约合687亿bit/秒),即使给新一代片上SRAM的吞吐性能打个三折,所剩的IO性能也依然有V1+的足足6倍!
而且因为DLA这个满足特定应用的高效能集成电路存在,管线负载模式也将变得更为多样:1.DLA可以为NPU减负使其有余力处理其他任务;
- DLA与NPU负载相同的模型以增加净吞吐量。
不过要是vivo宣称的性能达到“降低推理延迟33倍,能效比提升300%”属实,这种质变的效率显然让共同负载的意义也变得可有可无了,那SoC里的NPU就可以只负责通用模型或非原生APP里的计算调用。开个脑洞,要是vivo对下一代影像专有芯片方案做了底层调通,不止于原生相机,各个APP(比如微信视频通话)都能激活调用这块芯片来增强画质的话......那这款芯片的实用性就变得更为可观了。
在vivo影像战略发布会上提及的光学层面,从X60系列的ALD镀膜到X70系列的ALD镀膜+色素旋涂工艺+SWC抗炫镀膜(小米12s Ultra开始引入ALD镀膜与旋涂工艺),再到X80系列的ALD镀膜+色素旋涂+高硬度AR超低反射镀膜,可以看到vivo对于光学端的要求一直领先业界。个人对于这次发布的VCS光谱仿生技术还是比较好奇的,虽然发布会上没有太细致的描述,但从文案来看似乎是对传感器(CMOS)的CFA进行光谱感应的定制与优化,通过更符合视觉感受的光谱响应来提升色彩还原与感光性能。具体实战表现还要等下一代旗舰。
发布会上最激动人心的内容就是vivo宣称新一代传感器的面积会更大,感光能力会提升78%。结合传闻十一月将发布的vivo X90 Pro+超大杯会搭载一吋传感器IMX989,如果这个消息属实,那vivo就是紧随其后加入一吋底阵营的第二个国产品牌,小米是第一个使用一吋底传感器的国产品牌(小米12s Ultra),镜头品质也经过了徕卡(LEICA)认证,对小米和用户来说,模组、调优等软硬件一切都是初次接触的“新磨合”。vivo作为有更深厚影像调优经验的品牌能加入好镜头+大传感器的“双优方案”对喜欢用手机拍照的人士来说无疑是件大好事,”双优“vivo是否能开创全新而独特的拍摄体验?凭着与蔡司(ZEISS)合作多年的调优经验,T*镀膜配合大底会呈现出怎样的色彩影调与虚化特性呢?独领风骚的人像模式会再次进化到哪种程度?微云台还塞不塞得下?中长焦会大幅进化嘛?
拭目以待。
聊了这么多,忽然发现vivo这个“杂家”无论是在影像调优合作、光学品质优化,影像芯片尝试、还是在推行机内堆栈RAW方面,别家做的,没做的事情,它不仅已早有尝试,甚至还越来越有声优有色了。如果X90真能配置影像战略发布会上的”双优“,大底+好镜头再加上强化的中长焦和效率质变的专用影像处理器,那年底的vivo新旗舰无论在软件硬件,基本能算是集众家所长了。

和马拉松赛跑的思路一样,先堆顶级硬件,而后再考虑优化影像风格的选手并不可怕,可怕的是沉淀了影像调优经验后再优化顶级硬件的选手。
影像赛道不是百米冲刺,更需要厚积薄发。在小米与华为旗舰尘埃落定后,我期待X90系列的惊喜,也好奇Find X6系列的转变。

