再融合，再超越

徐林

前傳：一篇未能發(fā)出的文章

大約三個半月以前，我就寫完了一篇關(guān)于華為P40系列影像能力的文章，但是因為一些復(fù)雜的原因沒能發(fā)出，深感遺憾。我覺得引用那篇文章里的一些內(nèi)容來做個引子，倒也不錯。

面向手機(jī)影像未來的方向和技術(shù)研發(fā)，華為有自己的主張與思考，根據(jù)我使用的多款華為旗艦和與華為技術(shù)人員的交流來理解，華為手機(jī)影像未來的發(fā)展方向主要是兩個：

第一，持續(xù)的解析力。手機(jī)影像無論做大底、做高感還是做高像素，最終的結(jié)果都是為了照片的解析力。華為在一段時間（中長期）里依舊會堅持RYYB這一異形CFA并持續(xù)優(yōu)化調(diào)校，畢竟華為是唯一做到異形CFA千萬級別商用的廠商，當(dāng)然，在這個過程中華為還會同步研發(fā)和嘗試其他形式的異形CFA，如果能比RYYB更好，也會考慮商用。

這個部分當(dāng)然就包括大底傳感器。華為也承認(rèn)從目前的情況來看，進(jìn)一步提升傳感器的面積帶來的增益會有遞減，而且鏡頭慧差帶來的邊緣成像效果影響還是比較明顯，即使可以通過軟件的方式進(jìn)行改善。所以，華為會在大底之外進(jìn)行更多的思考。

第二，色彩。這是最復(fù)雜、難度也最大的一個部分。就算是同一個被攝物體，物體本身的色彩、環(huán)境光對色彩的影響以及拍攝者本身對被攝物體色彩的理解，就會形成對最終照片迥然不同的看法，這將會是一個長期的調(diào)校工作。

無論是與華為合作已久的徠卡風(fēng)格的色彩，還是尼康、佳能的色彩風(fēng)格，這些老廠都是經(jīng)過數(shù)十年甚至上百年，才形成了讓業(yè)界認(rèn)可的風(fēng)格，而對華為來說，未來的目標(biāo)就是要形成自己的色彩風(fēng)格，但是需要長期耐心地去建立。

有了這兩個方向作為鋪墊，我們就可以更加有的放矢地理解呈現(xiàn)在Mate 40系列上關(guān)于影像能力的一切了。

融合，解析力為上

記得Mate 40系列發(fā)布會之后與李小龍對話，我特別問到之前P40系列上拍照成像慢的問題。本以為隨著麒麟9000系列性能的大幅度提升，這個問題在Mate 40系列上應(yīng)該得到解決，但沒想到得到的回答卻是：“沒有。因為我們的算法更看重畫質(zhì)，所以往往會超出ISP的運(yùn)算能力，但我們覺得目前的速度還可以接受。你可以發(fā)現(xiàn)在復(fù)雜光源、逆光等環(huán)境下色彩表現(xiàn)提升非常大，但是這樣成像速度就會下來。每當(dāng)新的算力出現(xiàn)，我們就會想做到更多?！?/p>

而這次在與華為技術(shù)人員交流的過程中，這個問題又得到了更加系統(tǒng)的答案。目前在華為的相機(jī)解決方案中，已經(jīng)分別在P、Mate和nova三個系列上形成了鮮明的特點(diǎn)：每一代P系列會以新型傳感器和攝像頭技術(shù)為牽引，提升靜態(tài)影像的成像質(zhì)量；Mate系列會在某些關(guān)鍵的技術(shù)上，尤其是以AI為準(zhǔn)的，去進(jìn)行提升，做動態(tài)影像的設(shè)計——個人覺得這個定義應(yīng)該是從上一代的Mate 30系列開始的；nova主要聚焦于前置攝像頭的解決方案，但隨著前兩個系列一些技術(shù)的鋪開，nova系列的后置拍攝能力也是同樣在提升。

既然這篇文章主要聚焦在Mate系列身上，就簡單回顧一下Mate系列影像的演進(jìn)過程：Mate 10系列隨著麒麟970的搭載，提出了AI攝影的概念，成為華為首款踐行計算攝影的機(jī)型；Mate 20系列則引入超廣角鏡頭和多焦段接力的變焦概念，16mm超廣角和2.5cm微距成為這個系列的主要亮點(diǎn)；Mate 30系列上最大的改變就是電影鏡頭的引入，將視頻賽道引入了華為的影像系統(tǒng)，而這個思路也一直演進(jìn)到了P40系列和現(xiàn)在的Mate 40系列上；到了Mate 40這一代，動態(tài)影像的拍攝能力和廣角成為了兩個關(guān)鍵詞。

自從在P40系列上引入了XD Fusion影像引擎之后，華為手機(jī)的成像畫質(zhì)的確是有了明顯的提升，而Mate 40系列在引入算力更加強(qiáng)大的麒麟9000系列之后，畫質(zhì)的提升更加明顯，我已經(jīng)不止一次在攝影師那里聽到“Mate 40 Pro的畫質(zhì)真好”這樣的感嘆了，而華為也表示他們有信心讓IMX700的解析力超過億級像素的傳感器。

至于前邊提到的為了畫質(zhì)更好將成像速度降下來，主要體現(xiàn)在兩個方面，第一，按下快門之后整個系統(tǒng)對照片的運(yùn)算需要明顯的時間，如果動作快點(diǎn)，你可以明顯在相冊界面看到運(yùn)算前后照片畫面質(zhì)量的提升過程，大部分時候運(yùn)算的結(jié)果能符合預(yù)期；第二，復(fù)雜光線條件下快門時滯偏長，這一點(diǎn)在我做微博圖文直播時的感知非常明顯，但有意思的是，當(dāng)按下第一次快門之后，隨后的快門時滯又幾乎可以忽略，個人認(rèn)為可能的原因應(yīng)該是影像系統(tǒng)對拍攝對象和環(huán)境的判斷所致。

既然單張靜態(tài)影像的畫質(zhì)已經(jīng)可以保證，那么理論上動態(tài)影像的畫質(zhì)也同樣可以得到保證。所以對比Mate 30系列和P40系列，Mate 40系列在動態(tài)影像的拍攝能力上又做了提升，達(dá)到了前后雙4K的拍攝能力，為此Mate 40系列上的電影攝像頭傳感器又進(jìn)行了升級，從之前的4合1（暗光16合1）模式工作的4000萬像素改為了直出的2000萬像素且尺寸不變（1/1.53英寸），所以單一像素尺寸變得更大，弱光性能和防抖表現(xiàn)也更好，這一做法也進(jìn)一步改善了手機(jī)視頻影像的解析力。同時，前置攝像頭1300萬像素攝像頭的單像素尺寸也達(dá)到1.22μm，暗光表現(xiàn)相當(dāng)不錯。

但是，視頻并不是靜態(tài)影像的簡單合集，并且隨著高幀率超高清視頻的需求上升，對手機(jī)處理能力的要求也并非只是又快又好那么簡單。功耗控制和發(fā)熱在手持設(shè)備上是個永恒不變的主題，所以這次Mate 40系列的獨(dú)家新秘籍就是“ISP+NPU融合架構(gòu)”，即在麒麟9000內(nèi)部處理影像數(shù)據(jù)時，讓ISP與NPU兩個模塊實(shí)現(xiàn)硬件級別的聯(lián)動響應(yīng)，將色彩還原、細(xì)節(jié)還原和降噪等優(yōu)秀表現(xiàn)帶入視頻拍攝領(lǐng)域。

簡單理解“ISP+NPU融合架構(gòu)”就是流程優(yōu)化。現(xiàn)在常見的影像處理流程是順序式的，即傳感器數(shù)據(jù)交給ISP完成處理，置入片上緩存，然后再由NPU提取進(jìn)行處理。由于兩個模組之間工作交接的單位是幀，所以ISP和NPU處理不同復(fù)雜程度畫面的能力不一，就可能造成某個模組“忙成狗”，另一個模組“閑到無聊”的失衡情況。

而“ISP+NPU融合架構(gòu)”則是將兩個模組之間的工作交接單位進(jìn)行切片，目前是將一幀畫面切分成四個部分，每個部分占四分之一多一點(diǎn)，因為畫面最后要做整合輸出，切片之間必須要有重合，然后再利用麒麟9000具備的Smart Cache 2.0技術(shù)，將高帶寬大容量的片上緩存作為中續(xù)任務(wù)池，ISP和NPU兩個模組會像打乒乓球一樣，提取同一幀畫面的不同切片部分進(jìn)行處理，最后再合并輸出。

這樣的方式能平衡單位時間內(nèi)ISP和NPU兩個模組的任務(wù)負(fù)載，從而整體提升整個流程的工作效率：在4K分辨率下，這個組合的單幀處理時間僅為33ms，充分滿足4K@30fps視頻拍攝的數(shù)據(jù)吞量，這還是在加載了AI Demosaic和AI AWB等復(fù)雜算法之后得到的。當(dāng)然，解決了流水線上效率的問題，功耗優(yōu)化水平也隨之得到了提升。

處理能力的提升也給Mate 40系列的視頻玩法帶來了更多花樣。它的前后置模組都可以1080P@240fps的分辨幀率，無限制地拍攝慢動作視頻；硬件級別的實(shí)時XD Fusion HDR，即錄制視頻時，每一幀都會采用長短曝光分別進(jìn)行拍攝，然后再融合，達(dá)成畫面寬容度的提升，而且前后置模組都能支持；雙景錄像功能，可實(shí)現(xiàn)后后、前后和畫中畫三種方式，讓視頻的創(chuàng)作方式更加豐富。

鏡頭，看得更廣闊

更強(qiáng)的處理能力和算法，這些環(huán)節(jié)都處于影像處理的中后端，還有一個非常重要的前端環(huán)節(jié)，就是影像的原始數(shù)據(jù)。這里并非指大家馬上就能想到的RAW格式傳感器原始數(shù)據(jù)，而是還要更前端的物理元件——鏡頭，哪怕是常規(guī)手機(jī)的鏡頭模組不過芝麻綠豆大，但它對于光影的傳達(dá)是否準(zhǔn)確卻對最后的畫面解析力表現(xiàn)至關(guān)重要。

一說到這個話題，很多人可能都會想到Mate 40 Pro+上那枚自由曲面電影攝像頭。是的，這是華為在光學(xué)設(shè)計上的又一個新嘗試，是由華為2012實(shí)驗室的專家團(tuán)隊基于廣角畸變消除需求在物理層面的研究成果，將過去軟件層面的廣角畸變矯正更進(jìn)一步。為什么叫“自由曲面”呢？

傳統(tǒng)的鏡片，包括做了D-Cut的長焦模組鏡頭，都是基于圓形鏡片生成的，其光路特點(diǎn)會造成光線在入射傳感器邊緣時和中心產(chǎn)生慧差，常規(guī)的邊緣畫質(zhì)下降和它有莫大的關(guān)系。這也是為什么很多超廣角廣角單反牛頭會做得遠(yuǎn)比它的物理焦距長的原因，就是為了在投射到傳感器之前，盡可能將所有光線都變得與傳感器垂直，從而改善MTF曲線，同時改善握持操作手感，一舉多得——當(dāng)然，魚眼鏡頭這種需要夸張效果的鏡頭除外。

但手機(jī)因為厚度的問題，不可能這樣做，再加上物理焦距更短，這樣的情況還會被放大。自由曲面鏡頭的做法，就是將廣角鏡頭模組最后一片鏡頭的中央?yún)^(qū)域設(shè)計成矩形，從而完整覆蓋住傳感器的工作區(qū)域。因為傳感器是矩形的，所以在矩形對準(zhǔn)矩形的過程中，不管是通光還是濾光，都盡可能地減少了因為傳統(tǒng)圓形鏡頭而引入的一系列的問題，你可以直接把它看成單反鏡頭后組鏡片的集合體。這塊曲率自由度極高的鏡片，不僅減輕了四角的畫質(zhì)問題，也讓同一個傳感器在Mate 40 Pro上的等效18mm超廣角視場角度，提升到了Mate 40 Pro+的等效14mm，提高了傳感器的利用效率。

自由曲面鏡頭除了提升畫質(zhì)，它的另一個好處就是減輕了傳統(tǒng)超廣角鏡頭帶來的透視畸變。傳統(tǒng)的鏡頭系統(tǒng)有兩種類型的畸變，一是不同焦段光學(xué)特性帶來的桶形畸變和枕型畸變，好處壞處都有，前一種畸變會讓人變胖但會讓腿變長，后一種畸變會讓人變瘦但對拉長腿卻沒什么好處，拍半身像效果出眾，這也就是“人像焦段”的主要來歷；另一種則是透視畸變，本來近大遠(yuǎn)小是一個人人都能接受的常識，但因為鏡頭的光學(xué)特性，卻會在邊緣讓這種透視畫面變得夸張，拍人則會出現(xiàn)不正常的拉伸。

過去手機(jī)上的做法是通過算法進(jìn)行廣角畸變校正，解決過度的透視拉伸問題，而在Mate 40 Pro+上，因為自由曲面鏡頭的加入，從物理層面就已經(jīng)能明顯減輕透視拉伸畸變，再結(jié)合最新的抗畸變邊緣人臉?biāo)惴?，從而讓廣角人像的畫面更出色。

當(dāng)然，這個算法同樣也作用于Mate 40系列的前置鏡頭模組。通過前置AI判斷，在檢測出多人自拍場景時，前置鏡頭會自動開啟100°的視場角進(jìn)行拍攝。這也就是Mate 40 Pro“前后100°雙廣角的來歷”——其實(shí)100°只是18mm超廣角的視場角，放在搭載自由曲面鏡頭的Mate 40 Pro+身上，14mm超廣角的視場角會達(dá)到113°，相當(dāng)可觀。不過，現(xiàn)在最大的遺憾，則是這枚由華為與大立光聯(lián)合研發(fā)的自由曲面鏡頭出現(xiàn)了嚴(yán)重的供應(yīng)問題，使得Mate 40 Pro+一機(jī)難求，希望情況能盡快好轉(zhuǎn)吧。

色彩，永不止步

色彩這兩個字，放在華為身上無疑是個矛盾體。與徠卡之間的跨界合作，給華為的手機(jī)影像賦予了辨識度極高的經(jīng)典色彩，而自P30系列開始采用RYYB異型CFA傳感器，又給華為手機(jī)的色彩準(zhǔn)確度表現(xiàn)帶來了很多的爭議。其實(shí)華為也知道RYYB傳感器是非常不好駕馭的，所以對這類型傳感器的認(rèn)知和打磨一刻也沒有停止過。

在P40上搭載的那枚獨(dú)立的8通道色溫傳感器，目的就是為了解決這個問題。傳統(tǒng)的傳感器采用RGGB陣列，因此與之對應(yīng)的色溫傳感器就是RGB三色的，但RYYB傳感器中的Y（黃色）像素所包含的色彩信息量更加豐富，因為它可以同時吸收R（紅色）和G（綠色），原來的G通道參數(shù)需要經(jīng)過（Y-R）這樣的差值計算得到，不僅算法復(fù)雜，而且需要額外的環(huán)境色彩信息參考，這便是這枚8通道色溫傳感器的重要用途。

在運(yùn)算環(huán)節(jié)，前邊提到的“ISP+NPU融合架構(gòu)”也起到了重要作用。用于將拜爾格式轉(zhuǎn)化為RGB格式的Demosaic算法、AWB和CCM（Color Corr Matrix）色彩校正管理模塊等算法全部都有NPU加入運(yùn)算，并整合進(jìn)ISP圖像處理的通路當(dāng)中，其運(yùn)作方式前邊已有說明。各模塊的神經(jīng)模型網(wǎng)絡(luò)經(jīng)過大量的RYYB sensor RAW數(shù)據(jù)訓(xùn)練后，能有效找到物體細(xì)節(jié)和色彩分量之間的復(fù)雜映射關(guān)系，實(shí)現(xiàn)對RYYB異型CFA工作的支持。

由于平臺能力的提升，使得8通道色溫傳感器最早在P40系列上只能判斷光源的類型，在Mate 40系列上已經(jīng)可以達(dá)到測量具體顏色數(shù)據(jù)，獲取真實(shí)、準(zhǔn)確、足夠的色彩信息的程度；最重要的一點(diǎn)是在Mate 40這一代，華為第一次在靜態(tài)影像拍照上，實(shí)現(xiàn)了DCI-P3色域拍顯一致、全鏈路的色彩管理系統(tǒng)。這大約就是文章開頭說到的：華為會慢慢形成自己的色彩風(fēng)格。

特別要說明一下的是，XD Fusion屬于計算攝影的領(lǐng)域，而這里提到的AI色彩、AWB算法和多光譜色溫傳感器，又是屬于色彩科學(xué)團(tuán)隊的工作，兩個團(tuán)隊的工作成果并行但也有交集。

此外，平滑變焦（SAT）是當(dāng)下所有手機(jī)廠商都在多攝系統(tǒng)上著力解決的功能，這次在Mate 40系列上也有了提升，超廣角與1倍之間的色彩一致性已經(jīng)有了非常大的提升，但從我的使用來看，目前長焦的色彩問題還是有比較大的差異，比如膚色偏黃的問題還需要好好調(diào)校。總的來說，Mate 40系列在綜合體驗方面，比如白平衡的準(zhǔn)確性、色彩的氛圍感、防抖的基礎(chǔ)能力和智慧的準(zhǔn)確性等，都有很大的提升，是相當(dāng)值得體驗的。

寫在最后

因為工作性質(zhì)的原因，我有幸和很多華為的研發(fā)人員都有深入的交流。無論環(huán)境變得如何嚴(yán)苛，但從這部分華為人身上迸發(fā)出來的那股子信心、韌勁兒和隨時隨地表現(xiàn)出來的積極向上的心態(tài)，都讓我感觸頗深。另外，華為早就已經(jīng)在著手進(jìn)行平臺切換的工作，以便能讓華為自家的影像算法可以在其他平臺上得到最大能力的發(fā)揮，而“ISP+NPU融合架構(gòu)”的出現(xiàn)，就已經(jīng)體現(xiàn)出很強(qiáng)的廣適性，對于不同平臺能力調(diào)用相當(dāng)靈活。在手機(jī)影像上，華為的工程師意圖融合和超越的不僅是自己已有的成果，更還有對未來的前瞻，保持進(jìn)擊，不要放松?。?/p>