適應(yīng)高刷新率屏幕　智能手機(jī)上的MEMC技術(shù)

謝慧華

2020年上半年，搭載高通驍龍865等新旗艦平臺(tái)的智能手機(jī)接連發(fā)布，性能、Al算力、存儲(chǔ)速度都有了飛躍的提升。為了避免性能的浪費(fèi)，不少旗艦手機(jī)還配備了高刷新率的屏幕，為用戶帶來(lái)更流暢的操作體驗(yàn)。評(píng)測(cè)的過(guò)程中，我們通常會(huì)選擇支持高幀率版本的游戲來(lái)體驗(yàn)行云流水般的畫(huà)面觀感，但這并不意味著高刷新率屏幕的應(yīng)用僅局限在游戲中。

每秒24格的藝術(shù)

從60Hz到90Hz再到目前的120Hz，手機(jī)屏幕刷新率在不到一年的時(shí)間里就得到了翻倍的提升。與之對(duì)應(yīng)的是，部分游戲也逐漸放開(kāi)了幀數(shù)的限定，《王者榮耀》推出了60fps的高幀率模式，《QQ飛車>適配120Hz屏幕，《和平精英》通過(guò)一定的方法也能解鎖120fps模式?？梢?jiàn)，硬件的提升，需要應(yīng)用、內(nèi)容的同步支持，否則在120Hz刷新率的屏幕上玩30fps模式的游戲，依然無(wú)法感受到行如流水的流暢畫(huà)面，這就像在高速路上開(kāi)拖拉機(jī)一樣，依然只有慢吞吞的速度。

除了游戲之外，高刷新率的屏幕還有什么用處？大家第一時(shí)間想到的肯定是視頻播放，但是在內(nèi)容上，高幀率的視頻資源可以說(shuō)是少之又少。就拿手機(jī)拍攝視頻來(lái)說(shuō)，iPhone 11 ProMax最高支持4K/60fps視頻拍攝，在這一規(guī)格下拍攝1分鐘就需要占用1GB左右的存儲(chǔ)空間。如果你購(gòu)買的是64GB容量版本，即使什么應(yīng)用也不裝，也只夠拍攝1小時(shí)。

在電影拍攝中，高幀率的畫(huà)面更是鳳毛麟角。法國(guó)電影大師讓·呂克-戈達(dá)爾將電影視為“每秒24個(gè)的真理”，和以30fps作為流暢及格線的游戲不同，電影只需要24幀就能獲得流暢的畫(huà)面感。究其原因，游戲制作中每一幀畫(huà)面都是靜止不連續(xù)的，但電影錄制的是動(dòng)態(tài)的畫(huà)面。在每秒鐘的24張畫(huà)面中，部分畫(huà)面是清晰的，部分畫(huà)面是模糊的、有拖影的，這種模糊自帶方向性，與下一張畫(huà)面產(chǎn)生銜接，能夠讓人腦形成連貫流暢的畫(huà)面。電影是表達(dá)的藝術(shù)，手法和風(fēng)格各有不同。從導(dǎo)演的角度來(lái)看，不同幀速的電影有不同的風(fēng)格，24幀的電影擁有獨(dú)特的”電影感”，甚至有部分導(dǎo)演在部分片段拍攝中，特意抽去一些畫(huà)面，通過(guò)減幀的手段來(lái)豐富自己的表達(dá)手法。比如導(dǎo)演王家衛(wèi)就在《一代宗師》《重慶森林》和《旺角卡門》等電影鏡頭中適當(dāng)?shù)剡\(yùn)用了抽幀（ Step Printing）手法，營(yíng)造不連貫的迷幻感。

從場(chǎng)景的快速切換和動(dòng)作表現(xiàn)上來(lái)講，24幀的電影會(huì)產(chǎn)生不夠流暢的拖影感，只是考慮到制作成本和觀眾習(xí)慣，沿用了多年的24幀標(biāo)準(zhǔn)依然是權(quán)衡利弊的最佳選擇。就拿大家都愛(ài)看的科幻片為例，基于24幀拍攝時(shí)，電影的后期特效成本已經(jīng)高得嚇人，如果以120幀拍攝，意味著增加了4倍的特效工作量，恐怕全部的票房都不夠填補(bǔ)這個(gè)窟窿。此外，這類影片還需要支持高幀率的電影播放的放映機(jī)才能放映。從《比利林恩的中場(chǎng)戰(zhàn)事》到《雙子殺手》，導(dǎo)演李安曾兩次采用120幀+4K+3D的拍攝技術(shù)，但大多數(shù)影院放映的依然是”縮水版”。

填補(bǔ)硬件和內(nèi)容的斷層

既占空間，又費(fèi)成本，以電影、電視劇為主的視頻內(nèi)容天生自帶著幀率不足的缺憾，堪堪達(dá)到流暢的門檻。難道就沒(méi)有讓視頻變得更流暢的低成本方法嗎？有。在電視領(lǐng)域，早已出現(xiàn)了彌補(bǔ)內(nèi)容與技術(shù)斷層的MEMC技術(shù)。MEMC （Motion Estimateand Motion Compensation）意為運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償，是目前常見(jiàn)的視頻插幀技術(shù)。在電視領(lǐng)域的插幀補(bǔ)償中，曾出現(xiàn)過(guò)三種不同的插幀類型，分別是插復(fù)制幀、插黑幀和插計(jì)算幀。插復(fù)制幀只能提升原視頻的幀速，插黑幀能夠稍微減輕拖影感，但效果都不理想，逐漸被淘汰。而插計(jì)算幀則是通過(guò)運(yùn)動(dòng)估計(jì)預(yù)估畫(huà)面中運(yùn)動(dòng)物體的軌跡，然后在兩個(gè)相鄰幀中間插入_張中間幀，這樣原視頻的幀數(shù)就能翻倍，視覺(jué)上也會(huì)流暢平滑很多。

目前，MEMC動(dòng)態(tài)補(bǔ)償技術(shù)在電視領(lǐng)域比較普及，但命名各有不同。索尼將其命名為MotionFlow，LG叫TruMotion，三：星叫Auto Motion Plus.東芝叫做ClearFrame.像華為的智慧屏和小米最新的小米電視5 Pro也都支持MEMC技術(shù)。以索尼電視上的MotionFlow技術(shù)舉例，視頻中的奔跑的馬從左側(cè)移動(dòng)至右側(cè)僅有3個(gè)畫(huà)面，MotionFlow通過(guò)算法捕捉到了馬蹄、馬尾以及人的運(yùn)動(dòng)軌跡，根據(jù)畫(huà)面背景自動(dòng)生成了中間幀，稍微改變了馬尾、馬蹄的位置和人的坐姿，從而增加了畫(huà)面的整體流暢感。從技術(shù)上看，MEMC對(duì)算法的依賴程度極高，如何準(zhǔn)確識(shí)別移動(dòng)物體，如何計(jì)算生成準(zhǔn)確的新幀，取決于算法的智能程度。

對(duì)于如此復(fù)雜的運(yùn)算，還需要強(qiáng)悍的硬件支持，所以高端電視通常會(huì)配備一個(gè)集成MEMC功能的獨(dú)立圖像處理芯片，以達(dá)到更自然、流暢的插幀效果?，F(xiàn)在高端電視的顯示芯片不僅支持倍速驅(qū)動(dòng)，甚至能把視頻插幀達(dá)到200幀速率，同時(shí)結(jié)合插黑幀等方式提高畫(huà)面的流暢度，減小拖影現(xiàn)象。在實(shí)際應(yīng)用中，MEMC的效果主要體現(xiàn)在體育賽事類節(jié)目中。由于物體運(yùn)動(dòng)速度較快以及鏡頭擺動(dòng)幅度較大，這類節(jié)目的畫(huà)面又糊又晃，而通過(guò)MEMC補(bǔ)償之后，畫(huà)面的流暢度會(huì)得到質(zhì)的提升，晃動(dòng)感也會(huì)有所減弱。

MEMC在移動(dòng)端的新生

盡管MEMC技術(shù)在電視領(lǐng)域比較普及，但是智能手機(jī)上卻鮮少出現(xiàn)。一方面，高刷新率屏幕的手機(jī)面世相對(duì)電視來(lái)說(shuō)較晚，機(jī)型并不多。另—方面，用戶的需求還未充分得到挖掘，為了實(shí)現(xiàn)MEMC而在手機(jī)上搭載獨(dú)立的顯示計(jì)算芯片徒增成本。即便這樣，依然有部分廠商敢于人先，嘗試著在手機(jī)上加入MEMC技術(shù)。

黑鯊是較早支持MEMC補(bǔ)償?shù)氖謾C(jī)品牌，2018年發(fā)布的黑鯊游戲手機(jī)就搭載Pixelworks Iris顯示處理芯片，集成了PixeIWorks獨(dú)家的MotionEngine技術(shù)，該技術(shù)的原理是通過(guò)運(yùn)動(dòng)預(yù)估算法，給顯示的畫(huà)面插幀，不光可以消除抖動(dòng)和運(yùn)動(dòng)模糊，而且能夠使手機(jī)渲染的畫(huà)面更加流暢，匹配現(xiàn)在高刷新率的手機(jī)屏幕。通過(guò)這一技術(shù)，黑鯊打造了超級(jí)影院模式，有效改善了游戲、電影及用戶自拍視頻的視覺(jué)體驗(yàn)。

近期發(fā)售的OPPO Find X2 Pro屏幕配置非常奢華，分辨率達(dá)到3168x1440，屏幕刷新率提升至120Hz，觸控采樣率高達(dá)240Hz。為了充分利用120Hz屏幕的優(yōu)勢(shì)，OPPO特別為Find X2 Pro加入獨(dú)立的顯示優(yōu)化芯片，帶來(lái)”01超感畫(huà)質(zhì)引擎”。借助其中的Motion Clear視頻動(dòng)態(tài)插幀技術(shù)，可以將普通30fps視頻優(yōu)化為60fps以上，從而帶來(lái)更順暢的視頻畫(huà)面。這項(xiàng)技術(shù)目前已經(jīng)支持騰訊視頻、愛(ài)奇藝和優(yōu)酷三大平臺(tái)。在上一期的評(píng)測(cè)中，我們選擇擁有大量手持?jǐn)z影鏡頭的《美國(guó)隊(duì)長(zhǎng)2》作為觀看樣片，通過(guò)Motion Clear自適應(yīng)優(yōu)化，影片中原本眼花繚亂難以辨別的搏斗場(chǎng)面變得順暢清晰。觀看足球或者賽車競(jìng)速等體育賽事類節(jié)目時(shí)，OPPO Find X2Pro也帶來(lái)了別開(kāi)生面的體驗(yàn)，畫(huà)面的流暢度會(huì)得到質(zhì)的提升，晃動(dòng)感也會(huì)有所減弱。

4月2日，—加手機(jī)官方公布了一加8系列屏幕的更多信息。除此前公布的同時(shí)支持2K分辨率和120Hz等特點(diǎn)外，一加8系列還加入了最高120幀的MEMC視頻插幀技術(shù)。在應(yīng)用方面，—加8將支持Bilibili、騰訊視頻、騰訊體育、優(yōu)酷、愛(ài)奇藝、MX Player等國(guó)內(nèi)外主流在線視頻平臺(tái)與應(yīng)用。

寫(xiě)在最后

高刷新率屏幕逐漸成為旗艦手機(jī)的標(biāo)準(zhǔn)配置，甚至?xí)芸煸谥卸耸謾C(jī)上普及，在目前高幀率視頻內(nèi)容缺乏的情況下，MEMC技術(shù)將會(huì)是拉開(kāi)手機(jī)觀影體驗(yàn)差異的有效手段，更好地發(fā)揮了高刷新率屏幕應(yīng)有的作用。不過(guò)完全照搬電視領(lǐng)域的經(jīng)驗(yàn)顯然不合適，無(wú)論是MEMC技術(shù)還是高幀率屏幕的應(yīng)用，都對(duì)手機(jī)性能、續(xù)航、散熱提出了更高的要求，可以說(shuō)牽—發(fā)而動(dòng)全身，廠商還需要具體機(jī)型具體分析，解決其中的能耗平衡問(wèn)題。