基于“合成快門(mén)開(kāi)角”方法進(jìn)行幀率下轉(zhuǎn)換的原理及其優(yōu)點(diǎn)探析
——以RealD TrueMotion為例

朱雙月 常 樂(lè)

(北京電影學(xué)院中國(guó)電影高新技術(shù)研究院,北京 100089)

1 引言

當(dāng)前,人們對(duì)于視頻的要求越來(lái)越高,追求更加清晰、更加真實(shí)的觀看體驗(yàn)。更高的分辨率,更大的顏色動(dòng)態(tài)范圍以及更高的幀率成為了現(xiàn)在電影技術(shù)領(lǐng)域最主要的研究方向之一。李安導(dǎo)演的兩次高幀率電影嘗試:2016年上映的《比利·林恩的中場(chǎng)戰(zhàn)事》以及2019年上映的《雙子殺手》,使得高幀率電影走向普通影院成為現(xiàn)實(shí)。但是,目前的絕大部分電影院的放映設(shè)備并不具備播放高幀率電影的能力,比如《雙子殺手》在上映之期就有3D/4K/120P、3D/4K/60P、3D/4K/24P三種不同幀率的版本。傳統(tǒng)的幀率下轉(zhuǎn)換的方法一般是“抽幀”。所謂抽幀,假設(shè)使用120幀的素材制作24幀的影片,抽幀的原理就是將源素材以每五幀為一組,選取每組中的一幀作為24幀影片的目標(biāo)幀。但是,《比利·林恩的中場(chǎng)戰(zhàn)事》和《雙子殺手》在使用120幀率的素材制作較低幀率的影片時(shí),并未使用簡(jiǎn)單傳統(tǒng)的抽幀方法,而是使用RealD研發(fā)的TrueMotion——一款專(zhuān)門(mén)為了降低高幀率影片的幀率而研發(fā)的軟件,而這款軟件的核心思想就是基于“合成快門(mén)開(kāi)角”方法來(lái)進(jìn)行幀率下轉(zhuǎn)換。

2 合成快門(mén)開(kāi)角基本原理

快門(mén)開(kāi)角的概念源自膠片電影時(shí)代,用來(lái)表示以前用在膠片電影機(jī)上旋轉(zhuǎn)快門(mén)的曝光時(shí)間。在以前用膠片拍電影時(shí),每秒會(huì)記錄24格膠片,也就是我們現(xiàn)在所說(shuō)的24fps,在不做任何遮擋的情況下每張膠片的曝光時(shí)間為1/24秒。當(dāng)需要調(diào)整膠片上的曝光量的時(shí)候就需要加入一個(gè)旋轉(zhuǎn)快門(mén)裝置來(lái)調(diào)整曝光時(shí)間。在旋轉(zhuǎn)快門(mén)葉片開(kāi)角全開(kāi)時(shí)(即360度),此時(shí)每張膠片的曝光時(shí)間為1/24秒,在旋轉(zhuǎn)快門(mén)葉片開(kāi)角打開(kāi)一半時(shí)(即180度),相當(dāng)于膠片有一半的時(shí)間被葉片擋住,因此此時(shí)每張膠片的曝光時(shí)間為1/48秒。RealD True Motion深入挖掘了這一概念,提出了“Synthetic shutter”,即“合成快門(mén)開(kāi)角”方法,并將這一方法運(yùn)用到了高幀率影片幀率下轉(zhuǎn)換的方法中來(lái)。

合成快門(mén)開(kāi)角的方法原理,以使用360度開(kāi)角的120幀率源素材制作24幀影片為例來(lái)說(shuō)明。

圖1 120幀下轉(zhuǎn)換至24幀時(shí),將源素材每5幀分成一組

如圖1所示,當(dāng)我們使用360度開(kāi)角的120幀率素材制作24幀影片時(shí),將以5幀為一組。每一幀的曝光時(shí)間為1/120秒。傳統(tǒng)的抽幀方法只會(huì)使用一組中的某一幀作為目標(biāo)幀。為了更加清晰的表示,下面將以扇形圖的方式來(lái)表示幀。

圖2 圖1的扇形圖表示

如圖2,我們只選取一幀作為目標(biāo)幀,此幀的曝光時(shí)間為1/120秒。即相當(dāng)于轉(zhuǎn)換后的24幀影片中的此幀的曝光時(shí)間為1/120秒,也就是相當(dāng)于快門(mén)開(kāi)角為72度。但我們不僅僅只選用一幀,而是選用多幀來(lái)合成一幀的方式,如圖3所示。

圖3a表示,當(dāng)我們選擇5幀來(lái)合成一幀的時(shí)候,相當(dāng)于曝光時(shí)間為1/120×5秒,即1/24秒,所以轉(zhuǎn)換后的24幀影片相當(dāng)于360度快門(mén)開(kāi)角。以此類(lèi)推選擇4幀、3幀、2幀、1幀的時(shí)候?qū)?yīng)的快門(mén)開(kāi)角分別為288度、216度、144度以及72度。以上就是Real D True Motion的“合成快門(mén)開(kāi)角”方式的基本原理。綜上所述,合成快門(mén)開(kāi)角取決于合成目標(biāo)幀所使用的幀數(shù)在分組中的占比。合成后的不同快門(mén)開(kāi)角也必然會(huì)導(dǎo)致不同的畫(huà)面效果,使用多幀合成目標(biāo)幀也必然會(huì)導(dǎo)致運(yùn)動(dòng)模糊的增加,進(jìn)而導(dǎo)致畫(huà)面整體對(duì)比度的下降。

圖3 不同快門(mén)開(kāi)角的合成方式

3 RealD TrueMotion的幀率下轉(zhuǎn)換方法特點(diǎn)

圖4就是RealD True Motion的主要工作區(qū),紅色框區(qū)域是視頻的預(yù)覽窗口。綠色框區(qū)域可以進(jìn)行源素材以及轉(zhuǎn)換后影片的參數(shù)選擇,其中最重要的就是黃色框區(qū)域中的“Synthetic shutter”選項(xiàng)。

圖4 TrueMotion主界面

圖5是TrueMotion中所有的快門(mén)開(kāi)角選項(xiàng)。黃色框部分是上述我們探討過(guò)的360度以?xún)?nèi)的開(kāi)角選項(xiàng)。值得一提的是,因?yàn)楣P者仍使用的是120幀率的源素材,并選擇下轉(zhuǎn)換到24幀,所以360度以?xún)?nèi)的開(kāi)角選項(xiàng)中只有72度、144度、216度、288度和360度。如果是使用360幀源素材下轉(zhuǎn)換到36幀的話,那么就會(huì)出現(xiàn)36度、72度、108度、144度、180度、216度、252度、288度、324度、360度十個(gè)選項(xiàng)。

圖5 True Motion中Synthetic shutter選項(xiàng)

仍然以120幀下轉(zhuǎn)換到24幀為例。當(dāng)選擇72度開(kāi)角時(shí)我們可以看到,圖6中shutter部分的藍(lán)色虛線框內(nèi)只選擇了一幀作為轉(zhuǎn)換后的目標(biāo)幀。而選擇360度開(kāi)角時(shí),我們可以看到藍(lán)色虛線框中有5個(gè)等高的藍(lán)色方柱,也就意味著轉(zhuǎn)換后的目標(biāo)幀是由源素材中5幀來(lái)合成一幀的。

圖6 選擇72度開(kāi)角和360度開(kāi)角時(shí)的shutter界面

圖5的紅色框部分我們可以看到有超過(guò)360度的快門(mén)開(kāi)角選項(xiàng)以及以RealD開(kāi)頭的一系列選項(xiàng),這就是True Motion的最大的特 點(diǎn)。TrueMotion不僅僅只提供最基礎(chǔ)的360度以?xún)?nèi)的快門(mén)開(kāi)角選項(xiàng)。首先以720度為例,我們可以觀察到圖7的等高藍(lán)色方柱的數(shù)量有10條,即合成目標(biāo)幀使用了源素材中的10幀,意味著一些幀的重復(fù)使用。每一幀的曝光時(shí)間為1/120秒,10幀的總曝光時(shí)間為1/12秒,即相當(dāng)于快門(mén)開(kāi)角為360度開(kāi)角的曝光時(shí)間的兩倍,等同于快門(mén)開(kāi)角為720度。其他高于360度開(kāi)角的選項(xiàng)也都同理。除此之外,

圖7 720度快門(mén)開(kāi)角度shutter界面

True Motion又做了更深一步的延伸。以上我們看到的不論是高于360度開(kāi)角還是低于360度開(kāi)角,所有的藍(lán)色方柱都是等高的,意味著在合成目標(biāo)幀的時(shí)候,源素材中的每一幀都分配了同樣的權(quán)重。而True Motion改變了這種方式,即分配不同權(quán)重給每一幀,用來(lái)根據(jù)需求獲得不同的畫(huà)面效果。

圖8 RealD Mg、Ga、Ag的shutter界面

如圖8所示的RealD Mg,每一個(gè)藍(lán)色方柱有不同的高度,代表著合成目標(biāo)幀所占的比重不同。而且有一部分的比重為0,意味著此幀并未被使用;還有一部分的比重為負(fù)值,意味著一些源素材中的幀在合成目標(biāo)幀的時(shí)候被減去了。使用越多的幀能夠增加運(yùn)動(dòng)模糊,減去某些幀能夠減少一些運(yùn)動(dòng)模糊,但也有可能造成一些畫(huà)面抖動(dòng)等問(wèn)題。其他以RealD開(kāi)頭的“Synthetic shutter”中的選項(xiàng),比如RealD Ga、RealD Ag也都預(yù)設(shè)了一些權(quán)重,用戶(hù)可以根據(jù)自己想要的效果來(lái)進(jìn)行選擇。關(guān)于權(quán)重的設(shè)置,可以從shutter的形狀分布來(lái)判斷,是屬于高斯分布的。使用高斯分布的優(yōu)點(diǎn)就是,使用添加一些運(yùn)動(dòng)模糊的方式減弱幀率下轉(zhuǎn)換會(huì)出現(xiàn)的畫(huà)面問(wèn)題,比如抖動(dòng)、“車(chē)輪后轉(zhuǎn)”等這些現(xiàn)象,來(lái)保證畫(huà)面的對(duì)比度。

如圖9和10所示,我們可以明顯看出相對(duì)于RealD Ag來(lái)說(shuō)使用RealD Ga有更加明顯的運(yùn)動(dòng)模糊,但是使用RealD Ag的畫(huà)面要比使用RealD Ga的畫(huà)面有著更高的對(duì)比度。以上這些就是TrueMotion的幀率下轉(zhuǎn)換的方法特點(diǎn),它為幀率下轉(zhuǎn)換后的結(jié)果提供了更多的選擇,用戶(hù)可以根據(jù)自己的需求來(lái)選擇自己想要的結(jié)果。

圖9 下轉(zhuǎn)換時(shí)使用RealD Ga效果圖

圖10 下轉(zhuǎn)換時(shí)使用RealD Ag效果圖

4 TrueMotion“合成快門(mén)開(kāi)角”優(yōu)點(diǎn)

相對(duì)于傳統(tǒng)的抽幀算法,True Motion的“合成快門(mén)開(kāi)角”的方法有著以下幾個(gè)方面的優(yōu)點(diǎn)。

(1)增加粒子的運(yùn)動(dòng)模糊,更加符合視覺(jué)習(xí)慣

圖11 使用抽幀和True Motion的粒子運(yùn)動(dòng)對(duì)比圖

圖11左圖中是使用抽幀方法,右圖是使用了TrueMotion處理之后的效果?？梢钥闯鲇覉D的水滴運(yùn)動(dòng)模糊更強(qiáng),使得粒子運(yùn)動(dòng)更加流暢,符合我們觀看的24幀電影的效果。

(2)在表現(xiàn)物體旋轉(zhuǎn)運(yùn)動(dòng)時(shí)效果更好

圖12、圖13中展示的是飛機(jī)的兩個(gè)葉片在旋轉(zhuǎn)的畫(huà)面。在圖右邊看到相對(duì)較明顯的葉片。而左邊使用了True Motion之后的畫(huà)面幾乎看不到葉片的形狀,意味著在運(yùn)動(dòng)過(guò)程中,使用了TrueMotion之后的畫(huà)面運(yùn)動(dòng)將會(huì)更加流暢,并且不會(huì)產(chǎn)生在旋轉(zhuǎn)運(yùn)動(dòng)中常見(jiàn)的“車(chē)輪后轉(zhuǎn)”現(xiàn)象。

圖12 使用抽幀和True Motion表現(xiàn)旋轉(zhuǎn)運(yùn)動(dòng)對(duì)比圖-畫(huà)面靜止圖

圖13 使用抽幀和True Motion表現(xiàn)旋轉(zhuǎn)運(yùn)動(dòng)對(duì)比圖

(3)慢動(dòng)作表現(xiàn)更加順滑

當(dāng)未經(jīng)過(guò)任何處理,直接將高幀率影片以較低幀率的速度進(jìn)行播放時(shí),會(huì)出現(xiàn)物體運(yùn)動(dòng)略微卡頓不流暢的效果。即使是在較高倍率的慢放,比如說(shuō)0.5倍速,這種效果也會(huì)非常明顯。光流補(bǔ)幀法能實(shí)現(xiàn)比較好的效果,但計(jì)算量較大,處理時(shí)花費(fèi)時(shí)間較長(zhǎng)。而True Motion利用合成快門(mén)開(kāi)角的方法,在增加了一些運(yùn)動(dòng)模糊的情況下,能夠快速實(shí)現(xiàn)較流暢的運(yùn)動(dòng)畫(huà)面。在對(duì)于動(dòng)作清晰度要求不太高的情況下,True Motion也是比較好的選擇。

(4)減少鏡頭快速搖移時(shí)高對(duì)比度物體的抖動(dòng)現(xiàn)象

由圖14和15對(duì)比可知,在鏡頭快速搖移的時(shí)候,高對(duì)比度的物體容易產(chǎn)生抖動(dòng)現(xiàn)象,True Motion可以增加適當(dāng)?shù)倪\(yùn)動(dòng)模糊來(lái)減弱這種現(xiàn)象,改善畫(huà)面的質(zhì)量。

圖14 鏡頭快搖時(shí)高對(duì)比度物體的抖動(dòng)現(xiàn)象

圖15 使用抽幀和True Motion表現(xiàn)旋轉(zhuǎn)運(yùn)動(dòng)對(duì)比圖

綜上所述,True Motion的核心思想就是增加適當(dāng)?shù)倪\(yùn)動(dòng)模糊,來(lái)解決一些低幀率影片經(jīng)常會(huì)出現(xiàn)的運(yùn)動(dòng)畫(huà)面不流暢、抖動(dòng)等一些問(wèn)題。最重要的是True Motion可以讓用戶(hù)選擇Synthetic shutter中的不同選項(xiàng)調(diào)節(jié)運(yùn)動(dòng)模糊的程度,來(lái)獲得用戶(hù)最想要的畫(huà)面效果。

5 總結(jié)

RealD True Motion的出現(xiàn)使得高幀率影片的幀率下轉(zhuǎn)換不再局限于簡(jiǎn)單傳統(tǒng)的抽幀方法。其核心原理“合成快門(mén)開(kāi)角”拓深了快門(mén)開(kāi)角的概念,利用合成幀的方法來(lái)進(jìn)行幀率下轉(zhuǎn)換。從給予幀相同權(quán)重來(lái)合成目標(biāo)幀到給予幀不同的權(quán)重來(lái)合成目標(biāo)幀,RealD True Motion也在探索不同的可能。但筆者認(rèn)為,在給予幀不同權(quán)重方面True Motion也有其局限性。TrueMotion所定義的那些預(yù)設(shè)比如說(shuō)Real D Ag,都是設(shè)定好的權(quán)重,并未考慮到畫(huà)面本身的特點(diǎn)。但如果加上圖像分析必定會(huì)導(dǎo)致計(jì)算過(guò)于復(fù)雜,處理時(shí)間過(guò)長(zhǎng)。所以筆者認(rèn)為目前為止Real D True Motion仍然是做高幀率影片幀率下轉(zhuǎn)換的最佳選擇。