影視后期中運(yùn)動(dòng)跟蹤技術(shù)的實(shí)現(xiàn)與比較

梁　爽，霍智勇南京郵電大學(xué)教育科學(xué)與技術(shù)學(xué)院，江蘇南京　210023

影視后期中運(yùn)動(dòng)跟蹤技術(shù)的實(shí)現(xiàn)與比較

梁爽，霍智勇
南京郵電大學(xué)教育科學(xué)與技術(shù)學(xué)院，江蘇南京210023

摘要在計(jì)算機(jī)生成圖像的應(yīng)用領(lǐng)域，運(yùn)動(dòng)跟蹤技術(shù)是其中非常重要的關(guān)鍵技術(shù)之一，并且隨著應(yīng)用的深入，越來越顯示出其重要性。本文實(shí)驗(yàn)研究了三種運(yùn)動(dòng)追蹤技術(shù)，對(duì)其原理和效果進(jìn)行研究和探討，整理和總結(jié)出一套相對(duì)詳細(xì)和完整的跟蹤方法，為對(duì)這一技術(shù)有興趣的人們提供一些理論幫助。本文還分別對(duì)三種跟蹤技術(shù)進(jìn)行了工作原理介紹、常見問題分析和解決以及實(shí)驗(yàn)結(jié)果的展示，對(duì)三種運(yùn)動(dòng)跟蹤進(jìn)行了多方面的比較解釋了各種追蹤技術(shù)的優(yōu)勢(shì)。

關(guān)鍵詞運(yùn)動(dòng)跟蹤；二維跟蹤；三維跟蹤；攝像機(jī)跟蹤；CG合成

霍智勇，教授，工作單位：南京郵電大學(xué)，研究方向：教育技術(shù)學(xué)、數(shù)字媒體技術(shù)、三維動(dòng)畫等

0　引言

隨著影視傳播業(yè)的發(fā)展，人們?cè)絹碓讲粷M足于單純的劇情記錄片，在場(chǎng)景效果制作方面也越來越精益求精。于是，人們慢慢開始探索如何在某一處場(chǎng)景中合理的置入其他元素，要想將電腦生成元素完美地合成在一個(gè)畫面中，就必須應(yīng)用到影視后期技術(shù)中重要的運(yùn)動(dòng)跟蹤技術(shù)，以使畫面互相匹配，看起來就像元素真實(shí)的存在于場(chǎng)景中。

運(yùn)動(dòng)跟蹤技術(shù)的前身是運(yùn)動(dòng)控制技術(shù)。該技術(shù)需要一套裝備，包含一架運(yùn)動(dòng)控制裝置，一架攝像機(jī)和一臺(tái)電腦，三者合作共同實(shí)現(xiàn)運(yùn)動(dòng)控制技術(shù)裝置的控制[1]。它的產(chǎn)生與發(fā)展可以輕松地解決許多之前技術(shù)無法解決的問題。但是由于運(yùn)動(dòng)控制裝置對(duì)場(chǎng)地的局限性和昂貴的成本，運(yùn)動(dòng)跟蹤技術(shù)很快就將其取而代之。運(yùn)動(dòng)跟蹤技術(shù)很早就廣泛運(yùn)用于國(guó)外影視行業(yè)，比如《星球大戰(zhàn)》[2]之后的《黑客帝國(guó)》、《泰坦尼克號(hào)》、《侏羅紀(jì)公園》、《后天》等。這些電影因?yàn)橛辛诉\(yùn)動(dòng)跟蹤技術(shù)才能如此真實(shí)完美的呈現(xiàn)在我們眼前。

在近期上映的電影《速度與激情7》中。男主角保羅·沃克因車禍無法出演，導(dǎo)演及制作團(tuán)隊(duì)運(yùn)動(dòng)最終決定由保羅的兩個(gè)兄弟出演，拍攝過程中，保羅的兄弟臉上布滿了標(biāo)記點(diǎn)，之后通過對(duì)其標(biāo)記點(diǎn)的運(yùn)動(dòng)跟蹤，將男主角保羅CGI制作出的面部表情合成到保羅兄弟的臉上。

運(yùn)動(dòng)跟蹤技術(shù)的產(chǎn)生與發(fā)展大大簡(jiǎn)化了CG工作者的工作量。雖然這一技術(shù)現(xiàn)在已基本發(fā)展成熟，在影視中也應(yīng)用較為廣泛，國(guó)外這方面的著作比較多，但很多都是以Tim Dobbert 所著的《Matchmoving: The Invisible Art of Camera Tracking》為依據(jù)來編寫的。[3-4]國(guó)內(nèi)對(duì)于這一技術(shù)的探索還比較少，特別是學(xué)生，極少有對(duì)這一方面的嘗試與學(xué)習(xí)[5]。

1　基于Mocha的二維跟蹤

1.1二維跟蹤的原理

二維跟蹤一般分為點(diǎn)跟蹤和面跟蹤，點(diǎn)跟蹤是對(duì)一個(gè)點(diǎn)或雙點(diǎn)進(jìn)行跟蹤，面跟蹤則是以源素材的四個(gè)追蹤點(diǎn)來約束目標(biāo)圖形的四個(gè)角點(diǎn)，自動(dòng)匹配。一般用來追蹤的目標(biāo)物都是矩形或平行四邊形，比如電視屏幕。本文中主要涉及的是二維跟蹤的面跟蹤。

面跟蹤主要是通過點(diǎn)的相對(duì)位置運(yùn)動(dòng)來求出其跟蹤平面的位置、翻轉(zhuǎn)和透視狀態(tài)。再將新的元素依照其透視平面進(jìn)行合理安置。

1.2二維跟蹤的實(shí)現(xiàn)

對(duì)源素材設(shè)置入點(diǎn)和出點(diǎn)，確定跟蹤時(shí)間范圍。通過添加點(diǎn)的方式框選出跟蹤目標(biāo)所在區(qū)域，如果在運(yùn)動(dòng)過程中跟蹤目標(biāo)被其他物體遮擋，需要對(duì)遮擋物體添加蒙版遮罩。跟蹤過程中，如果出現(xiàn)跟蹤不準(zhǔn)確的情況時(shí)對(duì)跟蹤進(jìn)行調(diào)整。（如圖1所示）

1.3 二維跟蹤實(shí)現(xiàn)合成

二維跟蹤實(shí)現(xiàn)合成的原理是利用After Effects將二維跟蹤得到的運(yùn)動(dòng)情況的數(shù)值信息匹配到合成元素的平面上，通過源素材和合成元素的匹配重疊實(shí)現(xiàn)兩者的合成。（如圖2所示）

2　基于3DS MAX的三維跟蹤

2.1 三維跟蹤的原理

三維跟蹤主要可以分為兩種，一種需要將實(shí)際場(chǎng)景中的特征點(diǎn)與三維虛擬空間中構(gòu)建標(biāo)記點(diǎn)進(jìn)行匹配來完成，比如:3DS MAX；另一種是計(jì)算機(jī)“全自動(dòng)”地根據(jù)拍攝場(chǎng)景在視頻中的變化來仿真出實(shí)際場(chǎng)景的三維位置模型，如: PFTrack[6]。

基于3DS MAX的三維跟蹤是需要首先在實(shí)拍的場(chǎng)景標(biāo)記出特征點(diǎn)，而且這些特征點(diǎn)要有遠(yuǎn)近高低之分，并且要測(cè)量特征點(diǎn)之間的距離和位置。之后在三維軟件中按照特征點(diǎn)之間的位置關(guān)系和距離關(guān)系建出這些特征點(diǎn)的位置模型（之后將這些模型稱為“標(biāo)記點(diǎn)”），通過實(shí)景中的特征點(diǎn)和三維軟件中的標(biāo)記點(diǎn)關(guān)聯(lián)，根據(jù)特征點(diǎn)的運(yùn)動(dòng)在三維軟件中反求出攝像機(jī)的運(yùn)動(dòng)軌跡。

2.2 基于3DS MAX三維跟蹤的實(shí)現(xiàn)

首先要在場(chǎng)景中做出特征點(diǎn)并記錄下這些點(diǎn)的相對(duì)位置參數(shù)。之后，根據(jù)特征點(diǎn)位置參數(shù)在三維軟件中使用Camera Match工具建立出相對(duì)應(yīng)的標(biāo)記點(diǎn)。最后，利用Camera Tracker工具實(shí)現(xiàn)特征點(diǎn)和標(biāo)記點(diǎn)的匹配。（如圖3所示）當(dāng)出現(xiàn)兩點(diǎn)位置不匹配時(shí)，對(duì)錯(cuò)誤幀重新調(diào)整進(jìn)行跟蹤。當(dāng)特征點(diǎn)消失時(shí)，調(diào)節(jié)該標(biāo)記點(diǎn)的跟蹤幀范圍。確認(rèn)沒有標(biāo)記點(diǎn)處于“incomplete”和“error”的狀態(tài)時(shí)生成的攝像機(jī)。

2.3 基于3DS MAX三維跟蹤實(shí)現(xiàn)合成

三維跟蹤的CGI合成是通過使用三維跟蹤求出的攝像機(jī)對(duì)新建立的CGI元素進(jìn)行拍攝并導(dǎo)出攝像機(jī)視圖，之后與源素材進(jìn)行二維圖像的覆蓋來實(shí)現(xiàn)。（如圖4所示）。

3　基于Boujou的攝像機(jī)跟蹤

3.1 攝像機(jī)跟蹤的原理

攝影機(jī)跟蹤是計(jì)算機(jī)通過對(duì)二維畫面進(jìn)行像素檢測(cè)、畫面內(nèi)元素的運(yùn)動(dòng)分析，得到原始景物在虛擬三維坐標(biāo)中前后左右的位置信息和縱深關(guān)系，進(jìn)而通過構(gòu)建三維虛擬拍攝場(chǎng)景找出原始拍攝時(shí)攝影機(jī)運(yùn)動(dòng)的軌跡。[7]它是把本身在拍攝過程中無法記錄下來的攝像機(jī)運(yùn)動(dòng)軌跡通過分析畫面素材的方式計(jì)算出來。這個(gè)攝像機(jī)的軌跡可以應(yīng)用到三維軟件當(dāng)中，使得在三維空間內(nèi)獲得與拍攝二維圖像素材時(shí)同樣的攝像機(jī)運(yùn)動(dòng)，通過這樣使三維攝影機(jī)記錄下來的角色動(dòng)畫或者特技都擁有與二維圖像素材完美的運(yùn)動(dòng)匹配，從而得到以假亂真的效果。[8]

Boujou攝像機(jī)跟蹤與3DS MAX三維跟蹤根本上不同的一點(diǎn)在于攝像機(jī)跟蹤可以自動(dòng)分析源素材視頻文件，自動(dòng)定義素材中的特征點(diǎn)，無需人為手動(dòng)尋找添加特征點(diǎn)和標(biāo)記點(diǎn)，這樣可以對(duì)特征點(diǎn)大量采樣進(jìn)行攝像機(jī)匹配，并且利用大量采樣求平均值使攝像機(jī)運(yùn)動(dòng)解析更加準(zhǔn)確。

3.2 攝像機(jī)跟蹤的實(shí)現(xiàn)

首先，對(duì)導(dǎo)入的源素材中運(yùn)動(dòng)的部分建立蒙版工具進(jìn)行遮罩[9]，之后進(jìn)行特征點(diǎn)大小和多少的跟蹤選擇和對(duì)特征點(diǎn)的運(yùn)動(dòng)跟蹤[10]，運(yùn)動(dòng)跟蹤之后可以看到圖像上特征點(diǎn)的運(yùn)動(dòng)軌跡，選擇Camera Solve工具進(jìn)行攝像機(jī)解析，反求出攝像機(jī)的運(yùn)動(dòng)軌跡。在Boujou的三維視圖中可以看到攝像機(jī)的運(yùn)動(dòng)軌跡和特征點(diǎn)的遠(yuǎn)近分布情況。設(shè)置坐標(biāo)系統(tǒng)[11]，導(dǎo)出攝像機(jī)。（如圖5所示）

3.3 攝像機(jī)跟蹤實(shí)現(xiàn)合成

首先，在三維軟件中運(yùn)行攝像機(jī)跟蹤軟件中導(dǎo)出的腳本文件，其中記錄了大量的時(shí)間和特征點(diǎn)信息。接下來，在場(chǎng)景中制作三維模型和運(yùn)動(dòng)動(dòng)畫，使用反求出的攝像機(jī)對(duì)三維模型進(jìn)行拍攝，得到一段二維運(yùn)動(dòng)圖像。最后，將得出的二維運(yùn)動(dòng)圖像匹配覆蓋在源素材上完成CGI合成（如圖6所示）。

4　實(shí)驗(yàn)結(jié)果比較與展示

4.1 不同透視變化的二維跟蹤效果比較

二維跟蹤中的面跟蹤是通過點(diǎn)來推斷出跟蹤目標(biāo)的平面變化，從而將變化的數(shù)值導(dǎo)出賦給需要合成的CGI或圖像元素完成元素和實(shí)際場(chǎng)景匹配。當(dāng)跟蹤目標(biāo)平面的透視變化不大時(shí)，選擇透視與不選擇透視得出的跟蹤結(jié)果區(qū)別并不大（如圖7所示），但當(dāng)透視變化比較大時(shí)，選擇透視的預(yù)設(shè)可以比不選擇透視預(yù)設(shè)得出的跟蹤結(jié)果更為準(zhǔn)確（如圖8所示）。但是選擇跟蹤透視變化的解算過程需要進(jìn)行的計(jì)算量比較大。因此，只有當(dāng)目標(biāo)平面存在明顯的透視變化時(shí)才會(huì)選擇透視的預(yù)設(shè)條件。

4.2 攝像機(jī)跟蹤的不同參數(shù)結(jié)果比較

4.2.1不同采樣值的攝像機(jī)跟蹤效果比較

攝像機(jī)跟蹤的效果好壞與特征點(diǎn)采樣值有很大關(guān)系。圖9所示分別為采樣值低、中、高時(shí)得到的Camera Solve結(jié)果。

當(dāng)采樣值較低時(shí)，攝像機(jī)沒有足夠的點(diǎn)來匹配得出攝像機(jī)，攝像機(jī)跟蹤出的數(shù)據(jù)在合成中就可能出現(xiàn)CGI元素與場(chǎng)景不匹配，發(fā)生抖動(dòng)或偏移的情況。采樣值適中時(shí)，采樣點(diǎn)分布較為密集，Camera Solve結(jié)果也基本令人滿意，擁有足夠的Camera Solve點(diǎn)來反求攝像機(jī)的運(yùn)動(dòng)情況。當(dāng)采樣值大時(shí)，采樣數(shù)量更多，但攝像機(jī)解算點(diǎn)并沒有采樣值適中的時(shí)攝像機(jī)解算點(diǎn)多，而且這時(shí)攝像機(jī)解算結(jié)果出現(xiàn)偏差（如圖10所示）。這種結(jié)果的產(chǎn)生可能是由于攝像機(jī)跟蹤軟件其自身特性——對(duì)所有采樣點(diǎn)運(yùn)動(dòng)結(jié)果求平均值所導(dǎo)致的。因此，如果采樣點(diǎn)運(yùn)動(dòng)跟蹤出錯(cuò)的點(diǎn)更多了，攝像機(jī)跟蹤解算結(jié)果的錯(cuò)誤也會(huì)更多。

因此，并不一定采樣值越多的情況效果就越好，需要根據(jù)源素材進(jìn)行分析，找出更適合的跟蹤采樣方式。

4.2.2不同特征大小的攝像機(jī)跟蹤效果比較

當(dāng)采樣度適中，圖11所示分別為特征點(diǎn)取“正常大小”和“大”時(shí)的攝像機(jī)解算結(jié)果。

當(dāng)特征點(diǎn)取正常大小時(shí)，采樣數(shù)量較多，最終的攝像機(jī)解算結(jié)果點(diǎn)數(shù)量也較多。但是，解算結(jié)果中很多點(diǎn)都是藍(lán)色的，表示這些點(diǎn)并沒有跟蹤上。當(dāng)特征點(diǎn)選擇“大”時(shí)，采樣點(diǎn)數(shù)量少了許多，但解算結(jié)果準(zhǔn)確度更高，更適合我們?cè)谶@個(gè)實(shí)例中使用。

4.3 三維跟蹤和攝像機(jī)跟蹤的效果比較

三維跟蹤和攝像機(jī)跟蹤都是由特征點(diǎn)運(yùn)動(dòng)還原攝像機(jī)運(yùn)動(dòng)來實(shí)現(xiàn)，我們可以對(duì)它們的效果進(jìn)行一個(gè)比較。

首先，攝像機(jī)跟蹤對(duì)源素材特征點(diǎn)的提取更多，運(yùn)動(dòng)記錄也更多。另外，攝像機(jī)跟蹤無需三維空間中標(biāo)志點(diǎn)的手動(dòng)添加。之后，由特征點(diǎn)的運(yùn)動(dòng)來解算攝像機(jī)運(yùn)動(dòng)的過程中，同樣是攝像機(jī)跟蹤得到的攝像機(jī)運(yùn)動(dòng)軌跡與實(shí)際場(chǎng)景中的攝像機(jī)運(yùn)動(dòng)軌跡更加切合。但是攝像機(jī)運(yùn)動(dòng)跟蹤的數(shù)據(jù)計(jì)算量要多于三維動(dòng)態(tài)跟蹤。最后，在場(chǎng)景中添加一個(gè)測(cè)試物，觀察運(yùn)動(dòng)是否與源素材中攝像機(jī)的運(yùn)動(dòng)相匹配。當(dāng)攝像機(jī)運(yùn)動(dòng)時(shí)，測(cè)試物與桌面的位置基本保持不變。而三維跟蹤軟件中，由于之后的幀攝像機(jī)運(yùn)動(dòng)較為劇烈，測(cè)試物和桌面出現(xiàn)匹配偏移，但在攝像機(jī)運(yùn)動(dòng)比較平緩的時(shí)間，測(cè)試物和桌面都可以達(dá)到合理的匹配。

三維跟蹤和攝像機(jī)跟蹤方式各有千秋，比如三維跟蹤方式可以在發(fā)現(xiàn)出現(xiàn)錯(cuò)誤的地方及時(shí)進(jìn)行手動(dòng)修改調(diào)整，且三維跟蹤的方式計(jì)算量更小。而攝像機(jī)跟蹤的方式對(duì)源素材局限更小，無需添加特征點(diǎn)標(biāo)記，更加快捷。因此，跟蹤方式的選擇要依源素材而定。

5　結(jié)論

本文對(duì)運(yùn)動(dòng)跟蹤中的二維跟蹤、基于3DS MAX的三維跟蹤和攝像機(jī)跟蹤原理和工作流程進(jìn)行了詳細(xì)的闡述。三者各有千秋，二維跟蹤在處理動(dòng)態(tài)圖像中的單一、簡(jiǎn)單的目標(biāo)時(shí)優(yōu)勢(shì)比較大，計(jì)算量較小，操作和原理都比較簡(jiǎn)單，易于學(xué)習(xí)?；?DS MAX的三維跟蹤在場(chǎng)景較為簡(jiǎn)單時(shí)更凸顯其優(yōu)勢(shì)，操作者可以針對(duì)其中的任意一幀進(jìn)行跟蹤方面的調(diào)整。攝像機(jī)跟蹤可以完全地利用計(jì)算機(jī)獲取更多的采樣點(diǎn)。對(duì)于畫面運(yùn)動(dòng)較為復(fù)雜，環(huán)境因素復(fù)雜的場(chǎng)景更具優(yōu)勢(shì)。

運(yùn)動(dòng)跟蹤技術(shù)的應(yīng)用非常廣泛，在很多領(lǐng)域都可以得到實(shí)踐。目前運(yùn)動(dòng)跟蹤技術(shù)最常見的應(yīng)用領(lǐng)域是在影視行業(yè)，但隨著科技發(fā)展，未來可以或許可以將其運(yùn)用于游戲產(chǎn)業(yè)甚至工業(yè)制作方面?，F(xiàn)在運(yùn)動(dòng)跟蹤技術(shù)已由之前的軟件實(shí)現(xiàn)形式逐步進(jìn)化為運(yùn)動(dòng)捕捉技術(shù)。從原理層面來看，運(yùn)動(dòng)捕捉技術(shù)也可以看作是一個(gè)升級(jí)的運(yùn)動(dòng)跟蹤技術(shù)。通過對(duì)運(yùn)動(dòng)跟蹤技術(shù)和運(yùn)動(dòng)捕捉技術(shù)的改進(jìn)可以使人們?cè)谖磥砀_地完成更多的工作。

參考文獻(xiàn)

[1]宋雷雨.真實(shí)的虛擬世界- 3dsmax， boujou，digitalfusion 合力打造[J].視聽界(廣播電視技術(shù))2006 （5）：78-79.

[2]李文靜.運(yùn)動(dòng)追蹤技術(shù)在影視制作中的應(yīng)用[D].陜西科技大學(xué)，2012.

[3]Hornung E.The art and technique of matchmoving:solutions for the VFX artist[M].Taylor & Francis，2010.

[4]Dobbert T. Matchmoving: the invisible art of camera tracking[M].John Wiley & Sons， 2006.

[5]李昱，周進(jìn).數(shù)字影視后期制作高級(jí)教程[M].中國(guó)青年出版社，2001.

[6]顧春華.PFTrack三維跟蹤及其應(yīng)用[J].影視制作，2014（7）：42-47.

[7]任達(dá).攝像機(jī)運(yùn)動(dòng)軌跡跟蹤技術(shù)在影視制作中的應(yīng)用[J].科技傳播，2012（16）：8-10.

[8]劉通.打開三維與二維結(jié)合的鑰匙[C]//2009中國(guó)電影電視技術(shù)學(xué)會(huì)影視技術(shù)文集.2010.

[9]何清超.用Boujou Three實(shí)現(xiàn)攝像機(jī)軌跡反求(上)[J].電視字幕(特技與動(dòng)畫)，2006（4）：36-39.

[10]何清超.用Boujou Three實(shí)現(xiàn)攝像機(jī)軌跡反求(中) [J].電視字幕(特技與動(dòng)畫)，2006（5）：31-35.

[11]何清超.用Boujou Three實(shí)現(xiàn)攝像機(jī)軌跡反求(下) [J].電視字幕(特技與動(dòng)畫)，2006（6）：36-39.

作者簡(jiǎn)介：梁爽，在校學(xué)生，所在院校：南京郵電大學(xué)教育科學(xué)與技術(shù)學(xué)院，研究方向：數(shù)字媒體技術(shù)

基金項(xiàng)目：本文受江蘇省教改研究立項(xiàng)課題“云課程平臺(tái)的新型網(wǎng)絡(luò)教學(xué)模式研究和實(shí)踐”（2013JSJG224）；南京郵電大學(xué)教改立項(xiàng)重點(diǎn)課題“基于云課程平臺(tái)的新型網(wǎng)絡(luò)教學(xué)模式研究和實(shí)踐”（JG00813JX06）支持

中圖分類號(hào)TP3

文獻(xiàn)標(biāo)識(shí)碼A

文章編號(hào)1674-6708（2015）139-0080-04