一種基于局部模型對(duì)齊的動(dòng)態(tài)視頻修復(fù)方法

李靈俐 李曉明

(太原科技大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 山西 太原030024)

0 引 言

視頻修復(fù)(video inpainting)是指替換或修改視頻中有瑕疵的區(qū)域，或者是根據(jù)個(gè)人主觀意志設(shè)定的某些區(qū)域，并且使得修復(fù)后的視頻在視覺(jué)上有著令人愉悅的觀賞效果。目前，攝像頭固定不動(dòng)時(shí)的靜態(tài)視頻修復(fù)已經(jīng)獲得了較大的成功，并已被嵌入一些商業(yè)軟件之中。早期的視頻修復(fù)算法多數(shù)沿用了圖像修復(fù)的思路，即采用啟發(fā)式思路在當(dāng)前視頻幀或圖像庫(kù)中查找最有可能的2D圖像塊(patch)來(lái)填充待修復(fù)區(qū)域[1-2]。然而這種單幀視頻圖像各自獨(dú)立修復(fù)的方法，會(huì)導(dǎo)致修復(fù)后的視頻出現(xiàn)幀間不連續(xù)或跳躍現(xiàn)象，因此，目前已經(jīng)很少使用基于單幀圖像的視頻修復(fù)算法。近年來(lái)，視頻修復(fù)的主流方法都是利用時(shí)空信息(spatio-temporal information)來(lái)實(shí)現(xiàn)的[3-5]，并且取得了很大的成功。具體講，填充待修復(fù)視頻幀的圖像塊不再僅限于在2D圖像空間查找，而是增加了時(shí)間維度，即查找相似塊的操作是在3D空間實(shí)現(xiàn)的[6-7]。然而，這類方法要求視頻拍攝時(shí)攝像機(jī)是固定的，如果攝像機(jī)有運(yùn)動(dòng)，那么在修復(fù)前必須先進(jìn)行視頻幀間的對(duì)齊操作?？梢钥闯?，為了將經(jīng)典的靜態(tài)視頻修復(fù)方法[8-10]擴(kuò)展到動(dòng)態(tài)視頻修復(fù)領(lǐng)域，視頻對(duì)齊是必不可少的先期步驟。

對(duì)于攝像機(jī)運(yùn)動(dòng)時(shí)的動(dòng)態(tài)視頻修復(fù)也有一些相關(guān)的研究，但研究成果遠(yuǎn)沒(méi)有靜態(tài)視頻修復(fù)成熟。例如，在動(dòng)態(tài)視頻修復(fù)中，文獻(xiàn)[11-12]的方法采用把視頻分割成移動(dòng)前景和背景，用塊匹配來(lái)實(shí)現(xiàn)運(yùn)動(dòng)估計(jì)。一旦移動(dòng)的前景被繪制，背景根據(jù)塊匹配估計(jì)的運(yùn)動(dòng)重新排列，背景是由復(fù)制和粘貼背景像素來(lái)填充以此達(dá)到修復(fù)的目的。文獻(xiàn)[13-14]提出的方法也需要先分割前景與背景，然后在每一幀之間估計(jì)一組Homographies，并選擇一個(gè)Homgraphy應(yīng)用于所有的屬于背景的每個(gè)被遮擋的像素。但是這兩種算法都要求對(duì)背景和前景進(jìn)行分割，此外，它們還有相當(dāng)嚴(yán)格的像素限制，這意味著重新排列必須是極端準(zhǔn)確的。雖然在這種極其小運(yùn)動(dòng)范圍用Homgraphy模型的確可以近似模擬出視頻幀的對(duì)應(yīng)，但是對(duì)于更一般的情況，以上方法所使用的全局模型就會(huì)導(dǎo)致較大的誤差?？傮w上說(shuō)，目前的動(dòng)態(tài)視頻修復(fù)方法，或者需要進(jìn)行前景背景的分割，或者其應(yīng)用范圍僅限于攝像頭抖動(dòng)這類微小運(yùn)動(dòng)的情況。

對(duì)于攝像機(jī)運(yùn)動(dòng)范圍較大的情況，采用哪種對(duì)齊模型來(lái)補(bǔ)償攝像機(jī)運(yùn)動(dòng)是一個(gè)重要的理論問(wèn)題。眾所周知，當(dāng)攝像機(jī)運(yùn)動(dòng)是繞定點(diǎn)旋轉(zhuǎn)或者場(chǎng)景是平面時(shí)，可以用全局Homography準(zhǔn)確描述攝像機(jī)運(yùn)動(dòng)，當(dāng)攝像機(jī)運(yùn)動(dòng)范圍很小時(shí)，采用全局Homograph仍然可以較好地近似攝像機(jī)運(yùn)動(dòng)。然而，當(dāng)攝像機(jī)運(yùn)動(dòng)不滿足這些限制時(shí)，采用全局Homography近似攝像機(jī)運(yùn)動(dòng)會(huì)帶來(lái)較大的誤差，直接影響后續(xù)的視頻修復(fù)。針對(duì)此類情況，本文給出一種基于局部模型對(duì)齊的方法，其基本思想是，將圖像中的局部區(qū)域近似為一個(gè)小的平面，這樣圖像局部區(qū)域的運(yùn)動(dòng)可用一個(gè)Homography描述。對(duì)圖像不同的區(qū)域采用不同的局部模型，從而提高視頻幀的對(duì)齊精度。另外，局部模型的估計(jì)精度與局部鄰域中特征點(diǎn)的數(shù)量和分布密切相關(guān)，本文采用當(dāng)前性能較好的基于運(yùn)動(dòng)一致性的特征匹配方法，有效地增加了特征點(diǎn)的數(shù)量，從而提高了局部模型的估計(jì)精度。實(shí)驗(yàn)結(jié)果表明，本文方法不需要事先分割視頻的前景和背景，對(duì)攝像機(jī)運(yùn)動(dòng)范圍較大的視頻修復(fù)問(wèn)題，大大提高了視頻對(duì)齊精度，相應(yīng)地提升了視頻修復(fù)的質(zhì)量。

1 基于局部模型的視頻幀對(duì)齊

如前所述，當(dāng)攝像機(jī)運(yùn)動(dòng)滿足一定的限制時(shí)，幀間圖像滿足全局2D單應(yīng)矩陣(Homography)約束[15-16]。

1.1 全局模型對(duì)齊算法

設(shè)x=[x,y]T和x′=[x′,y′]T是兩幀圖像I和I′之間的對(duì)應(yīng)點(diǎn)，那么描述兩幀圖像間的全局變換模型可表述為：

x′～Hx

(1)

x′×Hx=03×1

(2)

aih=02×1

(3)

式中：ai為2×9的矩陣；h=(h11,h12,h13,h21,h22,h23,h31,h32,h33)T是H矩陣的向量化形式。求解h需要至少4對(duì)對(duì)應(yīng)點(diǎn)，如果對(duì)應(yīng)點(diǎn)數(shù)量超過(guò)4對(duì)，可通過(guò)求解以下目標(biāo)函數(shù)來(lái)得到式(4)中A矩陣經(jīng)過(guò)SVD分解后最小奇異值對(duì)應(yīng)的奇異向量即為h的解。更詳細(xì)的解釋可參看文獻(xiàn)[17]。

(4)

可以看出，基于全局模型的對(duì)齊算法是假設(shè)圖像所有位置滿足同一模型，而且上述模型估計(jì)過(guò)程是利用圖像所有對(duì)應(yīng)點(diǎn)求得的，且每組對(duì)應(yīng)點(diǎn)具有相同的權(quán)重。對(duì)于滿足一定運(yùn)動(dòng)限制的攝像機(jī)運(yùn)動(dòng)來(lái)說(shuō)，全局模型準(zhǔn)確反映了攝像機(jī)的運(yùn)動(dòng)，而且模型計(jì)算簡(jiǎn)單。然而，對(duì)于一般運(yùn)動(dòng)和一般場(chǎng)景下拍攝的視頻，由于視差的存在，會(huì)導(dǎo)致較大的對(duì)齊誤差，從而直接影響后續(xù)的視頻修復(fù)精度。

1.2 局部模型對(duì)齊算法

為了解決全局單一模型在攝像機(jī)一般運(yùn)動(dòng)和一般場(chǎng)景下對(duì)齊出現(xiàn)重影和鬼影等問(wèn)題，受文獻(xiàn)[17]的啟發(fā)，本文將基于局部模型對(duì)齊的方法與靜態(tài)視頻修復(fù)算法結(jié)合，使動(dòng)態(tài)視頻修復(fù)適用于更加一般的情況。

不同于全局模型，基于局部模型的對(duì)齊方法是對(duì)圖像不同位置采用不同的對(duì)齊模型。其基本思想為：將每個(gè)局部區(qū)域近似為一個(gè)平面，這樣每個(gè)區(qū)域可用一個(gè)單應(yīng)矩陣描述其幾何變換。這樣，每個(gè)局部區(qū)域的幾何變換可表示為：

(5)

(6)

需要注意的是，不同于全局模型求解方法(式(4))，局部模型方法對(duì)每對(duì)對(duì)應(yīng)點(diǎn)增加了一個(gè)權(quán)重因子項(xiàng)w*,具體為：

(7)

式中：σ是一個(gè)尺度參數(shù)；xi是第i個(gè)點(diǎn)匹配的一半的源圖像I中的坐標(biāo)。

直觀地說(shuō)，由于式(7)為接近x*的數(shù)據(jù)分配更高的權(quán)重，投影扭曲H*更好地尊重x*附近的局部結(jié)構(gòu)。將其與式(1)進(jìn)行對(duì)比，后者對(duì)所有x*使用單個(gè)全局H。此外，由于x*在其域I中連續(xù)移動(dòng)，因此翹曲H*也平穩(wěn)變化。這就產(chǎn)生了一個(gè)能夠靈活地適應(yīng)數(shù)據(jù)的整體扭曲，但試圖保持扭曲的投影趨勢(shì)，即靈活的投影扭曲，稱之MovingDLT[17]的方法。

然后劃分為單元，對(duì)源圖像I中的每個(gè)像素位置x求解是不必要的浪費(fèi)，因?yàn)橄噜徫恢脤a(chǎn)生非常相似的權(quán)重，從而產(chǎn)生非常相似的單應(yīng)性。因此，將二維域I均勻地劃分成一個(gè)由C1×C2個(gè)單元組成的網(wǎng)格，并以每個(gè)單元的中心為x*同一個(gè)單元中的像素將使用相同的同形法進(jìn)行扭曲。圖1觀察到翹曲是全局投影外推，但在重疊區(qū)域靈活適應(yīng)，以便更好地對(duì)齊。

圖1 局部模型對(duì)齊

劃分為單元可以有效地將WSVD實(shí)例的數(shù)量減少到C1×C2。另外，每一個(gè)WSVD實(shí)例都是相互獨(dú)立的，因此一個(gè)簡(jiǎn)單的加速計(jì)算方法就是并行求解WSVD。即使沒(méi)有并行處理，在Pentium i7 2.2 GHz四核機(jī)上，在包含2 100個(gè)篩選匹配項(xiàng)(A的大小為4 200×9)的圖像中的所有100×100個(gè)單元求解也只需3 s。

一個(gè)潛在的問(wèn)題是，單元間的翹曲可能會(huì)出現(xiàn)不連續(xù)，因?yàn)閱卧姆指钣行У亟档土似交兓臋?quán)重。在實(shí)踐中，只要單元分辨率足夠高，彎曲不連續(xù)的影響最小。

最后進(jìn)行圖像的變換和重采樣，這個(gè)步驟就是用計(jì)算出的投影函數(shù)，作用于輸入圖像上，然后采用適當(dāng)?shù)姆椒?，?jì)算出變換后的坐標(biāo)像素值。

對(duì)于求解任一點(diǎn)x*處的局部模型，在式(6)中，每組對(duì)應(yīng)點(diǎn)在其中的權(quán)重不同，且由式(7)可看出，離x*越近的對(duì)應(yīng)點(diǎn)權(quán)重越大，反之，離x*越遠(yuǎn)的對(duì)應(yīng)點(diǎn)權(quán)重越小。簡(jiǎn)言之，局部模型的估計(jì)主要是利用局部鄰域點(diǎn)來(lái)估計(jì)的，而不是用圖像所有點(diǎn)來(lái)估計(jì)的。

基于局部模型的對(duì)齊方法容易引起圖像的局部變形不連續(xù)問(wèn)題。然而，文獻(xiàn)[17]的研究表明，這種現(xiàn)象并不突出。正因?yàn)榇耍谥T如圖像拼接等應(yīng)用中，基于局部模型的對(duì)齊方法也得到了廣泛的應(yīng)用。

2 GMS算法

雖然局部模型在具有一定視差時(shí)具有較好的對(duì)齊效果，但其對(duì)齊精度與特征點(diǎn)數(shù)量和分布的影響較大。本文嘗試了Sift、Surf等多種局部特征點(diǎn)匹配算法，實(shí)驗(yàn)表明，這些經(jīng)典的特征匹配方法常常會(huì)導(dǎo)致所匹配的特征點(diǎn)比較稀疏，直接影響圖像的局部對(duì)齊性能。受GMS算法[18]啟發(fā)，本文試圖將GMS算法與局部對(duì)齊模型結(jié)合，來(lái)尋求更滿意的對(duì)齊效果。

GMS算法是一種基于運(yùn)動(dòng)一致性的特征匹配算法。運(yùn)動(dòng)一致性假設(shè)是指，圖像中相鄰像素點(diǎn)具有相似的運(yùn)動(dòng)模式。文獻(xiàn)[15]把這種運(yùn)動(dòng)一致性思想轉(zhuǎn)化為更簡(jiǎn)單的統(tǒng)計(jì)方法，并取得了很大的成功。

GMS算法的基本思想很簡(jiǎn)單：正確匹配的特征點(diǎn)的對(duì)應(yīng)關(guān)系通常在運(yùn)動(dòng)方面會(huì)表現(xiàn)出相同的一致性，而錯(cuò)誤對(duì)應(yīng)點(diǎn)之間則不會(huì)有這種一致性關(guān)系。因此，在正確的匹配關(guān)系周圍可能會(huì)有更多的正確的匹配點(diǎn)支持，而錯(cuò)誤的匹配對(duì)不具有這種規(guī)律性，而是具有隨機(jī)性。

如圖2所示，假設(shè)圖像對(duì)Ia和Ib中狗的鼻子部位的匹配點(diǎn)xi是正確的，那么xi周圍支撐區(qū)域a中的特征點(diǎn)更有可能匹配到相應(yīng)的支撐區(qū)域b；反之，假設(shè)圖像對(duì)Ia和Ib中狗的腳掌部位的匹配點(diǎn)xj是錯(cuò)誤匹配，那么xj周圍的特征點(diǎn)的對(duì)應(yīng)匹配位置具有一定的隨機(jī)性?；谶@種運(yùn)動(dòng)一致性思想，文獻(xiàn)[15]給出了一種基于統(tǒng)計(jì)的特征點(diǎn)匹配方法。首先將圖像劃分為一定大小的網(wǎng)格，如果對(duì)應(yīng)網(wǎng)格中的匹配點(diǎn)數(shù)量超過(guò)預(yù)定的閾值，那么認(rèn)為網(wǎng)格中的匹配是正確的，反之，如果對(duì)應(yīng)網(wǎng)格中的匹配點(diǎn)較少，反映了對(duì)應(yīng)點(diǎn)不符合一致性假設(shè)，因此被認(rèn)為是錯(cuò)誤匹配。根據(jù)這一思想來(lái)區(qū)分正確與錯(cuò)誤匹配。

圖2 GMS方法原理圖

GMS算法提出后，近幾年獲得了很大的成功，目前已被集成到OpenCV庫(kù)中。大量實(shí)驗(yàn)表明，基于GMS的特征匹配方法大大提高了對(duì)應(yīng)點(diǎn)匹配數(shù)量，而且具有較高的執(zhí)行效率，非常有利于基于局部模型的視頻對(duì)齊，從而提升動(dòng)態(tài)視頻的修復(fù)性能。

3 實(shí) 驗(yàn)

3.1 評(píng)價(jià)指標(biāo)

為了保證實(shí)驗(yàn)結(jié)果評(píng)價(jià)的客觀性，本文采用常用的兩種質(zhì)量評(píng)價(jià)指標(biāo)PSNR[19]和SSIM[20]對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行評(píng)價(jià)。

3.1.1PSNR

峰值信噪比(PSNR)是一種評(píng)價(jià)圖像的客觀標(biāo)準(zhǔn)。PSNR是最普遍、最廣泛使用的評(píng)鑒畫(huà)質(zhì)的客觀量測(cè)法，它是原圖像與被處理圖像之間的均方誤差相對(duì)于(2n-1)2的對(duì)數(shù)值，定義為：

(8)

(9)

式中：MSE指均方誤差；I和K分別代表處理前后的圖像。PSNR值越大，就代表失真越少。

在視頻對(duì)齊問(wèn)題中，I和K分別代表兩幅圖像對(duì)齊后重疊區(qū)域的所有像素點(diǎn)的灰度值。

3.1.2SSIM

SSIM是用來(lái)衡量?jī)煞鶊D像相似度的一個(gè)常用指標(biāo)，其值越大越好。作為結(jié)構(gòu)相似性理論的實(shí)現(xiàn)，SSIM的計(jì)算是從圖像X和圖像Y的三項(xiàng)指標(biāo)綜合度量的，這三項(xiàng)指標(biāo)分別為：亮度(luminance)、對(duì)比度(contrast)和結(jié)構(gòu)(structure)。SSIM定義為：

(10)

式中：μx、μy分別表示圖像X和圖像Y的亮度均值；σx、σy分別表示圖像X和圖像Y亮度的標(biāo)準(zhǔn)差；σxy代表圖像X和圖像Y協(xié)方差；c1、c2為很小的常數(shù)，是為了避免括號(hào)內(nèi)出現(xiàn)0而設(shè)定的。

在本文實(shí)驗(yàn)中，SSIM指標(biāo)用來(lái)評(píng)價(jià)不同方法對(duì)齊后參考圖像與目標(biāo)圖像之間的接近程度，該指標(biāo)也可以用來(lái)評(píng)價(jià)修復(fù)前后的效果對(duì)比。

3.2 一般局部模型與全局模型對(duì)齊效果對(duì)比

為了比較局部模型與全局模型對(duì)齊效果，本文針對(duì)不同場(chǎng)景做了實(shí)驗(yàn)。在如下兩組實(shí)驗(yàn)中，特征檢測(cè)采用sift特征，特征匹配采用常用的最近鄰與第二近鄰的比值作為匹配準(zhǔn)則，然后采用RANSAC方法去除錯(cuò)誤匹配點(diǎn)。我們把這種方法稱作一般局部模型匹配方法，方便與下一部分的匹配方法相區(qū)分。

圖3的實(shí)驗(yàn)數(shù)據(jù)是航拍的河流與村莊，視頻一共拍攝235幀，飛行器拍攝的路線跨度較大，相應(yīng)的視頻幀之間的視差也較大。圖3列出第15和第35幀之間的對(duì)齊結(jié)果?？梢钥闯霾捎萌帜Ｐ蛯?duì)齊后的視頻幀，屋頂和湖泊都有較大程度的重影問(wèn)題，而采用局部模型的對(duì)齊效果比全局模型有了顯著提升。從PSNR指標(biāo)和SSIM指標(biāo)的結(jié)果來(lái)看，局部模型對(duì)齊后的圖像質(zhì)量要高于全局模型對(duì)齊后的圖像質(zhì)量。

(a) 局部模型 (b) 全局模型圖3 局部模型與全局模型對(duì)齊效果對(duì)比(實(shí)驗(yàn)數(shù)據(jù)1)

圖4的實(shí)驗(yàn)數(shù)據(jù)是距離目標(biāo)5 m拍攝的，場(chǎng)景中既有剛性的建筑對(duì)象，又有運(yùn)動(dòng)的人與背景，且拍攝場(chǎng)景不在同一平面，視頻視差較大，實(shí)驗(yàn)場(chǎng)景較為復(fù)雜。該視頻數(shù)據(jù)共有358幀，圖4中列出第17與27幀的實(shí)驗(yàn)結(jié)果，其中：第一行兩幅圖像是待對(duì)齊的兩幀圖像；第二行是對(duì)齊后的全局模型對(duì)齊結(jié)果和局部模型對(duì)齊結(jié)果；第三第四行是放大后的細(xì)節(jié)?？梢钥闯?，全局模型對(duì)齊后的圖像中男生的耳朵、鼻子等身體部位都有非常明顯的模糊與重影現(xiàn)象，而局部模型對(duì)齊后效果有了明顯改進(jìn)。

(a) 全局模型 (b) 局部DLT模型圖4 全局模型比與局部DLT模型對(duì)比(實(shí)驗(yàn)數(shù)據(jù)2)

因PSNR和SSIM指標(biāo)(圖5和圖6)也可得出相同的結(jié)論。

圖5 PSNR指標(biāo)對(duì)比(實(shí)驗(yàn)數(shù)據(jù)1)

圖6 SSIM指標(biāo)對(duì)比(實(shí)驗(yàn)數(shù)據(jù)1)

綜合實(shí)驗(yàn)結(jié)果來(lái)看，由于局部模型和全局把模型本質(zhì)上的算法特性，基于局部模型的Homography更適合描述大視差下的攝像機(jī)運(yùn)動(dòng)，基于局部模型的對(duì)齊效果都要好于全局模型對(duì)齊結(jié)果,從如圖7和圖8所示的實(shí)驗(yàn)也可看出，本文算法結(jié)果要好于以往以全局模型為代表[9]的實(shí)驗(yàn)結(jié)果。

圖7 PSNR指標(biāo)對(duì)比(實(shí)驗(yàn)數(shù)據(jù)2)

圖8 SSIM指標(biāo)對(duì)比(實(shí)驗(yàn)數(shù)據(jù)2)

3.3 GMS局部模型與一般局部模型的對(duì)齊對(duì)比

根據(jù)局部模型的計(jì)算過(guò)程可知，局部模型估計(jì)的精度與特征點(diǎn)的數(shù)量和分布密切相關(guān)。在實(shí)際應(yīng)用時(shí)很多情況下常規(guī)的匹配方法得到的特征點(diǎn)比較少，這時(shí)采用一般局部模型，其對(duì)齊效果就會(huì)大打折扣。本節(jié)實(shí)驗(yàn)結(jié)果表明，將GMS特征點(diǎn)檢測(cè)算法與局部模型結(jié)合，其對(duì)齊結(jié)果有了顯著提高。

在圖9中，最上面兩行分別顯示了采用一般匹配方法與采用GMS方法匹配后的對(duì)應(yīng)點(diǎn)，顯然GMS方法匹配數(shù)量要大大多于一般的方法。同時(shí)可以明顯看出，特征點(diǎn)數(shù)量的多少對(duì)圖像對(duì)齊的影響。比如，一般匹配方法對(duì)齊后其窗戶和建筑已經(jīng)嚴(yán)重變形，而GMS方法則取得了較好的對(duì)齊效果。

3.4 視頻修復(fù)效果對(duì)比

文獻(xiàn)[6]是一種經(jīng)典的視頻修復(fù)算法，并且得到了廣泛的應(yīng)用。該算法主要用于修復(fù)靜態(tài)視頻，對(duì)視差較小的動(dòng)態(tài)視頻，先采用全局仿射模型進(jìn)行對(duì)齊然后再采用靜態(tài)修復(fù)方法進(jìn)行修復(fù)，取得了不錯(cuò)的效果，并且由于采用了改進(jìn)后的三維patchMatch查找填充塊方法，因此還具有較高的運(yùn)算效率。在本節(jié)實(shí)驗(yàn)中，視頻對(duì)齊采用基于GMS的局部模型方法，而視頻修復(fù)采用了文獻(xiàn)[9]中的方法。

圖10中第一行是拍攝的圖書(shū)館建筑的視頻樣例幀，其中黑色區(qū)域是人工污染區(qū)域，我們?cè)噲D修復(fù)這塊區(qū)域。該視頻是高度結(jié)構(gòu)化場(chǎng)景，且具有較大的視差，視頻修復(fù)具有較大的難度，如果對(duì)齊精度不高，很難保證良好的修復(fù)效果。圖10中第二行左右兩圖分別是采用全局模型對(duì)齊和本文局部模型對(duì)齊后的修復(fù)結(jié)果。從修復(fù)后的放大圖(第三行)可清晰看出，原圖中門洞部分采用全局模型對(duì)齊后的修復(fù)結(jié)果明顯出現(xiàn)了錯(cuò)誤的填充，而本文方法得到的結(jié)果有了明顯的改善。同樣，PSNR和SSIM指標(biāo)也給出了一致的結(jié)論。

(a) 文獻(xiàn)[9]修復(fù)結(jié)果 (b)本文修復(fù)結(jié)果圖10 文獻(xiàn)[9]與本文方法修復(fù)結(jié)果對(duì)比

圖11是另一段實(shí)驗(yàn)視頻。運(yùn)動(dòng)視頻中有一運(yùn)動(dòng)的老人和年輕男孩。該視頻數(shù)據(jù)共302幀，圖中黑色區(qū)域表示待修復(fù)的部分，本次實(shí)驗(yàn)?zāi)康氖歉淖円曨l故事，即去除原來(lái)在視頻中一直出現(xiàn)的年輕男孩，并且在去除男孩后，修復(fù)男孩原來(lái)所在的區(qū)域，得到在視覺(jué)上滿意的結(jié)果。

(a) 全局模型修復(fù) (b) 局部模型修復(fù)圖11 全局模型與局部模型對(duì)齊效果對(duì)比

可以看出，采用文獻(xiàn)[6]中全局模型對(duì)齊后的視頻幀由于對(duì)齊不準(zhǔn)，修復(fù)后的圖像中紫色器材上出現(xiàn)明顯錯(cuò)位和變形，而本文提出的基于局部模型的修復(fù)方法效果在視覺(jué)上取得了更加令人滿意的結(jié)果。

圖12 文獻(xiàn)[9]與本文方法PSNR指標(biāo)對(duì)比

圖13 文獻(xiàn)[9]與本文方法SSIM指標(biāo)對(duì)比

由圖14和圖15可以看出，PSNR指標(biāo)和SSIM指標(biāo)的均值(圖中水平虛線標(biāo)注的部分)本文的修復(fù)方法也都高于文獻(xiàn)[6]的算法。

圖14 全局模型與局部模型PSNR對(duì)比

圖15 全局模型與局部模型SSIM對(duì)比

為了對(duì)算法進(jìn)行進(jìn)一步的客觀評(píng)價(jià)，本文還使用BSD數(shù)據(jù)集和Urban數(shù)據(jù)集對(duì)算法進(jìn)行測(cè)試。其中：BSD數(shù)據(jù)集包含200對(duì)自然場(chǎng)景的圖片，如圖16所示;Urban數(shù)據(jù)集包含100對(duì)城市場(chǎng)景圖片，如圖17所示。測(cè)試結(jié)果如表1所示?？梢钥闯?，與Alasdair算法相比，本文算法在Urban數(shù)據(jù)集和BSD數(shù)據(jù)集上的結(jié)果的SSIM指標(biāo)和PSNR指標(biāo)均有所提高。

(a) Alasdair (b) 本文算法圖16 Urban數(shù)據(jù)集上算法修復(fù)效果

(a) Alasdair (b) 本文算法圖17 BSD數(shù)據(jù)集上算法修復(fù)效果

表1 在公開(kāi)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果

由圖16、圖17可以看出，本文的視頻修復(fù)算法在BSD數(shù)據(jù)集和Urban數(shù)據(jù)集上都取得了更好的結(jié)果，由表1可以得出，本文算法比Alasdair算法在數(shù)據(jù)集上的表現(xiàn)更好，SSIM評(píng)價(jià)指標(biāo)和PSNR指標(biāo)都顯示更高。但從時(shí)間上來(lái)說(shuō)，本文算法的時(shí)間復(fù)雜度更高，花費(fèi)時(shí)間更多。

4 結(jié) 語(yǔ)

本文針對(duì)視差大、視頻背景復(fù)雜的動(dòng)態(tài)視頻修復(fù)問(wèn)題，提出一種基于局部模型對(duì)齊的視頻修復(fù)算法。由于局部模型能更好地描述攝像機(jī)的一般運(yùn)動(dòng)，因此，相比全局模型取得了更好的對(duì)齊效果；另外，本文采用GMS特征匹配方法，有效地增加了特征點(diǎn)匹配的數(shù)量，從而進(jìn)一步提高了局部模型的估計(jì)精度。實(shí)驗(yàn)結(jié)果表明，通過(guò)提高視頻對(duì)齊精度，擴(kuò)展了傳統(tǒng)靜態(tài)視頻修復(fù)方法的適用范圍，有效地提升了動(dòng)態(tài)視頻修復(fù)性能。下一步我們將繼續(xù)在對(duì)應(yīng)點(diǎn)擴(kuò)散、對(duì)應(yīng)點(diǎn)的分布調(diào)整方面進(jìn)一步研究，以進(jìn)一步提升基于局部模型的對(duì)齊和動(dòng)態(tài)視頻修復(fù)性能。