基于分組魯棒主成分分析的老電影修復(fù)

于冰,丁友東,董蓀,黃曦

(1.上海大學(xué)上海電影學(xué)院,上海 200072; 2.上海大學(xué)上海電影特效工程技術(shù)研究中心,上海 200072)

?數(shù)字影視技術(shù)?

基于分組魯棒主成分分析的老電影修復(fù)

于冰1,2,丁友東1,2,董蓀1,2,黃曦1,2

(1.上海大學(xué)上海電影學(xué)院,上海 200072; 2.上海大學(xué)上海電影特效工程技術(shù)研究中心,上海 200072)

以老電影視頻為研究對(duì)象,針對(duì)序列中存在的多種損傷類別,提出一種基于分組魯棒主成分分析(robust principal component analysis,RPCA)的統(tǒng)一修復(fù)方法.采用鏡頭分割和去閃爍實(shí)現(xiàn)對(duì)視頻序列的預(yù)處理.在多分辨率金字塔框架下,采用時(shí)空域分組的方式在最粗糙層構(gòu)造觀測(cè)矩陣,依次執(zhí)行基于交替線性法的RPCA變換后,根據(jù)幀間誤差信息得到大面積破損位置;利用上采樣方式構(gòu)造初步修復(fù)結(jié)果序列、破損掩模序列以及最近鄰偏移矩陣集合,繼而對(duì)原始序列進(jìn)行修改,重復(fù)時(shí)空域分組RPCA變換,實(shí)現(xiàn)對(duì)老電影視頻序列的修復(fù).實(shí)驗(yàn)結(jié)果證明,該方法能夠同時(shí)修復(fù)畫面中的不同損傷,并取得良好的效果.

老電影;視頻修復(fù);魯棒主成分分析

電影膠片自誕生之日起已百年有余,經(jīng)過(guò)長(zhǎng)時(shí)間的存放,現(xiàn)存影片大多會(huì)出現(xiàn)不同程度的多種損傷,主要有顏色退化、畫面閃爍、撕裂變形、劃痕、斑塊、臟點(diǎn)、顆粒噪聲等視覺(jué)問(wèn)題,亟需修復(fù)保護(hù).數(shù)字視頻去噪、修復(fù)、顏色校正等增強(qiáng)方法由于能夠移除多余內(nèi)容、恢復(fù)丟失信息、改善畫面質(zhì)量而被廣泛用于老電影數(shù)字化修復(fù)[1].

經(jīng)過(guò)數(shù)十年的研究,老電影的數(shù)字化修復(fù)技術(shù)取得了長(zhǎng)足發(fā)展.Sadhar等[2]針對(duì)影片中的顆粒噪聲,提出一種基于粒子濾波的退化圖像恢復(fù)方法,利用時(shí)空上下文信息完成損傷序列的去噪.劃痕的修復(fù)關(guān)鍵在于確定其在每幀畫面中的位置,Gullu等[3]首先通過(guò)建立豎直方向的一維亮度特征模型確定劃痕候選集合,然后利用制定的分塊匹配策略剔除誤檢,最后結(jié)合優(yōu)先權(quán)和亮度變換規(guī)則完成缺損修復(fù).針對(duì)斑塊的檢測(cè)和修復(fù),Ren等[4]結(jié)合時(shí)空域信息和區(qū)域增長(zhǎng)實(shí)現(xiàn)位置標(biāo)記,Ahmed等[5]將損傷序列看作是原始部分和污損部分的連續(xù)混合,并采用一種貝葉斯框架完成對(duì)畫面中斑塊的修復(fù).隨后,Elgharib等[6]運(yùn)用半透明退化模型擴(kuò)展了該框架,以同時(shí)去除豎直劃痕和斑點(diǎn)兩類破損.在老電影中,各種損傷的大小、位置、退化程度各異,而上述的修復(fù)方案往往只針對(duì)一種或兩種損傷,對(duì)于每幀畫面均需重復(fù)應(yīng)用多種修復(fù)方案,這在很大程度上降低了工程實(shí)踐效率.

近年來(lái),魯棒主成分分析(robust principal component analysis,RPCA)理論備受關(guān)注,已成功應(yīng)用于視頻背景建模[7]、人臉圖像對(duì)齊[8]、光度立體重建[9]等計(jì)算機(jī)圖形學(xué)和圖像處理領(lǐng)域.RPCA衍生于壓縮感知中的恢復(fù)技術(shù),故又被稱為低秩矩陣恢復(fù)(low-rank matrix recovery).該方法在滿足誤差稀疏性的假設(shè)下,旨在把一個(gè)矩陣分解為低秩矩陣部分和誤差矩陣部分.

視頻序列在時(shí)空域均存在較強(qiáng)的相關(guān)性和冗余性,這就為幀間聯(lián)合修復(fù)提供了有利條件.基于塊的非局部視頻去噪[10]取得了卓有成效的成果,通過(guò)圖像分塊聚合分組的方式,在充分挖掘視頻幀間和幀內(nèi)相似性和冗余性的基礎(chǔ)上,利用稀疏三維變換域協(xié)同濾波實(shí)現(xiàn)去噪.在相似框架下,Ji等[11]提出了一種聯(lián)合稀疏和低秩矩陣近似的方法,通過(guò)分組求解核范數(shù)最小化問(wèn)題,完成視頻去噪和修復(fù).該方法可以看作是文獻(xiàn)[10]和文獻(xiàn)[7]思想的綜合,將視頻中的每幀畫面分塊并按相似規(guī)則聚合后,每組的圖像塊修復(fù)問(wèn)題實(shí)質(zhì)上和文獻(xiàn)[7]中的背景和前景分離問(wèn)題是一致的,污損圖像塊的有效信息和損傷信息分別對(duì)應(yīng)于視頻中的靜態(tài)背景和動(dòng)態(tài)前景.在大多數(shù)情況下,如果把每一個(gè)圖像塊按列拉伸后組合成一個(gè)觀測(cè)矩陣,則該矩陣可通過(guò)RPCA變換分解為低秩矩陣和稀疏矩陣[12],從而可實(shí)現(xiàn)損傷元素的位置檢測(cè)和誤差恢復(fù)同步進(jìn)行.該方法在無(wú)需噪聲和損傷類型假設(shè)的前提下,實(shí)現(xiàn)了老電影序列的有效修復(fù),但仍存在如下問(wèn)題：首先,由于該方法的塊分組策略只是簡(jiǎn)單地將視頻中各幀的相似塊組合在一起,對(duì)于鏡頭中場(chǎng)景內(nèi)容變換較大的序列,往往造成結(jié)果模糊;其次,對(duì)于斑塊、臟點(diǎn)等損傷,該方法能修復(fù)的損傷面積往往取決于劃分圖像塊的大小,無(wú)法保證全面的修復(fù)效果;再次,該方法中RPCA的求解方法采用了較為耗時(shí)的加速逼近梯度(accelerated proximal gradient,APG)算法[11],影響了算法的應(yīng)用推廣.

針對(duì)老電影破損特征以及上述修復(fù)方案的不足,本工作提出了一種基于分組魯棒主成分分析的修復(fù)算法.本算法在基于塊的多幀聯(lián)合修復(fù)框架中加入大面積破損檢測(cè)步驟,利用RPCA變換分解出的誤差矩陣結(jié)合時(shí)空域信息定位破損區(qū)域位置;在修復(fù)過(guò)程中,引入交替線性法(alternating linearization method,ALM)對(duì)RPCA模型進(jìn)行求解,實(shí)現(xiàn)低秩矩陣和誤差矩陣的分離.相比傳統(tǒng)的APG算法,本算法在時(shí)間效率和計(jì)算準(zhǔn)確度方面均有提高.

1 算法框架

本工作設(shè)計(jì)的老電影修復(fù)算法主要分為3個(gè)處理階段,總體框架如圖1所示.首先,需要將整部電影按鏡頭劃分為若干序列,為了避免分組誤差,又需對(duì)鏡頭內(nèi)的序列去閃爍.然后,在不同分辨率下進(jìn)行檢測(cè)和修復(fù)步驟.檢測(cè)步驟用到的是金字塔的最粗糙層,通過(guò)分組RPCA變換的方式,輸出低分辨率的修復(fù)序列和損傷序列,并結(jié)合時(shí)空域信息,篩選得到損傷掩模序列;修復(fù)步驟用到的是金字塔的最高層,而處理的對(duì)象是經(jīng)過(guò)檢測(cè)步驟輸出結(jié)果修改后的視頻序列,重復(fù)分組RPCA變換.最終通過(guò)分塊聚合方式輸出修復(fù)后的老電影序列.

圖1 總體框架圖Fig.1 Overall framework

2 算法描述

2.1 預(yù)處理

老電影視頻包含多個(gè)場(chǎng)景,每個(gè)場(chǎng)景又包含多個(gè)鏡頭,而一個(gè)鏡頭表示內(nèi)容上連續(xù)的視頻片段,鏡頭內(nèi)各幀存在顯著的時(shí)間相關(guān)性.鑒于此,為了防止出現(xiàn)內(nèi)容劇烈變化,本工作采用文獻(xiàn)[13]中的方法將序列分割為多個(gè)鏡頭.因本工作采用基于塊的分組方法,而塊匹配對(duì)于圖像的亮度變化反應(yīng)敏感,故需在修復(fù)前對(duì)視頻中存在的閃爍進(jìn)行校正和消除.具體采用文獻(xiàn)[14]中的顏色傳遞算法,通過(guò)選擇參考幀并對(duì)其他幀分別作相對(duì)于參考幀的顏色傳遞,實(shí)現(xiàn)鏡頭內(nèi)序列的閃爍消除.

2.2 塊分組

對(duì)于有T幀的視頻序列F={It}將其按空域分為若干有重疊的圖像塊,大小為N×N,用Pt(q)表示任意幀It中以像素q=(x,y)為左上角元素的矩形圖像塊.選定It中的任意塊Pt(qR)為參考?jí)K.在這里,下標(biāo)R∈X表示圖像空間域中的一個(gè)坐標(biāo),集合X?Z2.那么,兩個(gè)塊之間的距離可以表示為

式中,距離D(·,·)是兩圖像塊中像素平方差之和(sum of squared differences,SSD),u∈[0,N]×[0,N]是圖像塊大小范圍內(nèi)像素橫縱坐標(biāo)偏移,Υ表示自適應(yīng)中值濾波操作[11],用來(lái)減少塊匹配誤差.如果D(Pt(qR),Pi(qj))是Ii所有塊中相對(duì)于Pt(qR)距離最小的,則稱Pi(qj)為Pt(qR)在幀Ii中的最近鄰塊,記為NN(Pt(qR),Pi(qj)).依此類推,目標(biāo)是找到參考?jí)K在其他幀{I1,I2,…,It?1,It+1,…,IT}中的最近鄰塊,如果其他幀中的某個(gè)圖像塊滿足條件

則將該圖像塊和Pt(qR)放在一起構(gòu)成集合.式(2)中,下標(biāo)i=1,2,…,t?1,t+1,…,T,閾值τ表示Pt(qR)與其他幀所有最近鄰塊距離從小到大排序后τ%位置的值.設(shè)置閾值τ是為了防止出現(xiàn)由于塊之間相似度不高而造成結(jié)果中出現(xiàn)實(shí)際內(nèi)容誤消除.隨后,對(duì)集合內(nèi)的每個(gè)圖像塊向量化,并按順序排列構(gòu)成矩陣M,大小為m×n,這里,m為圖像塊中的元素?cái)?shù)目,n為集合NtR中的元素?cái)?shù)目.

如果用φ(Pt(qR),Pi(qj))=Pi(qj)?Pt(qR)表示參考?jí)K相對(duì)于其最近鄰塊的偏移量,可以看出搜索NN(·,·)等同于搜索φ(·,·),而所有偏移量的集合就構(gòu)成了幀It相對(duì)于幀Ii的最近鄰域(nearest neighbor field,NNF).為了提高計(jì)算速度,采用PatchMatch方法[15]求取近似最近鄰域偏移.本算法是基于多幀聯(lián)合的分組修復(fù)方法,故需計(jì)算參考幀相對(duì)于所有其他幀的最近鄰域偏移集合,然后將該集合存放在一個(gè)三維矩陣中,用φt∈Rm×n×(T?1)表示,稱作最近鄰偏移矩陣.

2.3 魯棒主成分分析

本工作采用RPCA變換從圖像塊中分離出稀疏誤差,從而實(shí)現(xiàn)逐塊修復(fù)的目的.模型假定原始矩陣結(jié)構(gòu)良好(低秩),而且只有小部分元素被破壞,即誤差是稀疏的.可以用以下優(yōu)化模型來(lái)描述RPCA變換問(wèn)題：

式中,M∈Rm×n是觀測(cè)矩陣,A∈Rm×n是低秩矩陣,對(duì)應(yīng)于視頻塊修復(fù)后的內(nèi)容,E∈Rm×n是稀疏部分,對(duì)應(yīng)于數(shù)據(jù)中的噪聲、誤差等.對(duì)核范數(shù)f(A)=∥A∥?和?1范數(shù)g(E)= ρ∥E∥1利用Nesterov平滑技術(shù)[16]進(jìn)行處理得到兩個(gè)平滑函數(shù),分別用fσ(A)和gσ(E)表示,σ> 0表示平滑參數(shù).而fσ(A)和gσ(E)的最優(yōu)解Wσ(A)和Zσ(E)[17]為

式中,U Diag(γ)VT是A/σ的奇異值分解.這樣就把式(3)轉(zhuǎn)化為以下平滑問(wèn)題：

本工作采用交替線性法[17]對(duì)上述約束問(wèn)題進(jìn)行求解,由于同時(shí)極小化A和E較為困難,因此采用交替迭代的策略.首先,初始化懲罰參數(shù)μ,在第k+1次迭代時(shí),Ak+1和Ek+1分別可以表示為

2.4 大面積損傷檢測(cè)

通過(guò)對(duì)老電影的損傷特征進(jìn)行分析,可以發(fā)現(xiàn)畫面損傷呈現(xiàn)出大小不定性,有些幀中會(huì)出現(xiàn)大面積的損傷,如果只使用文獻(xiàn)[11]的修復(fù)框架,往往會(huì)因?yàn)槿舾砂谄茡p區(qū)域內(nèi)部的圖像塊無(wú)法正確找到匹配塊而造成錯(cuò)誤修復(fù)結(jié)果.因此,本工作在修復(fù)前加入了大面積損傷檢測(cè)步驟.對(duì)視頻序列F={It}下采樣構(gòu)造一組金字塔,第1層為原始圖像層,第L層為最粗糙層.第L層的序列用FL={表示,檢測(cè)步驟對(duì)該層視頻進(jìn)行操作.首先,選定ItL為參考幀,采用按塊分組的方式構(gòu)造觀測(cè)矩陣,對(duì)每一組觀測(cè)矩陣依次執(zhí)行RPCA變換,實(shí)現(xiàn)低秩矩陣和誤差矩陣的分離;然后,對(duì)每組中的低秩矩陣和誤差矩陣分別反變換為修復(fù)塊組和誤差塊組,并按記錄的坐標(biāo)放置到原始位置.由于本工作是按可重疊圖像塊劃分的,因此采用相加取平均的聚合方式得到每個(gè)坐標(biāo)位置的像素值.最終得到兩個(gè)視頻序列,分別是修復(fù)序列其中誤差序列包含了影片中的破損部分和由于目標(biāo)運(yùn)動(dòng)、誤匹配等原因造成的冗余誤差.

分析大面積破損區(qū)域的特點(diǎn)可以發(fā)現(xiàn),如果某幀有損傷,則其前后同一位置往往并不存在破損.據(jù)此,先通過(guò)選定的閾值對(duì)參考幀及其前后幀進(jìn)行二值化,得到的二值圖像分別表示為然后計(jì)算參考幀的初始破損掩模,式中,(x,y)表示參考幀中坐標(biāo)(x,y)處的初始掩模圖像值.在此之后,通過(guò)形態(tài)學(xué)膨脹和腐蝕運(yùn)算,連接臨近封閉區(qū)域、平滑邊界、去除細(xì)小區(qū)域,得到參考幀最終破損掩模圖像,記為.對(duì)視頻序列中的每幀圖像重復(fù)執(zhí)行此過(guò)程,得到集合并在執(zhí)行的同時(shí)記錄各幀最近鄰偏移矩陣,從而形成集合

在完成最粗糙層的分組RPCA變換后,采用最近鄰插值的上采樣方法得到金字塔最高分辨率層的修復(fù)序列最近鄰域偏移矩陣集合至此完成了檢測(cè)步驟的執(zhí)行.

2.5 視頻序列修復(fù)

本算法的修復(fù)階段同樣是應(yīng)用檢測(cè)步驟的分組修復(fù)方式,對(duì)輸入的視頻序列選定It為參考幀,計(jì)算其最近鄰偏移矩陣?t,這樣就可以結(jié)合由檢測(cè)步驟得出的破損掩模,實(shí)現(xiàn)對(duì)參考幀的修改.具體方式如下：

式中,It,m表示被修改后的參考幀.然后,還需對(duì)最近鄰域偏移矩陣進(jìn)行修改,

式中,?t,m表示被修改后的最近鄰偏移矩陣.在修復(fù)步驟中執(zhí)行如上修改操作,主要是針對(duì)畫面中存在的大面積破損的視頻序列進(jìn)行修復(fù).這樣,一旦某幀中出現(xiàn)大的損傷區(qū)域,在塊分組構(gòu)造觀測(cè)矩陣后,通過(guò)以上方式修改后的幀在執(zhí)行RPCA變換時(shí),由于保證了每列均被采用,就會(huì)避免矩陣無(wú)法有效低秩分解的情況出現(xiàn).圖2是利用破損掩模修改參考幀的示例,可以看出通過(guò)修改操作,破損區(qū)域中被填充了部分采樣信息.

圖2 參考幀修改過(guò)程Fig.2 Reference frame modification process

利用本工作提出的基于關(guān)鍵幀的分組修復(fù)方法,通過(guò)遍歷參考幀空間域所有重疊圖像塊,完成一幀的修復(fù),這樣依次進(jìn)行,直到完成對(duì)所有時(shí)間域各幀的遍歷.在完成第一個(gè)參考幀的修復(fù)后,其他幀只有少部分塊未被匹配,未實(shí)現(xiàn)分解.本工作把每一幀均作為關(guān)鍵幀,但除第一個(gè)關(guān)鍵幀外,對(duì)以后關(guān)鍵幀中的圖像塊設(shè)置了是否已被修復(fù)的標(biāo)志;對(duì)已被修復(fù)的塊,在接下來(lái)的循環(huán)操作中,不作RPCA變換,這樣就在最大程度節(jié)省算法執(zhí)行時(shí)間的前提下實(shí)現(xiàn)了老電影序列多幀聯(lián)合修復(fù).

3 實(shí)驗(yàn)結(jié)果分析

為了驗(yàn)證所提出算法的可行性,針對(duì)老電影中常見損傷的修復(fù)問(wèn)題進(jìn)行仿真實(shí)驗(yàn),并分別與其他算法的修復(fù)效果進(jìn)行對(duì)比.采用Matlab 2012a作為編程工具,實(shí)驗(yàn)環(huán)境為Intel Xeon 2.9 GHz處理器以及16 GB內(nèi)存的計(jì)算機(jī).本工作對(duì)合成的降質(zhì)視頻序列和真實(shí)老電影序列分別進(jìn)行了實(shí)驗(yàn)驗(yàn)證,合成數(shù)據(jù)選用標(biāo)準(zhǔn)視頻序列“foreman”和“mother-daughter”,大小均為288×352像素,視頻幀數(shù)均為T=50,并添加混合噪聲和人為損傷;真實(shí)數(shù)據(jù)選用有代表性的黑白和彩色老電影《馬路天使》和《孫悟空三打白骨精》中的某個(gè)鏡頭,分辨率分別為720×576和704×512像素,鏡頭中視頻幀數(shù)分別為T=100和24.以上實(shí)驗(yàn)數(shù)據(jù)均來(lái)自互聯(lián)網(wǎng).

對(duì)合成數(shù)據(jù)進(jìn)行實(shí)驗(yàn),并采用峰值信噪比(peak signal to noise ratio,PSNR)作為修復(fù)效果的評(píng)價(jià)指標(biāo).本算法設(shè)置遍歷空間域圖像塊的采樣步長(zhǎng)為s_r=4,塊大小為p_s=32×32,閾值τ為90%.圖3顯示了采用不同算法對(duì)“foreman”序列中某一幀的修復(fù)結(jié)果,合成幀是由圖3(b)中的損傷掩模、σ=10的高斯噪聲、s=20的椒鹽噪聲混合而成.可以看出,文獻(xiàn)[10]的算法雖然能在一定程度上改善畫面質(zhì)量,但并不能實(shí)現(xiàn)損傷修復(fù),而本算法結(jié)果與文獻(xiàn)[11]的修復(fù)效果相當(dāng).圖4顯示了采用3種算法修復(fù)大面積損傷的結(jié)果,合成幀是由圖4(b)中的損傷掩模、σ=5的高斯噪聲、s=10的椒鹽噪聲混合而成.可見,文獻(xiàn)[11]的算法由于未考慮損傷的大小,而只使用固定大小的劃分圖像塊方式,不能有效實(shí)現(xiàn)破損區(qū)域的塊匹配,從而造成如圖4(e)所示的“塊效應(yīng)”修復(fù)結(jié)果,而本算法則能夠有效實(shí)現(xiàn)修復(fù).表1列出了在使用相同掩模和不同噪聲強(qiáng)度的情況下,不同算法在兩個(gè)視頻幀上的PSNR值,可見本算法優(yōu)于文獻(xiàn)[10]和[11]的算法.

圖3 “foreman”的修復(fù)實(shí)驗(yàn)結(jié)果Fig.3 Experimental results of“foreman”

圖4 “mother-daughter”的修復(fù)實(shí)驗(yàn)結(jié)果Fig.4 Experimental results of“mother-daughter”

表1 不同算法的PSNR值Table 1 PSNR values of different algorithms

對(duì)兩組真實(shí)影片鏡頭進(jìn)行實(shí)驗(yàn),采用不同的參數(shù)設(shè)定.對(duì)于黑白老電影視頻序列,采用本算法遍歷空間域圖像塊的采樣步長(zhǎng)設(shè)置為s r=16,塊大小為ps=32×32,閾值τ為50%, RPCA變換迭代次數(shù)為30.圖5顯示了兩種算法在序列同一幀上的修復(fù)結(jié)果,可以看出,原始幀中存在顆粒噪聲、斑點(diǎn)、劃痕等多種損傷,采用基于分組RPCA變換的方法能夠很好地完成畫面修復(fù).而同等參數(shù)設(shè)置下文獻(xiàn)[11]的算法雖然完成了損傷去除,但存在模糊和過(guò)修復(fù)現(xiàn)象,一方面是因?yàn)榛贏PG的RPCA變換在迭代次數(shù)較少的情況下會(huì)產(chǎn)生較大的分解誤差,另一方面是由于分組規(guī)則中未設(shè)置閾值而產(chǎn)生聚合模糊后果.對(duì)于彩色老電影視頻序列,采用本算法遍歷空間域圖像塊的采樣步長(zhǎng)設(shè)置為sr=4,塊大小為ps=32×32,閾值τ為100%, RPCA變換迭代次數(shù)為50.圖6顯示了兩種算法的修復(fù)結(jié)果,可以看出,雖然文獻(xiàn)[11]的算法能有效解決劃痕、臟點(diǎn)等問(wèn)題,但明顯的大面積斑塊依然存在;而本算法在借助檢測(cè)步驟生成的有效輔助數(shù)據(jù)基礎(chǔ)上,實(shí)現(xiàn)了畫面的有效修復(fù).

表2是文獻(xiàn)[11]的算法和本算法的執(zhí)行時(shí)間比較.可見,本算法基于交替線性法的RPCA變換擁有較快的收斂速度,故在迭代次數(shù)較少的情況下,即可實(shí)現(xiàn)較好的修復(fù)效果.另外,通過(guò)引入PatchMatch近似最近鄰分組方法,本算法還克服了文獻(xiàn)[11]中三步分級(jí)搜索(three step search,TSS)算法塊匹配耗時(shí)多的缺點(diǎn).所以,本算法在不同參數(shù)設(shè)定情況下的時(shí)間效率均較文獻(xiàn)[11]算法有明顯提高.

圖5 黑白老電影的修復(fù)實(shí)驗(yàn)結(jié)果Fig.5 Experimental results of the black-white vintage film

圖6 彩色老電影的修復(fù)實(shí)驗(yàn)結(jié)果Fig.6 Experimental results of the colour vintage with

表2 不同算法執(zhí)行時(shí)間比較Table 2 Comparison of execution time of different algorithms

4 結(jié)束語(yǔ)

本工作提出了一種基于分組魯棒主成分分析的老電影修復(fù)方法,將視頻修復(fù)問(wèn)題轉(zhuǎn)化為時(shí)空域的分塊RPCA變換問(wèn)題,通過(guò)基于迭代線性求解的方式,實(shí)現(xiàn)了修復(fù)序列和誤差序列的分離;同時(shí),考慮到畫面中的損傷分布大小不一的特點(diǎn),設(shè)計(jì)了一種先檢測(cè)后修復(fù)的框架,較好地完成了對(duì)不同損傷類型視頻的修復(fù).在未來(lái)的工作中,將重點(diǎn)研究更加快速的RPCA求解算法和魯棒性更強(qiáng)的破損區(qū)域檢測(cè)方法,從而實(shí)現(xiàn)對(duì)老電影的高效準(zhǔn)確修復(fù).

[1]Simone C,Tunc O A,Nikolce S,et al.Advanced tools and framework for historical film restoration[J].Journal of Electronic Imaging,2017,26(1)：11-21.

[2]Sadhar S I,Rajagopalan A N.Image estimation in film-grain noise[J].IEEE Signal Processing Letters,2005,12(3)：238-241.

[3]Gullu M K,Urhan O,Erturk S.Scratch detection via temporal coherency analysis and removal using edge priority based interpolation[C]//IEEE International Symposium on Circuits and Systems.2006：1-4.

[4]Ren J,Vlachos T.Efficient detection of temporally impulsive dirt impairments in archived films[J].Signal Processing,2007,87(3)：541-551.

[5]Ahmed M A,Pitie F,Kokaram A C.Extraction of non-binary blotch mattes[C]//IEEE International Conference on Image Processing.2009：2757-2760.

[6]Elgharib M A,Pitie F,Kokaram A.Blotch and scratch removal in archived film using a semi-transparent corruption model and a ground-truth generation technique[J].Current Opinion in Hematology,2013,2013(11)：1-20.

[7]Bouwmans T,Zahzah E H.Robust PCA via principal component pursuit：a review for a comparative evaluation in video surveillance[J].Computer Vision&Image Understanding, 2014,122(4)：22-34.

[8]Wu K K,Wang L,Soong F K,et al.A sparse and low-rank approach to efficient face alignment for photo-real talking head synthesis[C]//IEEE International Conference on Acoustics.2011： 1397-1400.

[9]Wu L,Ganesh A,Shi B,et al.Robust photometric stereo via low-rank matrix completion and recovery[C]//Computer Vision—ACCV 2010.2010：703-717.

[10]Dabov K,Foi A,Egiazarian K.Video denoising by sparse 3D transform-domain collaborative filtering[C]//Signal Processing Conference.2007：145-149.

[11]Ji H,Huang S,Shen Z,et al.Robust video restoration by joint sparse and low rank matrix approximation[J].SIAM Journal on Imaging Sciences,2011,4(4)：1122-1142.

[12]Wright J,Ganesh A,Rao S,et al.Robust principal component analysis：exact recovery of corrupted low-rank matrices via convex optimization[C]//23rd Annual Conference on Neural Information Processing Systems.2009：20-56.

[13]Adjeroh D A,Lee M C.Scene-adaptive transform domain video partitioning[J].IEEE Transactions on Multimedia,2004,6(1)：58-69.

[14]Hacohen Y,Shechtman E,Dan B G,et al.Non-rigid dense correspondence with applications for image enhancement[J].ACM Transactions on Graphics,2011,30(4)：70-79.

[15]Barnes C,Shechtman E,Finkelstein A,et al.PatchMatch：a randomized correspondence algorithm for structural image editing[J].ACM Transactions on Graphics,2009,28(3)：24-33.

[16]Nesterov Y.Smooth minimization of non-smooth functions[J].Mathematical Programming, 2005,103(1)：127-152.

[17]Goldfarb D,Ma S,Scheinberg K.Fast alternating linearization methods for minimizing the sum of two convex functions[J].Mathematical Programming,2013,141(1)：349-382.本文彩色版可登陸本刊網(wǎng)站查詢：http：//www.journal.shu.edu.cn

Group-based vintage film inpainting using robust principal component analysis

YU Bing1,2,DING Youdong1,2,DONG Sun1,2,HUANG Xi1,2
(1.Shanghai Film Academy,Shanghai University,Shanghai 200072,China; 2.Shanghai Engineering Research Center of Motion Picture Special Effects,Shanghai University, Shanghai 200072,China)

In this paper,a new group-based method using robust principal component analysis(RPCA)is proposed to deal with multiple categories of damage in vintage film sequences.Pre-processing of the video sequence is achieved by shot segmentation and flicker elimination.In a framework of multi-resolution pyramid,an observation matrix is constructed on the coarsest level by space-time domain grouping.After performing RPCA transform based on the alternating linear method in sequence,locations of large area damage are obtained based on inter-frame error information.An initial inpainting result sequence,a break mask sequence,and a nearest neighbor offset matrix set using an upsampling method are constructed.The original sequence is then modified.By repeating the space-time grouping RPCA transform,inpainting of the vintage film sequence is realized.Experimental results show that the method can simultaneously repair differentdamages in the screen with good performance.

vintage film;video inpainting;robust principal component analysis(RPCA)

TP 391.41

A

1007-2861(2017)03-0315-09

10.12066/j.issn.1007-2861.1923

2017-03-17

國(guó)家自然科學(xué)基金資助項(xiàng)目(61402278);上海市自然科學(xué)基金資助項(xiàng)目(14ZR1415800);上海大學(xué)電影學(xué)高峰學(xué)科和上海電影特效工程技術(shù)研究中心資助項(xiàng)目(16dz2251300);上海市科委科技攻關(guān)資助項(xiàng)目(16511101302)

丁友東(1967—),男,教授,博士生導(dǎo)師,博士,研究方向?yàn)橛?jì)算機(jī)圖形學(xué)、數(shù)字影視動(dòng)技術(shù). E-mail：ydding@shu.edu.cn