基于非局部相似性的立體圖像超分辨率技術(shù)

(杭州電子科技大學(xué)通信工程學(xué)院，浙江 杭州310018)

0 引 言

隨著多視點視頻的獲取與播放技術(shù)的日益成熟，3D 視頻成為了影音娛樂中最有前途的應(yīng)用之一。自動立體顯示器與自由視點視頻提供著全新的視覺體驗，而且又從自身派生出一系列的應(yīng)用，比如移動自動立體顯示器、虛擬電話會議等[1]。為解決3D系統(tǒng)的數(shù)據(jù)量更大及處理更復(fù)雜的問題，混合分辨率(Mixed Resolution，MR)技術(shù)[2]被應(yīng)用到立體或多視點的壓縮中。為了有更好的視覺體驗，須對低分辨率視點圖做超分辨率(Super-resolution，SR)處理。

文獻[3]利用基于圖像的描述技術(shù)，在譯碼端用多幅低分辨率圖像序列合成所需視點的高分辨率圖，卻沒有對低分辨率視角的高頻分量進行估計，使得生成的高分辨率圖質(zhì)量不高。文獻[4]采用基于深度圖的圖像繪制技術(shù)(Depth-image-based Rendering，DIBR)，在低分辨率視點上，使用鄰近的高分辨率視角來合成一幅虛擬視點圖，但忽視了原低分辨率視圖，而且效果也隨著與相鄰視角的距離增加而成比例降低。文獻[5]為降低與相鄰視角距離的影響，提出了一致性檢測及虛擬視點圖的高頻分量與原圖低頻分量的融合技術(shù)。但提取的虛擬視點圖的高頻分量與真實的高頻分量存在誤差。

本文提出一種新穎的基于非局部(NonLocal，NL)相似性的立體圖像SR算法。算法把相鄰的高分辨率視點圖作為參考圖，以虛擬視點圖為初始估計，將NL 作為正則項添加到圖像退化模型中，用梯度下降法求最優(yōu)解。實驗結(jié)果表明，本文算法較現(xiàn)有的算法具有更高的重建質(zhì)量。

1 基于NL的立體圖像超分辨率

1.1 立體圖像的退化模型

在MR技術(shù)中，立體或多視點圖像的一個視點圖X 會被下采樣為一個低分辨率圖Y，其過程包含了低通濾波和采樣。這個過程可以被視為圖X的退化過程，具體的數(shù)學(xué)模型如下[6]:

式中，x、y 分別表示X和Y的向量形式，D和H 分別表示采樣矩陣和模糊矩陣，v表示加性噪聲。SR 就是在已知D、H、Y的前提下，對X 進行重建。

然而SR是典型的病態(tài)問題，在一般情況下，式(1)在l2范數(shù)約束下的解不唯一。為了獲得一個更好的解，可以把自然圖像的先驗知識作為正則項來求解SR 問題。考慮到在一幅圖像中有許多重復(fù)的圖像結(jié)構(gòu)，本文采用NL的自相似性約束作為正則項。

1.2 立體圖像的非局部相似性

NL 認為每個圖像塊與圖像自身的一些圖像塊有相似性，能很好地保存邊緣銳度和抑制噪聲[7]。立體圖像是空間中的物體在各個視點上的像。因此可以認為NL 自相似性不僅存在于自身視點圖像內(nèi)，也存在于參考圖像內(nèi)。

首先，將退化圖像Y 上采樣為高分辨率圖像X。對于任一圖像塊xi∈X，依據(jù)其深度圖在相鄰視點圖Xref上找到其對應(yīng)塊xref，i(可能被遮擋)。對于公共視野區(qū)的像素，搜索范圍為xref，i周圍的一個S×S的范圍;對于非公共視野區(qū)的像素，搜索范圍為xi周圍的一個S×S的范圍。依據(jù)搜索范圍中每個圖像塊與xi的歐氏距離，即選出eli值最小的N個圖像塊，記為xli，l =1，2，…，N。記xi為xi的中心像素，xli為xli的中心像素，那么xi的預(yù)測值為:

式中，bi為包含了所有權(quán)重bli的列向量，βi為包含了所有xli的列向量，η為NL 正則項的約束因子。在立體圖像中，式(3)可以寫為:

式中，Ⅰ為單位矩陣，B，Bref矩陣滿足是βi的元素，且是X中的點是βi的元素，且是Xref中的點。

采用梯度下降法來解式(4)的最優(yōu)解。對于第 (k+1)次迭代，所求的X(k+1)為:

式中，xref為Xref的列向量形式，x(k)為第k 迭代結(jié)果X(k)的列向量形式，λ為正的步進因子。收斂條件為其中M表示X()k 中像素個數(shù)。

1.3 立體視點幾何

在式(5)迭代前，需有一個初始圖。初始圖的清晰程度直接影響了結(jié)果圖。利用透視幾何的深度信息和相鄰視點圖Xref構(gòu)造X視點上的虛擬視點圖[5]，記為X0，以此作為式(5)的初始圖。

首先，需要獲得各個視點圖之間的關(guān)系。記虛擬視點圖X0的深度圖為D，攝像機內(nèi)部參數(shù)為A(3×3)，旋轉(zhuǎn)矩陣為R(3×3)，平移矢量為t(3×1)。參考圖Xref的深度圖為Dref，攝像機內(nèi)部參數(shù)為Aref(3×3)，旋轉(zhuǎn)矩陣為Rref(3×3)，平移矢量為tref(3×1)。為了尋找對應(yīng)點，先將X0上的點(u，v) 投影到世界坐標系的點(x，y，z):

然后，將3D點重投影到Xref上，生成 (u，v) 在Xref上的對應(yīng)點 (u'，v'):

上述的映射過程無法保證合成視點圖X0中每一個像素都有參考圖Xref中的像素點與之相對應(yīng)。為改善合成錯誤帶來的重建誤差，采用文獻[5]中的一致性檢測法篩選出投影正確的像素。文獻[5]認為，通過透視幾何得到的X0中的高頻信息與該視點原圖相似。為使X0保留X中的關(guān)鍵低頻信息，可做如下處理:首先，對X0進行下采樣與上采樣，得到它的低頻信息X0L;其次，將X0與X0L相減獲得X0的高頻信息X0H=X0-XLo;最后，將高頻信息X0H與X 相加，得到初始值X0，即:X0=X+X0H。

2 仿真實驗

為了驗證本文算法的準確性，仿真實驗測試了多視點圖像及圖像序列，包括了合成圖像和真實圖像，這些圖像一律采用含深度的多視點視頻(Multi-view Video plus Depth，MVD)格式，即每個視點圖都有一幅與之對應(yīng)的深度圖。這樣各個視點的深度信息可預(yù)先獲得。

本文比較了Lanczos 插值、文獻[5]以及本文方法，表1列出了各方法的PSNR，表中M表示縮放的倍數(shù)。其中，合成圖像Sawtooth、Cones、Venus[8]等均以右視圖為LR 視圖，以左視圖為參考圖;真實圖像采用多視點視頻Ballet、Breakdancers的第0幀[9]，且均以第1視點為LR視點，以第2視點為參考視點。由表1可知，相比于文獻[5]方法，本文方法在最好的情況下(Cones，M =2)有0.96 dB的提升，最差的情況下(Barn1，M =2)下也有0.28 dB的提升。圖1和圖2分別比較了各種算法對Cones 及Venus 圖的效果。其中，第一行為重建結(jié)果圖，第二行為結(jié)果圖中方框處的細節(jié)放大。可知，本文的算法提升了圖像在邊緣處的銳度，如圖1中的椎體與面具間的區(qū)域及圖2的報紙邊緣上，能看到明顯的質(zhì)量提升。

表1 右視圖SR 重建結(jié)果的PSNR 比較 dB

圖1 Cones 圖重建結(jié)果及其細節(jié)放大圖

圖2 Venus 圖重建結(jié)果及其細節(jié)放大圖

在算法計算效率方面，由于本文采用梯度下降法迭代來求最優(yōu)解，所以在計算復(fù)雜度與時間上都有所增加。實驗所用電腦性能如下:CPU為3.30 GHz 雙核，內(nèi)存為8.00 GB。每對立體圖的具體處理時間如圖3所示，可見本文較文獻[5]算法耗時更長，今后可以考慮添加加速措施，比如分塊處理、多線程并行加速、統(tǒng)一計算設(shè)備架構(gòu)(Compute Unified Device Architecture，CUDA)等。

3 結(jié)束語

本文利用圖像退化模型，結(jié)合立體圖像成像模型和NL 正則項，提出了應(yīng)用于MR-MVD系統(tǒng)的新立體圖像SR算法。實驗結(jié)果表明，本文算法有著比文獻[5]更好的性能。然而，由于在求解的過程中，采用了梯度下降迭代計算，在計算復(fù)雜度與運行時間上會有所增加。因此，后續(xù)研究方向是提高重建的實時性。

[1]Chen Y，Hannuksela M M，Zhu L，et al.Coding techniques in multiview video coding and joint multiview video model[C]//Picture Coding Symposium.Chicago:IEEE，2009:1-4.

[2]Aflaki P，Hannuksela M M，Hakkinen J，et al.Subjective study on compressed asymmetric stereoscopic video[C]//Image Processing (ICIP)，2010 17th IEEE International Conference on.Hong Kong:IEEE，2010:4021-4024.

[3]Chen Y，Wang Y K，Gabbouj M，et al.Regionally adaptive filtering for asymmetric stereoscopic video coding[C]//Circuits and Systems，2009.ISCAS 2009.IEEE International Symposium on.Taipei:IEEE，2009:2585-2588.

[4]Merkle P，Smolic A，Muller K，et al.Multi-view video plus depth representation and coding[C]//Image Processing，2007.ICIP 2007.IEEE International Conference on.San Antonio:IEEE，2007，1:I-201-I-204.

[5]Garcia D C，Dorea C，De Queiroz R L.Super Resolution for Multiview Images Using Depth Information[J].Circuits and Systems for Video Technology，IEEE Transactions on，2012，22(9):1249-1256.

[6]Dong W，Zhang D，Shi G，et al.Image Deblurring and Super-Resolution by Adaptive Sparse Domain Selection and Adaptive Regularization[J].Image Processing，IEEE Transactions on，2011，20(7):1838-1857.

[7]Mairal J，Bach F，Ponce J，et al.Non-local sparse models for image restoration[C]//Computer Vision，2009 IEEE 12th International Conference on.Kyoto:IEEE，2009:2272-2279.

[8]Scharstein D，Szeliski R.A taxonomy and evaluation of dense two-frame stereo correspondence algorithms[J].International journal of computer vision，2002，47(1-3):7-42.

[9]Zitnick C L，Kang S B，Uyttendaele M，et al.High-quality video view interpolation using a layered representation[J].ACM Transactions on Graphics，2004，23(3):600-608.