基于自適應(yīng)運(yùn)動(dòng)估計(jì)的視頻超分辨率重建

楊　梅

(重慶三峽學(xué)院電子與信息工程學(xué)院　重慶 404000)

?

基于自適應(yīng)運(yùn)動(dòng)估計(jì)的視頻超分辨率重建

楊梅

(重慶三峽學(xué)院電子與信息工程學(xué)院重慶 404000)

針對(duì)傳統(tǒng)的空域超分辨率重建算法過(guò)度依賴配準(zhǔn)的精度而限制了算法的適用范圍，提出基于自適應(yīng)運(yùn)動(dòng)估計(jì)的視頻超分辨率重建算法。在非參數(shù)估計(jì)的核回歸模型的基礎(chǔ)上，將二維核回歸函數(shù)擴(kuò)展到三維，把視頻序列中的每一個(gè)像素點(diǎn)表示成三維泰勒展開(kāi)式。通過(guò)局部加權(quán)最小二乘法得到展示的系數(shù)，用核回歸的權(quán)重捕捉時(shí)空局部運(yùn)動(dòng)信息，避免了顯式的亞像素精度的運(yùn)動(dòng)估計(jì)。在標(biāo)準(zhǔn)測(cè)試視頻數(shù)據(jù)庫(kù)中的實(shí)驗(yàn)表明，該算法具有較好的重建效果和較大適用范圍,可用于具有局部和復(fù)雜運(yùn)動(dòng)的視頻。

自適應(yīng)運(yùn)動(dòng)估計(jì)超分辨率重建三維泰勒展開(kāi)式

0　引　言

超分辨率重建算法是提高圖像和視頻分辨率的一種方法，通過(guò)融合多幀相似的低分辨率圖像達(dá)到提高圖像細(xì)節(jié)的目的。超分辨率重建算法在醫(yī)學(xué)圖像處理、數(shù)字電視、軍事和遙感等領(lǐng)域得到廣泛應(yīng)用[1]。

超分辨率重建主要有基于插值、基于重建和基于學(xué)習(xí)三大類[2]?；诓逯档姆椒ū容^直觀，但不能利用先驗(yàn)知識(shí)，沒(méi)有考慮到運(yùn)動(dòng)模糊的影響，重建結(jié)果中容易出現(xiàn)鋸齒效應(yīng)。基于學(xué)習(xí)的方法[2-4]通過(guò)對(duì)多幀圖像進(jìn)行訓(xùn)練以獲得高低分辨率圖像之間的構(gòu)架模型，這類方法對(duì)噪聲敏感且對(duì)訓(xùn)練樣本要求高，計(jì)算復(fù)雜度高?；谥亟ǖ姆椒ɡ么罅康南闰?yàn)知識(shí)，能夠從一定程度上保持圖像的清晰度和緩解鋸齒效應(yīng)[5,6]?；谥亟ǖ姆椒ǚ譃轭l域重建和空域重建方法[7,8]?？沼虺直媛手亟ǖ男Ч饕蛇\(yùn)動(dòng)估計(jì)的精確性決定。

目前的視頻超分辨率重建方法主要是建立在已知或者估計(jì)出低分辨率圖像之間的亞像素精度的運(yùn)動(dòng)信息之上的[9]。對(duì)于全局運(yùn)動(dòng)的視頻，采用現(xiàn)有的四參數(shù)運(yùn)動(dòng)配準(zhǔn)算法[10]和通過(guò)泰勒級(jí)數(shù)展開(kāi)的配準(zhǔn)算法[11]可以得到較為精確的配準(zhǔn)結(jié)果；對(duì)于包含局部運(yùn)動(dòng)的視頻，一般通過(guò)基于塊匹配[12]和基于光流[13]的配準(zhǔn)算法來(lái)估計(jì)運(yùn)動(dòng)信息。但是這兩種配準(zhǔn)方法都較難得到精確的運(yùn)動(dòng)估計(jì)信息，特別是對(duì)于包含有復(fù)雜運(yùn)動(dòng)的視頻，很難實(shí)現(xiàn)亞像素精度；而實(shí)際拍攝的視頻，通常都包含局部運(yùn)動(dòng)或者復(fù)雜運(yùn)動(dòng)，限制了超分辨率重建的適用范圍。為了解決傳統(tǒng)的超分辨率重建算法高度依賴于精確的亞像素級(jí)運(yùn)動(dòng)估計(jì)信息的問(wèn)題，受調(diào)整核回歸被用于單幅圖像的去噪和插值[14]的啟發(fā)，將調(diào)整核回歸應(yīng)用到視頻的超分辨率重建中，提出基于自適應(yīng)運(yùn)動(dòng)估計(jì)的視頻超分辨率重建算法。避免了顯式的亞像素精度的運(yùn)動(dòng)估計(jì)，能夠使運(yùn)動(dòng)估計(jì)不精確問(wèn)題在重建中產(chǎn)生的偽影現(xiàn)象得到消除。算法適用于包含局部運(yùn)動(dòng)和復(fù)雜運(yùn)動(dòng)的視頻，拓寬了重建算法的適用范圍，具有較好的重建效果。

1　非參數(shù)估計(jì)的核回歸

非參數(shù)估計(jì)的方法是根據(jù)數(shù)據(jù)本身得到模型結(jié)構(gòu)，這種隱含的模型稱為回歸函數(shù)。目前的非參數(shù)回歸問(wèn)題的解決方法主要有：樣條函數(shù)、核函數(shù)和小波變換[15,16]。由于核回歸估計(jì)的方法直觀簡(jiǎn)單，被廣泛地用于模式檢測(cè)與識(shí)別等領(lǐng)域，但在視頻處理領(lǐng)域，核回歸估計(jì)的方法還未得到廣泛的應(yīng)用[17]。

1.1二維核回歸模型

核回歸采用全局信號(hào)或者噪聲模型的最小假設(shè)來(lái)逐點(diǎn)估計(jì)函數(shù)值。根據(jù)核回歸框架將圖像的數(shù)據(jù)模型定義為：

yi=z(xi)+εii=1,2,…,Pxi=[x1i,x2i]T

(1)

式(1)中，yi是在空間坐標(biāo)(x1i,x2i)處的加噪采樣點(diǎn)，z(·)是待求的回歸函數(shù)，εi是均值為0的高斯白噪聲，P為滑動(dòng)窗口中的總采樣點(diǎn)數(shù)。假設(shè)x是xi附近的采樣點(diǎn)，則可將回歸函數(shù)z(xi)局部擴(kuò)展為式(2)所示的N階泰勒級(jí)數(shù)展開(kāi)：

z(xi)≈z(x)+{▽z(x)}T(xi-x)+

(2)

式(2)中，▽和H分別表示兩行一列的梯度算子和兩行兩列的Hessian算子。vech是半量化算子，其用法如式(3)所示：

(3)

(4)

(5)

式(5)中：

(6)

式(6)中，K(·)是核函數(shù)，Hi是一個(gè)2×2的平滑矩陣，它表明了核函數(shù)的軌跡。不考慮回歸函數(shù)的回歸階和維數(shù)，將式(5)表示成式(7)所示的加權(quán)最小二乘問(wèn)題：

(7)

式(7)中：

y=[y1,y2,…,yp]T

K=diag[KH1(x1-x),KH2(x2-x),…,KHp(xp-x)]

進(jìn)一步將式(7)進(jìn)行優(yōu)化，得到式(5)的加權(quán)最小二乘最優(yōu)估計(jì)：

(8)

采用附近采樣點(diǎn)的加權(quán)線性組合表示β0，如式(9)所示：

(9)

式(9)中，e1是一個(gè)列向量，它的第一個(gè)元素為1，其他的元素為0，Wi是等價(jià)的核權(quán)值函數(shù)[16]。

1.2調(diào)整核回歸模型

傳統(tǒng)核回歸能被表示成鄰域采樣點(diǎn)的局部線性組合，它等價(jià)于一個(gè)局部自適應(yīng)線性濾波的過(guò)程。該模型雖然計(jì)算效率較高，但是去噪或者插值處理后的圖像不能很好地保持圖像原來(lái)的邊緣等結(jié)構(gòu)信息，而調(diào)整核回歸能克服傳統(tǒng)核回歸的缺陷。調(diào)整核回歸是一種數(shù)據(jù)自適應(yīng)核回歸，它不僅依賴于采樣數(shù)據(jù)點(diǎn)的密度和位置，還依賴于采樣點(diǎn)的放射規(guī)則。數(shù)據(jù)自適應(yīng)核回歸能夠捕獲圖像的局部結(jié)構(gòu)，核的尺寸和形狀局部自適應(yīng)于圖像的邊緣等結(jié)構(gòu)特征，在局部信號(hào)和噪聲模型下能夠以最小的假設(shè)保持和修復(fù)圖像的細(xì)節(jié)。在傳統(tǒng)核回歸理論的基礎(chǔ)上，根據(jù)式(5)，將平滑矩陣Hi表示成全局平滑參數(shù)h與捕捉數(shù)據(jù)采樣點(diǎn)的局部密度的標(biāo)量的乘積，核的權(quán)重對(duì)圖像的水平和垂直方向的影響是相同的。如果適當(dāng)?shù)剡x擇平滑矩陣Hi，核函數(shù)就能捕獲圖像的局部結(jié)構(gòu)信息。在調(diào)整核回歸的理論中，將平滑矩陣表示成式(10)所示的對(duì)稱矩陣：

(10)

式(10)中，Ci是空間梯度向量的局部協(xié)方差矩陣，它與圖像的局部邊緣等結(jié)構(gòu)信息相關(guān)，Ci的合理選擇能夠削弱模糊的影響。

2　自適應(yīng)運(yùn)動(dòng)估計(jì)的視頻超分辨率重建算法

2.1自適應(yīng)運(yùn)動(dòng)估計(jì)的超分辨率重建算法模型

對(duì)于包含局部運(yùn)動(dòng)或者復(fù)雜運(yùn)動(dòng)的視頻，為了克服傳統(tǒng)的超分辨率重建中配準(zhǔn)精度的不足，本文將調(diào)整核回歸應(yīng)用到視頻的超分辨率重建中。將二維調(diào)整核回歸用到時(shí)空維，將二維核回歸函數(shù)擴(kuò)展到三維，相應(yīng)的二維權(quán)值計(jì)算公式也由二維擴(kuò)展到三維。時(shí)空調(diào)整核回歸的權(quán)重用來(lái)捕獲時(shí)空邊緣的局部信號(hào)的結(jié)構(gòu)。

將二維的調(diào)整核回歸擴(kuò)展到三維，式(9)變成式(11)：

(11)

(12)

(13)

式(13)中，zx1(·)、zx2(·)、zt(·)分別表示水平、垂直和時(shí)間軸的一階偏導(dǎo)數(shù)。采用式(13)計(jì)算的協(xié)方差矩陣可能不是滿秩，因此，采用Ji的帶有正則化的奇異值分解來(lái)估計(jì)Ci，如式(14)所示：

(14)

式(14)中：

(15)

式(15)中，α為結(jié)構(gòu)敏感度因子，Qq和γi分別表示拉伸算子和尺度算子，λ′和λ″是正則化參數(shù)，它們用來(lái)抑制噪聲的影響并限制γi和Qq的分母不為0。Ji的奇異值分解后的奇異值為(s1,s2,s3)，奇異向量為(v1，v2，v3)。

(16)

三維調(diào)整核回歸的調(diào)整核函數(shù)如式(17)所示：

(17)

該模型是基于時(shí)空鄰域像素點(diǎn)的比較，重建像素相似時(shí)空塊中的所有像素點(diǎn)都對(duì)該點(diǎn)的重建有貢獻(xiàn)，使得實(shí)際配準(zhǔn)到的點(diǎn)無(wú)限接近于應(yīng)該精確配準(zhǔn)的點(diǎn)，從而避免了顯式的亞像素級(jí)運(yùn)動(dòng)估計(jì)，克服了配準(zhǔn)誤差對(duì)重建的影響。

2.2自適應(yīng)運(yùn)動(dòng)估計(jì)的超分辨率重建算法的實(shí)現(xiàn)

本文提出的自適應(yīng)運(yùn)動(dòng)估計(jì)的超分辨率重建算法的步驟如下：

目標(biāo)：估計(jì)超分辨率重建后的高分辨率視頻序列。

Step5根據(jù)得到的較精確的方向信息，采用三維調(diào)整核回歸，計(jì)算采樣點(diǎn)的空間距離以及調(diào)整核的權(quán)重Wi(·)，確定低分辨率圖像在高分辨率網(wǎng)格上的位置，然后帶權(quán)內(nèi)插輸出高分辨率圖像。

3　實(shí)驗(yàn)結(jié)果及分析

為了驗(yàn)證本文方法的有效性，用標(biāo)準(zhǔn)測(cè)試視頻“foreman”和“akiyo”，采用經(jīng)典的插值方法中的雙三次插值、配準(zhǔn)效果較好的基于四參數(shù)運(yùn)動(dòng)配準(zhǔn)的IBP重建方法和基于塊匹配的IBP重建方法與本文算法進(jìn)行對(duì)比實(shí)驗(yàn)。

3.1標(biāo)準(zhǔn)測(cè)試視頻模糊情況下的視頻重建實(shí)驗(yàn)

對(duì)標(biāo)準(zhǔn)測(cè)試視頻“foreman”和“akiyo”進(jìn)行模糊和下采樣后，取每個(gè)視頻的前30幀，用3×3的均勻點(diǎn)擴(kuò)展函數(shù)對(duì)視頻幀進(jìn)行模糊，下采樣因子為2。在重建中設(shè)置梯度濾波器的全局平滑參數(shù)為0.5，核函數(shù)的空間支持尺寸為5，空間分析窗口的尺寸為7，時(shí)間分析窗口的尺寸為5。超分辨率重建后的實(shí)驗(yàn)結(jié)果如圖1、圖2所示，圖1中為foreman視頻第八幀的重建實(shí)驗(yàn)，圖2中為akiyo視頻第四幀的重建實(shí)驗(yàn)。

圖1　foreman視頻第八幀重建實(shí)驗(yàn)

圖2　akiyo視頻第四幀重建實(shí)驗(yàn)

從圖1和圖2可以很看出：雙三次插值放大后的圖像較模糊，紋理細(xì)節(jié)特征不豐富；對(duì)于四參數(shù)IBP的算法，存在較嚴(yán)重的重建偽影現(xiàn)象和振鈴效應(yīng)。對(duì)于塊匹配的IBP重建方法，存在較嚴(yán)重的鋸齒現(xiàn)象、塊效應(yīng)和振鈴效應(yīng)；本文所提出的算法重建的結(jié)果有良好的去模糊效果，重建結(jié)果較好，紋理細(xì)節(jié)特征較豐富。

為了客觀上說(shuō)明本文方法的有效性，采用峰值信噪比(PSNR)和結(jié)構(gòu)相似度(SSIM)來(lái)評(píng)價(jià)算法的重建效果。表1和表2分別表示foreman視頻和akiyo視頻的前30幀在無(wú)噪聲情況下，在不同重建算法下的平均PSNR值和平均SSIM值。

表1　foreman視頻和akiyo視頻前30幀的平均PSNR值

表2　foreman視頻和akiyo視頻前30幀的平均SSIM值

從表1和表2可以看出，四參數(shù)IBP算法由于存在較嚴(yán)重的重建偽影現(xiàn)象，因此PSNR值較差，SSIM值也較低；塊匹配的IBP重建算法由于存在塊效應(yīng)和鋸齒現(xiàn)象，所以PSNR值和SSIM值也較低；本文算法的重建結(jié)果具有較高的PSNR值和SSIM值。

3.2標(biāo)準(zhǔn)測(cè)試視頻模糊加噪聲情況下的重建實(shí)驗(yàn)

在對(duì)標(biāo)準(zhǔn)測(cè)試視頻“foreman”和“akiyo”下采樣時(shí)，附加標(biāo)準(zhǔn)偏差的高斯白噪聲。重建中參數(shù)的設(shè)置和3.1節(jié)中實(shí)驗(yàn)一樣。實(shí)驗(yàn)結(jié)果如圖3、圖4所示，圖3中為foreman視頻第八幀的重建結(jié)果，圖4中為akiyo視頻第四幀的重建結(jié)果。

圖3　foreman視頻第八幀重建實(shí)驗(yàn)

圖4　akiyo視頻第四幀重建實(shí)驗(yàn)

從圖3、圖4看出：雙三次插值放大后的圖像較模糊，紋理細(xì)節(jié)特征不豐富，易受到噪聲的影響；四參數(shù)IBP的方法存在由于配準(zhǔn)不精確而產(chǎn)生的偽影現(xiàn)象和振鈴效應(yīng)；塊匹配的IBP重建方法雖然在一定程度上消除了由于運(yùn)動(dòng)估計(jì)不精確產(chǎn)生的重建偽影現(xiàn)象，但是在某些地方會(huì)出現(xiàn)較嚴(yán)重的塊效應(yīng)，不能有效地去除噪聲的影響；本文方法重建后的圖像，紋理細(xì)節(jié)特征較豐富，能抑制噪聲，優(yōu)于其他幾種算法。

foreman視頻和akiyo視頻的前30幀在加噪并模糊情況下，不同重建算法下的平均PSNR值和平均SSIM值分別如表3、表4所示。

表3　foreman視頻和akiyo視頻前30幀的平均PSNR值

表4　foreman視頻和akiyo視頻前30幀的平均SSIM值

將表3和表4中的數(shù)據(jù)與表1和表2進(jìn)行對(duì)比，可以得到：在加噪聲的情況下，雙三次插值、四參數(shù)IBP、塊匹配IBP的重建方法由于受到噪聲的影響，PSNR值和SSIM值與無(wú)噪聲的情況下相比下降得較多，表明它們的重建方法受噪聲的影響較大。本文算法在加噪情況下雖然某些視頻的PSNR值和SSIM值較無(wú)噪聲時(shí)的小，但是下降很小，證明本文的算法對(duì)噪聲有一定的魯棒性。

綜合以上分析，可以得出：雙三次插值的PSNR值和SSIM值雖然比四參數(shù)IBP和塊匹配IBP的稍高，但是從視覺(jué)效果上看，雙三次插值的結(jié)果比較模糊，細(xì)節(jié)不清晰。塊匹配IBP的結(jié)果從視覺(jué)效果上看，雖然圖像的細(xì)節(jié)較雙三次插值的要好，但是重建的結(jié)果存在塊效應(yīng)，并且在邊緣處有重建鋸齒和振鈴現(xiàn)象，導(dǎo)致它的PSNR值和SSIM值較低。四參數(shù)IBP的方法由于配準(zhǔn)不精確的問(wèn)題，導(dǎo)致重建后的視頻幀存在較嚴(yán)重的重建偽影現(xiàn)象；同時(shí)某些視頻重建時(shí)存在振鈴現(xiàn)象，這就導(dǎo)致了它的PSNR值和SSIM值較低。四參數(shù)IBP和塊匹配IBP的重建結(jié)果受噪聲影響較大。本文的重建方法對(duì)噪聲有一定的抑制作用，重建的細(xì)節(jié)信息較豐富。無(wú)論從主觀視覺(jué)效果還是從客觀評(píng)價(jià)指標(biāo)上來(lái)看，本文的算法都優(yōu)于其他的幾種算法。

為了進(jìn)一步說(shuō)明本文算法效果，對(duì)實(shí)際拍攝的2幀有噪圖像進(jìn)行超分辨率重構(gòu)，結(jié)果如圖5所示。

圖5　實(shí)拍圖像的重建

4　結(jié)　語(yǔ)

對(duì)于含有局部運(yùn)動(dòng)或者劇烈運(yùn)動(dòng)的視頻，傳統(tǒng)的超分辨率重建算法很難達(dá)到亞像素精度的配準(zhǔn)結(jié)果，本文采用時(shí)空局部相鄰采樣點(diǎn)的線性組合來(lái)表示待重建的像素點(diǎn)。利用調(diào)整核函數(shù)的權(quán)重捕捉運(yùn)動(dòng)信息，提出了一種無(wú)需顯式運(yùn)動(dòng)估計(jì)的基于自適應(yīng)運(yùn)動(dòng)估計(jì)的視頻超分辨率重建算法。通過(guò)標(biāo)準(zhǔn)測(cè)試視頻的實(shí)驗(yàn)表明，本文提出的算法能自適應(yīng)捕捉圖像的結(jié)構(gòu)信息，對(duì)噪聲有較好的抑制作用，能有效消除運(yùn)動(dòng)估計(jì)不精確造成的偽影現(xiàn)象。

[1] 萬(wàn)雪芬,楊義,崔劍.圖像超分辨率重建處理算法研究[J].激光與紅外,2011,41(11):1278-1281.

[2] 王朝暉,陳龍,焦斌亮.基于圖像非局部自相似性與分類字典學(xué)習(xí)的超分辨率重建算法[J].小型微型計(jì)算機(jī)系統(tǒng),2015,36(7):1617-1619.

[3] 首照宇,廖敏璐,陳利霞.改進(jìn)的基于稀疏表示的圖像超分辨率重建算法[J].計(jì)算機(jī)應(yīng)用與軟件,2014,31(4):201-204.

[4] Shang L,Zhou Y,Su P U.Super-resolution restoration of MMW image based on sparse representation method[J].Neurocomputing,2014,137(5):79-88.

[5] 蔣建國(guó),陳亞運(yùn),齊美彬,等.基于自相似性和稀疏表示的圖像超分辨率重建[J].光電工程,2015,42(12):74-81.

[6] Li Lin,Xie Yuan,Hu Wenrui,et al.Single image superresolution using combined total variation regularization by split Bregman Iteration[J].Neurocomputing,2014,142:551-560.

[7] Guo K,Yang X,Zha H,et al.Multiscale semilocal interpolation with antialiasing[J].IEEE Transactions on Image Processing,2012,21(2):615.

[8] 楊蕓.改進(jìn)的BTV超分辨率重建算法[J].信息技術(shù),2016(2):182-185.

[9] Park S C,Park M K,Kang M G.Super-resolution image reconstruction:a technical overview[J].IEEE Signal Processing Magazine,IEEE,2003,20(3):21-36.

[10] 覃鳳清,何小海,陳為龍,等.一種基于子像素配準(zhǔn)視頻超分辨率重建方法[J].光電子·激光,2009(7):972-976.

[11] Keren D,Peleg S,Brada R.Image sequence enhancement using sub-pixel displacements[C]//IEEE Conference on Computer Vision and Pattern Recongnition,1988:742-746.

[12] 張博洋.圖像及視頻超分辨率重建技術(shù)研究[D].濟(jì)南:山東大學(xué),2013.

[13] Tsai C J,Galatsanos N P,Katsaggelos A K.Optical flow estimation from noisy data using differential techniques[C]//IEEE International Conference on Acoustics,Speech,and Signal Processing,1999,6:3393-3396.

[14] Takeda H,Farsiu S,Milanfar P.Kernel regression for image processing and reconstruction[J].IEEE Transactions on Image Processing,2007,16(2):349-366.

[15] 萬(wàn)青.基于非參數(shù)估計(jì)的核回歸圖像去噪[D].武漢:中南民族大學(xué),2008.

[16] 劉志剛.非參數(shù)回歸的研究及其應(yīng)用[D].溫州:溫州大學(xué),2012.

[17] Wand M P,Jones M C.Monographs on Statistics and Applied Probability:Kernel Smoothing[M].New York: Chapman and Hall,1995.

VIDEO SUPER-RESOLUTION RECONSTRUCTION BASED ON SELF-ADAPTIVE MOTION ESTIMATION

Yang Mei

(CollegeofElectronicandInformationEngineering,ChongqingThreeGorgesUniversity,Chongqing404000,China)

In view of the traditional airspace super-resolution reconstruction algorithm overly dependent on the accuracy of registration which leads to the problem of limiting the scope of application of the algorithm, a video super-resolution reconstruction algorithm is proposed based on self-adaptive motion estimation. On the basis of the kernel regression model of non-parametric estimation, the two-dimensional kernel regression was extended to 3D and each pixel of video sequence was represented into three Taylor expansion. The coefficients were obtained by local weighted least squares method. The temporal local motion information was captured with kernel regression weights and explicit sub-pixel precision motion estimation was avoided. Experiments in the standard test video database show that the proposed algorithm has better reconstruction effect and wider application range, which is able to be applied to videos with local and complex motion.

Self-adaptive motion estimationSuper-resolution reconstructionThree-dimensional Taylor expansion

2016-06-04。重慶市教委科學(xué)技術(shù)研究項(xiàng)目(KJ1501022)。楊梅，助教，主研領(lǐng)域：圖像處理。

TP3

A

10.3969/j.issn.1000-386x.2016.10.034