基于光流法運(yùn)動(dòng)配準(zhǔn)的覆冰圖像超分辨率重建

楊 梅

(重慶三峽學(xué)院 重慶 404000)

基于光流法運(yùn)動(dòng)配準(zhǔn)的覆冰圖像超分辨率重建

楊 梅

(重慶三峽學(xué)院 重慶 404000)

針對(duì)電力監(jiān)控系統(tǒng)中輸電線路易晃動(dòng)造成覆冰圖像模糊，提出基于光流法運(yùn)動(dòng)配準(zhǔn)的覆冰圖像超分辨率重建算法。該算法首先利用基于光流法的圖像配準(zhǔn)算法估計(jì)圖像間的亞像素級(jí)運(yùn)動(dòng)矢量，得到前向和后向配準(zhǔn)圖像；然后，利用迭代反投影(IBP)算法對(duì)估計(jì)出的圖像分別進(jìn)行超分辨率重建；最后，根據(jù)配準(zhǔn)誤差加權(quán)得到最終的輸出圖像。實(shí)驗(yàn)結(jié)果表明，相對(duì)于傳統(tǒng)算法，該算法的重建結(jié)果無(wú)論是在峰值信噪比和標(biāo)準(zhǔn)差還是基于對(duì)比敏感度的無(wú)參考圖像清晰度上，均有明顯提高，具有較好的客觀指標(biāo)和視覺(jué)效果。

超分辨率重建 光流法 IBP算法 運(yùn)動(dòng)配準(zhǔn) 覆冰圖像

0 引 言

隨著智能電網(wǎng)的發(fā)展，傳統(tǒng)的接觸式的檢測(cè)技術(shù)已經(jīng)不能完全滿足電力發(fā)展的要求?；趫D像的檢測(cè)技術(shù)在電力系統(tǒng)在線監(jiān)測(cè)中得到廣泛應(yīng)用，對(duì)輸電線路的監(jiān)測(cè)是圖像處理技術(shù)在電力系統(tǒng)中應(yīng)用之一。輸電線路覆冰檢測(cè)，一般處于比較惡劣的風(fēng)雪環(huán)境下，并且環(huán)境顏色與覆冰顏色比較接近；采集到的覆冰圖像可能存在運(yùn)動(dòng)模糊或者分辨率不足，不能很好地區(qū)分線路覆冰的邊緣，導(dǎo)致覆冰檢測(cè)的準(zhǔn)確性不高。因此，為了提高覆冰圖像的質(zhì)量，覆冰圖像的超分辨率重構(gòu)技術(shù)成為一個(gè)值得研究的課題。

由于風(fēng)雪原因，輸電線路中間部分存在一定的局部運(yùn)動(dòng)情況。對(duì)于具有局部運(yùn)動(dòng)圖像[1]超分辨率重建首先需要估計(jì)出相鄰圖像之間的亞像素運(yùn)動(dòng)信息，通過(guò)尋找最佳的變換使得圖像之間的內(nèi)容達(dá)到空間上的對(duì)齊[2]。目前，運(yùn)動(dòng)配準(zhǔn)算法主要分為頻域法、空域法和空頻域法，其中最常用的是空域法[2]?？沼虻倪\(yùn)動(dòng)配準(zhǔn)算法主要包括基于塊匹配[3-4]、特征[5]、光流[6]、像素遞歸[7]、最大后驗(yàn)概率[8-9]和泰勒級(jí)數(shù)展開(kāi)[10]等方法。空頻域方法[11]能實(shí)現(xiàn)不同程度的運(yùn)動(dòng)估計(jì)，可以克服傅立葉變換域方法的空間局域性問(wèn)題。其中，基于光流的運(yùn)動(dòng)配準(zhǔn)算法[12]是一種非剛體的圖像配準(zhǔn)方法，對(duì)發(fā)生仿射變換的圖像能夠精確配準(zhǔn)。

針對(duì)覆冰圖像由于線路的抖動(dòng)而存在局部運(yùn)動(dòng)的現(xiàn)象，在使用迭代反投影(IBP)算法進(jìn)行覆冰圖像超分辨率重建前。先用光流法進(jìn)行圖像配準(zhǔn)，然后使用參考圖像與前后相鄰圖像的超分辨率重建結(jié)果進(jìn)行反向誤差加權(quán)得到最終的圖像。

1 運(yùn)動(dòng)配準(zhǔn)算法

1.1 IBP超分辨率重建算法

IBP超分辨率重建是基于圖像的降質(zhì)模型，通過(guò)模擬圖像在成像過(guò)程中帶來(lái)的形變、模糊和噪聲，得到模擬低分辨率圖像。通過(guò)將模擬的低分辨率圖像和真實(shí)的低分辨率圖像之間的誤差反投影到估計(jì)的高分辨率圖像與真實(shí)的高分辨率圖像之間的誤差上。迭代過(guò)程中，低分辨率圖像之間的誤差會(huì)越來(lái)越小，那么，估計(jì)的高分辨率圖像就會(huì)越來(lái)越接近真實(shí)的高分辨率圖像。迭代到誤差收斂時(shí)，就得到了重建的高分辨率圖像。

假設(shè)原始的高分辨率圖像為f，D為降采樣矩陣，B為模糊矩陣，Mk為運(yùn)動(dòng)變形矩陣，nk是圖像在采集、傳輸過(guò)程中產(chǎn)生的隨機(jī)噪聲，則原始的高分辨率圖像為f的降質(zhì)圖像模型為：

gk=DBMkf+nkk=0,1,2,…,m

(1)

式中，m表示可以得到的低分辨率圖像個(gè)數(shù)，gk表示第k幅圖像。

(2)

從而得到：

(3)

(4)

則，第n+1次迭代得到的高分辨率圖像為：

(5)

式中，λ是調(diào)節(jié)步長(zhǎng)的迭代因子，迭代終止后得到的圖像就是重建的高分辨率圖像。

低分辨率圖像序列間存在的亞像素偏移是序列圖像超分辨率重建能夠得以完成的關(guān)鍵因素，是圖像序列具有互補(bǔ)信息的關(guān)鍵，也是實(shí)現(xiàn)超分辨率重建的信息來(lái)源。因此，序列圖像超分辨率重建的首要步驟就是精確求解圖像序列間的亞像素偏移。

設(shè)X=[x,y]T和X′=[x′,y′]T表示參考圖像r(x′,y′)與待配準(zhǔn)圖像s(x,y)的坐標(biāo)位置。圖像配準(zhǔn)的目標(biāo)就是確定圖像s(x,y)相對(duì)于圖像r(x′,y′)的幾何變換T(·)，即將圖像s(x,y)中的坐標(biāo)X映射到參考圖像r(x′,y′)所在的坐標(biāo)系X′下，可以表示為式(6)：

X′=T(x)

(6)

(7)

式中，ε為誤差模型。

1.2 全局運(yùn)動(dòng)配準(zhǔn)算法

參考圖像r(x′,y′)與待配準(zhǔn)圖像s(x,y)中像素點(diǎn)之間的運(yùn)動(dòng)關(guān)系如圖1所示。可以通過(guò)水平平移量a、垂直平移量b，旋轉(zhuǎn)角度θ進(jìn)行描述，具體變換模型如式(8)所示：

(8)

圖1 平面平移及旋轉(zhuǎn)運(yùn)動(dòng)示意圖

基于上述運(yùn)動(dòng)模型，覃鳳清等[13]提出了四參數(shù)運(yùn)動(dòng)配準(zhǔn)算法，該算法在運(yùn)動(dòng)參數(shù)模型中考慮了水平和垂直平移量a、b。運(yùn)動(dòng)前后坐標(biāo)點(diǎn)之間的變換模型用式(9)表示：

(9)

式中，a1、a2、a3及a4是剛體變換的四個(gè)參數(shù)。參考圖像r(x′,y′)與待配準(zhǔn)圖像s(x,y)之間的數(shù)學(xué)關(guān)系如式(10)所示：

s(x,y)=r(x′,y′)=

r(x+a1x-a2y+a3,y+a2x+a1y+a4)

(10)

將上式在點(diǎn)(x,y)處進(jìn)行二維泰勒級(jí)數(shù)展開(kāi)，忽略高次項(xiàng)，可得式(11)：

(11)

E(a1,a2,a3,a4)=

(12)

(13)

則有：

X=C-1V

(14)

(15)

1.3 運(yùn)動(dòng)配準(zhǔn)實(shí)現(xiàn)

實(shí)際中，待配準(zhǔn)圖像與參考圖像之間的幾何變換在圖像的不同部分有時(shí)并不相同，參考文獻(xiàn)[13]的變換模型不能準(zhǔn)確表達(dá)兩幅圖像之間的位置關(guān)系。因此，需要尋求能夠求解圖像像素之間亞像素位移矢量的局部配準(zhǔn)算法。形狀上下文特征匹配[14]算法通過(guò)在參考圖像中對(duì)待配準(zhǔn)圖像的任一圖像塊進(jìn)行搜索，尋找最佳匹配圖像區(qū)域。根據(jù)圖像區(qū)域的匹配關(guān)系求解圖像區(qū)域的運(yùn)動(dòng)矢量，可以較好地解決存在局部運(yùn)動(dòng)序列圖像的配準(zhǔn)。

形狀上下文運(yùn)動(dòng)匹配算法的實(shí)現(xiàn)步驟為：

① 對(duì)于當(dāng)前待配準(zhǔn)圖像I中的像素點(diǎn)(x,y)，選取圖像I中的以像素點(diǎn)(x,y)為中心的M×N大小的圖像區(qū)域作為待配準(zhǔn)圖像塊；

② 選定當(dāng)前圖像區(qū)域與參考圖像上圖像區(qū)域之間的變換模型和配準(zhǔn)準(zhǔn)則，本文選用均方誤差；

③ 采用菱形搜索算法，在搜索窗口內(nèi)選取當(dāng)前圖像區(qū)域的最佳匹配區(qū)域；

④ 建立關(guān)于當(dāng)前圖像區(qū)域模型參數(shù)的代價(jià)函數(shù)，求解當(dāng)前圖像區(qū)域?qū)?yīng)的模型參數(shù)，得到當(dāng)前圖像區(qū)域的運(yùn)動(dòng)矢量；

⑤ 對(duì)圖像I中的每一個(gè)像素進(jìn)行上述步驟①-步驟④的操作，完成整幅圖像的配準(zhǔn)。

1.4 基于光流法的圖像配準(zhǔn)

光流場(chǎng)表示了圖像上像素亮度模式的變化，包含了真實(shí)場(chǎng)景中物體的運(yùn)動(dòng)信息[15]。一般情況下，可以假設(shè)圖像的運(yùn)動(dòng)場(chǎng)和光流場(chǎng)相等價(jià)。序列圖像的運(yùn)動(dòng)配準(zhǔn)過(guò)程目的是求得運(yùn)動(dòng)物體的運(yùn)動(dòng)矢量，但在間隔時(shí)間很小的情況下，物體一般保持勻速運(yùn)動(dòng)。因此待求解的運(yùn)動(dòng)矢量可以通過(guò)光流場(chǎng)來(lái)描述。而光流場(chǎng)的一個(gè)重要特點(diǎn)是可以求得圖像每一像素處的運(yùn)動(dòng)信息，適合于應(yīng)用到包含局部運(yùn)動(dòng)的序列圖像運(yùn)動(dòng)配準(zhǔn)過(guò)程中，能夠得到亞像素級(jí)的運(yùn)動(dòng)矢量。

設(shè)像素點(diǎn)(x,y)在時(shí)刻t的亮度為I(x,y,t)，假設(shè)在較小的時(shí)間間隔內(nèi)，運(yùn)動(dòng)軌跡上的亮度不變，則對(duì)任意的x、y和t有：

I(x,y,t)=I(x+u,y+v,t+I)

(16)

對(duì)式(16)進(jìn)行一階泰勒級(jí)數(shù)展開(kāi)，可得式(17)所示的光流方程：

Ixu+Iyv+It=0

(17)

Brox[6]在式(17)所示的光流方程的基礎(chǔ)上，考慮了灰度信息的梯度和光流場(chǎng)的光滑特性，將數(shù)據(jù)項(xiàng)的能量函數(shù)定義為：

E(u,v)= ∫ΩΨ(|I(x+w)-I(x)|2+

r|▽I(x+w)-▽I(x)|2)dx+

α∫ΩΨ(|▽3u|2+|▽3v|2)dx

(18)

通過(guò)最小化該能量函數(shù)求得圖像之間的光流場(chǎng)。

2 基于光流法的序列圖像超分辨率重建

在包含局部運(yùn)動(dòng)圖像的超分辨率重建中，只考慮運(yùn)動(dòng)及旋轉(zhuǎn)的全局運(yùn)動(dòng)模型不能夠精確的完成運(yùn)動(dòng)配準(zhǔn)，需要局部配準(zhǔn)算法完成運(yùn)動(dòng)估計(jì)過(guò)程。本文針對(duì)存在局部運(yùn)動(dòng)的序列圖像，結(jié)合形狀上下文特征，采用光流法完成序列圖像的局部配準(zhǔn)，然后使用IBP算法完成序列圖像的超分辨率重建，算法的具體流程圖如圖2所示。

圖2 本文算法流程

① 利用形狀上下文特征分別對(duì)參考圖像In及其前一幀圖像In-1，參考圖像In與其后一幀圖像In+1進(jìn)行初步運(yùn)動(dòng)配準(zhǔn)；

② 采用光流估算分別前向、后向初步配準(zhǔn)圖像的光流場(chǎng)MV1、MV2；

(19)

式中，row、col分別表示圖像的行數(shù)和列數(shù)。

⑥ 根據(jù)前后向的絕對(duì)差和SAD1和SAD2，進(jìn)行線性重組得到最終的超分辨率結(jié)果。

3 實(shí)驗(yàn)結(jié)果及分析

為了驗(yàn)證本文方法的有效性，將本文方法與塊匹配[16]和IBP重建算法(塊匹配+IBP)、雙三次插值的算法(雙三次)、基于字典學(xué)習(xí)的算法[17]進(jìn)行對(duì)比。選取在風(fēng)雪情況下拍攝的視頻圖像進(jìn)行測(cè)試，視頻圖像均為包含局部運(yùn)動(dòng)的序列圖像，選擇一幀比較清晰的圖像，將其進(jìn)行下采樣操作得到低分辨率圖像，再用幾種方法對(duì)下采樣得到的低分辨率圖像進(jìn)行重構(gòu)，實(shí)驗(yàn)結(jié)果如圖3所示。

圖3 有參考圖片下的實(shí)驗(yàn)

從圖3可以看出，塊匹配+IBP算法的結(jié)果因?yàn)槲礈?zhǔn)確配準(zhǔn)，比較模糊且具有偽影現(xiàn)象。雙三次的插值結(jié)果雖不會(huì)引入重建偽影，但是整體較為模糊?；趯W(xué)習(xí)的方法雖然比較清晰，但具有明顯的偽影現(xiàn)象。本文算法的重建效果能夠較為精確地對(duì)局部運(yùn)動(dòng)區(qū)域進(jìn)行配準(zhǔn)，重建效果可以克服重建偽影的影響，且重建效果較為清晰。

峰值信噪比(PSNR)，是一種全參考的圖像質(zhì)量評(píng)價(jià)指標(biāo)，標(biāo)準(zhǔn)差能反映圖像的整體對(duì)比度，局部標(biāo)準(zhǔn)差能反映圖像的局部特征以及細(xì)節(jié)邊緣等對(duì)比度信息?；趯?duì)比敏感度的無(wú)參考圖像清晰度評(píng)價(jià)(NRSACS)[18]比較全面地反映了圖像的各種結(jié)構(gòu)信息，注重圖像細(xì)節(jié)內(nèi)容的完整性，對(duì)不同模糊類(lèi)型圖像的評(píng)價(jià)接近于人眼的視覺(jué)特性，因此本文采用上述幾個(gè)評(píng)價(jià)指標(biāo)對(duì)圖像進(jìn)行評(píng)價(jià)。各實(shí)驗(yàn)重建結(jié)果的評(píng)價(jià)指標(biāo)如表1所示。

表1 各算法重建結(jié)果評(píng)價(jià)指標(biāo)值

從表1中可以看出，本文算法重建結(jié)果的PSNR、局部標(biāo)準(zhǔn)差、NRSACS高于其他對(duì)比算法，基于字典學(xué)習(xí)的算法的標(biāo)準(zhǔn)差高于本文算法，但它重建的結(jié)果具有偽影現(xiàn)象。

上述實(shí)驗(yàn)效果表明，本文算法在客觀指標(biāo)和主觀評(píng)價(jià)上優(yōu)于塊匹配算法、雙三次插值和基于字典學(xué)習(xí)的結(jié)果。對(duì)于具有局部運(yùn)動(dòng)的圖像，可以達(dá)到較為理想的重建效果。

工程實(shí)際中，沒(méi)有可參考的高分辨率圖像。因此，在重度和中度覆冰情況下，選取連續(xù)三幀圖像完成序列圖像的超分辨率重建實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如圖4、圖5所示。

圖5 中度覆冰無(wú)參考圖片下的實(shí)驗(yàn)

從圖4、圖5可以看出，塊匹配+IBP和基于字典學(xué)習(xí)的算法重建結(jié)果具有一定程度的偽影現(xiàn)象，雙三次插值結(jié)果清晰度不夠。而本文所使用的算法能夠較好地克服前三種算法重建結(jié)果存在的問(wèn)題，較好地實(shí)現(xiàn)了運(yùn)動(dòng)區(qū)域的超分辨率重建。

4 結(jié) 語(yǔ)

本文針對(duì)存在局部運(yùn)動(dòng)的覆冰圖像，提出了基于光流法運(yùn)動(dòng)配準(zhǔn)的圖像超分辨率重建方法。根據(jù)覆冰圖像的特點(diǎn)，在重建前先進(jìn)行圖像的運(yùn)動(dòng)配準(zhǔn)，再利用參考圖像的前后兩幀圖像進(jìn)行前向、后向超分辨率重建，最后通過(guò)反向誤差加權(quán)得到最后的輸出圖像，在一定程度上消除了偽影現(xiàn)象。實(shí)驗(yàn)結(jié)果表明，本文所使用的算法的重建結(jié)果具有較好的客觀指標(biāo)和視覺(jué)效果，能較好地對(duì)存在局部運(yùn)動(dòng)的序列圖像進(jìn)行超分辨率重建。

[1] 黃秀花.三維圖像運(yùn)動(dòng)特征配準(zhǔn)方法研究與仿真[J].計(jì)算機(jī)仿真,2015,32(12):205-209.

[2] 劉世瑛,黃峰,劉秉琦,等.復(fù)眼圖像超分辨率重構(gòu)中配準(zhǔn)算法研究進(jìn)展[J].激光與紅外,2015,45(10):1164-1170.

[3] Rajagopalan R,Orchard M T,Brandt R D.Motion field modeling for video sequences[J].IEEE Tansactions on Image Processing,1997,6(11):1503-1516.

[4] 宋海英,王艷.基于塊匹配和迭代反投影的車(chē)牌圖像超分辨率重建[J].成都工業(yè)學(xué)院學(xué)報(bào),2015,18(4):18-21.

[5] Chang M M,Tekalp A M,Sezan M I.Simultaneous motion estimation and segmentation[J].IEEE Tansactions on Image Processing,1997,6(9):1326-1333.

[6] Brox T,Malik J.Large displacement optical flow:descriptor matching in variational motion estimation[J].Pattern Analysis and Machine Intelligence,IEEE Transactions,2011,33(3):500-513.

[7] Kauff P,Schreer O,Ohm J R.An universal algorithm for real-time estimation of dense dispacement vector fields[C]//Proceedings of the International Conference on Media Futers.Florence,Italy,2001.

[8] Konrada J,Dubois E.Bayesian estimation of motion vector fields[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1992,14(9):910-927.

[9] Brailean J C,Katsaggelos A K.A recursive nonstationary map displacement vector field estimation algorithm[J].IEEE Tansactions on Image Processing,1995,4(4):416-429.

[10] Keren D,Peleg S,Brada R.Image sequence enhancement using sub-pixel displacements[C]//IEEE Conference on Computer Vision and Pattern Recongnition,1988:742-746.

[11] Mujica F A,Leduc J P,Murenzi R.A new motion parameter estimation algorithm based on the continuous wavelet transform[J].IEEE Tansactions on Image Processing,2000,9(5):837-888.

[12] 劉紅剛,杜軍平,梁美玉,等.基于Zernike矩的運(yùn)動(dòng)圖像序列時(shí)空超分辨率重建[J].中南大學(xué)學(xué)報(bào)(自然科學(xué)版),2013,1(2):294-299.

[13] 覃鳳清,何小海,陳為龍,等.一種基于子像素配準(zhǔn)視頻超分辨率重建方法[J].光電子·激光,2009,1(7):972-976.

[14] 張桂梅,蔡報(bào)豐.基于內(nèi)距離形狀上下文特征的形狀匹配研究[J].南昌航空大學(xué)學(xué)報(bào),2016,1(2):1-7.

[15] 柳士俊,張蕾.光流法及其在氣象領(lǐng)域里的應(yīng)用[J].氣象科技進(jìn)展,2016,5(4):16-21.

[16] Haan G D,Biezen P W A C.Sub-pixel motion estimation with 3-D recursive search block-matching[J].Signal Processing,1994,6(3):229-239.

[17] 毛兆華,萬(wàn)賢福,汪軍.基于字典學(xué)習(xí)的機(jī)織物圖像重構(gòu)[J].東華大學(xué)學(xué)報(bào),2016,42(1):35-39.

[18] Fan Yuanyuan,Shen Xiangheng,Sang Yingjun.No reference image sharpness assessment based on contrast sensitivity[J].Optics and Precision Ennineerinn,2011,10(19):2485-2493.

SUPER-RESOLUTION RECONSTRUCTION OF ICING IMAGE BASED ON OPTICAL FLOW MOTION REGISTRATION

Yang Mei

(ChongqingThreeGorgesUniversity,Chongqing404000,China)

Concerning the penumbra of icing image caused by transmission line shaking in power monitoring system, we propose a super-resolution image reconstruction algorithm based on optical flow motion registration. The algorithm firstly estimates the sub-pixel level motion vector between images based on optical flow method, and the forward and backward registration images are obtained. Secondly, the iterative back-projection (IBP) algorithm is used to reconstruct the estimated image respectively. Finally, the output image is obtained by weighting the registration error. Experimental results show that compared with the traditional algorithms, the reconstructed results of this algorithm have obvious improvement in both the PSNR and standard deviation or the no reference image sharpness assessment based on contrast sensitivity (NRSACS), and have better objective and visual effects.

Super-resolution reconstruction Optical flow method IBP algorithm Motion registration Icing image

2016-12-23。重慶市教委科學(xué)技術(shù)研究項(xiàng)目(KJ1501022)；重慶高校創(chuàng)新團(tuán)隊(duì)建設(shè)計(jì)劃資助項(xiàng)目(CXTDX20 1601034)。楊梅，講師，主研領(lǐng)域：信號(hào)處理。

TP3

A

10.3969/j.issn.1000-386x.2017.06.016