基于靈活LBP紋理字典構(gòu)造及多特征描述的改進(jìn)SCSR算法

基于靈活LBP紋理字典構(gòu)造及多特征描述的改進(jìn)SCSR算法*

馬麗紅黃茵黎劍暉

(華南理工大學(xué) 電子與信息學(xué)院//國(guó)家移動(dòng)超聲探測(cè)工程技術(shù)研究中心， 廣東 廣州 510640)

摘要：針對(duì)超分辨率重構(gòu)字典對(duì)結(jié)構(gòu)區(qū)分度不夠、在最優(yōu)匹配原子搜索中耗時(shí)太長(zhǎng)的問(wèn)題,提出了一種多特征聯(lián)合的分級(jí)字典(MFJD).首先,分別用邊緣塊梯度特征和紋理塊局部二值模式(LBP)特征來(lái)構(gòu)建兩種分類(lèi)字典,用于逼近不同類(lèi)型結(jié)構(gòu)；其次,采用樹(shù)結(jié)構(gòu)來(lái)聚類(lèi)原子,實(shí)現(xiàn)同一字典下的快速原子匹配；最后,引入雙邊總變分(BTV)正則項(xiàng)來(lái)約束重構(gòu)結(jié)果.實(shí)驗(yàn)表明：與經(jīng)典稀疏編碼超分辨率重構(gòu)(SCSR)算法相比,MFJD多特征聯(lián)合的分級(jí)字典使重構(gòu)圖像的PSNR值提高了0.2424dB,使平均結(jié)構(gòu)相似度(MSSIM)和特征相似度(FSIM)分別提高了0.0043和0.0056；由于結(jié)構(gòu)分類(lèi)字典維數(shù)降低,重構(gòu)時(shí)間降至SCSR算法的22.77%.

關(guān)鍵詞：超分辨率重構(gòu)；結(jié)構(gòu)分類(lèi)；多特征描述；LBP紋理；雙邊總變分

中圖分類(lèi)號(hào)：TP391

doi：10.3969/j.issn.1000-565X.2015.03.009

文章編號(hào)：1000-565X(2015)03-0066-06

收稿日期：2014-06-06

基金項(xiàng)目：* 工業(yè)控制技術(shù)國(guó)家重點(diǎn)實(shí)驗(yàn)室開(kāi)放課題(ICT1434)；廣東省自然科學(xué)基金博士啟動(dòng)項(xiàng)目(S2013040014995)；華南理工大學(xué)中央高?；究蒲袠I(yè)務(wù)費(fèi)資助項(xiàng)目(2014ZM0044)

作者簡(jiǎn)介：趙俊紅(1976-)，女，講師，博士，主要從事圖像取證、圖像分析與理解研究.E-mail: jhzhao@scut.edu.cn

超分辨率(SR)重構(gòu)技術(shù)通過(guò)對(duì)低分辨率(LR)成像估計(jì)丟失的信息來(lái)獲得高分辨率(HR)信號(hào),它對(duì)城市交通和安防監(jiān)控、郊外環(huán)境及軍事目標(biāo)監(jiān)測(cè)、生物醫(yī)學(xué)影像處理意義重大.其中學(xué)習(xí)型單幀SR重構(gòu)算法最大限度地利用了空域結(jié)構(gòu)先驗(yàn)信息,利用典型HR圖像訓(xùn)練塊與其對(duì)應(yīng)LR塊之間的映射,通過(guò)單幀重構(gòu)完成對(duì)細(xì)節(jié)信息的學(xué)習(xí)和計(jì)算補(bǔ)償,它成功的關(guān)鍵在于構(gòu)造準(zhǔn)確的映射模型.

根據(jù)信號(hào)結(jié)構(gòu)描述方式,單幀模型分3類(lèi):①基于上下文保真和迭代投影逼近的學(xué)習(xí),包括馬爾科夫場(chǎng)模型(MRF)[1]、凸集投影(POCS)[2]和迭代反投影(IBP)[3]等算法；②基于拓?fù)浣Y(jié)構(gòu)保持的信號(hào)流形描述,代表性算法有局部線(xiàn)性嵌入算法(LLE)[4-5]；③基于結(jié)構(gòu)分解的模型,其中稀疏編碼類(lèi)超分辨率重構(gòu)(SCSR)[6-7]因避免了上下文相關(guān)和迭代投影的龐大HR/LR 數(shù)據(jù)庫(kù),并克服了流形學(xué)習(xí)易產(chǎn)生的欠擬合或過(guò)擬合現(xiàn)象,成為近年SR研究的熱點(diǎn).

不同分辨率的同一區(qū)域信號(hào)特征相同,SCSR算法用稀疏字典和稀疏系數(shù)來(lái)關(guān)聯(lián)LR、HR塊；重構(gòu)時(shí)LR塊首先通過(guò)字典稀疏系數(shù)確定HR映射塊,再用特征符號(hào)搜索算法(FSS)求解l1約束優(yōu)化問(wèn)題[8],其改進(jìn)方法有:①通過(guò)構(gòu)造幾何字典,改善算法的邊緣保持能力[9].幾何字典的構(gòu)造原理是依靠奇異值分解(SVD)來(lái)計(jì)算各塊邊緣主方向的梯度角,再用K-SVD算法求解稀疏系數(shù)，同時(shí)引入非局部相似度約束,較準(zhǔn)確地恢復(fù)了簡(jiǎn)單的直線(xiàn)邊緣.②考慮到人眼對(duì)圖像顯著內(nèi)容的敏感性,引入一個(gè)顯著圖字典[10].首先,分割顯著圖用于提取感興趣區(qū)域；其次,顯著區(qū)域的塊稀疏系數(shù)與其8個(gè)相鄰塊稀疏系數(shù)的線(xiàn)性加權(quán),用于去除顯著區(qū)域的邊界效應(yīng)；附加的顯著圖字典提高了字典訓(xùn)練的速度,但對(duì)非梯度突變結(jié)構(gòu)效果受限.

用結(jié)構(gòu)分解和稀疏系數(shù)來(lái)高效地表示圖像細(xì)節(jié),SCSR算法面對(duì)的困難是:①單個(gè)梯度特征雖然簡(jiǎn)單,但僅靠梯度算子來(lái)描述,與多結(jié)構(gòu)并存、多特征描述的信號(hào)本質(zhì)不符,導(dǎo)致重構(gòu)時(shí)的原子稠密加權(quán)問(wèn)題,這對(duì)紋理結(jié)構(gòu)尤其明顯；②單一字典維數(shù)過(guò)大,造成匹配原子的搜索和計(jì)算代價(jià)過(guò)高.為此,文中建立了多特征聯(lián)合的分級(jí)字典(MFJD).

1聯(lián)合稀疏編碼算法的原理和局限性

對(duì)于希爾伯特空間的一個(gè)過(guò)完備字典D∈Rd×K(d≤K),若任意信號(hào)x可由D的K個(gè)d維向量的少量原子線(xiàn)性組合逼近,則x可被D稀疏編碼[11]:

x≈Dα0

(1)

式中:稀疏向量α0∈RK,由少數(shù)非零值組成；ε為約束閾值.

(2)

(3)

式中,

(4)

1.1梯度算子描述的局限性

對(duì)信號(hào)結(jié)構(gòu)的描述方式,由特征算子F產(chǎn)生的字典原子決定.人眼對(duì)圖像高頻信息敏感,因此一階和二階梯度作為低復(fù)雜度高頻特征的簡(jiǎn)單描述,成為SCSR算法特征算子首選:

(5)

(6)

式中,f1、f3為提取水平梯度特征,f2、f4為提取垂直梯度特征.梯度值大小反映了邊緣強(qiáng)弱,適合描述梯度值大的圖像邊緣；但結(jié)構(gòu)較復(fù)雜的信號(hào),如紋理圖像,其梯度值變化程度小于階躍邊緣,重構(gòu)時(shí)選入的加權(quán)原子數(shù)目較多,重構(gòu)紋理趨于平滑,細(xì)節(jié)丟失.取5幅均含有大量階躍邊緣及紋理信號(hào)的標(biāo)準(zhǔn)測(cè)試圖像(Airplane、Man、Lena、Rough及Grass),共有1.617×106個(gè)圖像塊,其中平滑塊、邊緣塊及紋理塊分別占47.3%、27.1%及25.6%,利用SCSR重構(gòu)時(shí),單一梯度特征字典對(duì)邊緣塊重構(gòu)的平均PSNR值比紋理塊的大0.2982～0.5314 dB,可見(jiàn)梯度特征算子描述紋理信號(hào)的能力有限；而這5幅圖像重構(gòu)選入的加權(quán)原子數(shù)目為1.794×106至4.690×106,紋理信號(hào)分解的非稀疏性明顯.

18718919219719519019619719919319319719919215819919918914910820018213010098

186192197198195192196199194181200202195178150199192174152125189167134114106

(a)原始HR圖像塊 (b)LR圖像塊

圖1HR與相應(yīng)LR圖像塊灰度值

Fig.1Gray values of an HR block and its LR one

1.2最優(yōu)原子搜索的代價(jià)和描述誤差

因?yàn)橄虏蓸有畔G失,從LR到HR的估計(jì),是不適定的一對(duì)多映射關(guān)系,是信號(hào)的估計(jì)過(guò)程[12].若X為復(fù)原HR塊,Y為輸入LR塊,B和S分別為系統(tǒng)退化和下采樣算子,則全局SR優(yōu)化模型[6]為

(7)

Yi=BSXi-1

(8)

相對(duì)LR信號(hào)Y,每次迭代的Yi殘差信息ei需補(bǔ)償?shù)较乱惠喌@得的HR圖像中.因?yàn)闅埐頴i為

ei=Y-Yi=Y-BSXi-1

(9)

ei的插值結(jié)果ei′就是上一輪估計(jì)值Xi-1的HR殘差,因此可計(jì)得第i次估計(jì)值Xi:

Xi=Xi-1+ei′

(10)

迭代式(8)至(10),ei中元素均值收斂于ζ,A(en)≤ζ時(shí)得最優(yōu)解Xi，其中A(·)為向量元素均值.

用FSS算法對(duì)字典D∈Rd×K用式(4)求塊稀疏系數(shù),含Kd次乘法及d次求和,復(fù)雜度為O(Kd)；設(shè)稀疏度為Σ,用式(1)猜測(cè)特征符號(hào)需KΣ次乘及Σ次加操作,復(fù)雜度O(KΣ).因此,求解每塊的總復(fù)雜度為O(Kd)+O(KΣ).同時(shí),殘差ei插值為ei′,假設(shè)信號(hào)具有連續(xù)性,與梯度算子反映差異的本質(zhì)相反,用插值方式逼近HR殘差并逐次疊加到HR復(fù)原圖像中,會(huì)造成較大的誤差積累和邊緣振鈴效應(yīng).

2局部二值模式特征算子和紋理字典基原子

為提高單個(gè)原子的結(jié)構(gòu)表示能力,不同內(nèi)容應(yīng)采用不同特征描述.平滑塊用經(jīng)典插值算法更快速,一、二階梯度濾波器適合描述階躍邊緣,而大部分紋理信號(hào)雖然具有準(zhǔn)周期性,卻不是適合梯度描述的序率信號(hào),基于梯度的紋理信號(hào)分解有大量長(zhǎng)拖尾的小值數(shù)據(jù),難以保證稀疏性.局部二值模式(LBP)[13]是近年被廣為接受的紋理特征,文中基于LBP矢量來(lái)構(gòu)建紋理字典.

2.1LBP特征矢量與字典原子映射

LBP局部紋理描述算子,通過(guò)對(duì)中心像素與鄰域像素的灰度差進(jìn)行編碼來(lái)描述紋理,具有旋轉(zhuǎn)不變性和灰度不變性.在3×3窗模板中,比較模板中8個(gè)非中心位置的灰度值和中心位置的灰度值的大小,產(chǎn)生8個(gè)0、1組成的局部二進(jìn)制模式值LBP:

(11)

(12)

式中，ωj是第j個(gè)像素的編碼,Ij是非中心位置第j個(gè)像素值,I0是中心像素值.圖2(a)中LBP=00010000,對(duì)應(yīng)十進(jìn)制數(shù)16,共有256種不同LBP特征.按紋理方向分為水平、豎直、左傾斜和右傾斜情況 (見(jiàn)圖2(b)-(e)),表1給出了4種紋理方向的詳細(xì)LBP碼字.

(a)示例(b)水平 (c)豎直(d)左傾斜(e)右傾斜

圖2LBP值示例及4方向紋理分組

Fig.2LBP demo and dominant directions of four texture groups

表1 各方向紋理組的LBP編碼列表(十進(jìn)制)
Table 1Decimal LBP codewords grouped by texture directions

水平豎直左傾斜右傾斜0891618242631394955575963697179858788939610311211912012112313513614315115216016216516716818418618718818919019219920020521222422522622722822923023123223924024424724827102933343540414245535660616465666768707497989910110510610911111513013413714414614814915015615715816116616917117217318118218318518919419619821021422022124925345612142021222328303236373844464850525458627678808486899092949510010210811011412412512615917017417620420622222323323423623723824524625125213111315171925274347517273757781828391104116117118122127128129131133138139141142145147153154155163164175177193195197201202203207208209211213215216217218235241242243250254255

圖3為f1梯度特征與LBP特征描述紋理塊的結(jié)果,圖3 (a)、(b)為原始圖及其灰度值.圖3(c)梯度特征為小值,差異小,紋理塊突變與緩變區(qū)分不明顯,在圖3(d)的LBP特征中差異更明顯.

1361141071101181141069811313710610310210712597921021061029191106102104

(a)原始圖像塊(b)圖3(a)的灰度值

22294-11-8816-7-39-2434-4-23-185-5-14040-15-112-2

114315921421415472551481615112212222151592153825525525568255209

(c)f1梯度特征(d)LBP描述

圖3紋理塊的不同特征描述

Fig.3Different feature descriptions of a texture block

2.2雙邊總變分約束

從LR圖像重構(gòu)HR圖像是病態(tài)求解,需要合適的正則約束項(xiàng).正則項(xiàng)選取原則有兩個(gè):①提高信號(hào)保真度,盡可能恢復(fù)圖像細(xì)節(jié)信息；②抑制噪聲的同時(shí),防止圖像邊緣被平滑.雙邊總變分(BTV)正則項(xiàng)[14-15]通過(guò)雙邊濾波器和移位算子來(lái)保全鄰域關(guān)系和有效邊緣,采用總變分(TV)最小化尋優(yōu).

文中采用的BTV正則項(xiàng)是

(13)

(14)

(15)

2.3原子圖樣的尺度伸縮和誤差增量補(bǔ)償

為減少HR-LR圖像映射前后的動(dòng)態(tài)范圍改變,抑制邊緣、紋理結(jié)構(gòu)的平滑趨勢(shì),對(duì)訓(xùn)練集進(jìn)行高頻預(yù)提升,訓(xùn)練圖像中的點(diǎn)(r,s)經(jīng)過(guò)雙三次插值伸縮后,其灰度值為

(16)

式中,aij為依賴(lài)于插值數(shù)據(jù)的特性,g(·)為控制高頻增強(qiáng)的效果,疊加在aij上預(yù)提升原始像素值高頻成分.

圖4是高頻預(yù)提升后HR及其相應(yīng)的LR圖像塊,其標(biāo)準(zhǔn)差分別為66及52.與未作預(yù)提升的圖1相比(標(biāo)準(zhǔn)差分別為33和29),結(jié)構(gòu)差異性增大.因?yàn)槭?16)中g(shù)(aij)預(yù)提升了高頻成分,降低了插值系數(shù)aij的影響程度,所以在保留更多高頻信息的基礎(chǔ)上,動(dòng)態(tài)范圍的誤差比重降低,突出了圖像結(jié)構(gòu)的差異性,使邊緣、紋理結(jié)構(gòu)在尺寸伸縮中不易被平滑化.

13914816117918015517618519618817319020319311520020919210062161806000

1361561741831831601761881821571891981921579419818715510949186142763520

(a)原始HR圖像塊(b)LR圖像塊

圖4高頻預(yù)提升后HR、LR塊灰度值

Fig.4Gray values of HR and LR blocks after high frequency boost

3多特征字典分級(jí)樹(shù)結(jié)構(gòu)及訓(xùn)練重構(gòu)

多特征聯(lián)合的分級(jí)字典MFJD采用不同特征算子,根據(jù)不同圖像塊內(nèi)容來(lái)構(gòu)造聯(lián)合的分級(jí)字典,可以有效實(shí)現(xiàn)字典降維和結(jié)構(gòu)準(zhǔn)確匹配.圖5給出了分級(jí)樹(shù)結(jié)構(gòu),在梯度字典中的樹(shù)結(jié)構(gòu)分為一階及二階梯度特征子字典,紋理字典的方向樹(shù)結(jié)構(gòu)分為水平、豎直、左傾斜及右傾斜方向子字典.

圖5　多特征分類(lèi)字典及其分級(jí)樹(shù)結(jié)構(gòu) Fig.5　Multi-feature joint dictionaries and their classification trees

MFJD算法在字典訓(xùn)練時(shí)依據(jù)圖像熵E及方差σ2對(duì)圖像塊分類(lèi),圖像熵E定義為

(17)

式中，L是灰度級(jí)數(shù),pj是第j個(gè)像素灰度概率.方差σ2為

(18)

式中,qj是第j個(gè)像素灰度值,μ是塊平均灰度值.基于平滑/邊緣/紋理塊可接受分類(lèi)錯(cuò)誤率準(zhǔn)則,設(shè)置圖像熵閾值H1區(qū)分平滑塊,再比較方差閾值H2區(qū)分邊緣和紋理塊.因此圖像塊分類(lèi)準(zhǔn)則為:

(1)當(dāng)E

(2)當(dāng)E>H1且σ2>H2時(shí),該圖像塊判為邊緣塊；

(3)當(dāng)E>H1且σ2

平滑、邊緣及紋理塊將組合起來(lái)迭代訓(xùn)練邊緣結(jié)構(gòu)字典Dhe、Dle和紋理結(jié)構(gòu)字典Dht、Dlt，原理是：根據(jù)式(2),首先固定Dhe、Dle或Dht、Dlt,求解當(dāng)前最優(yōu)稀疏系數(shù)Z；然后保持Z不變,更新字典Dhe、Dle或Dht、Dlt；重復(fù)至字典收斂.訓(xùn)練步驟如下:

(1)按方差σ2和熵E,圖像塊分為平滑/邊緣/紋理塊；

(2)提取不同塊特征，邊緣塊用式(6)的梯度算子描述,紋理塊采用式(12)的LBP描述；

(3)根據(jù)式(2)聯(lián)合稀疏編碼字典訓(xùn)練方法,迭代更新得到邊緣字典Dhe、Dle和紋理字典Dht、Dlt.

輸入LR信號(hào)則按以下步驟實(shí)現(xiàn)SR字典重構(gòu):

(1)用雙三次插值算法將輸入LR圖像重構(gòu)至所需尺寸,然后分塊并分類(lèi),平滑塊直接視作HR平滑塊；

(2)對(duì)邊緣塊提取梯度特征,對(duì)紋理塊提取LBP碼；

(3)按式(4)計(jì)算塊稀疏系數(shù),用相應(yīng)字典重構(gòu)HR塊；

(4)按式(15)BTV正則項(xiàng)函數(shù),迭代求解HR圖像.

4實(shí)驗(yàn)結(jié)果與分析

用峰值信噪比(PSNR)、結(jié)構(gòu)相似度 (MSSIM)和特征相似度(FSIM)作為重構(gòu)質(zhì)量的評(píng)價(jià)指標(biāo).設(shè)X1為M×N原始HR圖像,X2為重構(gòu)HR圖像,PSNR為

(19)

PSNR單位為dB.另外從感知角度衡量,MSSIM為

(20)

(a)Airplane,

512×512(b)Man,

256×256

(c)Face,

276×276(d)Flower,

512×480

(e)Leaves,

256×256(f)Lena,

512×512

(g)Rough,

512×512(h)Grass,

512×512

(i)Word,

256×256(j)Line,

256×256

圖6標(biāo)準(zhǔn)SR算法測(cè)試圖像

Fig.6Standard test images for SR algorithms

式中,bi、ci、hi分別是X1和X2的第i個(gè)圖像塊的亮度、對(duì)比度及結(jié)構(gòu)比較函數(shù),α、ρ、γ是三者的調(diào)整權(quán)值,W是圖像塊的數(shù)目.類(lèi)似地,FSIM為

(21)

式中,SL(X1,X2)、G(X1,X2)分別是相位一致性特征和梯度特征的相似度測(cè)量,PSNR、MSSIM及FSIM值越大,重構(gòu)圖像的特征與原始圖像的特征相接近,重構(gòu)質(zhì)量越好.

4.1字典維數(shù)的選取分析

字典維數(shù)越大,原子數(shù)(直接逼近的結(jié)構(gòu))越多,重構(gòu)質(zhì)量越好；但訓(xùn)練和匹配耗時(shí)越長(zhǎng),需要平衡訓(xùn)練/重構(gòu)時(shí)間和重構(gòu)質(zhì)量.觀(guān)察單字典維數(shù)為64、128、256、512和1024時(shí)的訓(xùn)練時(shí)間曲線(xiàn) (見(jiàn)圖7,×2表示梯度和紋理雙字典),可見(jiàn):①字典維數(shù)和訓(xùn)練時(shí)間呈指數(shù)式單增關(guān)系；②當(dāng)維數(shù)為256和512時(shí),訓(xùn)練時(shí)間增幅較小,256/512維字典是合適的.

圖7　字典維數(shù)與訓(xùn)練時(shí)間關(guān)系 Fig.7　 Relationship between dictionary sizes and training time

圖8是同一圖像在不同維數(shù)字典下的重構(gòu)結(jié)果,對(duì)局部放大的花瓣檢測(cè)結(jié)構(gòu)和色彩失真,高維重構(gòu)圖8(d)、(e)比低維圖8(a)-(c)明顯清晰,后者存在明顯的邊緣贅生偽影.此時(shí)512維字典更合適.

(a)64×2

(b)128×2(c)256×2

(d)512×2(e)1024×2

圖8 不同字典維數(shù)下重構(gòu)結(jié)果

Fig.8 Reconstructed results by dictionaries with different sizes

表2、表3對(duì)比了不同維數(shù)字典的重構(gòu)結(jié)果和時(shí)間.從表2知:①重構(gòu)PSNR值隨維數(shù)增大而提高；②當(dāng)維數(shù)為512時(shí),重構(gòu)質(zhì)量的升幅最優(yōu),提高了0.0687dB.從表3看,由于重構(gòu)需要大量搜索最匹配原子,所以隨維數(shù)增加,重構(gòu)時(shí)間變長(zhǎng).綜合三者情況,當(dāng)單字典維數(shù)為1024時(shí),其重構(gòu)時(shí)間增幅近1min,而PSNR值的提升僅有0.0278 dB,比512維字典低效,因此確定選擇單個(gè)字典維數(shù)為512.

表2不同字典維數(shù)下重構(gòu)圖像的平均PSNR值

Table 2Average PSNR values of SR images with different dictionarysizes dB

圖像64×2128×2256×2512×21024×2Man23.321523.362823.370723.414923.4359Face28.149028.173428.180728.193128.1960Flower33.180033.209033.280633.330633.3425Leaves22.248722.275122.351922.527122.6566Lena29.730929.748829.803329.865129.8995平均值27.326027.353827.397527.466227.5061與前者的差值0.02780.04370.06870.0399

表3不同字典維數(shù)下重構(gòu)圖像的平均時(shí)間
Table 3Average consuming time with different dictionary sizes

圖像64×2128×2256×2512×21024×2Man14.1117.0522.4331.5456.33Face18.5221.8425.4835.9050.28Flower59.3065.6076.88112.11174.88Leaves25.2631.4341.7560.79121.24Lena61.5879.8797.06137.13234.83平均值35.7543.1652.7275.49127.51與前者的差值7.419.5622.7752.02

4.2LBP描述準(zhǔn)確性及誤差增量補(bǔ)償分析

對(duì)大小為512×512的圖像,計(jì)算以梯度特征及LBP碼字重構(gòu)紋理塊的平均誤差,分別為0.1755及0.0348,可見(jiàn)LBP碼字的描述誤差僅為梯度誤差的19.82%,顯然前者更準(zhǔn)確地描述了紋理塊.

同時(shí),為比較高頻預(yù)提升及誤差增量補(bǔ)償?shù)挠行?用69幅自然圖像構(gòu)成訓(xùn)練集TS,其高頻提升圖像訓(xùn)練集為BTS,從TS和BTS中分別隨機(jī)產(chǎn)生105個(gè)HR-LR塊對(duì),利用學(xué)習(xí)獲得兩個(gè)字典,表4示出了高頻預(yù)提升重構(gòu)圖像的PSNR值.由表4可知,字典進(jìn)行高頻預(yù)提升后重構(gòu)的PSNR值較未進(jìn)行預(yù)處理情形平均提高0.1874dB .

表4常規(guī)字典與高頻預(yù)提升字典重構(gòu)圖像PSNR比較
Table 4PSNR comparison of reconstructed images of regular and high frequency boost dictionarydB

圖像TSETSFace34.196234.3502Flower37.338737.5120Lena35.379835.5609Rough30.753130.9181Grass28.537728.8014

4.3正則參數(shù)設(shè)置

圖9　不同迭代步長(zhǎng)和正則參數(shù)下圖像重構(gòu)的平均PSNR值 Fig.9　Average PSNR of reconstructed images with different iterations and regular parameters

4.4重構(gòu)圖像的質(zhì)量比較

(a)HR梯度字典(b)LR梯度字典

(c)HR紋理字典(d)LR紋理字典

圖10MFJD原子圖

Fig.10Atom images of MFJD

圖11-13分別示出了各算法重構(gòu)圖像的PSNR值、MSSIM值和FSIM值比較,橫坐標(biāo)為實(shí)驗(yàn)圖序號(hào).實(shí)驗(yàn)結(jié)果表明,MFJD-SCSR重構(gòu)圖像的PSNR值、MSSIM值及FSIM值比SCSR的有提升,說(shuō)明重構(gòu)灰度值更接近原圖.總體上,SCSR、SDI-SCSR和MFJD-SCSR重構(gòu)500幅標(biāo)準(zhǔn)圖像的平均PSNR值分別為25.7368、25.9311及25.9792dB,平均MSSIM值分別為0.7497、0.7535及0.7540,平均FSIM值分別為0.8385、0.8453及0.8441.相比較原始的SCSR算法.MFJD-SCSR使PSNR值、MSSIM值及FSIM值分別提高0.2424dB、0.0043及0.0056，改進(jìn)后的SDI-SCSR和MFJD-SCSR算法重構(gòu)圖像的灰度值精度有所提升,重構(gòu)圖像特征更接近于原始HR圖像.其中:

圖11　不同算法重構(gòu)圖像的PSNR值比較 Fig.11　PSNR comparison of reconstructed images of diffe-rent algorithms

圖12　 不同算法重構(gòu)圖像的MSSIM值比較 Fig.12　MSSIM comparison of reconstructed images of diffe-rent algorithms

圖13　不同算法重構(gòu)圖像的FSIM值比較 Fig.13　FSIM comparison of reconstructed images of different algorithms

(2)對(duì)強(qiáng)紋理結(jié)構(gòu)圖像,如Rough、Grass等,算法重構(gòu)質(zhì)量不理想,因?yàn)?①紋理結(jié)構(gòu)復(fù)雜,在小區(qū)域內(nèi)灰度變化較大,因此下采樣LR圖像的細(xì)節(jié)信息嚴(yán)重丟失,重構(gòu)時(shí)需要估計(jì)更多信息；②采用自然圖像建立的先驗(yàn)?zāi)Ｐ?不完全符合紋理圖像的描述,模型失配必然導(dǎo)致重構(gòu)結(jié)果失真.相反,MFJD-SCSR采用LBP紋理特征,原子匹配準(zhǔn)確度和重構(gòu)圖像的PSNR優(yōu)于原始SCSR算法,達(dá)0.4382～0.9142dB.

圖14為3種算法對(duì)Rough圖像進(jìn)行4倍SR重構(gòu)的結(jié)果和原HR圖像.在SDI-SCSR和MFJD-SCSR重構(gòu)的Rough圖中,點(diǎn)狀紋理更清晰,這是由于MFJD采用了LBP紋理塊特征,重構(gòu)時(shí)可以更準(zhǔn)確地匹配字典原子.

(a)SCSR(b)SDI-SCSR(c)MFJD-SCSR (d)原始HR圖像

圖14Rough的4倍SR重構(gòu)結(jié)果與原始HR圖像

Fig.14Reconstructed results of Rough by a four times reconstruction and original HR image

4.5算法復(fù)雜度比較

SCSR、SDI-SCSR和MFJD-SCSR算法對(duì)500幅測(cè)試圖像進(jìn)行4倍SR重構(gòu)時(shí)平均耗時(shí)分別為388.8、78.76及88.54s,MFJD-SCSR的耗時(shí)僅為SCSR的22.77%,重構(gòu)速度明顯提升.MFJD-SCSR比SDI-SCSR的重構(gòu)時(shí)間減少10s左右,因?yàn)镮BP算法僅簡(jiǎn)單計(jì)算圖像差值,而MFJD-SCSR算法的BTV環(huán)節(jié)需計(jì)算圖像移位后差值,因而重構(gòu)速度減緩.

在上述實(shí)驗(yàn)中,SCSR、SDI-SCSR及MFJD-SCSR算法的選入加權(quán)原子數(shù)分別為1.459×106、2.882×105及2.903×105,MFJD-SCSR加權(quán)原子數(shù)目下降為SCSR的19.9%,加權(quán)復(fù)雜度大幅降低.SDI-SCSR及MFJD-SCSR算法加權(quán)原子數(shù)目接近,因?yàn)閮烧咴舆x入過(guò)程一致.MFJD-SCSR算法重構(gòu)時(shí)間及選入原子數(shù)減少的原因是:①一方面MFJD-SCSR根據(jù)內(nèi)容分類(lèi)來(lái)選擇字典,匹配效率得到提高；另一方面字典維數(shù)減少,待搜索原子數(shù)下降；②MFJD-SCSR提供紋理字典,且該字典維數(shù)較低,計(jì)算效率進(jìn)一步提高.

5結(jié)論

文中提出一種多特征聯(lián)合分級(jí)并用BTV正則優(yōu)化的MFJD-SCSR算法,主要改進(jìn)包括:①為改善SCSR單一字典尋找匹配原子效率低,分別構(gòu)建了邊緣塊梯度特征和紋理塊LBP字典,適用于不同的結(jié)構(gòu)；②在同一種字典中采用樹(shù)結(jié)構(gòu)組織聚類(lèi)原子,獲得更快的匹配速度；③引入BTV正則項(xiàng)約束尋優(yōu),可改善圖像邊緣的振鈴效應(yīng).實(shí)驗(yàn)結(jié)果表明,相比于原始SCSR算法,MFJD-SCSR改進(jìn)算法使PSNR值提高0.2424dB,使MSSIM值和FSIM值分別提高0.0043、0.0056.此外,結(jié)構(gòu)分類(lèi)使字典維數(shù)降低,MFJD-SCSR的重構(gòu)時(shí)間約為SCSR算法的22.77%,改善效果較明顯.

參考文獻(xiàn)：

[1]Ma Y,Zhang H,Xue Y.A novel super-resolution image reconstruction based on MRF [C]∥Proceedings of IEEE International Congress on Image and Signal Processing.Tianjin:IEEE,2009:1-4.

[2]Xi H,Xiao C,Bian C.Edge halo reduction for projections onto convex sets super resolution image reconstruction [C]∥Proceedings of IEEE International Conference on Digital Image Computing Techniques and Applications.Fremantle:IEEE,2012:1-7.

[3]Rasti P,Demirel H,Anbarjafari G.Iterative back projection based image resolution enhancement [C]∥Proceedings of IEEE Iranian Conference on Machine Vision and Image Processing.Zanjan:IEEE,2013:237-240.

[4]Lu X,Yuan Y,Yan P.Image super-resolution via double sparsity regularized manifold learning [J].IEEE Transactions on Circuits and Systems for Video Technology,2013,23(12):2022-2033.

[5]廖秀秀,韓國(guó)強(qiáng),沃焱,等.基于流形學(xué)習(xí)和梯度約束的圖像超分辨率重建 [J].華南理工大學(xué)學(xué)報(bào):自然科學(xué)版,2012,40(4):8-15.

Liao Xiu-xiu,Han Guo-qiang,Wo Yan,et al.Super-resolution image reconstruction based on manifold learning and gradient constraint [J].Journal of South China University of Technology:Natural Science Edition,2012,40(4):8-15.

[6]Yang J,Wright J,Huang T S,et al.Image super-resolution via sparse representation [J].IEEE Transactions on Image Processing,2010,19(11):2861-2873.

[7]Yang J,Wang Z,Lin Z,et al.Coupled dictionary training for image super-resolution [J].IEEE Transactions on Image Processing,2012,21(8):3467-3478.

[8]Hao P,Kamata S.Maximum correntropy criterion for discriminative dictionary learning [C] ∥Proceedings of IEEE International Conference on Image Processing.Melbourne:IEEE,2013:15-18.

[9]Yang S,Wang M,Chen Y,et al.Single-image super-resolution reconstruction via learned geometric dictionaries and clustered sparse coding [J].IEEE Transactions on Image Processing,2012,21(9):4016-4028.

[10]Bai W,Yang S,Liu J,et al.Image super resolution using saliency-modulated context-aware sparse decomposition [C] ∥Proceedings of IEEE International Conference on Visual Communications and Image Processing.Kuching:IEEE,2013:1-6.

[11]Tropp J A,Wright S J.Computational methods for sparse solution of linear inverse problems [J].Proceedings of the IEEE,2010,98(6):948-958.

[12]Tian J,Chen L.Image noise estimation using a variation-adaptive evolutionary approach [J].IEEE Signal Processing Letters,2012,19(7):395-398.

[13]Xu J,Ding X,Wang S,et al.Background subtraction based on a combination of texture,color and intensity [C] ∥Proceedings of IEEE International Conference on Signal Processing.Beijing:IEEE,2008:1400 -1405.

[14]Tian J,Chen L.Bayesian stereoscopic image resolution enhancement [C] ∥Proceedings of 18th IEEE International Conference on Image Processing.Brussels:IEEE,2011:1505-1508.

[15]Needell D,Ward R.Stable image reconstruction using total variation minimization [J].SIAM Journal on Imaging Sciences,2013,6(2):1035-1058.

Improved SCSR Algorithm on the Basis of Flexible LBP Texture

Dictionary and Multi-Feature Description

MaLi-hongHuangYinLiJian-hui

(School of Electronic and Information Engineering∥National Engineering Techonology Research Center for Mobile Ultrasonic Detection,

South China University of Technology, Guangzhou 510640, Guangdong, China)

Abstract:A multi-feature joint dictionary (MFJD) is suggested to improve the structural distinction in dictionary training and to accelerate the atom matching in sparse reconstruction.Firstly, two dictionaries branched respectively for edge- and texture-descriptions are created using gradient and LBP operators.Secondly, tree structures are introduced to represent the hierarchical clustering of atoms, which leads to a quick atom searching.Then, bilateral total variation (BTV) regularization is employed to achieve the optimal resolution.Experimental results show that, in comparison with the sparse coding super-resolution reconstruction (SCSR) algorithm, MFJD averagely improves the PSNR, MSSIM and FSIM of an image by 0.2424dB, 0.0043 and 0.0056, respectively, and reduces the reconstruction time to approximately 22.77% of that of SCSR algorithm owing to the reduction of dictionary dimensionality.

Key words: super-resolution reconstruction; structure classification; multi-feature description; LBP texture; bilateral total variation

Foundation items: Supported by the Open Research Project of the State Key Laboratory of Industrial Control Technology(ICT1434) and the Natural Science Foundation of Guangdong Province, China(S2013040014995)