基于稀疏表示的無(wú)人機(jī)圖像超分辨率重建研究

摘 要：圖像分辨率是衡量無(wú)人機(jī)圖像質(zhì)量的重要指標(biāo)，然而受圖像傳感器和光學(xué)器件的限制，無(wú)人機(jī)圖像的清晰度難以達(dá)到要求，針對(duì)上述問(wèn)題，利用無(wú)人機(jī)圖像庫(kù)訓(xùn)練得到高、低分辨率圖像塊字典。同時(shí)提出一種基于范數(shù)的優(yōu)化模型，利用全局約束的則化協(xié)同表示求解低分辨率圖像在上述聯(lián)合字典下得到高分辨率圖像，使之復(fù)雜度大大降低且重建速度得到較大提升。通過(guò)重建實(shí)驗(yàn)對(duì)比表明，這種字典的構(gòu)造方法能使重建出的無(wú)人機(jī)圖像更具表現(xiàn)力。

關(guān)鍵詞：稀疏表示;圖像超分辨率;正則化協(xié)同;聯(lián)合字典

無(wú)人機(jī)航拍在交通監(jiān)控、環(huán)保監(jiān)測(cè)等許多戶外視覺(jué)系統(tǒng)中現(xiàn)已得到廣泛應(yīng)用。高分辨率（High resolution，HR）的無(wú)人機(jī)圖像能夠提供更高的像素密度，可提供更加準(zhǔn)確的信息。然而，由于戶外環(huán)境復(fù)雜，并且無(wú)人機(jī)攜帶的成像設(shè)備受成本、飛行載重等因素制約，成像結(jié)果無(wú)法滿足實(shí)際需要。因此，提升成像質(zhì)量成為無(wú)人機(jī)航拍應(yīng)用的關(guān)鍵問(wèn)題。

超分辨率重建技術(shù)作為一種提高圖像分辨率的有效方法，現(xiàn)主要分為基于插值的超分辨率算法[1]、基于重建的超分辨率算法[2]和基于學(xué)習(xí)的超分辨率算法[3]?；诓逯档某直媛仕惴ㄏ鄬?duì)簡(jiǎn)單，具有較低的運(yùn)算復(fù)雜度，但是重建出的高分辨率圖像的邊緣會(huì)產(chǎn)生陰影?；谥亟ǖ某直媛仕惴▽⒑芏嘞闰?yàn)知識(shí)作為約束，但是這類(lèi)方法重建出的圖像會(huì)過(guò)于平滑，損失了較多細(xì)節(jié)?？傮w而言，基于學(xué)習(xí)的超分辨率重建方法是目前研究的主流方向，其效果也是最好的。

1 無(wú)人機(jī)圖像的稀疏字典

無(wú)人機(jī)圖像超分辨率過(guò)程包括LR圖像去噪、插值和去模糊、對(duì)LR圖像的現(xiàn)有成像模型進(jìn)行處理。LR成像過(guò)程可以通過(guò)以下方式建模：

其中D是模糊運(yùn)算符，H是下采樣運(yùn)算符，n是在LR圖像生成中引入的噪聲，x是目標(biāo)HR圖像，y是觀察到的LR圖像。在圖像超分辨率重建中，利用圖像先驗(yàn)知識(shí)對(duì)高分辨率圖像的估計(jì)過(guò)程進(jìn)行約束以使結(jié)果唯一。

對(duì)已有的高分辨率特征圖像塊集Qh和得到的低分辨率特征圖像塊集Ql，Dh令表示高分辨率字典，Dl表示低分辨率字典。高低分辨率字典都采用K-SVD進(jìn)行訓(xùn)練，對(duì)應(yīng)得到高分辨率字典訓(xùn)練如下：

X表示對(duì)應(yīng)字的低分辨率字典的稀疏表示矩陣。對(duì)應(yīng)得到高分辨率字典的訓(xùn)練形式：

X表示對(duì)應(yīng)字的高分辨率字典的稀疏表示矩陣，對(duì)公式（2）和（3）進(jìn)行合并訓(xùn)練，使高分辨率字典和低分辨率字典具有相同的稀疏表示，形式如下：

其中：

M和N對(duì)應(yīng)高低特征圖像塊以向量表示的維度，利用上述方法，以公式（4）的形式輸入，聯(lián)合HR和LR樣本集，采用稀疏編碼的方法訓(xùn)練得到具有相同稀疏表示的雙字典Dh和Dl。

2 全局稀疏約束的正則化項(xiàng)

考慮到一幅自然圖像中通常會(huì)存在相似的結(jié)構(gòu)，即存在結(jié)構(gòu)相似的圖像塊，圖像恢復(fù)中經(jīng)常利用這種全局相似性作為圖像塊恢復(fù)時(shí)的約束條件，并取得較好的效果，在圖像去噪問(wèn)題中尤為明顯。如果對(duì)已求得的所有待恢復(fù)圖像塊的稀疏表示系數(shù)進(jìn)行聚類(lèi)，那么理論上結(jié)構(gòu)相似的圖像塊的表示系數(shù)也應(yīng)該具有類(lèi)似的分布。基于此考慮，Dong等人在提出結(jié)構(gòu)聚類(lèi)型字典時(shí)也提出了稀疏系數(shù)的聚類(lèi)，用數(shù)學(xué)表達(dá)式可以記為，

其中，X是N個(gè)圖像塊的聯(lián)合（以列的形式），Λ是所有系數(shù)列αi的聯(lián)合。上式通過(guò)迭代求解，在每次迭代得到系數(shù)Λ后，將所有系數(shù)αi聚成K類(lèi)，βk是第K類(lèi)系數(shù)的類(lèi)中心，在每次迭代時(shí)約束第K類(lèi)的系數(shù)αi向此類(lèi)的類(lèi)中心βk靠近。

本文的思想是將全局稀疏約束與聯(lián)合稀疏約束的思想結(jié)合起來(lái)，對(duì)相似塊的表示系數(shù)進(jìn)行相似約束。

3 實(shí)驗(yàn)結(jié)果及分析

本文具體實(shí)驗(yàn)過(guò)程和步驟如下：

Step1：設(shè)置字典訓(xùn)練參數(shù)。字典大小設(shè)置為1024，圖像塊大小為5×5，λ=0.06，采樣圖像塊數(shù)量為100 000，縮放因子為4。

Step2：獲取訓(xùn)練樣本圖像。在無(wú)人機(jī)圖像退化模型的基礎(chǔ)上獲得訓(xùn)練樣本。使用雙三次插值將LR圖像插值放大到和HR圖像同大小的圖像。

Step3：訓(xùn)練字典。對(duì)HR圖像和LR圖像分別進(jìn)行分塊，分快的大小為5×5，然后，使用（5）式的方法對(duì)圖像塊進(jìn)行訓(xùn)練，得到高低分辨率圖像訓(xùn)練字典Dh和Dl。

Step4：無(wú)人機(jī)圖像設(shè)置重建參數(shù)，λ=0.06，圖形快之間的最大重疊數(shù)為4，縮放因子為4，反投影法的迭代次數(shù)為30。在重建過(guò)程中，對(duì)原始HR測(cè)試圖像進(jìn)行2倍下采樣處理得到LR圖像，并使用雙三次插值法。使用本文的方法，對(duì)LR圖像進(jìn)超分辨率重建，獲得HR圖像。

評(píng)價(jià)超分辨率圖像質(zhì)量主要分為主觀評(píng)價(jià)和客觀評(píng)價(jià)，前者是通過(guò)觀察人員的主觀感受來(lái)評(píng)價(jià)重構(gòu)圖像質(zhì)量，后者是根據(jù)量化指標(biāo)來(lái)衡量輸出圖像質(zhì)量。我們選取了均方誤差MSE，峰值信噪比PSNR和結(jié)構(gòu)相似度SSIM來(lái)綜合評(píng)價(jià)重構(gòu)圖像性能。其中，MSE如下所示：

式（7）h、w、k中分別表示圖像的長(zhǎng)，寬和通道;式（8）中的n等于8;式（9）中的l（x，y）、c（x，y）、s（x，y）分別表示圖像的亮度、對(duì)比度和結(jié)構(gòu)相似度。MSE越小代表重建圖像和原始圖像誤差越小，PSNR和SSIM越大表示重構(gòu)圖像越接近原始圖像。

4 不同方法超分辨率重建效果對(duì)比

分別使用雙三次插值法，OMP法和本文方法對(duì)無(wú)人機(jī)圖像進(jìn)行超分辨率重建所示。使用RMSE和PSNR對(duì)圖像重建結(jié)果進(jìn)行客觀評(píng)價(jià)，評(píng)價(jià)結(jié)果和運(yùn)行時(shí)間如表1所示。

表1的實(shí)驗(yàn)數(shù)據(jù)表明，本文算法的主觀目視效果和客觀評(píng)價(jià)指標(biāo)均有所提高，運(yùn)行用時(shí)最少。

5 結(jié)論分析

本文在傳統(tǒng)的圖像超分辨率重建的基礎(chǔ)上，根據(jù)全局稀疏約束正則化項(xiàng)的思想，對(duì)稀疏表示的超分辨率正則化約束項(xiàng)進(jìn)行改進(jìn)，并將其用于無(wú)人機(jī)圖像的稀疏表示的超分辨率重建，結(jié)果表明，算法效果和視覺(jué)效果顯著提升。運(yùn)行時(shí)間也得到大幅改善。在基于稀疏表示的無(wú)人機(jī)圖像超分辨率重建技術(shù)上，圖像的紋理信息提取和字典的訓(xùn)練效率還有許多改善的地方，故將來(lái)要針對(duì)此進(jìn)行進(jìn)一步的改進(jìn)。

參考文獻(xiàn)

[1]蘇衡，周杰，張志浩.超分辨率圖像重建方法綜述[J].自動(dòng)化學(xué)報(bào)，2013，39（08）：1202-1213.

[2]潘宗序，禹晶，肖創(chuàng)柏，孫衛(wèi)東.基于自適應(yīng)多字典學(xué)習(xí)的單幅圖像超分辨率算法[J].電子學(xué)報(bào)，2015，43（02）：209-216.

[3]李素梅，雷國(guó)慶，范如.基于卷積神經(jīng)網(wǎng)絡(luò)的深度圖超分辨率重建[J].光學(xué)學(xué)報(bào)，2017，37（12）：132-140.

作者簡(jiǎn)介

鄧凱（1992-），男，漢，貴州，學(xué)生，研究生，重慶交通大學(xué)土木工程學(xué)院，研究方向：地質(zhì)災(zāi)害檢測(cè)預(yù)警。