基于稀疏表示的對抗網(wǎng)絡(luò)圖像聚焦形貌修復(fù)

陸 焱，胡玉榮，郭 競

(1.荊楚理工學(xué)院計算機工程學(xué)院，湖北荊門448000；2.荊楚理工學(xué)院科技處，湖北荊門448000；3.西北大學(xué)信息科學(xué)與技術(shù)學(xué)院，西安長安 710127)

1 引言

隨著經(jīng)濟水平和科學(xué)技術(shù)的不斷發(fā)展，圖像技術(shù)在越來越多的行業(yè)中得到廣泛應(yīng)用，對于圖像采集的質(zhì)量和處理效果也提出了新的要求[1-2]。圖像在采集過程中往往會受到光影影響，導(dǎo)致圖像難以清晰地聚焦在采集圖像目標上，問題最突出的便是在人體形貌聚焦采集方面。因此多聚焦圖像融合與修復(fù)技術(shù)應(yīng)運而生[3]。然而，由于傳統(tǒng)的多聚焦圖像修復(fù)技術(shù)無法很好地實現(xiàn)圖像冗余信息的分離，對外界噪聲等影響因素敏感度也不高，對于人體形貌圖像的融合與修復(fù)的處理效果仍存在一些明顯缺陷。

相關(guān)學(xué)者對此進行了改進，取得了一定研究成果。曹義親等人提出基于卷積稀疏表示的圖像融合方法[4]，根據(jù)視覺顯著性融合圖像，通過Butworth低通濾波對高頻子帶系數(shù)進行調(diào)整，最后實現(xiàn)脈沖耦合神經(jīng)網(wǎng)絡(luò)的有效融合，此方法提升了圖像融合效率，但是圖像修復(fù)清晰度不佳。陳賽健等人提出基于生成對抗網(wǎng)絡(luò)的文本圖像聯(lián)合超分辨率與去模糊方法[5]，利用采樣模塊方法實現(xiàn)超分辨率圖像模塊劃分，利用去模糊模塊方法重建文本圖像，實現(xiàn)了圖像形貌修復(fù)。但是此方法去噪效果越好。

為此，本文提出了一種基于稀疏表示的對抗網(wǎng)絡(luò)多聚焦圖像形貌修復(fù)方法。稀疏表示是一種圖像表示模型，以其優(yōu)良的信號除雜與信息檢測分離功能，在諸多信息技術(shù)和圖像處理領(lǐng)域得到了廣泛的應(yīng)用。在圖像聚焦形貌處理方面，稀疏表示能夠更精準的完成圖像除雜降噪、圖像融合與局部圖像識別分辨等處理環(huán)節(jié)，完成較為理想的圖像聚焦形貌修復(fù)。

2 對抗網(wǎng)絡(luò)圖像聚焦形貌的圖像處理

2.1 圖像數(shù)據(jù)信息采集

對抗網(wǎng)絡(luò)圖像聚焦形貌修復(fù)的處理過程，首先要對目標圖像進行數(shù)據(jù)信息采集[5-6]。

由于圖像聚焦形貌修復(fù)技術(shù)主要是對圖像中的形貌部分進行修復(fù)處理，所以數(shù)據(jù)信息采集主要是針對形貌圖像信息進行檢測。首先在圖像中進行精準全面識別，然后按照用戶要求的處理標準和形貌處理的分辨率設(shè)定情況，對圖像進行放大；再根據(jù)圖像分辨率情況和相關(guān)要求，將識別圖像進行局部的區(qū)域劃分；再次利用圖像檢測與數(shù)據(jù)信息采集程序，對局部圖像進行清晰的信息檢測。對抗網(wǎng)絡(luò)圖像聚焦形貌的圖像信息采集流程如圖1所示：

圖1 對抗網(wǎng)絡(luò)圖像聚焦形貌的圖像信息采集流程

如果圖像素材中擁有多個相似圖像，則需要對相似圖像進行相同規(guī)則的圖像識別和信息檢測，然后將檢測獲取到的圖像信息數(shù)據(jù)按一定的分類規(guī)則進行整理，并通過數(shù)據(jù)檢測程序排除存在誤差缺漏的數(shù)據(jù)[7-8]。之后通過對比分析得到圖像形貌信息的具體情況，并將整理完畢的數(shù)據(jù)保存為目標圖像的數(shù)據(jù)集。同時，計算機系統(tǒng)會形成備份數(shù)據(jù)保存在系統(tǒng)的數(shù)據(jù)庫中，以防突發(fā)情況造成數(shù)據(jù)丟失。

2.2 聚焦形貌圖像處理

在獲取了目標圖像各方面的信息數(shù)據(jù)之后，可對獲取的圖像信息進行處理。首先需要進行多層次的圖像融合，圖像融合是指將擁有同一拍攝目標與相似背景環(huán)境的多幅圖像進行融合，以獲取到關(guān)于該圖像目標更全面精準的圖像[9，10]。在對抗網(wǎng)絡(luò)多聚焦圖像形貌修復(fù)處理過程中，需要利用圖像融合技術(shù)對多個目標圖像素材進行融合，以減少光影，噪點等環(huán)境因素的影響，形成圖像信息更加全面的多聚焦圖像。對抗網(wǎng)絡(luò)圖像融合示意圖如圖2所示。

圖2 對抗網(wǎng)絡(luò)圖像融合示意圖

分析圖2可知，本文選用的多層次圖像融合技術(shù)主要分兩個層次：首先是進行像素級的圖像融合，像素級的圖像融合是圖像融合的基礎(chǔ)，主要通過圖像像素識別與數(shù)據(jù)檢測程序，對目標圖像素材進行圖像像素數(shù)據(jù)的采集與分析，得到精確具體的圖像尺寸、像素個數(shù)以及分辨率，還包括色彩、光影等方面的像素數(shù)據(jù)；之后根據(jù)像素級圖像融合的數(shù)據(jù)情況進行特征級圖像融合。

級的融合圖像數(shù)據(jù)分析情況進行圖像特征預(yù)處理，提取圖像素材中的主要特征點，并根據(jù)圖像特征點的數(shù)據(jù)信息，通過相關(guān)性矩陣運算，獲取圖像信息數(shù)據(jù)集中相關(guān)性較高的特征數(shù)據(jù)，然后根據(jù)特征點數(shù)據(jù)信息對圖像素材進行特征匹配，能夠得到精度較高的融合圖像[11]。

根據(jù)圖像結(jié)構(gòu)對數(shù)據(jù)集中的所有圖像信息進行篩選，經(jīng)過圖像信息檢測確定一個圖像元素組成與圖像結(jié)構(gòu)較為穩(wěn)定的局部圖像信息作為參考標準，根據(jù)該部分圖像的紋理、結(jié)構(gòu)對其它圖像進行篩選，獲取數(shù)據(jù)信息相似度較高的圖像碎片。將符合要求的圖像部分進行拼接形成大致的目標圖像，針對存在缺漏破損的部分，整合與該部分相關(guān)聯(lián)的圖像信息數(shù)據(jù)通過計算程序獲得大致與圖像整體數(shù)據(jù)相關(guān)度較高的圖像信息數(shù)據(jù)，并將數(shù)據(jù)拼接融合到整體圖像中，完成目標圖像的初級融合與修復(fù)。

3 基于稀疏表示的對抗網(wǎng)絡(luò)圖像聚焦形貌修復(fù)

3.1 稀疏表示圖像修復(fù)算法

稀疏表示基本原理是假設(shè)目標信號信息數(shù)據(jù)中的元素大多為自然元素，那么這個信號信息是稀疏的，自然元素能夠通過原子的線性組合對信號進行表示，稀疏表示的模型主要根據(jù)目標信號信息數(shù)據(jù)的字典進行構(gòu)建。用x表示信號，D表示字典，α表示稀疏表示系數(shù)。利用圖像信息數(shù)據(jù)檢測分析得到的信號數(shù)據(jù)范圍，設(shè)定一個固定的字典矩陣，則信號的稀疏表示等同于信號數(shù)據(jù)的系數(shù)與字典矩陣的乘積，注意其中的信號元素為非零的自然元素[12]。

進行稀疏表示信號運算之前首先要完成字典類型的選擇。根據(jù)目標處理信息的類型與相關(guān)數(shù)據(jù)的大致情況，對字典矩陣進行大致的預(yù)估，再根據(jù)信號信息相應(yīng)特征，具體判斷選擇字典類型。

對于本文研究的對抗網(wǎng)絡(luò)圖像聚焦形貌修復(fù)技術(shù)，一般選用貪婪算法比較精準。本文采用的是貪婪算法中的追蹤匹配法，運算公式如下

(1)

(2)

式中，ωR、ωG、ωB分別代表R、G、B的權(quán)值。

利用頻域平滑濾波對圖像進行去噪，圖像噪聲、邊緣和跳躍表示高頻分量，圖像的背景以及變化緩慢的部分表示低頻分量，根據(jù)頻域濾波，可以將高頻分量去除，圖像得到了平滑，表達式如下

G(u，v)=H(u,,v)F(u，v)

(3)

式(3)中，F(xiàn)(u，v)為經(jīng)過傅里葉變換的原始圖像，G(u，v)為經(jīng)過傅里葉變換后的平滑電力設(shè)備圖像，H(u,,v)為濾波轉(zhuǎn)移函數(shù)。

為了便于圖像的處理，引入離散來表示對抗網(wǎng)絡(luò)圖像，r表示灰度級，pr(r)表示灰度的分布情況，滿足如下公式

(4)

其中，nk表示灰度像素rk一共出現(xiàn)的次數(shù)，n表示總像素。

由于對抗網(wǎng)絡(luò)圖像經(jīng)常會有對比度低的問題，直接影響了圖像的識別，通過對圖像增強，可以突出電力設(shè)備圖像的特征。利用直方圖均衡化對圖像特征區(qū)的對比度進行擴大，直方圖均衡化變換函數(shù)為

(5)

根據(jù)此式對目標信號數(shù)據(jù)進行稀疏求解，對相似圖像素材數(shù)據(jù)分別進行稀疏表示，再經(jīng)過累加迭代運算，得到該目標圖像精準度較高的圖像數(shù)據(jù)匹配與缺陷填補。

3.2 對抗網(wǎng)絡(luò)圖像聚焦形貌修復(fù)

基于上述圖像稀疏運算的結(jié)果數(shù)據(jù)，完成多聚焦圖像形貌修復(fù)處理。將稀疏表示運算結(jié)果導(dǎo)入到圖像處理系統(tǒng)程序中，以之前完成的初級融合圖像為基礎(chǔ)，根據(jù)稀疏表示結(jié)果數(shù)據(jù)，對圖像進行進一步細化與缺陷修補?；谙∈璞硎镜膶咕W(wǎng)絡(luò)圖像聚焦形貌修復(fù)流程如圖3所示。

圖3 基于稀疏表示的對抗網(wǎng)絡(luò)圖像聚焦形貌修復(fù)流程圖

由圖5可知，通過圖像生成器將信息數(shù)據(jù)轉(zhuǎn)化為對應(yīng)的圖像元素，對目標圖像存在缺陷的部分進行調(diào)整修補；完成修補之后，利用圖像處理程序?qū)D像細節(jié)方面處理，銳化形貌圖像，去除圖像模糊部分，提高圖像聚焦部分的分辨率，使生成的圖像更加清晰化。對于圖像中的線條與光影邊緣部分進行平滑處理，平衡穩(wěn)定圖像的色彩與結(jié)構(gòu)，降低圖像違和感。根據(jù)原始圖像素材對生成圖像進行對比分析，選取還原度最高的、最合理的生成圖像作為最終修補結(jié)果。對于存在缺陷的圖像部分，可再次進行圖像掃描檢測，消除修補區(qū)域的模糊部分，提高圖像的融合度，進一步增強了多聚焦形貌修復(fù)圖像的精確性與完整性。

4 實驗研究

為了驗證本文提出的基于稀疏表示的對抗網(wǎng)絡(luò)圖像聚焦形貌修復(fù)方法的有效性，與傳統(tǒng)方法進行實驗對比，實驗環(huán)境為：Intel Core i3550(3.2GHz)，4GB RAM，Windows7(32bit)，Net Logo V5.0.4。

設(shè)定實驗參數(shù)如表1所示。

表1 實驗參數(shù)

根據(jù)上述參數(shù)，選用本文提出的基于稀疏表示的對抗網(wǎng)絡(luò)圖像聚焦形貌修復(fù)方法為實驗組，傳統(tǒng)的基于深度學(xué)習(xí)的對抗網(wǎng)絡(luò)圖像聚焦形貌修復(fù)方法以及基于樣本塊的對抗網(wǎng)絡(luò)圖像聚焦形貌修復(fù)方法作為對照組，對圖像進行修復(fù)。引入DCT作為完備字典，分析內(nèi)部噪聲，將原來的圖像加入噪聲，同時加入中值濾波，利用峰值信噪比(PSNR)和均方誤差(MSE)作為參數(shù)指標，來衡量圖像的質(zhì)量。

未加入噪聲的圖像處理實驗結(jié)果如圖4所示。

圖4 未加入噪聲的圖像處理實驗結(jié)果

觀察上圖可知，本文提出的基于稀疏表示的對抗網(wǎng)絡(luò)圖像聚焦形貌修復(fù)方法，與傳統(tǒng)的基于深度學(xué)習(xí)的對抗網(wǎng)絡(luò)圖像聚焦形貌修復(fù)方法以及基于樣本塊的對抗網(wǎng)絡(luò)圖像聚焦形貌修復(fù)方法都能對圖像進行復(fù)原，但是很難復(fù)原成原來的樣子。就圖像恢復(fù)清晰度來看，本文提出的基于稀疏表示的對抗網(wǎng)絡(luò)圖像聚焦形貌修復(fù)方法清晰度高于傳統(tǒng)修復(fù)方法。圖像質(zhì)量評價指標如下表2所示。

表2 未加入噪聲圖像質(zhì)量評價指標

上表的質(zhì)量參數(shù)能更加直觀地反映出三種修復(fù)方法的修復(fù)能力。在PSNR上，本文提出的圖像修復(fù)方法優(yōu)于傳統(tǒng)方法，但是這種優(yōu)勢并不明顯，而在MSE指標上本文提出的方法修復(fù)能力更好。

加入噪聲的圖像處理實驗結(jié)果如圖5所示。

圖5 加入噪聲的圖像處理實驗結(jié)果

由上圖可知，本文提出的修復(fù)方法能夠更好地處理噪聲問題，提高信息的采集能力，實現(xiàn)信息修復(fù)。而傳統(tǒng)方法在處理噪聲問題上，有著明顯的弊端，即使完成修復(fù)，得到的信息也十分模糊。對于噪聲圖像質(zhì)量評價指標如表3所示。

表3 加入噪聲圖像質(zhì)量評價指標

觀察表3可知，本文設(shè)計的方法對于噪聲圖像的修復(fù)能力要明顯優(yōu)于傳統(tǒng)修復(fù)方法，本文方法引入稀疏表示模型，將圖像塊聚類之后，利用K-SVD字典對圖像進行訓(xùn)練，訓(xùn)練后與圖像的稀疏系數(shù)相乘，從而得到更好的修復(fù)結(jié)果。

5 結(jié)束語

本文基于傳統(tǒng)的多聚焦圖像修復(fù)技術(shù)存在的弊端，提出了一種基于稀疏表示的對抗網(wǎng)絡(luò)圖像聚焦形貌修復(fù)方法。這種方法能通過對圖像數(shù)據(jù)信息的稀疏表示運算結(jié)果，獲取關(guān)于目標圖像各方面參數(shù)更精準的數(shù)據(jù)信息，并結(jié)合圖像融合技術(shù)對目標圖像進行較為完整的圖像融合，同時利用圖像生成技術(shù)將稀疏表示所得數(shù)據(jù)轉(zhuǎn)化為圖像元素，實現(xiàn)對圖像缺陷部分的精準修補。本文研究的方法對于對抗網(wǎng)絡(luò)的多聚焦形貌圖像有良好的修復(fù)和處理效果，有很強的適用性，能夠為聚焦圖像修復(fù)領(lǐng)域的相關(guān)技術(shù)研究提供一定的價值參考。