一種基于多尺度特征復(fù)用殘差網(wǎng)絡(luò)的礦山圖像重建算法

馬 琳 蘇 明 蘭義湧

(1.北京開放大學(xué)科學(xué)技術(shù)學(xué)院,北京 100081;2.中央民族大學(xué)理學(xué)院,北京 100081)

礦山圖像重建的關(guān)鍵在于如何準(zhǔn)確地還原圖像的細(xì)節(jié)信息,以實現(xiàn)對礦山場景的真實再現(xiàn)。 近年來,深度學(xué)習(xí)技術(shù)在圖像處理領(lǐng)域的應(yīng)用取得了顯著成效。 深度學(xué)習(xí)模型通過層層堆疊的神經(jīng)網(wǎng)絡(luò),能夠自動學(xué)習(xí)并提取圖像中的高級語義特征,從而改善圖像處理的效果,實現(xiàn)圖像重建。 此外,由于礦山場景的復(fù)雜性導(dǎo)致圖像中存在大量的細(xì)節(jié)和紋理結(jié)構(gòu),傳統(tǒng)的圖像處理方法難以準(zhǔn)確捕捉這些細(xì)節(jié)信息。 因此,如何有效利用深度學(xué)習(xí)技術(shù),提高礦山圖像重建的精度和效率成為了當(dāng)前研究熱點和難點。

現(xiàn)階段,根據(jù)各類算法獲取圖像細(xì)節(jié)方式的差異,可分為基于插值[1-2]和基于機(jī)器學(xué)習(xí)[3-4]兩類。插值算法是一種基于特定基函數(shù)或插值核來實現(xiàn)原圖像與重構(gòu)圖像之間映射關(guān)系的方法。 KEYS[5]采用雙三次插值(Bicubic)算法進(jìn)行圖像重建,該方法重建結(jié)果缺乏細(xì)節(jié)信息,存在明顯的塊效應(yīng)和視覺模糊,但算法計算較為簡便。 HAUPTMANN 等[6]提出直接學(xué)習(xí)一種由多尺度深度神經(jīng)網(wǎng)絡(luò)建模的插值方案,從極坐標(biāo)中可用傅里葉系數(shù)預(yù)測二維笛卡爾坐標(biāo)中的傅里葉系數(shù),利用少量和有噪聲的測量值重建高質(zhì)量的圖像。 劉月峰等[7]使用3 種插值方法和5 種銳化方法在底層進(jìn)行預(yù)處理,并將僅進(jìn)行一次插值操作的圖像和先進(jìn)行一次插值后進(jìn)行一次銳化的圖像進(jìn)行合并,并按照三維矩陣形式排列。 在非線性映射層,將這些經(jīng)過預(yù)處理的三維特征映射作為深層殘差網(wǎng)絡(luò)的多通道輸入。 在重建層中,為了減少圖像重建的時間消耗,引入了亞像素卷積操作來完成圖像重建過程。 近年來,在機(jī)器學(xué)習(xí)算法快速發(fā)展的背景下,基于神經(jīng)網(wǎng)絡(luò)的圖像重建算法應(yīng)運而生。 卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)[8]作為一種深度學(xué)習(xí)模型,具備對圖像進(jìn)行端到端的學(xué)習(xí)和表征能力。 該算法利用其強(qiáng)大的特征提取和學(xué)習(xí)能力,能夠從低分辨率圖像中恢復(fù)出高分辨率細(xì)節(jié),從而實現(xiàn)圖像的超分辨率重建。 通過CNN 的卷積層、池化層和激活函數(shù)等構(gòu)建的深層網(wǎng)絡(luò)結(jié)構(gòu),可以逐層提取和學(xué)習(xí)圖像的特征信息。 這種逐層抽象的方式使得網(wǎng)絡(luò)能夠捕捉到不同層次、不同尺度的圖像特征,包括紋理、邊緣、結(jié)構(gòu)等。 同時,CNN 還能夠通過大量的訓(xùn)練樣本進(jìn)行參數(shù)優(yōu)化和模型訓(xùn)練,進(jìn)一步提升其圖像表征能力和重建效果。 QIAO 等[9]提出了一種SRCNN ( super-resolution convolutional neural network)算法,首次將CNN 應(yīng)用于重建領(lǐng)域。 卷積神經(jīng)網(wǎng)絡(luò)通過端到端的非線性映射極大提高了超分辨率重建的性能,并且該處理過程極大減少了人工特征干預(yù)。 CAO 等[10]提出了一種EDSR 算法,通過改進(jìn)殘差網(wǎng)絡(luò),舍棄了層歸一化操作,通過堆疊網(wǎng)絡(luò)提取深層次特征,改善了圖像重建效果。 LIU[11]通過將密集連接和殘差連接與RDN( residual dense network for image super-resolution)算法進(jìn)行融合,在一定程度上提升了RDN 模型的圖像重建能力。 ZHANG 等[12]認(rèn)為在高頻信息部分LR 圖像和HR 圖像通常差異較大,而差異較小的一些低頻信息將會直接到達(dá)網(wǎng)絡(luò)深層。 為此,提出了VDSR(Very Deep CNN for SR)算法,基于Bicubic 算法放大LR 圖像,在與目標(biāo)尺寸相似的情況下融合低頻信息與高頻信息,實現(xiàn)了圖像重建。 VDSR 算法以單向傳播為主,基于 CNN 網(wǎng)絡(luò)進(jìn)行傳播,使得深層次的網(wǎng)絡(luò)層接收到的信號弱化。 對此,ZHANG 等[13]提出了一種MemNet 網(wǎng)絡(luò),該網(wǎng)絡(luò)結(jié)構(gòu)中的記憶模塊主要由遞歸以及門控單元組成。MemNet 網(wǎng)絡(luò)通過自適應(yīng)學(xué)習(xí)保持持續(xù)記憶,進(jìn)一步加深了網(wǎng)絡(luò)層次。 ZHANG 等[14]提出了一種DCSR網(wǎng)絡(luò),采用標(biāo)準(zhǔn)卷積以及擴(kuò)張卷積相融合的方法,證明了混合卷積網(wǎng)絡(luò)能夠增強(qiáng)低分辨率圖像與高分辨率圖像之間的相關(guān)性,提升重建效果。

在礦山圖像重建方面的研究中,不少學(xué)者進(jìn)行了卓有成效的工作。 ZHANG 等[15]使用從礦山已挖掘區(qū)域獲得的密集樣本信息構(gòu)建一般外觀模型,而后調(diào)節(jié)該模型以考慮核心樣本圖像中的數(shù)據(jù),通過在學(xué)習(xí)后對RBM 中隱含的分布信息進(jìn)行采樣來完成重建。汪海濤等[16]基于在線多字典學(xué)習(xí)算法提出了一種礦井圖像重建模型,該模型基于K-means 聚類將訓(xùn)練集劃分為多類,并通過訓(xùn)練不同類的高低分辨率字典,從而提高了對復(fù)雜環(huán)境特征的表示能力,以及模型對于稀疏系數(shù)求解的準(zhǔn)確性,提升了重建性能。 程德強(qiáng)等[17]基于融合層次特征以及注意力機(jī)制,提出了一種輕量化的礦井圖像超分辨率重建方法。 上述研究雖然豐富了圖像重建方法,但在礦山特定場景下依然存在不足:① 對于礦山圖像的多尺度特征提取不充分,無法充分捕捉圖像中的細(xì)節(jié)和紋理結(jié)構(gòu);② 缺乏有效的特征融合和復(fù)用機(jī)制,導(dǎo)致重建結(jié)果的準(zhǔn)確性有待提升。

本研究在已有成果的基礎(chǔ)上,提出一種基于多尺度特征復(fù)用殘差網(wǎng)絡(luò)的礦山圖像重建算法。 首先,設(shè)計一個多尺度特征提取模塊,通過堆疊多個并行的卷積層和池化層,并結(jié)合局部殘差網(wǎng)絡(luò)構(gòu)建圖像特征提取模塊,以充分提取圖像的多尺度細(xì)節(jié)特征,包括不同的語義信息和空間分辨率,從而捕捉到圖像中的不同細(xì)節(jié)和紋理結(jié)構(gòu)。 其次,引入特征復(fù)用模塊,將不同尺度的特征進(jìn)行融合和復(fù)用,以增強(qiáng)圖像重建的準(zhǔn)確性。 通過多尺度的特征交互和信息傳遞,能夠有效利用全局和局部的上下文信息,提高圖像的重建性能。 為了驗證所提算法的有效性,在自建的礦山圖像重建數(shù)據(jù)集上進(jìn)行試驗驗證。

1 多尺度復(fù)用殘差網(wǎng)絡(luò)的礦山圖像重建算法

針對礦山圖像重建中細(xì)節(jié)損失導(dǎo)致重建質(zhì)量低下等問題,本研究提出了一種基于多尺度復(fù)用殘差網(wǎng)絡(luò)的礦山圖像重建算法,算法結(jié)構(gòu)如圖1 所示。 該算法首先將采集的原始礦山圖像進(jìn)行預(yù)處理,并將其分為多個不同大小和分辨率的子圖像。 對每一個子圖像都使用一個預(yù)訓(xùn)練的殘差網(wǎng)絡(luò)提取特征,得到高維特征向量。 在特征提取階段之后,通過將特征向量按照尺度進(jìn)行聚合,從而獲得多尺度信息。 然后利用重建網(wǎng)絡(luò)對聚合后的特征進(jìn)行反卷積與上采樣操作,逐步恢復(fù)被遮擋的礦區(qū)圖像。 值得注意的是,在重建過程中,所有尺度的信息都被復(fù)用,使得整個算法具有更強(qiáng)的表達(dá)能力。 由于殘差網(wǎng)絡(luò)具有端對端的優(yōu)化能力和語義信息的保留特點,因此該算法在重建質(zhì)量、魯棒性和計算速度等方面均具有明顯優(yōu)勢。

圖1 多尺度復(fù)用殘差網(wǎng)絡(luò)的礦山圖像重建算法框架Fig.1 Framework of mine image reconstruction algorithm based on multi-scale multiplexing residual network

1.1 殘差密集網(wǎng)絡(luò)

礦山圖像重建的前提是需要對低質(zhì)量的圖像進(jìn)行提高分辨率和降噪處理。 本研究結(jié)合殘差密集網(wǎng)絡(luò)(Residual Dense Network,RDN)[11]提出了一種多尺度特征復(fù)用圖像重建算法。 RDN 采用了多個密集塊來提取圖像的多尺度信息,每個密集塊內(nèi)部由多個殘差塊組成,從而產(chǎn)生了非常深的網(wǎng)絡(luò)結(jié)構(gòu)(圖2)。同時,RDN 通過跨層連接方式在不同層之間傳遞信息,使得每個密集塊都可以利用之前的特征,從而避免了信息丟失,在保證召回率的同時顯著提高了精確度。 此外,RDN 還引入了密集連接和通道注意力機(jī)制,以進(jìn)一步優(yōu)化網(wǎng)絡(luò)性能。 密集連接保留了每個密集塊內(nèi)部的特征,避免了信息丟失;通道注意力機(jī)制[18]則用于自適應(yīng)地調(diào)整每個通道的權(quán)重,從而更好地利用特征圖中的信息。

圖2 殘差密集網(wǎng)絡(luò)Fig.2 Residual Dense Network

RDN 的核心部分是密集的殘差塊(Residual Dense Block,RDB),每個殘差塊由多層卷積層和密集的殘差連接組成,計算公式為

式中,Xi為重建任務(wù)中輸入的低分辨率圖像;Hli為殘差塊i中第l層的輸出;Fi為殘差塊中的非線性映射函數(shù),視為一個密集連接的多層卷積網(wǎng)絡(luò);D為殘差塊中卷積層的數(shù)量;L為殘差塊中最后一層的層數(shù);TLi-1為殘差塊i中最后一層的殘差項,可進(jìn)行如下計算:

1.2 金字塔多尺度特征聚合模塊

為使得網(wǎng)絡(luò)具有多尺度檢測能力,本研究利用金字塔多尺度特征聚合模塊(Pyramid Feature Fusion Module,PFM),將不同層次的特征層使用反卷積擴(kuò)展到相同的尺寸,然后進(jìn)行元素級別的相加。 主要目的是對來自不同尺度的特征進(jìn)行融合,以提高重建效果。 如圖3 所示,PFM 的核心部分是金字塔池化(Pyramid Pooling)操作和特征融合操作,在金字塔多尺度特征聚合模塊中,輸入特征首先被送入一個分成多個尺度的子網(wǎng)絡(luò)中。 每個子網(wǎng)絡(luò)都會對相應(yīng)尺度的特征做出處理和池化操作,得到經(jīng)過降采樣的尺度特征;然后通過反卷積或上采樣和相應(yīng)的卷積操作,將每個尺度的特征圖恢復(fù)到原始輸入圖像的尺寸;最終,所有的尺度特征會被融合在一起,輸出給后續(xù)的神經(jīng)網(wǎng)絡(luò)模型使用。

圖3 金字塔多尺度特征聚合模塊Fig.3 Pyramid multi-scale feature aggregation module

金字塔特征聚合模塊可表示為

式中,Fpfn為金字塔特征聚合結(jié)果;f1、f2、f3和f4分別表示輸入特征圖的不同尺度;⊕為特征圖在對應(yīng)位置上的加和操作;upsample 為反卷積或上采樣操作;W為權(quán)重參數(shù)。

當(dāng)輸入特征圖的不同尺度被放入金字塔多尺度特征聚合模塊之后,經(jīng)過上述計算得到的輸出Fpfm將會包含從不同尺度下提取的特征信息。 這些特征信息融合在一起,每個位置的特征都具有了更全面的感受野,使得檢測器能夠更好地適應(yīng)不同尺度的目標(biāo),并且具有更強(qiáng)的適應(yīng)性和魯棒性。

1.3 優(yōu)化器

Adam(Adaptive Moment Estimation)優(yōu)化器[19]是一種自適應(yīng)梯度下降算法,結(jié)合了RMS Prop 和Momentum 兩種優(yōu)化器的優(yōu)點。 相較于其他優(yōu)化器,Adam 具有更快的收斂速度和更廣泛的適應(yīng)性。 Adam優(yōu)化器通過移動平均估計每個參數(shù)的梯度和平方梯度的無偏估計,從而動態(tài)調(diào)整學(xué)習(xí)率以更新模型的權(quán)重。 該方法計算步驟如下:

(1)梯度。 對于損失函數(shù)L與網(wǎng)絡(luò)參數(shù)θ,通過求解反向傳播得到參數(shù)θ的梯度值gt,其中t為當(dāng)前迭代次數(shù)。

(2)梯度平方。 使用當(dāng)前梯度的平方g2t作為指數(shù)加權(quán)平均的形式進(jìn)行累加,并計算出其偏差校正后的值,公式為

其中,mt為歷史梯度的指數(shù)加權(quán)平均值;β1為一個0～1 范圍內(nèi)的衰減因子,常規(guī)取值為0.9。

其中,vt為歷史平方梯度的指數(shù)加權(quán)平均值;β2為一個0～1 范圍內(nèi)的衰減因子,常規(guī)取值為0.999。

(4)更新參數(shù)。 基于上述計算結(jié)果和當(dāng)前迭代次數(shù)t,更新網(wǎng)絡(luò)參數(shù)θ。

2 試驗分析

2.1 試驗參數(shù)設(shè)置

本研究所提模型以Pytorch 深度學(xué)習(xí)框架為基礎(chǔ),在Ubuntu 18.04 LTS 系統(tǒng)進(jìn)行試驗。 為確保試驗結(jié)果準(zhǔn)確可靠,選用配備32 GB 內(nèi)存的Intel Core i9 CPU 和NVIDIA GeForce RTX 3090 GPU 的Ubuntu 系統(tǒng)服務(wù)器作為試驗平臺,以提高算法運行效率和可靠性。 首先采用圖像重建任務(wù)中的公共數(shù)據(jù)集DIV2K進(jìn)行模型訓(xùn)練。 DIV2K 數(shù)據(jù)集中共有1 000 幅2 560×1 440 分辨率圖像,本研究以其中800 幅高分辨率圖像作為訓(xùn)練集,驗證集以及測試集各100 幅。 再使用本研究自建礦山圖像重建數(shù)據(jù)集進(jìn)行遷移學(xué)習(xí),以保證算法更適用于礦山場景數(shù)據(jù)。

2.2 評價指標(biāo)

本研究模型測試過程中主要采用圖像重建領(lǐng)域常規(guī)評價指標(biāo)如結(jié)構(gòu)相似性(Structural SIMilarity,SSIM)[20]以及峰值信噪比(Peak Signal to Noise Ratio,PSNR)[21]對重建效果進(jìn)行評估。 結(jié)構(gòu)相似度是一種用于比較圖像或視頻質(zhì)量的指標(biāo), 考慮了結(jié)構(gòu)信息的相似性,因此更符合人眼感知。 該指標(biāo)通過測量原始圖像和待比較圖像之間的結(jié)構(gòu)相似性來評估待比較圖像的質(zhì)量。 在圖像重建中,結(jié)構(gòu)相似度經(jīng)常被用來表示與原始圖像的相對分辨率差異。 該指標(biāo)通過3 個指標(biāo)來描述圖像質(zhì)量,即亮度相似性(Luminance Similarity)、對比度相似性(Contrast Similarity)和結(jié)構(gòu)相似性(Structure Similarity)。 結(jié)構(gòu)相似度可進(jìn)行如下計算:

其中,l(x,y) 、c(x,y) 和s(x,y) 分別為亮度相似性、對比度相似性和結(jié)構(gòu)相似性;x和y分別為原始圖像和比較圖像;α、β、γ為權(quán)重參數(shù)。

SSIM的取值區(qū)間為[-1,1],“1”表示兩幅圖像完全相同,“0”表示差異最大,“-1”表示兩幅圖像完全不同。

峰值信噪比衡量了原始信號與由該信號所產(chǎn)生的壓縮后信號之間的差異程度,常用于比較數(shù)字圖像或視頻編碼質(zhì)量,取值越大,表示圖像質(zhì)量越好。 峰值信噪比計算公式為

其中,MAX為原始信號的最大取值;MSE為原始信號與壓縮信號之間的均方誤差。 由于PSNR的計算依賴于原始信號的最大取值MAX,因此其對信號動態(tài)范圍的影響比較敏感。

2.3 對比試驗

為分析本研究采用的密集殘差網(wǎng)絡(luò)對于重建算法的影響,通過控制長短殘差連接,設(shè)計了4 組消融試驗驗證殘差性能,試驗結(jié)果見表1。 其中“×”表示在該組試驗中不采用該連接方案,“√”表示在該組試驗中采用該連接方案。

表1 密集殘差連接結(jié)構(gòu)對于算法性能的影響Table 1 Influence of dense residual connection structure on algorithm performance

由表1 可知:當(dāng)復(fù)用殘差網(wǎng)絡(luò)使得遠(yuǎn)距離與短距離殘差交替使用時,所構(gòu)建的深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)更為穩(wěn)定,且所學(xué)習(xí)到的深層次與淺層次的多尺度有效特征更多,從而可以更快地傳遞網(wǎng)絡(luò)信息,提升重建效果。 僅使用短距離殘差連接會使得模型學(xué)習(xí)到較多的淺層特征,最終重建效果不理想。 當(dāng)只設(shè)計遠(yuǎn)距離殘差連接時,對于局部特征的提取能力較差。

此外,為了探究金字塔多尺度特征聚合模塊對于本研究所提算法性能的影響,設(shè)計了一組關(guān)于特征聚合的消融試驗,結(jié)果見表2。 其中,“×”表示在該組試驗中不采用該連接方案,“√”表示在該組試驗中采用該連接方案。

表2 字塔多尺度特征聚合模塊對于算法性能影響Table 2 Influence of the multi-scale feature aggregation module on algorithm performance of the tower

由表2 可知:在去除多尺度特征和聚合模塊以后,SSIM下降0.062 1,PSNR下降1.721 dB。 當(dāng)保留多尺度特征時,SSIM下降0.043 5,PSNR下降1.008 dB,反映出所提算法結(jié)構(gòu)具有良好的重建性能。部分礦山數(shù)據(jù)集重建效果如圖4 所示。

3 結(jié) 語

提出了一種基于多尺度特征復(fù)用殘差網(wǎng)絡(luò)的礦山圖像重建算法,以提高礦山場景下圖像重建的精度和效率。 通過設(shè)計一個多尺度特征提取模塊,可以充分提取圖像的多尺度細(xì)節(jié)特征信息。 通過引入特征復(fù)用模塊,將不同尺度的特征進(jìn)行融合和復(fù)用,以增強(qiáng)圖像重建的準(zhǔn)確性。 試驗表明:該算法在重建精度和效率方面性能較好,并且具有較快的訓(xùn)練和推斷速度,具有一定的應(yīng)用前景。