煤巖顯微圖像劃痕檢測與去除方法

李瑤， 冷思雨， 雷萌， 鄒亮

(中國礦業(yè)大學 信息與控制工程學院， 江蘇 徐州 221116)

0 引言

利用光學顯微鏡觀察煤的顯微組分和光學特征對于煤的工藝性能界定具有重要意義[1-3]。常規(guī)的顯微組分分析測定方法勞動強度大且結果受測量者經(jīng)驗的影響，研究者嘗試使用圖像處理方法對煤巖顯微組分進行分析。然而，在煤光片的磨片或使用過程中常伴隨煤巖劃痕的產(chǎn)生，影響煤巖參數(shù)測定的準確性[4]。利用計算機視覺方法檢測和去除煤巖顯微圖像中的煤巖劃痕可有效提高煤光片利用率，是實現(xiàn)煤巖參數(shù)自動化測定不可缺少的圖像預處理環(huán)節(jié)。

鑒于煤巖劃痕多為直線，一些學者提出采用直線檢測算法對其進行檢測，并生成掩膜圖像，然后基于圖像修復算法去除圖像中的煤巖劃痕。例如，文獻[5]利用霍夫變換算法定位煤巖劃痕位置并生成相應的掩膜圖像，在基于快速行進的圖像修復算法中添加灰度距離因子,實現(xiàn)了對煤巖劃痕的有效去除。文獻[6]先對煤巖顯微圖像進行圖像增強，提高霍夫變換算法在煤巖劃痕檢測時的準確性，之后采用基于紋理合成的圖像修復算法對煤巖劃痕進行去除。然而，霍夫變換算法難以準確提取煤巖劃痕的空間形狀特征，邊緣信息不能得到有效細化，檢測過程容易出現(xiàn)煤巖劃痕漏檢和誤檢的情況；基于快速行進和紋理合成的圖像修復算法對煤巖劃痕的去除效果不夠理想，煤巖劃痕去除區(qū)域與周圍區(qū)域存在較大的紋理差異，圖像在視覺上出現(xiàn)明顯的不合理現(xiàn)象。

隨著人工智能技術的發(fā)展，基于卷積神經(jīng)網(wǎng)絡的語義分割算法被越來越多地應用于煤巖顯微圖像研究中。文獻[7]在U-Net的基礎上提出了一種融合并行多尺度特征的卷積神經(jīng)網(wǎng)絡，其中特征融合層負責淺層高分辨率特征和深層抽象特征的加權融合，該網(wǎng)絡能自動提取圖像中的裂隙特征，并對煤巖裂隙進行準確分割。文獻[8]將具有空間維度注意力的模塊嵌入到U-Net中，實現(xiàn)了對煤巖顯微圖像中顯著性特征的關注，并抑制了無關背景區(qū)域的關注權重，控制參數(shù)量的同時提高了基礎網(wǎng)絡模型的性能。在上述研究基礎上，本文提出了基于語義分割的煤巖劃痕檢測方法。在空間注意力模型的基礎上引入殘差結構[9]，并將其嵌入到卷積神經(jīng)網(wǎng)絡U-Net中，通過深度學習訓練有效提取和細化煤巖劃痕的空間特征和邊緣信息，使輸出結果更加接近真實的煤巖劃痕標簽。

借助圖像修復算法可實現(xiàn)煤巖劃痕區(qū)域的圖像重構。文獻[10]提出了基于區(qū)域匹配的圖像修復算法，主要思想是在整張圖像或圖像集中快速尋找對應于待修復區(qū)域的最優(yōu)相似補丁作為填充塊，該算法能夠通過隨機采樣找到一些較好的區(qū)域匹配，根據(jù)圖像的自然一致性將這種匹配快速傳播到周圍區(qū)域。在文獻[10]基礎上，文獻[11]對最近鄰查找數(shù)量、毗連區(qū)域搜索策略、描述符和距離度量等進行改進，以減少算法的計算復雜度，從而有效找到全局的、稠密的匹配，同時增加圖像缺失區(qū)域匹配與合成的多尺度信息，對于修復結構與紋理平滑的自然圖像有較好的效果。借鑒上述研究，本文采用基于改進區(qū)域匹配的圖像修復算法去除煤巖劃痕，能夠改善煤巖劃痕去除區(qū)域的紋理內(nèi)容，使煤巖顯微圖像在整體上更具視覺合理性。

1 基于語義分割的煤巖劃痕檢測方法

1.1 U-Net

U-Net的底層信息是由網(wǎng)絡經(jīng)過多次下采樣后得到的低分辨率特征，可為語義分割提供前景目標在整個圖像背景中的上下文語義信息，反映了前景目標與其周圍環(huán)境之間的特征關系。高層信息是由網(wǎng)絡經(jīng)過跨越連接操作從編碼器直接傳遞到同尺度的解碼器上的高分辨率特征，可為語義分割提供更加精細化的信息。U-Net具有對稱的編解碼結構，不僅能夠結合底層與高層的語義信息，同時跨越連接能夠使網(wǎng)絡充分地利用圖像中的信息。然而，基礎U-Net對于不相關區(qū)域中的特征激活難以自適應地進行抑制，容易造成模型參數(shù)冗余[12]。

1.2 改進空間注意力U-Net

空間注意力模型能夠自主地抑制圖像特征中不相關區(qū)域，突出顯示對特定任務有益的顯著特征，同時具有很強的通用性，能夠和主流的卷積神經(jīng)網(wǎng)絡結構實現(xiàn)較好的融合。因此，采用空間注意力模型來擴展基礎U-Net，能夠有效增強對前景目標的靈敏度，進而提高煤巖劃痕檢測的準確度[13-15]。

煤巖劃痕在圖像中具有較明顯的分布規(guī)律，語義特征明確，但容易受背景紋理信息的干擾。為進一步提高網(wǎng)絡性能，將殘差結構與空間注意力模型結合，通過殘差連接在高層特征中補充煤巖顯微圖像的語義信息，穩(wěn)定梯度傳播過程。改進空間注意力模型如圖1所示。

圖1 改進空間注意力模型Fig.1 Improved spatial attention model

(1)

αi=σ2(qatt(zi,gi;Θatt))

(2)

(3)

將改進空間注意力模型嵌入到U-Net中，同時為減少網(wǎng)絡的參數(shù)量，使用VGG卷積層替換基礎U-Net中的編碼器，改進空間注意力U-Net通過常規(guī)的全卷積神經(jīng)網(wǎng)絡訓練方式從頭開始訓練。改進空間注意力U-Net網(wǎng)絡結構如圖2所示。C1—C5，H1—H5，W1—W5分別為網(wǎng)絡第1—5層輸出特征圖的通道數(shù)、高度、寬度；Nc為網(wǎng)絡輸出圖像中所包含分類的類別。網(wǎng)絡訓練時，將煤巖顯微圖像作為改進空間注意力U-Net的輸入(通道數(shù)為3)，經(jīng)過網(wǎng)絡降采樣與上采樣操作，輸出煤巖劃痕語義分割結果(通道數(shù)為1)。其中，網(wǎng)絡的降采樣采用最大池化，上采樣采用雙線性插值法。

圖2 改進空間注意力U-Net網(wǎng)絡結構Fig.2 Network structure of improved spatial attention U-Net

2 基于改進區(qū)域匹配圖像修復算法的煤巖劃痕去除方法

基于區(qū)域匹配的圖像修復算法可在圖像塊之間快速查找最近鄰對應關系，圖像修復過程主要包括初始化和迭代。初始化是隨機的，迭代過程由傳播和隨機搜索交替進行，傳播過程收斂較快，但容易陷入局部最小值，隨機搜索通過檢查每個點與其周圍點的相似度來更新該點的匹配，從而消除該問題。

該算法定義了圖像A與最近鄰場之間的偏移量映射函數(shù)f：A→R2。設圖像中某點(x，y)相對于最近鄰場的偏移量初始化和傳播后為f(x,y)=v0(v0為(x,y)的匹配點)，隨機搜索階段通過測試從v0到一個指數(shù)遞減距離的候選偏移量序列來改善初始化的偏移量，候選偏移量序列為

uj=v0+wλjRj

(4)

式中：w為最大搜索半徑；λj為搜索窗口大小之間比例的指數(shù)增量(j∈N)；Rj為單位二維空間中的均勻隨機變量。

為進一步提高圖像修復質(zhì)量，基于改進區(qū)域匹配的圖像修復算法對圖像中每個待修復區(qū)域查找k個最近鄰圖像塊，因此最終提供的最近鄰圖像塊是一個多值映射結果。隨機搜索由單一的搜索策略轉(zhuǎn)變?yōu)榭绯叨燃靶D(zhuǎn)角度的搜索策略，將原有的搜索空間從(x，y)擴展到(x，y，θ，s)，其中θ代表角度，s代表尺度，這樣就將最近鄰場的定義擴展到映射函數(shù)f：R2→R4。在傳播階段，通過雅可比矩陣來變換相對偏移量。區(qū)域匹配時，計算2個區(qū)域間的相似性則采用歐氏距離作為距離度量方式，該距離對亮度變化具有魯棒性。

(5)

式中Δp為(0,1)內(nèi)的取值。

3 煤巖劃痕檢測與去除實驗

煤巖顯微圖像采集自130個煤光片樣本，圖像分辨率為2 580×1 944，位深度為24。由于原始圖像具有較高的分辨率，且圖像的部分區(qū)域?qū)儆诿簬r基質(zhì)或沒有煤巖劃痕的完整部分，所以需要對原始圖像進行剪裁，從而提取感興趣區(qū)域，最終得到180張含有煤巖劃痕的圖像。為得到準確的煤巖劃痕標簽圖像，邀請了有豐富經(jīng)驗的煤巖學研究者對含有煤巖劃痕的圖像進行專業(yè)的人工標注，并將煤巖顯微圖像數(shù)據(jù)集劃分為訓練集(150張)、驗證集(20張)和測試集(10張)。在訓練過程中，使用數(shù)據(jù)增廣技術對訓練集圖像實施一系列隨機改變(包括翻轉(zhuǎn)變換、隨機修剪、色彩抖動、平移變換、尺度變換和對比度變換等)，從而擴充圖像數(shù)據(jù)集規(guī)模。

在搭載NVIDA GTX1080的計算機上進行實驗，基于PyTorch深度學習框架搭建網(wǎng)絡，利用CUDA實現(xiàn)張量加速運算。設置輸入圖像的分辨率為256×256，批量大小為2，采用Adam優(yōu)化器和基于余弦退火的學習率更新策略。

3.1 煤巖劃痕檢測結果

采用霍夫變換算法、基礎U-Net和改進空間注意力U-Net對煤巖劃痕進行檢測，結果如圖3所示(綠色矩形框為同幅圖像內(nèi)紅色矩形框的放大內(nèi)容)。

圖3 煤巖劃痕檢測結果Fig.3 Coal scratch detection results

從圖3(a)可看出，煤巖劃痕呈較規(guī)則的直線形狀，內(nèi)部灰度存在明顯變化，所在區(qū)域也有結構上的差異，如1號標注區(qū)域相比其他部分灰度等級更低，2號標注區(qū)域出現(xiàn)了煤巖孔洞，3號標注區(qū)域煤巖劃痕與煤巖基質(zhì)相連。從圖3(c)可看出，霍夫變換算法漏檢了1號灰度較小區(qū)域，誤檢了2號孔洞區(qū)域，對于3號區(qū)域也存在漏檢情況，檢測結果無法準確描繪煤巖劃痕的邊緣特征，易造成后期去除過程中信息缺失。從圖3(d)可看出，基礎U-Net對于煤巖劃痕內(nèi)部不同的灰度等級能夠提供自適應的分割結果，掩膜圖像的煤巖劃痕邊緣具有較多的細節(jié)信息，但對于2號和3號標注區(qū)域分割的魯棒性較差，其中3號標注區(qū)域的分割結果受到煤巖基質(zhì)的干擾。從圖3(e)可看出，改進空間注意力U-Net檢測結果不僅準確反映了煤巖劃痕的邊緣細節(jié)，而且對于2號和3號標注區(qū)域具有較好的空間特征解析性能，更接近煤巖劃痕標簽圖像原本的空間特征。

針對圖3所示的煤巖劃痕，采用客觀評價指標——像素準確度及平均交并比對不同方法的檢測結果進行評價，結果見表1。可看出語義分割算法在像素準確度及平均交并比上相較于霍夫變換算法均得到明顯提高，其中改進空間注意力U-Net檢測性能最優(yōu)。

表1 不同煤巖劃痕檢測方法評價指標Table 1 Evaluation indexes of different coal scratch detection methods %

3.2 煤巖劃痕去除結果

將基于改進空間注意力U-Net得到的煤巖劃痕掩膜圖像與煤巖劃痕原始圖像進行拼接，煤巖劃痕區(qū)域的灰度等級全部變?yōu)?55。采用基于快速行進的圖像修復算法、基于區(qū)域匹配的圖像修復算法和基于改進區(qū)域匹配的圖像修復算法分別對煤巖劃痕進行去除，結果如圖4所示。

圖4 煤巖劃痕去除結果Fig.4 Coal scratch removal results

從圖4(c)可看出，基于快速行進的圖像修復算法去除結果中存在一些偽影現(xiàn)象，煤巖劃痕去除區(qū)域和周圍區(qū)域在紋理上存在較大差異。從圖4(d)、圖4(e)可看出，基于區(qū)域匹配和改進區(qū)域匹配的圖像修復算法均能夠使煤巖劃痕去除區(qū)域的灰度平滑過渡，符合圖像的局部特征，而基于改進區(qū)域匹配的圖像修復算法能夠使煤巖劃痕去除后產(chǎn)生符合圖像整體紋理特征的內(nèi)容，使圖像的視覺效果更加合理。

4 結論

(1) 針對基于霍夫變換算法的煤巖劃痕檢測存在邊緣信息缺失和漏檢、誤檢等問題，提出了基于語義分割的煤巖劃痕檢測方法。該方法引入殘差結構改進空間注意力模型，將改進空間注意力模型嵌入到U-Net中，并將VGG卷積層作為U-Net的圖像特征編碼器，可有效提取和細化煤巖劃痕的空間特征和邊緣信息，提供更加符合客觀事實的煤巖劃痕檢測結果。

(2) 針對采用基于快速行進的圖像修復算法去除煤巖劃痕時存在紋理差異的問題，采用基于改進區(qū)域匹配的圖像修復算法對煤巖劃痕進行去除。通過改變最近鄰圖像塊查找數(shù)量、隨機搜索空間維度和圖像塊偏移距離度量等參數(shù)，能夠有效改善煤巖劃痕去除過程產(chǎn)生的偽影現(xiàn)象，使煤巖劃痕去除區(qū)域與周圍區(qū)域的紋理特征更具有一致性，提升了煤巖顯微圖像整體視覺效果。