一維空洞卷積神經(jīng)網(wǎng)絡的礦物光譜分類

田青林，郭幫杰，葉發(fā)旺，李 瑤，劉鵬飛，陳雪嬌

1.核工業(yè)北京地質(zhì)研究院遙感信息與圖像分析技術國家級重點實驗室，北京 100029 2.Zachry Department of Civil and Environmental Engineering,Texas A&M University,Texas 77843,USA

引 言

近年來，深度學習技術不斷發(fā)展，被廣泛應用于圖像分類[2]、語音識別[3]、醫(yī)學信號處理[4]等領域。卷積神經(jīng)網(wǎng)絡(convolutional neural network，CNN)[5-6]是深度學習中一個重要網(wǎng)絡結(jié)構，其強大的學習和分類能力遠超傳統(tǒng)機器學習方法，具有廣泛適用性。何東遠等[7]提出一種一維CNN模型對恒星光譜進行分類，并給出了不同波段對不同恒星類型的貢獻率，具有較高的分類精度和魯棒性。趙勇等[8]提出一種一維CNN模型，對雌激素粉末拉曼光譜進行分類，無需光譜預處理和特征提取步驟，展現(xiàn)出良好的分類性能和抗噪聲干擾能力。

本工作通過引入空洞卷積，將一維空洞卷積神經(jīng)網(wǎng)絡(one-dimensional dilated convolutional neural network，1D-DCNN)應用于礦物光譜分類領域，研究礦物類別的端到端檢測，分析了卷積類型和迭代次數(shù)對模型分類結(jié)果的影響，并與反向傳播算法(back propagation，BP)和支持向量機(support vector machine，SVM)方法結(jié)果進行對比。

1 實驗部分

1.1 光譜數(shù)據(jù)采集

測量礦物光譜的儀器為美國ASD公司的FieldSpec@3型便攜式光譜儀(350～2 500 nm)，共2 151個波段，考慮到邊緣波段噪聲及數(shù)據(jù)量的原因，在380～2 420 nm波長范圍，按3 nm間隔進行重采樣，得到511個波段。光譜儀視場角為25°，數(shù)據(jù)采集過程中將光纖探頭垂直于礦物樣本，距離約2 cm，盡量使采集到的光譜數(shù)據(jù)不受干擾。

按照上述方法采集白云母、白云石、方解石、高嶺石四種礦物光譜樣本，數(shù)量分別為478條、972條、540條、976條，如圖1所示。

圖1 部分礦物光譜數(shù)據(jù)(a)：白云母；(b)：白云石；(c)：方解石；(d)：高嶺石Fig.1 Part of the mineral spectra(a)：Muscovite；(b)：Dolomite；(c)：Calcite；(d)：Kaolinite

1.2 模型與算法

1.2.1 光譜數(shù)據(jù)增強

CNN的優(yōu)異性能需要大量數(shù)據(jù)樣本作為支撐。充足的訓練樣本有助于網(wǎng)絡模型充分學習樣本類內(nèi)特征和類間區(qū)別。而受樣本數(shù)量、采集環(huán)境、測量設備等限制，一般較難獲取大量帶有標簽的礦物光譜數(shù)據(jù)，故采用數(shù)據(jù)增強的方式擴充樣本。具體方法是向原始礦物光譜數(shù)據(jù)中添加強度不等的隨機高斯白噪聲，將白云母光譜擴充至1 434條，白云石光譜擴充至2 916條，方解石光譜擴充至1 620條，高嶺石光譜擴充至2 928條。經(jīng)過數(shù)據(jù)增強，得到包含四類礦物光譜樣本的數(shù)據(jù)集共8 898條，并按照6∶1∶3比例劃分為訓練集、驗證集和測試集，用于模型訓練、參數(shù)優(yōu)化及精度測試。

1.2.2 一維空洞卷積神經(jīng)網(wǎng)絡模型

CNN模型應用于圖像語義分割領域時，重復的卷積、池化操作會降低特征圖分辨率，導致圖像細節(jié)結(jié)構和邊緣信息丟失[10]。而在光譜分類中同樣面臨上述問題，為此通過引入空洞卷積來解決這一問題，在保持分辨率的同時擴大濾波器感受野，盡可能地保留光譜細節(jié)特征。對一維光譜信號的情形，需要進行一維空洞卷積操作，如圖2所示，當空洞率rate=1時，空洞卷積相當于標準卷積，濾波器以連續(xù)的方式對輸入信號進行處理，當rate=2時，在原始濾波器的每個元素間插入一個0，以跳躍的方式處理信號。

圖2 一維空洞卷積示意圖[9](a)：標準卷積；(b)：空洞卷積Fig.2 Schematic of one-dimensional dilated convolution(a)：Standard convolution；(b)：Dilated convolution

因此，針對礦物光譜數(shù)據(jù)的特點，設計了1D-DCNN模型，其結(jié)構如圖3所示，詳細參數(shù)見表1。模型包含1個輸入層，3個空洞卷積層，卷積核大小分別為5×1，3×1和3×1，卷積核數(shù)量均為64，步長為1，空洞率為2，選擇ReLU作為激活函數(shù)。2個池化層緊接在第1個和第2個空洞卷積層之后，池化核大小均為3×1，步長為2，池化類型為最大池化。第3個空洞卷積層之后緊接2個全連接層，最后通過softmax輸出層得到分類概率預測。

圖3 一維空洞卷積神經(jīng)網(wǎng)絡結(jié)構Fig.3 The structure of one-dimensional dilated convolutional neural network

表1 1D-DCNN網(wǎng)絡各項參數(shù)Table 1 The parameters of 1D-DCNN

1.2.3 模型訓練

1D-DCNN網(wǎng)絡模型采用交叉熵作為損失函數(shù)，使用SGD(stochastic gradient descent)優(yōu)化器進行訓練，具體參數(shù)設置為學習率lr=0.008，權值衰減系數(shù)decay=0.000 000 1，動量momentum=0.5，Epoch=200。為實現(xiàn)1D-DCNN模型快速收斂，訓練集被分成多個批次(batch)，批處理樣本數(shù)量(batch size)設置為40。

1.2.4 模型評價方法

采用訓練集和測試集的判別準確率作為模型評價指標。判別準確率P可表示為

(1)

式(1)中：Nc為判別正確的樣本數(shù)目，Na為樣本總數(shù)目。

2 結(jié)果與討論

2.1 卷積類型對1D-DCNN模型的影響

為檢驗卷積類型對模型性能的影響，將1D-DCNN中空洞卷積替換為標準卷積，記為1D-CNN，其他參數(shù)保持不變，比較二者分類精度和收斂速度差異，結(jié)果如圖4所示。

圖4 不同卷積核類型的模型性能比較Fig.4 Model performances with different convolution kernel types

從圖4可以看出，在網(wǎng)絡訓練過程中，1D-CNN模型的最佳分類精度為98.78%，而引入空洞卷積的1D-DCNN模型精度更高，達到99.40%，提高了0.62%。在收斂速度方面，1D-DCNN模型在迭代23次后便達到94%的分類準確率，而1D-CNN模型達到相近精度需要迭代60次。由此可見，引入空洞卷積同時能夠加快收斂速度，提高計算效率，使模型更快得到精確結(jié)果。

2.2 迭代次數(shù)對1D-DCNN模型的影響

為選取最優(yōu)的網(wǎng)絡迭代參數(shù)，對比了不同迭代次數(shù)對模型精度的影響，結(jié)果如表2所示。當?shù)螖?shù)很少時，模型訓練不夠充分，網(wǎng)絡參數(shù)未達到最優(yōu)，分類準確率較差；隨著迭代次數(shù)增加，準確率隨之提高；當?shù)螖?shù)達到足夠量時，模型分類效果變化不大，網(wǎng)絡達到收斂狀態(tài)。綜合考慮模型精度和效率，選擇迭代次數(shù)為200。

表2 不同迭代次數(shù)的1D-DCNN模型判別結(jié)果Table 2 1D-DCNN model discrimination results of different number of iteration

2.3 不同分類方法精度對比

為驗證1D-DCNN模型的礦物光譜分類性能，將BP算法、SVM與1D-DCNN進行對比，各分類器均已經(jīng)過參數(shù)調(diào)試和優(yōu)化，分類結(jié)果如表3所示。

表3 不同算法分類準確率Table 3 The classification accuracies of different algorithms

根據(jù)表3結(jié)果可以看出，1D-DCNN分類效果最好，準確率達到99.32%；其次是BP算法，準確率為98.65%；最后是SVM，準確率為97.94%。相比于BP、SVM等傳統(tǒng)機器學習算法，本文提出的1D-DCNN方法是通過構建具有多個隱含層的學習模型和大規(guī)模訓練數(shù)據(jù)，提取低層光譜特征并組合形成更抽象的高層語義類別信息，從而提高光譜分類的準確率。

3 結(jié) 論

提出了基于一維空洞卷積神經(jīng)網(wǎng)絡的礦物光譜分類方法。設計了9層網(wǎng)絡結(jié)構，采用交叉熵為損失函數(shù)，隨機梯度下降為優(yōu)化器，無需任何數(shù)據(jù)預處理操作，實現(xiàn)了白云母、白云石、方解石、高嶺石四種礦物類別的端到端檢測。

(1)1D-DCNN模型展現(xiàn)出強大的特征學習和表達能力，避免了復雜的光譜預處理及特征提取過程。通過引入空洞卷積，在保持特征分辨率的同時擴大濾波器感受野，盡可能地保留光譜細節(jié)信息，提高分類精度。

(2)實驗結(jié)果表明，與BP、SVM方法相比，1D-DCNN模型對礦物光譜分類準確率更高，達到99.32%，展現(xiàn)出良好的分類性能。

在后續(xù)研究中，會嘗試增加礦物種類和樣本數(shù)量，設計更高效的深度學習模型，為礦物光譜規(guī)?；瘷z測提供可靠的技術支持。此外，還可將1D-DCNN模型推廣到煤炭、油氣、月壤等其他領域的光譜分類應用中。