基于深度學習的黃色工業(yè)金剛石檢測方法

楊建新， 蘭小平， 王 波， 閆 蕾， 趙 振， 馮亞東

(1. 中國兵器工業(yè)信息中心， 北京 100089)

(2. 中南鉆石有限公司， 河南 南陽 473264)

黃色工業(yè)金剛石作為工業(yè)金剛石中的一種高產(chǎn)量產(chǎn)品，具有尺寸小、硬度高、形狀不規(guī)則、質量輕等特點。其優(yōu)異的物理、機械等性能使它可以廣泛應用于刀具、石材加工、鉆探等工業(yè)領域。由于黃色工業(yè)金剛石在形成過程中受到溫度、壓力等復雜環(huán)境因素影響，在凈度、形狀、大小等方面差異較大，現(xiàn)行黃色工業(yè)金剛石的檢測主要依靠人工在放大20～100倍的光學顯微鏡下觀察其形貌來完成，這種方法不僅效率低、人工成本高，而且往往受視力、辨別力、疲勞強度等因素的影響，檢測質量的一致性難以得到有效保障。

國內(nèi)外采用機器視覺技術對工業(yè)金剛石凈度、晶形等的分類及分析取得了一些進展與應用。Dialnspect系統(tǒng)能夠實現(xiàn)金剛石顆粒的大小以及形狀參數(shù)的檢測[1]，但是其價格極為昂貴，檢測效率不高；熊輝[2]采用基于顏色和形狀的模板匹配法實現(xiàn)了對金剛石顆粒的分類及數(shù)目統(tǒng)計；史長瓊等[3]通過改進Canny算法有效提取金剛石的顆粒圖像邊緣，自動測量了金剛石的粒徑；王慶海[4]在實驗室環(huán)境下采用HALCON軟件結合機器視覺實現(xiàn)了金剛石顆粒粒徑、圓度、橢圓度、凈度、形狀等參數(shù)的測量；石廣豐等[5]通過機器視覺對金剛石的尺寸、形態(tài)與顏色信息重構，生成了可供計算機輔助設計的金剛石三維模型。

深度卷積神經(jīng)網(wǎng)絡技術的迅猛發(fā)展為黃色工業(yè)金剛石的質量檢測提供了新的方向[6-8]。李世超等[9]采用BP神經(jīng)網(wǎng)絡對全自動顯微影像檢測儀采集的金剛石橢圓度、透光度等形貌參數(shù)進行訓練，實現(xiàn)了對金剛石的TI、TTI值的預測；潘秉鎖等[10]提出了基于空洞卷積神經(jīng)網(wǎng)絡的語義分割模型，構建了含有16層的深度學習網(wǎng)絡和小型的金剛石顆粒圖像分割數(shù)據(jù)集，較好地解決了顆粒中亮斑的歸類問題，實現(xiàn)了金剛石顆粒圖像的完整分割。

綜上所述，雖然機器視覺和深度學習在工業(yè)領域都有一定的應用，但圍繞金剛石的批量化檢測尚未有相關的技術研究。因此，為滿足黃色工業(yè)金剛石的精準、高效檢測需求，本試驗提出了基于深度學習的黃色工業(yè)金剛石檢測方法，構建了基于多個卷積神經(jīng)網(wǎng)絡模型的集成檢測算法[11-12]，通過多個基分類器的信息融合實現(xiàn)了黃色工業(yè)金剛石的分類決策，從而使得該算法在單一深度學習模型準確性和魯棒性不足的情況下能夠實時、準確、高魯棒性地對黃色工業(yè)金剛石品級進行分析。

1 試驗原理

黃色工業(yè)金剛石檢測系統(tǒng)硬件機械結構如圖1所示，主要由原料倉單元、提取料單元、理料單元、上料單元、傳送單元、視覺識別單元、下料單元等部分組成。其工作過程如下：

圖1 系統(tǒng)硬件結構圖

待分級黃色工業(yè)金剛石貯存在原料倉單元中，通過提取料單元將黃色工業(yè)金剛石提取至理料單元；上料單元每次精準地從理料單元中抓取一顆小尺寸、不規(guī)則形狀的黃色工業(yè)金剛石至傳送單元；當黃色工業(yè)金剛石進入傳送單元后，通過傳送單元的旋轉機構將其運送至視覺識別單元，同時觸發(fā)CCD工業(yè)相機對黃色工業(yè)金剛石進行圖像采集。將采集的金剛石圖片傳入PC機，進行圖像處理以及品級分類，PC機把分析結論信號傳送給PLC，由PLC控制傳送單元旋轉到下料單元，根據(jù)檢測結果系統(tǒng)將不同品級的黃色工業(yè)金剛石放入不同的收納桶里，完成黃色工業(yè)金剛石的質量檢測。黃色工業(yè)金剛石典型缺陷如圖2所示。

2 關鍵算法

2.1 圖像采集

本試驗中黃色工業(yè)金剛石樣本圖像均采集于河南省某工業(yè)金剛石制造企業(yè)。根據(jù)周圍環(huán)境光線，調(diào)整相機曝光時間、增益、白平衡和光源的亮度等可控參數(shù)至最佳狀態(tài)后，進行原始樣本圖片采集。設定圖像分辨率為900×1 200像素，圖像格式為jpg。

2.2 圖像處理

由于采集到的樣本圖像中包含大量的空余區(qū)域，為消除冗余信息，節(jié)省運算時間，在模型訓練前需要預先對采集的原始樣本圖片進行處理。首先對原始樣本圖片進行預處理，增強圖像對比度，采用自適應閾值算法進行圖像二值化，獲得圖像的前景和背景。然后采用腐蝕與膨脹、最小外接矩形檢測等圖形處理方法[13]對原始樣本圖片進行處理,如圖3所示。

圖像處理過程主要步驟如下：

(1)灰度化。對原始樣本圖片進行灰度化處理。

(2)濾波去噪。對步驟1得到的圖像使用低通濾波器平滑圖像中的高頻噪點，降低圖像的變化率，減少金剛石周圍瑕疵對裁切的影響。

(3)二值化。將步驟2中所得圖像進行自適應二值化，以便更好地進行邊緣檢測。

(4)腐蝕與膨脹。為消除經(jīng)步驟3后圖像中白色斑點對黃色工業(yè)金剛石區(qū)域輪廓檢測的干擾，對圖像分別執(zhí)行腐蝕與膨脹形態(tài)學處理。

(5)最小外接矩形檢測。使用輪廓檢測算法查找圖像中所有聯(lián)通區(qū)域的外輪廓，并通過最小外接矩形算法計算所有外輪廓的最小外接矩形。

(6)對(5)中的最小外接矩形進行面積大小、長寬比例等過濾，得到包含黃色工業(yè)金剛石圖像區(qū)域的矩形頂點坐標，根據(jù)該坐標對原始樣本圖像進行裁切。

2.3 多重集成分類器設計

2.3.1 基分類器的選取

自從早期的LeNet[14]、AlexNet[15]等經(jīng)典卷積神經(jīng)網(wǎng)絡出現(xiàn)后，經(jīng)過大量學者的不斷優(yōu)化改進涌現(xiàn)出很多結構較復雜、性能較好的網(wǎng)絡模型，如VGG-16[16]、Inception-V3[17]、ResNet-50[18]等。其中，VGG-16采用連續(xù)的多個3×3卷積核代替AlexNet中較大的卷積核，在保證具有相同感知野的條件下，通過不斷加深網(wǎng)絡結構來提升網(wǎng)絡整體的性能；Inception-V3模型在原有Inception模型中加入BN層的基礎上，將N×N卷積核改為1×N和N×1卷積核，加速計算的同時進一步增加了網(wǎng)絡的深度和非線性；ResNet-50模型通過引入殘差網(wǎng)絡結構，在一定程度上解決了隨著網(wǎng)絡層數(shù)的疊加而出現(xiàn)的梯度消失的問題，且相較于ResNet-18和ResNet-34，ResNet-50準確率有較大提升。

為提高預測性能和分類精度，減少單個分類器的誤差，本試驗選用VGG-16、Inception-V3和ResNet-50等3種差異化明顯且性能較好的卷積網(wǎng)絡模型作為基礎模型。將處理后的黃色工業(yè)金剛石樣本圖像按照網(wǎng)絡各自輸入要求放縮后進行訓練，形成3個不同的模型，即基分類器。然后通過集成多個基分類器的方式實現(xiàn)黃色工業(yè)金剛石品級的劃分。其檢測流程圖如圖4所示。

圖4 檢測算法流程圖

2.3.2 集成分類器的構建

目前，常用的集成學習方法主要有Boosting、Bagging、隨機森林、投票法和學習法等[19]。由于黃色工業(yè)金剛石本身的復雜性，待測樣本具有一定的隨機性，各基分類器對其分類的效果存在差異性，需要為每個品級的樣本選取一組最佳的基分類器權重，方能得到最優(yōu)的分類結果。因此，本試驗選用加權投票法[20-22]構建集成分類器，詳細步驟如下：

(1)針對k分類問題，采用m個基分類器進行集成分類時，各個基分類器分別對于樣本集D進行預測，統(tǒng)計各基分類器對各品級樣本預測的準確率，將每個基分類器的品級預測準確率表示為一個向量Pm(D)=(Pm1(D),Pm2(D),…,Pmk(D))。若其屬于各類預測的準確率越高，那么分類時的確定性越大；同理，如果預測的準確率較低，那么分類時的確定性越小，越不利于分類。

(2)所有基分類器預測的準確率輸出矩陣如式(1)：

P(D)=

(1)

式中：Pij(D)表示分類器i對第j個品級的預測準確率，i=1，2，…，m，j=1，2，…，k(m=3，k=3)。

(3)借鑒多分類任務中SoftMax函數(shù)將多分類的輸出轉換為概率的方法，使用SoftMax函數(shù)將基分類器對各分類預測的準確率映射為分類器對該分類的融合權重系數(shù)ωij，如式(2)所示：

(2)

(4)對于單一樣本x，各個基分類器的預測概率如式(3)所示：

P(x)=

(3)

式中：pij(x)表示分類器i將樣本x預測為第j個品級的概率。

(5)對樣本x的各類別預測概率進行加權融合，得到集成分類器E的預測類別描述，如式(4)所示：

(4)

(6)集成分類器E對于樣本x的最終輸出類別為Class(x)，如式(5)所示。

(5)

3 試驗結果與討論

本試驗開發(fā)了1臺基于深度學習的黃色工業(yè)金剛石檢測系統(tǒng)(如圖5所示)，配有1臺IPC-610工控機，CPU為I7 3.4 GHz，內(nèi)存16 G，15寸安美特液晶觸摸屏，采用維視公司生產(chǎn)的MV-EM500C系列攝像機、BT23系列雙遠心鏡頭，西門子公司的SMART200系列PLC。

目前，根據(jù)晶形缺陷(凸起、凹陷、裂紋)和內(nèi)部雜質在黃色工業(yè)金剛石中分布情況，企業(yè)將2 mm規(guī)格的黃色工業(yè)金剛石分為2240、2280和2290等3種品級。品級劃分標準如下：當內(nèi)部雜質占比與外形缺陷占比均為0時，為2290品級；當內(nèi)部雜質占比不超過25%，外形缺陷占比不超過25%或者為0時，為2280品級；當外形缺陷占比大于25%時，為2240品級；當內(nèi)部雜質占比大于25%時，也為2240品級。利用上述系統(tǒng)分別對2 mm規(guī)格的2240、2280和2290等3種品級的黃色工業(yè)金剛石進行圖像采集(如圖6所示)，每種品級的黃色工業(yè)金剛石樣本圖像均采集12 000張，并按5∶1的比例劃分為訓練集與驗證集。

圖6 三種品級金剛石樣本圖

3.1 基分類器的訓練

訓練集樣本圖像經(jīng)圖像處理后，采用VGG-16、Inception-V3、ResNet-50等3種基礎網(wǎng)絡進行基分類器訓練。訓練過程中主要公共超參量設置如下：最大迭代次數(shù)為100 000，批處理參數(shù)為64，初始學習率為0.001，學習率衰減因子為0.9，模型中所有參數(shù)的二次正則化超參數(shù)為0.000 04。3種網(wǎng)絡訓練中損失函數(shù)值的變化如圖7所示。從圖7可以看出：在前30 000次的迭代中損失值迅速下降，在30 000次到90 000次迭代中損失值緩慢減小，而90 000次后損失值基本穩(wěn)定，沒有顯著變化。

圖7 3種網(wǎng)絡損失函數(shù)值變化曲線

3.2 集成分類器權重的確定

利用訓練好的3個基分類器分別對2240、2280、2290等3種品級的黃色工業(yè)金剛石驗證樣本進行分類，并對3個基分類器對各品級金剛石的預測準確率進行統(tǒng)計，統(tǒng)計結果如表1所示。

表1中每個預測準確率即為式(1)中的Pij(D)，再根據(jù)式(2)進行計算，得到集成分類器E的融合權重系數(shù)wij。

表1 不同模型的預測準確率

3.3 評價指標

引入查準率P、查全率R以及綜合評價指標F等3個指標[22]對分類結果進行量化評價。其中，查準率P表示準確率，即結果中的正確部分占整個結果的百分比，衡量檢測信噪比；查全率R表示召回率，即結果中的正確部分占實際正確部分的百分比，衡量檢測成功度，其計算公式如式(6)所示：

(6)

式中：TP表示預測正確的個數(shù)，即預測結果中將正類預測為正類的個數(shù)；FP與FN均為預測錯誤的個數(shù)，其中FP表示把負類預測為正類的個數(shù)，F(xiàn)N表示把正類預測為負類的個數(shù)。且TP+FN為真正正確的顆?？倲?shù)，TP+FP為預測的正確的顆?？倲?shù)。

3.4 試驗驗證

為了對集成分類器的檢測性能進行驗證，設計了以下試驗：挑選2240、2280、2290等3種品級的黃色工業(yè)金剛石各400顆，充分混合后放入黃色工業(yè)金剛石檢測系統(tǒng)，分別利用3個基分類器M1、M2、M3和集成分類器E對混合后的黃色工業(yè)金剛石進行識別。檢測結果如表2所示。

表2 各模型檢測結果表

3.4.1 基分類器結果分析

從表2可以看出：對于混合后的1 200顆黃色工業(yè)金剛石，模型M1分類結果為2240品級405顆、2280品級384顆、2290品級411顆。其中，405顆品級為2240的黃色工業(yè)金剛石中，分類正確的數(shù)量為347顆，其余58顆則為分類錯誤，即查準率P為85.7%，查全率R為86.8%，其他與此類同。從整體來看，M1對2240和2280等2種品級的黃色工業(yè)金剛石有較高的識別率，且2240的綜合評價指標F達到86.2%，2280的綜合評價指標F達到85.5%；M2對2240和2290等2種品級的黃色工業(yè)金剛石有較高的識別率，F(xiàn)值分別達到86.0%和85.2%；相較2240和2280來說，M3可以更好地識別出2290品級的金剛石，F(xiàn)值為85.5%。綜合上述指標情況可以看出，3種基分類器對不同品級黃色工業(yè)金剛石的分類性能各有優(yōu)劣。

3.4.2 集成分類器結果分析

從表2還可以看出：集成分類器E對3種品級金剛石的查準率P都穩(wěn)定在87%左右，查全率R均高于83%，F(xiàn)值均高于86%；其中，對于2240品級的查全率R達到了90.3%。

(7)

集成分類器各項指標平均值變化見表3，由表3可以看出：對于各項指標而言，集成分類器E均提高了3%以上；對于2280品級的查準率提高了5.36%，提高效果顯著。

表3 集成分類器各項指標平均值變化

4 結論

為解決工業(yè)生產(chǎn)中黃色工業(yè)金剛石人工檢測速度慢、勞動強度大、質量一致性不高等問題，提出了一種基于深度學習的黃色工業(yè)金剛石檢測方法。得出如下結論：

(1)通過對黃色工業(yè)金剛石原始樣本圖片預處理，得到符合網(wǎng)絡輸入的黃色工業(yè)金剛石樣本圖片，并采用VGG-16、Inception-V3和ResNet-50等3種網(wǎng)絡結構構建了3個基分類器，然后應用加權投票的方式實現(xiàn)了多個基分類器的信息融合，充分發(fā)揮了各個基分類器的優(yōu)勢，提高了集成分類器的綜合性能。

(2)開發(fā)了基于深度學習的黃色工業(yè)金剛石檢測系統(tǒng)，并對2240、2280、2290等3種品級的黃色工業(yè)金剛石進行了試驗驗證，驗證結果表明3種品級的黃色工業(yè)金剛石綜合評價指標F值均達到了85%以上，該硬件系統(tǒng)可以滿足黃色工業(yè)金剛石的工業(yè)化檢測。

本試驗提出的基于深度學習的黃色工業(yè)金剛石分選方法，為大批量工業(yè)金剛石的快速分選提供了新的思路，有效地提高了生產(chǎn)效率。在后續(xù)研究中，將考慮在該算法的基礎上，進一步研究黃色工業(yè)金剛石的內(nèi)部雜質、外部凸起、凹陷以及裂紋等缺陷特征對基分類器識別精度的影響，并量化缺陷特征在各級分類中的占比，并改進集成策略提高各黃色工業(yè)金剛石的檢測精度。