基于卷積神經(jīng)網(wǎng)絡(luò)的起重機(jī)金屬結(jié)構(gòu)缺陷檢測*

楊 恒 田 兵 李 越 李 卓

太原科技大學(xué) 太原 030024

0 引言

隨著時代的不斷發(fā)展，視覺識別在起重機(jī)金屬結(jié)構(gòu)缺陷檢測已取得很大突破。鄭祥盤等[1]提出一種雙網(wǎng)絡(luò)并行模型對起重機(jī)金屬結(jié)構(gòu)缺陷進(jìn)行檢測；Gonda F等[2]提出了一個精簡校對的分析框架，通過錯誤檢測及突觸聚類以高度交互的三維可視化方式來進(jìn)行校對工作；曹遠(yuǎn)杰等[3]則采用改進(jìn)后的第三代YOLO模型對過往人群是否佩戴口罩進(jìn)行篩選，利用BN層剪枝算法將網(wǎng)絡(luò)進(jìn)行壓縮和BN層合并來加速網(wǎng)絡(luò)；Lu C Y等[4]結(jié)合顏色及形狀特征進(jìn)行輪廓匹配進(jìn)而有效提高識別精度；Feng Y等[5]研究出視覺識別深度模型(H-KPCANet),該模型將單級KPCANet及兩級KPCANet優(yōu)勢結(jié)合起來提高識別性能；Liu X Y等[6]通過圖像預(yù)處理算法提高了排序目標(biāo)對比度，進(jìn)而構(gòu)造出圓形和線性結(jié)構(gòu)元素對最大類間方差法分割的多目標(biāo)區(qū)域進(jìn)行填充和平滑。基于當(dāng)前起重機(jī)金屬結(jié)構(gòu)缺陷數(shù)據(jù)集樣本數(shù)量較少的事實，本文引入最新的GDR-Net[7]網(wǎng)絡(luò)對雙網(wǎng)絡(luò)并行模型進(jìn)行改進(jìn)，從而使起重機(jī)金屬結(jié)構(gòu)缺陷檢測準(zhǔn)確度得到一定程度的提高。

1 淺層次卷積神經(jīng)網(wǎng)絡(luò)模型建立

1.1 淺層次卷積神經(jīng)網(wǎng)絡(luò)框架

淺層次卷積神經(jīng)網(wǎng)絡(luò)框架結(jié)構(gòu)如圖1所示。考慮到Sigmoid函數(shù)具有單調(diào)連續(xù)性且輸出值在（0，1）之間，采用Sigmoid函數(shù)作為框架激活函數(shù)。

圖1 淺層次卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖（圖中數(shù)值為數(shù)據(jù)維度）

為了提取圖像主要特征，在淺層次神經(jīng)網(wǎng)絡(luò)架構(gòu)中引入4個卷積層（采用空洞卷積擴(kuò)大其感受野[8]），卷積層后緊跟最大池化層以降低數(shù)據(jù)處理量。數(shù)據(jù)特征提取完畢之后通過全連接層對特征進(jìn)行扁平化處理，淺層次模型最后為損失函數(shù)層。損失函數(shù)選用Softmax，即

式中：Y為真實值，f(x)為模型預(yù)測值。

1.2 淺層次卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程

在對淺層次網(wǎng)絡(luò)進(jìn)行訓(xùn)練時，可利用BP算法對模型參數(shù)進(jìn)行修正[9]。為了加快網(wǎng)絡(luò)收斂速度，使用隨機(jī)梯度下降法[10]對模型參數(shù)進(jìn)行迭代訓(xùn)練，進(jìn)而縮短模型訓(xùn)練時間，參數(shù)可表示為

1.3 Softmax分類器

當(dāng)數(shù)據(jù)信息處理完畢后，網(wǎng)絡(luò)會將最終得到的數(shù)值輸入Softmax分類器中，從而得到不同缺陷類別對應(yīng)概率，Softmax分類器可表示為

式中：xi為輸入圖像，E為輸出結(jié)果期望，θ1、θ2、…、θl為標(biāo)簽對應(yīng)參數(shù)構(gòu)成矩陣，p為當(dāng)輸入數(shù)據(jù)為xi時輸出值為1或0的概率。

2 疊加卷積神經(jīng)網(wǎng)絡(luò)金屬結(jié)構(gòu)缺陷檢測

2.1 圖像數(shù)據(jù)預(yù)處理

將起重機(jī)金屬結(jié)構(gòu)缺陷數(shù)據(jù)以隨機(jī)抽樣的方式按照70%、20%、10%的比例分為3個批次，分別將其作為網(wǎng)絡(luò)結(jié)構(gòu)的訓(xùn)練集、測試集及驗證集對網(wǎng)絡(luò)進(jìn)行訓(xùn)練及性能測試。利用CCD相機(jī)前往起重機(jī)使用現(xiàn)場采集缺陷圖片，采集到的圖像像素大小為1 024×2 048，考慮到網(wǎng)絡(luò)訓(xùn)練需求，將其以五行十列的方式進(jìn)行均勻裁剪得到共50張子圖。從子圖中選取3 000張缺陷類型一致的圖像，將其縮放為100×100、227×227規(guī)格。100×100規(guī)格的圖像因其數(shù)據(jù)量較小，故應(yīng)用于淺層次網(wǎng)絡(luò)的訓(xùn)練工作。以227×227規(guī)格的圖像對GDRNet進(jìn)行訓(xùn)練,通過人為的方式對各類數(shù)值代表的缺陷類別進(jìn)行定義。為了更好地將圖像中的缺陷凸顯出來，使網(wǎng)絡(luò)在訓(xùn)練時能夠更快收斂，需要對圖像進(jìn)行中心式歸一化處理，計算圖像各像素平均值并將其與像素值相減。實際效果如圖2所示。

圖2 中心式歸一化示意圖

2.2 疊加卷積神經(jīng)網(wǎng)絡(luò)參數(shù)選擇

疊加卷積神經(jīng)網(wǎng)絡(luò)如圖3所示。為了充分利用GDR-Net，在全連接層加入一個卷積層分支?？紤]到GDR-Net與淺層次網(wǎng)絡(luò)結(jié)合需求，卷積核數(shù)量為200，卷積核大小為7×7，這樣的設(shè)置方式可使其感受野大小得到保證。為了將深層網(wǎng)絡(luò)的校正作用充分發(fā)揮出來，將GDR-Net與淺層次網(wǎng)絡(luò)通過交叉熵?fù)p失函數(shù)連接，最后以GDR-Net的最終輸出結(jié)果對淺層次模型中的參數(shù)進(jìn)行校正。疊加卷積神經(jīng)網(wǎng)絡(luò)損失函數(shù)為

圖3 雙網(wǎng)絡(luò)模型示意圖（省略激活函數(shù)層、中心歸一化層）

式中：Lclassification（θ）為分類器損失函數(shù)，Lcross為淺層次網(wǎng)絡(luò)與GDR-Net網(wǎng)絡(luò)之間的交叉熵?fù)p失函數(shù)，t＝（ti）為GDR-Net中最后一個卷積層對數(shù)據(jù)特征處理后輸出的特征向量，s＝（si）為C4層輸出的特征向量。

在訓(xùn)練時對GDR-Net與淺層卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行分開訓(xùn)練，其中GDR-Net模型的卷積核函數(shù)參數(shù)初始化時利用Glorot初始化的方式進(jìn)行選取，而淺層次卷積神經(jīng)網(wǎng)絡(luò)模型在整體訓(xùn)練過程中為了使其參數(shù)能夠快速收斂，參數(shù)利用標(biāo)準(zhǔn)高斯分布進(jìn)行合理選取[11]。淺層次網(wǎng)絡(luò)模型數(shù)據(jù)輸入大小為100×100×1，并利用梯度下降法對其進(jìn)行變換。

此外，對疊加卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。式（2）中α＝1-β，只需通過大量訓(xùn)練確定β超參數(shù)值即可求得α。根據(jù)網(wǎng)絡(luò)參數(shù)規(guī)模，最終決定訓(xùn)練中采用的參數(shù)：訓(xùn)練次數(shù)為30，每批次圖片數(shù)量為128，權(quán)重衰減系數(shù)為0.000 1，α初始值為0.001。根據(jù)模型在測試集中的具體表現(xiàn)選擇最合理的超參數(shù)β值。由圖4可知，當(dāng)取0.2時較合理。

圖4 β與模型分類準(zhǔn)確率關(guān)系圖

3 實驗與結(jié)果分析

3.1 訓(xùn)練樣本集大小對分類準(zhǔn)確率影響

為了更加直觀地觀察到不同樣本大小對3種模型準(zhǔn)確率影響，經(jīng)分析采用同樣的數(shù)據(jù)以及訓(xùn)練策略分別對疊加卷積神經(jīng)網(wǎng)絡(luò)及原模型進(jìn)行訓(xùn)練測試。根據(jù)實驗表現(xiàn)將相應(yīng)數(shù)據(jù)進(jìn)行整合，最終結(jié)果如圖5所示。由圖5可知，疊加卷積神經(jīng)網(wǎng)絡(luò)準(zhǔn)確率高達(dá)97.9%，誤檢量僅為62；而并行網(wǎng)絡(luò)模型最大準(zhǔn)確率僅為95.4%，誤檢量為123。通過對比可知，疊加卷積神經(jīng)網(wǎng)絡(luò)可有效降低誤解率，準(zhǔn)確率提高了2.5%。

圖5 雙網(wǎng)絡(luò)模型與單網(wǎng)絡(luò)模型不同樣本集對比曲線圖

3.2 雙網(wǎng)絡(luò)模型與其他模型的對比

為了對疊加卷積神經(jīng)網(wǎng)絡(luò)的實際檢測效果進(jìn)行檢驗，現(xiàn)將該模型與并行模型、SENet模型及傳統(tǒng)機(jī)器學(xué)習(xí)方法支持向量機(jī)庫、BP神經(jīng)網(wǎng)絡(luò)進(jìn)行對比。

圖6為利用不同技術(shù)對同一缺陷圖片檢測后得到的最終結(jié)果。圖中的綠色方框為雙網(wǎng)絡(luò)模型[12]算法測試效果，LibSVM算法測試結(jié)果顯示為藍(lán)色方框，BP神經(jīng)網(wǎng)絡(luò)測試結(jié)果顯示為白色方框，本文所提出改進(jìn)模型檢測結(jié)果顯示為紅色。由該圖不難發(fā)現(xiàn)疊加卷積神經(jīng)網(wǎng)絡(luò)檢測更為精確。

圖6 起重機(jī)金屬結(jié)構(gòu)檢測結(jié)果圖

4 結(jié)束語

考慮到當(dāng)前起重機(jī)金屬結(jié)構(gòu)缺陷數(shù)據(jù)集數(shù)量少，識別準(zhǔn)確率低的問題。本文為傳統(tǒng)的雙網(wǎng)絡(luò)并行模型引入了最新的高性能識別網(wǎng)絡(luò)GDR-Net并將其用于大型起重機(jī)金屬結(jié)構(gòu)缺陷識別應(yīng)用中。新的網(wǎng)絡(luò)通過空洞卷積方式擴(kuò)大了模型的感受野。經(jīng)過不同模型對機(jī)械結(jié)構(gòu)缺陷圖片檢測對比之后發(fā)現(xiàn)本文所提出的疊加卷積神經(jīng)網(wǎng)絡(luò)和并行網(wǎng)絡(luò)模型相比效果更加優(yōu)異，具體數(shù)據(jù)為準(zhǔn)確率97.9%，誤檢量僅為62，檢測效果更好。