基于深度學(xué)習(xí)的齒輪視覺微小缺陷檢測(cè)①

韓 明,吳慶祥,2,曾雄軍

1(福建師范大學(xué) 光電與信息工程學(xué)院,福州 350007)

2(醫(yī)學(xué)光電科學(xué)與技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室,福州 350007)

1 引言

隨著人工智能的不斷發(fā)展,人工智能技術(shù)被廣泛地應(yīng)用在各個(gè)領(lǐng)域,不斷推進(jìn)社會(huì)的進(jìn)步[1].其中,深度學(xué)習(xí)領(lǐng)域的發(fā)展,加快了人工智能的步伐.深度學(xué)習(xí)屬于機(jī)器學(xué)習(xí)領(lǐng)域的一個(gè)新的研究分支,該算法可分為監(jiān)督式學(xué)習(xí)、非監(jiān)督式學(xué)習(xí)、半監(jiān)督式學(xué)習(xí)、以及強(qiáng)化學(xué)習(xí)[2].其中,監(jiān)督式學(xué)習(xí)是指通過人工標(biāo)記的數(shù)據(jù)來推測(cè)出目標(biāo)函數(shù).目前的分類,目標(biāo)檢測(cè)等任務(wù)大多均采取的是監(jiān)督式的學(xué)習(xí)方式.基于深度學(xué)習(xí)算法的Mask R-CNN 網(wǎng)絡(luò)亦是通過監(jiān)督式的學(xué)習(xí)方式來對(duì)網(wǎng)絡(luò)權(quán)重進(jìn)行迭代更新.

近年來,針對(duì)齒輪齒形缺陷檢測(cè)已存在一些檢測(cè)方案.2019 年,李凱等通過將齒輪圖像二值化來獲取齒輪中心點(diǎn)坐標(biāo),利用中心點(diǎn)坐標(biāo)構(gòu)建環(huán)形濾波器獲取只含輪齒部分的感興趣區(qū)域,最終通過對(duì)灰度均值小于閾值的輪齒進(jìn)行細(xì)分來判定該輪齒是否為缺齒[3].2018 年,楊亞等通過檢測(cè)得到的關(guān)鍵點(diǎn)將標(biāo)準(zhǔn)齒輪與待檢測(cè)齒輪進(jìn)行配準(zhǔn),對(duì)配準(zhǔn)圖像采用絕對(duì)差分的方式得到絕對(duì)差分圖像,通過絕對(duì)差分圖像判定待檢測(cè)齒輪是否存在缺齒[4].2017 年,鄭碩文等構(gòu)建基于機(jī)器視覺與多傳感器的齒輪缺陷檢測(cè)系統(tǒng)[5].上述的齒輪缺陷檢測(cè)方法以及張鈺婷、李盼等[6,7]更早提出的缺陷檢測(cè)方案大多是圍繞傳統(tǒng)的圖像處理算法來進(jìn)行展開的.采用深度學(xué)習(xí)算法實(shí)現(xiàn)齒輪缺陷檢測(cè)的特點(diǎn)在于神經(jīng)網(wǎng)絡(luò)可以自主對(duì)齒輪圖像進(jìn)行特征提取,通過將提取到的低層特征進(jìn)行組合形成高層具有較深語意的特征,使得網(wǎng)絡(luò)模型可以自動(dòng)學(xué)習(xí)到從樣本圖像輸入到結(jié)果輸出的復(fù)雜映射關(guān)系[8].鑒于Mask R-CNN[9]網(wǎng)絡(luò)具有對(duì)微小目標(biāo)進(jìn)行有效檢測(cè)的優(yōu)勢(shì),在原網(wǎng)絡(luò)基礎(chǔ)上,針對(duì)齒輪微小視覺缺陷檢測(cè)目標(biāo)對(duì)原網(wǎng)絡(luò)進(jìn)行改進(jìn),提高了Mask R-CNN 網(wǎng)絡(luò)對(duì)于缺齒對(duì)象的召回率指標(biāo).基于改進(jìn)的Mask R-CNN 齒輪缺齒檢測(cè)方法可應(yīng)用到對(duì)流水線上齒輪視覺缺陷或者類似的產(chǎn)品進(jìn)行檢測(cè),具有廣闊的應(yīng)用場(chǎng)景.

2 Mask R-CNN 網(wǎng)絡(luò)架構(gòu)及優(yōu)化

Mask R-CNN 架構(gòu)(見圖1)主要由兩部分構(gòu)成,第一部分為區(qū)域候選網(wǎng)絡(luò),用于獲取候選框.第二部分利用RoIAlign 網(wǎng)絡(luò)層對(duì)感興趣區(qū)域進(jìn)行池化操作,產(chǎn)生固定尺寸的特征圖,后續(xù)網(wǎng)絡(luò)層通過對(duì)該固定尺寸特征圖進(jìn)行處理,實(shí)現(xiàn)對(duì)目標(biāo)的分類、檢測(cè)、以及分割.本文通過理論分析并結(jié)合實(shí)驗(yàn)結(jié)果對(duì)共享特征提取過程進(jìn)行優(yōu)化,并針對(duì)標(biāo)注方案中標(biāo)注框的大小對(duì)候選區(qū)域網(wǎng)絡(luò)中的錨框大小進(jìn)行重新設(shè)計(jì).

(1)共享特征提取網(wǎng)絡(luò)

Mask R-CNN 的共享特征提取網(wǎng)絡(luò)采用殘差神經(jīng)網(wǎng)絡(luò)與特征金字塔網(wǎng)絡(luò)的組合,對(duì)輸入圖像進(jìn)行特征提取.

1)殘差神經(jīng)網(wǎng)絡(luò)

為了盡可能提高網(wǎng)絡(luò)的缺齒檢出率,同時(shí)兼顧網(wǎng)絡(luò)的訓(xùn)練與檢測(cè)速度,應(yīng)優(yōu)選一種殘差神經(jīng)網(wǎng)絡(luò).通用的殘差神經(jīng)網(wǎng)絡(luò)[10]主要有5 種,分別為:ResNet-18、ResNet-34、ResNet-50、ResNet-101、ResNet-152,缺齒檢出率公式表達(dá)如下:

在通用的目標(biāo)檢測(cè)評(píng)價(jià)指標(biāo)中,一般采用召回率與精確率是兩個(gè)指標(biāo),計(jì)算方法如表1.

圖1 Mask R-CNN 結(jié)構(gòu)

表1 精確率與召回率

表1 中,P表示缺陷輪齒對(duì)象,N表示為正常輪齒對(duì)象,T與F表示檢測(cè)結(jié)果是否正確.TP:缺陷輪齒對(duì)象被正確識(shí)別為缺陷輪齒對(duì)象的數(shù)量;FP:正常輪齒對(duì)象被錯(cuò)誤識(shí)別為缺陷輪齒對(duì)象的數(shù)量;FN:缺陷輪齒對(duì)象被錯(cuò)誤識(shí)別為正常輪齒對(duì)象的數(shù)量.精確率與召回率表達(dá)式如下:

由于檢測(cè)目標(biāo)為缺陷輪齒,故將缺陷輪齒視為正樣本.召回率與缺齒檢出率兩個(gè)指標(biāo)在數(shù)值上是完全相等的,其中,TP等于檢出缺齒的總個(gè)數(shù),TP與FN之和等于缺齒的總個(gè)數(shù).由于訓(xùn)練的樣本標(biāo)注類別只有缺齒這一類,因此FP的值將趨近于0,Precision(精確度)將趨近于1 這個(gè)常數(shù).故實(shí)驗(yàn)從通用的目標(biāo)檢測(cè)評(píng)價(jià)指標(biāo)角度,還可使用召回率來對(duì)網(wǎng)絡(luò)的檢測(cè)效果進(jìn)行評(píng)價(jià).

實(shí)驗(yàn)比較5 種通用殘差神經(jīng)網(wǎng)絡(luò)作為共享特征提取網(wǎng)絡(luò)的檢測(cè)效果,采用遷移學(xué)習(xí)方式對(duì)Mask RCNN 網(wǎng)絡(luò)進(jìn)行訓(xùn)練,網(wǎng)絡(luò)初始權(quán)重為基于coco 數(shù)據(jù)集訓(xùn)練得到的權(quán)重.訓(xùn)練集數(shù)量為200 張,缺齒標(biāo)注個(gè)數(shù)為500 個(gè),測(cè)試集的數(shù)量為150 張,總齒數(shù)為1800 個(gè),缺齒數(shù)為280 個(gè),檢測(cè)結(jié)果如表2.

表2 5 種殘差神經(jīng)網(wǎng)絡(luò)檢測(cè)結(jié)果比較

由以上檢測(cè)結(jié)果可以得出,隨著殘差神經(jīng)網(wǎng)絡(luò)深度的增加,召回率表現(xiàn)為遞增,更深的網(wǎng)絡(luò)同時(shí)需要更多的訓(xùn)練時(shí)間,且測(cè)試時(shí)間也相應(yīng)增加.實(shí)驗(yàn)結(jié)果顯示,ResNet-101 與ResNet-152 召回率指標(biāo)的差距相對(duì)不是很大,綜合召回率與網(wǎng)絡(luò)耗時(shí)考量,選擇使用ResNet-101 作為特征提取網(wǎng)絡(luò).

2)特征金字塔網(wǎng)絡(luò)

高層特征圖雖然含有較深語意的特征表達(dá),其分辨率卻很低,當(dāng)對(duì)小尺度目標(biāo)進(jìn)行特征提取時(shí),重要的特征信息容易丟失.特征金字塔網(wǎng)絡(luò)[11]利用自上而下通道以及側(cè)向連接將高層高語意低分辨率特征圖與低層低語意高分辨率的特征圖進(jìn)行融合,從而獲得不同尺度兼具高語意與高分辨率的特征圖.圖像共享特征提取過程如圖2,ResNet-101 具有5 個(gè)階段,每個(gè)階段是根據(jù)輸出特征圖的大小是否改變進(jìn)行劃分.分別將各個(gè)階段最后網(wǎng)絡(luò)層輸出的特征圖稱為{C1,C2,C3,C4,C5},圖2 中,C5是經(jīng)過ResNet-101 第五階段生成的特征圖,也是網(wǎng)絡(luò)學(xué)習(xí)到的具有最深語意的特征圖,該特征圖未進(jìn)行融合操作,分辨率較低.

特征金字塔網(wǎng)絡(luò)將C5進(jìn)行1×1 卷積操作得到P5,對(duì)P5進(jìn)行上采樣操作與C4經(jīng)過1×1 卷積得到的特征圖進(jìn)行融合,得到P4,P4既具有P5的深層語意而且還保留了C4中微小對(duì)象較高分辨率特征.P3,P2的獲取方式與P4相同.最后,還需對(duì)融合得到的特征圖進(jìn)行一次3×3 卷積操作,目的是降低對(duì)特征圖進(jìn)行上采樣操作之后的混疊效應(yīng).在此,實(shí)驗(yàn)對(duì)用于后續(xù)網(wǎng)絡(luò)進(jìn)行預(yù)測(cè)的特征圖進(jìn)行優(yōu)化調(diào)整,剔除對(duì)P5進(jìn)行的3×3 卷積操作,如圖3,分析如下:①P5并非是經(jīng)過上采樣與融合得到,既對(duì)P5而言不存在混疊效應(yīng).② 該3×3 卷積操作采用“padding=same”的方式,即卷積前后特圖的尺寸不發(fā)生改變,剔除該3×3 卷積對(duì)后續(xù)特征圖尺寸匹配不會(huì)造成影響.③ 經(jīng)實(shí)驗(yàn)測(cè)試,該3×3 卷積操作的剔除相應(yīng)地提高了網(wǎng)絡(luò)的缺齒檢出率指標(biāo).

圖2 圖像特征提取過程

圖3 優(yōu)化的圖像特征提取過程

(2)候選區(qū)域網(wǎng)絡(luò)

候選區(qū)域網(wǎng)絡(luò)[12]實(shí)質(zhì)是一個(gè)基于滑窗的無類別目標(biāo)檢測(cè)器.用于生成目標(biāo)候選框.候選區(qū)域網(wǎng)絡(luò)始應(yīng)用于Faster R-CNN 中,作用對(duì)象為單尺度特征圖.具體操作:將一個(gè)3×3 的滑窗置于單尺度特征圖上進(jìn)行滑動(dòng),在滑窗滑過的位置上以滑窗的中心作為錨點(diǎn),產(chǎn)生k個(gè)錨框.Faster R-CNN 中,k參數(shù)為9,以像素為單位,大小為{1282,2562,5122},在該3 種尺寸的基礎(chǔ)上分配{1:2,1:1,2:1}寬高比.通過計(jì)算錨框與標(biāo)注框的IoU值來判斷錨框與標(biāo)注框的重疊度,數(shù)值越大表示重疊度越高,最大值為1,其計(jì)算公式如下:

即錨框與標(biāo)注框交集和錨框與標(biāo)注框并集的比值.

Mask R-CNN 中候選區(qū)域網(wǎng)絡(luò)的作用對(duì)象為由特征金字塔網(wǎng)絡(luò)生成的具有金字塔層次的多尺度特征圖,分別為{P2,P3,P4,P5,P6},其中P6是對(duì)P5進(jìn)行降采樣得到的,尺寸縮小了一倍.與Faster R-CNN 不同的是,對(duì)每個(gè)層次的特征圖僅分配一種尺寸的錨框,這樣可以有效減少冗余錨框的數(shù)量.以像素為單位,Mask RCNN 網(wǎng)絡(luò)將{P2,P3,P4,P5,P6}錨框的尺寸分別設(shè)置為{322,642,1282,2562,5122},每個(gè)尺寸的錨框均分配以{1:2,1:1,2:1}的寬高比,故每個(gè)層次特征圖的錨框的尺寸種數(shù)為3 種,5 種具有金字塔層次特征圖的錨框尺寸的種數(shù)為15 種,采用式(4)來計(jì)算錨框與標(biāo)注框的IoU數(shù)值.

實(shí)驗(yàn)檢測(cè)對(duì)象為有缺陷的輪齒,齒輪樣本如圖4.

圖4 齒輪樣本

當(dāng)齒輪旋轉(zhuǎn)以及缺陷存在于輪齒位置的不同使得對(duì)有微小缺陷的輪齒進(jìn)行標(biāo)注的尺寸會(huì)發(fā)生改變,即標(biāo)注框的尺寸發(fā)生改變.但無論齒輪轉(zhuǎn)動(dòng)多少角度,標(biāo)注框的尺寸最大值不會(huì)超過圖5 中線段1 與線段2 的長(zhǎng)度,實(shí)際標(biāo)注框的寬與高最大值分別為線段1、線段2 長(zhǎng)度的正弦、余弦值,通過計(jì)算得到,以像素為單位,線段1 與線段2 的長(zhǎng)度為32 個(gè)像素.根據(jù)標(biāo)注框的尺寸,假設(shè)各層次特征圖使用錨框的尺寸為{322,642,1282,2562,5122},設(shè)標(biāo)注框的尺寸為最大值32×32,則錨框的尺寸均大于等于標(biāo)注框的尺寸.當(dāng)標(biāo)注框包含于錨框時(shí)會(huì)有最大IoU值,位置關(guān)系如圖6,各尺寸錨框與標(biāo)注框的最大IoU值如表3.特別地,當(dāng)錨框尺寸為32×32,錨框與標(biāo)注框完全重合時(shí),IoU數(shù)值取得最大值1.

圖5 標(biāo)注尺寸波動(dòng)示意圖

圖6 IoU 達(dá)到最大值時(shí)錨框與標(biāo)注框的包含關(guān)系

表3 5 種錨框尺寸對(duì)應(yīng)最大IoU 數(shù)值

計(jì)算各個(gè)尺寸錨框與標(biāo)注框的IoU數(shù)值與設(shè)定閾值0.7 做比較,IoU數(shù)值大于0.7 的錨框被分配一個(gè)正標(biāo)簽,IoU數(shù)值小于0.3 的錨框被分配一個(gè)負(fù)標(biāo)簽,介于0.3 與0.7 之間的錨框?qū)⒅苯颖簧釛?由表3 可得僅有P2特征圖的錨框會(huì)被分配正標(biāo)簽,通過對(duì)分配正標(biāo)簽的錨框進(jìn)行修正使得訓(xùn)練候選區(qū)域網(wǎng)絡(luò)的損失值達(dá)到最低.訓(xùn)練候選區(qū)域網(wǎng)絡(luò)的損失函數(shù)如下:

其中,Lcls表達(dá)式如下:

其中,ti代表對(duì)錨框進(jìn)行不斷修正得到的候選框的4 個(gè)參數(shù)化坐標(biāo),pi代表錨框中含有目標(biāo)的概率或置信度,i代表錨框索引.當(dāng)錨框被賦予正標(biāo)簽時(shí),為1,此時(shí)Lreg函數(shù)值對(duì)損失函數(shù)值L有效,通過反向傳輸與梯度下降的優(yōu)化方法,對(duì)ti進(jìn)行不斷修正,最終得到較理想的候選框坐標(biāo),使得損失值L降到最低;當(dāng)錨框均被賦予負(fù)標(biāo)簽時(shí),為0,Lreg函數(shù)值對(duì)損失函數(shù)值L無效,即ti不影響L值,此時(shí)將式(6)代入式(5)中得:

式中,Ncls為常數(shù),此時(shí)的L隨pi同增同減,為使L優(yōu)化為最低,pi應(yīng)為最低,此時(shí)錨框i均被視為背景來對(duì)候選區(qū)域網(wǎng)絡(luò)進(jìn)行訓(xùn)練.

根據(jù)以上推導(dǎo),針對(duì)標(biāo)注框可能的最大尺度32×32(圖5),僅有尺寸為32×32 的錨框會(huì)被分配正標(biāo)簽,但當(dāng)標(biāo)注框的尺寸為圖5 中A 框(20×10)時(shí),此時(shí)使用32×32 的錨框得到最大的IoU值為0.4,既A 框中對(duì)象即使參與了候選區(qū)域網(wǎng)絡(luò)的訓(xùn)練,也是以一種不存在缺齒對(duì)象的身份來對(duì)候選區(qū)域網(wǎng)絡(luò)訓(xùn)練的,這種問題導(dǎo)致的最終結(jié)果是造成Mask R-CNN 網(wǎng)絡(luò)更高的漏檢率.針對(duì)以上問題,將圖5 中標(biāo)注框A 框的尺寸設(shè)為錨框的最小尺寸,將圖5 中線段1 與線段2 的長(zhǎng)度設(shè)為錨框的最大尺寸,以像素為單位,A 框尺寸近似為為20×10,則以1:1 的錨框?qū)捀弑?使用的最小錨框尺寸20×20,最大錨框尺寸為32×32.同樣對(duì)每個(gè)尺寸的錨框分配{1:2,1:1,2:1}的寬高比,則各個(gè)層次特征圖錨框尺寸分配情況如表4,選擇表4 中的錨框尺寸提高了可容忍標(biāo)注框尺寸的下限,從而實(shí)現(xiàn)對(duì)候選區(qū)域網(wǎng)絡(luò)進(jìn)行更加有效的訓(xùn)練.

表4 根據(jù)標(biāo)注框尺寸設(shè)計(jì)相應(yīng)的錨框尺寸

(3)多任務(wù)訓(xùn)練

采用多任務(wù)訓(xùn)練機(jī)制,利用Mask R-CNN 的掩膜分支損失函數(shù),使得微小目標(biāo)檢測(cè)效果更加精確.多任務(wù)訓(xùn)練損失函數(shù)公式定義如下:

式中,Lcls為分類損失函數(shù),Lbox為邊框損失函數(shù),Lmask為掩膜損失函數(shù).

3 制作數(shù)據(jù)集與樣本標(biāo)注方案設(shè)計(jì)

(1)數(shù)據(jù)集制作

目前缺乏公共的齒輪數(shù)據(jù)集,且數(shù)量較少.因此采用數(shù)據(jù)擴(kuò)增的手段來建立數(shù)據(jù)集.采用的數(shù)據(jù)擴(kuò)增方式為對(duì)缺齒齒輪圖像平移、360 度隨機(jī)旋轉(zhuǎn)、添加隨機(jī)椒鹽噪聲.對(duì)圖像進(jìn)行平移與隨機(jī)旋轉(zhuǎn)是為了實(shí)現(xiàn)Mask R-CNN 網(wǎng)絡(luò)能夠?qū)D像內(nèi)任意位置、旋轉(zhuǎn)任意角度的缺齒齒輪進(jìn)行有效的檢測(cè),添加隨機(jī)椒鹽噪聲是為了提高網(wǎng)絡(luò)對(duì)含有椒鹽噪聲干擾的齒輪圖像的魯棒性.本實(shí)驗(yàn)齒輪圖像數(shù)據(jù)集統(tǒng)一為273×265(像素)RGB 圖像,含有缺齒的樣本展示如圖7.

圖7 缺齒樣本展示

(2)標(biāo)注方案設(shè)計(jì)

訓(xùn)練集使用VGG Image Annotator(VIA)進(jìn)行標(biāo)注,標(biāo)注完另存后綴名為json 文件.在進(jìn)行齒輪圖像標(biāo)注時(shí),設(shè)計(jì)兩種標(biāo)注方案,針對(duì)不同的標(biāo)注方案使用對(duì)應(yīng)的錨框尺寸.方案1:對(duì)整個(gè)齒輪對(duì)象進(jìn)行標(biāo)注,然后二分類,既對(duì)標(biāo)注對(duì)象分類為合格齒輪與不合格齒輪.不合格的齒輪是指帶有缺齒等缺陷的齒輪(如圖8).方案2:直接對(duì)齒輪缺陷部分進(jìn)行標(biāo)注(如圖8).方案1的優(yōu)點(diǎn)在于可忽略具體缺陷類型,分類類別單一,但是利用方案1 訓(xùn)練得到的Mask R-CNN 網(wǎng)絡(luò)在精度判別方面存在一個(gè)問題,對(duì)于有微小缺陷的齒輪,其判別能力較差.具體來說,一個(gè)有幾個(gè)像素缺齒的齒輪,其對(duì)于整個(gè)齒輪而言是微不足道的,從而導(dǎo)致微小缺陷容易被忽略,將不合格齒輪判定為合格.采用方案2 對(duì)缺陷部分進(jìn)行標(biāo)注,就好比在提醒網(wǎng)絡(luò)更應(yīng)該關(guān)注微小缺陷本身,使得處于像素級(jí)別缺陷可以被檢測(cè)出來.兩種標(biāo)注方案在設(shè)計(jì)理念上各有優(yōu)缺點(diǎn),只是方案一的標(biāo)注思路使得帶有像素級(jí)別缺齒的齒輪與合格齒輪相比并無明顯差別,召回率較低,且標(biāo)注工作量更大,而方案2 相對(duì)于方案1 而言應(yīng)當(dāng)注意的是,當(dāng)待檢測(cè)工件缺陷類型較多時(shí),需要對(duì)缺陷類別進(jìn)行逐一分類,既多分類.綜合樣本標(biāo)注工作量以及網(wǎng)絡(luò)檢測(cè)效果考量,針對(duì)微小缺陷對(duì)象,實(shí)驗(yàn)采用第2 種樣本標(biāo)注方案.

圖8 缺齒樣本標(biāo)注

4 實(shí)驗(yàn)與分析

特征提取網(wǎng)絡(luò)采用ResNet-101 與FPN 的組合,加載基于coco 數(shù)據(jù)集預(yù)訓(xùn)練好的網(wǎng)絡(luò)模型權(quán)重文件,使用經(jīng)過樣本擴(kuò)增的齒輪數(shù)據(jù)集對(duì)網(wǎng)絡(luò)模型進(jìn)行遷移學(xué)習(xí).實(shí)驗(yàn)訓(xùn)練集為200 張微小缺齒圖像,圖像規(guī)格統(tǒng)一為273×265 的三通道RGB 圖像,每張齒輪圖像至少有一個(gè)帶有缺陷的輪齒,同時(shí)部分齒輪圖片含有多個(gè)不同尺度的微小缺齒,保證訓(xùn)練得到的模型能同時(shí)對(duì)多種尺度范圍的微小缺齒進(jìn)行檢測(cè).

使用顯卡型號(hào)為1080Ti 的服務(wù)器對(duì)Mask RCNN 網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練,顯卡顯存11 GB.Python 版本3.6.0、Tensorflow-gpu 版本1.6.0、Keras 版本2.1.6.網(wǎng)絡(luò)一次迭代訓(xùn)練讀取兩張圖像,一個(gè)epoch 迭代次數(shù)為100 次,經(jīng)過一次epoch 訓(xùn)練之后,訓(xùn)練集中的200 張圖像對(duì)網(wǎng)絡(luò)模型進(jìn)行了一次完整訓(xùn)練,參數(shù)epoch 設(shè)置為500 次,每訓(xùn)練完一個(gè)epoch,便將最后一次迭代訓(xùn)練得到的損失值保存在日志中,經(jīng)過500 次epoch 訓(xùn)練之后,改進(jìn)的Mask R-CNN 網(wǎng)絡(luò)損失值得到有效收斂,使用tensorboard 對(duì)損失函數(shù)曲線進(jìn)行顯示,如圖9.

圖9 損失函數(shù)曲線

5 實(shí)驗(yàn)結(jié)果

部分檢測(cè)結(jié)果如圖10,圖中上側(cè)為使用未經(jīng)調(diào)整Mask R-CNN 網(wǎng)絡(luò)檢測(cè)結(jié)果,下側(cè)為使用經(jīng)過優(yōu)化改進(jìn)之后的Mask R-CNN 網(wǎng)絡(luò)檢測(cè)結(jié)果.從圖10 的檢測(cè)結(jié)果可以看出,通過對(duì)圖像特征提取過程進(jìn)行優(yōu)化以及根據(jù)標(biāo)注框的尺寸設(shè)置合適的錨框尺寸,可以提高召回率,改善缺齒檢出率指標(biāo),實(shí)現(xiàn)對(duì)采集范圍內(nèi)任意位置的缺齒進(jìn)行更加有效地檢測(cè).實(shí)驗(yàn)?zāi)繕?biāo)為實(shí)現(xiàn)缺齒目標(biāo)的檢測(cè),故去除掩膜輸出,得到圖11 中的檢測(cè)結(jié)果.去除掩膜輸出之后更便于對(duì)檢測(cè)對(duì)象進(jìn)行觀察.Mask R-CNN 網(wǎng)絡(luò)改進(jìn)前與改進(jìn)后的檢測(cè)數(shù)據(jù)比較如表5.由表5 得出,經(jīng)過優(yōu)化的Mask R-CNN 網(wǎng)絡(luò)對(duì)比未優(yōu)化Mask R-CNN 網(wǎng)絡(luò),缺齒檢出率提高了5.7%,召回率提高了0.057,召回率與缺齒檢出率分別達(dá)到了0.982 與98.2%.利用優(yōu)化的Mask R-CNN 網(wǎng)絡(luò)進(jìn)行檢測(cè)仍存在5 個(gè)缺齒漏檢,可對(duì)訓(xùn)練集進(jìn)一步地?cái)U(kuò)增,使得缺齒樣本覆蓋更廣的特征空間,進(jìn)一步提高召回率與缺齒檢出率指標(biāo).同時(shí)本方法與傳統(tǒng)的圖像處理與機(jī)器學(xué)習(xí)算法[13]進(jìn)行了比較,識(shí)別率提高了0.4 個(gè)百分點(diǎn),比較結(jié)果見表6.

6 結(jié)語

采用優(yōu)化后的Mask R-CNN 目標(biāo)檢測(cè)網(wǎng)絡(luò)不僅可以對(duì)齒輪微小缺齒進(jìn)行檢測(cè),譬如齒輪劃痕、齒面腐蝕、齒面污漬等視覺缺陷均可以采用這一方法.通過將優(yōu)選的殘差神經(jīng)網(wǎng)絡(luò)與對(duì)特征提取過程進(jìn)行優(yōu)化的特征金子塔網(wǎng)絡(luò)進(jìn)行結(jié)合作為共享特征提取網(wǎng)絡(luò),使得整個(gè)網(wǎng)絡(luò)模型能夠更好地學(xué)習(xí)到微小對(duì)象的特征表達(dá).該方法無需進(jìn)行大量圖像處理工作,有效的避免了傳統(tǒng)圖像處理方法對(duì)微小缺陷圖像進(jìn)行處理過程中造成的誤差,且可實(shí)現(xiàn)對(duì)采集范圍內(nèi)任意位置的齒輪微小缺陷的檢測(cè),提高了檢測(cè)手段的智能化水平.該方法具有通用性,無需針對(duì)某一特定缺陷設(shè)定一個(gè)算法去解決.基于分割的樣本標(biāo)注過程相對(duì)比較繁瑣,要求樣本標(biāo)注精確以避免手工標(biāo)注帶來的誤差.盡量使用像素比較高的樣本,優(yōu)質(zhì)的數(shù)據(jù)集可以訓(xùn)練出檢測(cè)效果更好網(wǎng)絡(luò)模型.

圖11 去除掩膜輸出

表5 檢測(cè)結(jié)果比較

表6 檢測(cè)方法比較

致謝

作者感謝中央引導(dǎo)地方科技發(fā)展專項(xiàng)(2017L3009)以及福建省光電傳感工程研究中心對(duì)本研究的支持.