基于Mask RCNN的濾袋開(kāi)口檢測(cè)方法

王憲保,朱嘯詠,姚明海

(浙江工業(yè)大學(xué) 信息工程學(xué)院，杭州 310023)

0 引言

在濾袋的智能生產(chǎn)中，需要對(duì)濾袋進(jìn)行卡扣的自動(dòng)化安裝，而實(shí)現(xiàn)這一過(guò)程的前提是獲得濾袋開(kāi)口的準(zhǔn)確位置及濾袋所屬的類別。伴隨著濾袋制造工藝的提升以及需求的多樣化，濾袋大小、紋理等變得更加豐富，這為濾袋開(kāi)口檢測(cè)問(wèn)題帶來(lái)了更為嚴(yán)峻的挑戰(zhàn)。

本文的濾袋開(kāi)口檢測(cè)實(shí)際上是一種目標(biāo)檢測(cè)，它是一種包含目標(biāo)定位與目標(biāo)分類任務(wù)，使用圖像處理、機(jī)器學(xué)習(xí)等方法，在圖像中搜索感興趣對(duì)象的計(jì)算機(jī)視覺(jué)技術(shù)[1]。一般先通過(guò)目標(biāo)分類判斷是否含有目標(biāo)對(duì)象，再進(jìn)行更細(xì)粒度的檢測(cè)，并將搜索到的目標(biāo)通過(guò)方框進(jìn)行標(biāo)注[2]。

計(jì)算機(jī)視覺(jué)處理中，圖像一般以像素矩陣的形式存儲(chǔ)，對(duì)其進(jìn)行類別以及位置信息的相關(guān)特征提取方可實(shí)現(xiàn)目標(biāo)檢測(cè)[3]。傳統(tǒng)目標(biāo)檢測(cè)算法在圖像經(jīng)過(guò)去噪、增強(qiáng)、裁剪等預(yù)處理之后，對(duì)圖像采用滑動(dòng)窗口遍歷并生成候選區(qū)域，對(duì)每個(gè)候選區(qū)域采取特征提取，例如方向梯度直方圖(HOG，histogram of oriented gradients)[4]，尺度不變特征變換(SIFT，scale invariant feature transform)[5]，(DPM,deformablepartsmodel)[6]等，最后通過(guò)AdaBoost[7]，(SVM,support vector machine)[8]等機(jī)器學(xué)習(xí)算法對(duì)目標(biāo)進(jìn)行分類，然后依據(jù)類別對(duì)目標(biāo)進(jìn)行邊框回歸。由于上述目標(biāo)檢測(cè)模型對(duì)于不同的特征需要設(shè)計(jì)不同分類器，導(dǎo)致其泛用性差、魯棒性不足。

2012年之后，計(jì)算機(jī)視覺(jué)技術(shù)在深度學(xué)習(xí)的帶動(dòng)下開(kāi)始了迅猛的發(fā)展，以深度卷積神經(jīng)網(wǎng)絡(luò)為代表的方法替代了手工特征方法。在目標(biāo)檢測(cè)領(lǐng)域，(Fast RCNN,fast region-based convolutional neural network)[9]和(Faster RCNN,faster region-based convolutional neural network)[10]為基于深度學(xué)習(xí)的目標(biāo)檢測(cè)方法提供了新的方向。前者由于共享卷積操作降低了網(wǎng)絡(luò)整體的計(jì)算消耗，后者在前者基礎(chǔ)上融合全卷積網(wǎng)絡(luò)[11]的思想，提出通過(guò)區(qū)域提議網(wǎng)絡(luò)(RPN,region proposal networks)代替原先的Selective Search[12]以及Edge Boxes[13]算法。另一種基于回歸的思路由2016年Redmon等[14]提出的(YOLO,you only look once)算法啟發(fā)，這類算法精度不及Faster RCNN這類基于候選區(qū)域方法，但其檢測(cè)速度卻是前者的10倍，后續(xù)又提出了(SSD,single shot multi-box detector)[15]、(RefineNet,refinement neural network)[16]、(YOLOv2,you only look once v2)[17]以及(YOLOv3,you only look once v3)[18]等。

本文將(Mask RCNN,mask region based convolutional neural network)[19]作為基本框架，并針對(duì)具體目標(biāo)對(duì)象進(jìn)行改進(jìn)，建立了一種用于濾袋的有效檢測(cè)方法。本文的主要工作有：首先，針對(duì)固定卷積中感受野形狀固定，不能靈活地覆蓋目標(biāo)對(duì)象，降低了特征提取效果這一問(wèn)題，采用可變形卷積網(wǎng)絡(luò)(DCN,deformable convolutional networks)[20-21]改進(jìn)固定卷積，通過(guò)引入額外的偏移來(lái)提升空間采樣能力。其次，提出一種改進(jìn)的(Soft-NMS,soft non-maximum suppression)方法，對(duì)Mask RCNN的RPN網(wǎng)絡(luò)輸出增加一次篩選，提升候選區(qū)域的質(zhì)量，減少候選區(qū)域的數(shù)量。最后，利用本文提出的目標(biāo)檢測(cè)器在濾袋數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，結(jié)果證明可以有效檢測(cè)濾袋開(kāi)口，相較于基準(zhǔn)方法高了2.4個(gè)百分點(diǎn)。

本文的組織結(jié)構(gòu)如下：首先在第一節(jié)對(duì)基礎(chǔ)框架等技術(shù)進(jìn)行介紹；第二節(jié)對(duì)本文提出的檢測(cè)器進(jìn)行詳細(xì)介紹；第三節(jié)通過(guò)實(shí)驗(yàn)，驗(yàn)證了本文提出的檢測(cè)器在濾袋開(kāi)口檢測(cè)中的有效性，并通過(guò)與基準(zhǔn)檢測(cè)器的對(duì)比，展現(xiàn)了本文檢測(cè)器的性能優(yōu)勢(shì)；第四節(jié)對(duì)全文工作進(jìn)行總結(jié)與展望。

1 相關(guān)工作

1.1 Mask RCNN

Mask RCNN模型建立在Faster RCNN的基礎(chǔ)上，將Faster RCNN中(ROI Pooling,region of interest pooling)替換為(ROI Align,region of interest align)，消除了二次量化的誤差，并在頭部網(wǎng)絡(luò)中增加掩碼分支用于實(shí)現(xiàn)實(shí)例分割，提升了對(duì)象的檢測(cè)精度。

1.1.1 網(wǎng)絡(luò)結(jié)構(gòu)

Mask RCNN的結(jié)構(gòu)如圖1所示。模型包含用于特征提取的主干網(wǎng)絡(luò)、候選區(qū)域生成的RPN、ROI Align以及頭部網(wǎng)絡(luò)。主干網(wǎng)絡(luò)的選擇主要有(VGG，visual geometry group)[22]、(ResNet，deep residual network)[23]等，其將一系列卷積進(jìn)行堆疊，逐層提取圖像中的語(yǔ)義信息，形成特征映射圖。

圖1 Mask RCNN的網(wǎng)絡(luò)結(jié)構(gòu)[10]

1.1.2 RPN

RPN將任意大小的輸入圖像轉(zhuǎn)換為一組含有分?jǐn)?shù)的矩形框作為regionproposals，并同后續(xù)網(wǎng)絡(luò)共享特征提取圖中的特征信息，在輸入的每個(gè)空間位置采樣k個(gè)不同尺度的anchors。通過(guò)后續(xù)二分類網(wǎng)絡(luò)對(duì)這些anchors進(jìn)行評(píng)估，挑選出可能含有對(duì)象的anchors，并對(duì)其進(jìn)行邊界框的精修，作為目標(biāo)候選區(qū)域。

與目標(biāo)對(duì)象交并比(IOU，intersection over union)最大的anchors以及和至少一個(gè)對(duì)象的IOU不小于預(yù)設(shè)閾值的anchors將被作為proposal層中的正樣本，其余作為負(fù)樣本用以后續(xù)訓(xùn)練。

根據(jù)式(1)對(duì)RPN進(jìn)行訓(xùn)練：

(1)

(2)

1.1.3 ROI Align

ROI Align是對(duì)ROI Pooling的優(yōu)化。ROI Pooling利用空間金字塔池化[24]，將RPN的輸出作為輸入，輸出一組固定大小的特征張量作為后續(xù)處理的輸入。但是ROI Pooling引入了兩次量化操作，帶來(lái)了量化誤差，降低了ROI和其對(duì)應(yīng)特征之間的一致性。針對(duì)此問(wèn)題，ROI Align通過(guò)雙線性插值法解決，對(duì)每個(gè)ROI先進(jìn)行分割，之后在分割得到的每個(gè)子區(qū)域中采樣K(K一般取4)個(gè)點(diǎn)，對(duì)每個(gè)點(diǎn)進(jìn)行雙線性插值得到其像素值，之后將最大的像素值作為該子區(qū)域的像素值。這種方式避免了引入量化操作帶來(lái)的量化誤差，實(shí)現(xiàn)了ROI與特征的一致，提升了后續(xù)分類以及回歸框的精度。

1.1.4 頭部網(wǎng)絡(luò)

由于引入了特征金字塔生成不同尺度的特征圖，所以需要根據(jù)ROI尺度選擇特定層級(jí)的金字塔輸出作為后續(xù)處理的輸入，具體選擇如公式(3)：

(3)

式中，k0=5，w,h表示對(duì)應(yīng)ROI區(qū)域的寬和高，224對(duì)應(yīng)特征金字塔第五層的尺度。

經(jīng)過(guò)ROI Align輸出固定大小的特征張量，經(jīng)過(guò)兩層全連接網(wǎng)絡(luò)之后分別傳送給分類器和回歸器，以實(shí)現(xiàn)目標(biāo)對(duì)象的分類和邊界框的回歸。掩碼分支的輸入也由ROI Align產(chǎn)生，但其尺寸大小與分類和回歸不同。

網(wǎng)絡(luò)訓(xùn)練采用多任務(wù)損失函數(shù)，通過(guò)學(xué)習(xí)不斷下降的損失函數(shù)的值，直至獲得最優(yōu)解。損失函數(shù)的公式由式(4)給出。其中包含了3項(xiàng)，分別對(duì)應(yīng)分類損失，邊框回歸損失以及掩碼分割損失。

L=Lcls+Lbbox+Lmask

(4)

Mask RCNN中使用固定卷積，這類卷積在空間采樣上不夠靈活，容易引入對(duì)象周邊的噪聲信息，干擾后續(xù)的識(shí)別與分類。針對(duì)此問(wèn)題，本文引入可變形卷積來(lái)改進(jìn)主干網(wǎng)絡(luò)中的部分固定卷積，以實(shí)現(xiàn)更加靈活的空間采樣。針對(duì)RPN網(wǎng)絡(luò)產(chǎn)生的候選區(qū)域提出一種改進(jìn)的Soft-NMS方法進(jìn)行進(jìn)一步篩選與整合，在降低候選框冗余的同時(shí)提升候選框的質(zhì)量，從而達(dá)到提升目標(biāo)檢測(cè)性能的目的。

2 融合可變形卷積的Mask RCNN

本文將可變形卷積加入Mask RCNN中，從而得到更好的空間采樣結(jié)果，并用改進(jìn)的Soft-NMS進(jìn)一步整合候選區(qū)域降低其冗余程度，最終實(shí)現(xiàn)對(duì)濾袋開(kāi)口的有效、精確檢測(cè)。圖2給出了本文目標(biāo)檢測(cè)模型的總體結(jié)構(gòu)。整個(gè)模型分為4部分，第一部分為主干網(wǎng)絡(luò)，實(shí)現(xiàn)圖像特征的提取工作；第二部分是RPN，用于候選目標(biāo)的生成；第三部分是ROI Align，它將候選區(qū)域?qū)?yīng)的特征映射池化輸出為固定大小的特征張量，為后續(xù)處理做準(zhǔn)備；第四部分是頭部網(wǎng)絡(luò)，由三個(gè)分支構(gòu)成，分別實(shí)現(xiàn)目標(biāo)類別的識(shí)別、目標(biāo)邊界框的修正以及目標(biāo)掩碼信息的生成。最后將掩碼信息與邊界框信息整合得到更為精確的定位。

圖2 融合可變形卷積的Mask RCNN網(wǎng)絡(luò)結(jié)構(gòu)

2.1 主干網(wǎng)絡(luò)

本文選取殘差網(wǎng)絡(luò)作為提取特征的主干網(wǎng)絡(luò)。殘差網(wǎng)絡(luò)利用跳接(skipconnect)形成殘差塊，通過(guò)堆疊殘差塊的方式構(gòu)建殘差網(wǎng)絡(luò)。殘差塊可以用公式(5)表示:

y=F(x,{Wi})+x

(5)

其中:y表示殘差塊的輸出，x為殘差塊的輸入，F(xiàn)(x,{Wi})表示待學(xué)習(xí)的殘差映射。

殘差網(wǎng)絡(luò)通過(guò)跳接結(jié)構(gòu)，降低了隨著模型深度的增加產(chǎn)生過(guò)擬合的可能性，為構(gòu)建更深的模型提供了基礎(chǔ)。

傳統(tǒng)的卷積結(jié)構(gòu)空間采樣不夠靈活，無(wú)法有效處理目標(biāo)形變。本文引入可變形卷積對(duì)原始?xì)埐罹W(wǎng)絡(luò)進(jìn)行改進(jìn)，替換掉其高層中的固定卷積層，從而更有效地實(shí)現(xiàn)對(duì)目標(biāo)的特征提取，提升檢測(cè)效果。

傳統(tǒng)的卷積從數(shù)學(xué)形式上可以用式(6)表示，其中pn代表卷積核中每個(gè)點(diǎn)對(duì)應(yīng)中心點(diǎn)的空間偏移，R表示卷積核對(duì)應(yīng)的各個(gè)空間位置偏移。

(6)

相較于傳統(tǒng)的卷積，可變形卷積引入了一個(gè)空間偏移Δpn，該偏移參數(shù)可以通過(guò)學(xué)習(xí)的方式獲得?？勺冃尉矸e的表示如公式(7)：

(7)

由于增加的Δpn一般是小數(shù)，并沒(méi)有與之對(duì)應(yīng)的輸入，所以通過(guò)雙線性插值的辦法來(lái)獲得這一位置對(duì)應(yīng)的輸入。

隨著卷積網(wǎng)絡(luò)的加深，頂層感受野的大小增加，高層語(yǔ)義信息變得更多，更適合分類，但同時(shí)也損失底層信息，這對(duì)小目標(biāo)的檢測(cè)會(huì)造成較大影響。因此本文構(gòu)建特征金字塔(FPN，feature pyramid network)[25]來(lái)融合高低層級(jí)的語(yǔ)義信息，實(shí)現(xiàn)對(duì)各個(gè)層級(jí)卷積輸出的捕獲，提升對(duì)小目標(biāo)的檢測(cè)效果。將殘差網(wǎng)絡(luò)中conv2，conv3，conv4，conv5的輸出分別用C2，C3，C4，C5表示。FPN在C5的輸出上通過(guò)一個(gè)1×1的卷積，將其通道數(shù)由原先的2048降為256，獲得特征映射圖CP5。之后對(duì)CP5進(jìn)行上采樣，同時(shí)對(duì)C4的輸出經(jīng)過(guò)一個(gè)1×1的卷積將其通道數(shù)下降為256，使用特征圖相加的方式將兩者結(jié)合得到CP4。通過(guò)上述方式依次得到CP3，CP2，之后對(duì)CP2，CP3，CP4，CP5分別使用一個(gè)3×3的卷積以降低上采樣帶來(lái)的混疊現(xiàn)象，得到P2，P3，P4，P5，構(gòu)成了特征金字塔。

2.2 區(qū)域提議生成

候選目標(biāo)區(qū)域的質(zhì)量與數(shù)目直接影響到目標(biāo)檢測(cè)的效果與速度。本文通過(guò)RPN方法利用anchor機(jī)制獲得原始的候選區(qū)域，同時(shí)依據(jù)所用數(shù)據(jù)集中目標(biāo)的尺度對(duì)anchor的大小做出了調(diào)整，調(diào)整后的參數(shù)為(32，64，128，256)，長(zhǎng)寬比為(1，0.5，2)。

RPN生成的原始提議框數(shù)目眾多，在這些候選框中有些包含背景圖像，為減少這類樣本，提升候選框的質(zhì)量，一般采用非極大值抑制對(duì)候選框進(jìn)行篩選。由于PRN分類結(jié)果與候選框位置之間沒(méi)有明確的線性關(guān)系，所以傳統(tǒng)NMS方法會(huì)導(dǎo)致很多雖然重疊但是包含目標(biāo)不一樣的候選框被直接刪除。為此，本文提出一種改進(jìn)的Soft-NMS方法，Algorithm1給出了改進(jìn)后的偽代碼。

Algorithm 1: 改進(jìn)的Soft-NMS方法

Input:B={b1,,bN}，S={s1,,sN}，Gt，其中B是一系列候選框，S是其對(duì)應(yīng)的得分，Gt為IOU閾值

Output:O={o1,,om},S={s1,,sm}，O為輸出框，S為其對(duì)應(yīng)的得分

Begin:

O←?

WhileB≠? do:

k←argmax{S}

K←bk

L←K

B←B-K

For biin B:

If IOU(K,bi)>Gt

L←L∪bi

End if

si←sif(IOU(K,bi))

End for

K′←f2(L)

O←O∪K’

End while

上述算法中，計(jì)算得分的公式由式(8)給出，最佳候選框位置調(diào)整的方法由式(9)給出：

(8)

(9)

式(9)中,k代表了同當(dāng)前最高得分的候選框之間IOU大于閾值的候選框的總數(shù)，之后根據(jù)得分進(jìn)行加權(quán)修正。

2.3 網(wǎng)絡(luò)的聯(lián)合訓(xùn)練

本文采取端到端的訓(xùn)練方式，將RPN網(wǎng)絡(luò)的訓(xùn)練任務(wù)同主干網(wǎng)絡(luò)以及頭部檢測(cè)網(wǎng)絡(luò)的檢測(cè)任務(wù)結(jié)合起來(lái)，通過(guò)構(gòu)建一個(gè)多任務(wù)損失函數(shù)，訓(xùn)練整體結(jié)構(gòu)。損失函數(shù)由式(10)給出：

Ltotal=Lcls+Lbbox+Lmask+Lrpn

(10)

主干網(wǎng)絡(luò)部分采用在ImageNet上訓(xùn)練的ResNet50+DCN模型進(jìn)行初始化，RPN以及檢測(cè)頭采用在COCO數(shù)據(jù)集上訓(xùn)練的參數(shù)進(jìn)行初始化。本文采用梯度下降法進(jìn)行神經(jīng)元參數(shù)的迭代調(diào)整。

3 實(shí)驗(yàn)結(jié)果與分析

本文使用本實(shí)驗(yàn)室構(gòu)建的濾袋數(shù)據(jù)集。為增加訓(xùn)練樣本個(gè)數(shù)，通過(guò)旋轉(zhuǎn)、裁剪以及翻轉(zhuǎn)等數(shù)據(jù)增強(qiáng)方式對(duì)數(shù)據(jù)集進(jìn)行了增廣。使用labelImg工具對(duì)數(shù)據(jù)集進(jìn)行標(biāo)注。得到數(shù)據(jù)集1和數(shù)據(jù)集2，兩個(gè)數(shù)據(jù)集共有樣本1 000張。數(shù)據(jù)集1中包含8類不同圓形開(kāi)口的濾袋，每類均有100張圖像，按8:2的比例分為訓(xùn)練集和測(cè)試集。數(shù)據(jù)集2中含有2類不同橢圓形開(kāi)口的濾袋，每類均有100張圖像，同樣以8:2的比例分為訓(xùn)練集和測(cè)試集。表1和表2分別給出了數(shù)據(jù)集1和數(shù)據(jù)集2的具體信息。圖3和圖4展示了數(shù)據(jù)集對(duì)應(yīng)的部分圖像。

表1 數(shù)據(jù)集1中每一類包含的圖片數(shù)目

表2 數(shù)據(jù)集2中每一類包含的圖片數(shù)目

圖3 數(shù)據(jù)集1圖片示例

圖4 數(shù)據(jù)集2圖片示例

3.1 評(píng)價(jià)標(biāo)準(zhǔn)

本文的評(píng)價(jià)指標(biāo)為各類平均精度(mAP，mean average precision)，中心偏移距離以及檢測(cè)速度。本文對(duì)比的模型為Faster RCNN以及Mask RCNN兩種主流的兩階段目標(biāo)檢測(cè)模型。

boxgt為真實(shí)值標(biāo)簽用(y1gt,x1gt,y2gt,x2gt)表示，預(yù)測(cè)框boxpred用(y1pred,x1pred,y2pred,x2pred)表示。兩者之間的距離記作d=dis(boxgt,boxpred)，可以根據(jù)公式(11)計(jì)算：

d=dis(boxgt,boxpred)=

(11)

其中:ygt=(y1gt+y2gt)/2，xgt=(x1gt+x2gt)/2，ypred=(y1pred+y2pred)/2，xpred=(x1pred+x2pred)/2。

本文的模型在數(shù)據(jù)集1與數(shù)據(jù)集2上進(jìn)行評(píng)估。

3.2 參數(shù)設(shè)置

實(shí)驗(yàn)的硬件環(huán)境為Intel Corei5-9400 CPU,NVIDIA GTX 1080 GPU。軟件環(huán)境為T(mén)ensorflow架構(gòu)，實(shí)驗(yàn)語(yǔ)言為Python。訓(xùn)練時(shí)設(shè)置學(xué)習(xí)率為0.001，權(quán)重衰減系數(shù)為0.000 1，采用帶動(dòng)量的(SGD,stochastic gradient descent)優(yōu)化器迭代訓(xùn)練，動(dòng)量設(shè)置為0.9，訓(xùn)練迭代20 000次，batch-size設(shè)置為2。實(shí)驗(yàn)主要由以下幾部分組成：第一個(gè)實(shí)驗(yàn)將對(duì)比本文算法與基準(zhǔn)算法之間的性能差異；第二個(gè)實(shí)驗(yàn)為消融實(shí)驗(yàn)將驗(yàn)證提出的改進(jìn)Soft-NMS方法的有效性；第三個(gè)實(shí)驗(yàn)將數(shù)據(jù)集1和數(shù)據(jù)集2合并，檢驗(yàn)算法在輸入類別增加情況下的魯棒性。

3.3 算法比較

實(shí)驗(yàn)一：在本實(shí)驗(yàn)中，通過(guò)將Faster RCNN、Mask RCNN以及本文的融合可變形卷積Mask RCNN在濾袋數(shù)據(jù)集1上訓(xùn)練和測(cè)試，得到如表3展示的結(jié)果。圖6給出了部分檢測(cè)結(jié)果。

圖6 在數(shù)據(jù)集1上檢測(cè)的結(jié)果(示例)

BackbonemAP中心偏移距離FpsFaster RCNNVGG1688.124.341.12Faster RCNNResNet5090.620.621.23Mask RCNNResNet5093.213.720.95OursResNet50+DCN95.611.760.93

在表3中可以看到，本文的算法在中心偏移距離這一指標(biāo)上優(yōu)于對(duì)比算法，相較于Faster RCNN提升了11.58個(gè)像素。Soft-NMS過(guò)程對(duì)候選框的重整提高了這一指標(biāo)。

本文構(gòu)建的特征金字塔實(shí)現(xiàn)了特征的融合，提升了對(duì)小目標(biāo)的檢測(cè)精度，使得模型的漏報(bào)率下降，提升了模型的召回率。藉此，總體的mAP相較于沒(méi)有特征金字塔結(jié)構(gòu)的Faster RCNN也得到了提升。同時(shí)，可變形卷積帶來(lái)了更加靈活的空間采樣，引入改進(jìn)Soft-NMS的區(qū)域提議生成網(wǎng)絡(luò)提供了更高質(zhì)量的候選框，給本文方法在mAP上帶來(lái)了高于對(duì)比算法的性能，相較于Mask RCNN提升了2.4個(gè)百分點(diǎn)。

在檢測(cè)速度方面，由于本文模型基于Mask RCNN構(gòu)建，其增加了掩碼分支且本文在模型中加入金字塔結(jié)構(gòu)以及可變形卷積，在一定程度上提升了模型的復(fù)雜度，致使本文算法相較于Faster RCNN的推理速度有所下降，但是和Mask RCNN相當(dāng)。

實(shí)驗(yàn)2：為了驗(yàn)證改進(jìn)Soft-NMS的有效性在實(shí)驗(yàn)數(shù)據(jù)集1上進(jìn)行消融實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果如表4所示。對(duì)比采用的是NMS方法，本文使用的是改進(jìn)的Soft-NMS方法，其余部分兩者相同皆為融合可變形卷積的Mask RCNN?？梢钥吹奖疚奶岢龅腟oft-NMS方法相較于傳統(tǒng)NMS在數(shù)據(jù)集1上mAP指標(biāo)實(shí)現(xiàn)了1.2個(gè)百分點(diǎn)的提升，同時(shí)中心偏移距離提升了0.36個(gè)像素，驗(yàn)證了本文提出的改進(jìn)Soft-NMS方法的有效性，經(jīng)過(guò)重整的候選框質(zhì)量確實(shí)優(yōu)于原始候選框。

實(shí)驗(yàn)3：為了驗(yàn)證算法的泛化性能，本文用數(shù)據(jù)集1和數(shù)據(jù)集2對(duì)算法進(jìn)行驗(yàn)證，結(jié)果如表5所示。可以看到引入可變形卷積并使用改進(jìn)Soft-NMS方法后，本文模型性能依舊高于其他對(duì)比算法，證明了本文方法在增加對(duì)象類別之后仍然可以具有較好性能。為了進(jìn)一步檢驗(yàn)其性能，將來(lái)自不同數(shù)據(jù)集的對(duì)象放在同一環(huán)境采集，繼續(xù)測(cè)試，結(jié)果如圖7所示。實(shí)驗(yàn)結(jié)果證明本文模型可以有效地檢測(cè)不同濾袋開(kāi)口，具有良好的魯棒性。

表4 改進(jìn)Soft-NMS方法的有效性

表5 在數(shù)據(jù)集1+2上的檢測(cè)結(jié)果

圖7 在同一圖片中兩種不同塵袋的檢測(cè)效果

4 結(jié)束語(yǔ)

本文提出了一種基于深度學(xué)習(xí)的濾袋開(kāi)口檢測(cè)算法，實(shí)驗(yàn)結(jié)果表明，本文算法在濾袋開(kāi)口檢測(cè)問(wèn)題上比傳統(tǒng)基于深度學(xué)習(xí)的目標(biāo)檢測(cè)方法表現(xiàn)得更好，且檢測(cè)速度較快。由于本文構(gòu)建的數(shù)據(jù)集規(guī)模較小，后續(xù)工作中將嘗試建立種類更為全面的大型數(shù)據(jù)集供濾袋開(kāi)口檢測(cè)算法的訓(xùn)練和測(cè)試，并且進(jìn)一步通過(guò)剪枝算法壓縮模型體積，提升運(yùn)算速度。