基于YOLACT++的檳榔檢測(cè)算法研究

舒 軍，王 祥，舒心怡

(1 湖北工業(yè)大學(xué)電氣與電子工程學(xué)院，湖北 武漢 430068；2 湖北工業(yè)大學(xué)太陽(yáng)能高效利用及儲(chǔ)能運(yùn)行控制湖北省重點(diǎn)實(shí)驗(yàn)室，湖北 武漢 430068;3 武外英中國(guó)際學(xué)校，湖北 武漢 430000)

檳榔是海南的重要經(jīng)濟(jì)作物，產(chǎn)量占全國(guó)97%以上，曾列入抗擊新冠肺炎中藥配方，具有較高藥用價(jià)值[1]。檳榔檢測(cè)作為檳榔加工的重要步驟。目前，主要采用最大類間方差法(OSTU)[2]、最大極值穩(wěn)定區(qū)域(MSER)[3]等傳統(tǒng)圖像處理方法將圖片中的檳榔與背景分割開(kāi)，再根據(jù)檳榔圖像最小外接矩形的長(zhǎng)寬對(duì)檳榔進(jìn)行分級(jí)。在檳榔圖像采集過(guò)程中，由于機(jī)械振動(dòng)造成檳榔花蒂掉落、檳榔堆疊，和打光原因造成的陰影生成。使得傳統(tǒng)的圖像處理方法無(wú)法準(zhǔn)確識(shí)別單個(gè)檳榔實(shí)例，給檳榔分級(jí)造成嚴(yán)重干擾。因此，實(shí)現(xiàn)高可靠性的檳榔實(shí)例分割是目前亟需解決的問(wèn)題。

實(shí)例分割具備目標(biāo)檢測(cè)和語(yǔ)義分割的特點(diǎn)，既需要檢測(cè)出同一種類的不同實(shí)例對(duì)象，又需要做到像素層面分類。當(dāng)前，實(shí)例分割算法逐漸被應(yīng)用于農(nóng)業(yè)生產(chǎn)中，并具有較高的應(yīng)用價(jià)值，姜紅花等[4]將 Mask R-CNN運(yùn)用于玉米葉與雜草的檢測(cè)，雜草檢測(cè)率達(dá)91%。陳佳等[5]采用YOLACT算法將白羽雞背部的分割面積與體質(zhì)質(zhì)量進(jìn)行關(guān)聯(lián)，實(shí)現(xiàn)白羽雞體質(zhì)質(zhì)量評(píng)估，平均準(zhǔn)確率97.49%。劉文波等[6]在SOLOV2網(wǎng)絡(luò)中引入可變形卷積，實(shí)現(xiàn)對(duì)番茄葉片病害的檢測(cè)，掩模分割精度達(dá)42.3%。YOLACT++[7]作為YOLACT改進(jìn)算法[8]，相較于Mask R-CNN[9]具有速度優(yōu)勢(shì)，較SOLOV2算法[10]在檳榔堆疊時(shí)具有邊緣分割優(yōu)勢(shì)。選用YOLACT++作為檳榔實(shí)例分割模型，仍然存在掩模預(yù)測(cè)錯(cuò)誤與檢測(cè)框回歸不準(zhǔn)確造成的部分檳榔掩模殘缺的問(wèn)題。

針對(duì)檳榔自動(dòng)化加工中檳榔檢測(cè)的需求，需要實(shí)例分割速度達(dá)到18幀/s以上，同時(shí)要確保檢測(cè)與分割準(zhǔn)確性。在YOLACT++主干網(wǎng)絡(luò)中引入改進(jìn)的Res2Net[11]模塊增強(qiáng)網(wǎng)絡(luò)語(yǔ)義信息提取能力，改善掩模預(yù)測(cè)錯(cuò)誤問(wèn)題。對(duì)于邊界框不精確問(wèn)題，本文采用CIoU[12]邊界框回歸損失函數(shù)，改善了邊界框預(yù)測(cè)精度。實(shí)驗(yàn)結(jié)果表明，改進(jìn)算法改善了檳榔實(shí)例分割效果，進(jìn)而提高了檳榔的分級(jí)準(zhǔn)確率。

1 檳榔檢測(cè)流程

檳榔檢測(cè)主要由圖像采集、圖像處理和檳榔分揀三部分完成，其檢測(cè)系統(tǒng)模型見(jiàn)圖1a，使用工業(yè)相機(jī)采集傳送帶上的檳榔圖片，使用工業(yè)光源增加檳榔與傳送帶對(duì)比度，突出檳榔特征。服務(wù)器用訓(xùn)練好的檳榔檢測(cè)模型對(duì)采集來(lái)的檳榔圖片進(jìn)行實(shí)例分割與等級(jí)判斷，結(jié)果發(fā)送到人機(jī)交互界面，同時(shí)控制氣泵，將不同等級(jí)的檳榔果吹入不同的收集桶中。

檳榔分級(jí)流程見(jiàn)圖1b，工業(yè)相機(jī)完成檳榔圖片的采集，每張圖片正常采集三顆檳榔，用實(shí)例分割網(wǎng)絡(luò)識(shí)別出帶花蒂檳榔與無(wú)花蒂檳榔的類別、掩膜和預(yù)測(cè)框位置，若檳榔預(yù)測(cè)框相交，可判斷為檳榔堆疊，進(jìn)行回流處理。對(duì)于無(wú)花蒂的檳榔，計(jì)算其掩模的小外接矩形的長(zhǎng)和寬。對(duì)于帶花蒂的檳榔，將其掩膜的最小外接矩形長(zhǎng)度減去30 mm，視為去花蒂處理，寬度保持不變。最后，依據(jù)最小外接矩形的長(zhǎng)寬將檳榔分為A、B、C、D四個(gè)等級(jí)，檳榔分級(jí)指標(biāo)見(jiàn)表1。每顆檳榔均采集三個(gè)不同位置的圖片，三次等級(jí)檢測(cè)中選其中至少兩次相同的等級(jí)作為最終分級(jí)。對(duì)三次等級(jí)檢測(cè)均不同的情況進(jìn)行回流處理。

圖1 檳榔檢測(cè)系統(tǒng)

表1 檳榔分級(jí)指標(biāo) mm

2 YOLACT++網(wǎng)絡(luò)結(jié)構(gòu)

YOLACT++整體結(jié)構(gòu)見(jiàn)圖2a，包含主干(Backbone)、預(yù)測(cè)頭(Prediction Header)、原型分支(Protonet)、快速非極大值抑制(Fast NMS)、裁剪模塊(Crop)和閾值分割(Threshold)六個(gè)部分組成?；赗esNet101構(gòu)造的主干網(wǎng)絡(luò)對(duì)輸入的圖像進(jìn)行特征提取，生成C1～C5五個(gè)特征圖。將C3，C4，C5三個(gè)特征圖作為特征金字塔的中間輸入層，經(jīng)過(guò)多個(gè)尺度的特征融合生成P3～P7五個(gè)特征圖，再通過(guò)兩個(gè)并行的分支任務(wù)。第一個(gè)分支將P3特征圖通過(guò)圖2(b)所示的原型分支產(chǎn)生k個(gè)原型掩模。第二個(gè)分支在預(yù)測(cè)頭中以特征圖的每個(gè)像素點(diǎn)為錨點(diǎn)，生成長(zhǎng)寬比為[1，1/2，2，1/3、3]的錨框，用于檢測(cè)是否存在實(shí)例。再分別進(jìn)行原型掩模的系數(shù)預(yù)測(cè)(mask Coefficients)、錨框分類(Class)與邊界框回歸(Bounding Box Regression)。Fast NMS對(duì)經(jīng)過(guò)邊界框回歸后的錨框進(jìn)行篩選，獲取最終的實(shí)例預(yù)測(cè)框。將原型掩模與掩模系數(shù)進(jìn)行線性組合，生成的圖像經(jīng)過(guò)預(yù)測(cè)框區(qū)域裁剪和閾值分割，進(jìn)而獲得最終的實(shí)例掩模。

圖2 YOLACT++模型結(jié)構(gòu)

3 算法改進(jìn)

3.1 主干網(wǎng)絡(luò)改進(jìn)

YOLACT++采用基于ResNet-101的主干網(wǎng)絡(luò)(表2)，其中Bottleneck[13]殘差結(jié)構(gòu)作為ResNet-101的基本模塊(圖3a)，該結(jié)構(gòu)在解決梯度消失同時(shí)增強(qiáng)網(wǎng)絡(luò)的特征提取能力。為更進(jìn)一步提取深層特征，充分利用單層內(nèi)特征，本文采用改進(jìn)的Res2Net模塊替換主干網(wǎng)絡(luò)中的Bottleneck模塊，以獲得更強(qiáng)的分層多尺度表示能力。Res2Net結(jié)構(gòu)見(jiàn)圖3b。Res2Net將經(jīng)過(guò)1×1卷積特征圖按通道均勻分為4個(gè)特征子圖，每個(gè)特征子圖含有相同的空間大小和通道數(shù)。除第一個(gè)特征子圖，其余每個(gè)特征子圖都對(duì)應(yīng)一個(gè)3×3卷積。從第三個(gè)特征子圖開(kāi)始，將特征子圖與前一個(gè)經(jīng)過(guò)卷積的特征子圖輸出相加，作為該特征子圖對(duì)應(yīng)卷積的輸入，然后將4個(gè)特征子圖的輸出結(jié)果進(jìn)行合并，并經(jīng)過(guò)1×1卷積輸出。通過(guò)對(duì)特征子圖的分割和拼接實(shí)現(xiàn)特征重用，擴(kuò)大感受野，有利于全局和局部信息提取。最后通過(guò)卷積輸出。改進(jìn)的Res2Net增加了CBAM[14]注意力模塊，對(duì)通道特征與空間特征進(jìn)行加權(quán)，抑制無(wú)效特征，使得網(wǎng)絡(luò)更關(guān)注于目標(biāo)區(qū)域特征。

表2 ResNet-101主干網(wǎng)絡(luò)

圖3 網(wǎng)絡(luò)結(jié)構(gòu)對(duì)比

CBAM注意力模塊結(jié)構(gòu)見(jiàn)圖4。由通道注意力模塊和空間注意力模塊構(gòu)成。分別為特征圖生成一維的通道注意力權(quán)重和二維的空間注意力權(quán)重，用于加強(qiáng)網(wǎng)絡(luò)的特征提取能力。

圖4 CBAM結(jié)構(gòu)

在通道注意力模塊中將輸入的特征圖U(大小H×W×C)經(jīng)過(guò)全局最大池化和平均池化，獲得兩個(gè)1×1×C的特征圖，其結(jié)果分別輸入權(quán)值共享的兩層感知器(MLP)，將輸出的特征相加經(jīng)過(guò)激活函數(shù)，生成通道注意力權(quán)重Mc。最后將輸入特征圖與通道注意力權(quán)重相乘，生成通道注意力特征圖F′。計(jì)算過(guò)程如下：

Zavg=AvgPool(U)

Zmax=MaxPool(U)

Mc=σ[fc2(δ(fc1(Zavg)))+fc2(δ(fc1(Zmax)))]

F′=Mc·U

式中：AvgPool表示全局平均池化，求取每個(gè)通道的像素平均值；MaxPool表示全局最大池化，保留每個(gè)通道的特征圖的像素最大值；fc1全連接層，輸入通道C，輸出通道C/16；fc2全連接層，輸入通道C/16，輸出通道 C；δ表示ReLU函數(shù)；σ表示sigmoid函數(shù)。

在空間注意力模塊中將通道注意力特征圖F′作為輸入先進(jìn)行通道維度的平均池化和最大池化，獲得兩個(gè)H×W×1的特征圖，再將兩個(gè)特征圖拼接后通過(guò)7×7的卷積層，結(jié)果經(jīng)過(guò)sigmoid函數(shù)，得到二維單通道的空間注意力權(quán)重Ms，將空間注意力權(quán)重與通道注意力特征圖相乘，生成同時(shí)具有空間與通道注意力的特征圖F″。計(jì)算過(guò)程如下：

Zavg=AVGPool(U)

Zmax=MAXPool(U)

Ms=σ(fc3(Zavg,Zmax))

F″=Ms·F′

式中：AVGPool表示通道維度平均池化，對(duì)每個(gè)通道的特征圖對(duì)應(yīng)像素相加取平均值；MAXPool表示通道維度最大池化，保留各個(gè)通道特征圖對(duì)應(yīng)位置的最大像素值；fc3表示7×7的卷積，輸出通道為1。

3.2 邊界框回歸損失函數(shù)改進(jìn)

邊界框回歸損失函數(shù)用來(lái)衡量預(yù)測(cè)框與真實(shí)框的位置關(guān)系。YOLACT++采用Smooth L1損失函數(shù)作為邊界框回歸損失函數(shù)，分別對(duì)預(yù)測(cè)框的長(zhǎng)、寬、中心點(diǎn)橫坐標(biāo)和縱坐標(biāo)的偏置進(jìn)行損失計(jì)算，具體計(jì)算過(guò)程如下：

式中：xa，ya，wa，ha表示anchor的中心點(diǎn)坐標(biāo)、長(zhǎng)和寬；x*，y*，w*，h*表示真實(shí)框的中心點(diǎn)坐標(biāo)、長(zhǎng)和寬；u表示網(wǎng)絡(luò)預(yù)測(cè)的anchor偏置矩陣；v表示真實(shí)框與anchor的偏置矩陣。

由于Smooth L1作為邊界框回歸損失函數(shù)對(duì)四個(gè)偏置量分別計(jì)算損失值，算法無(wú)法準(zhǔn)確描述預(yù)測(cè)框與真實(shí)框之間位置關(guān)系。采用CIoU損失函數(shù)將有助于解決上述問(wèn)題。邊界框回歸損失示意圖見(jiàn)圖5，定義邊界框損失函數(shù):

圖5 邊界框回歸損失計(jì)算

式中：b,bgt分別表示預(yù)測(cè)框與真實(shí)框的幾何中心；ρ表示兩個(gè)中心點(diǎn)之間的歐式距離；c表示預(yù)測(cè)框和目標(biāo)框最小外接矩形的對(duì)角線長(zhǎng)度；α為用于平衡比例的參數(shù)；v用來(lái)衡量預(yù)測(cè)框和目標(biāo)框之間的比例一致性。

網(wǎng)絡(luò)先進(jìn)行anchor偏置量預(yù)測(cè)，再將anchor經(jīng)過(guò)平移縮放成為預(yù)測(cè)框b，完成邊界框回歸。利用預(yù)測(cè)框b與真實(shí)框bgt計(jì)算邊界框回歸損失函數(shù)，CIoU損失函數(shù)考慮到了預(yù)測(cè)框與真實(shí)框的交并比(IoU)、最小外接矩形、幾何中心距離ρ和長(zhǎng)寬比例。Smooth L1損失函數(shù)針對(duì)預(yù)測(cè)框的偏移量進(jìn)行損失計(jì)算。只考慮幾何中心距離與長(zhǎng)寬比，缺乏對(duì)交并比和最小外接矩形的考量。

圖6中實(shí)線框?yàn)檎鎸?shí)框，虛線框?yàn)轭A(yù)測(cè)框。當(dāng)偏移量u=(0,0,0,0)，即預(yù)測(cè)框與anchor重合時(shí)，用兩種邊界框損失函數(shù)分別計(jì)算其對(duì)應(yīng)損失值，可以發(fā)現(xiàn)采用Smooth L1損失函數(shù)計(jì)算的損失值均相同，但采用CIoU損失函數(shù)計(jì)算的損失值均不同，預(yù)測(cè)框與真實(shí)框交并比越大、外接矩形越小、幾何中心距離越短、長(zhǎng)寬比越接近，其損失值越小，預(yù)測(cè)框與真實(shí)框越接近，即邊界框回歸越準(zhǔn)確。故可采用CIoU損失函數(shù)更加精確地衡量邊界框回歸性能。

圖6 不同預(yù)測(cè)框?qū)?yīng)的損失函數(shù)

4 實(shí)驗(yàn)

4.1 檳榔圖片采集與數(shù)據(jù)集建立

本研究以檳榔果作為研究對(duì)象。數(shù)據(jù)采集地點(diǎn)在益陽(yáng)市口味王檳榔廠，圖像采集設(shè)備選用德國(guó)acA1280-60gc Basler ace工業(yè)相機(jī)。對(duì)每顆檳榔采集如圖7所示左、中、右三個(gè)位置對(duì)應(yīng)不同角度的圖片，共采集檳榔圖片1500張，并對(duì)圖片采用添加噪聲、隨機(jī)翻轉(zhuǎn)、隨機(jī)亮度、色彩通道轉(zhuǎn)換這4種數(shù)據(jù)增強(qiáng)技術(shù)，將數(shù)據(jù)集擴(kuò)充到6000張。用LabelMe 標(biāo)注工具完成圖像的標(biāo)注工作，將圖像的語(yǔ)義分為三類：背景(background)、帶花蒂檳榔果(F-nut)、無(wú)花蒂檳榔果(nut)對(duì)應(yīng)的標(biāo)簽分別為0、1、2。標(biāo)記后的數(shù)據(jù)集包含原始圖像和與之對(duì)應(yīng)json標(biāo)簽文件，部分?jǐn)?shù)據(jù)處理后的圖片見(jiàn)圖8。

圖7 同一顆檳榔不同位置圖像采集

圖8 數(shù)據(jù)集處理

4.2 實(shí)驗(yàn)環(huán)境

檳榔實(shí)例分割實(shí)驗(yàn)硬件配置：操作系統(tǒng)Windows 10，CPU為 Intel Core i5-11400，GPU加速NVIDIA GTX1080ti 與CUDA10.0 cuDNN7.0，運(yùn)行環(huán)境Python3.7，深度學(xué)習(xí)框架Pytorch1.2.0。

4.3 評(píng)價(jià)指標(biāo)

選用AP(Average Precision)作為預(yù)測(cè)框和實(shí)例分割掩模的評(píng)價(jià)指標(biāo)。AP通過(guò)計(jì)算精確度-召回率曲線(P-R)下方面積得到，由于IoU閾值的選取會(huì)影響精確度和召回率大小，選用AP75(IoU=0.75)，mAP(IoU=0.50:0.05:0.95)作為評(píng)價(jià)指標(biāo)，計(jì)算公式如下：

式中：TP表示模型識(shí)別為帶花蒂檳榔或無(wú)花蒂檳榔且與真實(shí)標(biāo)注類別匹配的樣本數(shù)量；FP表示模型預(yù)測(cè)為帶花蒂檳榔或無(wú)花蒂檳榔且與真實(shí)標(biāo)注類別不匹配的樣本數(shù)；FN表示預(yù)測(cè)為背景但真實(shí)標(biāo)注為帶花蒂檳榔或無(wú)花蒂檳榔的樣本數(shù)量。

對(duì)網(wǎng)絡(luò)模型運(yùn)算速度及模型復(fù)雜度采用參數(shù)量(Parameter)，以及浮點(diǎn)計(jì)算量(FLOPs)作為評(píng)價(jià)標(biāo)準(zhǔn)完成評(píng)價(jià)。對(duì)于一次卷積運(yùn)算，其模型參數(shù)和浮點(diǎn)計(jì)算量公式如下：

Parameter=(K2Cin)Cout+Cout

FLOPs=[2(CinK2)Cout+Cout]HW

其中Cin，Cout分別為輸入輸出特征圖通道數(shù)，K為卷積核的大小，H×W為輸出特征圖大小?？紤]到激活函數(shù)(activation function)以及偏置(bias)等方面的不同，對(duì)FLOPs的計(jì)算方式不盡相同。為便于對(duì)比分析，本文采用Pytorch中的第三方庫(kù)thop，對(duì)模型參數(shù)量、浮點(diǎn)計(jì)算量進(jìn)行統(tǒng)一計(jì)算。

4.4 實(shí)驗(yàn)結(jié)果分析

實(shí)驗(yàn)數(shù)據(jù)集內(nèi)共包含檳榔片樣本6000張，其中用作訓(xùn)練集4800張，測(cè)試集1200張。訓(xùn)練epoch為800次，GPU每次處理4張圖片，使用隨機(jī)梯度下降(SGD)作為訓(xùn)練時(shí)的優(yōu)化器，初始動(dòng)量設(shè)置為0.9，學(xué)習(xí)率為0.001，權(quán)重衰減系數(shù)0.0001。

4.4.1參數(shù)量與計(jì)算量對(duì)比結(jié)果主干網(wǎng)絡(luò)的改進(jìn)將同一特征層的不同通道特征圖進(jìn)行多次多尺度的特征融合，使得高分辨率特征圖與低分辨特征圖信息相互補(bǔ)充，使得主干能充分提取圖片的語(yǔ)義信息，同時(shí)造成部分主干網(wǎng)絡(luò)模型尺寸與參數(shù)的增加，邊界框回歸損失函數(shù)改進(jìn)也在一定程度上增加模型的計(jì)算量。網(wǎng)絡(luò)改進(jìn)前后網(wǎng)絡(luò)參數(shù)量及總浮點(diǎn)運(yùn)算量FLOPs量化結(jié)果見(jiàn)表3?？梢钥闯鼍W(wǎng)絡(luò)參數(shù)、模型大小、浮點(diǎn)運(yùn)算量相較于改進(jìn)前提升9.8%，1.1%，6.6%

表3 網(wǎng)絡(luò)改進(jìn)前后參數(shù)量與計(jì)算量對(duì)比

4.4.2主干網(wǎng)絡(luò)改進(jìn)前后熱點(diǎn)圖對(duì)比針對(duì)主干網(wǎng)絡(luò)的改進(jìn)，采用Grad-CAM生成主干網(wǎng)絡(luò)的熱力圖(heatmap)用來(lái)對(duì)主干網(wǎng)絡(luò)的輸出進(jìn)行可視化分析，生成的主干網(wǎng)絡(luò)改進(jìn)前后的熱力圖見(jiàn)圖9。顏色越亮表示主干網(wǎng)絡(luò)對(duì)于該區(qū)域的關(guān)注力越強(qiáng)，原主干網(wǎng)絡(luò)關(guān)注的區(qū)域包含檳榔的部分區(qū)域和背景區(qū)域，存在關(guān)注區(qū)域錯(cuò)誤的問(wèn)題。本文提出改進(jìn)的主干特征提取網(wǎng)絡(luò)，加深網(wǎng)絡(luò)對(duì)于圖像深層信息的提取能力，采用CBAM注意力機(jī)制，使得主干網(wǎng)絡(luò)更關(guān)注于檳榔區(qū)域，并極大的抑制了背景陰影和掉落花蒂的干擾。

圖9 主干網(wǎng)絡(luò)熱點(diǎn)圖

4.4.3網(wǎng)絡(luò)分割效果對(duì)比損失值用來(lái)衡量網(wǎng)絡(luò)預(yù)測(cè)結(jié)果與標(biāo)注之間的誤差，損失值越小表示模型預(yù)測(cè)得越準(zhǔn)，網(wǎng)絡(luò)每一次迭代訓(xùn)練過(guò)程中生成損失值，并記錄于訓(xùn)練日志中。網(wǎng)絡(luò)改進(jìn)前后的掩模損失函數(shù)相同，均采用預(yù)測(cè)掩模與標(biāo)注掩模的二值交叉熵作為損失函數(shù)，故可通過(guò)掩模損失值作為衡量網(wǎng)絡(luò)改進(jìn)前后的掩模質(zhì)量。掩模損失折線圖見(jiàn)圖10，損失值隨著迭代次數(shù)的增多而下降，原網(wǎng)絡(luò)進(jìn)行800次迭代后loss值穩(wěn)定在0.08左右。改進(jìn)后網(wǎng)絡(luò)損失值最終穩(wěn)定在0.01左右，改進(jìn)后的模型具有更加良好掩模預(yù)測(cè)性能。

圖10 掩模損失值曲線

從測(cè)試集中挑選3幅不同條件下的圖片來(lái)測(cè)試檳榔實(shí)例分割模型改進(jìn)前后的分割效果。圖11可以看出對(duì)正常采集圖像進(jìn)行實(shí)例分割，掩模會(huì)受到預(yù)測(cè)框區(qū)域的限制，SmoothL1損失函數(shù)作為邊界框回歸的損失函數(shù)造成部分檳榔果預(yù)測(cè)框定位不準(zhǔn)確，導(dǎo)致掩模的部分區(qū)域無(wú)法識(shí)別出來(lái)。圖12和圖13可以看到，原始的YOLACT++算法對(duì)傳送帶上的陰影與臟污和掉落的檳榔花蒂容易造成誤分割。本文提出改進(jìn)的主干特征提取網(wǎng)絡(luò)，加深網(wǎng)絡(luò)對(duì)于圖像深層信息的提取能力，同時(shí)使得主干網(wǎng)絡(luò)更關(guān)注于檳榔花蒂與檳榔籽，減少背景陰影與臟污干擾，算法使用CIoU作為邊界框回歸損失函數(shù)，使得邊界框回歸更加準(zhǔn)確，一定程度上提升了掩模的分割質(zhì)量。

圖11 正常采集

圖12 花蒂掉落及檳榔堆疊

圖13 背景陰影及檳榔堆疊

4.4.4不同改進(jìn)點(diǎn)對(duì)比為了驗(yàn)證不同改進(jìn)點(diǎn)的有效性，做了四組對(duì)比實(shí)驗(yàn)，結(jié)果見(jiàn)表4。

表4 不同改進(jìn)點(diǎn)對(duì)比實(shí)驗(yàn)結(jié)果

通過(guò)對(duì)比實(shí)驗(yàn)1與實(shí)驗(yàn)2可以發(fā)現(xiàn)，主干網(wǎng)絡(luò)的改進(jìn)對(duì)于預(yù)測(cè)框與掩模的mAP均分別提升1.73%，1.93%。對(duì)比實(shí)驗(yàn)1與實(shí)驗(yàn)3，邊界框回歸中CIoU的引入明顯提高了預(yù)測(cè)框的平均精度，相較于改進(jìn)前上升2.94%。對(duì)比實(shí)驗(yàn)1與實(shí)驗(yàn)4，可以發(fā)現(xiàn)主干網(wǎng)絡(luò)與邊界框整體改進(jìn)相較于原算法在預(yù)測(cè)框mAP與掩模mAP上分別提升5.41%與5.20%，但檢測(cè)速度有所損失，降低了4.7幀/s。

4.4.5樣本預(yù)測(cè)結(jié)果用訓(xùn)練好的網(wǎng)絡(luò)模型進(jìn)行分級(jí)測(cè)試，將A、B、C、D四個(gè)等級(jí)的檳榔各兩百顆送入傳送帶進(jìn)行實(shí)例分割與檳榔分級(jí)測(cè)試，改進(jìn)前后實(shí)驗(yàn)測(cè)試結(jié)果見(jiàn)表5。

表5 改進(jìn)前/后識(shí)別結(jié)果

通過(guò)對(duì)比可以發(fā)現(xiàn)YOLACT++網(wǎng)絡(luò)的實(shí)例掩模由于受到預(yù)測(cè)框精度限制，導(dǎo)致無(wú)法實(shí)現(xiàn)完整的掩模分割，造成部分檳榔等級(jí)被誤分為低等級(jí)。由于打光造成的陰影被誤分割為檳榔區(qū)域，造成檳榔被誤分為高等級(jí)。而本文算法很好的改善了上述問(wèn)題，使得檳榔的平均準(zhǔn)確率提升2.12%，達(dá)到98.87%。

4.4.6不同算法對(duì)比為進(jìn)一步驗(yàn)證本文算法的實(shí)例分割效果，利用檳榔數(shù)據(jù)集分別對(duì)Mask R-CNN、SOLOv2、YOLACT++與本文算法進(jìn)行訓(xùn)練，用訓(xùn)練好的模型驗(yàn)證檳榔的檢測(cè)與分割效果。Mask R-CNN作為R-CNN最具代表性的雙階段實(shí)例分割算法，SOLOv2作為單階段實(shí)時(shí)實(shí)例分割代表，訓(xùn)練結(jié)果對(duì)比見(jiàn)表6。從表6可以看出Mask R-CNN檢測(cè)速率不佳，SOLOv2檢測(cè)精度稍遜于本文算法，本文算法相較于Mask R-CNN、SOLOv2在掩模mAP上分別高出4.09%，2.37%。本文算法相較于Mask R-CNN在預(yù)測(cè)框mAP上分別高出4.90%。

表6 不同算法分割數(shù)據(jù)對(duì)比

5 結(jié)論

提出了一種基于YOLACT++的檳榔檢測(cè)模型，對(duì)采集的檳榔圖像進(jìn)行標(biāo)注并采用數(shù)據(jù)增強(qiáng)方法擴(kuò)增數(shù)據(jù)集。在主干網(wǎng)絡(luò)中引入改進(jìn)的Res2Net模塊，加深了主干特征提取能力。并改進(jìn)了邊界框回歸損失函數(shù)，進(jìn)而改善了掩模分割效果。測(cè)試實(shí)驗(yàn)結(jié)果表明，訓(xùn)練出的模型在處理花蒂掉落、檳榔堆疊和復(fù)雜背景等情況下的檳榔圖片均有較好的檢測(cè)效果，訓(xùn)練后的模型掩模分割效果優(yōu)于Mask R-CNN、SOLOv2網(wǎng)絡(luò)，檳榔實(shí)例分割速度達(dá)到22.4幀/s，檳榔分級(jí)準(zhǔn)確率提升了2.12%，滿足工業(yè)現(xiàn)場(chǎng)需求。對(duì)模型部分參數(shù)稍作修改仍可應(yīng)用于其他工業(yè)生產(chǎn)線產(chǎn)品檢測(cè)，具有較高的應(yīng)用價(jià)值。由于網(wǎng)絡(luò)的改進(jìn)造成部分速度損失，后續(xù)工作將在保證網(wǎng)絡(luò)分割質(zhì)量的前提下優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，提升分割速度。