結(jié)合顯微視覺(jué)和注意力機(jī)制的毛羽檢測(cè)方法

唐嘉潞，楊鐘亮，張凇，毛新華，董慶奇

（1.東華大學(xué) 機(jī)械工程學(xué)院，上海 201620;2.曼徹斯特大學(xué) 科學(xué)與工程學(xué)院，英國(guó) 曼徹斯特 M139PL;3.北京中麗制機(jī)工程技術(shù)有限公司，北京 101111;4.浙江雙兔新材料有限公司，浙江 杭州 201620）

我國(guó)是世界第一的化纖生產(chǎn)大國(guó)，2020 年我國(guó)化纖產(chǎn)量為6 126.5 萬(wàn)噸，同比增長(zhǎng)4.1%，出口化纖產(chǎn)品總量466.06 萬(wàn)噸，已成為國(guó)民經(jīng)濟(jì)的重要支柱?；w絲餅由絲束在卷繞機(jī)控制下繞紙筒卷裝形成[1]。毛羽是衡量化纖質(zhì)量的重要指標(biāo)之一，其成因通常包括機(jī)械原因造成的毛羽以及浮游毛羽[2]。過(guò)多的毛羽導(dǎo)致化纖質(zhì)量下降，從而影響織物的強(qiáng)度、外觀光潔度、手感滑爽程度等。

絲餅出庫(kù)前的質(zhì)檢主要通過(guò)工人使用手電筒照亮絲餅肉眼觀察，并根據(jù)瑕疵數(shù)量進(jìn)行絲餅質(zhì)量分級(jí)。目前，人工檢測(cè)存在一些問(wèn)題：1)質(zhì)檢員評(píng)價(jià)標(biāo)準(zhǔn)存在主觀差異，影響了檢測(cè)的準(zhǔn)確率[3]；2)車(chē)間環(huán)境噪聲大、溫度和濕度高，不適宜工人長(zhǎng)期工作[4]；3)檢測(cè)過(guò)程需要反復(fù)彎腰、蹲起、轉(zhuǎn)動(dòng)手電筒，質(zhì)檢員易產(chǎn)生疲勞，從而引起誤檢[5]；4)疫情導(dǎo)致勞動(dòng)力成本不斷增加、招工難度進(jìn)一步加大[6]?？梢?jiàn)，在工業(yè)4.0 時(shí)代，人工檢測(cè)絲餅的方式難以滿足化纖生產(chǎn)企業(yè)智能制造的發(fā)展需求。因此，亟待一種更加智能、高效的瑕疵檢測(cè)方法,使得絲餅瑕疵在流水線中就能被快速、準(zhǔn)確地識(shí)別，大幅提高生產(chǎn)效率，節(jié)省成本。

目前，毛羽智能檢測(cè)面臨以下兩個(gè)難點(diǎn)：1)細(xì)小的毛羽特征屬于微米級(jí)，普通相機(jī)很難抓取到毛羽圖像，易導(dǎo)致漏檢；2)毛羽和斷線不易分辨，易造成錯(cuò)檢。針對(duì)以上問(wèn)題，本文提出一種基于工業(yè)顯微相機(jī)的圖像獲取方法，以及結(jié)合注意力機(jī)制、特征融合和CenterNet 的毛羽目標(biāo)檢測(cè)算法CenterNet-CBAM。通過(guò)與CenterNet、YOLOv4、Faster R-CNN、SSD 四種目標(biāo)檢測(cè)算法的實(shí)驗(yàn)結(jié)果相比，驗(yàn)證了該方法在區(qū)分毛羽和斷線方面具有更好的效果。

1 相關(guān)工作

1.1 圖像處理的織物瑕疵檢測(cè)現(xiàn)狀

瑕疵檢測(cè)是滌綸絲餅生產(chǎn)過(guò)程中必不可少的環(huán)節(jié)。長(zhǎng)期以來(lái)相關(guān)企業(yè)和科研機(jī)構(gòu)針對(duì)傳統(tǒng)圖像識(shí)別方法進(jìn)行了大量研究，取得了可觀的研究成果。但是基于圖像處理的瑕疵檢測(cè)方法仍存在以下問(wèn)題：1)在對(duì)圖片進(jìn)行預(yù)處理的過(guò)程中，由于圖片背景會(huì)隨著背景紋理的變化而發(fā)生改變，導(dǎo)致算法需要針對(duì)特定應(yīng)用場(chǎng)景重新開(kāi)發(fā)，系統(tǒng)通用性、魯棒性較差；2)在提取特征時(shí)，如紗線表面纖維的方向等[7]難以直接被觀察到的抽象變量，通常利用Gabor 濾波[8]、雙邊濾波[9]等方法進(jìn)行處理，給開(kāi)發(fā)過(guò)程帶來(lái)困難，進(jìn)而對(duì)檢測(cè)的準(zhǔn)確性產(chǎn)生影響；3)選擇圖片特征時(shí)，需要針對(duì)不同的瑕疵類(lèi)型對(duì)圖片中的尺寸、形狀、紋理等多種缺陷特征進(jìn)行人工提取，工作量較大[10]。

1.2 毛羽瑕疵目標(biāo)檢測(cè)現(xiàn)狀

目標(biāo)檢測(cè)的任務(wù)是找出圖像中所有需要被檢出的對(duì)象，確定其類(lèi)別和位置。Ren 等[11]提出的two-stage 算法Faster R-CNN 是瑕疵檢測(cè)任務(wù)中的典型算法；車(chē)翔玖等[12]采用Faster R-CNN 調(diào)整區(qū)域推薦網(wǎng)絡(luò)在布匹瑕疵檢測(cè)中取得了良好效果。Redmon 等[13]提出分類(lèi)和定位在一個(gè)步驟中完成的YOLO 算法；唐有赟等[14]將深度可分離卷積與YOLO 模型相結(jié)合，織物瑕疵識(shí)別準(zhǔn)確率達(dá)到95.8%。布匹瑕疵與毛羽瑕疵相似，可以將Faster R-CNN和YOLO 應(yīng)用到絲餅表面毛羽的檢測(cè)中。

絲餅表面瑕疵主要包括毛羽、油污、絆絲、成型不良等，而斷線是未捻入絲餅的絲束尾端，不屬于表面瑕疵。為了實(shí)現(xiàn)絲餅表面瑕疵的智能檢測(cè)，王澤霞等[15]利用最大池化層代替全連接層對(duì)AlexNet 網(wǎng)絡(luò)進(jìn)行輕量化改進(jìn)，檢測(cè)對(duì)象集中在油污等特征明顯的瑕疵上，未對(duì)微小的毛羽瑕疵進(jìn)行檢測(cè)。針對(duì)這一問(wèn)題，張君揚(yáng)等[16]在SSD[17]中加入反卷積和特征融合對(duì)絲餅各類(lèi)毛羽瑕疵檢測(cè)，但未區(qū)分毛羽和斷線。

1.3 顯微視覺(jué)

顯微視覺(jué)系統(tǒng)是借助顯微鏡或者顯微鏡頭構(gòu)成的視覺(jué)系統(tǒng)[18]。經(jīng)過(guò)顯微鏡頭放大后，顯微相機(jī)采集的圖像稱為顯微圖像。顯微鏡放大倍數(shù)高，采集圖像清晰，能夠有效觀察微觀結(jié)構(gòu)，常應(yīng)用于醫(yī)學(xué)[19]、IC 制造、微機(jī)電系統(tǒng)裝配等領(lǐng)域。在纖維檢測(cè)領(lǐng)域，路凱等[20]結(jié)合顯微視覺(jué)鑒別羊毛和羊絨，識(shí)別正確率為86%。

毛羽錨框尺寸小，且長(zhǎng)寬差距大，通用的錨框尺寸不能適應(yīng)，是典型的小目標(biāo)檢測(cè)任務(wù)[21]。小目標(biāo)檢測(cè)是目標(biāo)檢測(cè)中的關(guān)鍵挑戰(zhàn)之一[22]。文獻(xiàn)[23]將低分辨率圖像反卷積至高分辨率，獲得了更多的細(xì)節(jié)；文獻(xiàn)[24]提出了視覺(jué)空間注意網(wǎng)絡(luò)VSA-Net，通過(guò)加入檢測(cè)目標(biāo)所在環(huán)境提升小物體檢測(cè)準(zhǔn)確率，增加上下文信息實(shí)現(xiàn)特征的補(bǔ)充；文獻(xiàn)[25]通過(guò)4 個(gè)尺度的特征層進(jìn)行融合提升整體目標(biāo)的檢測(cè)準(zhǔn)確率，避免隨著網(wǎng)絡(luò)加深造成的細(xì)節(jié)特征丟失，增加淺層細(xì)節(jié)信息便于小物體檢測(cè)。2019 年，Zhou 等[26]提出的CenterNet 算法采用無(wú)先驗(yàn)框的檢測(cè)方法，只負(fù)責(zé)預(yù)測(cè)物體的中心點(diǎn)，所以沒(méi)有尺寸限制，在抽雄期玉米雄蕊、糖尿病視網(wǎng)膜病變[27]等小物體檢測(cè)上展現(xiàn)優(yōu)勢(shì)。通過(guò)CenterNet 檢測(cè)毛羽等小目標(biāo)，可為化纖絲餅表面瑕疵檢測(cè)提供新的途徑。

1.4 注意力機(jī)制

經(jīng)典卷積主要集中在空間局部特征提取上，未對(duì)全局及通道圖像信息進(jìn)行篩選。為了在捕獲畫(huà)面中更重要特征信息的同時(shí)避免信息過(guò)載，提高任務(wù)處理的效率和準(zhǔn)確性，許多國(guó)內(nèi)外學(xué)者[28]利用神經(jīng)網(wǎng)絡(luò)產(chǎn)生注意力，突出重點(diǎn)信息并弱化次要信息，逐漸在圖像領(lǐng)域成為研究熱點(diǎn)。

機(jī)器視覺(jué)中的注意力機(jī)制分為兩種，軟注意力機(jī)制和強(qiáng)注意力機(jī)制。其中，軟注意力機(jī)制通過(guò)神經(jīng)網(wǎng)絡(luò)梯度計(jì)算得到注意力的權(quán)重，主要有兩種：一種是空間注意力機(jī)制，另外一種是通道注意力機(jī)制，以SE 模塊(squeeze-and-excitation module)[29]為代表?？臻g與通道注意力機(jī)制結(jié)合的CBAM(convolutional block attention module)，能夠提高網(wǎng)絡(luò)的學(xué)習(xí)效果。在熱軋鋼板表面缺陷檢測(cè)[30]和織物疵點(diǎn)檢測(cè)[25]中，嵌入CBAM 注意力機(jī)制能有效提升圖像分類(lèi)的效果，經(jīng)消融實(shí)驗(yàn)顯示，加入CBAM 的ResNet50 網(wǎng)絡(luò)Top-1 Error 下降約2%。如果將CBAM 與目標(biāo)檢測(cè)算法相結(jié)合，有望進(jìn)一步提升毛羽瑕疵檢測(cè)的準(zhǔn)確率。

2 本文方法

2.1 顯微視覺(jué)檢測(cè)平臺(tái)

2.1.1 視覺(jué)檢測(cè)系統(tǒng)設(shè)計(jì)

開(kāi)發(fā)了表面缺陷檢測(cè)系統(tǒng)，將絲餅放置于流水線上，共分為5 個(gè)狀態(tài)，如圖1 所示。

圖1 圖像采集實(shí)驗(yàn)平臺(tái)Fig.1 Image acquisition experimental platform

狀態(tài)1：絲餅在流水線上，處于待檢測(cè)狀態(tài)。

狀態(tài)2：絲餅進(jìn)入檢測(cè)機(jī)構(gòu)，激光傳感器檢測(cè)到絲餅，止動(dòng)氣缸彈出。

狀態(tài)3：絲餅停在檢測(cè)位，底部電機(jī)旋轉(zhuǎn)，工業(yè)顯微相機(jī)開(kāi)始檢測(cè)，絲桿在前后方向上進(jìn)行調(diào)節(jié)，改變拍攝范圍，最終覆蓋絲餅表面。

狀態(tài)4：激光傳感器檢測(cè)到絲餅后，分流氣缸根據(jù)絲餅瑕疵檢測(cè)結(jié)果進(jìn)行分流，分為A 等品和降等品。

狀態(tài)5：A 等品隨流水線進(jìn)入包裝環(huán)節(jié)。

在特定角度提供光源照亮毛羽瑕疵，弱化絲餅表面反光對(duì)缺陷特征產(chǎn)生的影響，獲取如圖2所示特征亮、背景暗的圖片。下面將通過(guò)實(shí)驗(yàn)確定最佳相機(jī)安裝位置及機(jī)器視覺(jué)光源配置。

圖2 被采圖像Fig.2 Acquired images

2.1.2 顯微相機(jī)

選擇焦距f=60 mm 的顯微鏡頭，畫(huà)面大小控制為可拍攝到瑕疵的最大畫(huà)幅。根據(jù)表1 所示鏡頭參數(shù)，表2 所示相機(jī)參數(shù)調(diào)節(jié)拍攝距離，改變拍攝視野。

表1 顯微鏡頭參數(shù)Table 1 Microscope lens parameters

表2 CMOS 相機(jī)參數(shù)Table 2 CMOS camera parameters

目標(biāo)檢測(cè)過(guò)程中要求檢測(cè)的毛羽直徑為3 μ m，經(jīng)燈光照射后特征放大，實(shí)際尺寸為30 μm。將最小檢測(cè)像素?cái)?shù)Pmin設(shè)為2。水平和豎直方向的最大檢測(cè)尺寸如式（1）、（2）所示：

式中：Vh、Vv分別為水平視野和豎直視野，表示畫(huà)面所拍攝的尺寸；Rh、Rv分別為水平和垂直視野分辨率；P為像素。物距u和像距v的算法如式（3）、（4）所示，由此可知被檢瑕疵的物距為387.89 mm。

式中：f為焦距；Ch為COMS 設(shè)備的高度。電子、光學(xué)、顯示器放大倍率計(jì)算公式為

式中：Md為電子放大倍率，表示COMS 設(shè)備連接至15.6 寸顯示屏上成像后的放大倍率；Mo為光學(xué)放大倍率，表示芯片尺寸與視野尺寸的比值；Mm為顯示器放大倍率，表示被拍物體通過(guò)鏡頭和相機(jī)成像后顯示在顯示器上的放大倍數(shù)。

2.2 瑕疵檢測(cè)算法模型

2.2.1 瑕疵檢測(cè)算法框架

本文提出的CenterNet-CBAM 模型框架如圖3所示。斷線和毛羽的特征為中間粗，兩邊細(xì)，與CenterNet-CBAM 的熱力圖識(shí)別機(jī)制相對(duì)應(yīng)，即中心點(diǎn)特征明顯，邊緣特征較弱。圖像傳入卷積網(wǎng)絡(luò)得到熱力圖，熱力圖峰值點(diǎn)即中心點(diǎn)，通過(guò)中心點(diǎn)和寬高預(yù)測(cè)，準(zhǔn)確定位中心點(diǎn)位置和預(yù)測(cè)框的大小。

圖3 CenterNet-CBAM 模型框架Fig.3 CenterNet-CBAM framework

本文提出的CenterNet-CBAM 算法特點(diǎn)如下：

1) 無(wú)損圖像預(yù)處理。本次任務(wù)屬于小目標(biāo)檢測(cè)，目標(biāo)物體所占用的像素為2，原圖尺寸為1 920×1 080×3，經(jīng)各項(xiàng)同性縮放生成與原圖近似的圖像1 920×1 088×3 輸入特征提取網(wǎng)絡(luò)，使圖片在卷積操作過(guò)程中能夠取整。

2)加入注意力機(jī)制和特征融合的卷積特征提取。使用Resnet50 特征提取網(wǎng)絡(luò)，通過(guò)5 次的卷積操作將圖片中的信息轉(zhuǎn)化為特征數(shù)組，為避免隨著網(wǎng)絡(luò)加深造成的細(xì)節(jié)特征丟失，將上采樣特征與下采樣特征融合，實(shí)現(xiàn)將底層的目標(biāo)位置信息引入高層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。在conv1 的最大池化層后和Resnet50 特征提取網(wǎng)絡(luò)conv5 后引入CBAM 模塊。

3)加入NMS 的二次特征解碼。CenterNet 的非極大抑制選取特征點(diǎn)與其周?chē)? 個(gè)點(diǎn)之間最大值，本次目標(biāo)為線狀特征，容易產(chǎn)生多個(gè)中心點(diǎn)效果，如圖4 所示，后處理過(guò)程加入NMS，防止同一目標(biāo)的復(fù)檢。

圖4 毛羽特征中心點(diǎn)預(yù)測(cè)結(jié)果Fig.4 Results of key-point heatmap of hairiness

2.2.2 瑕疵檢測(cè)算法流程

1）將尺寸為1 920×1 080×3 圖像輸入Resnet50網(wǎng)絡(luò)結(jié)構(gòu)中，經(jīng)過(guò)conv1 和conv2 的最大池化層，輸出作為特征圖F。

2）經(jīng)通道注意力模塊，特征圖F經(jīng)過(guò)平均池化(AvgPool)、最大池化(MaxPool)和激活函數(shù)相加接sigmoid 得到MC(F)，如式（5）所示：

3）將新特征圖F′′經(jīng)conv2、conv3 得到240×136×512 的特征層；經(jīng)conv4 得到120×68×1 024 的特征層；經(jīng)conv5 得到60×34×2 048 的特征層；最后接入CBAM 模塊，計(jì)算過(guò)程如式（6）、（7）、（8）所示，輸出后特征尺寸保持不變。

4）利用初步特征獲得高分辨率特征圖，通過(guò)3 次反卷積進(jìn)行上采樣，尺寸分別為120×68×256、240×136×128、480×272×64，分別與特征提取過(guò)程中的輸出特征F、F′、F′′進(jìn)行特征融合。

5）從提取特征中獲取預(yù)測(cè)結(jié)果，這個(gè)特征層相當(dāng)于將整個(gè)圖片劃分成480×272 個(gè)區(qū)域，每個(gè)區(qū)域存在一個(gè)特征點(diǎn)，如果某個(gè)物體的中心落在這個(gè)區(qū)域，那么就由這個(gè)特征點(diǎn)來(lái)確定。

6）利用特征層進(jìn)行3 次卷積獲得熱力圖預(yù)測(cè)、中心點(diǎn)預(yù)測(cè)和寬高預(yù)測(cè)結(jié)果。

7）預(yù)測(cè)結(jié)果解碼，熱力圖預(yù)測(cè)，輸出尺寸為480×272×2，其中最后一維代表斷線和毛羽兩類(lèi)瑕疵，預(yù)測(cè)是否有物體存在以及物體的種類(lèi)；中心點(diǎn)預(yù)測(cè)結(jié)果為480×272×2，代表物體中心距離熱力點(diǎn)偏移的距離；寬高預(yù)測(cè)輸出結(jié)果為480×272×2，代表當(dāng)前這個(gè)特征點(diǎn)對(duì)應(yīng)的預(yù)測(cè)框的寬和高。

2.2.3 損失函數(shù)

損失計(jì)算分為3 個(gè)部分，最終損失值為

式中：Ldet為CenterNet 的損失函數(shù)；Lk為熱力圖損失；Lsize為寬、高損失；Loff為中心點(diǎn)偏移量損失；λsize和λoff為常數(shù)，分別為0.1 和1。

2.2.4 評(píng)價(jià)指標(biāo)

本文采用精確度(precision)、召回率(recall)、AP 值和mAP 值作為模型的評(píng)價(jià)指標(biāo)：

式中：P為精確度；R為召回率；TP 為正確檢測(cè)框；FP 為誤檢框；FN 為漏檢框；psmooth(R)為對(duì)P-R曲線進(jìn)行平滑處理；dR表示用積分的方式計(jì)算平滑P-R曲線下方的面積；mAP 代表斷線和毛羽兩個(gè)類(lèi)別的AP 均值。

3 毛羽瑕疵的顯微視覺(jué)檢測(cè)實(shí)驗(yàn)

待檢測(cè)絲餅外徑為425 mm，內(nèi)徑為140 mm，厚度為123 mm，絲束纏繞在紙筒上，產(chǎn)品材質(zhì)為預(yù)取向絲，是拉伸絲和變形絲的基礎(chǔ)原料。表面光滑高亮，主體顏色為白色。由于毛羽、斷線瑕疵屬于高反光物體，對(duì)光源敏感，通過(guò)光源照射，被測(cè)產(chǎn)品瑕疵部分會(huì)產(chǎn)生高亮，與背景環(huán)境差異明顯。為避免拍攝環(huán)境中的雜光和倒影，搭建了全黑拍攝的圖像采集實(shí)驗(yàn)平臺(tái)。

3.1 顯微視覺(jué)光源實(shí)驗(yàn)

在控制其他條件不變情況下，對(duì)比不同光照下的產(chǎn)品照明效果，如圖5 所示。

圖5 光照強(qiáng)度對(duì)比Fig.5 Comparison of light intensity

經(jīng)對(duì)比處理后的二值化圖像可以得出，產(chǎn)品在高亮燈光照射下拍攝效果更好，目標(biāo)瑕疵更加清晰。當(dāng)燈光過(guò)亮?xí)r，背景中形成亮點(diǎn)，導(dǎo)致圖像均勻性差。當(dāng)燈光較弱時(shí)，瑕疵特征不明顯，不利于檢測(cè)。

對(duì)比不同顏色燈光對(duì)照射效果的影響，3 種色彩下調(diào)節(jié)RGB 通道閾值形成的二值化圖像差別不明顯。產(chǎn)品表面為白色，當(dāng)使用彩色燈光照亮物體時(shí)，產(chǎn)品表面反射了所有的彩色光而呈現(xiàn)統(tǒng)一的顏色，瑕疵特征對(duì)色彩影響不敏感，由此可知光源波長(zhǎng)對(duì)檢測(cè)效果產(chǎn)生影響不顯著，如圖6 所示。

圖6 光照色彩對(duì)比Fig.6 Comparison of lighting colors

對(duì)比兩種照明方式對(duì)成像效果的影響，明場(chǎng)照明需要用光源直接照射被測(cè)物，暗場(chǎng)照明則是通過(guò)被測(cè)物反射或者衍射的光線來(lái)觀測(cè)。光照的目的是提高對(duì)比度，突出目標(biāo)對(duì)象，以便提取出其輪廓等物理特征。由于暗場(chǎng)入射光束有較大的傾斜角，當(dāng)在黑暗的視野照明，即使很細(xì)的磨損也很容易識(shí)別，如圖7 所示。

圖7 照明方式對(duì)比Fig.7 Comparison of lightening mode

燈光數(shù)量對(duì)于瑕疵成像的影響，單向光照亮的毛羽范圍有限，毛羽特征連貫性差。加入垂直于切線的新燈光后，照亮范圍變大，毛羽整體更加連貫，邊緣更加明顯，如圖8 所示。

圖8 燈光數(shù)量對(duì)比Fig.8 Comparison of number of lights

通過(guò)不同角度下的打光效果對(duì)比，二值化圖像處理，發(fā)現(xiàn)光源在15°位置的照射效果最佳，如圖9 所示。

圖9 光照角度對(duì)比Fig.9 Comparison of lighting angles

結(jié)合上述實(shí)驗(yàn)，組合出最佳的拍攝條件。在黑色背景下，結(jié)合兩個(gè)白色光源進(jìn)行打光時(shí)成像效果最優(yōu)。光源1 即白色LED 光源沿與絲餅表面夾角15°的方向打光，打光位置在顯微鏡正下方，照亮與絲線方向垂直的毛羽；側(cè)面的白色LED 光源2 照亮與絲線方向平行的毛羽，如圖10 所示。在這種情況下，被測(cè)絲餅成像輪廓更清晰，特征突出，對(duì)比度更高。

圖10 毛羽標(biāo)簽圖像Fig.10 Hairiness image labeling

毛羽圖像經(jīng)過(guò)人工標(biāo)注，將瑕疵類(lèi)別劃分為斷線、毛羽兩種，分類(lèi)標(biāo)準(zhǔn)根據(jù)被檢瑕疵直徑確定。標(biāo)注完畢后，選擇Pascal VOC 導(dǎo)出形式。

按照絲餅的瑕疵類(lèi)型，將工業(yè)顯微相機(jī)采集的圖像進(jìn)行篩選，除去失焦、過(guò)曝等成像不良的樣本，將最終的有效圖像劃分為3 種，分別為帶有斷線、毛羽和無(wú)瑕疵的圖像，合計(jì)1 614 張，如表3所示，選擇8∶1∶1 的訓(xùn)練集、驗(yàn)證集、測(cè)試集配比。

表3 采集圖像數(shù)量Table 3 Number of images acquired 張

3.2 算法對(duì)比實(shí)驗(yàn)

實(shí)驗(yàn)對(duì)比了CenterNet、YOLOv4、Faster R-CNN、SSD 四種網(wǎng)絡(luò)選出最優(yōu)算法，均使用預(yù)訓(xùn)練模型，訓(xùn)練參數(shù)如表4 所示。

表4 4 種算法訓(xùn)練參數(shù)Table 4 Training parameters of four algorithms

針對(duì)最優(yōu)的CenterNet 進(jìn)行優(yōu)化，在Resnet50網(wǎng)絡(luò)中加入CBAM 模塊和特征融合。訓(xùn)練參數(shù)如表5 所示。

表5 CenterNet-CBAM 訓(xùn)練參數(shù)Table 5 CenterNet-CBAM training parameters

這些網(wǎng)絡(luò)模型均在Ubuntu(9.3.0)系統(tǒng)上進(jìn)行訓(xùn)練，使用GPU 加速。系統(tǒng)硬件為Intel(R) Core(TM) i5-10600KF CPU @ 4.10 GHz 和 32 GB RAM，NVIDIA GeForce RTX3090 24 GB。編程語(yǔ)言為 Python3.6，主要使用pytorch 平臺(tái)。

4 結(jié)果與討論

4.1 CenterNet-CBAM 識(shí)別結(jié)果

CenterNet-CBAM 的實(shí)驗(yàn)結(jié)果如表6 所示，mAP 為92.95%，如圖11 所示。隨著召回率的提高，毛羽和斷線的準(zhǔn)確率下降不明顯。

表6 CenterNet-CBAM 模型的識(shí)別結(jié)果Table 6 Identification results of CenterNet-CBAM %

圖11 CenterNet-CBAM 模型的識(shí)別結(jié)果Fig.11 Identification results of CenterNet-CBAM

4.2 CenterNet 的識(shí)別結(jié)果

CenterNet 的實(shí)驗(yàn)結(jié)果如表7 所示。模型中斷線AP 值最高，為92.13%，毛羽特征識(shí)別準(zhǔn)確率略低。準(zhǔn)確率隨召回率下降速度慢，如圖12 所示。結(jié)合斷線和毛羽的特點(diǎn)，CenterNet 檢測(cè)目標(biāo)選框的中間特征明顯，邊緣特征稀疏，取得了較好的識(shí)別效果。

表7 CenterNet 模型的識(shí)別結(jié)果Table 7 Identification results of CenterNet %

圖12 CenterNet 模型的識(shí)別結(jié)果Fig.12 Identification results of CenterNet

4.3 YOLOv4 識(shí)別結(jié)果

YOLOv4 實(shí)驗(yàn)結(jié)果如表8 所示，毛羽召回率對(duì)準(zhǔn)確率變化敏感，如圖13 所示。YOLO 采用了預(yù)定義候選區(qū)的方法，通過(guò)將圖片劃分為網(wǎng)格，在此實(shí)驗(yàn)中難以完整地覆蓋整個(gè)畫(huà)面，在小目標(biāo)識(shí)別的召回率上表現(xiàn)不佳。

表8 YOLOv4 模型的識(shí)別結(jié)果Table 8 Identification results of YOLOv4 %

圖13 YOLOv4 模型的識(shí)別結(jié)果Fig.13 Identification results of YOLOv4

4.4 Faster R-CNN 識(shí)別結(jié)果

Faster R-CNN 實(shí)驗(yàn)結(jié)果如表9 所示，隨著召回率的上升，算法的精確率下降較快，召回率最大值為76.41%，如圖14 所示。此實(shí)驗(yàn)中，該算法在特征提取完成后，目標(biāo)特征圖高度抽象，特征信息較少。定位目標(biāo)時(shí)使用固定目標(biāo)框，對(duì)于毛羽、斷線這類(lèi)形態(tài)不規(guī)則小物體效果不佳。

表9 Faster R-CNN 模型的識(shí)別結(jié)果Table 9 Identification results of Faster R-CNN %

圖14 Faster R-CNN 模型的識(shí)別結(jié)果Fig.14 Identification results of Faster R-CNN

4.5 SSD 識(shí)別結(jié)果

SSD 實(shí)驗(yàn)結(jié)果如表10 所示，SSD 模型對(duì)斷線和毛羽的識(shí)別率較低，斷線的精確率隨著召回率的上升快速下降，如圖15 所示。需要人工設(shè)置預(yù)選框的最大值、最小值和寬高比值。而對(duì)于毛羽、斷線這類(lèi)識(shí)別目標(biāo)來(lái)說(shuō)，比例和位置都有較強(qiáng)的隨機(jī)性。

圖15 SSD 模型的識(shí)別結(jié)果Fig.15 Identification results of SSD

表10 SSD 模型的識(shí)別結(jié)果Table 10 Identification results of SSD %

4.6 實(shí)驗(yàn)結(jié)果討論

在被檢測(cè)的兩類(lèi)目標(biāo)中，斷線由于特征更加明顯，在準(zhǔn)確率和召回率、AP 值上均優(yōu)于毛羽，YOLOv4、Faster R-CNN 和SSD 算法目標(biāo)檢測(cè)算法使用先驗(yàn)框，即先在圖片上設(shè)定大量的先驗(yàn)框，網(wǎng)絡(luò)的預(yù)測(cè)結(jié)果會(huì)對(duì)先驗(yàn)框進(jìn)行調(diào)整獲得預(yù)測(cè)框，受到被檢物體尺寸的限制，對(duì)小物體檢測(cè)效果不佳。CenterNet-CBAM 得到的瑕疵置信度和IOU 值都較高；CenterNet 中出現(xiàn)了部分目標(biāo)未被檢出的情況；YOLOv4 對(duì)于毛羽瑕疵出現(xiàn)了錯(cuò)檢的情況，部分毛羽被檢測(cè)為斷線；Faster R-CNN的識(shí)別結(jié)果出現(xiàn)了錯(cuò)檢和復(fù)檢的情況；而SSD 的識(shí)別置信度較低，且有漏檢問(wèn)題。綜合比較過(guò)后發(fā)現(xiàn)CenterNet-CBAM 算法識(shí)別效果最佳，如圖16所示。

圖16 不同算法毛羽檢測(cè)效果對(duì)比Fig.16 Detection effect comparison of different algorithms

在CenterNet-CBAM、CenterNet、YOLOv4、Faster R-CNN、SSD 五種算法中，mAP 值最高的是CenterNet-CBAM 算法，達(dá)92.95%，如圖17 所示。CenterNet 網(wǎng)絡(luò)中加入CBAM 后,加強(qiáng)提取任務(wù)相關(guān)的特征，抑制任務(wù)無(wú)關(guān)的特征，重新定義每個(gè)通道和空間特征的重要性，以較小的開(kāi)銷(xiāo)達(dá)到提升網(wǎng)絡(luò)性能、提高模型識(shí)別率和加快模型收斂速度的效果。通過(guò)加入特征融合，強(qiáng)化了特征圖的細(xì)節(jié)信息，提高了小目標(biāo)檢測(cè)能力。實(shí)驗(yàn)結(jié)果表明，嵌入CBAM 注意力機(jī)制和特征融合的CenterNet 算法在準(zhǔn)確率和召回率上有提升，相較于其他算法，本算法有更高的識(shí)別率，可以為化纖絲餅生產(chǎn)提供精準(zhǔn)的檢測(cè)服務(wù)。

圖17 算法性能對(duì)比直方圖Fig.17 Algorithm performance comparison histogram

本文實(shí)驗(yàn)也存在一定的局限性：1）單個(gè)相機(jī)的拍攝范圍有限，后期選用多相機(jī)陣列式組合可以提高采樣率；2）實(shí)驗(yàn)后可以將毛羽進(jìn)行進(jìn)一步分類(lèi)，通過(guò)更加精細(xì)的分類(lèi)，有助于絲餅的分級(jí)工作，出現(xiàn)頻率較高的瑕疵類(lèi)型歸因?yàn)樵O(shè)備故障，克服了傳統(tǒng)的人工檢測(cè)方式具有的滯后性，準(zhǔn)確及時(shí)地根據(jù)缺陷類(lèi)型來(lái)排除生產(chǎn)故障；3）后續(xù)研究將進(jìn)一步更新模型，使用目標(biāo)檢測(cè)中的非卷積算法ViT (vision transformer)等進(jìn)行計(jì)算。

5 結(jié)束語(yǔ)

本文提出面向絲餅微小毛羽的檢測(cè)方法，通過(guò)搭建圖像采集平臺(tái)構(gòu)建絲餅瑕疵數(shù)據(jù)集，使用放大鏡頭檢測(cè)微小物體特性，獲得新的絲餅瑕疵圖像。將注意力機(jī)制加入絲餅檢測(cè)算法當(dāng)中，mAP 值達(dá)到92.95%，對(duì)比多種算法檢測(cè)結(jié)果后，驗(yàn)證CenterNet-CBAM 在準(zhǔn)確率、召回率上均有更好的表現(xiàn)，驗(yàn)證了所提出的智能視覺(jué)檢測(cè)系統(tǒng)的有效性。