基于物體顯著性自監(jiān)督學(xué)習(xí)的片煙雜物檢測方法

王小飛，李東方，李玉珩，陳傳通

1.秦皇島煙草機(jī)械有限責(zé)任公司，河北省秦皇島市經(jīng)濟(jì)技術(shù)開發(fā)區(qū)龍海道67號 066000

2.山東中煙工業(yè)有限責(zé)任公司濟(jì)南卷煙廠，濟(jì)南市歷城區(qū)科航路2006號 250100

片煙原料中經(jīng)?；煊薪饘佟⑹瘔K、麻繩、紙片、蟲繭、泡沫等雜物，這些雜物若混入煙絲卷制成卷煙，在煙支燃燒時會產(chǎn)生異味，影響卷煙感官質(zhì)量，增加加工質(zhì)量風(fēng)險。因此，片煙雜物檢測和剔除是卷煙制絲生產(chǎn)中的重要工序之一，其作用在于防止金屬和石塊等重質(zhì)雜物對后續(xù)工序設(shè)備造成損壞，避免泡沫等輕質(zhì)雜物以及麻繩和蟲繭等異物影響卷煙質(zhì)量。目前煙草行業(yè)常用的雜物檢測及剔除方法主要有風(fēng)選法、激光法和圖像識別法［1］。風(fēng)選法利用異物與片煙或煙絲懸浮速度不同剔除重質(zhì)雜物，但無法有效剔除與煙絲質(zhì)量相近的異物。激光法根據(jù)片煙和異物對激光反射、吸收特性的不同進(jìn)行雜物識別，但該設(shè)備生產(chǎn)成本較高，不利于推廣應(yīng)用［1-2］。圖像識別法分為傳統(tǒng)法和基于深度學(xué)習(xí)方法。李陽萱［3］利用顏色特征對煙草異物圖像進(jìn)行檢測，異物剔除率達(dá)到99%；莊珍珍［4］采用區(qū)域生長邊緣檢測方法對煙葉圖像進(jìn)行分割，取得較好的背景分離效果；邵素琳［5］通過梯度直方圖和灰度共生矩陣提取片煙的關(guān)鍵點(diǎn)和描述符，進(jìn)而提取片煙的顏色及紋理特征識別片煙類別。傳統(tǒng)的圖像識別法剔除雜物效果較好，但需要人工進(jìn)行參數(shù)調(diào)節(jié)，且魯棒性較差，容易受環(huán)境噪聲的影響。隨著深度學(xué)習(xí)方法的發(fā)展，吳亞成［6］將卷積神經(jīng)網(wǎng)絡(luò)嵌入到顏色分類器，提高特征提取性能，煙葉除雜精度得到顯著提升。李亞召等［7-8］提出一種基于卷積神經(jīng)網(wǎng)絡(luò)的霉變煙葉識別方法，通過構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)模型學(xué)習(xí)正常煙葉和霉變煙葉的特征，再利用收斂后的模型推理并篩選正常煙葉與霉變煙葉，識別準(zhǔn)確率可達(dá)96.12%。但在實(shí)際應(yīng)用中由于片煙運(yùn)動容易造成雜物被遮擋，仍然存在正常片煙被誤判為雜物、雜物漏檢等問題。而采用深度學(xué)習(xí)方法利用訓(xùn)練得到的深度神經(jīng)網(wǎng)絡(luò)對圖像進(jìn)行顯著性目標(biāo)檢測（Salient Object Detection，SOD）［8］，可有效提升檢測準(zhǔn)確度。顯著性目標(biāo)檢測可以看作是一個圖像分割問題，即將圖像中的顯著性目標(biāo)區(qū)域從背景中分割出來［9］。顯著性目標(biāo)檢測目前廣泛應(yīng)用于計算機(jī)視覺任務(wù)中［10-11］，如對高分辨率衛(wèi)星圖像進(jìn)行基于無監(jiān)督特征學(xué)習(xí)的場景分類［12］；將無監(jiān)督學(xué)習(xí)轉(zhuǎn)化為多實(shí)例學(xué)習(xí)，實(shí)現(xiàn)圖像目標(biāo)定位和分類［13］；構(gòu)建測試視覺問答模型性能的數(shù)據(jù)集［14］等。近年來，顯著性目標(biāo)檢測在煙草行業(yè)也有大量應(yīng)用，楊威等［15］基于U-Net和超像素分割對煙株進(jìn)行自動提取，平均準(zhǔn)確度達(dá)到93.42%。鐘宇等［16］提出一種基于殘差神經(jīng)網(wǎng)絡(luò)的煙絲類型識別方法，能夠有效識別葉絲、梗絲、膨脹葉絲、再造煙葉絲等煙絲類型，相比基于卷積神經(jīng)網(wǎng)絡(luò)的識別方法，識別率、泛化能力與魯棒性均有提升。洪金華等［17］采用自監(jiān)督的k-means++聚類方法對煙蟲圖像自動生成YOLOv3模型的錨點(diǎn)框，提高了對煙蟲位置、煙絲和煙末的識別能力。自監(jiān)督學(xué)習(xí)是一種具有特殊監(jiān)督形式的非監(jiān)督學(xué)習(xí)方法［18］，由自監(jiān)督任務(wù)而非預(yù)設(shè)先驗(yàn)知識誘發(fā)，其算法能夠自主學(xué)習(xí)檢測到的顯著物體之間的相互關(guān)系，并通過自動適應(yīng)雜物與正常物體的分界點(diǎn)來確定真實(shí)雜物。為此，采用深度學(xué)習(xí)顯著性目標(biāo)檢測與傳統(tǒng)特征聚類相結(jié)合的方法，提出一種片煙雜物檢測方法，并采用狀態(tài)累積的方法對一定時間內(nèi)多幀序列的檢測結(jié)果進(jìn)行像素分析，以期提高片煙雜物檢測精度，實(shí)現(xiàn)片煙生產(chǎn)流程全自動化檢測。

1 材料與方法

1.1 樣品

片煙樣品為濟(jì)南卷煙廠制絲車間2023年1—4月生產(chǎn)的片煙產(chǎn)品，包含多個批次。

1.2 數(shù)據(jù)集構(gòu)建

所使用數(shù)據(jù)均為濟(jì)南卷煙廠細(xì)支卷煙智能生產(chǎn)線監(jiān)控視頻數(shù)據(jù)。將視頻數(shù)據(jù)進(jìn)行圖像提取、篩選、標(biāo)注得到訓(xùn)練數(shù)據(jù)，數(shù)據(jù)標(biāo)注過程見圖1。其中，雜物區(qū)域標(biāo)記為白色，灰度值為255；其他背景區(qū)域標(biāo)記為黑色，灰度值為0。對原始圖像進(jìn)行處理得到12 000 張標(biāo)注圖像，按照7∶2∶1 的比例將其劃分為訓(xùn)練集、驗(yàn)證集和測試集。

圖1 數(shù)據(jù)標(biāo)注過程Fig.1 Data labeling procedure

1.3 模型構(gòu)建

1.3.1 片煙雜物的顯著性目標(biāo)檢測

顯著性目標(biāo)檢測分為稀疏檢測法和密集檢測法［19］，本文中采用的是基于編-解碼結(jié)構(gòu)的密集檢測法，其顯著性目標(biāo)檢測網(wǎng)絡(luò)為嵌套的兩級U型結(jié)構(gòu)，所嵌套的模塊稱為殘差U 型塊［20］（ReSidual U-blocks，RSU）。由于RSU 中混合了不同大小的感受野，故能夠從不同尺度獲取更多信息。此外，RSU還使用了池化操作，在增加整個模型深度的情況下不會增大計算成本。圖2是一個深度為7的RSU，其結(jié)構(gòu)包含上采樣和下采樣兩個階段，各有5層網(wǎng)絡(luò)，每層網(wǎng)絡(luò)包含卷積層、批歸一化層和激活層。其中，H、W、C分別代表輸入和輸出的高、寬和通道數(shù)，M表示每層輸入輸出通道數(shù)的度量，3×3為卷積層的卷積核大小，d表示擴(kuò)張卷積的擴(kuò)張率［21］。

圖2 殘差U型塊結(jié)構(gòu)Fig.2 Structure of ReSidual U-blocks

顯著性目標(biāo)檢測網(wǎng)絡(luò)架構(gòu)如圖3所示，采用全卷積神經(jīng)網(wǎng)絡(luò)［22］架構(gòu)，每個藍(lán)色方塊為一個RSU，每個RSU包含兩層不改變輸入高、寬的卷積層，下采樣網(wǎng)絡(luò)層數(shù)由高到低依次為5，4，3，2，1，0 層。圖3 中向下箭頭表示下采樣，向上箭頭表示上采樣，向右的細(xì)箭頭表示跳躍連接，就是將兩個相同高、寬的特征在通道維度上進(jìn)行串聯(lián)操作。顯著性目標(biāo)檢測網(wǎng)絡(luò)采用嵌套的U 型結(jié)構(gòu)，能夠有效提取每一階段的多尺度特征以及聚集階段的多層次特征。

圖3 顯著性目標(biāo)檢測網(wǎng)絡(luò)架構(gòu)Fig.3 Structure of salient object detection network

因整個顯著性目標(biāo)檢測網(wǎng)絡(luò)架構(gòu)建立在RSU上，未使用任何經(jīng)過預(yù)訓(xùn)練的、適應(yīng)于圖像分類的骨干網(wǎng)絡(luò)。因此，構(gòu)建的顯著性目標(biāo)檢測網(wǎng)絡(luò)模型（以下簡稱兩級U-Net模型）性能靈活且適應(yīng)性強(qiáng)。兩級U-Net 模型輸入為三通道的RGB 圖像，輸出為相同分辨率的單通道顯著性圖像。在訓(xùn)練過程中采用預(yù)訓(xùn)練與監(jiān)督學(xué)習(xí)方式對網(wǎng)絡(luò)參數(shù)進(jìn)行優(yōu)化，其損失函數(shù)為二值交叉熵：

式中：PS（r，c）和PG（r，c）分別代表高、寬為H、W的圖像坐標(biāo)點(diǎn)（r，c）的模型預(yù)測值和真實(shí)值。

1.3.2 片煙雜物的自監(jiān)督聚類

采用自監(jiān)督學(xué)習(xí)方法可以自適應(yīng)地學(xué)習(xí)顯著性物體之間的分界線。首先提取檢測到的顯著性物體的特征（圖4a），再采用傳統(tǒng)的K 均值聚類方法進(jìn)行聚類分析。利用兩級U-Net 模型對輸入的片煙圖像進(jìn)行檢測，能夠獲得圖像中各類雜物的顯著性目標(biāo)檢測結(jié)果。如圖4b所示，黑色區(qū)域代表背景，白色區(qū)域代表所檢測的雜物，其形狀面積與雜物大小和類別相關(guān)。根據(jù)模型的輸出結(jié)果，按照白色區(qū)域?qū)υ紙D像進(jìn)行分割，可獲得雜物的目標(biāo)區(qū)域圖像（圖4c），提取這些目標(biāo)區(qū)域的特征即可對雜物進(jìn)行分類識別。

圖4 顯著性目標(biāo)檢測及雜物矩形框生成過程Fig.4 Process of salient object detection and foreign matter rectangle box generation

利用模型的編碼器進(jìn)行目標(biāo)區(qū)域特征提取，編碼器由圖3 左邊虛線框內(nèi)編碼階段各RSU 組成，其輸入大小為1 px×64 px×64 px×3 px。因雜物大小存在差異，目標(biāo)區(qū)域尺寸也各不相同。因此，在將目標(biāo)區(qū)域輸入到編碼器前需要對不同目標(biāo)區(qū)域進(jìn)行尺寸歸一化，使其滿足編碼器輸入要求。編碼器輸出的1×10×10×512維度的特征圖經(jīng)過變形得到1×51 200維度的特征向量，對圖像上n個顯著性目標(biāo)對應(yīng)的特征向量進(jìn)行堆疊可得到n×51 200維度的聚類特征矩陣。對特征矩陣進(jìn)行聚類，k個類別的聚類輸出結(jié)果為0～（k-1）個標(biāo)簽，每種標(biāo)簽對應(yīng)一種類別。根據(jù)緊湊度選擇前m個類別對應(yīng)目標(biāo)區(qū)域?yàn)殡s物，其余標(biāo)記為正常物體。聚類過程中，選取1 200個包含橡膠、塑料、尼龍、碎紙片、泡沫等雜物的矩形框進(jìn)行特征提取，獲得1 200×51 200 維度的聚類特征矩陣并進(jìn)行聚類。

1.3.3 片煙雜物的狀態(tài)判斷

為避免因片煙運(yùn)動導(dǎo)致雜物被遮擋而影響檢測精度，需要對獲取的目標(biāo)雜物進(jìn)一步分析。首先對已判斷為雜物的目標(biāo)區(qū)域進(jìn)行篩查，利用矩形框預(yù)測為雜物的概率及其相互之間的重疊比率（IoU，Intersection over Union）去除冗余框；再計算篩選后每個矩形框的中心位置，并統(tǒng)計此后一段時間內(nèi)的雜物狀態(tài)。具體步驟為：計算當(dāng)前幀圖像中目標(biāo)區(qū)域（矩形框）的中心位置，根據(jù)中心位置的個數(shù)建立位置數(shù)組和狀態(tài)數(shù)組，并將當(dāng)前幀的位置寫入位置數(shù)組作為第一個元素，同時將對應(yīng)的狀態(tài)數(shù)組狀態(tài)值置為1。計算下一幀圖像中矩形框的中心位置，并與存儲在位置數(shù)組中的上一幀中心位置進(jìn)行對比，可能有3種情況：①矩形框的中心位置與上一幀的中心位置距離小于閾值，此時將矩形框的中心位置寫入位置數(shù)組并將對應(yīng)的狀態(tài)數(shù)組狀態(tài)值置為1。②矩形框的中心位置與上一幀的任意中心位置距離均大于閾值，此時新建一個位置數(shù)組和狀態(tài)數(shù)組，并將矩形框中心位置寫入位置數(shù)組，同時將對應(yīng)的狀態(tài)數(shù)組狀態(tài)值置為1。③某個位置數(shù)組在下一幀圖像中沒有矩形框與之相匹配，此時根據(jù)位置數(shù)組中上一幀的中心位置以及片煙運(yùn)動情況，構(gòu)建一個虛擬位置寫入位置數(shù)組，同時將對應(yīng)的狀態(tài)數(shù)組狀態(tài)值置為0。

經(jīng)過一定時間序列t后再次對雜物進(jìn)行判斷。當(dāng)狀態(tài)累積值小于閾值時物體被認(rèn)為是誤檢雜物，刪除其對應(yīng)的位置數(shù)組和狀態(tài)數(shù)組；當(dāng)狀態(tài)累積值大于閾值時，對位置數(shù)組的存儲位置進(jìn)行直線擬合。如果擬合誤差大于閾值，則認(rèn)為此位置數(shù)組對應(yīng)雜物為誤檢雜物，刪除其對應(yīng)的位置數(shù)組和狀態(tài)數(shù)組；如果擬合誤差小于閾值，則認(rèn)為此位置數(shù)組對應(yīng)雜物為真實(shí)雜物，輸出雜物報警并刪除其對應(yīng)的位置數(shù)組和狀態(tài)數(shù)組。如圖5所示，圖像中的物體先經(jīng)過顯著性目標(biāo)檢測和聚類分析后確定為雜物，再經(jīng)過在一定時間序列t的狀態(tài)累積后判斷是否為真實(shí)雜物，然后對新檢測雜物與已檢測到雜物進(jìn)行重疊比較，剔除重復(fù)檢測的雜物。

圖5 雜物檢測算法流程圖Fig.5 Flow chart of foreign matter detection algorithm

1.4 模型評估

1.4.1 顯著性目標(biāo)檢測網(wǎng)絡(luò)模型評估

使用平均IoU 和平均絕對誤差（Mean Absolute Error，MAE）評價顯著性目標(biāo)檢測網(wǎng)絡(luò)模型的性能，選擇顯著性目標(biāo)檢測網(wǎng)絡(luò)BASNet［23］和U-Net［24］作為對比。MAE計算公式為：

1.4.2 聚類效果評估

在標(biāo)注的數(shù)據(jù)集上對比不同參數(shù)下聚類結(jié)果對雜物檢測精度的影響，并以此為標(biāo)準(zhǔn)選取標(biāo)簽m值。采用F1 分?jǐn)?shù)［25］評價聚類效果，F(xiàn)1 分?jǐn)?shù)越高，說明檢測模型性能越穩(wěn)定。由文獻(xiàn)［26］可知，雜物聚類類別數(shù)k=10情況下，m取值范圍為1～9。F1分?jǐn)?shù)計算公式為：

式中：P和R分別代表雜物檢測的精準(zhǔn)率和召回率，%；F1分?jǐn)?shù)用于評價m值對雜物檢測效果的影響。

1.5 模型訓(xùn)練

實(shí)驗(yàn)過程分為模型訓(xùn)練和推理兩部分。其中，訓(xùn)練環(huán)境用于訓(xùn)練顯著性目標(biāo)檢測網(wǎng)絡(luò)，主要算法流程在推理環(huán)境中實(shí)現(xiàn)。在訓(xùn)練環(huán)境中，操作系統(tǒng)為Ubuntu16.04.6，采用2 塊GeForce RTX 2080Ti 顯卡，約20 GB內(nèi)存，訓(xùn)練框架為TensorFlow1.4。在實(shí)際檢測環(huán)境中，操作系統(tǒng)為Ubuntu16.04.6/Windows10，GPU為8 GB顯存的GeForce RTX 2080。訓(xùn)練后模型采用TensorRT 框架進(jìn)行推理優(yōu)化部署，TensorRT 是NVIDIA公司開發(fā)的高性能GPU推理C++庫，具有高吞吐量、低延遲和低占用設(shè)備內(nèi)存等優(yōu)點(diǎn)，可有效提高深度學(xué)習(xí)模型在推理時的檢測速度，實(shí)現(xiàn)算法快速高效部署。

所訓(xùn)練的兩級U-Net 模型輸入高、寬為320 px×320 px，輸入批次為24，初始化參數(shù)值為預(yù)訓(xùn)練好的參數(shù)。采用Adam 方式優(yōu)化參數(shù)，初始學(xué)習(xí)率為0.008，以指數(shù)衰減方式每8 000 步衰減1 次。首先凍結(jié)特征提取階段的網(wǎng)絡(luò)參數(shù)，在迭代10 000 步時開放所有網(wǎng)絡(luò)參數(shù)，繼續(xù)訓(xùn)練至35 000 步。訓(xùn)練損失函數(shù)值Loss 和步數(shù)Step變化曲線見圖6。訓(xùn)練樣本的真實(shí)值為二值圖像，預(yù)測顯著圖的像素值在（0，1）范圍，0表示背景，1表示目標(biāo)物體。

圖6 Loss-Step訓(xùn)練曲線Fig.6 Loss-Step training curve

2 結(jié)果與分析

2.1 模型評估效果

將兩級U-Net 模型與U-Net 和BASNet 兩種模型的檢測性能進(jìn)行對比，結(jié)果見表1?？梢?，兩級U-Net 模型的檢測精度均優(yōu)于BASNet和U-Net。在實(shí)際檢測推理部署時，由于采用了高性能優(yōu)化的TensorRT 框架，兩級U-Net 模型的檢測速度明顯優(yōu)于BASNet和U-Net。由圖7可見，兩級U-Net模型的預(yù)測結(jié)果準(zhǔn)確性顯著高于BASNet 和U-Net，其邊緣也更加精確。

表1 不同顯著性目標(biāo)檢測模型輸出結(jié)果Tab.1 Output results of different salient object detection models

圖7 不同模型顯著性目標(biāo)檢測可視化結(jié)果Fig.7 Visualization results of salient object detection

2.2 聚類結(jié)果對檢測性能的影響

圖8 為不同m值下聚類結(jié)果對雜物檢測精度的影響?？梢姡琺=5 時檢測精度最高；當(dāng)m值較小時，聚類算法容易將部分與正常物體接近的雜物聚類為正常物體，故F1 分?jǐn)?shù)較低；當(dāng)m>5 時，隨著m值增大，聚類算法容易將部分正常物體聚類為雜物，故F1分?jǐn)?shù)迅速降低。根據(jù)聚類結(jié)果的緊湊度可得標(biāo)簽0～4 分別對應(yīng)橡膠、塑料、尼龍、碎紙片、泡沫雜物，標(biāo)簽5～（k-1）對應(yīng)正常物體。

圖8 不同m值對雜物檢測效果的影響Fig.8 Influence of different m values on effectiveness of foreign matter detection

2.3 雜物檢測結(jié)果

以生產(chǎn)過程中的一段測試視頻為例，將訓(xùn)練好的模型轉(zhuǎn)換為TensorRT 框架的引擎文件進(jìn)行部署，設(shè)置當(dāng)一個疑似雜物連續(xù)出現(xiàn)4幀時確認(rèn)是雜物，檢測結(jié)果見圖9。可見，在第1幀時已檢測出疑似雜物（顯示綠色框），直到第4幀時被判定為真實(shí)雜物（顯示紅色框）并提示異常信息。

圖9 片煙雜物顯著性目標(biāo)檢測可視化結(jié)果Fig.9 Visualization results of detection foreign matters in tobacco strips

2.4 雜物識別率測試

測試樣本包含生產(chǎn)中常見雜物尼龍、碎紙片、泡沫、橡膠和塑料各160塊。人工在正常片煙中混入各類雜物，挑選8組不同雜物數(shù)量的測試樣本，采用兩級U-Net 模型分別對8 組樣本進(jìn)行識別，結(jié)果見表2。可見，8 組中雜物識別率最低為92.2%，最高為100%，平均識別率為96.6%，漏檢率均低于8%。表明兩級U-Net模型能夠?qū)Ω黝愲s物進(jìn)行準(zhǔn)確檢測，且魯棒性較高。

表2 片煙雜物識別測試結(jié)果Tab.2 Detection results of foreign matter identification

由表3 可見，因橡膠與片煙顏色差別較大，在測試過程中識別率達(dá)到100%；泡沫面積較大，混入片煙后形態(tài)明顯，識別率達(dá)到98.1%；碎紙片與塑料面積較小，識別率均為95.6%；而尼龍形態(tài)細(xì)長，與片煙較為相似，識別率較低，為93.8%。

表3 不同類別雜物識別率Tab.3 Identification rates of foreign matters of different kinds

3 結(jié)論

提出了一種基于物體顯著性自監(jiān)督學(xué)習(xí)的片煙雜物檢測方法。先檢測出片煙圖像中的顯著性目標(biāo)，再對檢測目標(biāo)進(jìn)行聚類分析并剔除正常物體；然后采用基于時間序列的狀態(tài)累積檢測方法確定檢測雜物的真實(shí)度，提高雜物檢測的穩(wěn)定性。結(jié)果表明：兩級U-Net 模型的平均IoU 和MAE 分別為0.90 和0.054，均優(yōu)于對比的BASNet 和U-Net 模型；片煙雜物平均識別率達(dá)到96.6%；采用TensorRT 框架進(jìn)行部署，圖像處理時間為21 ms/張，可以滿足現(xiàn)場檢測實(shí)時性要求，為實(shí)現(xiàn)片煙生產(chǎn)全自動化雜物分類識別提供支撐。