基于正常樣本學(xué)習(xí)的真?zhèn)尉頍熜『心z痕鑒別方法

李 鄲，梁洲源，馬慧宇，李海燕，王春瓊，張 軻，張榆鋒*

1. 云南省煙草質(zhì)量監(jiān)督檢測(cè)站，昆明市高新技術(shù)開發(fā)區(qū)科醫(yī)路41 號(hào) 650104

2. 云南大學(xué)信息學(xué)院，昆明市呈貢區(qū)大學(xué)城東外環(huán)南路 650500

鑒別檢驗(yàn)卷煙真?zhèn)螌?duì)于加強(qiáng)煙草專賣管理、防止假冒卷煙流入市場(chǎng)具有重要意義。鑒別卷煙真?zhèn)巫畛Ｓ玫姆椒ㄊ歉泄贆z驗(yàn)法，主要依賴檢測(cè)人員自身的經(jīng)驗(yàn)知識(shí)，從包裝、煙支、煙絲和吸味等多個(gè)方面對(duì)卷煙產(chǎn)品進(jìn)行鑒定［1-2］。該方法對(duì)檢測(cè)人員的專業(yè)技能要求較高，且存在主觀性強(qiáng)等問題。因此，利用機(jī)器視覺技術(shù)和物化檢驗(yàn)設(shè)備代替人類感官功能進(jìn)行卷煙真?zhèn)舞b定成為當(dāng)前研究熱點(diǎn)。鐘宇等［3］和肖楠等［4］基于卷煙外包裝圖像，分別通過傳統(tǒng)機(jī)器學(xué)習(xí)和深度學(xué)習(xí)對(duì)真?zhèn)伟b圖像進(jìn)行了鑒別。魏中華［5］基于煙支的總通風(fēng)率、硬度和濾嘴通風(fēng)率3個(gè)物理指標(biāo)構(gòu)建了SVM（Support Vector Machine）真?zhèn)晤A(yù)測(cè)模型。張靈帥等［6］采集真?zhèn)螣熃z的近紅外光譜數(shù)據(jù)，并通過主成分分析結(jié)合馬氏距離方法建立了判別模型。田耀偉等［7］、聶磊等［8］和高莉等［9］分別利用電子嗅覺系統(tǒng)、頂空-氣相色譜-質(zhì)譜技術(shù)和頂空-離子分子反應(yīng)質(zhì)譜技術(shù)對(duì)卷煙的揮發(fā)性和半揮發(fā)性成分進(jìn)行分析，以此區(qū)分真假卷煙。檢驗(yàn)儀器的使用在很大程度上提高了卷煙真?zhèn)舞b別工作的客觀性，但隨著卷煙仿制技術(shù)水平的提升，真假煙的外觀和內(nèi)在結(jié)構(gòu)差異極小，并且卷煙的包裝樣式繁多、理化特性復(fù)雜，從外包裝和煙支、煙絲物化參數(shù)等方面進(jìn)行卷煙真?zhèn)舞b別難度大且耗時(shí)費(fèi)力，需要選擇更加有效的鑒別方法。卷煙小盒（以下簡(jiǎn)稱煙盒）內(nèi)部的粘膠痕跡是反映卷煙包裝機(jī)型的重要特征，由于制假者大多使用簡(jiǎn)單的包裝設(shè)備和粗劣的包裝工藝，因而真煙和假煙的膠痕形態(tài)存在顯著差異［10］。目前，卷煙工業(yè)企業(yè)使用的主流包裝機(jī)型有14種，對(duì)應(yīng)14類真品膠痕，類別數(shù)量少，并且相較于不斷推陳出新的包裝樣式和卷煙配方，卷煙包裝工藝相對(duì)穩(wěn)定，粘膠痕跡長(zhǎng)期保持不變。因此，將膠痕作為檢測(cè)對(duì)象可有效降低鑒別問題的復(fù)雜度，使鑒別方法具有更廣泛、更長(zhǎng)期的通用性。由于膠痕在自然光下人眼難以辨識(shí)，需要在特殊光照環(huán)境下采集圖像再進(jìn)行真?zhèn)舞b別處理。此外，考慮到假煙的辨別、收集、標(biāo)定工作困難，并且制假者的生產(chǎn)工藝參差不齊，使得假樣本具有數(shù)量少、特征不穩(wěn)定等特點(diǎn)，因而引入異常檢測(cè)技術(shù)，僅通過正常（真品）樣本構(gòu)建鑒別模型。異常檢測(cè)作為機(jī)器學(xué)習(xí)領(lǐng)域的重要分支，主要解決機(jī)器學(xué)習(xí)模型在面對(duì)未知樣本時(shí)的安全問題，對(duì)于保證機(jī)器學(xué)習(xí)系統(tǒng)的可靠性至關(guān)重要，被廣泛應(yīng)用于網(wǎng)絡(luò)入侵檢測(cè)［11］、欺詐行為檢測(cè)［12］、農(nóng)作物病害檢測(cè)［13］和工業(yè)產(chǎn)品缺陷檢測(cè)［14］等多個(gè)領(lǐng)域。深度學(xué)習(xí)通過深層神經(jīng)網(wǎng)絡(luò)自動(dòng)獲取數(shù)據(jù)的語義信息和潛在模式，無需人工設(shè)計(jì)特征，可提高異常檢測(cè)的效率、準(zhǔn)確率和魯棒性［15］。為此，提出一種基于膠痕圖像深度學(xué)習(xí)的卷煙真?zhèn)舞b別方法，通過構(gòu)建適用于多種卷煙規(guī)格的卷煙真?zhèn)舞b別模型，以期利用機(jī)器視覺代替人眼視覺進(jìn)行鑒別，提高卷煙真?zhèn)舞b別準(zhǔn)確率。

1 材料與方法

1.1 材料

收集10 種常見包裝機(jī)型生產(chǎn)的煙盒（硬盒卷煙包裝機(jī)型5種，軟盒卷煙包裝機(jī)型5種）；假冒硬盒和軟盒卷煙來源于云南省煙草質(zhì)量監(jiān)督檢測(cè)站。拆解所有煙盒并去除內(nèi)襯紙后得到平整的煙盒樣品，包裝機(jī)型類別、卷煙規(guī)格和煙盒樣品數(shù)量見表1。

表1 包裝機(jī)型類別和煙盒樣品數(shù)量Tab.1 Packer types and number of cigarette packet samples

1.2 方法

如圖1 所示，基于膠痕圖像深度學(xué)習(xí)的卷煙真?zhèn)舞b別方法包括煙盒膠痕圖像采集、膠痕圖像樣本產(chǎn)生、基于深度學(xué)習(xí)異常檢測(cè)的真?zhèn)舞b別3 個(gè)主要步驟。

1.2.1 煙盒膠痕圖像采集

煙盒包裝過程中主要使用熱熔膠或白乳膠作為粘接劑，產(chǎn)生的粘膠痕跡呈無色透明狀或白色半透明狀，主要分布于硬煙盒內(nèi)部的正面和反面以及軟煙盒內(nèi)部的側(cè)邊。由于煙盒包裝紙內(nèi)部多為白色，使得膠痕在自然光或普通熒光燈照射下人眼辨識(shí)度低，難以通過普通拍攝或掃描方式采集到清晰的膠痕圖像。借鑒刑偵學(xué)中的分色攝影技術(shù)［16］，利用特殊光譜成分的可見光對(duì)煙盒樣品進(jìn)行照射，以增強(qiáng)膠痕與內(nèi)部包裝紙的區(qū)分度，并以此設(shè)計(jì)了一種膠痕圖像采集裝置，見圖2。該裝置主體為密閉的遮光箱（長(zhǎng)29.2 cm，寬25.5 cm，高32.3 cm），以避免外界環(huán)境光干擾。頂部的LED燈帶可提供均勻的光照，燈帶額定電壓5 V，3 條燈帶間隔2.5 cm。中間為白光燈帶，波長(zhǎng)400～760 nm；兩側(cè)為藍(lán)光燈帶，波長(zhǎng)400～450 nm。裝置下方的抽拉式鐵質(zhì)底板配備限位器和磁條，便于快速放置煙盒樣品。拍攝手機(jī)型號(hào)為iPhone 11 Pro Max，拍攝軟件為L(zhǎng)ightroom，選擇廣角鏡頭，快門時(shí)間1/100 s，白平衡6 000 K，感光度250，畫幅縮放200%。利用該裝置采集煙盒膠痕圖像，圖像尺寸為2 000 px×1 500 px，圖像存儲(chǔ)格式為JPG。

圖2 膠痕圖像采集裝置結(jié)構(gòu)示意圖Fig.2 Structure of glue line image capturing device

1.2.2 膠痕圖像樣本產(chǎn)生

采集到的煙盒膠痕圖像仍有大部分與檢測(cè)無關(guān)的背景，需要通過圖像處理技術(shù)剔除這些背景，以突出圖像中的膠痕信息。如圖3所示，硬煙盒與軟煙盒的圖像處理流程：①讀取煙盒膠痕圖像；②通過二值化生成黑白圖像；③對(duì)黑白圖像進(jìn)行開操作，先通過腐蝕操作去除煙盒外部的噪點(diǎn)和狹長(zhǎng)突起部分，再通過膨脹操作還原煙盒外輪廓；④基于處理后的黑白圖像，得到膠痕分布區(qū)域的煙盒外輪廓點(diǎn)；⑤根據(jù)相鄰輪廓點(diǎn)之間的位置關(guān)系篩選得到4 個(gè)關(guān)鍵點(diǎn)；⑥獲取4 個(gè)關(guān)鍵點(diǎn)的最大外接矩形；⑦基于最大外接矩形，對(duì)原始圖像進(jìn)行裁剪得到膠痕圖像樣本。圖4展示了各包裝機(jī)型膠痕圖像樣本，經(jīng)過圖像處理后，圖像中的膠痕特征更加顯著。

圖3 煙盒圖像處理流程Fig.3 Process flow of cigarette packet images

圖4 不同包裝機(jī)型的煙盒膠痕圖像樣本Fig.4 Glue line image samples from different packers

1.2.3 基于深度學(xué)習(xí)異常檢測(cè)的真?zhèn)舞b別

機(jī)器學(xué)習(xí)模型在面對(duì)訓(xùn)練期間未見過的樣本時(shí)難以做出準(zhǔn)確判別，這將嚴(yán)重干擾機(jī)器學(xué)習(xí)系統(tǒng)在實(shí)際應(yīng)用中的安全性和可靠性。異常檢測(cè)可以有效解決此類問題，該方法通過正常樣本構(gòu)建檢測(cè)模型，檢測(cè)與正常模式存在差異的異常樣本［17］。Hendrycks 等［18］的研究表明，由于正常樣本與異常樣本的分布不同，由正常樣本訓(xùn)練得到的分類模型，通常會(huì)對(duì)同樣來自正常分布的樣本產(chǎn)生較大的最大預(yù)測(cè)概率值，而對(duì)來自異常分布的樣本產(chǎn)生較小的最大預(yù)測(cè)概率值。為此，本研究中將數(shù)量多、膠痕特征穩(wěn)定的真品膠痕樣本視作正常樣本，而將數(shù)量少、膠痕特征不穩(wěn)定的假樣本視作異常樣本，基于深度學(xué)習(xí)異常檢測(cè)方法對(duì)膠痕圖像樣本進(jìn)行真?zhèn)舞b別。

1.2.3.1 模型訓(xùn)練數(shù)據(jù)集的建立和劃分

使用包裝機(jī)型表示膠痕類別，按類別整理膠痕圖像樣本后，得到膠痕圖像數(shù)據(jù)集。從該數(shù)據(jù)集的10 個(gè)真品類別中，每類隨機(jī)選取300 個(gè)樣本組成模型訓(xùn)練數(shù)據(jù)集，樣本總量為3 000 個(gè)，各類真品樣本分別對(duì)應(yīng)于0～9 的數(shù)值標(biāo)簽。然后按7∶2∶1 的比例將模型訓(xùn)練數(shù)據(jù)集隨機(jī)劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集。

1.2.3.2 模型分類訓(xùn)練

卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，簡(jiǎn)稱CNN）作為重要的深度學(xué)習(xí)網(wǎng)絡(luò)架構(gòu)，被廣泛應(yīng)用于圖像分類任務(wù)［19］。通過模型訓(xùn)練數(shù)據(jù)集對(duì)CNN進(jìn)行分類訓(xùn)練，訓(xùn)練目標(biāo)是使模型能夠準(zhǔn)確識(shí)別真樣本的膠痕類別。圖5展示了CNN分類模型的一般架構(gòu)，將圖像樣本調(diào)整為指定大小后輸入模型，通過一系列操作自動(dòng)提取圖像的深層語義信息，并通過softmax層對(duì)網(wǎng)絡(luò)輸出層進(jìn)行處理，產(chǎn)生多個(gè)預(yù)測(cè)概率值p1，p2，…，pc，softmax層的計(jì)算公式可表示為：

圖5 卷積神經(jīng)網(wǎng)絡(luò)分類模型Fig.5 Convolutional neural network classification model

式中：zi表示輸出層第i個(gè)節(jié)點(diǎn)的輸出值；c表示節(jié)點(diǎn)個(gè)數(shù)，即類別數(shù)量；將最大預(yù)測(cè)概率值記為pmax，該值所對(duì)應(yīng)的類別即為模型預(yù)測(cè)樣本的類別。

選擇AlexNet［20］、VGG11［21］、ResNet18［22］、DenseNet121［23］、InceptionV1［24］這5個(gè)經(jīng)典的CNN作為分類模型，各模型通過不同結(jié)構(gòu)改進(jìn)方式提升自身性能，見表2。

表2 不同卷積神經(jīng)網(wǎng)絡(luò)模型的特點(diǎn)Tab.2 Characteristics of different convolutional neural network models

1.2.3.3 模型真?zhèn)舞b別

模型真?zhèn)舞b別流程見圖6。首先，加載完成訓(xùn)練的分類模型，將測(cè)試集中所有樣本調(diào)整為指定大小后輸入模型，得到各樣本的最大預(yù)測(cè)概率值。然后，基于最大預(yù)測(cè)概率值計(jì)算判別閾值R，選擇兩種閾值計(jì)算方式進(jìn)行對(duì)比：①將所有最大預(yù)測(cè)概率值由大到小排列，選取第95個(gè)百分位點(diǎn)對(duì)應(yīng)的最大預(yù)測(cè)概率值作為閾值［25-26］，記為R_0.95；②計(jì)算所有最大預(yù)測(cè)概率值的平均值作為閾值［27］，記為R_mean。最后，將待測(cè)樣本調(diào)整為指定大小后輸入分類模型，通過模型對(duì)待測(cè)樣本產(chǎn)生的最大預(yù)測(cè)概率值pmax與閾值R進(jìn)行比較，若pmax≥R，則將該待測(cè)樣本判別為真，否則判別為假，以此實(shí)現(xiàn)模型真?zhèn)舞b別。

圖6 真?zhèn)舞b別流程Fig.6 Authentication process flow

2 實(shí)驗(yàn)與結(jié)果分析

2.1 實(shí)驗(yàn)環(huán)境

硬件環(huán)境：Intel Core i7-10700 CPU @ 2.90 GHz，32 GB 內(nèi)存，NVIDIA GeForce GTX 1650 圖形處理器。軟件環(huán)境：Windows 10 操作系統(tǒng)，Python 3.9.7 開發(fā)語言，圖像處理操作基于OpenCV-Python 4.5.5.64實(shí)現(xiàn)，深度學(xué)習(xí)框架基于PyTorch 1.10.2實(shí)現(xiàn)。

2.2 參數(shù)設(shè)置

訓(xùn)練過程中超參數(shù)的設(shè)定值見表3。為避免模型訓(xùn)練過擬合，采用提前終止的訓(xùn)練策略，若模型的驗(yàn)證集損失值在連續(xù)5個(gè)訓(xùn)練周期內(nèi)無下降，則終止訓(xùn)練。

表3 超參數(shù)設(shè)置Tab.3 Setting values of hyperparameters

2.3 模型分類性能

訓(xùn)練后模型的分類性能見表4?？梢姡珹lexNet的測(cè)試集準(zhǔn)確率約為94%，表明該模型能夠較好地區(qū)分真品膠痕類型，其訓(xùn)練集和驗(yàn)證集準(zhǔn)確率相差約3 百分點(diǎn)，說明模型存在輕微的過擬合。VGG11的測(cè)試集準(zhǔn)確率在97%以上，其訓(xùn)練集和驗(yàn)證集準(zhǔn)確率的差值在2百分點(diǎn)以內(nèi)，表明模型具有良好的分類精度和泛化性。ResNet18、DenseNet121、InceptionV1的測(cè)試集準(zhǔn)確率均能夠達(dá)到99%，并且其訓(xùn)練集和驗(yàn)證集準(zhǔn)確率的差值均在2百分點(diǎn)以內(nèi)，表明這3 個(gè)模型的分類性能優(yōu)異，精度高且泛化性好。

表4 不同卷積神經(jīng)網(wǎng)絡(luò)模型的分類性能Tab.4 Classification performance of different convolution neural network models

2.4 模型鑒別性能

將未參與模型訓(xùn)練的974 個(gè)真樣本和320 個(gè)假樣本作為待測(cè)樣本進(jìn)行真?zhèn)舞b別，結(jié)果見圖7?；诨煜仃囀褂脺?zhǔn)確率、召回率和特異性［28］對(duì)模型的鑒別性能進(jìn)行評(píng)估，結(jié)果見表5。可見，不同判別閾值對(duì)ResNet18、DenseNet121、InceptionV1 的鑒別性能影響較小，但會(huì)顯著影響AlexNet 和VGG11 對(duì)假樣本的判別能力。當(dāng)閾值R=R_0.95 時(shí)，AlexNet 和VGG11 的特異性分別約為32%和52%，表明這兩個(gè)模型對(duì)假樣本的判別能力較差；當(dāng)R=R_mean 時(shí)，AlexNet 和VGG11 的召回率分別約為82%和92%，特異性分別約為61%和68%，表明這兩個(gè)模型能夠準(zhǔn)確判別大部分真樣本，并且具有一定的假樣本判別能力。因此，相較于R_0.95，選擇R_mean 作為判別閾值能夠保證所有模型對(duì)真?zhèn)螛颖揪邆湟欢ǖ蔫b別能力。當(dāng)閾值R=R_mean 時(shí)，ResNet18、DenseNet121、InceptionV1 的鑒別準(zhǔn)確率約為94%，召回率和特異性分別約為93%～94%和93%～95%，表明這3個(gè)模型能夠?qū)^大部分的真樣本和假樣本做出準(zhǔn)確判別，表現(xiàn)出優(yōu)異的鑒別性能。5 個(gè)模型的檢測(cè)時(shí)間均在10 ms左右，鑒別速度快，檢測(cè)效率高。

圖7 不同卷積神經(jīng)網(wǎng)絡(luò)模型的混淆矩陣Fig.7 Confusion matrixes of different convolution neural network models

表5 不同卷積神經(jīng)網(wǎng)絡(luò)模型的鑒別性能Tab.5 Identification performance of different convolution neural network models

本研究中還引入受試者工作特性曲線（ReceiverOperating Characteristic Curve，簡(jiǎn)稱ROC 曲線）和曲線下面積（Area Under Curve，簡(jiǎn)稱AUC）［29］進(jìn)一步評(píng)估模型的鑒別性能，結(jié)果見圖8。可見，AlexNet 的AUC 約為0.82，表明模型的鑒別性能較好。VGG11的AUC 約為0.92，表明模型具有良好的鑒別能力。ResNet18、DenseNet121、InceptionV1 的AUC 約為0.98，表明這3 個(gè)模型的鑒別性能優(yōu)異。結(jié)合2.3 節(jié)模型分類性能進(jìn)行對(duì)比可以看出，模型在訓(xùn)練過程中獲得的分類性能越好，其真?zhèn)舞b別性能越好。

圖8 不同卷積神經(jīng)網(wǎng)絡(luò)模型的ROC曲線Fig.8 ROC curves of different convolution neural network models

3 結(jié)論

提出了一種基于正常樣本學(xué)習(xí)的真?zhèn)尉頍熌z痕鑒別方法，將卷煙包裝外觀檢測(cè)轉(zhuǎn)換為包裝痕跡檢測(cè)，將真?zhèn)舞b別問題由一般分類任務(wù)轉(zhuǎn)換為異常檢測(cè)任務(wù)。使用1 294個(gè)真?zhèn)螛颖具M(jìn)行鑒別測(cè)試，結(jié)果表明：采用本方法構(gòu)建的鑒別模型能夠在完全不使用假樣本訓(xùn)練的前提下對(duì)待測(cè)樣本進(jìn)行真?zhèn)闻袆e，因而無需進(jìn)行大量的假樣本收集和標(biāo)定工作，并且保證了模型在面對(duì)未知假樣本時(shí)的判別能力。AlexNet、VGG11、ResNet18、DenseNet121、InceptionV1 這5 個(gè)CNN分類模型中，ResNet18、DenseNet121、InceptionV1的鑒別性能優(yōu)異，考慮到InceptionV1 的參數(shù)量比其他兩個(gè)模型更少，有利于將來在移動(dòng)端設(shè)備進(jìn)行應(yīng)用部署，因而可以優(yōu)先使用InceptionV1 構(gòu)建判別模型。本方法簡(jiǎn)單、準(zhǔn)確、高效，適用于多種常見規(guī)格的卷煙產(chǎn)品。未來工作重點(diǎn)是收集其他包裝機(jī)型生產(chǎn)的足量煙盒樣品，構(gòu)建更加完備的膠痕圖像數(shù)據(jù)集，在新的數(shù)據(jù)集上進(jìn)一步驗(yàn)證方法的有效性，并對(duì)鑒別模型進(jìn)行優(yōu)化，為建立高效、可靠的卷煙真?zhèn)沃悄荑b別方法提供支撐。