基于改進Fast-SCNN的塑瓶氣泡缺陷實時分割算法

付 磊，任德均，吳華運，郜 明，邱 呂，胡云起

（四川大學(xué)機械工程學(xué)院，成都 610065）

（?通信作者電子郵箱rendejun@scu.edu.cn）

0 引言

隨著生活水平的提升，人們對健康的重視程度增加，醫(yī)藥消費逐漸增大。據(jù)文獻［1］可知，2014 年國內(nèi)在輸液瓶上的生產(chǎn)量就高達136.92 億袋，其中軟袋、塑瓶所占比例超過50%。軟袋、塑瓶的瓶體是由吹塑機器通過模具吹塑成型，瓶體的質(zhì)量與藥液污染密切相關(guān)，然而在吹塑過程中由于工藝不足與模具質(zhì)量問題產(chǎn)生如圖1所示的缺陷。

圖1 塑瓶瓶身缺陷類型Fig.1 Plastic bottle body defect types

其中黑點、殘缺瓶缺陷可以通過閾值分割及模板匹配檢測出來；但是氣泡缺陷其邊緣特征的相似性，對其檢測產(chǎn)生較大的干擾。以往瓶身氣泡缺陷檢測是通過人工在光照條件下進行眼檢，其檢測的準確性隨著工人檢測時間的增加而降低。文獻［2］采用逆向P-M（Perona-Malik）擴散、二值化差分圖像算法確定缺陷區(qū)域，并采用支持向量機（Support Vector Machine，SVM）對缺陷進行分類，其對組合蓋的明顯氣泡、黑點、毛發(fā)能達到實時檢測效果；但算法性能對擴散模型參數(shù)較為敏感，對氣泡缺陷存在一定的漏檢。文獻［3］中采用太赫茲技術(shù)對滾塑制品氣泡缺陷檢測，其基于太赫茲波在有氣泡的區(qū)域反射圖譜嚴重衰減原理，對氣泡缺陷檢測效果較好；但太赫茲設(shè)備昂貴且在氣泡檢測工業(yè)應(yīng)用方面尚未成熟。文獻［4］采用動態(tài)閾值分割的方法對X 射線照射的BGA（Ball Grid Array）焊點連接電路板圖進行氣泡缺陷提取，其主要應(yīng)用于金屬內(nèi)氣泡缺陷的檢測。

語義分割技術(shù)用于尋找圖像不同實體的邊界，可實現(xiàn)像素級定位相關(guān)對象，按照其方法可以分為深度卷積神經(jīng)網(wǎng)絡(luò)、自動編碼卷積網(wǎng)絡(luò)、基于雙向循環(huán)神經(jīng)網(wǎng)絡(luò)（Bi-directional Recurrent Neural Network，Bi-RNN）模型等，其中熱點研究集中在深度卷積神經(jīng)網(wǎng)絡(luò)，通過非線性映射及激活函數(shù)提取目標分割信息，進而可對圖像進行逐像素分類以實現(xiàn)對缺陷的檢測［5］。最具代表性的深度卷積神經(jīng)網(wǎng)絡(luò)為全卷積神經(jīng)網(wǎng)絡(luò)（Fully Convolutional Networks，F(xiàn)CN）［6］與DeepLab［7-8］系列，基于自動編碼卷積為U-Net 網(wǎng)絡(luò)［9］及基于Bi-RNN 的ReSeg 模型［10］。FCN 在圖片上進行非對稱卷積與反卷積操作，并在最后一層對其進行像素分類，其對復(fù)雜背景下物體邊緣提取不足［11］。U-Net采用對稱的下采樣與上采樣，在醫(yī)學(xué)影像處理中得到廣泛應(yīng)用。該網(wǎng)絡(luò)同時也被借鑒到其他領(lǐng)域，如劉暢等［12］采用改進U-Net 與分類神經(jīng)網(wǎng)絡(luò)的方法對磁瓦缺陷進行檢測分類，效果上能預(yù)測93%的磁瓦缺陷區(qū)域，類別準確率達94%。同時，Bi-RNN 考慮全局上下文關(guān)系耗時導(dǎo)致推理時間較長，而不適用工業(yè)檢測。

基于目前沒有對醫(yī)用塑瓶氣泡的有效檢測方法及深度卷積神經(jīng)網(wǎng)絡(luò)對非明顯特征的檢測優(yōu)勢，本文提出了一種改進快速分割卷積神經(jīng)網(wǎng)絡(luò)（Fast Segmentation Convolutional Neural Network，F(xiàn)ast-SCNN）［13］的分割檢測算法，其在低圖形處理器（Graphics Processing Unit，GPU）性能的硬件上也有較高的分割速度，滿足現(xiàn)有的工程要求。本文研究對圖像數(shù)據(jù)進行了預(yù)處理及增強，并引入了多級跳躍連接與注意力機制改進網(wǎng)絡(luò)以實現(xiàn)高精度端到端的缺陷分割，通過對比實驗得出所提算法獲得了網(wǎng)絡(luò)檢測精度與時間消耗量的平衡。

1 本文算法

1.1 原始Fast-SCNN

檢測算法應(yīng)用于工業(yè)檢測中往往需要在檢測硬件成本低、應(yīng)用性能不足的情況下滿足一定的檢測精度和耗時少等要求。為了解決氣泡實時檢測難點問題，選擇圖2（a）所示的Fast-SCNN為基礎(chǔ)進行優(yōu)化，并將分割好的掩碼圖像采用輪廓尋找以實現(xiàn)對圖像缺陷的信息統(tǒng)計。該網(wǎng)絡(luò)借鑒了Zhao等［14］提出的金字塔場景解析網(wǎng)絡(luò)（Pyramid Scene Parsing Network，PSPNet）中的多級池化提取全局信息及當前較為流行的多分支結(jié)構(gòu)［15-17］，具體為：卷積下采樣后，多級池化提取圖像由淺到深的多層特征；第二分支學(xué)習(xí)淺層高分辨率信息，簡單補充多級池化所帶來的空間信息的損失；同時，網(wǎng)絡(luò)中卷積為深度可分離卷積，進一步減小模型的規(guī)模及減少推理時間。在Cityscapes 數(shù)據(jù)集輸入大小為512×1 024 像素、設(shè)備為單個Nvidia Titan X 時，該網(wǎng)絡(luò)的類別精度為62.8%、平均交并比（Mean Intersection Over Union，MIoU）為68.0%。Fast-SCNN 中包含了卷積下采樣、上采樣、DSConv（Distribution Shifting Convolution）、DWConv（DepthWise Convolution）、金字塔池化、Softmax等網(wǎng)絡(luò)部分。

1.2 網(wǎng)絡(luò)層操作及改進原理

卷積操作（Conv2d）：采用卷積核以一定間隔（Stride）在圖片上行掃描乘積方式學(xué)習(xí)圖片特征，同一層中卷積核參數(shù)相同。每一次卷積操作都是將淺層特征語義化，同時卷積過程是線性的，可以改變特征的大小。

批標準化（Batch normalization）［18］是由Google 于2015 年提出，其目的在于加速網(wǎng)絡(luò)的收斂、按照一定規(guī)則打亂特征數(shù)據(jù)減少網(wǎng)絡(luò)的過擬合，采用的方法是使每層輸入符合一定的數(shù)據(jù)分布。具體算法流程為：1）獲取批次的均值，如式（1）；2）獲取批次的協(xié)方差，如式（2）；3）對批次數(shù)據(jù)進行歸一化，如式（3）；4）對批次數(shù)據(jù)進行縮放平移，如式（4）。

其中：m為批次的大??；xi為一批次的數(shù)據(jù)值；γ與β是要學(xué)習(xí)的參數(shù)；而添加常量參數(shù)ε是為了保證數(shù)值穩(wěn)定性。

交叉熵損失函數(shù)（Cross Entropy Error Function）用來描述兩個概率分布之間的接近程度，且該函數(shù)描述出來的曲線為凸函數(shù)曲線，在現(xiàn)有的數(shù)學(xué)證明上其為收斂函數(shù)，其損失函數(shù)公式如式（5）～（6）所示，式（5）為樣本均衡時的損失函數(shù)，式（6）為樣本不均衡時的損失函數(shù)。

其中：x為網(wǎng)絡(luò)模型的輸出；class為單個類，本文為［0，1］；j為所有類；文中的weight為類權(quán)重向量，用于減輕類不平衡對性能的影響。

上采樣（upsample）：采用某種插值方式對原有特征進行尺寸維度上擴展。改進Fast-SCNN 采用的上采樣方式為雙線性插值方式，該上采樣是通過在兩個維度上分別進行一次插值，從而達到特征的縮放。

金字塔池化操作借鑒了PSPNet、DeepLab［19］獲取全局信息方法，主要為對同一特征層采用不同的池化核得到一系列從大到小特征層的方法學(xué)習(xí)不同深度特征，再經(jīng)過不同的上采樣倍數(shù)，使池化后的特征層大小相同，再與輸入特征進行拼接，進而在單分支獲得不同深度的特征信息。在改進Fast-SCNN中該部分如圖3所示。

圖2 原始Fast-SCNN與改進Fast-SCNN的結(jié)構(gòu)Fig.2 Structures of original Fast-SCNN and improved Fast-SCNN

圖3 金字塔池化操作Fig.3 Pyramid pooling operation

SENet（Sequeeze and Excitation Networks）［20］是由Momenta公司于2017 年提出的網(wǎng)絡(luò)，如圖4 所示。該網(wǎng)絡(luò)首次提出利用通道間的信息促進網(wǎng)絡(luò)對目標對象局部特征的學(xué)習(xí)，同時在一定程度上減少其他噪聲信息的干擾。SE 模塊主要分為兩部分：一為壓縮特征（Squeeze），利用自適應(yīng)全局平均池化獲得輸入特征的特征通道間數(shù)值分布數(shù)據(jù)；二為激發(fā)特征（Excitation），利用兩個全連接中夾取一個ReLU（Rectified Linear Units）層來降低計算量，其后用一個Sigmoid 層來學(xué)習(xí)每個特征通道的重要性，進而再與原來的通道進行相乘，獲得具有通道間信息的特征層。

1.3 改進Fast-SCNN

Fast-SCNN 多次卷積下采樣操作與金字塔池化生成的語義特征丟失了圖像小型物體的淺層特征，導(dǎo)致該網(wǎng)絡(luò)不能檢測小于一定尺寸的氣泡缺陷，同時該網(wǎng)絡(luò)在金字塔池化后上采樣4 倍，擴大了對1/8 圖像特征學(xué)習(xí)的誤差，從而影響網(wǎng)絡(luò)對氣泡邊緣像素標簽的預(yù)測。最后，該網(wǎng)絡(luò)在上采樣后直接與第二分支特征進行融合，未對上采樣的特征進行通道重要性區(qū)分，在一定程度上降低了該網(wǎng)絡(luò)對氣泡的分割精度，從而最終影響對氣泡缺陷的檢測。針對原始Fast-SCNN 的不足，本文提出如圖2（b）所示的改進Fast-SCNN，其改進由以下幾個方面組成：1）增加卷積下采樣的次數(shù)，促進網(wǎng)絡(luò)學(xué)習(xí)到氣泡缺陷圖更高層的語義特征，使網(wǎng)絡(luò)對氣泡缺陷具有更好的識別能力；2）在網(wǎng)絡(luò)進行金字塔池化后，網(wǎng)絡(luò)上采樣的倍數(shù)改為2 倍，減少擴張計算帶來的誤差；3）借鑒U-Net 對稱式的下采樣與上采樣思想，但也考慮到網(wǎng)絡(luò)的檢測時間，僅將1/4特征、1/8 特征、1/16 特征分別與高層語義特征上采樣后特征融合，減少網(wǎng)絡(luò)對淺層細節(jié)信息的丟失；4）在高層語義特征上采樣后、融合淺層信息前增加通道信息的學(xué)習(xí)，從而使網(wǎng)絡(luò)具有區(qū)分缺陷通道信息的能力?；谝陨蠈W(wǎng)絡(luò)結(jié)構(gòu)的改進，增強了網(wǎng)絡(luò)對圖像特征提取的能力，避免了在降采樣時小型缺陷的信息丟失造成對小型缺陷的未分割，從而顯著提高了對氣泡缺陷檢測的性能。

圖4 SELayer模塊Fig.4 SELayer module

2 實驗與結(jié)果分析

2.1 實驗數(shù)據(jù)與硬件

本文研究采用的數(shù)據(jù)為工業(yè)相機對某醫(yī)用塑瓶制造廠生產(chǎn)中含有氣泡塑瓶拍攝圖，共計2 841 張，因Fast-SCNN 采用監(jiān)督學(xué)習(xí)對其2 541 張圖片數(shù)據(jù)用LabelMe 軟件進行標記，并將其標注數(shù)據(jù)中隨機選取1 936 張圖片為訓(xùn)練集，605 張圖片為測試集。在標注數(shù)據(jù)之前，對圖片數(shù)據(jù)進行預(yù)處理，提取塑瓶區(qū)域，排除非塑瓶區(qū)域?qū)z測的影響，并減小圖片尺寸以縮短檢測時間。對得到的JSON（JavaScript Object Notation）文件進行處理獲得標注圖片，氣泡原圖與氣泡標注圖如圖5所示。

由于數(shù)據(jù)集較小，借鑒Fast-SCNN 在leftImg8bit 的數(shù)據(jù)集數(shù)目，考慮塑瓶可左右傾斜將訓(xùn)練數(shù)據(jù)集進行左右翻轉(zhuǎn)擴充數(shù)據(jù)，最終獲得的訓(xùn)練集的樣本數(shù)為3 872張。本文檢測采用的實驗環(huán)境是Pytorch框架，在Window 10系統(tǒng)下運行，使用的GPU為英偉達GTX1070，RAM為8 GB。

2.2 實驗評價指標

實驗采用國際計算機視覺與模式識別會議（conference on Computer Vision and Pattern Recognition，CVPR）中有關(guān)語義分割的評價指標：執(zhí)行時間、內(nèi)存占用及精確度。精確度分為像素精度（Pixel Accuracy，PA）、均像素精度（Mean Pixel Accuracy，MPA）、平均交并比（MIoU）及頻權(quán)交并比（Frequency Weighted Intersection over Union，F(xiàn)WIoU）四種，由于只檢測氣泡缺陷，本文僅采用像素精度與平均交并比兩種。像素精度為正確預(yù)測的像素數(shù)占總的像素數(shù)的比值，其計算式如式（7）所示；平均交并比為真實值集合與預(yù)測值集合的交集除以其并集，計算式如式（8）所示。

其中：pii是類別為i的同時也被預(yù)測為i類的像素之和；pij是類別為i的被預(yù)測為j類的像素之和；k為類別數(shù)。

2.3 對比分析

為了驗證本文所提改進Fast-SCNN 的有效性與可行性，對比三組不同的Fast-SCNN 改進網(wǎng)絡(luò)，三組改進網(wǎng)絡(luò)如下：1）二級淺層特征Fast-SCNN（Both Shallow Feature Fast-SCNN，BSF Fast-SCNN）?？紤]到原網(wǎng)絡(luò)在全局特征提取并融合淺層特征后直接上采樣8 倍，在一定程度忽略網(wǎng)絡(luò)的細節(jié)信息，故將網(wǎng)絡(luò)下采樣1/4后的特征添加進網(wǎng)絡(luò)的后繼預(yù)測層之前，使網(wǎng)絡(luò)在預(yù)測時上采樣為4 倍。2）三級淺層特征Fast-SCNN（Three Shallow Feature Fast-SCNN，TSF Fast-SCNN）。在BSF Fast-SCNN 的基礎(chǔ)上對金字塔池化后的上采樣4 倍改為2 倍，同時在下采樣到1/8后繼續(xù)下采樣到1/16，并添加兩次特征融合，其網(wǎng)絡(luò)結(jié)構(gòu)圖為圖2（b）去除SELayer 模塊后所示。3）四級融合SElayer 淺特征Fast-SCNN（Four SELayer Shallow Feature Fast-SCNN，F(xiàn)SSF Fast-SCNN）。將網(wǎng)絡(luò)下采樣1/2 的特征添加進改進Fast-SCNN，同時在網(wǎng)絡(luò)上采樣為1/2 特征時融合SELayer 特征。在氣泡訓(xùn)練數(shù)據(jù)集上對原始Fast-SCNN網(wǎng)絡(luò)、改進Fast-SCNN 與上述三個改進網(wǎng)絡(luò)（BSF Fast-SCNN、TSF Fast-SCNN、FSSF Fast-SCNN）進行實驗，其中網(wǎng)絡(luò)的超參數(shù)為：輸入圖片尺寸為320×450像素，學(xué)習(xí)率為0.001，訓(xùn)練輪數(shù)為96。在605張測試圖片上得到如表1所示的分割性能。

從總體上看，隨著對網(wǎng)絡(luò)的改進，網(wǎng)絡(luò)結(jié)構(gòu)逐漸復(fù)雜，單張檢測時間也從原來的19.4 ms 增加到27.19 ms，MIoU 也增加了2.36 個百分點；從檢測性能上看，F(xiàn)SSF Fast-SCNN 較改進Fast-SCNN 的MIoU 僅提高了0.16個百分點，但單張檢測時間增加了2.79 ms；綜合考慮MIoU 精度與效率，采用改進Fast-SCNN 用于工業(yè)現(xiàn)場氣泡缺陷的檢測。同時表1 結(jié)果表明，采用合理的跳躍連接次數(shù)能促進網(wǎng)絡(luò)對缺陷區(qū)域預(yù)測的精度；SELayer模塊增加網(wǎng)絡(luò)對上采樣模塊通道特征重要性的理解，在網(wǎng)絡(luò)性能上MIoU值上升了0.23個百分點。

表1 優(yōu)化網(wǎng)絡(luò)結(jié)果對比Tab.1 Comparison of improved network results

對醫(yī)用塑瓶分別采用Fast-SCNN、改進Fast-SCNN 進行測試，保存預(yù)處理后的圖片及檢測后的圖片，結(jié)果如圖6 所示。由圖6 可知，改進Fast-SCNN 較Fast-SCNN 對氣泡邊緣預(yù)測更加精確，能夠有效地檢測出較小的氣泡缺陷。

圖6 氣泡檢測示例Fig.6 Bubble detection examples

比較改進Fast-SCNN 與典型的深度卷積神經(jīng)網(wǎng)絡(luò)性能差異，在相同的數(shù)據(jù)下，分別對各網(wǎng)絡(luò)的訓(xùn)練參數(shù)進行優(yōu)化、推理后得到如表2 所示評估結(jié)果，其中FCN-8s 為FCN 的子模型結(jié)構(gòu)。在像素精度上四個網(wǎng)絡(luò)均超過99.5%，其間相差不超過0.2 個百分點，但在MIoU 分割評價指標上改進Fast-SCNN超過U-Net，并在檢測時間上低于U-Net，降低了7.5 ms，可以較好地滿足工業(yè)檢測的需求。

表2 改進Fast-SCNN網(wǎng)絡(luò)與流行網(wǎng)絡(luò)性能比較Tab.2 Performance comparison between improved Fast-SCNN and popular networks

3 結(jié)語

針對塑瓶氣泡特征與瓶身特征的相似性及大小不確定性等造成氣泡缺陷檢測困難，提出一種改進Fast-SCNN。在現(xiàn)有的氣泡數(shù)據(jù)集上實驗可得，改進Fast-SCNN 的MIoU 超過U-Net，但檢測時間下降了7.5 ms，同時改進Fast SCNN 較原Fast-SCNN的MIoU 提升了2.3%，檢測時間只增加了5 ms。同時采用該算法在工業(yè)現(xiàn)場上對塑瓶氣泡檢測，發(fā)現(xiàn)其具有較好的檢測精度與穩(wěn)定性。但對于工業(yè)現(xiàn)場缺陷數(shù)據(jù)不足的情況，該檢測算法會降低對氣泡缺陷區(qū)域預(yù)測的精度，接下來將研究如何在少量氣泡缺陷數(shù)據(jù)下實現(xiàn)對氣泡缺陷的高效穩(wěn)定的檢測。