基于深度學習的車載導航導光板表面缺陷檢測研究

王昊　李俊峰

摘? 要：針對車載導航導光板表面缺陷像素值分布不均且普遍較小、背景復雜多變等特點，提出了基于改進掩膜區(qū)域卷積神經(jīng)網(wǎng)絡（Mask Region-based Convolutional Neural Network， Mask R-CNN）模型檢測車載導航導光板表面缺陷的檢測方法。首先，引入PinFPN模塊改進原有Mask R-CNN的特征融合網(wǎng)絡，充分利用高低語義信息構成各級語義、位置信息兼?zhèn)涞墓蚕硖卣鲗樱嵘w網(wǎng)絡的檢測精度;其次，通過引入跳層連接結構和SE（Sequence and Excitation）模塊對網(wǎng)絡的分割分支進行改進，改善了傳統(tǒng)Mask R-CNN網(wǎng)絡語義信息獲取不充分的問題;最后，通過在自建的車載導航導光板數(shù)據(jù)集上的一系列實驗對比，證明了本方法在檢測精度和分割上的優(yōu)勢，在自建數(shù)據(jù)集上的檢測準確率達到了95.3%，滿足工業(yè)檢測的要求。

關鍵詞：缺陷檢測;深度學習;Mask R-CNN;多尺度融合;SE模塊

中圖分類號：TP273? ? ?文獻標識碼：A

Research on Surface Defect Detection of Vehicle Navigation Light

Guide Plate based on Deep Learning

WANG Hao， LI Junfeng

（School of Mechanical and Automatic Control， Zhejiang Sci-Tech University， Hangzhou 310018， China）

2426028009@qq.com; ljf2003@zstu.edu.cn

Abstract： Aiming at the uneven and generally small pixel value distribution and changeable background of surface defects of vehicle navigation light guide plate， this paper proposes a detection method for surface defects of vehicle navigation light guide plate based on improved Mask Region-based Convolutional Neural Network （Mask R-CNN） model. Firstly， PinFPN module is introduced to improve the feature fusion network of the original Mask R-CNN， and high and low semantic information is fully used to form a shared feature layer with both semantic and location information at all levels， so to improve the detection accuracy of the overall network. Secondly， the introduction of skip connection structure and SE （Sequence and Excitation） module improves segmentation branches of the network and insufficient acquisition of semantic information in traditional Mask R-CNN network. Finally， a series of comparative experiments are performed on the self-built data set of the vehicle navigation light guide plate， which proves that the proposed method has the advantages in detection accuracy and segmentation. The detection accuracy on the self-built data set reaches 95.3%， which meets the requirements of industrial detection.

Keywords： defect detection; deep learning; Mask R-CNN; multi-scale fusion; SE module

1? ?引言（Introduction）

導光板（LGP）是顯示器背光模組的重要組成部分，被廣泛應用于車載和手機液晶屏中，其質量好壞直接決定了液晶屏成像的品質效果。然而，在導光板生產(chǎn)加工過程中由于原材料、生產(chǎn)工藝及人為等因素，不可避免地會出現(xiàn)點壓傷、線劃傷、臟污等缺陷，嚴重影響了用戶使用。因此，各大面板廠商都必須在出廠前完成缺陷檢測工作。但由于車載導航導光板背景紋理復雜、缺陷細微等特點，傳統(tǒng)的人工提取特征后分類的方法[1-3]，需要針對不同種類缺陷設計特定的檢測方法且受光照等因素影響較大，導致算法穩(wěn)定性較差，因此并不可行。

近年來，深度學習算法廣泛應用于圖像處理領域，如目標檢測與實例分割，可以獲取圖像中的感興趣目標的位置、類別信息甚至具體輪廓，非常適合工業(yè)場景中的缺陷檢測任務。一些典型的目標檢測算法如Faster R-CNN[4]、SPP-Net[5]、TDDNet[6]、YOLO系列網(wǎng)絡[7-10]等被陸續(xù)應用于各種工業(yè)場景，包括磁瓦[11]、鋁型材[12]、表面鋼材[13-14]等領域。李維剛等[15]提出的基于改進的YOLOv3實現(xiàn)帶鋼表面缺陷檢測，其主要改進在于提出了加權K-means聚類算法，優(yōu)化先驗框參數(shù)，融合淺層和深層的特征，生成更大尺度檢測圖層，在NEU-DET數(shù)據(jù)集上平均準確率達到80%。張曉等[16]通過改進Faster R-CNN實現(xiàn)設備的定位檢測工作，其主要改進在于引入了注意力機制，調整了初始錨框并改進了對錨框的融合方式，檢測精度與收斂速度都有較大提升。李海培[17]設計了一種改進的Fast R-CNN的鋼軌表面缺陷檢測方法，提出一種基于灰度垂直投影法完成了軌面區(qū)域提取，并改進網(wǎng)絡訓練策略，檢測精度與實時性都有較大提升。CHEN等[18]利用SSD、YOLO等網(wǎng)絡來定位緊固件，并對目標檢測網(wǎng)絡獲取的緊固件圖片進行裁剪，最后利用分類網(wǎng)絡確定緊固件是否缺失。但以上缺陷檢測方法僅僅完成了對缺陷位置和類別信息的提取，忽略了缺陷形狀及語義信息的重要性，僅僅能夠做到缺陷檢出，但后續(xù)為了將缺陷信息反饋到生產(chǎn)線以改進生產(chǎn)工藝，單純的目標檢測網(wǎng)絡并不能滿足要求。

針對這一情況，本文提出一種基于改進Mask R-CNN的車載導航導光板缺陷檢測方法。首先，引入PinFPN模塊改進原有Mask R-CNN的特征融合網(wǎng)絡，充分利用高低語義信息構成各級語義、位置信息兼?zhèn)涞墓蚕硖卣鲗?，提升整體網(wǎng)絡的檢測精度;其次，通過引入跳層連接結構和SE（Sequence and Excitation）模塊對網(wǎng)絡的分割分支進行改進，改善了傳統(tǒng)Mask R-CNN網(wǎng)絡語義信息獲取不充分的問題，實現(xiàn)對車載導航導光板缺陷的高效檢測與分割，并通過一系列對比實驗進行驗證，證明了改進的Mask R-CNN網(wǎng)絡應用于車載導航導光板缺陷分割和檢測任務的有效性。

2? 改進Mask R-CNN檢測算法（Improved Mask R-CNN detection algorithm）

2.1? ?改進Mask R-CNN網(wǎng)絡

Mask R-CNN是由HE等人[19]在2017 年提出的一種目標檢測與實例分割框架，因其既能識別出目標的位置與類別信息，又可以生成目標的一個高質量mask而備受歡迎。Mask R-CNN實際上相當于是對Faster R-CNN的進一步拓展，相對于Faster R-CNN，其具體改進如下：

（1）使用RoIAlign代替了RoIPooling，解決了因RoIPooling導致特征圖與原始圖像無法對準的問題，使檢測精度大幅提升，RoIAlign可以基本保留目標空間位置信息，實現(xiàn)像素級別的對準;

（2）Mask R-CNN在Faster R-CNN的基礎上增加了一個分割分支，使其能夠在原有目標檢測的基礎上進一步實現(xiàn)對目標的實例分割任務。

Mask R-CNN模型主要包括以下四個模塊。模塊1：主干特征提取網(wǎng)絡（ResNet101）和特征融合網(wǎng)絡即特征金字塔（Feature Pyramid Networks， FPN）生成公共特征層;模塊2：RPN（Region Proposal Network）網(wǎng)絡提取感興趣區(qū)域并生成候選框;模塊3：將由RPN生成的候選區(qū)域送入RoIAlign，通過雙線性插值來進行對齊操作，具體來說就是將RoI映射成固定維數(shù)的特征向量;模塊4：將上一模塊的特征分別送入分類、邊框回歸、Mask預測三個分支，完成目標檢測與分割任務。但是，傳統(tǒng)Mask R-CNN的特征融合網(wǎng)絡只對高層語義信息進行一次上采樣，經(jīng)過通道調整后與同維度的淺層語義信息進行粗略的特征融合，不能充分利用特征信息，難以準確識別缺陷類型和位置信息。為了實現(xiàn)車載導航導光板缺陷高精度檢出，本文借鑒了PANet的優(yōu)點，引入PinFPN[20]改進了Mask R-CNN特征融合網(wǎng)絡，充分融合高低語義信息以提升目標檢測任務的精度，同時通過引入跳層連接結構和SE模塊[21]改進分割分支，使分割分支語義信息提取能力大大提升。改進后的Mask R-CNN結構如圖1所示。

2.2? ?改進的特征融合網(wǎng)絡

本文在傳統(tǒng)特征金字塔FPN的基礎上引入了PinFPN模塊，結構如圖2所示，其中C1—C5分別代表從主干特征提取網(wǎng)絡ResNet101各個卷積階段獲得的有著豐富信息資源的特征層，并且隨著主干卷積網(wǎng)絡運算的不斷進行，感受野不斷加深，圖像細粒度逐漸呈現(xiàn)下降趨勢。M2、M3卷積運算較少，對小缺陷更加敏感是提升小物體目標檢測精度的關鍵，相應的較大物體在特征金字塔中分辨率較低、感受野較大的M4和M5中加以獲取。傳統(tǒng)特征金字塔的缺點在于M4與M5沒有充分融合淺層語義信息，導致位置信息十分不清晰，很難充分獲取底層的細節(jié)信息，因此又添加了一路N2—N5自底向上的下采樣路徑，將底層位置信息向高層語義中的缺陷種類信息做了一定補充。但結合車載導航導光板的具體特點，點缺陷與線缺陷占比較大，也是影響檢測精度整體水平的關鍵，大多數(shù)目標依賴N2與N3，但兩者中的特征信息與M2、M3所含信息差別并不是很大，很難獲得更充分的語義信息，對提高相應缺陷的檢測精度沒有很大幫助。因此，又繼續(xù)增加了第三組特征融合，并添加一步跳層連接將M一列特征層與同維度P一列對應特征層進行堆疊，實現(xiàn)了對特征融合網(wǎng)絡最終輸出特征層的一次有效補充。P2、P3、P4、P5是多次融合的結果，有著十分豐富的特征信息，對提升檢測精度有很大幫助。P6為分割分支的共享特征層，因其充分融合了高低語義信息，對提升分割效果也有著極大的促進作用。

特征金字塔利用式（1）實現(xiàn)不同尺度特征層上檢測多尺度目標。

其中，指代寬高分別為和的目標區(qū)域;取4，表示特征金字塔層數(shù);640表示用于模型訓練的圖像尺寸。

2.3? ?改進的Mask分支

Mask分支得到來自RoIAlign雙線性插值后得到的RoI，對它們各自使用四次卷積和一個反卷積操作。針對每一個RoI，Mask輸出 維向量，其中是類別數(shù)目，為特征圖尺寸，對每一個大小為的Mask進行編碼，得到每一個RoI的 個類別的概率值，以實現(xiàn)實例分割任務。Mask使用全卷積操作來提取語義信息，對局部語義信息敏感度較好，但對各個像素進行分類，沒有充分考慮像素與像素之間的關系，忽略了在通?；谙袼胤诸惖姆指罘椒ㄖ惺褂玫目臻g規(guī)整（Spatial Regularization）步驟，缺乏空間一致性即忽略了上下文信息。傳統(tǒng)的Mask分支如圖3所示。

由于車載導航導光板數(shù)據(jù)集中擁有數(shù)目可觀的面缺陷，因此全局信息與局部信息同樣重要，對車載圖像各個尺度特征信息進行融合，可以一定程度上增大信息量，因此引入跳層連接結構，并引入多尺度注意力機制，以補全原有Mask分支上所缺乏的高層語義信息。Mask分支中卷積層和與之相堆成的反卷積層之間通過跳層連接將卷積層每一層的輸出結果通過SE模塊之后與上采樣的結果實現(xiàn)堆疊，最終使用激活層構造分割Mask。通過改進的Mask分支，實現(xiàn)了不同尺度的特征層依照權重完成有效連接，使得分割分支獲取了十分豐富的特征信息，大大提升了對目標區(qū)域的分割效果。改進后的Mask分支如圖4所示。

跳層連接結構能夠有效融合高低語義信息，對車載導航導光板細節(jié)信息提取更加充分，但因為導光板缺陷本身亮度不均勻，特別是較大的面缺陷，其內部缺陷之間像素值差別較大，單純進行一步多尺度融合并不能十分有效地分割出缺陷信息。因此，引入SE模塊[22]，該模塊的優(yōu)越性在于其關注通道（Channel）之間的關系，通過設置權值，使模型可以自動學習到不同的通道特征，使模型提升關鍵特征的權重，從而有效提升分割效果。SE模塊結構如圖5所示。

SE模塊主要由Squeeze和Excitation兩部分組成。和分別表示特征層寬與高，為通道數(shù)。第一步是壓縮操作，具體操作是一步全局平均池化，壓縮后得到維特征向量;第二步是激勵操作，由兩個全連接組成，作用是降低通道個數(shù)從而降低計算量;最后一步是多尺度融合操作，是將SE模塊計算所得通道權重分別與特征圖各自對應通道相乘，得到具有注意力信息的有效特征層。

2.4? ?損失函數(shù)

Mask R-CNN是多任務模型，對于車載導航導光板缺陷而言，分類、回歸、分割三個任務是同等重要的，但多任務學習網(wǎng)絡對于不同任務的學習難易程度往往有較大差異，不同任務有著不同的收斂速度，分割任務的難度要遠遠大于目標檢測，若簡單地將損失函數(shù)權重進行相同設置，往往難以收斂，因此本實驗采用加權損失函數(shù)，具體損失函數(shù)公式如下：

其中，是分類誤差、是坐標誤差、是分割誤差;分別為加權系數(shù)。

3? ?實驗內容（Experimental content）

3.1? ?實驗數(shù)據(jù)

車載導航導光板質量檢測精度較高，工業(yè)面陣攝像頭難以滿足要求，本文檢測系統(tǒng)采用16 k線掃相機呈現(xiàn)清晰的車載導航導光板圖像。車載導航導光板缺陷分為以下幾類：點缺陷、線缺陷和面缺陷。本實驗采用亮度變化、背景替換等方法對數(shù)據(jù)進行補充。所有樣本按上述方法處理后，考慮到車載導航導光板數(shù)據(jù)集中各種缺陷分布不均，數(shù)據(jù)集中各樣本的比例大致設定為1∶1∶1，訓練集和測試集的比例設定為7∶3。具體數(shù)據(jù)集設置如表1所示。

3.2? ?實驗參數(shù)設置

實驗參數(shù)設置：初始學習率和最終學習率分別為0.01和0.001，批量處理大小為16，軟硬件設置如表2所示。

3.3? ?算法評價指標

本文采用目標檢測網(wǎng)絡常用的評價指標，如精度（AP）和平均精度（mAP）。AP能反映網(wǎng)絡對各種缺陷的檢測能力;mAP作為模型的綜合性能評價指標，能夠反映模型中各個類別的平均檢測精度。

AP是準確率和召回率之間的定積分，具體表達式如下：

其中，表示某種缺陷，表示準確率，表示召回率。

mAP是所有類型的平均AP，表達式如下：

其中，是所有類型缺陷的集合。

準確率和召回率的具體表達式如下：

其中，TP、FP和FN分別表示真正例、假正例和假負例的數(shù)目。此外，TN代表真負例的個數(shù)，在本檢測任務中沒有實際意義。

3.4? ?結果與分析

為了方便與其他方法進行對比，文中將目標檢測結果與分割結果分開進行對比討論。

3.4.1? ?目標檢測結果

為說明改進的Mask R-CNN在目標檢測任務上的精度優(yōu)勢，使用相同的車載導航導光板缺陷數(shù)據(jù)分別與YOLOv3、Faster R-CNN、Mask R-CNN和本文改進的Mask R-CNN進行對比實驗，表3顯示了這些方法的缺陷檢測結果。由表3可知，改進的Mask R-CNN具有更優(yōu)秀的目標檢測能力，目標檢測精度較傳統(tǒng)的Mask R-CNN有了明顯提升，也驗證了PinFPN模塊能夠有效地融合高低語義信息，提升檢測精度，對點缺陷等像素值較小的目標提升效果尤為明顯，較傳統(tǒng)的Mask R-CNN網(wǎng)絡點缺陷提升了近1.5%。而YOLOv3僅僅使用最簡單的特征融合，僅完成一次高低語義信息融合，并且YOLOv3使用固定的感受野，很難對小物體目標做出有效檢出，像素值較小的點缺陷與較淺的線缺陷在車載導航導光板復雜多變的背景干擾下更增大了識別難度。Faster R-CNN未進行額外的特征融合，僅將主干特征提取網(wǎng)絡最后一層輸出層作為公共特征層，生成建議框時使用RoIPooling造成特征信息的進一步缺失。加上二者都未對特征層進行充分的多尺度融合，因此檢測精度都較低，達不到工業(yè)檢測的要求。本文所引入的PinFPN模塊，能夠充分利用淺層語義信息，提升了小物體目標的檢測精度，對大物體目標也保持較高的檢測精度。

缺陷可視化結果如圖6所示。很明顯，改進的Mask R-CNN能夠以更高的檢測精度檢出大部分缺陷，其他幾種模型檢測精度偏低，定位也不夠準確，同一張測試圖片下YOLOv3甚至出現(xiàn)了誤檢問題。

3.4.2? ?分割結果

傳統(tǒng)的Mask R-CNN與改進的Mask R-CNN實例分割結果如圖7所示?？梢钥闯觯倪M的Mask分支較原始Mask R-CNN有著明顯優(yōu)勢，分割效果更加明顯，生成的掩膜覆蓋得更加完整，與原始圖像輪廓相差很小，體現(xiàn)了引入的注意力機制和多尺度機制的有效性。跳層連接結構可以通過復用淺層特征來提高多尺度目標（尤其是小目標）的分割能力;引入SE多通道注意力機制讓網(wǎng)絡自行判斷各個通道特征信息的比重，可以更加充分地完成有意義特征的篩選和定位。多尺度的特征融合機制配合注意力機制可以使得網(wǎng)絡具備適應多尺度缺陷的檢測能力。綜上所述，本文改進的網(wǎng)絡較傳統(tǒng)的Mask R-CNN在準確性和通用性上有明顯提升，均具有優(yōu)勢。

4? ?結論（Conclusion）

針對車載導航導光板背景復雜、亮度多變等特點，提出了一種基于改進Mask R-CNN的車載導航導光板缺陷檢測方法。為了高效利用主干特征提取網(wǎng)絡中的高低語義信息，本文提出引入PinFPN模塊，有效地提升了網(wǎng)絡對小物體目標的檢測能力。同時，針對傳統(tǒng)Mask R-CNN分割效果較差的缺點，引入跳層連接和SE模塊，實現(xiàn)了不同尺度的特征層依照權重實現(xiàn)有效連接，很大程度上提升了分割效果。在自建的車載導航導光板數(shù)據(jù)集上檢測準確率達到95.3%，滿足工業(yè)檢測的要求，具有一定的應用前景。

參考文獻（References）

[1] 李俊峰，李明睿.基于機器視覺的導光板缺陷檢測方法研究[J].光電子·激光，2019，30（3）：256-265.

[2] 湯勃，孔建益，伍世虔.機器視覺表面缺陷檢測綜述[J].中國圖象圖形學報，2017，22（12）：1640-1663.

[3] 李俊峰，李明睿.基于多方向Gabor濾波的導光板輕微線刮傷檢測方法研究[J].光電子·激光，2019，30（4）：395-401.

[4] REN S， HE K， GIRSHICK R， et al. Faster R-CNN： Towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（6）：1137-1149.

[5] HE K M， ZHANG X， REN S. Spatial pyramid pooling in deep convolutional networks for visual recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2014， 37（9）：1904-1916.

[6] DING R， DAI L， LI G. TDD-net： A tiny defect detection network for printed circuit boards[J]. CAAI Transactions on Intelligence Technology， 2019， 4（2）：110-116.

[7] REDMON J， DIVVALA S， GIRSHICK R， et al. You only look once： Unified， real-time object detection[C]// IEEE. 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Las Vegas， NV， USA： IEEE， 2016：779-788.

[8] REDMON J， FARHAD A. YOLO9000： Better， faster， stronger[J]. IEEE Conference on Computer Vision and Pattern Recognition， 2017， 65（30）：7263-7271.

[9] REDMON J， FARHADI A. YOLOv3： An incremental improvement[EB/OL]. （2018-04-08） [2021-12-25]. https：//arxiv.org/abs/1804.02767.

[10] BOCHKOVSKI A， WANG C Y， LIAO H M. YOLOv4： Optimal speed and accuracy of object detection[EB/OL]. （2020-04-23） [2021-12-25]. https：//arxiv.org/abs/2004.10934.

[11] XIE L， XIANG X， XU H， et al. FFCNN： A deep neural network for surface defect detection of magnetic tile[J]. IEEE Transactions on Industrial Electronics， 2020， 68（4）：3506-3516.

[12] NEUHAUSER F M， BACHMANN G， HORA P. Surface defect classification and detection on extruded aluminum profiles using convolutional neural networks[J]. International Journal of Material Forming， 2020， 13（3）：3214-3218.

[13] HE D， XU K， ZHOU P， et al. Surface defect classification of steels with a new semi-supervised learning method[J]. Optics and Lasers in Engineering， 2019， 117（7）：40-48.

[14] MING W， SHEN F， ZHANG H， et al. Defect detection of LGP based on combined classifier with dynamic weights[J]. Measurement， 2019， 143（3）：211-225.

[15] 李維剛，葉欣，趙云濤，等.基于改進YOLOv3算法的帶鋼表面缺陷檢測[J].電子學報，2020，48（7）：1284-1292.

[16] 張曉，丁云峰.基于改進Faster R-CNN的IT設備圖像定位與識別[J].計算機系統(tǒng)應用，2021，30（9）：288-294.

[17] 李海培.改進Faster R-CNN的軌面缺陷檢測視頻分析方法研究[J].鐵道標準設計，2021，65（5）：172-178.

[18] CHEN J， LIU Z， WANG H， et al. Automatic defect detection of fasteners on the catenary support device using deep convolutional neural network[J]. IEEE Transactions on Instrumentation and Measurement， 2018， 67（2）：257-269.

[19] HE K M， GKIOXARI G， DOLLAR P， et al. Mask? R-CNN[C]// IEEE. 2017 IEEE International Conference on Computer Vision （ICCV）. Venice， Italy： IEEE， 2017：2980-2988.

[20] 李雪峰，劉?，摚瑒⒏呷A，等.基于深度學習的輸電線路銷釘缺陷檢測[J].電網(wǎng)技術，2021，45（8）：2988-2995.

[21] 趙庶旭，羅慶，王小龍.基于改進Mask R-CNN的牙齒識別與分割[J].中國醫(yī)學物理學雜志，2021，38（10）：1229-1236.

[22] HU J， SHEN L， ALBANIE S， et al. Squeeze-and-excitation networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 42（8）：2011-2023.

作者簡介：

王? ?昊（1997-），男，碩士生.研究領域：計算機視覺，智能檢測與控制.

李俊峰（1978-），男，博士，副教授.研究領域：機器視覺，模式識別，智能檢測與控制.