基于改進CenterNet的竹條表面缺陷檢測方法

高欽泉，黃炳城，劉文哲，童 同*

（1.福州大學物理與信息工程學院，福州 350116；2.福建省醫(yī)療器械與醫(yī)藥技術(shù)重點實驗室（福州大學），福州 350116；3.福建帝視信息科技有限公司，福州 350001）

0 引言

目標檢測一直是計算機視覺中的經(jīng)典問題，包含圖像分類和目標定位兩個任務，在人臉識別、自動駕駛、工業(yè)檢測等領(lǐng)域有著廣泛的應用。隨著深度學習的發(fā)展，許多基于卷積神經(jīng)網(wǎng)絡（Convolutional Neural Network，CNN）的目標檢測性能得到進一步的提升。目前基于CNN 的目標檢測主要分為兩種：1）二階段目標檢測，利用候選區(qū)域生成階段生成一組候選目標檢測框，然后利用CNN 對候選區(qū)域的特征進行分類和位置回歸，典型代表為區(qū)域卷積神經(jīng)網(wǎng)絡（Region-Convolutional Neural Network，R-CNN）系列［1-3］；2）單階段目標檢測，它們?nèi)∠松珊蜻x區(qū)域階段，直接利用CNN 來預測邊界框，典型代表為SSD（Single Shot multibox Detector）系列［4-5］、YOLO（You Only Look Once）系列［6-8］。

本文所依托的骨干網(wǎng)絡CenterNet［9］將需要成對關(guān)鍵點的問題簡化成中心關(guān)鍵點的估計問題，由于CenterNet 只通過提取目標的中心點且不需要對中心點進行后處理，極大地加快了算法的整體速度?；陉P(guān)鍵點的目標檢測中，大大減少了計算量，降低了基于anchor-based所導致的大量正負樣本不均衡，減少了大量超參數(shù)設(shè)計?；陉P(guān)鍵點的目標檢測以其簡潔、高效率的優(yōu)點將一階段目標檢測推向另一高度。一般來說，二階段檢測器具有比單階段檢測器精度更高的優(yōu)勢，而單階段檢測器比二階段檢測器在時間和效率更具優(yōu)勢。

目前，國內(nèi)已有一些針對竹條表面缺陷檢測的研究。賀峰等［10］提出了一種基于小波多尺度分解的方法實現(xiàn)竹條六種缺陷的檢測。該方法首先通過圖像共生矩陣的逆差矩差分值獲得的最佳小波分解層對竹條紋理進行濾除，然后利用OTSU自動閾值檢測算法完成缺陷檢測。張殿甫等［11］提出了一種基于機器視覺的竹條表面缺陷檢測方法。該方法先將對竹條采集到的彩色圖像轉(zhuǎn)為灰度圖，之后進行中值濾波去除噪聲，平滑后將灰度圖轉(zhuǎn)為二值圖像；然后用sobel算子提取竹條邊緣；最后對竹條邊緣進行分段處理，結(jié)合最小二乘法對每一段進行直線擬合，依據(jù)擬合之后直線的斜率大小來判斷是否存在缺陷。

近年來，隨著深度學習的快速發(fā)展，很多傳統(tǒng)的工業(yè)問題利用深度學習的方法得到了更好的解決。面對傳統(tǒng)工業(yè)問題，一般是將由CNN 構(gòu)成的目標檢測網(wǎng)絡框架首先使用分類任務數(shù)據(jù)集（如ImageNet［12］）進行預訓練，使其擁有強大的分類能力，然后利用遷移學習的方法將模型針對對應目標工業(yè)數(shù)據(jù)集進行調(diào)優(yōu)細化，從而實現(xiàn)在工業(yè)問題上的檢測。但是，采用將一般CNN 構(gòu)成的目標檢測框架直接遷移應用到工業(yè)檢測問題，一般存在以下幾個影響：

1）直接采用遷移學習，可能導致模型泛化性能弱。目前現(xiàn)有基于CNN 的目標檢測網(wǎng)絡框架主要針對的是一般場景的問題，如COCO［13］涵蓋80類物體，而工業(yè)場景數(shù)據(jù)與這些數(shù)據(jù)存在較大的差別，所以可能導致預訓練模型的特征提取能力在工業(yè)場景數(shù)據(jù)上表現(xiàn)較差。

2）基于少數(shù)據(jù)的模型訓練，可能導致檢測性能較差。比如竹條來源復雜，沒辦法采集所有類型的數(shù)據(jù)，所以竹條表面缺陷數(shù)據(jù)量少，導致CNN不能充分地學習。

3）基于現(xiàn)實工業(yè)竹條表面缺陷檢測應用中，其數(shù)據(jù)不適合用數(shù)據(jù)增廣的方法來提高少量數(shù)據(jù)缺陷樣本。比如采用旋轉(zhuǎn)、翻轉(zhuǎn)等操作，因為在工業(yè)應用中，數(shù)據(jù)的呈現(xiàn)形式是固定的，即不可能出現(xiàn)翻轉(zhuǎn)、旋轉(zhuǎn)后的那種數(shù)據(jù)形態(tài)，所以這些數(shù)據(jù)增廣的方法對提高現(xiàn)實工業(yè)竹條表面缺陷檢測應用中的性能表現(xiàn)影響不大。

基于以上問題，本文提出一種改進CenterNet 的基于輔助檢測的竹條表面缺陷檢測方法，將基于關(guān)鍵點檢測的CenterNet 作為骨干網(wǎng)絡，并通過一種注意力機制的連接的方法與輔助學習檢測網(wǎng)絡結(jié)合。實驗采用平均精度均值（mean Average Precision，mAP）來評估方法，在竹條表面缺陷檢測數(shù)據(jù)集上使用相同的訓練集和測試集，本文方法比YOLOv3 的mAP 提高了16.45個百分點，比CenterNet 的mAP 提高了9.06個百分點。

綜上所述，本文的工作如下：1）使用基于深度學習的方法來進行竹條的缺陷檢測。利用CNN 的可學習性，能夠同時檢出竹黃、竹青、霉斑、蟲洞等十種缺陷，減少了傳統(tǒng)機器視覺所需的超參數(shù)，簡化了檢測過程，提高了檢測效率。2）提出了一個針對竹條表面缺陷特點的輔助檢測網(wǎng)絡。該網(wǎng)絡模型小，訓練速度快，能夠得到較精確的目標定位，輔助骨干網(wǎng)絡，提高檢測性能。3）使用一個注意力機制的連接方式將輔助檢測網(wǎng)絡和預訓練的骨干網(wǎng)絡結(jié)合，這一方法能更好地學習不同網(wǎng)絡階段產(chǎn)生的特征圖，能夠更合理地分配不同重要性程度的特征圖的比重，讓特征圖利用得到最優(yōu)化，減少冗余特征，提高特征處理速度，使目標檢測性能得到優(yōu)化。4）針對竹條表面缺陷特點，采用梯度均衡損失函數(shù)用于計算對位置坐標回歸。相比L1損失函數(shù)的方法，梯度均衡損失函數(shù)在計算位置坐標時在L1損失函數(shù)的基礎(chǔ)上加入了梯度密度的影響，能達到更好的回歸效果。

1 網(wǎng)絡方案設(shè)計

1.1 本文方法分析

本文模型由三個部分組成：骨干網(wǎng)絡、輔助檢測網(wǎng)絡和注意力機制連接。骨干網(wǎng)絡采取經(jīng)過（ImageNet）預訓練的模型，具備強大的特征提取能力；而輔助檢測網(wǎng)絡則采取針對竹條表面缺陷數(shù)據(jù)從零訓練。文獻［14-15］中表明，當訓練數(shù)據(jù)少時，使用基于預訓練的模型能夠快速收斂以及得到較好的檢測精度；當訓練數(shù)據(jù)足夠時，使用預訓練模型僅只能比從零開始訓練的模型更快地收斂，并不能帶來精度的提升；而當模型從零開始訓練時，能夠得到較精確的目標定位，但相比經(jīng)過預訓練的模型則需要花費更多的時間。本文以CenterNet-dla34［9，16］為基礎(chǔ)網(wǎng)絡，因為它具有高檢測精度與高效率的特點。如圖1（a）所示，將骨干網(wǎng)絡最后幾層得到的特征圖通過注意力機制連接的方式分別與輔助檢測網(wǎng)絡所產(chǎn)生的特征圖結(jié)合。為了能夠得到更精確的目標信息，在輔助檢測網(wǎng)絡中采用可變形卷積（Deformable Convolution，DCN）［17］替代了普通卷積，因為在可變形卷積中，其卷積核能夠根據(jù)目標形狀的不同而做出相應的改變，能夠得到更為精確的竹條表面缺陷信息。

圖1 增強CenterNet網(wǎng)絡框架Fig.1 Network framework of enhanced CenterNet

表1 為竹條表面缺陷數(shù)據(jù)集的每一類缺陷類型的樣本數(shù)，表2 為缺陷的長寬比和面積比詳情?？梢钥闯?，竹條表面缺陷的樣本數(shù)存在較大的不均衡，如霉斑、裂邊、內(nèi)碳等具有較多的樣本數(shù)，而蟲洞、竹黃、刀疤等缺陷的樣本數(shù)則較少。因為所采用的竹條表面缺陷數(shù)據(jù)極不均衡，所以本文采用Focal Loss［18］結(jié)合梯度均衡損失函數(shù)（Gradient Harmonizing Mechanism Loss，GHM Loss）［19］來減小由數(shù)據(jù)不平衡帶來的影響，因為Focal Loss 及GHM Loss 均能有效解決數(shù)據(jù)中的樣本不均衡現(xiàn)象。

表1 竹條表面缺陷數(shù)據(jù)詳情Tab.1 Details of bamboo strip surface defects

表2 竹條表面缺陷長寬比與面積比詳情Tab.2 Details of aspect ratio and area ratio of bamboo strip surface defects

1.1.1 骨干網(wǎng)絡

本文以CenterNet 為基礎(chǔ)網(wǎng)絡，在CenterNet 選取DLA-34為骨干分類網(wǎng)絡，如圖2所示為本文所采取的CenterNet-dla34網(wǎng)絡結(jié)構(gòu)。其中DLA（Deep Layer Aggregation）為一個帶有多級跳躍連接的圖像分類網(wǎng)絡，由下采樣模塊、上采樣特征融合模塊和特征結(jié)合傳遞輸出等三個部分組成，該網(wǎng)絡使用跳躍連接（skip connection）的方式將低層卷積層的輸出與當前層的卷積層輸出通過可變形卷積的方式進行上采樣。

圖2 CenterNet-dla34網(wǎng)絡結(jié)構(gòu)Fig.2 CenterNet-dla34 network structure

1.1.2 輔助學習檢測網(wǎng)絡

本文的輔助學習檢測網(wǎng)絡結(jié)構(gòu)如圖1（a）所示，其中輔助檢測網(wǎng)絡結(jié)構(gòu)由三個部分組成：

1）降采樣特征提取表示，由一個自適應降采樣層和卷積層表示。首先輸入竹條圖像經(jīng)過一個降采樣處理，然后再經(jīng)過兩個連續(xù)的卷積層，每個卷積層后都接一個非線性激活函數(shù)ReLU來增強網(wǎng)絡的非線性表達能力。

2）多尺度特征融合，如圖1（b）所示，由多個卷積組成，為了得到多尺度的上下文信息，本文采用了空洞卷積［20］對其進行處理。首先將降采樣特征提取表示部分的輸出作為多尺度特征融合的輸入，接著由三個卷積核大小為1×1 的卷積拆分成三個分支，然后采用三個卷積核大小為3×3 且空洞卷積率r分別為2、4、8 的卷積進行提取特征，接著對提取得到不同感受野的特征進行融合輸出到下一模塊。在本文方法中，使用空洞卷積有如下幾個優(yōu)點：第一，在不降低圖像分辨率且不增加額外計算量的基礎(chǔ)上，擴大感受野。經(jīng)觀察統(tǒng)計在竹條表面缺陷中，存在著缺陷目標大小不一且其長寬比等差距較大，如表1 所示，竹條表面缺陷的長寬比大部分落在（0，10.4）內(nèi)，且竹條表面缺陷的面積比大部分為（0，0.025）區(qū)間，說明本文所采用的竹條數(shù)據(jù)集中竹條的大部分缺陷為細小且狹長的缺陷。擴大感受野可以檢測分割大缺陷目標，且可以精確定位目標。第二，使用不同的空洞卷積率的卷積，可獲得不同感受野的特征，即可獲得多尺度的缺陷特征。

3）使用卷積層對輸出特征信息作進一步處理，使用多個卷積對多尺度特征融合模塊的輸出信息進行處理，使得到的圖像特征更具有代表性。

1.1.3 注意力機制連接

注意力機制連接模塊參考了SENet（Squeeze-and-Excitation Networks）［21］與CBAM（Convolutionl Block Attention Module）［22］。文獻［23］中表明，h-swish（hard version of swish）和h-sigmoid激活函數(shù)能比ReLU和Sigmoid激活函數(shù)更有效地提高檢測精度，h-swish 和h-sigmoid 激活函數(shù)的計算量相對較小且能有效避免模型在量化計算時的精度損失。受此啟發(fā)，本文在CBAM 的基礎(chǔ)上分別將ReLU 和Sigmoid 換成h-swish 和h-sigmoid，在CBAM中提到了通道注意力機制主要關(guān)注物體的類別信息，而空間注意力機制主要關(guān)注的是物體的定位信息，所以在本文中分別利用通道注意力機制和空間注意力機制用于連接骨干分類網(wǎng)絡和輔助檢測網(wǎng)絡，然后將兩者的特征進行融合。注意力機制連接模塊可以通過學習的方式獲得兩個網(wǎng)絡的特征重要性程度，優(yōu)化提取的圖像特征，避免了大量冗余特征，以獲得更好的特征表達，提高網(wǎng)絡的計算速度。

1.2 損失函數(shù)

Focal Loss 能夠解決檢測任務中由于大量難易樣本數(shù)量不平衡的問題，因此被廣泛采用，本文也采用Focal Loss 來計算中心點的損失。假設(shè)輸入圖像I∈RW×H×3，其中W和H表示輸入圖像的寬和高。在預測時，要產(chǎn)生出關(guān)鍵點的熱力圖（keypoint heatmap），其中：R為輸出對應原圖的步長，文本中取R=4；C是在竹條表面缺陷檢測中對應檢測點的數(shù)量，本文中取C=10，表示有10個缺陷類別。

其中：α和β為Focal Loss 的超參數(shù)，本文中α和β分別為2 和4；N為圖像I的關(guān)鍵點數(shù)量。假設(shè)p為圖像I的中心點，且p～ 為的向下取整，用一個高斯核為：

本文參考CenterNet參數(shù)設(shè)置?。害薿ff=1，λsize=0.1。

2 實驗與分析

2.1 實驗數(shù)據(jù)準備和實驗設(shè)置

本文使用的竹條表面缺陷數(shù)據(jù)集包含竹青、竹黃、黑節(jié)、裂片、裂邊、內(nèi)碳、霉斑、刀疤、蟲洞、凹黃等十種竹條表面缺陷，如圖3所示。本文采用的竹條表面缺陷數(shù)據(jù)圖片共37 040張，對其中36 747張圖片采用LabelImg 進行標注，而且在標注圖片中隨機選取28 747 張圖進行訓練，并按照8∶2 的比例隨機選取22 997 張圖為訓練集，5 750 張圖片為驗證集，剩下的8 000張標注缺陷數(shù)據(jù)圖與293張未標注無缺陷圖組成為測試集，即測試集圖片共8 293張。

圖3 竹條表面缺陷的類型Fig.3 Types of bamboo strip defects

本文使用了相同的設(shè)置來初始化和訓練模型，采用CenterNet-dla34 為本文的骨干網(wǎng)絡，該骨干網(wǎng)絡首先在ImageNet 數(shù)據(jù)集上預訓練，在實驗中，使用512×512 的大小輸入到骨干網(wǎng)絡，批量大?。╞atch size）設(shè)置為8，學習率設(shè)定為0.000 125，在網(wǎng)絡訓練過程中首先凍結(jié)帶有預訓練的骨干網(wǎng)絡，只訓練本文提出的輔助學習檢測網(wǎng)絡，待輔助學習檢測網(wǎng)絡損失趨于穩(wěn)定時，放開凍結(jié)，兩者結(jié)合一起訓練。共訓練140 epoch，且當在訓練到90 和120 epoch 的時候，學習率分別下降到當前值的1/10，在訓練期間，所有實驗均使用Adam［24］進行優(yōu)化，并使用期默認的參數(shù)β1=0.9，β2=0.999。本文檢測采用的實驗環(huán)境為pytorch 框架，在Ubuntu16.04 系統(tǒng)下運行，實驗均在NVIDIA GTX2070 GPU上進行訓練和測試。

2.2 實驗結(jié)果與分析

2.2.1 在竹條表面缺陷檢測數(shù)據(jù)集上的結(jié)果

1）數(shù)據(jù)均衡與數(shù)據(jù)增廣在竹條數(shù)據(jù)上的表現(xiàn)。

使用竹條表面缺陷數(shù)據(jù)集來驗證本文方法的效果，并稱利用本文方法改進后的模型為增強CenterNet。表3展示了增強CenterNet 與YOLOv3、CenterNet 以及針對本文竹條數(shù)據(jù)采用數(shù)據(jù)均衡的方法等在相同數(shù)據(jù)集、相同測試環(huán)境下的mAP結(jié)果對比。其中CenterNet+均衡數(shù)據(jù)是指：將竹條數(shù)據(jù)中的少量缺陷樣本如竹黃、刀疤、蟲洞等數(shù)據(jù)通過平移、旋轉(zhuǎn)、翻轉(zhuǎn)等方法將其增廣到與霉斑、裂邊、內(nèi)碳等均衡的數(shù)據(jù)量并采用CenterNet 進行學習檢測；CenterNet+數(shù)據(jù)增廣則是針對竹條表面缺陷數(shù)據(jù)中的所有數(shù)據(jù)進行數(shù)據(jù)增廣到更大的數(shù)據(jù)量，采用CenterNet 進行學習檢測。由表3 可以看出，采用數(shù)據(jù)均衡與數(shù)據(jù)增廣的方法在竹條表面缺陷檢測上得到的mAP 分別為67.47% 和68.65%，這與原CenterNet 方法得到的66.94%的mAP 值相差不大，因為在竹條表面缺陷中，其缺陷特征具有固定的表現(xiàn)形式，與其經(jīng)過翻轉(zhuǎn)、旋轉(zhuǎn)等得到的數(shù)據(jù)形式具有一定的差別，而本文采用針對竹條的缺陷特點通過輔助學習檢測網(wǎng)絡與骨干網(wǎng)絡的結(jié)合，使各類缺陷的檢測效果都有較大的提升。

表3 本文方法與其他方法的AP與mAP比較Tab.3 Comparison of AP and mAP between the proposed method and other methods

2）增強CenterNet在竹條數(shù)據(jù)上的表現(xiàn)。

由表2 可以看出，本文使用的竹條表面缺陷數(shù)據(jù)集的缺陷長寬比、缺陷面積比、缺陷類別樣本數(shù)存在較大的不均衡，竹條的缺陷長寬比大部分落在（0，10.4），且竹條的缺陷面積比大部分為（0，0.025），說明本文使用的竹條表面缺陷數(shù)據(jù)集形狀大部分為細小且狹長。由圖4 檢測結(jié)果可以看出，在針對狹長的竹黃、內(nèi)碳、裂邊等缺陷的時候，增強CenterNet 能夠比YOLOv3和CenterNet進行更有效、更精準的檢測。

圖4 本文方法與其他方法檢測效果比較Fig.4 Comparison of detection effect of the proposed method and other methods

2.2.2 驗證本文模塊的有效性

1）基礎(chǔ)網(wǎng)絡與本文方法的比較。

為了驗證本文方法的有效性，針對輔助檢測網(wǎng)絡、多尺度融合模塊、注意力機制連接等做了如下實驗。在實驗過程中，采用相同的設(shè)置來初始化和訓練模型。如表4 所示，在竹條表面缺陷數(shù)據(jù)集上用基礎(chǔ)網(wǎng)絡CenterNet 得到了66.94%的mAP；在CenterNet 的基礎(chǔ)上引入輔助學習檢測網(wǎng)絡，mAP 提高了5.36 個百分點；將骨干網(wǎng)絡和輔助學習檢測網(wǎng)絡進行直接結(jié)合時，雖然輔助學習檢測網(wǎng)絡能幫助模型較精確地定位缺陷位置，但因為缺乏合理的特征融合方法，在模型學習得到的特征中存在大量冗余特征，所以引入了注意力機制的連接方法，這使模型的mAP 提升了1.9 個百分點。由表1 中可知，在竹條表面缺陷數(shù)據(jù)集中，缺陷的有效樣本分布極不均勻，針對輔助學習檢測網(wǎng)絡中的竹條表面缺陷特點，引入了GHM Loss，利用特征梯度分布的方法來引導缺陷定位，使本文方法在竹條表面缺陷數(shù)據(jù)集上獲得了76.9%的mAP。如圖5所示為基于CenterNet 上改進方法的損失函數(shù)收斂曲線，可看出本文方法在改進CenterNet上能夠有更優(yōu)的表現(xiàn)。

表4 基礎(chǔ)網(wǎng)絡添加不同模塊的mAP結(jié)果Tab.4 mAP results of adding different modules to base network

圖5 基礎(chǔ)網(wǎng)絡添加不同模塊的損失曲線Fig.5 Loss cuves of adding different modules to base network

2）不同注意力機制的連接表示。

在表5 中，針對注意力機制連接方法采取了五種不同的方法，其中CT表示通道注意力，CT+表示在通道注意力中采用h-swish和h-sigmoid激活函數(shù)，SPT表示空間注意力，CBAM+表示在CBAM 方法的基礎(chǔ)上將激活函數(shù)更改為h-swish 和h-sigmoid。采用通道注意力機制的方式作為連接骨干網(wǎng)絡與輔助學習檢測網(wǎng)絡的方法能夠比骨干網(wǎng)絡和輔助學習檢測網(wǎng)絡直接結(jié)合情況的mAP 提高0.5 個百分點，說明引入注意力機制的方式能在一定程度上提高模型的學習能力，但仍需更有效的方式。當在通道注意力中的ReLU 和sigmoid 激活函數(shù)替換為h-swish 和h-sigmoid 時，獲得了73.7%的mAP，說明在針對竹條表面缺陷形狀中引入使用分段線性激活函數(shù)的通道注意力機制連接的方法能讓模型更加準確地關(guān)注缺陷特征的學習，有效地提高了檢測的精度。但在使用空間注意力機制進行連接時，檢測精度比不使用注意力機制連接的mAP 還下降了0.7 個百分點。在使用CBAM 作為骨干網(wǎng)絡與輔助學習檢測網(wǎng)絡的連接方式時，其檢測精度比不采用注意力機制連接的mAP 提高了1.9 個百分點，且當將CBAM 的激活函數(shù)替換成h-swish和h-sigmoid時，其檢測獲得了最好的效果。

表5 不同注意力機制連接的mAP結(jié)果Tab.5 mAP results of integrating with different attention mechanisms

3）不同空洞卷積率的表示。

嘗試三種不同空洞卷積率的空洞卷積進行輔助檢測網(wǎng)絡中缺陷特征的提取，結(jié)果如表6 所示。在不采取空洞卷積進行特征提取時，mAP 為69.9%；當采用三個分支分別為2、4、8的空洞卷積率進行結(jié)合時，獲得的mAP 為76.9%，模型性能有了一個較好的提升，說明在竹條表面缺陷數(shù)據(jù)集中采用空洞卷積，通過增大感受野對模型獲取上下文的多尺度缺陷特征具有重大意義。

表6 不同空洞卷積率的mAP結(jié)果Tab.6 mAP results of different dilation rates

3 結(jié)語

本文針對竹條表面缺陷特點利用深度學習的方法來進行竹條表面缺陷檢測，能夠在較少缺陷數(shù)據(jù)的情況下獲得較好的檢測結(jié)果。且針對目前現(xiàn)有網(wǎng)絡模型的單一訓練模式，本文提出一種結(jié)合預訓練網(wǎng)絡遷移學習和從零訓練的輔助學習檢測網(wǎng)絡混合訓練的方法，能夠有效地提高在僅擁有較少量竹條表面缺陷數(shù)據(jù)情況下的檢測性能。在本文所提取的骨干分類網(wǎng)絡特征層上具有尺度單一性，下一步研究工作將探尋提取特征更豐富的、結(jié)構(gòu)更小、效率更高的模型，以便能得到更好的檢測效果。