基于改進的Faster-RCNN模型的汽車輪轂表面缺陷在線檢測算法研究

朱超平，楊永斌

基于改進的Faster-RCNN模型的汽車輪轂表面缺陷在線檢測算法研究

朱超平1,2，楊永斌1,2

（1.重慶工商大學(xué) 人工智能學(xué)院，重慶 400067；2.重慶市檢測控制集成系統(tǒng)工程重點實驗室，重慶 400067）

通過構(gòu)建輪轂在線生產(chǎn)視覺檢測系統(tǒng)，預(yù)測輪轂生產(chǎn)過程中輪轂表面的缺陷。根據(jù)輪轂表面缺陷的定義和評價標(biāo)準(zhǔn)，給出了輪轂表面缺陷的計算模型，采用了改進型的Faster-RCNN目標(biāo)檢測算法，引入了深度生成式對抗網(wǎng)絡(luò)，消除圖像的模糊性，再利用清晰的輪轂表面圖像進行模型訓(xùn)練，結(jié)合領(lǐng)域?qū)＜业呐袆e標(biāo)準(zhǔn)，優(yōu)化網(wǎng)絡(luò)參數(shù)，構(gòu)建輪轂表面缺陷檢測模型。利用深度學(xué)習(xí)Pytorch框架，在NVIDIA Tesla P100圖像加速卡上進行模型訓(xùn)練，并對模型結(jié)果進行對比性實驗分析，找出最優(yōu)的預(yù)測模型。在基礎(chǔ)網(wǎng)絡(luò)部分，采用殘差模型ResNet101網(wǎng)絡(luò)比采用VGG16模型的準(zhǔn)確率提高了24%。在目標(biāo)檢測網(wǎng)絡(luò)模型中引入了多通道特征融合模塊，準(zhǔn)確率提升了2%。再引入FPN金字塔模型，融入低級和高級語義信息，使得輸出的多尺度的預(yù)測特征圖譜效果更好。最后把殘差網(wǎng)絡(luò)的ROI-Pooling算法改為ROI-Align算法，準(zhǔn)確率提高了5%。通過對網(wǎng)絡(luò)模型的不斷改進和優(yōu)化，輪轂表面缺陷的識別率不斷提高。利用改進型的Faster-RCNN網(wǎng)絡(luò)能夠識別出輪轂表面缺陷的種類和位置，滿足生產(chǎn)環(huán)境的要求，具有一定的工程應(yīng)用價值。

汽車輪轂；缺陷檢測；深度學(xué)習(xí)；目標(biāo)檢測；Faster-RCNN

隨著人們生活水平的提高，汽車成為家庭的消費品，消費者越來越看重汽車的質(zhì)量。輪轂是汽車的重要組成部分，也是重要的安全組件，汽車輪轂質(zhì)量的好壞直接影響產(chǎn)品的外觀，甚至生命的安全，對輪轂表面缺陷檢測就顯得非常重要。輪轂制造工藝相對簡單，但輪轂的結(jié)構(gòu)復(fù)雜，檢測技術(shù)要求高，傳統(tǒng)的檢測方法主要有滲透檢測技術(shù)、渦流檢測技術(shù)、磁粉檢測技術(shù)、圖像檢測技術(shù)、目視檢測技術(shù)和人工檢測[1]。這些方法技術(shù)要么有污染，要么檢測工藝復(fù)雜，要么檢測速度慢，很難實現(xiàn)輪轂表面的自動化檢測，導(dǎo)致生產(chǎn)效率低，檢測效果不理想。因此，有必要研究如何提高輪轂表面缺陷的檢測效率效果。

近年來，基于人工智能的智能生產(chǎn)技術(shù)在工業(yè)領(lǐng)域的應(yīng)用得到迅速發(fā)展，使得計算機視覺和深度學(xué)習(xí)方法逐步滲透到輪轂表面缺陷檢測的研究領(lǐng)域中。趙海文[2]提出了基于深度卷積神經(jīng)網(wǎng)絡(luò)，檢測汽車輪轂表面缺陷的方法。趙娜娜[3]提出了基于視角顯著性超像素圖像的檢測方法，可對高鐵輪轂表面缺陷進行檢測。葉凱[4]提出了基于利用深度學(xué)習(xí)，對生產(chǎn)線上的輪轂進行缺陷定位和分類。王一妍[5]提出了利用機器視覺對輪轂鑄造面的缺陷區(qū)域進行定位，提取缺陷特征，從而進行特征缺陷識別。這些方法首先都需要先離線采集輪轂表面圖像，然后對圖像繼續(xù)進行加強處理，最后進行表面缺陷識別，這很難適應(yīng)流水線自動化生產(chǎn)的要求，并且預(yù)測效果也不夠理想。鑒于此，文中選用行業(yè)專家的評判標(biāo)準(zhǔn)，結(jié)合采集的數(shù)據(jù)，確定缺陷的類別，引入Faster-RCNN目標(biāo)檢測模型[6]，并優(yōu)化網(wǎng)絡(luò)模型，旨在構(gòu)建輪轂表面缺陷檢測模型。

1 缺陷的分類和圖像采集

輪轂的主要生產(chǎn)環(huán)節(jié)包含四個：鑄造、打磨、機加工和自動噴漆。在生產(chǎn)過程中，可能會出現(xiàn)鑄造密度不均勻以及氣動打磨不足導(dǎo)致的表面不夠平滑等問題，從而產(chǎn)生料斷、冷夾、坑洼和氣孔等缺陷[7]。這些缺陷主要分類三類：凹坑類、線條類和偏差類。由于偏差類缺陷通過深度學(xué)習(xí)算法檢測比較困難，所以本文只對前兩類缺陷進行檢測，其缺陷的樣例圖片如圖1所示。

圖1 缺陷的種類

1.1 圖像采集系統(tǒng)

當(dāng)輪轂進入檢測階段時，首先利用機械臂上的工業(yè)相機對流水線上的輪轂表面進行圖像采集（圖像采集系統(tǒng)如圖2所示），然后再對輪轂的反表面進行采集，收集大量的輪轂表面圖像。由于要訓(xùn)練深度學(xué)習(xí)網(wǎng)絡(luò)，前期需要采集大量圖像，并從中識別出輪轂表面有缺陷的圖像，周期較長，并且需要花費大量的人力和物力。

1.2 圖像標(biāo)注和數(shù)據(jù)增強

根據(jù)廠家對輪轂表面缺陷檢測的要求，以及輪轂生產(chǎn)線的專業(yè)技術(shù)人員對缺陷分析的指導(dǎo)，最終確定通過深度學(xué)習(xí)網(wǎng)絡(luò)系統(tǒng)，檢測輪轂表面的缺陷點和劃痕兩類缺陷[8]，利用LabelImg軟件對輪轂表面的缺陷用矩形框框出，并在右側(cè)的信息欄內(nèi)標(biāo)注缺陷區(qū)域的類別和位置，完成標(biāo)注的信息會存在XML文件中。

由于在生產(chǎn)線上有瑕疵的輪轂數(shù)量占比較低，要采集大量有缺陷的輪轂表面圖像比較困難，并且非常耗時。為了獲得更高的輪轂表面缺陷識別率，需要大量的缺陷圖像，但由于采集條件的限制，采集大量的圖像用于訓(xùn)練較難，而模型的訓(xùn)練又需要大量的數(shù)據(jù)集作為支撐，折中的辦法就是對采集到的圖像通過翻轉(zhuǎn)、旋轉(zhuǎn)、平移、縮放和噪聲等方式，進行擴展處理，增加圖像的數(shù)量集，用于模型的訓(xùn)練[9-12]。

2 消除圖像模糊性

2.1 圖像模糊性判斷

輪轂在生產(chǎn)線上移動，對運動輪轂表面進行圖像采集時，很有可能采集到的圖像會產(chǎn)生模糊性，在進行圖像識別之前，需要先對圖像進行消除模糊處理，把模糊圖像變得清晰，以提高輪轂表面缺陷的識別率。處理的主要步驟是：1）將采集到的圖像轉(zhuǎn)化為灰度圖；2）利用拉普拉斯算子對灰度圖做一次卷積運算，得到圖像的計算圖；3）利用計算圖的方差閾值來判斷圖像的清晰度，值越小，圖像越模糊，值越大，圖像越清晰[13]。通過大量對比研究實驗發(fā)現(xiàn)，當(dāng)閾值大于20時，為清晰圖像，當(dāng)閾值小于20時，為模糊圖像[14]。

2.2 條件生成式對抗網(wǎng)絡(luò)

2014年，Goodfellow[15]提出了GANs（Generative adversarial nets），即生成式對抗網(wǎng)絡(luò)，主要用于從訓(xùn)練樣本中學(xué)習(xí)出新樣本。該網(wǎng)絡(luò)至少包含生成模型（Generative Model）和判別模型（Discriminative Model）兩部分[16]。生成模塊主要用于學(xué)習(xí)真實圖像分布，讓生成的圖像更加真實；判別模塊主要用于判斷圖像是真實圖像還是生成圖像。隨著網(wǎng)絡(luò)的不斷訓(xùn)練，參數(shù)的不斷迭代和優(yōu)化，生成模塊和判別模塊不斷地進行對抗式學(xué)習(xí)，最終網(wǎng)絡(luò)模型達到一個動態(tài)平衡[17]。訓(xùn)練過程中生成器和判別器的優(yōu)化目標(biāo)函數(shù)如公式(1)所示[18]。

通過對公式(1)進行研究發(fā)現(xiàn)，生成式對抗網(wǎng)絡(luò)可以通過輸入隨機信號的組合來生成近似真實圖像數(shù)據(jù)，這使得生成圖像和真實圖像無法共享信息，但是在高維的數(shù)據(jù)空間中，生成模型利用隨機信號生成的圖像數(shù)據(jù)和真實圖像數(shù)據(jù)之間具有一定的相似性。為了改善這種情況，在公式(1)中引入條件來構(gòu)成條件生成式對抗網(wǎng)絡(luò)，這能夠有效地辨別是真實圖像，還是生成圖像，公式如(2)所示[19]。其中，為真實圖像的標(biāo)簽。

2.3 消除圖像模糊性

條件生成式對抗網(wǎng)絡(luò)選用深度卷積神經(jīng)網(wǎng)絡(luò)，以適應(yīng)對輪轂表面圖像數(shù)據(jù)的處理，并重新設(shè)計圖像內(nèi)容損失函數(shù)，用于模型的訓(xùn)練，實現(xiàn)輸入的模糊圖像與網(wǎng)絡(luò)輸出的清晰圖像之間的圖像共享內(nèi)容不發(fā)生改變，保證內(nèi)容的真實性，從而消除圖像的模糊性。消除過程如圖3所示。

圖3 消除圖像模糊性

3 輪轂表面缺陷檢測

2016年，在R-CNN和Fast-RCNN技術(shù)發(fā)展的基礎(chǔ)之上，Girshick[20]提出了新的Faster-RCNN模型。該模型通過抽取網(wǎng)絡(luò)特征，提取proposal區(qū)域，將bounding box regression和分類都整合在一個網(wǎng)絡(luò)中，使得模型的特征提取和分類的綜合性能有較大提高，

在檢測速度方面的提升尤為明顯[21]。本文在Faster- RCNN的基礎(chǔ)之上，進行模型的改進，提出了適合輪轂表面檢測的網(wǎng)絡(luò)模型，如圖4所示，該模型主要包括以下四個部分：

1）特征提取網(wǎng)絡(luò)。作為一種CNN網(wǎng)絡(luò)目標(biāo)檢測方法，F(xiàn)aster-RCNN首先使用一組基礎(chǔ)深度神經(jīng)網(wǎng)絡(luò)層提取圖像的特征圖譜，該特征圖譜被共享，用于后續(xù)RPN層和全連接層。

2）RPN（Region Proposal Networks）。RPN網(wǎng)絡(luò)把任意尺度的圖像作為輸入、輸出系列的矩形目標(biāo)框，用于生成推薦區(qū)域，通過softmax判斷錨點屬于前景還是背景，最后利用邊界框回歸圖修正錨點，獲得精確的proposals。

3）ROI Pooling。該層負(fù)責(zé)收集輸入的特征圖譜和proposals信息，利用這些綜合信息來提取proposal feature maps，最后送入到后續(xù)全連接層，判定目標(biāo)類別和位置。

4）Classification。利用proposal feature maps計算proposal的類別，同時再次獲得邊界框回歸算法邊框的準(zhǔn)確位置。

圖4 Faster-RCNN網(wǎng)絡(luò)模型結(jié)構(gòu)

3.1 特征提取基礎(chǔ)網(wǎng)絡(luò)

在特征提取基礎(chǔ)網(wǎng)絡(luò)選取方面，選取VGG16網(wǎng)絡(luò)和殘差神經(jīng)網(wǎng)絡(luò)ResNet101作為特征提取的基礎(chǔ)網(wǎng)絡(luò)，分別對兩個方案的網(wǎng)絡(luò)進行訓(xùn)練，針對實驗結(jié)果（表1），選擇最優(yōu)網(wǎng)絡(luò)作為基礎(chǔ)網(wǎng)絡(luò)。由表1可知，VGG16網(wǎng)絡(luò)的缺陷點檢測率為0.56，劃痕檢測率為0.73，均值mAP優(yōu)化率為0.65，準(zhǔn)確度為0.6；ResNet101的缺陷檢測率為0.88，劃痕檢測率為0.78，均值為0.83，召回率和準(zhǔn)確率提升效果非常明顯。因此，選擇ResNet101作為特征提取的基礎(chǔ)網(wǎng)絡(luò)。

表1 目標(biāo)檢測網(wǎng)絡(luò)實驗對比

Tab.1 Experimental comparison of target detection network

3.2 SE通道特征融合模塊

為了進一步提高網(wǎng)絡(luò)模型的特征提取能力，在殘差網(wǎng)絡(luò)ResNet101的基礎(chǔ)之上，引入了特征通道之間的融合模塊SE（squeeze-and-excitation module）[22]。該模塊能從特征通道間進行特征融合，建立特征通道之間的相互依賴關(guān)系，并且能夠通過學(xué)習(xí)的方式，獲取每個特征通道的重要程度，然后按照重要程度去提升有用的特征，并抑制對當(dāng)前任務(wù)不重要的通道特征，進一步加強特征提取網(wǎng)絡(luò)的性能，融入SE模塊的殘差學(xué)習(xí)網(wǎng)絡(luò)，如圖5所示。

圖5 嵌入SE模塊的殘差網(wǎng)絡(luò)

對比引入SE模塊的殘差網(wǎng)絡(luò)和普通殘差網(wǎng)絡(luò)的實驗分析數(shù)據(jù)可知（見表2），嵌入SE模塊后，能夠有效地整合不同通道之間的特征，對網(wǎng)絡(luò)性能特征提取能力有比較明顯的提升。

表2 嵌入SE模塊網(wǎng)絡(luò)參數(shù)對比

Tab.2 Parameter comparison of embedded SE module network

3.3 FPN網(wǎng)絡(luò)

FPN（Feature Pyramid Network）特征金字塔網(wǎng)絡(luò)由bottom-up和top-down路徑及側(cè)面鏈接構(gòu)成，通過任意大小的單尺度圖像作為輸入，以完全卷積的方式對多尺度特征圖進行多個級別的特征圖的計算[23]。具體的操作過程為：首先對底層金字塔層級特征圖通過1×1卷積操作，進行降維處理，得到與高層金字塔特征相同的通道，再對高層金字塔特征圖進行兩倍采樣，然后對兩者的特征圖進行逐個像素相加，最后得到金字塔的輸出[24]。通過在特征提取網(wǎng)絡(luò)中引入FPN網(wǎng)絡(luò)以后，模型能夠融入低級和高級語義信息，使得模型輸出的多尺度的預(yù)測特征圖譜效果更好。實驗數(shù)據(jù)（表3）表明，指標(biāo)提升的效果非常明顯。

表3 加入FPN網(wǎng)絡(luò)參數(shù)對比

Tab.3 Parameter comparison of added FPN network

3.4 ROI檢測網(wǎng)絡(luò)

Faster-RCNN在得到一系列的候選框區(qū)域時，需要計算候選框區(qū)域的準(zhǔn)確位置和精確分類。ROI- Pooling就是將特征圖上大小不同的ROI池化成大小相同的特征圖，使得輸出的特征圖的大小與ROI的大小和特征圖譜大小無關(guān)，加快ROI-Pooling操作，大力地提升了候選框的處理速度。研究發(fā)現(xiàn)，在ROI- Pooling算法中采用雙線性插值方式，對圖像中的小目標(biāo)進行處理，會產(chǎn)生像素的位置偏移，從而造成較大的誤差[25]。為了提高性能，減少誤差，本文提出采用ROI-Align算法來替代ROI-Pooling算法，將ROI區(qū)域映射為原圖的方法改為最近鄰插值法。通過對比實驗發(fā)現(xiàn)，采用ROI-Align能夠較大地提升網(wǎng)絡(luò)的性能。

表4 加入ROI網(wǎng)絡(luò)參數(shù)對比

Tab.4 Parameter comparison of added ROI network

4 實驗結(jié)果分析

4.1 實驗環(huán)境

實驗環(huán)境使用的是NVIDIA Tesla P100專業(yè)加速卡，操作系統(tǒng)是Ubuntu18.0，使用的深度學(xué)習(xí)框架是Pytorch，模型的訓(xùn)練測試都在NVIDIA Tesla P100圖像加速卡上進行。

4.2 實驗數(shù)據(jù)集

利用人工在輪轂加工廠采集了1000張968×648像素的樣本圖片，有缺陷和無缺陷的圖片各500張。由于輪轂在生產(chǎn)線上會移動，這些圖片中有的輪轂圖像比較模糊，需要采用深度對抗網(wǎng)絡(luò)去除圖像的模糊性，得到清晰圖片。由于采集的輪轂缺陷圖片的樣本數(shù)量較少，樣本的數(shù)量又直接影響模型缺陷識別的精度，只有通過對無缺陷的圖像進行翻轉(zhuǎn)、旋轉(zhuǎn)、縮放、變換、增加噪聲和缺陷特征位置變化等方式，把數(shù)據(jù)量擴展至2000張，其中1600張作為訓(xùn)練集圖片，400張作為測試集圖片。把有缺陷的圖片數(shù)量擴展至1000張，其中訓(xùn)練集圖片900張，測試集圖片100張。

4.3 實驗結(jié)果對比

為了測試基礎(chǔ)網(wǎng)絡(luò)對目標(biāo)檢測模型的應(yīng)用，選用VGG16和殘差網(wǎng)絡(luò)ResNet101作比較實驗，殘差網(wǎng)絡(luò)ResNet101的性能優(yōu)于VGG16模型。為了得到更好的目標(biāo)檢測性能，在基礎(chǔ)網(wǎng)絡(luò)檢測網(wǎng)絡(luò)之上，分別加入SE模塊、改進的ROI-Align算法和FPN多尺度特征融合網(wǎng)絡(luò)算法，對加入不同模塊和算法的模型進行訓(xùn)練，對輪轂表面的缺陷點和劃痕兩種缺陷類型的預(yù)測值、mAP(mean average precision)值、召回 率和準(zhǔn)確率進行測量，最后在模型中加入SE模塊、ROI-Align算法和FPN算法進行綜合訓(xùn)練，測量模型的參數(shù)值。實驗數(shù)據(jù)結(jié)果如表5所示。

表5 實驗結(jié)果匯總

Tab.5 Summary of experimental results

從表5中的實驗數(shù)據(jù)可以看出，當(dāng)在檢測網(wǎng)絡(luò)中引入SE模塊、改進ROI-Align算法和FPN多尺度特征融合網(wǎng)絡(luò)后，輪轂表面缺陷檢測網(wǎng)絡(luò)的指標(biāo)明顯提高。此外，缺陷點和劃痕檢測的召回率和準(zhǔn)確率分別比只加入其中一個模塊的召回率和準(zhǔn)確率都有所提高，并且提升的效果比較明顯。

4.4 結(jié)果展示

由于網(wǎng)絡(luò)模型是采用清晰圖像進行訓(xùn)練的，對模糊圖像的正確識別率很差，很難檢測出缺陷位置。為了能夠檢測出模糊圖片，需要先利用深度生成式對抗網(wǎng)絡(luò)去除圖像的模糊性，如圖6所示。然后再利用缺陷檢測網(wǎng)絡(luò)進行缺陷檢測和定位，實驗結(jié)果表明，去除模糊性的圖片可以非常有效地檢測出缺陷的類型和位置，實驗結(jié)果如圖7所示。

圖6 模糊圖像檢測結(jié)果

圖7 清晰圖像檢測結(jié)果

利用數(shù)據(jù)集中帶有缺陷的清晰圖像對網(wǎng)絡(luò)進行訓(xùn)練，并通過測試數(shù)據(jù)集對訓(xùn)練好的網(wǎng)絡(luò)進行測試。從實驗結(jié)果來看，圖像中的缺陷和劃痕可以非常容易地檢測出，說明模型檢測的置信度較高。

5 結(jié)論

目前，汽車輪轂的表面多用人工進行檢測，文中利用深度學(xué)習(xí)對生產(chǎn)線上的輪轂表面進行缺陷檢測。首先通過圖像采集系統(tǒng)獲取輪轂表面的圖像，然后利用生成式對抗網(wǎng)絡(luò)去除圖像的模糊性，生成清晰的圖像，其次利用殘差網(wǎng)絡(luò)Resnet101作為特征提取基礎(chǔ)網(wǎng)絡(luò)，并在網(wǎng)絡(luò)中引入SE模塊，加入FPN多尺度融合特征網(wǎng)絡(luò)，把殘差網(wǎng)絡(luò)的ROI-Pooling算法改為ROI-Align算法，得到改進型Faster-RCNN的目標(biāo)檢測網(wǎng)絡(luò)模型。利用清晰的圖像數(shù)據(jù)集對模型進行訓(xùn)練，利用測試集數(shù)據(jù)進行模型測試，實驗結(jié)果表明，該模型能夠?qū)θ毕蔹c和劃痕進行有效檢測，檢測缺陷區(qū)域的準(zhǔn)確率為89%，召回率可以達到92%，基本能夠滿足當(dāng)前生產(chǎn)環(huán)境的要求。

[1] 王琦, 張超. 模式識別的汽車輪轂鑄件缺陷檢測技術(shù)研究[J]. 鑄造技術(shù), 2017, 38(12): 2889-2891.WANG Qi, ZHANG Chao. Research on defects detection technology of automobile bub casting based on pattern recognition[J]. Foundry technology, 2017, 38(12): 2889- 2891.

[2] 趙海文, 趙亞川, 齊興悅, 等. 基于深度學(xué)習(xí)的汽車輪轂表面缺陷檢測算法研究[J]. 組合機床與自動化加工技術(shù), 2019(11): 112-115. ZHAO Hai-wen, ZHAO Ya-chuan, QI Xing-yue, et al. Research on surface defect inspection algorithms of auto-mobile hub based on deep learning[J]. Modular machine tool & automatic manufacturing technique, 2019(11): 112- 115.

[3] 趙娜娜, 陶溢, 李芬, 等. 高鐵輪轂表面缺陷的視覺顯著性超像素圖像檢測方法[J]. 科學(xué)技術(shù)與工程, 2019, 19(32): 230-235. ZHAO Na-na, TAO Yi, LI Fen, et al. Visual saliency sup-erpixel image detection method for surface defect of high- speed rail hub[J]. Science technology and engineering, 2019, 19(32): 230-235.

[4] 韓凱. 基于深度學(xué)習(xí)的汽車輪轂表面缺陷在線檢測算法[M]. 北京: 北京郵電大學(xué), 2019. HAN Kai. The online detection algorithm for surface def-ects of automobile hubs based on deep learning[M]. Bei-jing: Beijing University of Posts and Telecommunication, 2019.

[5] 王一妍. 基于機器視覺的輪轂鑄造面質(zhì)量檢測研究[M]. 沈陽: 沈陽工業(yè)大學(xué), 2019.WANG Yi-yan. Research on quality inspection of wheel cas-ting surface based on machine vision[M]. Shenyang: Shen-yangUniversityofTechnology, 2019.

[6] 劉暢, 張劍, 林建平. 基于神經(jīng)網(wǎng)絡(luò)的磁瓦表面缺陷檢測識別[J]. 表面技術(shù), 2019, 48(8): 330-339. LIU Chang, ZHANG Jian, LIN Jian-ping. Detection and ide-ntification of surface defects of magnetic tile based on neural network[J]. Surface technology, 2019, 48(8): 330- 339.

[7] LI R, ZENG X, SIGMUND S E, et al. Automatic localiza-tion and identification of mitochondria in cellular electron cryo-tomography using faster-RCNN[J]. BMC bioinforma-tics, 2019, 20(S3): 75-84.

[8] 李宜汀, 謝慶生, 黃海松, 等. 基于卷積神經(jīng)網(wǎng)絡(luò)快速區(qū)域標(biāo)定的表面缺陷檢測[J]. 計算機集成制造系統(tǒng), 2019, 25(8): 1897-1907.LI Yi-ding, XIE Qing-sheng, HUANG Hai-song, et al. Sur-face defect detection based on fast regions with convolu-tional neutral network[J]. Computer integrated manufact-uring systems, 2019, 25(8): 1897-1907.

[9] 車翔玖, 劉華羅, 邵慶彬. 基于Fast RCNN改進的布匹瑕疵識別算法[J]. 吉林大學(xué)學(xué)報(工學(xué)版), 2019, 49(6): 2038-2044.CHE Xiang-jiu, LIU Hua-luo, SHAO Qing-bin. Fabric defect recognition algorithm based on improved fast RCNN[J]. Jou-rnal of Jilin University (engineering and technology edi-tion), 2019, 49(6): 2038-2044.

[10] 朱傳敏, 顧鵬, 劉丁豪, 等. 基于支持向量機的鋁基碳化硅磨削表面質(zhì)量預(yù)測[J]. 表面技術(shù), 2019, 48(3): 240-248. ZHU Chuan-min, GU Peng, LIU Ding-hao, et al. Surface quality prediction of SiCp/Al composite in grinding based on support vector machine[J]. Surface technology, 2019, 48(3): 240-248.

[11] 朱超平, 楊藝. 基于YOLO2和ResNet算法的監(jiān)控視頻中的人臉檢測與識別[J]. 重慶理工大學(xué)學(xué)報(自然科學(xué)), 2018, 32(8): 170-175. ZHU Chao-ping, YANG Yi. Face detection and recogni-tion in monitoring video based on YOLO2 and ResNet alg-orithm[J]. Journal of Chongqing University of Technology (natural science), 2018, 32(8): 170-175.

[12] VIPUL Sharma, ROOHIE Naaz Mir. Saliency guided faster-RCNN (SGFr-RCNN) model for object detection and recognition[J]. Journal of King Saud University—Computer and information sciences, 2019, 9: 1319-1578.

[13] JU Hu-yan, WEI Li, SUSAN Tighe, et al. Detection of sea-led and unsealed cracks with complex backgrounds using deep convolutional neural network[J]. Automation in con-struction, 2019, 107: 1-14.

[14] SANG J, GUO P, XIANG Z, et al. Vehicle detection basedon faster-RCNN[J]. Journal of Chongqing University, 2017, 40(7): 32-36.

[15] HU Jie, SHEN Li, ALBANIE Samuel, et al. Squeeze-and- excitation networks[J]. IEEE transactions on pattern analy-sis and machine intelligence, 2019, 1: 1-13.

[16] ZHANG Fang-li, ZHOU Qi-ming. Parallelization of the flow-path network model using a particle-set strategy[J]. International journal of geographical information science, 2019, 33(9-10): 1984-2010.

[17] 李東潔, 李若昊. 基于改進Faster RCNN的馬克杯缺陷檢測方法研究[J]. 激光與光電子學(xué)進展, 2020, 57(4): 353-360.LI Dong-jie, LI Ruo-hao. Research on the mugs defect det-ection method based on improved Faster RCNN[J]. Laser & optoelectronics progress, 2020, 57(4): 353-360.

[18] 虢韜, 楊恒, 時磊, 等. 基于Faster RCNN的絕緣子自爆缺陷識別[J]. 電瓷避雷器, 2019(3): 183-189.GUO Tao, YANG Heng, SHI Lei, et al. Self-explosion def-ect identification of insulator based on Faster RCNN[J]. Insulators and surge arresters, 2019(3): 183-189.

[19] 卞景帥, 盧家品, 羅月童, 等. 基于Faster-RCNN的結(jié)核桿菌自動檢測方法研究與應(yīng)用[J]. 圖學(xué)學(xué)報, 2019, 40(3): 608-615. BIAN Jing-shuai, LU Jia-pin, LUO Yue-tong, et al. Res-earch and application of Faster-RCNN based automatic detection method for tuberculosis bacillus[J]. Journal of graphics, 2019, 40(3): 608-615.

[20] 陳丹, 林清泉. 基于級聯(lián)式Faster RCNN的三維目標(biāo)最優(yōu)抓取1方法研究[J]. 儀器儀表學(xué)報, 2019, 40(4): 229-237. CHEN Dan, LIN Qing-quan. Research on 3D object opti-mal grasping method based on cascaded Faster RCNN[J]. Chinese journal of scientific instrument, 2019, 40(4): 229-237.

[21] 劉文強, 辛大欣, 華瑾, 等. 基于Faster RCNN的鎂還原罐工人檢測算法[J].國外電子測量技術(shù), 2019, 38(4): 12-17.LIU Wen-qiang, XIN Da-xin, HUA Jin, et al. Magnesium reduction tank worker detection algorithm based on faster RCNN[J]. Foreign electronic measurement technology, 2019, 38(4): 12-17.

[22] 楊薇, 王洪元, 張繼, 等. 一種基于Faster-RCNN的車輛實時檢測改進算法[J].南京大學(xué)學(xué)報(自然科學(xué)), 2019, 55(2): 231-237.YANG Wei, WANG Hong-yuan, ZHANG Ji, et al. An imp-roved vehicle real-time detection algorithm based on Faster- RCNN[J]. Journal of Nanjing University (natural science), 2019, 55(2): 231-237.

[23] 黃繼鵬, 史穎歡, 高陽. 面向小目標(biāo)的多尺度Faster- RCNN檢測算法[J]. 計算機研究與發(fā)展, 2019, 56(2): 319-327. HUANG Ji-peng, SHI Ying-huan, GAO Yang. Multi-scale Faster-RCNN algorithm for small object detection[J]. Journal of computer research and development, 2019, 56(2): 319-327.

[24] 晏琳, 景軍鋒, 李鵬飛. Faster RCNN模型在坯布疵點檢測中的應(yīng)用[J]. 棉紡織技術(shù), 2019, 47(2): 24-27.YAN Lin, JING Jun-feng, LI Peng-fei. Application of Faster RCNN mold used in gray fabric defect detection[J]. Cotton textile technology, 2019, 47(2): 24-27.

[25] 陳英紅, 杜明坤. 基于Fast-RCNN與結(jié)構(gòu)光縱焊縫三維形態(tài)參數(shù)檢測方法[J].中國測試, 2018, 44(12): 85-90. CHEN Ying-hong, DU Ming-kun. A Fast-RCNN & struc-tured light based three-dimensional shape parameter dete-ction method for longitudinal welds[J]. China measure-ment & test, 2018, 44(12): 85-90.

Online Detection Algorithm of Automobile Wheel Surface Defects Based on Improved Faster-RCNN Model

1,2,1,2

(1.School of Artificial Intelligence, Chongqing Technology and Business University, Chongqing 400067, China; 2.Chongqing Engineering Laboratory for Detection Control and Integrated System, Chongqing 400067, China)

The work aims to predict the wheel surface defects during the production by constructing a visual inspection system for the online production of the wheel.According to the definition and evaluation criteria of wheel surface defects, a calculation model of wheel surface defects was produced. The improved Faster-RCNN target detection algorithm was used, and the deep generative adversarial network was introduced to eliminate the ambiguity of the image. The limpid image of wheel surface was adopted for model training and the network parameters were optimized combined with the expert's discriminative criteria, thus constructing a wheel surface defect detection model. The deep learning Pytorch framework was used to perform the model training on the NVIDIA’S Tesla P100 image acceleration card, and the model results were analyzed comparatively to find the optimal prediction model.In the basic network, the performance of the ResNet101 network using the residual model improved the accuracy rate by 24% compared with the VGG16 model. The multi-channel fusion module was introduced into the target detection network model, and the accuracy rate was improved by 2%. Then, the FPN pyramid was introduced, and the low-level and high-level semantic information was incorporated, which made the output of multi-scale prediction map better. Finally, the ROI-Pooling algorithm of the residual network was changed to the ROI-Align algorithm, which improved the accuracy by 5%. With continuous improvement and optimization, the recognition rate of the wheel surface defects was improved continuously. The improved Faster-RCNN network can recognize the types and locations of wheel surface defects, thus meeting the requirements of the production environment, and providing great value in the engineering application.

automotive wheels; defect detection; deep learning; target detection; Faster-RCNN

2020-01-02；

2020-04-28

ZHU Chao-ping (1977—), Male, Master, Lecturer, Research focus: machine learning & intelligent data processing.

楊永斌（1968—），男，碩士，副教授，主要研究方向為智能數(shù)據(jù)處理。郵箱: yangbin0715@sina.com

Corresponding author：YANG Yong-bin (1968—), Male, Master, Associate professor, Research focus: intelligent data processing. E-mail:yangbin0715@sina.com

朱超平, 楊永斌. 基于改進的Faster-RCNN 模型的汽車輪轂表面缺陷在線檢測算法研究[J]. 表面技術(shù), 2020, 49(6): 359-365.

TH165.4；TG506

A

1001-3660(2020)06-0359-07

10.16490/j.cnki.issn.1001-3660.2020.06.044

2020-01-02；

2020-04-28

教育部科技發(fā)展中心產(chǎn)學(xué)研創(chuàng)新基金項目（2018A02049）；重慶工商大學(xué)重點開放項目（KFJJ2019106）；重慶市教育科學(xué)規(guī)劃項目（2018-GX-348）；重慶工商大學(xué)自然科學(xué)基金項目（1752006）

Fund：Innovation Fund Project of Science and Technology Development Center of Ministry of Education (2018A02049), Chongqing Technology and Business University Key Open Project (KFJJ2019106), Chongqing Educational Science Planning Project (2018-GX-348), Business University Natural Science Foundation Project (1752006)

朱超平（1977—），男，碩士，講師，主要研究方向為機器學(xué)習(xí)和智能數(shù)據(jù)處理。

ZHU Chao-ping, YANG Yong-bin. Online detection algorithm of automobile wheel surface defects based on improved faster-RCNN model[J].Surface technology, 2020, 49(6): 359-365.