基于改進Faster R-CNN的輪胎缺陷檢測方法

吳則舉，焦翠娟，陳 亮

（青島理工大學信息與控制工程學院，山東青島 266520）

0 引言

子午線輪胎因其相較于其他類型輪胎具有眾多優(yōu)點，比如安全耐用、環(huán)保舒適以及在行車過程中功能方面的優(yōu)越性等獲得用戶的普遍認可［1］。在子午線輪胎制作過程中，因為生產(chǎn)流程復雜，加上輪胎使用要求精度高，所以這個過程中，子午線輪胎不可避免地會出現(xiàn)質(zhì)量問題，將會影響輪胎出廠后的使用壽命，甚至危及到人身安全，所以在出廠使用前需要對每條輪胎進行無損檢測［2-4］，及時發(fā)現(xiàn)不合格產(chǎn)品，以此來調(diào)整輪胎的生產(chǎn)流程及機械生產(chǎn)設備，從而可以節(jié)省生產(chǎn)材料成本、提高輪胎質(zhì)量［5-6］。

目前輪胎缺陷檢測方法一般是用X射線檢測機對輪胎進行X 光成像，然后由工人觀察獲得的X 光圖像，依據(jù)缺陷的形狀和灰度特征等來辨別輪胎是否有缺陷并對其分類［7-9］。但這種做法存在很多缺點：人工目測具有主觀性，檢出結(jié)果易受檢測工人敬業(yè)程度及相關知識掌握水平的影響；另一方面，負責檢測的工人容易因為每天的工作任務和強度大，出現(xiàn)檢測錯誤和漏檢情況［10-12］。因此，如何提高出廠前輪胎缺陷檢測的效率和自動化程度，是一項十分必要的研究內(nèi)容。

近年來輪胎缺陷檢測問題吸引了大量國內(nèi)研究者的關注，如Liu 等［13］在2015 年提出了基于Radon 變換的輪胎缺陷檢測算法；張斌等［14］在2016 年提出了基于圖像處理的輪胎X光圖像雜質(zhì)檢測技術(shù)，先后通過直方圖列均衡、傅里葉變換及低通濾波、二值化和閉操作四步完成，并據(jù)此識別胎圈雜質(zhì)缺陷。但上述方法只能對胎圈雜質(zhì)缺陷進行識別。Cui 等［15］在2017年提出了基于主成分殘余信息逆變換的輪胎X射線圖像缺陷檢測方法，通過主成分分析重構(gòu)輪胎圖像的主導紋理，然后將原始圖像與重構(gòu)的主導紋理圖像相減（僅采用剩余較小的特征值及相應的特征向量來復原缺陷及噪聲）即可找出缺陷；但是提取特征繁瑣，需要人工參與選擇。

以上輪胎缺陷檢測的方法都是基于傳統(tǒng)的機器視覺的方式，用來檢測的特征是人為選擇和設計的［15］，得到的特征參差不齊、魯棒性差。傳統(tǒng)方法雖然對于類型簡單的缺陷具有較好的檢測結(jié)果，但由于輪胎缺陷類型眾多，各不相同，而且在得到的輪胎X 光圖像中目標與缺陷的灰度值差別不明顯，所以傳統(tǒng)方法對輪胎X 光圖像的缺陷檢測結(jié)果并不理想［16-17］。Hinton 等［18］在2006 年提出的深度學習模型為復雜目標檢測提供了一種高效方法。深度學習模型可以通過對訓練數(shù)據(jù)集進行學習，提取到檢測目標的特征，并從低到高將各個卷積層的變換特征進行整合，然后抽象出高層特征表達，使分類和定位變得更加容易。此后，基于卷積神經(jīng)網(wǎng)絡（Convolutional Neural Network，CNN）的優(yōu)秀算法層出不窮，并在目標檢測方面發(fā)揮了巨大作用。

本文將Faster R-CNN（Faster Region-Convolutional Neural Network）和在線難例挖掘（Online Hard Example Mining，OHEM）算法結(jié)合引入到輪胎缺陷識別與定位中，實現(xiàn)了工業(yè)中對于輪胎缺陷的自動檢測［11］。本文主要工作如下：

1）使用訓練好的Faster R-CNN 模型對輪胎X 光圖像缺陷進行定位和識別。結(jié)果顯示，該模型能夠檢測到輪胎X 光圖像各個區(qū)域出現(xiàn)的缺陷，但是它只能定位出缺陷的部分區(qū)域，漏檢率和誤檢率較高。

2）對于上述Faster R-CNN 模型對輪胎X 光圖像缺陷進行定位和識別時準確度不高問題，首先，對待檢測的X光圖像進行預處理后再作為卷積網(wǎng)絡的輸入；其次，對該模型做了兩點改良，即對ZF 卷積神經(jīng)網(wǎng)絡結(jié)構(gòu)進行改進以及在RoI（Region of Interesting）pooling 層之后引入OHEM 算法；最后通過實驗驗證了改進后的Faster R-CNN 模型對輪胎缺陷檢測的有效性。

3）對比分析了Faster R-CNN 模型改進前后的實驗結(jié)果，結(jié)果表明改進后的模型檢測效果更好，且魯棒性強，檢測時間較短，可以滿足工業(yè)應用的要求。

1 準備工作

1.1 檢測網(wǎng)絡模型

Faster R-CNN 由特征提取層、區(qū)域建議網(wǎng)絡（Region Proposal Network，RPN）層、Fast R-CNN 層等三個部分構(gòu)成。其中，特征提取層利用ZF卷積神經(jīng)網(wǎng)絡提取輸入圖像的特征圖，RPN層提取初步的候選框，F(xiàn)ast R-CNN層實現(xiàn)輪胎缺陷定位和識別。具體流程如圖1所示。

圖1 基于Faster R-CNN的目標檢測框架Fig.1 Target detection framework based on Faster R-CNN

CNN 主要負責提取要檢測目標的具體特征，運算操作包含卷積計算和降采樣兩部分。CNN的網(wǎng)絡模型結(jié)構(gòu)中包含了多個隱層，是仿照自然界中生物的視覺和知覺系統(tǒng)建立起來的，CNN可以進一步分為監(jiān)督學習和無監(jiān)督逐層學習。

CNN的結(jié)構(gòu)包含三部分，即輸入層、隱層和輸出層。輸入層的功能是接收多維數(shù)據(jù)并對其進行處理，其中，由于CNN采用梯度下降方法進行學習，所以輸入的輪胎缺陷特征在被送入網(wǎng)絡前要先通過歸一化處理，歸一化處理能使得網(wǎng)絡的學習效率得到提升；隱層用來提高網(wǎng)絡容量。本文中使用ZF卷積神經(jīng)網(wǎng)絡來提取輪胎X 光圖像的特征，ZF 卷積神經(jīng)網(wǎng)絡的模型如圖2所示。

圖2 ZF卷積神經(jīng)網(wǎng)絡結(jié)構(gòu)模型Fig.2 ZF convolutional neural network structure model

從圖2 可以看出ZF 卷積神經(jīng)網(wǎng)絡具有五層卷積層，通過層層卷積運算后，可以更好地得到輪胎X 光圖像的深層抽象特征；但是ZF卷積網(wǎng)絡在進行缺陷識別時只使用最后一層的卷積結(jié)果，這就使得網(wǎng)絡在得到抽象特征的同時丟失了有關缺陷區(qū)域的細節(jié)信息，這會降低對缺陷的大小和位置的判斷敏感性。由于輪胎X光圖像的缺陷類型中的雜質(zhì)缺陷和氣泡缺陷出現(xiàn)頻率較高，這兩類缺陷的尺寸較小，檢測過程中如果只使用最后一層卷積特征信息來進行定位和識別，檢測結(jié)果就會存在很大的誤差，假如缺陷區(qū)域面積大小為25 pixel×25 pixel，當它在通過五層卷積層之后，提取到的卷積特征只有一個或幾個卷積特征點。如此少的特征信息不僅對識別定位的精度有較大影響，同時也無法準確判斷出目標類別。

針對上述情況，為了進一步提高識別準確率和定位精度，對基于Faster R-CNN 的輪胎X 光圖像缺陷檢測方法進行了兩個方面的改進，具體操作如下：

l）對ZF 卷積神經(jīng)網(wǎng)絡結(jié)構(gòu)進行改進。圖3 是改進后的ZF卷積神經(jīng)網(wǎng)絡結(jié)構(gòu)模型。

自R-CNN（Region-Convolutional Neural Network）之后的目標檢測網(wǎng)絡，它們在對小目標進行檢測時信息損失會比較嚴重。為了解決這個問題，借鑒語義分割全卷積網(wǎng)絡（Full Convolutional Network，F(xiàn)CN）結(jié)構(gòu)［19］，對Faster R-CNN 輪胎檢測模型的網(wǎng)絡結(jié)構(gòu)進行了改變，將ZF卷積神經(jīng)網(wǎng)絡第三層提取到的卷積特征和第五層提取到的卷積特征進行結(jié)合后輸出，并作為RPN層的輸入。這樣改進的原因是：在輪胎X光圖像缺陷檢測網(wǎng)絡的特征提取部分中，局部區(qū)域的細節(jié)特征由較淺的卷積層提取到，抽象特征由較深的卷積層提取，因此如果能把多個不同層提取到的特征綜合起來后對缺陷進行識別與檢測，這將有助于目標檢測。在ZF 卷積神經(jīng)網(wǎng)絡中，每一層的卷積核可以提取出某些有意義的特征，其功能相當于通過自學習得到的濾波器，例如可以提取到輪胎的邊緣、角度等信息，圖3 中待測圖像經(jīng)過ZF 卷積神經(jīng)網(wǎng)絡中第三個卷積層的256 個卷積核后的輸出如圖4（c）所示，但其性能優(yōu)于傳統(tǒng)的濾波器，原因是本文卷積核是依據(jù)輸入的數(shù)據(jù)集自學習而獲得的，能夠適應圖像的變化，提取的特征更能表征輪胎的缺陷信息，而傳統(tǒng)的濾波器是事先由人工設計的，很難適應缺陷信息的變化。圖4（d）是網(wǎng)絡第五個卷積層后輸出的特征圖，它提取到的是輪胎缺陷較抽象的特征，另外三層卷積層的工作原理和這兩層相同，只是不同卷積層提取的特征不同。

圖3 改進后的ZF卷積神經(jīng)網(wǎng)絡結(jié)構(gòu)模型Fig.3 Improved ZF convolutional neural network structure model

圖4 卷積輸出特征圖Fig.4 Convolution output feature graph

首先對第三層和第五層輸出的結(jié)果分別進行響應歸一化操作，增強構(gòu)造模型的泛化能力；其次在對兩層輸出進行結(jié)合前先進行卷積運算，使得輸出結(jié)果圖維數(shù)相同。因為在ZF卷積神經(jīng)網(wǎng)絡中，第三層卷積層的輸出結(jié)果是384 維，而第五層的輸出是256 維，所以先要對兩層的輸出結(jié)果進行運算操作，對第三層的輸出特征圖做l×l 的卷積操作，使其輸出變成256維后，再將兩層結(jié)果相加。

2）在ZF 卷積神經(jīng)網(wǎng)絡中RoI pooling 層之后引入OHEM算法。

依照數(shù)據(jù)集的損失大小可以分為：容易檢測樣本和較難檢測樣本，如果在訓練過程中可以自動選擇這些多樣性和高損失的較難檢測樣本，就會使得網(wǎng)絡訓練更加高效，Shrivastava 等［20］把Fast R-CNN 結(jié)構(gòu)與OHEM 算法進行了 結(jié)合，實現(xiàn)了數(shù)據(jù)集中正負樣本數(shù)值差異，進一步提高了算法準確性。OHEM 算法的核心要點為：首先依照損失大小篩選輸入數(shù)據(jù)集中的樣本，選出較難檢測到的樣本；然后將較難檢測樣本中對檢測結(jié)果影響較大的樣本，在隨機梯度下降中進一步訓練。

本文的具體操作步驟為：首先將每張輪胎X 光圖像得到的特征圖送入只讀的RoINetl 中，通過計算，得到原圖中所有建議框的損失；然后是依照損失的大小進行排序，挑選出較難檢測樣本；最后把選出樣本送入RoINet2 中。在實際操作中將OHEM 算法應用在Fast R-CNN 的網(wǎng)絡結(jié)構(gòu)中后，它將Fast R-CNN分為兩部分：Conv Network 和RoI Network，ROI Network可擴充為兩個：RoINetl 和RoINet2，減少了顯存。RoINetl 是只讀的，只進行前向傳播，為所有的RoI 在前向傳遞時分配空間，主要用于計算損失；RoINet2可以進行前向和反向傳播，同時為前向和后向的RoI 分配空間，主要用于將較難檢測樣本作為輸入，計算損失并回傳梯度。在實驗過程中，每個最小批次中圖像數(shù)目為N，生成建議框的數(shù)目為|R|，即每張要檢測的輪胎X 光圖像中建議框數(shù)目為|R|/N，經(jīng)過篩選后得到B個較難檢測樣本。為了方便計算，實驗中通常會設置N=128，|R|=4 000，B=2。通過這種設計，一方面解決了數(shù)據(jù)的數(shù)據(jù)種類分布不均問題；另一方面，通過樣本集合的增大，算法準確率得到了提高。

通過圖3 可以看到，OHEM 算法為虛線框內(nèi)結(jié)構(gòu)。a 中的網(wǎng)絡和b 中的網(wǎng)絡是一樣的，二者共享權(quán)重。a 中RoINetl 只做前向運算，并選擇損失較大的建議框，然后采用非極大值抑制（Non-Maximum Suppression，NMS）去除交并比（Intersectionover-Union，IoU）較大(IoU＞0.6)的建議框并傳入b 中網(wǎng)絡；在b 中RoINet2 計算梯度并回傳，最后更新整個網(wǎng)絡。把Fast R-CNN 與OHEM 算法結(jié)合后的網(wǎng)絡模型，對于數(shù)據(jù)集中的損失結(jié)果較大的小目標缺陷的檢測精度進一步提高，其中在訓練過程中當某類缺陷類型的漏檢率較高時，它相對應的損失值就會增大，進而使得小目標缺陷的采樣概率增大，采樣的可能性也就進一步增加。

圖5 是RoI Network 的輸出及輸出結(jié)果的統(tǒng)計圖，其中圖（a）中的橫坐標表示神經(jīng)元個數(shù)即維數(shù)（4 096 維），縱坐標是每個神經(jīng)元的響應值；圖（b）是對圖（a）的直方圖統(tǒng)計，橫軸表示神經(jīng)元的響應值，縱軸是每個響應值出現(xiàn)的神經(jīng)元個數(shù)。

圖5 RoI Network的輸出及其輸出結(jié)果統(tǒng)計Fig.5 RoI Network output and statistics of its output results

1.2 區(qū)域建議網(wǎng)絡

區(qū)域建議網(wǎng)絡層在目標檢測中被用來生成錨點窗口，同時依據(jù)判斷框內(nèi)圖像為目標或背景的概率用于初步提取候選框，比傳統(tǒng)搜索選擇算法的速度更快，能提高目標檢測速率，更加符合工業(yè)需求。

區(qū)域建議網(wǎng)絡構(gòu)造的核心步驟為：首先在通過卷積運算得到的結(jié)果圖上，使用一個小滑動窗口進行依次掃描；然后將通過第一步驟后映射得到一個d維向量；最后將該向量輸入到后面兩個FC 層——邊界回歸層（reg layer）和類別判斷層（cls layer）。經(jīng)過每一次滑動操作后，任意一個窗口位置處產(chǎn)生預測候選框的數(shù)量為k，故邊界回歸層輸出結(jié)果數(shù)目為4k，用來完成預測候選框的坐標編碼；類別判斷層的輸出結(jié)果數(shù)目為2k，用來估算預測候選框是檢測目標的概率。圖6 所表示的為區(qū)域建議網(wǎng)絡結(jié)構(gòu)。

圖6 區(qū)域建議網(wǎng)絡結(jié)構(gòu)Fig.6 Structure of RPN

區(qū)域建議網(wǎng)絡的損失函數(shù)定義為：

式中：x、y、w、h分別表示GT（Ground-Truth）包圍盒的中心坐標、寬度和高度；ti表示包圍盒的4 個參數(shù)化坐標表示正樣本所對應的手工標注框的坐標向量。其中，對于魯棒損失函數(shù)

當|x|＜1時：

當|x|≥1時：

RPN的總體損失函數(shù)定義為：

式中：i表示輪胎X 光圖像樣本特征圖中預測候選框的索引值；Pi表示該窗口是網(wǎng)絡要檢測缺陷的預測概率，表示對應的手工標注框的預測概率；Ncls表示分類項歸一化值，即一次處理的數(shù)目為256；Nreg為回歸歸一化值；λ為權(quán)重值，用于平衡兩種損失，本文中設λ=1，即兩項權(quán)重大致相等。卷積網(wǎng)絡的訓練過程中其他參數(shù)的取值如表1所示。

表1 其他參數(shù)取值Tab.1 Other parameter values

1.3 Fast R-CNN

對訓練樣本集中手工標注后的圖像（GT Box）的錨框進行考察：首先找到與每個GT Box 面積交疊比例最大的錨框，記為正樣本，然后在剩下的anchors中找到與GT Box的面積交疊比例大于0.6 的也記為正樣本；如果二者面積的交疊比例小于0.2，記為負樣本；其他類型的錨框則直接舍棄處理。在訓練過程中，采用難例挖掘的策略（Hard Negative Mining）來平衡正負類別數(shù)據(jù)集數(shù)量的比率。

在實際計算中，設置區(qū)域網(wǎng)絡提供1 000 個候選框，并從中隨機選取300個用于Fast R-CNN 訓練［21］。對樣本進行訓練時，如果將RPN 生成的所有anchors 都直接用來進行訓練，則會因為有大量負樣本參加訓練，使訓練得到的模型對正樣本的預測準確率低，因此在隨機選取每幅圖像中256 個anchors參與計算損失時，要求在這256 個anchors 中正負樣本的比例為1∶1，當比率小于1時，則利用負樣本來補充正樣本的數(shù)量。使用不同的池化方式處理大小不一的預測候選框，以確保在全連接層的輸入時維度相同。根據(jù)輸出結(jié)果的不同，可以將池化層的輸入分為兩類，即區(qū)域建議網(wǎng)絡輸出的proposals 和CNN輸出的圖像的特征圖。

輪胎缺陷類別的判斷是利用池化層輸出的缺陷特征圖，通過兩個FC層的計算，可以知道檢測到的缺陷類別是胎側(cè)異物、胎冠異物、氣泡、胎冠開根或者胎側(cè)開根，輸出類別概率；同時利用邊界窗口回歸獲得每個缺陷的位置偏移量，提升目標檢測框的精度。

2 輪胎X光圖像缺陷檢測

基于Faster R-CNN 模型的輪胎X 光圖像缺陷檢測流程如圖7所示。

圖7 基于Faster R-CNN的缺陷檢測流程Fig.7 Defect detection flow based on Faster R-CNN

輪胎X 光圖像中常見的缺陷主要有：胎側(cè)異物、胎冠異物、氣泡、胎側(cè)開根、胎冠開根等。常見的幾種輪胎缺陷在X光圖像下顯示如圖8所示。

圖8 輪胎常見缺陷的X光圖像Fig.8 X-ray images of common defects of tire

訓練集的圖片數(shù)量為1 368張，每類缺陷圖片數(shù)量所占的比例與輪胎生產(chǎn)過程中出現(xiàn)該類型缺陷的概率相同。輪胎缺陷種類繁多，形狀大小各不相同，尺寸大小在50 pixel×50 pixel至200 pixel×400 pixel之間，具體構(gòu)成如表2所示。

表2 訓練集構(gòu)成Tab.2 Composition of training set

在預處理階段使用灰度拉伸方法來增強數(shù)據(jù)集［22］，使圖像目標和背景的灰度值有了明顯差異；其次，為了避免訓練過程中出現(xiàn)嚴重的過擬合現(xiàn)象進而影響模型對于數(shù)據(jù)集的學習，對預處理后的數(shù)據(jù)樣本集進行了數(shù)據(jù)擴充處理，形成了一個樣本量充足的數(shù)據(jù)圖像庫，使得構(gòu)造的檢測網(wǎng)絡模型具有較強的泛化能力。實驗過程中，首先是每次從庫中隨機選取每類缺陷樣本數(shù)量的30%作為測試集進行驗證，其余70%的樣本用于模型的訓練，這樣重復10 次選取樣本并對其進行實驗，最后計算結(jié)果的平均值作為算法的最終結(jié)果［11］。

2.1 預處理結(jié)果

直方圖均衡化是經(jīng)常使用的數(shù)據(jù)增強方法，它的核心思想是將待檢測目標與背景之間的灰度值利用圖像直方圖方法進行變換，因操作簡單高效而被廣泛采用。未經(jīng)處理前圖像數(shù)據(jù)的灰度值是隨機分布的，正常圖像中的像素灰度值是隨機變化的，原始圖像的直方圖在視覺上呈現(xiàn)數(shù)值高低不相同，但經(jīng)過均衡化后，圖像像素值會變得集中分布，對比度增強后的圖像的直方圖在視覺上會呈現(xiàn)平緩均勻。通過直方圖均衡化對輪胎X光圖像進行數(shù)據(jù)增強后結(jié)果如圖9所示。

圖9 預處理結(jié)果Fig.9 Preprocessing results

從圖9 中可以看出預處理前圖像所有像素的灰度值分布相對集中，需要檢測的目標與背景之間的對比度不明顯，給人的視覺感受是整個圖像比較灰暗。通過預處理操作對圖像進行灰度拉伸變換后，輪胎圖像灰度值拉伸到0～255 的整個區(qū)間，由預處理后輪胎X光圖像的直方圖可以看到，處理后輪胎X 光圖像的灰度值相對均勻地分布在整個灰度空間中，將預處理前后輪胎X 光圖像進行對比后，發(fā)現(xiàn)變換后圖像的對比度顯然是大幅增強的，在視覺上更加清晰。

2.2 缺陷檢測結(jié)果

圖10是利用訓練好的Faster R-CNN模型對輪胎X光圖像進行缺陷檢測的結(jié)果。從圖中可以看到，使用訓練好的Faster R-CNN 模型對輪胎X 光圖像缺陷進行定位和識別，它只能檢測到缺陷的部分區(qū)域。在圖10（a）和圖10（b）中對輪胎缺陷檢測中只檢測到異物的局部區(qū)域；在圖10（c）氣泡的檢測結(jié)果中，將正常區(qū)域誤檢測成氣泡缺陷，氣泡缺陷真正的位置應該是白色方框代表的區(qū)域，對于氣泡缺陷的誤檢主要是因為氣泡缺陷在X 光圖像中呈現(xiàn)弱邊緣性，因此很難被正確檢測出來。

待檢測圖片總數(shù)量為274，正確檢測胎側(cè)異物、胎冠異物、氣泡、胎冠開根以及胎側(cè)開根這五種缺陷的數(shù)量以及相應的評價指標見表3。

表3 Faster R-CNN模型檢測結(jié)果統(tǒng)計與評價指標值Tab.3 Statistics and evaluation metric values of detection results of Faster R-CNN model

對圖10 中檢測結(jié)果中的各個矩形框的坐標進行統(tǒng)計，并計算它們之間的交并比（IoU），結(jié)果如表4 所示。其中，GT 項參數(shù)表示利用LabelMe 軟件對輪胎缺陷區(qū)域手工標注框的坐標；檢測坐標項參數(shù)表示利用算法定位出的邊框坐標；GT size項參數(shù)表示輪胎缺陷區(qū)域手工標注的面積大小，Det size 項參數(shù)表示利用算法定位出輪胎缺陷區(qū)域面積的大??；IoU值代表手工標注GT 框與算法定位出包圍框面積的交疊度，數(shù)值越大，說明算法的定位精度越高。結(jié)合圖10 的檢測結(jié)果和表4內(nèi)IoU的數(shù)值可知，F(xiàn)aster R-CNN模型雖然能成功定位到輪胎缺陷，但是定位準確率較低，不能準確地實現(xiàn)輪胎X光圖像缺陷的檢測。

表4 Faster R-CNN模型檢測結(jié)果的邊框坐標以及交并比Tab.4 Bounding box coordinates and IoU of Faster R-CNN model

圖10 Faster R-CNN模型對輪胎缺陷的檢測結(jié)果Fig.10 Tire defect detection results by Faster R-CNN model

2.3 改進后的缺陷檢測結(jié)果

圖11 顯示了用改進后的Faster R-CNN 模型對部分待檢測的輪胎X 光圖像進行檢測的結(jié)果。從圖11 可以看出，改進后的Faster R-CNN 模型可以正確檢測出輪胎常見的這五種缺陷，滿足工業(yè)檢測的需求。

圖11 改進后Faster R-CNN模型對輪胎缺陷的檢測結(jié)果Fig.11 Tire defect detection results by improved Faster R-CNN model

對待檢測的274 張輪胎X 光圖像進行判斷，統(tǒng)計出的這五種缺陷的檢測數(shù)量以及相應的評價指標如表5 所示。由表5可知，改進后的Faster R-CNN 模型對輪胎X光圖像的缺陷檢測的準確率較高，同時各個缺陷類型的誤檢率和漏檢率大幅降低；與未預處理之前的檢測結(jié)果相比，改進后整體的檢測結(jié)果有了明顯的改善，大幅提升了對輪胎常見類型缺陷的識別準確率，且算法檢測結(jié)果穩(wěn)定性好，具有一定的泛化能力。

表5 改進后Faster R-CNN模型檢測結(jié)果統(tǒng)計與評價指標值Tab.5 Statistics and evaluation metric values of detection results of improved Faster R-CNN model

對圖11 中檢測結(jié)果中的各個矩形框的坐標進行統(tǒng)計，并計算它們之間的IoU值，結(jié)果如表6所示。

表6 改進后Faster R-CNN模型檢測結(jié)果的邊框坐標以及交并比Tab.6 Bounding box coordinates and IoU of improved Faster R-CNN model

結(jié)合圖10的檢測結(jié)果和表4的IoU 數(shù)據(jù)可以看出：與表6中的IoU 值相比較，改進后Faster R-CNN 模型的檢測結(jié)果的IoU值提升明顯，利用改進后的Faster R-CNN對輪胎缺陷進行檢測，無論是對異物缺陷、氣泡缺陷、還是開根缺陷，都能在提升識別準確率的同時提高定位精度。

2.4 檢測結(jié)果比較

將基于Faster R-CNN 的缺陷檢測方法改進前后的檢測結(jié)果進行比較，其中改進后方法被記為本文方法。

1）平均檢測精度均值（mean Average Precision，mAP）。

實驗采用mAP 作為輪胎缺陷檢測性能的精度評價指標，mAP 值越大，則表示所使用方法檢測結(jié)果的精度越高。mAP的大小與準確率（Precision）以及召回率（Recall）有關，在輪胎缺陷檢測中，對于缺陷的真實類別與模型學習器預測類別的組合劃分為：真正例TP（True Positive）、假正例FP（False Positive）、真反例TN（True Negative）以及假反例FN（False Negative）。

準確率P又叫做查準率，表示預測結(jié)果中正例所占的比重，如式（5）所示：

召回率R又叫做查全率，表示真實樣例中被預測正確的樣例所占的比重，如式（6）所示：

在對輪胎X 光圖像組成的數(shù)據(jù)集中，假設樣本總數(shù)為N，其中有正例M，那么就可以得到M個召回值，對于每個R值可以計算出其對應的最大準確率P，然后對這M個P值取平均即得到最后的mAP值。

平均準確率mAP定義如下：

Faster R-CNN 改進前后訓練出的模型在輪胎缺陷圖像上的檢測結(jié)果如表7 所示。由表7 可以看出改進前的Faster RCNN 對輪胎氣泡缺陷的定位識別效果最差，胎側(cè)開根缺陷檢測效果也不佳，對另外三種輪胎常見缺陷相對好些，整體而言，改進之前算法能夠定位到缺陷，但是總體的檢測精度較低；而本文方法對各類型缺陷檢測結(jié)果的mAP 值較高，檢測效果較好。

表7 Faster R-CNN改進前后的mAP比 單位：%Tab.7 Comparison of mAP before and after improvement of Faster R-CNN unit：%

2）改進前后的平均檢測時間對比。

由表8 可以看出，改進前后平均檢測時間基本相同，本文方法較改進前的測試時間稍有增加，但是最終的識別準確率和定位精度較改進前有很大的提升，算法的檢測性能更優(yōu)，滿足了工業(yè)對于缺陷檢測的要求。

表8 Faster R-CNN改進前后的平均檢測時間比較 單位：hTab.8 Comparison of average detection time before and after improvement of Faster R-CNN unit：h

3 結(jié)語

本文基于Faster R-CNN 模型對輪胎缺陷進行檢測，用于識別輪胎缺陷類型和標記出缺陷位置。在預處理階段利用灰度拉伸方法對訓練數(shù)據(jù)集進行處理，增強了目標和背景的差異；其次，對Faster R-CNN 結(jié)構(gòu)進行了改進，借鑒語義分割網(wǎng)絡的結(jié)構(gòu)，將負責特征提取的ZF卷積神經(jīng)網(wǎng)絡的第三層卷積特征和第五層卷積特征相結(jié)合，并引入OHEM算法，使得最終獲取的模型對于輪胎常見五種缺陷的檢測準確率大幅提升，而且可以檢測較小的缺陷目標，提升了Faster R-CNN 模型位置檢測和識別的精度；通過對比改進前后的檢測結(jié)果，驗證了改進后的算法檢測效果更好，魯棒性強，且較短的測試時間也可以滿足工業(yè)應用的要求。

目前，本文所采用的方法可以準確地定位和判別輪胎X光圖像中的缺陷，但是對于部分邊界模糊的氣泡缺陷的檢測結(jié)果相對不佳，因此在接下來的輪胎缺陷檢測研究中，可結(jié)合多種直接、間接檢測方法，對邊界相對模糊的輪胎氣泡缺陷問題進行進一步的檢測。