基于損傷區(qū)域融合變換的軸承鼓形滾子表面損傷檢測方法

艾青林，崔景瑞，呂冰海，童桐

(浙江工業(yè)大學 特種裝備制造與先進加工技術教育部/浙江省重點實驗室，浙江 杭州 310023)

滾動軸承在工業(yè)中有著廣泛的應用，是極為重要的傳動部件，其動態(tài)性能對機械系統(tǒng)有重要影響[1].滾子作為軸承中最為重要的零件，其表面質(zhì)量決定了軸承的使用壽命及運動性能，而滾子表面損傷不同的成因給損傷檢測帶來一定困難.傳統(tǒng)的軸承滾子表面損傷檢測方法有渦流檢測[2-3]、超聲波檢測[4-6]、磁粉檢測[7]等，這些方法存在系統(tǒng)穩(wěn)定性較差、環(huán)境適應能力不足等問題.

近年來，機器視覺逐漸被應用于零件表面缺陷檢測中.陳昊等[8]建立光流誤差估計模型分割出軸承滾子表面缺陷區(qū)域；Chan等[9]基于表面損傷的形變利用反射條紋圖案技術檢測損傷；段志達[10]綜合伽馬矯正算法、模板匹配與霍夫變換等機器視覺方法設計了軸承缺陷檢測系統(tǒng)；尚魯強[11]使用機械臂采集工件圖像，并用圖像平滑與圖像銳化算法識別曲面缺陷；蘇駿宏等[12]設計專用光學系統(tǒng)檢測軸承表面微米級缺陷.深度學習方法結合機器視覺能同時具有神經(jīng)網(wǎng)絡強大的學習能力與圖像的直觀性.文生平等[13]提出一種在線計算機視覺系統(tǒng)結合RetinaNet網(wǎng)絡診斷軸承滾子表面的各種缺陷；Prappacher等[14]利用模擬缺陷實現(xiàn)了軸承滾動體缺陷的自動檢測；Xu等[15]提出一種小型數(shù)據(jù)驅動網(wǎng)絡并結合半監(jiān)督數(shù)據(jù)增強用于滾子表面缺陷檢測與分類；Le等[16]與Hu等[17]分別使用Wasserstein對抗生成網(wǎng)絡與空間通道注意力機制，緩解表面損傷數(shù)據(jù)集樣本不平衡以及不足的問題.

使用神經(jīng)網(wǎng)絡檢測表面缺陷需要充足并且類別均衡的訓練樣本，而目前鼓形滾子的生產(chǎn)過程高度優(yōu)化，帶缺陷的樣本數(shù)量相對較少，這導致負樣本數(shù)量有限而出現(xiàn)正負樣本不均衡的情況，以上問題往往導致網(wǎng)絡泛化能力較差.以滾子的主要工作面?zhèn)让鏋檠芯繉ο?，提出一種基于多樣本關鍵損傷融合數(shù)據(jù)增強的損傷檢測方法，其中數(shù)據(jù)增強方法豐富了損傷特征從而改善了樣本不均衡帶來的問題，并使模型對新?lián)p傷樣本具有更強的適應能力.具體步驟如下：首先根據(jù)樣本中滾子外圓角分布特點對側面圖片進行預處理，對核心檢測區(qū)域進行裁剪；然后基于聚類預選框及損傷評估函數(shù)從負樣本數(shù)據(jù)集的損傷標注區(qū)域中選出縱橫比與大小合適的關鍵損傷區(qū)域，對所選區(qū)域進行不同的仿射變換，并與正樣本進行融合生成新的負樣本，將增強后數(shù)據(jù)集輸入到檢測網(wǎng)絡中進行分類并與傳統(tǒng)檢測方法進行對比，實驗表明采用改進數(shù)據(jù)增強的鼓形滾子表面損傷檢測模型優(yōu)于傳統(tǒng)方法，調(diào)整正樣本閾值后能取得較高的查準率，滿足實際生產(chǎn)需求.

1 滾子表面損傷檢測裝置

1.1 滾子圖像樣本采集

在對鼓形滾子表面損傷檢測研究中發(fā)現(xiàn)，鼓形滾子零件為近似圓柱體并且工作側面損傷分布具有隨機性，這導致傳統(tǒng)的拍攝手段不易獲得樣本工作側面完整的損傷特征.多次拍攝采樣會極大地影響采樣效率，且目前沒有公開的軸承鼓形滾子數(shù)據(jù)集，針對以上問題研制了鼓形滾子表面損傷特征樣本檢測裝置，如圖1所示.它主要由工件輸送帶、旋轉底盤、軸承滾子及滾子各個面的拍攝相機組成.研究對象為滾子的工作面?zhèn)让?，故僅采集側面圖像樣本.當滾子經(jīng)輸送帶輸送時，通過底盤旋轉到側面攝像頭拍攝工位拍攝側面圖像，底盤由電機控制，按照一定的時間間隔進行旋轉，將拍攝完的滾子帶離拍攝工位.側面攝像頭為360°外窺光學鏡頭，能捕獲滾子端面以及呈環(huán)形的360°側面圖像，每個零件拍攝過程中保證光照條件一致.

圖1 滾子面損傷圖像樣本采集裝置Fig.1 Collection device for roller surface defect image sample

1.2 樣本表面損傷分析

檢測的軸承滾子為同一型號規(guī)格的鼓形滾子零件，實驗數(shù)據(jù)主要由側面攝像頭獲取，根據(jù)無損傷滾子分為正樣本和根據(jù)帶損傷滾子分為負樣本.圖2為滾子實物與采樣獲得的側面樣本各部分之間的對應關系，從圖中可知，滾子工作側面為上、下側外圓角輪廓包圍的區(qū)域.

圖2 軸承滾子實物與樣本對照圖Fig.2 Bearing roller physical sample comparison chart

采樣得到的滾子側面負樣本損傷主要分為劃傷、片傷、切傷、腐蝕、燒傷、凹陷、車削痕、凸點以及靠近端面的磨損等，主要損傷類型如圖3所示.

圖3 滾子側面樣本不同損傷Fig.3 Different defects of roller side samples

2 基于多樣本關鍵損傷區(qū)域融合的數(shù)據(jù)增強方法

為了增加模型對新?lián)p傷樣本的適應能力，考慮將不同負樣本滾子圖像之間的損傷進行融合[18]以豐富損傷特征的樣式，提出多樣本關鍵損傷區(qū)域變換融合的數(shù)據(jù)增強方法.

2.1 目標裁剪處理流程

從滾子側面損傷情況可知，負樣本損傷尺度小，導致?lián)p傷不明顯，并且樣本側面以外區(qū)域存在的一些無關像素而影響檢測精度，針對此問題設計目標裁剪流程進行圖像預處理.首先找到合適的裁剪邊界并在原圖中裁出對應區(qū)域以縮小目標區(qū)域(region of interest，ROI)；滾子下側外圓角邊界恰好包圍損傷所在的滾子側面區(qū)域，所以將下側外圓角最小外接正方形作為裁剪目標，經(jīng)過處理的圖像具有更高的損傷特征集中度.圖4(a)展現(xiàn)了原始滾子圖像中工作側面的目標裁剪效果.之后對正樣本進行上側外圓角輪廓提取，提取到的輪廓為后續(xù)數(shù)據(jù)增強提供邊界條件.目標裁剪的難點在于如何準確提取所有樣本圖像輪廓特征，在輪廓提取階段需要排除損傷區(qū)域帶來的干擾.使用梯度提取、高斯濾波、二值化、形態(tài)學和邊緣檢測實現(xiàn)對全部樣本邊界輪廓的準確提取，以下流程以負樣本為例展示輪廓提取過程.

圖4 原圖核心檢測區(qū)域與高斯濾波后圖像Fig.4 Original image’s core detection area and image after Gaussian filtering

2.1.1 原圖梯度提取與高斯濾波 圖像梯度提取能強調(diào)邊緣特征信息，是目標裁剪的必要流程.圖像中某坐標的梯度為

式中：gx與gy分別為x和y方向的梯度，梯度的幅度為

在實際過程中，以絕對值來代替平方與開方，得到梯度近似值為

使用sobel算子[19]計算圖像梯度，經(jīng)梯度提取后滾子圖像邊緣以及輪廓處有較大的像素值，在二值化時更容易歸為白色像素而便于輪廓提取.由于外輪廓周圍背景板的劃痕、光線折射造成的光暈對圖像的影響，原圖在梯度提取后存在一定的噪聲，故對圖像采用高斯濾波[20]進行降噪，對于一個邊長為2k+1的高斯核，高斯核中坐標為(i,j)的元素值Hi,j滿足以下關系：

式中：σ為高斯分布的標準差.對于滾子圖像來說，更大的高斯核可以更加有效地減少圖像的噪聲，但是也會帶來計算量的增加，實驗選取高斯核為9×9，σ =1.7.圖4中實線框內(nèi)為損傷區(qū)域，經(jīng)梯度提取與濾波后的圖像如圖4(b)所示.

2.1.2 形態(tài)學獲取下側外圓角輪廓特征 為提取下側外圓角輪廓，首先需要對圖像進行二值化，二值化后得到結果如圖5(a)所示，可以看出二值化圖像輪廓部分更為清晰，外圍環(huán)帶狀光暈得以去除.在二值化后采用形態(tài)學方法去除圖像中損傷部位形成的斑點與外圍殘余噪聲.形態(tài)學方法[21]包括腐蝕與膨脹處理，圖像經(jīng)過若干次腐蝕處理后，外圍噪聲得到徹底去除，內(nèi)部白色斑點及細小圓形輪廓也被黑色像素覆蓋，從實線框中可以看出損傷經(jīng)處理后只有少數(shù)殘留，有利于下側外圓角輪廓檢測.腐蝕后膨脹處理消除腐蝕導致的輪廓輕微不連續(xù)現(xiàn)象，使得下側外圓角輪廓更加完整清晰，最終提取到的輪廓特征如圖5(b)所示.

圖5 經(jīng)二值化后圖像與輪廓特征Fig.5 Binarized image and contour feature

2.1.3 外圓角輪廓檢測 對經(jīng)形態(tài)學處理后的圖像使用Suzuki輪廓跟蹤算法[22]提取所有輪廓.為了排除殘留損傷形成輪廓的干擾，根據(jù)滾子零件尺寸信息只保留所需下側外圓角輪廓，最終目標裁剪的邊界為提取到的下側外圓角輪廓最小外接正方形.在目標裁剪后的區(qū)域排除了無關像素的干擾，并且長寬僅約900×900像素，相比于原圖的1920×1200像素尺度大幅縮減，這不僅有利于網(wǎng)絡對于輸入尺度的要求，更能在圖像放縮時讓損傷像素不過于微小.

正樣本上側外圓角輪廓提取為后續(xù)數(shù)據(jù)增強提供邊界依據(jù).在圖5(a)基礎上采用霍夫圓檢測法獲取上側外圓角輪廓，在得到的圓形簇中選擇半徑最大的圓作為上側外圓角輪廓，結果如圖6(a)所示.最終在輸入網(wǎng)絡前對圖像作添加黑色邊界處理以進一步覆蓋無用的像素，結果如圖6(b)所示.

圖6 上側外圓角輪廓與添加黑邊圖像Fig.6 Upper side external fillet profile and image with black border

2.2 負樣本關鍵損傷區(qū)域融合變換

2.2.1 基于聚類預選框的關鍵損傷區(qū)域篩選 數(shù)據(jù)集負樣本損傷區(qū)域標注如圖7所示，圖中加粗實線框內(nèi)為數(shù)據(jù)標注的損傷區(qū)域.將標注點形成的最小外接矩形作為損傷區(qū)域.標注的損傷區(qū)域形態(tài)各不相同，為了選出合適尺寸的損傷區(qū)域為后續(xù)變換創(chuàng)造條件，根據(jù)k-means++聚類算法設置3種長寬比的預選框，該算法在k-means算法基礎上改進了聚類中心的初始化過程.將預選框與數(shù)據(jù)標注損傷區(qū)域幾何中心重疊，根據(jù)損傷估值函數(shù)計算每個損傷區(qū)域與預選框的相似度以選出關鍵損傷區(qū)域，使得拼貼后前景與背景有較好的幾何尺寸契合度.

圖7 損傷區(qū)域數(shù)據(jù)標注示例Fig.7 Example of defective area data labeling

根據(jù)標注損傷區(qū)域長大于寬、等于寬和小于寬的3種關系聚類算法分類數(shù)k取為3.由于標注區(qū)域可能存在過大的長寬比，為了防止該情況產(chǎn)生的噪聲對聚類算法初始中心選取造成的影響，將長寬比5以上的損傷區(qū)域對中分割.簇中心初始化過程如下：先選取一個長寬比接近1.0的損傷區(qū)域作為首個簇中心，其長寬比為 τ1，然后計算每 個 樣 本 長 寬 比 與 τ1的 距 離 函 數(shù)D(x)=τx/τ1，從而獲得它被選為下一個中心點的概率P(x)：

式中：τx為當前樣本的長寬比，χ為損傷區(qū)域集合.選取P(x)最大的區(qū)域為下一個中心點.最終聚類得 出3個聚類中心長寬比分別為τ1、τ2和τ3.預選框邊長設為其在圓周內(nèi)內(nèi)外側臨界情況下的長度.為確定預選框長度隨位置的變化關系，將上側外圓角和下側外圓角形成的幾何要素近似為同心圓并建立坐標系，如圖8所示.設預選框長寬比為 τ ，高 為h，與 圖像 的中 心距 為r，上側外圓角半徑為r1，下側外圓角半徑為r2，兩圓半徑均值為r3，預選框為B，損傷區(qū)域為A，圓心為O1.圖8展示了長寬比為 τ，與圖像中心距為r的預選框在內(nèi)外邊界的各個臨界位置，預選框在不同位置有不同的大小.

圖8 預選框內(nèi)側臨界情況與外側臨界情況Fig.8 Inner critical state and outer critical state of pre-selection box

在內(nèi)側臨界的情況下，θ為上側外圓角中心和預選框臨界接觸點之間連線與x軸夾角；在外側臨界情況下，γ為預選框中心和上側外圓角圓心之間連線與x軸夾角.將r分為r∈(r1,r3)和r∈[r3,r2).在內(nèi)側臨界情況下，對于一個任意的r∈(r1,r3)，不超過邊界的最大預選框滿足幾何關系：

為得到h與 θ 的 關系，h對θ求導得

同理在外側臨界情況下對于一個任意的r∈[r3,r2) ，當γ ∈時，h近似滿足

對于標注出的每一處損傷區(qū)域A，A的中心即為預選框B的中心，根據(jù)式（8）～（11）確定對應圓周 方 位 預 選 框 高 度h，根 據(jù)A的 聚 類 中 心 獲 得 預 選框長寬比，A與B之間的差異可以用重疊部分面積與縱橫比來描述.根據(jù)預選框與損傷區(qū)域的差異設計損傷評估函選出與預選框相似的關鍵損傷區(qū)域，受目標檢測中矩形框交并比、縱橫比懲罰項的啟發(fā)[23]，定義損傷評估函數(shù)為

式中：Pe為 評估 值，k為 平衡 因 子，s為 控制 縱橫 比的因子.

式中：I oU 為2個矩形區(qū)域的交并比；wA、hA分 別為損傷區(qū)域的寬、高；l為聚類中心標號，l的取值為1、2、3.

每個損傷區(qū)域對應的評估值越大則越可能被選為關鍵損傷.損傷評估函數(shù)過濾掉原始標注的損傷區(qū)域中有過大邊長或縱橫比的部分，提高數(shù)據(jù)增強前后圖像契合度.因此隨機取3個負樣本中共N個損傷區(qū)域作為一個新的負樣本的損傷來源，對所有損傷區(qū)域按照式（12）進行評估函數(shù)計算并排序，選結果較大的前 [N/3]的損傷區(qū)域用于后續(xù)變換和拼貼處理.

2.2.2 損傷變換流程 損傷變換是為了進一步豐富鼓形滾子所選關鍵損傷區(qū)域的特征，對于一個特定的損傷區(qū)域，對它進行變換的過程可以用若干個仿射變換矩陣來描述，仿射變換矩陣為

設初始坐標向量為X=(x,y,1)，經(jīng)過若干仿射變換后坐標向量為X1=(x1,y1,1)，則應當滿足

式中：Tg為有序變換矩陣.

損傷變化流程包括隨機錯切、隨機旋轉與隨機縮放等流程，具體步驟如下.

1）對于縱橫比小于2且長邊不超過85像素的損傷不做任何變換，該條件的設定是為了保留一部分原有的特征.

2）依據(jù)縱橫比進行錯切.不滿足1）中的損傷根據(jù)其縱橫比來進行不同方向的錯切，對于高大于寬的損傷區(qū)域，采用x方向的錯切，反之采用y方向的錯切，錯切角度 α=5°～25°的隨機角度.x方向正負錯切變換矩陣為

式中：x1、x2分別為x軸正與負的方向，

y方向正負錯切變換矩陣為

式中：y1、y2分別為y軸正負方向.

3）隨機旋轉與縮放.每一個損傷區(qū)域旋轉角 β在0～2 π ，x和y方向縮放因子為Sx,Sy為0.7～0.9的隨機值，旋轉縮放變換矩陣為

式中：下標r、s分別為旋轉與縮放.

經(jīng)上述3步處理后的損傷就可用于損傷拼貼.

2.2.3 損傷拼貼流程 將變換后的關鍵損傷在新圖中確定位置的過程稱為損傷拼貼，新圖為隨機采樣的正樣本.圖9為實際滾子圖像抽象，展示了損傷拼貼的過程.滾子下側外圓角半徑為r2，圓心為O2，坐標中心與O2重疊，上側外圓角半徑為r1，圓 心 為O1，損傷區(qū)域中心到原圖像中心距離為r0.變換后損傷最小外接矩形為損傷區(qū)域，長寬分別為w、h.拼貼過程如下.

圖9 損傷拼貼對照圖Fig.9 Defect collage comparison chart

1）確定待拼貼損傷區(qū)域中心到新圖中心之間距離r.r過小會導致?lián)p傷區(qū)域超出上側外圓角邊界，r過大會導致?lián)p傷區(qū)域超出背景邊界.r在r0基礎上添加一個滿足均勻分布的隨機擾動 Δr～U[-5,5] ，即r=r0+Δr，U為均勻分布.

2）隨機選擇旋轉角.在0～2 π隨機選取一個角度 γ作為旋轉角，拼貼步驟中 γ為損傷中心與圖像中心連線與x正半軸夾角，有了r以及 γ就可以確定損傷位置.

3）判斷損傷是否超出上側外圓角邊界.損傷矩形區(qū)域離上側外圓角最近的頂點坐標根據(jù)其位置不同而不同，如圖9將全圖劃分為4個象限，記損傷矩形離原點最近頂點坐標為 (x3,y3)，上側外圓角圓心的坐標為 (x4,y4)， 損傷區(qū)域點的集合為V，則兩者不重合的條件為：對任意點d∈V，L(O1,d)≥r1，L(·)為點間距，上述條件排除損傷所在矩形與上側外圓角相切的情況可以近似得：(x3-x4)2+(y3-y4)2≥r12，超出上側外圓角邊界的損傷舍棄.另外如果有損傷超出圖像邊界，則修剪該損傷至邊界以內(nèi)；如果出現(xiàn)拼貼的損傷恰好重疊的情況，則后者覆蓋前者.原始損傷樣本與經(jīng)過損傷篩選、損傷變換與損傷拼貼后得到的新的負樣本如圖10所示，軸承滾子損傷檢測總體流程如圖11所示.

圖10 經(jīng)過損傷變換后生成的負樣本Fig.10 Negative samples generated by defect transformation

圖11 軸承鼓形滾子整體檢測流程圖Fig.11 Flow chart of overall inspection of bearing roller

3 滾子分類網(wǎng)絡與損失函數(shù)

3.1 檢測神經(jīng)網(wǎng)絡調(diào)整

實驗所進行的滾子分類任務數(shù)據(jù)集規(guī)模中等，采用小型網(wǎng)絡無法取得理想的效果，最終所選分類網(wǎng)絡為ResNeXt101_32×8網(wǎng)絡[24].ResNeXt101網(wǎng)絡最基本的結構單元設計受單個神經(jīng)元的啟發(fā)，單個神經(jīng)元輸出值為上一層每個輸入向量乘以各自的權重后相加，ResNeXt101_32×8將所有輸入向量對應為特征圖，乘以權重的操作對應為卷積操作，相乘后的相加操作對應為聚合特征響應.在結構上，ResNeXt101采用多個Building Block塊堆疊，使得每塊形式簡潔，保留殘差結構的同時還具有分離變換聚合的思想，最終輸出為

式中：x、y分別為輸入、輸出的特征圖；c為分組卷積的組數(shù)，在ResNeXt101_32×8中，c=32，每一組卷積核通道數(shù)為8.

將輸入圖像長寬設定為512像素，并將網(wǎng)絡最后的全連接輸出數(shù)量改為2以對高級別語義特征進行分類操作.

3.2 改進的交叉熵損失函數(shù)

分類任務使用的函數(shù)為交叉熵損失函數(shù)，交叉熵損失函數(shù)反映的是訓練所得的數(shù)據(jù)空間與樣本真實空間兩者分布的差異程度表達式為

式中：p為概率向量，q為one-hot向量，n為分類的類別數(shù).

實驗正樣本的數(shù)量約為負樣本數(shù)量的2倍，正負樣本之間存在微小的樣本不均衡問題，F(xiàn)ocal Loss損失函數(shù)可以緩解這個問題[25].Focal Loss最初被用于解決目標檢測中歸屬背景的負樣本遠遠多于包含前景的正樣本而產(chǎn)生的類別不均衡問題.實驗是二分類問題，二分類問題中交叉熵損失函數(shù)為

式中：p1為第一類的概率，q1為真實樣本標簽，-lnp1為 正 樣 本 產(chǎn) 生的 損 失，- ln1-p1為 負 樣本 產(chǎn)生的損失.最初的Focal Loss加入平衡因子 α 控制正負樣本損失并使用權重因子來控制高置信度樣本損失，而本實驗中僅需要對正負樣本產(chǎn)生的損失進行平衡，故將權重因子設為1.0并改變 α，設計新?lián)p失函數(shù)為

調(diào) 整 α即 可 調(diào) 整 正 負 樣 本 的 損 失 比 例，當α在0～1.0時，正樣本的損失得到抑制，負樣本的損失得到放大，因此模型會傾向于將正樣本判為負樣本，將負樣本嚴格判為負樣本，這與模型的設計初衷一致，即希望模型的查準率高，同時可以犧牲一定的查全率以及準確率.

4 實驗結果與評估

4.1 數(shù)據(jù)集與實驗環(huán)境

由于缺乏相關高質(zhì)量公開數(shù)據(jù)集，數(shù)據(jù)集通過自制方式獲得.使用現(xiàn)有的軸承滾子樣本拍攝共獲得側面圖像3174張，其中正樣本（無損傷樣本）2068張，負樣本（帶損傷樣本）1106張.負樣本中包含各種類型的損傷，其中片傷樣本約381張，切傷樣本約295張，劃傷樣本約319張，剩余負樣本類型包含腐蝕、燒傷、凹陷、車削痕、凸點以及靠近端面的磨損.每一處損傷都使用LabelMe軟件進行區(qū)域標注，在實驗時從數(shù)據(jù)集中隨機劃分1000張作為測試集，其余2174張作為訓練集.

為減小網(wǎng)絡訓練難度，首先采用遷移學習將網(wǎng)絡參數(shù)用ImageNet數(shù)據(jù)集預訓練權重進行初始化，然后采用針對性的通道歸一化，即根據(jù)原始軸承滾子側面數(shù)據(jù)集統(tǒng)計得到圖像3個通道的均值與標準差并使用所得均值與標準差對輸入圖像進行標準化操作，使得輸入數(shù)據(jù)分布更有利于網(wǎng)絡的訓練過程.模型在訓練時采用隨機梯度下降算法(stochastic gradient descent，SGD)進行梯度下降，初始學習率設置為0.001，初始動量為0.9，權重衰減系數(shù)設置為0.0005.硬件環(huán)境有：2顆Intel E5-2680V2型CPU、32 GB內(nèi)存和GTX10708 GB GPU.軟件環(huán)境有：Ubuntu18.04系統(tǒng)、Python 3.6.12、Pytorch1.7.0、OpenCV3.4.2和CudaToolKit 10.1.243.

4.2 實驗指標與實驗組別

在鼓形滾子的實際生產(chǎn)過程中，生產(chǎn)廠家出場的合格品應當保證一定的合格率，該合格率要由查準率來保證，一味追求查準率會導致大批的合格零件被淘汰，因此應當保證一定的準確率.本次實驗采用平均準確率，查準率以及查準率與查全率的綜合度量Fδ作為評價指標，平均準確率體現(xiàn)了模型整體的判斷水平，查準率體現(xiàn)了產(chǎn)品檢出合格率，F(xiàn)δ是查準率(Pc)和查全 率(R)的權衡.平 均 準 確 率Pa，查 準 率Pc以 及Fδ的 公 式 為

式中：TP、TN、FP、FN分別為真正例、真反例、假正例、假反例；δ為度量查全率對查準率的相對重要性，本次實驗側重查準率，將 δ設為0.5.

為了比較不同數(shù)據(jù)增強方法的效果，將實驗進行如下分組.首先是原圖，即對拍攝圖像不作任何處理直接進行訓練.在原圖上的改動有2種方法：僅使用目標裁剪(J組)和目標裁剪后旋轉并填充黑色背景(K組)，從中挑出更優(yōu)的一組作為基準.在基準上分別采用常用數(shù)據(jù)增強方法色彩抖動(對比度、亮度)、清晰度變換以及所提損傷篩選變換融合的數(shù)據(jù)增強方法，這些方法單獨作用以判斷每種方法的效果，各組測試集僅作目標裁剪與添加黑色邊界處理.各組訓練集應用數(shù)據(jù)增強后的圖像如圖12所示.

圖12 不同數(shù)據(jù)增強方法處理的結果圖Fig.12 Results of different data augmentation methods

4.3 實驗結果與對比

4.3.1 網(wǎng)絡損失函數(shù)參數(shù)選取 3.2節(jié)中網(wǎng)絡損失函數(shù)參數(shù) α會影響正負樣本損失的平衡程度，通過實驗來獲取合適的 α，實驗結果如表1所示，當α 設為0.5時，模型有較高的查準率以及Fδ.

表1 損失函數(shù)不同α值對模型指標的影響Tab.1 Influence of different alpha values of loss function on model indicators

4.3.2 不同數(shù)據(jù)增強方法單獨作用對比 首先比較J、K組相比較于原圖的效果，各組測試集準確率與查準率如表2所示.J、K這2組相對于原圖準確率都高出10%以上，說明目標裁剪獲取核心檢測區(qū)域的有效性.比較J、K可以看出K組更優(yōu)，這說明了旋轉與外圍添加黑色邊界消除無關像素的有效性，后文將K組作為基準.

表2 原圖與2種裁剪方法在測試集上結果對比Tab.2 Comparison of original image and results of two cropping methods on test set

為定量分析不同數(shù)據(jù)增強方法的效果，在K組的基礎上進行色彩抖動、清晰度和損傷變換方法之間的對比.在進行色彩抖動與清晰度的算法設計時引入2個參數(shù)u和v.u為訓練集使用數(shù)據(jù)增強方法的概率，訓練集中有u比例的樣本會進行該數(shù)據(jù)增強；v為控制數(shù)據(jù)增強參數(shù)調(diào)整范圍，該調(diào)整范圍是數(shù)據(jù)增強變換的程度，具體調(diào)整區(qū)間為 ( max(0,1-v),1+v)，通過隨機在該范圍內(nèi)取值，達到對亮度、對比度以及清晰度強弱變換的控制.在進行損傷變換實驗時，可調(diào)節(jié)的參數(shù)僅為概率u，新生成損傷樣本個數(shù)為訓練集正樣本數(shù)量與u的乘積.實驗以0.1為間隔改變u和v值.本研究選取了幾組色彩抖動與清晰度的實驗結果如表3所示，損傷變換實驗結果如表4所示，通過分析可得出以下結論：

表3 滾子樣本色彩抖動和清晰度實驗Tab.3 Roller sample color jitter and clarity experiment

表4 滾子樣本損傷變換實驗Tab.4 Roller sample defect transformation experiment

1)色彩抖動與清晰度數(shù)據(jù)增強參數(shù)設置對結果影響有如下特點：當色彩抖動實驗中概率u設置為0.5，v設置為0.3時，準確率最高，過大的u值會導致準確率的降低，當清晰度實驗中u設置為0.8，v設置為0.9時，準確率最高.

2)對于損傷變換，當u為0.3時，驗證集準確率最高，繼續(xù)增大u出現(xiàn)過擬合現(xiàn)象，可推測過大的概率值會導致數(shù)據(jù)集樣本分布產(chǎn)生偏離，從而影響測試集的準確率.

3)3種數(shù)據(jù)增強方法相對于基準測試集準確率分別提升至91.9%、93.1 %和92.6%，說明所提數(shù)據(jù)增強效果優(yōu)于色彩抖動，略差于清晰度變換.

4.3.3 不同數(shù)據(jù)增強方法組合效果比較 為達到最佳分類效果，考慮同時使用3種數(shù)據(jù)增強方法.在對比實驗中為了方便表示，將原圖標記為組別1，基準標記為組別2，基準與色彩抖動標記為組別3，基準與清晰度變化標記為組別4，基準與損傷變換標記為組別5，基準結合色彩抖動、清晰度與損傷變換標記為組別6，每組訓練50個批次，6組對應的訓練集測試集平均準確率(Pa)、損失(L)和迭代次數(shù)(N)如圖13所示，各組最終結果如表5所示.

表5 不同數(shù)據(jù)增強方法名性能測試結果Tab.5 Performance test results of different data augmentation methods

圖13 不同數(shù)據(jù)增強方法下的準確率與損失變化Fig.13 Accuracy and loss variation under different data augmentation methods

組1和組2都出現(xiàn)了過擬合現(xiàn)象，訓練集準確率接近1且損失值接近0，而測試集損失發(fā)散，組2測試集準確率高于組1，但無法到達較高水平.通過組別2與組別3、4、5的比較可以看到色彩抖動、清晰度變換、損傷變換數(shù)據(jù)增強方法均能解決過擬合的問題，觀察測試集的準確率可以發(fā)現(xiàn)清晰度數(shù)據(jù)增強相對于其他2種數(shù)據(jù)增強方法準確率波動較大，收斂性略差，觀察表5可以看出損傷變換數(shù)據(jù)增強準確率高于色彩抖動0.7%，而低于清晰度變換0.5%.最后對比組別6與組別3、4、5可以看出，組6在第30個周期附近收斂后測試集準確率達到最高，證明了所提數(shù)據(jù)增強方法對于模型泛化性能的提升.從表5可以看出色彩抖動、清晰度變換在基準基礎上準確率分別提升2.3%和3.5%，加上損傷變換后準確率又提升3.3%和2.1%，同時組別6在保證準確率的同時還能獲得較高的查準率.另外，本研究對模型在線計算耗時進行實驗，因為不同組別測試集處理方式相同且模型大小相同，所以各組計算耗時較為接近，實驗選擇組別6進行.單張圖片在線檢測耗時包含目標裁剪、添加黑色邊界所用的圖像處理時間以及圖片在模型中的推理時間，這2個部分的耗時分別為190.8 ms和26.3 ms.單張圖片平均處理時間為217.1 ms，滿足在線檢測過程的實時性需求.

4.3.4 查準率調(diào)整 在實際生產(chǎn)過程中對滾子產(chǎn)品有極高的要求，即不允許出現(xiàn)次品被誤判成正品，所以查準率是一項非常重要的指標.在網(wǎng)絡的輸出中，可以通過提高歸類為合格品的閾值來提高查準率指標，網(wǎng)絡經(jīng)過softmax函數(shù)得

式中：z為輸出值，zi為第i個節(jié)點的輸出值，K為輸出節(jié)點的個數(shù).設歸類正樣本的閾值為t，由于滾子好壞為二分類，默認閾值為0.5，提高閾值可以提高查準率.采用組別6訓練模型并改變閾值t得到對應的準確率以及查準率如表6所示.隨著閾值的提高，分類的準確率有所降低，但是查準率得到不斷的提升，當閾值達到0.9時，查準率已經(jīng)接近1，該實驗證明提高分類標準可以有效地提升查準率，接近生產(chǎn)標準.

表6 不同樣本閾值對準確率與查準率的影響Tab.6 Influence of different positive sample thresholds on accuracy and precision

5 結論

1)采集了軸承鼓形滾子側面圖像樣本，對樣本進行損傷融合變換數(shù)據(jù)增強并應用于滾子表面損傷檢測，實驗表明該方法能有較高的平均準確率與查準率，并且檢測耗時滿足在線檢測要求.

2)實驗表明采用改進數(shù)據(jù)增強的鼓形滾子表面損傷檢測模型在測試集上的準確率為95.2%，查準率為97.7%，準確率與傳統(tǒng)檢測方法對比提高2%～3%，單張圖片在線檢測平均耗時約為0.22 s.

3)根據(jù)工廠實際生產(chǎn)需求，本研究的實驗結果表明隨著閾值的不斷提升，準確率雖有所下降但是查準率不斷提升，將閾值調(diào)至0.9時，查準率能達到99.8%，這樣更能滿足實際生產(chǎn)需求.

4)進一步研究為損傷融合后樣本的損傷部位與背景之間的色差對檢測準確率的影響，據(jù)此優(yōu)化損傷融合策略實現(xiàn)更優(yōu)的檢測效果，推向產(chǎn)業(yè)化.