改進(jìn)FasterRCNN模型的布氏硬度檢測(cè)方法

周如辰，游昌壕，潘永東

(同濟(jì)大學(xué) 航空航天與力學(xué)學(xué)院，上海 200092)

0 引言

硬度是反映材料力學(xué)性能的基本指標(biāo)[1]。布氏硬度法是通過(guò)加載一定大小的載荷力將硬質(zhì)鋼球壓入待測(cè)物體表面[2]，通過(guò)壓痕直徑換算試件的硬度。因?yàn)樵摲椒ǖ膲汉圯^大，相較于里氏硬度法有更高的準(zhǔn)確性。

布氏硬度檢測(cè)方法數(shù)值穩(wěn)定，但是現(xiàn)有方法[3]絕大多數(shù)都是在20倍顯微鏡通過(guò)人工讀取壓痕直徑，然后人工對(duì)照直徑硬度換算表格來(lái)確定待測(cè)物體硬度值，該方法在工廠(chǎng)生產(chǎn)工況下檢測(cè)效率低下，且有較大檢驗(yàn)誤差。

針對(duì)布氏硬度法檢測(cè)[4]過(guò)程中需要使用光學(xué)儀器人工找點(diǎn)檢測(cè)壓痕直徑效率低的情況，李和平[5]提出根據(jù)壓痕深度計(jì)算出壓痕直徑及布氏硬度，方法并沒(méi)有經(jīng)過(guò)廣泛驗(yàn)證，且設(shè)備長(zhǎng)期使用后精度可能會(huì)丟失。西北工業(yè)大學(xué)[6]提供了一種硬度塊壓痕直徑測(cè)量方法及裝置，通過(guò)圖像處理，最后采用最小二乘法擬合提取壓痕擬合直徑得到布氏硬度。單忠德[7]等根據(jù)機(jī)器視覺(jué)[8]相關(guān)理論提出了基于粒子群動(dòng)態(tài)輪廓模型(Snake模型[9])的壓痕輪廓提取算法，并通過(guò)引入壓痕直徑標(biāo)定系數(shù)，解決了視覺(jué)測(cè)量中的壓痕直徑像素與壓痕物理直徑的換算關(guān)系，并對(duì)直徑標(biāo)定系數(shù)進(jìn)行最小二乘法擬合，提高了測(cè)量精度。但他們的測(cè)量大多數(shù)是在圖像輪廓很清晰的條件下進(jìn)行的，對(duì)于工件表面反光不佳，表面銹蝕導(dǎo)致壓痕輪廓清晰度降低的圖像，該算法會(huì)失效，本文嘗試用該算法檢測(cè)銹蝕金屬表面的布氏壓痕，識(shí)別效果如圖1所示，可見(jiàn)該算法針對(duì)壓痕輪廓清晰的圖片有較好的效果，針對(duì)壓痕輪廓不清晰的情況則效果不佳。

圖1 使用改進(jìn)的snake算法檢測(cè)布氏硬度壓痕的效果圖示例

近年來(lái)，深度學(xué)習(xí)在機(jī)器視覺(jué)[10]領(lǐng)域興起。深度學(xué)習(xí)通過(guò)建立神經(jīng)元網(wǎng)絡(luò)從圖片中提取有用的信息，通過(guò)不斷優(yōu)化損失函數(shù)的方式訓(xùn)練，最后得到特征與目標(biāo)之間映射的深度學(xué)習(xí)模型[11]。FasterRCNN[12]網(wǎng)絡(luò)作為目標(biāo)檢測(cè)[13]方法的一種，在數(shù)據(jù)標(biāo)注過(guò)程中，除了標(biāo)注類(lèi)別之外，還通過(guò)標(biāo)注矩形框標(biāo)注了目標(biāo)物體。在矩形框內(nèi)的屬于目標(biāo)物體的正例部分，在矩形框外的屬于目標(biāo)物體外的負(fù)例部分。因此使用該網(wǎng)絡(luò)進(jìn)行訓(xùn)練，不僅可以識(shí)別目標(biāo)物體，并且可以得到目標(biāo)在圖像中所處的位置和大小。本文目的是完成布氏硬度壓痕圓識(shí)別，計(jì)算布氏硬度壓痕圓直徑兩個(gè)功能，通過(guò)FasterRCNN網(wǎng)絡(luò)可以完成布氏硬度壓痕圓識(shí)別，通過(guò)布氏硬度壓痕圓定位框大小位置計(jì)算布氏硬度壓痕圓直徑兩個(gè)功能，解決布氏硬度法測(cè)量布氏硬度壓痕直徑大小的問(wèn)題。針對(duì)布氏硬度壓痕特點(diǎn)，適當(dāng)對(duì)FasterRCNN網(wǎng)絡(luò)進(jìn)行改進(jìn)可以提高布氏硬度壓痕圓直徑的測(cè)量精度[14]。本文首次提出通過(guò)FasterRCNN網(wǎng)絡(luò)檢測(cè)布氏硬度壓痕，針對(duì)布氏壓痕特點(diǎn)改進(jìn)FasterRCNN網(wǎng)絡(luò)，可以在光滑或銹蝕金屬表面自動(dòng)[15]提取布氏硬度壓痕輪廓并提高布氏硬度壓痕圓直徑的測(cè)量精度，彌補(bǔ)傳統(tǒng)機(jī)器視覺(jué)算法提取壓痕輪廓的不足。

1 數(shù)據(jù)獲取

1.1 數(shù)據(jù)采集

基于FasterRCNN的布氏硬度法采用布氏硬度標(biāo)準(zhǔn)測(cè)試塊[16]，選取5種型號(hào)200HBW10/3000，300HBW10/3000，400HBW10/3000，500HBW10/3000，600HBW10/3000。每種型號(hào)硬度塊選取一塊，對(duì)于每個(gè)硬度塊[17]，本文對(duì)其正面涂油保存，反面不涂油保護(hù)，在潮濕環(huán)境下使得試塊正面呈現(xiàn)銹蝕斑點(diǎn)，另一面保持光滑平整。200HBW10/3000含義是指在14 710 N(15 000 kgf)的試驗(yàn)載荷作用下，將直徑為10 mm的淬硬鋼球壓入試塊，保持10～15 s時(shí)，測(cè)得的布氏硬度值為200。本文采用14 710(15 000 kgf)的試驗(yàn)載荷壓入鋼球[18]，保持時(shí)間10～15 s，對(duì)每種型號(hào)試塊銹蝕面和非銹蝕面各留10個(gè)壓痕。本文采用1 000倍USB電子放大鏡，對(duì)每個(gè)壓痕處于鏡頭中不同位置拍攝10張照片，共計(jì)1 000張照片。同時(shí)采集不存在布氏硬度壓痕的照片200張，提取儲(chǔ)存格式為Jpg，分辨率大小為640*480。

1.2 數(shù)據(jù)標(biāo)注

對(duì)不包含壓痕圓的200張圖片數(shù)據(jù)不進(jìn)行矩形框標(biāo)注，作為數(shù)據(jù)集中的正常類(lèi)圖片，作對(duì)照組。

針對(duì)數(shù)據(jù)集中存在壓痕圓的圖片，本文通過(guò)矩形框標(biāo)注壓痕圓在圖片中的直徑與矩形框位置，運(yùn)用三點(diǎn)求圓法得到矩形框所處的位置與直徑。

數(shù)據(jù)標(biāo)注過(guò)程前，手動(dòng)標(biāo)注出照片中分布于壓痕邊緣的15個(gè)點(diǎn)，從15個(gè)點(diǎn)中任意選取3個(gè)點(diǎn)能得到105組圓的直徑數(shù)據(jù)和中心位置。在每組測(cè)量(第m組)過(guò)程中，選取的3個(gè)點(diǎn)在圖像坐標(biāo)系中的像素坐標(biāo)為(xmi，ymi)，(xmj，ymj)，(xmk，ymk)，第m組測(cè)量測(cè)得圓的半徑rm，中心位置(xm，ym)，那么有：

(1)

式(1)的第一式和第二式相減，第一式和第三式相減可得：

(2)

那么：

(3)

其中：

(4)

可見(jiàn)，通過(guò)第m組測(cè)量得到的像素坐標(biāo)(xmi，ymi)，(xmj，ymj)，(xmk，ymk)可求得第m組圓的半徑rm，中心位置(xm，ym)。本文求取105組圓的半徑rm及中心位置(xm，ym)的平均值作為該張照片壓痕圓的真實(shí)半徑r0(此處的直徑指的是圖片中圓的直徑對(duì)應(yīng)的像素值大小，本文下面出現(xiàn)的直徑指的此含義)及中心位置(x0，y0)，該關(guān)系如式(5)所示：

(5)

在圖片標(biāo)注過(guò)程中，通過(guò)確定頂點(diǎn)坐標(biāo)(x1，y1)，(x2，y2)，(x3，y3)，(x4，y4)來(lái)標(biāo)注矩形框，標(biāo)注過(guò)程如圖2所示。矩形框與圖像中的壓痕圓相切，故頂點(diǎn)坐標(biāo)可依據(jù)壓痕圓的半徑r0，中心位置(x0，y0)給出，該關(guān)系如式(6)所示：

圖2 圖像數(shù)據(jù)的標(biāo)注過(guò)程

(6)

數(shù)據(jù)集實(shí)際采集1 200張圖片，其中200張圖片不含壓痕圓，沒(méi)有檢測(cè)框，作為數(shù)據(jù)集的負(fù)例部分。在1 000張存在布氏硬度壓痕的照片中，布氏硬度壓痕的位置，大小和背景都存在差異，可適用于本實(shí)驗(yàn)的訓(xùn)練目標(biāo)。本文提出的基于布氏硬度檢測(cè)的FasterRCNN模型為單類(lèi)別目標(biāo)檢測(cè)，數(shù)據(jù)量少會(huì)導(dǎo)致泛化能力差，模型過(guò)擬合等問(wèn)題，因此需要進(jìn)行數(shù)據(jù)增強(qiáng)。數(shù)據(jù)增強(qiáng)主要是對(duì)采集到的圖片采取左右翻折，上下翻折處理，同時(shí)針對(duì)實(shí)際工況中的不同光照條件，對(duì)模型進(jìn)行隨機(jī)調(diào)整亮度對(duì)比度處理，數(shù)據(jù)增強(qiáng)示例如圖3所示，經(jīng)過(guò)數(shù)據(jù)增強(qiáng)后的數(shù)據(jù)集總共包含4 800張圖片。由于數(shù)據(jù)集是按批次送入神經(jīng)網(wǎng)絡(luò)中訓(xùn)練，數(shù)據(jù)量的增長(zhǎng)并不會(huì)增加模型的訓(xùn)練運(yùn)算量，顯存占用量。數(shù)據(jù)增強(qiáng)的優(yōu)點(diǎn)是解決模型過(guò)擬合[19]，泛化能力差的缺點(diǎn)，使得模型的魯棒性增強(qiáng)，同時(shí)提高模型在不同亮度條件下的檢測(cè)能力。

圖3 訓(xùn)練數(shù)據(jù)集數(shù)據(jù)增強(qiáng)的3種擴(kuò)充方法

經(jīng)過(guò)增強(qiáng)的數(shù)據(jù)集包含4 800張照片。本文對(duì)照片標(biāo)注類(lèi)別為壓痕，并標(biāo)注矩形邊框，同時(shí)以 PASCAL VOC 的格式保存數(shù)據(jù)集[20]。

2 改進(jìn)FasterRCNN模型

2.1 FasterRCNN神經(jīng)網(wǎng)絡(luò)模型

FasterRCNN是一種端到端目標(biāo)檢測(cè)算法，通過(guò)卷積運(yùn)算提取特征，對(duì)候選框大小及目標(biāo)類(lèi)型進(jìn)行回歸達(dá)到實(shí)時(shí)檢測(cè)要求。FasterRCNN主要由卷積層，RPN網(wǎng)絡(luò)，RoiPooling層和分類(lèi)層4個(gè)部分組成，如圖4所示。

圖4 原始的FasterRCNN模型

1)圖像特征選取網(wǎng)絡(luò)：FasterRCNN基于卷積神經(jīng)網(wǎng)絡(luò)[21](VGG16[22]，ResNet50[23])提取圖片中的特征矩陣，該特征矩陣將被作為后續(xù)RPN層和全連接層[24]的輸入。

2)RPN網(wǎng)絡(luò)(圖像特征選取網(wǎng)絡(luò))：RPN網(wǎng)絡(luò)(Region Proposal Networks)的作用是生成目標(biāo)檢測(cè)候選區(qū)域。該層通過(guò)softmax層判斷錨框?qū)儆谇熬盎虮尘安?biāo)記，再利用邊框回歸調(diào)整候選錨框的大小，讓目標(biāo)檢測(cè)候選區(qū)域更準(zhǔn)確，更貼近真實(shí)的正例檢測(cè)區(qū)域。

3)Roi Pooling層(感興趣區(qū)域池化層)：Roi Pooling層將RPN網(wǎng)絡(luò)輸出的特征和RPN網(wǎng)絡(luò)輸出的目標(biāo)檢測(cè)候選區(qū)域作為輸入，提取其中的綜合信息得到感興趣區(qū)域，將感興趣區(qū)域池化為固定尺寸的特征圖。

4)Classification層(分類(lèi)層)：Classification層利用Roi Pooling層輸出的特征矩陣進(jìn)行兩個(gè)工作：1)判斷候選區(qū)域的類(lèi)別；2)再次進(jìn)行邊框回歸得到檢測(cè)框的準(zhǔn)確位置，讓目標(biāo)檢測(cè)候選區(qū)域更準(zhǔn)確，更貼近真實(shí)的正例檢測(cè)區(qū)域。

2.2 改進(jìn)邊框回歸

在圖像坐標(biāo)系中，一個(gè)矩形邊框可以用其中心位置坐標(biāo)(a，b)及矩形邊框的寬w與高h(yuǎn)表示。故本文采用矩形邊框的中心位置坐標(biāo)及邊框的寬與高(a，b，w，h)來(lái)定義矩形邊框。

基于FasterRCNN的布氏硬度檢測(cè)方法通過(guò)FasterRCNN模型實(shí)現(xiàn)布氏壓痕圓邊緣的提取，目標(biāo)檢測(cè)框內(nèi)為圖片正例部分，即模型認(rèn)為存在布氏硬度壓痕的區(qū)域，目標(biāo)檢測(cè)框外為圖片負(fù)例部分，即模型認(rèn)為不存在布氏硬度壓痕的區(qū)域。目標(biāo)檢測(cè)框?yàn)樽畲蟾采w存在布氏硬度壓痕的矩形區(qū)域，布氏硬度壓痕的形狀為圓形，因此布氏壓痕圓會(huì)相切于目標(biāo)檢測(cè)框。進(jìn)一步，本文通過(guò)獲取FasterRCNN模型輸出的檢測(cè)邊框的寬woutput與高h(yuǎn)output來(lái)計(jì)算壓痕圓[25]的直徑d，該關(guān)系如式(7)所示：

(7)

在FasterRCNN網(wǎng)絡(luò)中，RPN網(wǎng)絡(luò)會(huì)先經(jīng)過(guò)3×3的卷積運(yùn)算，然后網(wǎng)絡(luò)分為兩條支路。第一條路線(xiàn)用來(lái)判斷候選框是前景還是背景，它先把輸入的候選框特征矩陣映射到一維向量，然后采用softmax函數(shù)來(lái)判斷候選框是前景還是背景，然后把它恢復(fù)為二維特征矩陣。第二條路線(xiàn)路用來(lái)確定候選框的位置，通過(guò)邊框回歸(bounding box regression)實(shí)現(xiàn)。經(jīng)過(guò)兩路計(jì)算結(jié)束后，挑選出前景候選框，并利用計(jì)算得到候選框準(zhǔn)確位置，生成特征子圖。同時(shí)在最后的classification層(分類(lèi)層)會(huì)再次利用到邊框回歸(bounding box regression)用于回歸更加精確的目標(biāo)檢測(cè)框。

在RPN網(wǎng)絡(luò)中，RPN對(duì)于錨框的設(shè)置為默認(rèn)的9種(默認(rèn)為3種尺度{322，642，1282}，3種寬高比{1∶2，1∶1，2∶1})。如圖5(a)所示，已知黑色為當(dāng)前的選區(qū)，即錨框(在RPN網(wǎng)絡(luò)中設(shè)置)，白色代表真實(shí)的選區(qū)，當(dāng)前的選區(qū)可以大概率選擇出目標(biāo)物，但是離真實(shí)選區(qū)中的真實(shí)位置和形狀仍然還有較大誤差。

在classification層中，Classification層利用Roi Pooling層輸出的特征矩陣的信息，得到候選區(qū)域的位置。如圖5(b)所示，黑色為候選區(qū)域的位置，白色代表真實(shí)的窗口，經(jīng)過(guò)RPN網(wǎng)絡(luò)和Roi Pooling層輸出的候選區(qū)域已經(jīng)可以覆蓋大部分目標(biāo)正例區(qū)域，但是離真實(shí)檢測(cè)框的位置和形狀仍然還有調(diào)整空間。

圖5 圖像的真實(shí)選區(qū)和當(dāng)前選區(qū)

(8)

在具體的邊框回歸過(guò)程中，主要進(jìn)行如下變換:

1)先對(duì)候選區(qū)域A的中心位置進(jìn)行平移變換(Δx，Δy)，該關(guān)系如式(9)所示:

Δx=wodx(ao，bo，wo，ho)

Δy=hody(ao，bo，wo，ho)

(9)

其中:dx，dy為FasterRCNN模型在平移變換時(shí)的映射，映射關(guān)系需要通過(guò)模型訓(xùn)練學(xué)習(xí)。

經(jīng)過(guò)平移變換后的回歸窗口G′的中心位置與候選區(qū)域A的中心位置之間的關(guān)系如式(10)所示：

(10)

2)再對(duì)檢測(cè)框進(jìn)行尺度縮放(Aw，Ah)，該關(guān)系如式(11)所示：

Aw=exp(dw(ao，bo，wo，ho))

Ah=exp(dh(ao，bo，wo，ho))

(11)

其中:dw，dh為FasterRCNN模型在尺度縮放時(shí)的映射，映射關(guān)系需要通過(guò)模型訓(xùn)練學(xué)習(xí)。

經(jīng)過(guò)尺度縮放后的回歸窗口G′的寬和高與候選區(qū)域A的中心位置之間的關(guān)系如式(12)所示：

(12)

真實(shí)窗口G與候選區(qū)域A之間的真實(shí)平移變換值(tx，ty)和真實(shí)尺度變換值(tw，th)如該關(guān)系如式(13)所示：

(13)

將真實(shí)平移變換值(tx，ty)和真實(shí)尺度變換值(tw，th)定義為真實(shí)值t*=(tx，ty，tw，th)

相應(yīng)的，本文將預(yù)測(cè)平移變換值(dx，dy)和預(yù)測(cè)尺度變換值(dw，dh)定義為預(yù)測(cè)值d*=(dx，dy，dw，dh)，目標(biāo)函數(shù)如式(14)所示：

d*=w*TP

(14)

其中:p=(ao，bo，wo，ho)作為輸入特征向量，w*為要學(xué)習(xí)的參數(shù)(*x，y，w，h，每個(gè)變換對(duì)應(yīng)一個(gè)目標(biāo)函數(shù))。

如圖6所示，當(dāng)候選區(qū)域A與真實(shí)窗口G之間位置相差較小，可認(rèn)為是一種線(xiàn)性變化，故對(duì)其采用線(xiàn)性回歸模型建模。在傳統(tǒng)的FasterRCNN中采用smooth L1 loss作為邊框回歸(bounding box regression)的損失函數(shù)，smooth L1函數(shù)公式為：

圖6 改進(jìn)后的FasterRCNN模型

(15)

在classification層中的邊框回歸的目的是使得預(yù)測(cè)值d*與真實(shí)值t*(*代表x，y，w，h，每個(gè)變換代表一個(gè)真實(shí)值)之間差距最小，因此損失函數(shù)Loss定義為：

(16)

函數(shù)優(yōu)化目標(biāo)M*定義為：

(17)

(18)

(19)

通過(guò)改進(jìn)邊框回歸(bounding box regression)的損失函數(shù)，能夠使得改進(jìn)的FasterRCNN模型在檢測(cè)布氏硬度壓痕時(shí)，預(yù)測(cè)的檢測(cè)框的寬與高之間差距最小?；诟倪M(jìn)FasteRCNN的布氏硬度檢測(cè)能夠在保留FasterRCNN的classification層中的邊框回歸預(yù)測(cè)值d*與真實(shí)值t*之間差距最小的同時(shí)，使得預(yù)測(cè)的檢測(cè)框形狀最貼近正方形，更符合布氏硬度壓痕圓的特點(diǎn)，使得模型在布氏硬度的檢測(cè)中，表現(xiàn)出更優(yōu)的檢測(cè)精度和更好的檢測(cè)效果，改進(jìn)后的FasterRCNN模型網(wǎng)絡(luò)如圖6所示。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)環(huán)境

本實(shí)驗(yàn)的硬件采用Intel Core i7-8750H CPU @ 2.20GHz八核處理器，LITEON CV8-8E128-11 SATA 128GB固態(tài)硬盤(pán)，NVIDIA GeForce GTX 1060 with Max-Q Design顯卡，操作系統(tǒng)環(huán)境采用Ubuntu16.04，采用Tensorflow-gpu深度學(xué)習(xí)框架，Pycharm編譯環(huán)境。

3.2 實(shí)驗(yàn)參數(shù)

本實(shí)驗(yàn)將數(shù)據(jù)集按訓(xùn)練集，驗(yàn)證集，測(cè)試集按7∶1∶2的比例進(jìn)行劃分。在實(shí)驗(yàn)中，傳統(tǒng)FasterRCNN模型采用的模型主干網(wǎng)絡(luò)采用ResNet50，使用的最終模型為ResNet50+RPN網(wǎng)絡(luò)+ROI Pooling+Classification層。改進(jìn)的FasterRCNN模型采用的模型主干網(wǎng)絡(luò)采用ResNet50，使用的最終模型為ResNet50+RPN網(wǎng)絡(luò)+ROI Pooling+改進(jìn)的Classification層。超參數(shù)的設(shè)置在實(shí)驗(yàn)中經(jīng)過(guò)不斷優(yōu)化調(diào)整最終設(shè)置為：訓(xùn)練步數(shù)20 000步，RPN網(wǎng)絡(luò)采取反向傳播和隨機(jī)梯度下降進(jìn)行端到端訓(xùn)練，優(yōu)化器動(dòng)量為0.9，權(quán)重衰減為0.000 5，學(xué)習(xí)率learning rate設(shè)置為0.000 1，當(dāng)訓(xùn)練步數(shù)超過(guò)10 000步時(shí)，學(xué)習(xí)率采用固定步長(zhǎng)衰減，權(quán)值衰減gamma為0.1，步長(zhǎng)為step size100。

3.3 實(shí)驗(yàn)評(píng)價(jià)指標(biāo)

為了驗(yàn)證改進(jìn)的FasterRCNN模型的有效性以及基于FasterRCNN模型的布氏硬度檢測(cè)方法的檢測(cè)能力，本文評(píng)價(jià)模型的指標(biāo)主要分為兩部分：第一部分是去衡量模型正確檢測(cè)壓痕圓的能力，第二部分是去衡量模型推導(dǎo)得出壓痕圓直徑的檢測(cè)精度。

第一部分通過(guò)計(jì)算模型準(zhǔn)確率Accuracy進(jìn)行評(píng)價(jià)，評(píng)價(jià)指標(biāo)如下：

總樣本數(shù)為S，圖片含有布氏壓痕且模型預(yù)測(cè)為布氏壓痕及圖片不含有布氏壓痕且模型預(yù)測(cè)不含有布氏壓痕的樣本總數(shù)為P，即模型預(yù)測(cè)正確的樣本總數(shù)，得到準(zhǔn)確率Accuracy公式如如式(20)所示：

(20)

根據(jù)式(20)可知，當(dāng)模型準(zhǔn)確率Accuracy指標(biāo)越大時(shí)，表明模型識(shí)別壓痕圓的能力越高。

第二部分通過(guò)計(jì)算模型歸一化均方誤差nMSE進(jìn)行評(píng)價(jià)，評(píng)價(jià)指標(biāo)如下：

評(píng)價(jià)該指標(biāo)時(shí)，在檢測(cè)正確且檢出布氏硬度壓痕的圖片中，通過(guò)將式(5)計(jì)算得出的壓痕真實(shí)直徑r0與式(7)計(jì)算得出的通過(guò)模型輸出的壓痕直徑di進(jìn)行比較，得到歸一化均方誤差nMSE公式如式(21)所示:

(21)

根據(jù)式(21)可知，當(dāng)歸一化均方誤差nMSE指標(biāo)越小時(shí)，表明模型檢測(cè)壓痕直徑的準(zhǔn)確度越高。

3.4 實(shí)驗(yàn)結(jié)果對(duì)比

實(shí)驗(yàn)中使用本文1.2節(jié)中的數(shù)據(jù)集，為了滿(mǎn)足布氏硬度常見(jiàn)工況下的檢測(cè)，提高數(shù)據(jù)樣本的多樣性，提取了分別在銹蝕表面以及非銹蝕表面情況下含有布氏硬度壓痕的圖片(如圖7(a)，(b)所示)，銹蝕表面圖片的布氏硬度壓痕邊緣較為模糊，而非銹蝕表面圖片的布氏硬度壓痕邊緣較為清晰。同時(shí)添加一定負(fù)例，負(fù)例中不存在布氏硬度壓痕，包含銹蝕表面以及非銹蝕表面情況下的試塊表面圖片(如圖7(c)，7(d)所示)，進(jìn)行數(shù)據(jù)增強(qiáng)進(jìn)一步豐富樣本供模型學(xué)習(xí)。數(shù)據(jù)集共4 800張圖片，訓(xùn)練集，驗(yàn)證集，測(cè)試集的數(shù)量分別為3 260張，480張，960張。

圖7 數(shù)據(jù)集部分展示

本實(shí)驗(yàn)采用模型準(zhǔn)確率Accuracy，模型歸一化均方誤差nMSE兩個(gè)指標(biāo)對(duì)數(shù)據(jù)集中劃分出的測(cè)試集部分進(jìn)行指標(biāo)評(píng)估，對(duì)比基于改進(jìn)的FasterRCNN與傳統(tǒng)的FasterRCNN模型在本文自建的壓痕圓數(shù)據(jù)集中的識(shí)別效果，具體結(jié)果見(jiàn)表1所示。

表1 FasterRCNN模型與改進(jìn)的FasterRCNN模型檢測(cè)指標(biāo)對(duì)比

從表1中可看出，改進(jìn)的FasterRCNN模型的準(zhǔn)確率Accuracy為97.08%，比傳統(tǒng)的FasterRCNN模型的準(zhǔn)確率Accuracy提升 0.73%。綜上所述，改進(jìn)的FasterRCNN模型對(duì)于檢測(cè)圖像區(qū)域內(nèi)是否存在壓痕圓有一定的優(yōu)化效果。

此外，改進(jìn)的FasterRCNN模型的歸一化均方誤差nMSE為0.001 226，相較于傳統(tǒng)的FasterRCNN模型的歸一化均方誤差nMSE降低40.31%。該指標(biāo)表明了FasterRCNN模型經(jīng)過(guò)改進(jìn)后，使得布氏硬度檢測(cè)精度得到提升，魯棒性得以增強(qiáng)。

通過(guò)準(zhǔn)確率Accuracy，歸一化均方誤差nMSE兩個(gè)指標(biāo)計(jì)算比較，可以驗(yàn)證改進(jìn)方案的有效性。同時(shí)，各項(xiàng)指標(biāo)都有所提升，表明改進(jìn)后的FasterRCNN模型對(duì)檢測(cè)布氏硬度壓痕具有更好的檢測(cè)效果，更高的檢測(cè)精度。

本文展示部分布氏硬度壓痕的檢測(cè)效果，其中原始的布氏硬度壓痕圖像如圖8所示，圖8(a)為表面未銹蝕，表面情況差，壓痕邊緣模糊的圖片，圖8(b)為表面銹蝕，表面情況好，反光效果好，壓痕邊緣清晰的圖片?；贔asterRCNN模型和改進(jìn)的FasterRCNN模型的布氏硬度檢測(cè)效果對(duì)比分別如圖9(a)、(b)所示。

圖8 原始布氏硬度壓痕圖

圖9 FasterRCNN模型與改進(jìn)FasterRCNN模型的壓痕檢測(cè)效果對(duì)比圖

根據(jù)圖9可知，F(xiàn)asterRCNN網(wǎng)絡(luò)對(duì)于檢測(cè)銹蝕表面以及非銹蝕表面的布氏硬度壓痕都具有很好的檢測(cè)效果，表明基于FasterRCNN網(wǎng)絡(luò)模型的布氏硬度壓痕檢測(cè)方法適用于銹蝕和光滑金屬表面工況。同時(shí)改進(jìn)的FasterRCNN網(wǎng)絡(luò)相較于傳統(tǒng)的FasterRCNN網(wǎng)絡(luò)，布氏硬度壓痕定位框更為準(zhǔn)確，推導(dǎo)得出的布氏硬度壓痕直徑更精準(zhǔn)。

4 結(jié)束語(yǔ)

本文提出基于改進(jìn)FasterRCNN模型的布氏硬度檢測(cè)方法，建立壓痕圓數(shù)據(jù)集進(jìn)行模型訓(xùn)練。通過(guò)檢測(cè)效果證明，該檢測(cè)方法適用于銹蝕和光滑金屬表面工況，可以自動(dòng)檢測(cè)布氏硬度壓痕。

同時(shí)，本文針對(duì)傳統(tǒng)的FasterRCNN模型的特點(diǎn)與不足，結(jié)合布氏硬度檢測(cè)的需求和特點(diǎn)，對(duì)傳統(tǒng)的FasterRCNN模型進(jìn)行如下改進(jìn)：

1)結(jié)合布氏硬度檢測(cè)的特點(diǎn)，在classification網(wǎng)絡(luò)中邊框回歸損失函數(shù)中加入預(yù)測(cè)檢測(cè)框的長(zhǎng)與寬的方差，在改進(jìn)的函數(shù)優(yōu)化目標(biāo)中加入預(yù)測(cè)檢測(cè)框?qū)捙c高之間差距最小，使得基于改進(jìn)的FasterRCNN模型布氏硬度檢測(cè)能夠提供更加準(zhǔn)確的目標(biāo)預(yù)測(cè)檢測(cè)框，取得更精準(zhǔn)檢測(cè)效果。

2)對(duì)自建的數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)，在不易提取大量圖片時(shí)，有效擴(kuò)充數(shù)據(jù)集數(shù)量，使模型學(xué)到更多有效特征，解決模型過(guò)擬合，泛化能力差的缺點(diǎn)，使得模型的魯棒性增強(qiáng)，同時(shí)提高模型在不同亮度下的判斷能力。

通過(guò)對(duì)比改進(jìn)的FasterRCNN模型與傳統(tǒng)FasterRCNN模型的準(zhǔn)確率Accuracy，歸一化均方誤差nMSE，發(fā)現(xiàn)改進(jìn)后的各項(xiàng)指標(biāo)均較改進(jìn)前的指標(biāo)有提升。其中，準(zhǔn)確率Accuracy從96.35%提升到97.08%，歸一化均方誤差nMSE從0.002 054降低到0.001 226。證明了改進(jìn)的FasterRCNN模型對(duì)于檢測(cè)布氏硬度壓痕圓具有更好的檢測(cè)效果，更高的檢測(cè)精度，為布氏硬度檢測(cè)提供了一種結(jié)合深度學(xué)習(xí)的、有效的測(cè)量解決方案。