基于改進(jìn)YOLOv4的掃描電鏡磨粒圖像智能識(shí)別

王雨薇,陳 果,何 超,郝騰飛,馬佳麗

(1. 南京航空航天大學(xué) 民航學(xué)院,江蘇 南京 210016;2. 南京航空航天大學(xué) 通用航空與飛行學(xué)院,江蘇 常州 213300;3. 南京工程學(xué)院 汽車(chē)與軌道交通學(xué)院，江蘇 南京 211167)

航空發(fā)動(dòng)機(jī)各部件在運(yùn)行過(guò)程中通過(guò)相互作用產(chǎn)生摩擦，嚴(yán)重時(shí)會(huì)造成磨損. 磨損產(chǎn)生的顆粒往往攜帶關(guān)于磨損程度與磨損機(jī)理的有用信息. 因此，磨損顆粒分析是航空發(fā)動(dòng)機(jī)磨損狀態(tài)監(jiān)測(cè)和失效診斷中1種十分有效的手段.

早期磨粒分析技術(shù)[1-3]基于分割后的磨粒圖像提取特征，依據(jù)傳統(tǒng)模式識(shí)別方法確定磨粒類(lèi)型，不僅耗時(shí)且處理過(guò)程復(fù)雜，分析結(jié)果帶有一定的主觀偏差.近年來(lái)，隨著深度學(xué)習(xí)的興起，圖像識(shí)別領(lǐng)域獲得迅猛發(fā)展. 將深度學(xué)習(xí)技術(shù)引入磨粒圖像識(shí)別，使得磨粒特征自動(dòng)提取變得可能. Wang等[4]提出融合按誤差反向傳播訓(xùn)練的多層前饋神經(jīng)網(wǎng)絡(luò)(Back propagation,BP)與卷積神經(jīng)網(wǎng)絡(luò)的兩級(jí)分類(lèi)模型，對(duì)鐵譜分析得到的疲勞磨粒與嚴(yán)重滑動(dòng)磨粒的表面細(xì)節(jié)進(jìn)行像素級(jí)分析，大幅提高了這兩類(lèi)磨粒的識(shí)別精度. Peng等[5]利用遷移學(xué)習(xí)與支持向量機(jī)提出1種混合卷積神經(jīng)網(wǎng)絡(luò)，識(shí)別性能良好，為鐵譜磨粒圖像分析提供了新技術(shù)手段. Fan等[6]針對(duì)樣本相似性設(shè)計(jì)出虛擬鐵譜磨粒圖像，結(jié)合遷移學(xué)習(xí)與卷積神經(jīng)網(wǎng)絡(luò)提出1種磨粒圖像智能識(shí)別方法，有效解決訓(xùn)練集小樣本量問(wèn)題.Zhang等[7]提出1個(gè)基于類(lèi)中心向量和距離對(duì)比的新模型，該模型不僅能夠識(shí)別訓(xùn)練集中出現(xiàn)過(guò)的磨粒類(lèi)別，也能夠識(shí)別訓(xùn)練集中未出現(xiàn)過(guò)的磨粒新類(lèi)別而無(wú)需重構(gòu)和再訓(xùn)練，真正實(shí)現(xiàn)模型泛化. Fan等[8]通過(guò)融合傳統(tǒng)人工特征提取法和卷積神經(jīng)網(wǎng)絡(luò)自動(dòng)特征提取法提取到的特征構(gòu)建分類(lèi)器，提出1個(gè)名為FFWR-Net的新型磨粒識(shí)別網(wǎng)絡(luò)，使得所提取到的特征更具代表性和全面性，提高了分類(lèi)精度. 趙春華等[9]考慮到設(shè)備實(shí)際有效故障數(shù)據(jù)缺乏和數(shù)據(jù)標(biāo)記丟失的特點(diǎn)，優(yōu)化損失函數(shù)，基于遷移學(xué)習(xí)提出1種新的卷積神經(jīng)網(wǎng)絡(luò)集成模型，選用支持向量機(jī)作為分類(lèi)器，試驗(yàn)結(jié)果表明，該模型特征表達(dá)能力強(qiáng)，識(shí)別效果好.

上述研究從不同角度為設(shè)備磨損狀態(tài)檢測(cè)提供了新技術(shù)，大大推動(dòng)了磨粒智能識(shí)別的發(fā)展，但是其中大多數(shù)模型不具備目標(biāo)檢測(cè)能力，本質(zhì)上只是1種“圖像分類(lèi)器”[10]. 因此，本文中針對(duì)航空發(fā)動(dòng)機(jī)掃描電鏡磨粒圖像提出1種基于改進(jìn)YOLOv4的目標(biāo)檢測(cè)算法，以期從具有復(fù)雜背景的磨粒圖像中自動(dòng)提取目標(biāo)顆粒并加以識(shí)別，克服了傳統(tǒng)識(shí)別方法在面對(duì)多磨粒圖像時(shí)需要事先進(jìn)行圖像分割所造成的識(shí)別誤差，新算法采用VoVNetv2[11]替換YOLOv4中原主干特征提取網(wǎng)絡(luò)CSPDarknet53，并引入BiFPN[12]加權(quán)雙向特征金字塔結(jié)構(gòu)與新主干特征提取網(wǎng)絡(luò)相連，以增進(jìn)多層次特征融合，豐富各級(jí)特征圖的語(yǔ)義信息，同時(shí)調(diào)整模型中所有3×3普通卷積為深度可分離卷積，大幅降低網(wǎng)絡(luò)的參數(shù)數(shù)量和運(yùn)算成本.

現(xiàn)有的磨損顆粒圖像分析技術(shù)中，鐵譜技術(shù)常用于磨損顆粒的定性和定量分析，但是鐵譜樣本制備過(guò)程復(fù)雜耗時(shí)，磨粒圖像質(zhì)量較難控制，相比之下，掃描電鏡磨粒圖像則更為清晰，允許微米級(jí)視野范圍內(nèi)的有效觀察，并能夠產(chǎn)生三維立體圖像用于分析微觀形貌特征. 掃描電鏡磨粒圖像是掃描電子顯微鏡(Scanning electron microscope，SEM)利用高能聚焦電子束在油樣表面逐點(diǎn)掃描成像得到，掃描電鏡磨粒分析法是通過(guò)電子與物質(zhì)相互作用產(chǎn)生的信號(hào)對(duì)油樣中磨粒成分、形貌及結(jié)構(gòu)等進(jìn)行觀察與分析. 掃描電鏡主要由電子光學(xué)系統(tǒng)、信號(hào)探測(cè)系統(tǒng)和真空系統(tǒng)3部分組成，常與進(jìn)行材料微區(qū)成分元素種類(lèi)與含量分析的能譜儀組成密不可分的整體[13]，應(yīng)用到前沿科學(xué)研究.目前，掃描電鏡已廣泛應(yīng)用于航空發(fā)動(dòng)機(jī)磨粒分析領(lǐng)域，通過(guò)磨粒識(shí)別結(jié)果反推磨粒產(chǎn)生原因與進(jìn)行磨損機(jī)理表征，獲知設(shè)備處于正?；虍惓Ｄp狀態(tài)，成為了1種重要檢測(cè)手段[14]. 本文中以提升掃描電鏡磨粒圖像自動(dòng)化以及智能化分析水平為研究目的，進(jìn)一步拓展了掃描電鏡技術(shù)的應(yīng)用領(lǐng)域，提升其故障診斷的精度和效率.

最后本文中應(yīng)用實(shí)際航空發(fā)動(dòng)機(jī)掃描電鏡磨粒圖像進(jìn)行驗(yàn)證，證明新算法可以在高效率與高精度之間達(dá)到平衡.

1 掃描電鏡圖像磨粒智能識(shí)別新方法

1.1 基于深度學(xué)習(xí)的圖像目標(biāo)檢測(cè)

新興深度學(xué)習(xí)方法已開(kāi)始應(yīng)用于圖像目標(biāo)檢測(cè)，其發(fā)展可分為以R-CNN (Regions with CNN features)家族為代表的兩階段(Two-Stage)目標(biāo)檢測(cè)算法[15-18]和以YOLO (You only look once)及其衍生算法為代表的單階段(One-Stage)目標(biāo)檢測(cè)算法[19-22]. Two-Stage目標(biāo)檢測(cè)算法第1階段主要是尋找目標(biāo)位置并得到候選區(qū)域，第2階段才聚焦于分類(lèi)候選區(qū)域并得到1個(gè)更加準(zhǔn)確的目標(biāo)位置，“兩步走”戰(zhàn)略雖然檢測(cè)精度高，但也導(dǎo)致算法模型大，占用資源多，檢測(cè)速度慢，不滿足實(shí)時(shí)要求. One-Stage目標(biāo)檢測(cè)算法中YOLO僅通過(guò)1個(gè)主干網(wǎng)絡(luò)中便實(shí)現(xiàn)候選框定位、特征提取和目標(biāo)分類(lèi)等功能，極大地降低模型大小，加快檢測(cè)速度. 隨后的衍生算法不斷改進(jìn)，進(jìn)一步提高檢測(cè)速度與精度. 其中，YOLOv4具有更優(yōu)的檢測(cè)性能和更快的檢測(cè)速度，基本能夠滿足終端設(shè)備性能和速度要求，更適合應(yīng)用到終端中.

根據(jù)掃描電鏡圖像中磨粒的形狀、尺寸和紋理等特征可以確定磨粒類(lèi)型，不同的磨粒類(lèi)型可以代表設(shè)備不同的磨損機(jī)理，因此，本文中采用One-Stage目標(biāo)檢測(cè)方法進(jìn)行掃描電鏡磨粒圖像目標(biāo)提取和識(shí)別，對(duì)YOLOv4網(wǎng)絡(luò)進(jìn)行改進(jìn)，深度強(qiáng)化其特征提取能力，使得模型在訓(xùn)練過(guò)程中不斷自主學(xué)習(xí)磨粒尺寸和形貌等特征參數(shù)，在滿足足夠精度前提下，實(shí)現(xiàn)磨粒圖像的快速智能識(shí)別.

1.2 圖像目標(biāo)檢測(cè)的改進(jìn)YOLOv4網(wǎng)絡(luò)

用于圖像目標(biāo)檢測(cè)的改進(jìn)YOLOv4網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，包含3個(gè)部分，第1部分為替換掉CSPDarknet53的新主干特征提取網(wǎng)絡(luò)VoVNetv2-39，對(duì)輸入尺寸是416×416×3的掃描電鏡磨粒圖像進(jìn)行初步特征提取，通過(guò)卷積、合并和相加等操作獲得3個(gè)初步的有效特征層；第2部分為加強(qiáng)特征提取網(wǎng)絡(luò)SPP和BiFPN，第1個(gè)特征層在經(jīng)過(guò)OSA module Stage3與1次卷積塊后傳入BiFPN，第2 個(gè)特征層在經(jīng)過(guò)OSA module Stage4與1次卷積塊后傳入BiFPN，第3個(gè)特征層在經(jīng)過(guò)OSA module Stage5與3次卷積塊后，傳入空間池化金字塔(Spatial pyramid pooling，SPP)[23]，SPP利用13×13、9×9、5×5和1×1等4個(gè)不同尺度的池化核進(jìn)行最大池化處理再合并，合并后的結(jié)果傳入BiFPN，BiFPN不僅能夠完成自上而下的特征提取，還能夠?qū)崿F(xiàn)自下而上、不同分辨率特征的加權(quán)融合，同時(shí)增加了同層級(jí)輸入、輸出之間的橫向連接，豐富了特征圖的語(yǔ)義信息，該部分實(shí)現(xiàn)對(duì)3個(gè)初步有效特征層的特征融合，提取更有效特征；第3部分為預(yù)測(cè)網(wǎng)絡(luò)YOLO Head，將特征圖劃分為3種不同數(shù)量的網(wǎng)格，分別為52×52、26×26和13×13，每個(gè)網(wǎng)格上生成不同尺寸的先驗(yàn)框，通過(guò)先驗(yàn)框預(yù)測(cè)掃描電鏡圖像中磨粒的類(lèi)別、置信度與坐標(biāo)，輸出預(yù)測(cè)結(jié)果. 其中，網(wǎng)絡(luò)中所有的3×3普通卷積均調(diào)整為深度可分離卷積，用于打造輕量級(jí)網(wǎng)絡(luò).

Fig. 1 Improved YOLOv4 network structure圖 1 改進(jìn)YOLOv4網(wǎng)絡(luò)結(jié)構(gòu)

Fig. 2 Dense block structure圖 2 Dense模塊結(jié)構(gòu)

1.2.1 基于VoVNet的主干特征提取網(wǎng)絡(luò)

(1) OSA模塊

密集卷積網(wǎng)絡(luò)(Dense convolutional network,DenseNet)[24]保存并積累具有不同感受野的特征圖，區(qū)別于每層之間僅1個(gè)連接的傳統(tǒng)L層卷積網(wǎng)絡(luò)，DenseNet中共有L(L+1)/2個(gè)直接連接. DenseNet核心即Dense模塊結(jié)構(gòu)如圖2所示，其中的每一層都聚合前面所有層的特征. 因此，DenseNet在目標(biāo)檢測(cè)方面具備更多的特征表示.

但是DenseNet過(guò)重的密集連接導(dǎo)致中間層特征的重復(fù)學(xué)習(xí)，最終造成特征冗余. Lee等[25]以此為優(yōu)化方向，在Dense模塊基礎(chǔ)上提出了一次性聚合(One-shot aggregation，OSA)模塊，只在最后的特征映射中一次聚合前面所有特征，如圖3所示. 基于OSA模塊搭建骨干網(wǎng)絡(luò)VoVNet，以包含較多OSA模塊的VoVNet-39網(wǎng)絡(luò)為例，輸入尺寸為416×416×3的圖像，VoVNet-39網(wǎng)絡(luò)詳細(xì)結(jié)構(gòu)及對(duì)應(yīng)各模塊輸出列于表1中. 不難發(fā)現(xiàn)，VoVNet-39由包含3個(gè)卷積層的1階段Stem模塊和4階段OSA模塊組成，每個(gè)階段通過(guò)步長(zhǎng)為2的3×3最大池化層下采樣連接. VoVNet-39在第2、第3階段分別部署1個(gè)OSA模塊，在第4、第5階段分別部署2個(gè)OSA模塊，每個(gè)OSA模塊中都含有5個(gè)3×3卷積和1個(gè)1×1卷積. 利用OSA模塊解決密集連接引起的輸入通道數(shù)量線性增加問(wèn)題，基于OSA模塊構(gòu)建的VoVNet網(wǎng)絡(luò)不僅充分保留了DenseNet的多樣化特征表示優(yōu)勢(shì)，還降低了內(nèi)存訪問(wèn)成本，使GPU計(jì)算更高效.

Fig. 3 OSA module structure圖 3 OSA模塊結(jié)構(gòu)

(2) 改進(jìn)OSA模塊

改進(jìn)OSA模塊直接將輸入加到輸出上，形成恒等映射，保障梯度和方向傳播不受干擾，進(jìn)而擁有更深的網(wǎng)絡(luò)深度；同時(shí)在最后的特征層中引入有效壓縮和機(jī)理(effective Squeeze-Excitation，eSE)模塊增強(qiáng)特征，原SE模塊包含兩個(gè)全連接層和1個(gè)Sigmoid函數(shù)，以重新調(diào)整輸入特征圖并突出有用通道，但也會(huì)導(dǎo)致通道信息丟失，eSE模塊僅使用1個(gè)全連接層，維護(hù)通道信息，提高網(wǎng)絡(luò)性能.

eSE模塊定義為

式中： σ為Sigmoid激活函數(shù)；Xdiv∈RC×W×H是改進(jìn)OSA模塊中1×1卷積計(jì)算得到的多樣化特征圖(C×W×H為輸入eSE模塊的特征大小)；Favg代表全局平均池化；Wc代表全連接； ?代表元素相乘；最后，Xdiv通過(guò)殘差連接添加到精細(xì)化特征圖Xrefine中. 改進(jìn)OSA模塊結(jié)構(gòu)如圖4所示，VoVNetv2-39網(wǎng)絡(luò)即在原VoVNet-39網(wǎng)絡(luò)結(jié)構(gòu)基礎(chǔ)上改進(jìn)OSA模塊得到.

1.2.2 基于BiFPN的加強(qiáng)特征提取網(wǎng)絡(luò)

特征金字塔網(wǎng)絡(luò)(Feature Pyramid Network，F(xiàn)PN)[26]是識(shí)別不同尺寸目標(biāo)的基本組成部分，但其傳統(tǒng)的自上而下結(jié)構(gòu)不可避免會(huì)受到單向信息流限制. 為了解決這個(gè)問(wèn)題，YOLOv4中采用的路徑聚合網(wǎng)絡(luò)(Path Aggregation Network，PANet)[27]增加了1條自下而上的聚合路徑，精度更高，但也導(dǎo)致參數(shù)量和計(jì)算量加大.因此，本文中選用的雙向特征金字塔網(wǎng)絡(luò)(Bidirectional Feature Pyramid Network，BiFPN)在PANet結(jié)構(gòu)基礎(chǔ)上，首先刪去了只有1條輸入邊的節(jié)點(diǎn)，因?yàn)檫@些節(jié)點(diǎn)對(duì)融合不同特征的特征網(wǎng)絡(luò)貢獻(xiàn)較小，以此產(chǎn)生了1個(gè)簡(jiǎn)化的雙向網(wǎng)絡(luò)；其次在屬于同一層級(jí)的輸入、輸出節(jié)點(diǎn)間增加橫向連接，從而能夠在不增加成本的情況下融合更多特征；最后利用快速規(guī)范化融合為不同分辨率的特征增加權(quán)重，而不是統(tǒng)一調(diào)整到相同分辨率再相加，打破重要性平衡，讓網(wǎng)絡(luò)能夠?qū)W習(xí)到不同分辨率的特征. BiFPN結(jié)構(gòu)如圖5所示.

表 1 VoVNet-39網(wǎng)絡(luò)詳細(xì)結(jié)構(gòu)及對(duì)應(yīng)各模塊輸出Table 1 Detailed structure of VoVNet-39 and outputs of corresponding modules

1.2.3 基于深度可分離卷積的網(wǎng)絡(luò)參數(shù)簡(jiǎn)化

普通卷積利用權(quán)重矩陣實(shí)現(xiàn)通道維和空間維的聯(lián)合映射，代價(jià)是高計(jì)算復(fù)雜度、高內(nèi)存開(kāi)銷(xiāo)和大量權(quán)重系數(shù). Kaiser等[28]提出的深度可分離卷積(Depthwise Separable Convolutions，DConv)實(shí)施“兩步走”戰(zhàn)略，分別對(duì)通道維和空間維上的特征進(jìn)行映射并將結(jié)果組合，保留普通卷積表征學(xué)習(xí)能力的同時(shí)，減少參數(shù)數(shù)量，提高運(yùn)算效率. 深度可分離卷積操作如圖6所示.

Fig. 4 Improved OSA module structure圖 4 改進(jìn)OSA模塊結(jié)構(gòu)

Fig. 5 BiFPN structure圖 5 BiFPN結(jié)構(gòu)

(1)逐通道卷積(Depthwise Convolution，DWConv)

假設(shè)輸入圖像尺寸為DF×DF×M(DF為輸入圖像的長(zhǎng)和寬，M為輸入圖像的通道數(shù))，輸出通道數(shù)為N，DWConv為每個(gè)通道分配1個(gè)卷積核，在二維平面內(nèi)進(jìn)行卷積運(yùn)算，生成M個(gè)特征圖. 由于對(duì)每個(gè)通道進(jìn)行獨(dú)立卷積運(yùn)算，未能有效利用不同通道在相同空間位置上的特征信息，且生成的特征圖數(shù)量因與輸入圖像通道數(shù)相同無(wú)法進(jìn)行擴(kuò)展，所以需要PWConv對(duì)DWConv得到的特征圖進(jìn)行組合.

(2)逐點(diǎn)卷積(Pointwise Convolution，PWConv)

PWConv運(yùn)算與普通卷積運(yùn)算十分相似，其卷積核尺寸為1×1×M×N，對(duì)DWConv得到的特征圖進(jìn)行深度方向上加權(quán)，得到擴(kuò)展后的特征圖.

下一節(jié)將介紹在遷移學(xué)習(xí)基礎(chǔ)上利用改進(jìn)YOLOv4網(wǎng)絡(luò)實(shí)現(xiàn)的磨粒識(shí)別試驗(yàn)，以證實(shí)本文中所提出的新型模型更符合工業(yè)中實(shí)時(shí)、簡(jiǎn)潔的目標(biāo)檢測(cè)需求.

2 掃描電鏡磨粒識(shí)別及試驗(yàn)驗(yàn)證

2.1 掃描電鏡磨粒識(shí)別流程

掃描電鏡磨粒識(shí)別流程如圖7所示. 首先，選擇具有典型磨損特征的掃描電鏡磨粒圖片，采用圖片數(shù)據(jù)增強(qiáng)法進(jìn)行數(shù)據(jù)集擴(kuò)充，并劃分訓(xùn)練集、驗(yàn)證集和測(cè)試集，形成自建的掃描電鏡磨粒圖像集；其次，統(tǒng)一所有圖片尺寸為416×416×3，輸入改進(jìn)YOLOv4網(wǎng)絡(luò)，根據(jù)遷移學(xué)習(xí)思想利用IamgeNet數(shù)據(jù)集對(duì)新模型進(jìn)行預(yù)訓(xùn)練，獲取模型初始化權(quán)重和偏差；接著，設(shè)置訓(xùn)練參數(shù)，利用自建的掃描電鏡磨粒圖像集開(kāi)始凍結(jié)訓(xùn)練，僅微調(diào)網(wǎng)絡(luò)部分參數(shù)，凍結(jié)訓(xùn)練結(jié)束開(kāi)始解凍訓(xùn)練，模型權(quán)重和偏差得以更新；最后，模型驗(yàn)證與測(cè)試，比較輸出的mAP值并得到最優(yōu)模型與識(shí)別結(jié)果.

Fig. 6 Depthwise separable convolution operation圖 6 深度可分離卷積操作

Fig. 7 The process of wear particle intelligent recognition圖 7 磨粒智能識(shí)別流程

2.2 掃描電鏡磨粒識(shí)別關(guān)鍵技術(shù)

2.2.1 圖像數(shù)據(jù)預(yù)處理

將分析航空發(fā)動(dòng)機(jī)掃描電鏡磨粒圖像問(wèn)題看作是1個(gè)基于圖像的目標(biāo)檢測(cè)問(wèn)題. 本文中主要進(jìn)行常見(jiàn)類(lèi)型的異常磨粒識(shí)別研究，通過(guò)以往總結(jié)得到的專(zhuān)家經(jīng)驗(yàn)，依據(jù)不同磨粒對(duì)應(yīng)的不同典型特征，人工從中國(guó)航發(fā)商用發(fā)動(dòng)機(jī)公司滑油系統(tǒng)中選取684張掃描電鏡磨粒圖片，包含制造屑、摩擦屑和疲勞磨損屑3種，采用旋轉(zhuǎn)、縮放、隨機(jī)剪切、亮度調(diào)整和噪聲添加等圖像數(shù)據(jù)增強(qiáng)方法，將1張圖片拓展成5張，形成了含有3 420張圖片的磨粒圖像集，并按訓(xùn)練集:驗(yàn)證集:測(cè)試集=6:2:2的比例劃分. 其中，旋轉(zhuǎn)以圖像中心為旋轉(zhuǎn)中心進(jìn)行隨機(jī)角度旋轉(zhuǎn)；縮放按照一定比例縮小或放大圖像；隨機(jī)剪切是隨機(jī)定義感興趣區(qū)域進(jìn)行截取并調(diào)整為原始圖像尺寸；亮度調(diào)整為更改圖像亮度；噪聲添加則是在原始圖片基礎(chǔ)上隨機(jī)疊加噪聲，一定程度上影響像素平滑. 上述操作都是用于獲得更多形態(tài)的圖像數(shù)據(jù)，并不破壞原圖像中的磨粒典型特征. 對(duì)應(yīng)磨粒圖像及其特征總結(jié)列于表2中.

2.2.2 基于ImageNet數(shù)據(jù)集的網(wǎng)絡(luò)預(yù)訓(xùn)練

由于掃描電鏡磨粒圖像數(shù)量有限，即使是擴(kuò)充后的磨粒圖像集也不足以用來(lái)訓(xùn)練深度學(xué)習(xí)模型. 本文作者利用遷移學(xué)習(xí)來(lái)初始化模型權(quán)重，以減少對(duì)樣本數(shù)量的依賴(lài).

遷移學(xué)習(xí)旨在遷移現(xiàn)有知識(shí)去解決僅含有少量標(biāo)簽樣本的目標(biāo)領(lǐng)域?qū)W習(xí)問(wèn)題. 基本原理是利用大規(guī)模圖像集(本文中選用包含有120萬(wàn)個(gè)樣本的ImageNet圖像集)訓(xùn)練模型，獲得模型的初始權(quán)重和偏差，然后通過(guò)掃描電鏡磨粒圖像集重復(fù)訓(xùn)練該模型以更新權(quán)重和偏差.

2.2.3 基于磨粒圖像數(shù)據(jù)集的網(wǎng)絡(luò)訓(xùn)練

本文中在遷移學(xué)習(xí)基礎(chǔ)上，引入了凍結(jié)訓(xùn)練的思想，在利用磨粒圖像重訓(xùn)練模型階段，考慮到所有目標(biāo)檢測(cè)模型，其神經(jīng)網(wǎng)絡(luò)主干部分提取到的特征是通用的，將主干凍結(jié)起來(lái)訓(xùn)練可以加快訓(xùn)練效率，所以對(duì)于含有800輪次的模型總訓(xùn)練周期，設(shè)前25%為凍結(jié)階段，特征提取網(wǎng)絡(luò)不發(fā)生改變，占用顯存較小，僅對(duì)網(wǎng)絡(luò)進(jìn)行微調(diào)；后75%為解凍階段，特征提取網(wǎng)絡(luò)發(fā)生改變，占用顯存較大，網(wǎng)絡(luò)所有參數(shù)均受影響.

2.2.4 損失函數(shù)

本文中選用的損失函數(shù)loss由3部分組成，分別為坐標(biāo)損失losscoord，置信度損失lossconf和類(lèi)別損失lossclass.

式中：

從公式3中可以看出，坐標(biāo)損失采用的是CIOU，s2為網(wǎng)格數(shù)量；B為事先設(shè)定的先驗(yàn)框數(shù)量；若第i個(gè)網(wǎng)格的第j個(gè)先驗(yàn)框中有目標(biāo)，則為1，反之則為0；IOU為預(yù)測(cè)框和真實(shí)框的交并比；b和bgt分別為預(yù)測(cè)框和真實(shí)框的中心位置； ρ(b,bgt)為兩個(gè)中心位置的歐幾里得距離；c代表能夠同時(shí)包含預(yù)測(cè)框和真實(shí)框的最小矩形的對(duì)角線長(zhǎng)度；wgt和hgt，w和h分別為真實(shí)框和預(yù)測(cè)框的寬與高.

2.2.5 模型評(píng)價(jià)指標(biāo)

模型性能評(píng)估通常從精度與速度兩個(gè)角度出發(fā).

因?yàn)槟チＷR(shí)別本質(zhì)上也是1種多分類(lèi)問(wèn)題，每一類(lèi)的準(zhǔn)確率指標(biāo)為平均精度(Average precision,AP)，不能夠宏觀評(píng)價(jià)模型精度，所以引入所有類(lèi)別的平均精度(Mean average precision,mAP).

式中：P(Precision)為準(zhǔn)確率，也叫查準(zhǔn)率，用于表示某一類(lèi)別中所有檢測(cè)出的正樣本是否實(shí)際都為正樣本；R(Recall)為召回率，也叫查全率，用于表示某一類(lèi)別中所有實(shí)際正樣本是否均被檢測(cè)出來(lái)；TP(True positives)為此類(lèi)中被正確劃分為正樣本的個(gè)數(shù)；FP(False positives) 為此類(lèi)中被錯(cuò)誤劃分為正樣本的個(gè)數(shù)；FN(False negatives)為此類(lèi)中被錯(cuò)誤劃分為負(fù)樣本的個(gè)數(shù)，即漏檢的正樣本個(gè)數(shù)；c為類(lèi)別數(shù). 對(duì)于每一類(lèi)，可以規(guī)定1個(gè)置信度閾值(通常是0.5)來(lái)判斷是否為正例. 顯然，mAP值越大，模型精度越高.

模型速度評(píng)價(jià)指標(biāo)選用FPS (Frames per second)，表示畫(huà)面每秒傳輸幀數(shù)，公式如下：

式中：taverage為平均檢測(cè)1張圖片所需的時(shí)間. FPS越大，則模型推理速度越快.

2.3 試驗(yàn)驗(yàn)證結(jié)果分析

本文中根據(jù)中國(guó)航發(fā)商用發(fā)動(dòng)機(jī)公司提供的磨粒圖像，采用圖像數(shù)據(jù)增強(qiáng)法擴(kuò)充小樣本數(shù)據(jù)集，建立包含3類(lèi)磨損的掃描電鏡磨粒圖像集，并按訓(xùn)練集:驗(yàn)證集:測(cè)試集=6:2:2的比例劃分，其中訓(xùn)練集、驗(yàn)證集和測(cè)試集分別含有2 052，684和684個(gè)樣本，共計(jì)3 420個(gè)樣本. 使用數(shù)據(jù)標(biāo)記軟件labelimg對(duì)每張圖片目標(biāo)區(qū)域進(jìn)行畫(huà)框標(biāo)記和種類(lèi)標(biāo)注.

本文中基于Pytorch-1.2.0深度學(xué)習(xí)框架，利用Python 3.6編程語(yǔ)言搭建新型目標(biāo)檢測(cè)模型，并在硬件NIVIDA 2080TI上實(shí)現(xiàn)模型的訓(xùn)練與測(cè)試. 模型總訓(xùn)練輪次為800，前200輪次處于凍結(jié)階段，學(xué)習(xí)率設(shè)為0.001，訓(xùn)練批次(batch_size)設(shè)為8；后600輪次處于解凍階段，學(xué)習(xí)率設(shè)為0.000 1，訓(xùn)練批次設(shè)為4. 預(yù)設(shè)9個(gè)不同尺寸的先驗(yàn)框，根據(jù)不同特征層的感受野大小進(jìn)行分配，具體分配情況列于表3中. 最后預(yù)測(cè)網(wǎng)絡(luò)YOLO Head輸出大小分別為(13,13,24)、(26,26,24)和(52,52,24)，如圖1所示，即YOLOv4的3個(gè)特征層分別將整個(gè)圖像分為13×13、26×26和52×52的網(wǎng)格，每個(gè)網(wǎng)格左上角的點(diǎn)負(fù)責(zé)對(duì)該網(wǎng)格區(qū)域的檢測(cè)，最后一維24可分解為3×(4+1+3)，第1個(gè)3代表三類(lèi)預(yù)設(shè)框，第2個(gè)3代表磨粒類(lèi)別預(yù)測(cè)結(jié)果，4代表預(yù)測(cè)框中心與預(yù)測(cè)框長(zhǎng)寬的調(diào)整參數(shù)，1為判斷該種類(lèi)的置信度.

表 3 不同尺寸先驗(yàn)框分配情況Table 3 Distribution of prior frames of different sizes

將模型訓(xùn)練與驗(yàn)證過(guò)程中損失函數(shù)值的變化過(guò)程可視化，如圖8所示. 從圖8中可以看出，前200輪處于凍結(jié)階段，初始學(xué)習(xí)率為0.001，模型預(yù)訓(xùn)練得到的初始權(quán)重被保護(hù)，僅部分網(wǎng)絡(luò)參數(shù)在進(jìn)行微調(diào)，損失函數(shù)值在150輪次左右收斂于3；后600輪次處于解凍階段，初始學(xué)習(xí)率為0.000 1，訓(xùn)練過(guò)程中如果連續(xù)2個(gè)輪次損失值沒(méi)有明顯下降，采用學(xué)習(xí)率變?yōu)樵瓉?lái)一半的策略對(duì)學(xué)習(xí)率進(jìn)行衰減，所以凍結(jié)階段后50個(gè)左右的輪次損失值沒(méi)有明顯變化，學(xué)習(xí)率衰減到0.000 1以下，解凍開(kāi)始，學(xué)習(xí)率突然增加，損失值也隨之突然增加，權(quán)值更新，損失值再快速下降，到400輪左右損失值收斂于0.1.

Fig. 8 Loss value during model training and validation圖 8 模型訓(xùn)練與驗(yàn)證過(guò)程中的損失值

圖9 所示為某一疲勞磨粒特征識(shí)別過(guò)程，3種不同尺寸網(wǎng)格分別輸出3張?zhí)卣鳠崃D，共9張. 第1列特征圖代表置信度(score)，突出顯示置信度超過(guò)設(shè)定閾值的目標(biāo)對(duì)象，但不進(jìn)行分類(lèi)；第2列特征圖代表類(lèi)(class)，突出顯示需要判別的類(lèi)的區(qū)域；第3列特征圖是進(jìn)行置信度矩陣與類(lèi)別矩陣的加權(quán)，選定的目標(biāo)對(duì)象恰好也是設(shè)定的所屬類(lèi). 13×13網(wǎng)格感受野較大，主要進(jìn)行大目標(biāo)識(shí)別，識(shí)別出了圖中所有的疲勞屑；26×26網(wǎng)格感受野中等，主要進(jìn)行一般大小的目標(biāo)識(shí)別，所以只識(shí)別出了尺寸較小的2個(gè)疲勞磨粒；52×52網(wǎng)格感受野較小，主要進(jìn)行小目標(biāo)識(shí)別，該圖像中沒(méi)有小尺寸磨粒，因此未能識(shí)別出4個(gè)疲勞磨粒中的任一個(gè).

Fig. 9 Feature recognition process of one fatigue wear particle圖 9 某一疲勞磨粒的特征識(shí)別過(guò)程

為了證明所提網(wǎng)絡(luò)的先進(jìn)性和有效性，設(shè)定原YOLOv4網(wǎng)絡(luò)為基線模型，對(duì)調(diào)整中不同階段的檢測(cè)網(wǎng)絡(luò)進(jìn)行消融試驗(yàn)，測(cè)試結(jié)果對(duì)比列于表4中.

部分磨粒圖像檢測(cè)結(jié)果如圖10所示，方框框出的為磨損顆粒，方框上同時(shí)標(biāo)有磨粒種類(lèi)及對(duì)應(yīng)置信度.

從表4可以看出，采用VoVNetv2-39替換CSPDarknet53作為YOLOv4的主干特征提取網(wǎng)絡(luò)時(shí)，模型mAP值相近，參數(shù)量下降，推理速度提升至34.82/幀. 更改特征金字塔網(wǎng)絡(luò)結(jié)構(gòu)為BiFPN時(shí)，雖然模型推理速度有所下降，但是檢測(cè)精度高于原YOLOv4網(wǎng)絡(luò)，說(shuō)明高效的雙向跨尺度連接能夠充分利用深層與淺層特征優(yōu)勢(shì)，增進(jìn)多層次特征融合，很好地彌補(bǔ)了輕量級(jí)網(wǎng)絡(luò)替換造成的精度損失. 將網(wǎng)絡(luò)中的所有3×3普通卷積均調(diào)整為深度可分離卷積時(shí)，網(wǎng)絡(luò)大小直接由231.1 MB-1降為120.1 MB-1，推理速度相較于YOLOv4提升了51.1%，平均每張圖片的檢測(cè)時(shí)間節(jié)省了0.011 05 s，從圖10可以看出模型對(duì)于重疊磨粒的檢測(cè)效果也較好，如圖10(j)，(n)和(o)所示，模型已識(shí)別出所有堵塞、擁擠的磨屑，有效解決邊界框重疊被抑制的問(wèn)題，從而減少漏檢的可能性，說(shuō)明該模型同時(shí)還能保持較高精度，符合快速、簡(jiǎn)潔和高精度的檢測(cè)要求，可應(yīng)用于工業(yè)實(shí)踐中.

3 結(jié)論

本文中主要結(jié)論總結(jié)如下：

表 4 消融試驗(yàn)結(jié)果Table 4 Ablation experiments’ results

Fig. 10 Parts of wear particle images’ detection results based on YOLOv4-VoVNetv2-39-BiFPN-DConv圖 10 基于YOLOv4-VoVNetv2-39-BiFPN-DConv得到的部分磨粒圖像檢測(cè)結(jié)果

a. 針對(duì)現(xiàn)有磨粒圖像智能識(shí)別算法識(shí)別精度往往受主觀因素影響很大，且識(shí)別過(guò)程的自動(dòng)化和智能化水平很低的問(wèn)題，提出1種基于改進(jìn)YOLOv4的目標(biāo)檢測(cè)算法，并應(yīng)用于航空發(fā)動(dòng)機(jī)掃描電鏡磨粒圖像目標(biāo)檢測(cè)，實(shí)現(xiàn)磨粒的自動(dòng)快速識(shí)別.

b. 與原始YOLOv4網(wǎng)絡(luò)相比，本文中所提出的新模型在3類(lèi)磨粒組成的掃描電鏡圖像數(shù)據(jù)集上具有最佳的檢測(cè)結(jié)果，即，在保證精度的前提下，網(wǎng)絡(luò)參數(shù)量得到大幅降低，推理速度提升了51.1%，平均每張圖片的檢測(cè)時(shí)間節(jié)省了0.011 05s，同時(shí)對(duì)于重疊磨粒也有很好的檢測(cè)效果. 充分表明該模型在精度與速度之間保持了良好的平衡，滿足實(shí)際掃描電鏡磨粒圖像快速、簡(jiǎn)潔和高精度的檢測(cè)需求，具備很好的潛在工程應(yīng)用價(jià)值.