卷積神經(jīng)網(wǎng)絡(luò)在裝備磨損顆粒識(shí)別中的研究綜述

關(guān)浩堅(jiān), 賀石中*, 李秋秋, 楊智宏, 覃楚東, 何偉楚

(1. 廣州機(jī)械科學(xué)研究院有限公司 設(shè)備潤(rùn)滑與檢測(cè)研究所, 廣東 廣州 510530;2. 工業(yè)摩擦潤(rùn)滑技術(shù)國(guó)家地方聯(lián)合工程研究中心, 廣東 廣州 510530)

隨著科技的進(jìn)步，現(xiàn)代工業(yè)逐漸從傳統(tǒng)的依靠大量勞動(dòng)力來(lái)運(yùn)作設(shè)備的非自動(dòng)化和非智能化工業(yè)轉(zhuǎn)變?yōu)樽詣?dòng)化和智能化型工業(yè)，機(jī)器穩(wěn)定運(yùn)行成為了高效率工作的要求. 為保證機(jī)器保持長(zhǎng)久穩(wěn)定性，對(duì)設(shè)備故障分析的技術(shù)要求日益增高[1].

磨損顆粒是摩擦副運(yùn)行過(guò)程中的直接產(chǎn)物，它能夠很好地反映機(jī)器的磨損情況[2-3]. 據(jù)統(tǒng)計(jì)，機(jī)器的磨損故障中，有超過(guò)80%的故障都是來(lái)源于磨損碎片[4]，所以為了減少設(shè)備失效造成的生命財(cái)產(chǎn)損失，一般通過(guò)對(duì)設(shè)備的在用潤(rùn)滑油中的磨損碎片進(jìn)行檢測(cè)，能夠及時(shí)察覺(jué)設(shè)備存在的問(wèn)題，從而提前做好維護(hù).

鐵譜技術(shù)是油液分析技術(shù)的1種，在20世紀(jì)70年代傳入我國(guó)[5]. 其根據(jù)設(shè)備在用油中磨損顆粒包括數(shù)量、形態(tài)和尺寸在內(nèi)的各種信息分析設(shè)備的磨損情況，從而對(duì)設(shè)備的運(yùn)行狀態(tài)進(jìn)行判斷，對(duì)使用壽命進(jìn)行預(yù)測(cè)[6]. 簡(jiǎn)而言之，鐵譜技術(shù)就是1種能夠提供設(shè)備準(zhǔn)確的磨損顆粒圖像的方法，通過(guò)分析磨損顆?？梢源_定設(shè)備的磨損位置和磨損機(jī)理[7]. 目前在機(jī)械制造、能源化工和鋼鐵冶金等行業(yè)已經(jīng)得到廣泛應(yīng)用.

鐵譜分析是設(shè)備故障診斷中重要的一環(huán)，而磨損顆粒的識(shí)別則是鐵譜分析的核心，但顆粒圖像的分析需要大量的人工進(jìn)行分析，而且非常容易受到主觀性的影響，受經(jīng)驗(yàn)的影響也非常大，尤其面對(duì)各種重疊顆粒以及各種設(shè)備工況造成的大量不明顆粒，即使是具有多年經(jīng)驗(yàn)的技術(shù)人員也未必能夠給出肯定的分析，即依靠人工進(jìn)行磨粒識(shí)別的準(zhǔn)確度有限而且成本高. 因此該部分工作極需要智能化，從而提高分析的統(tǒng)一性、準(zhǔn)確性和分析效率[8].

1 卷積神經(jīng)網(wǎng)絡(luò)與磨粒智能識(shí)別

1.1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)(CNN)是人工神經(jīng)網(wǎng)絡(luò)的1種，屬于深度學(xué)習(xí)算法[9]. 它由卷積層、池化層和全連接層等組成，如圖1所示. 它的主要目的是根據(jù)訓(xùn)練數(shù)據(jù)集將輸入圖像分類(lèi)為幾個(gè)類(lèi)，目前已經(jīng)成為圖像識(shí)別領(lǐng)域的研究熱點(diǎn).

1962年 Hubel和Wiesel[10]提出了貓的視覺(jué)皮層是逐層提取信息的觀點(diǎn)，1980年Fukushima等[11]基于此概念提出了神經(jīng)認(rèn)知機(jī)，其中的一些卷積和池化的概念(當(dāng)時(shí)未被稱(chēng)為此名字)為后來(lái)的卷積神經(jīng)網(wǎng)絡(luò)打下了基礎(chǔ). 1989年，LeCun等[12]提出了第一個(gè)真正意義的卷積神經(jīng)網(wǎng)絡(luò)，這是參考了Fukushima的神經(jīng)認(rèn)知機(jī)的精華并結(jié)合Rumelhart等[13]在1986年提出的反向傳播算法提出的. 1998年，LeCun等[14]正式提出了LeNet-5，這是第一個(gè)廣為人知的經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)模型，也是首個(gè)成功進(jìn)行多層訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)，為后來(lái)深度學(xué)習(xí)的爆發(fā)打下了基礎(chǔ). 2006年，Hinton等[15]首先提出了深度學(xué)習(xí)的概念，而卷積神經(jīng)網(wǎng)絡(luò)則是深度學(xué)習(xí)中最著名的算法之一. 2012年，卷積神經(jīng)網(wǎng)絡(luò)在圖像識(shí)別領(lǐng)域開(kāi)始備受高度關(guān)注，在此之前一般是通過(guò)人工設(shè)計(jì)特征進(jìn)行圖像識(shí)別，其識(shí)別效果一直不佳，而當(dāng)年，Krizhevsky等[16]提出了AlexNet卷積神經(jīng)網(wǎng)絡(luò)，通過(guò)卷積神經(jīng)網(wǎng)絡(luò)自動(dòng)提取樣本的特征進(jìn)行學(xué)習(xí)，在ImageNet競(jìng)賽中將識(shí)別錯(cuò)誤率從26%降到了15%，遠(yuǎn)超同年代識(shí)別水平. 從此，深度卷積神經(jīng)網(wǎng)絡(luò)成為所有計(jì)算機(jī)視覺(jué)任務(wù)的首選算法. 后來(lái)逐漸發(fā)展出ZFNet[17]、VGGNet[18]、GoogLeNet[19]、ResNet[20]、各種輕量型卷積神經(jīng)網(wǎng)絡(luò)[21]、SeNet[22]和DenseNet[23]等，不僅能識(shí)別單個(gè)物體，還能識(shí)別多個(gè)物體，甚至能直接分割出所識(shí)別的物體，而且識(shí)別速度也得到了質(zhì)的飛躍. 卷積神經(jīng)網(wǎng)絡(luò)正在向更深、更寬、更多支路、更輕量以及更有效等多個(gè)方向發(fā)展，很多前沿問(wèn)題的解決方法得到了進(jìn)步，例如通過(guò)單預(yù)測(cè)或多預(yù)測(cè)方法已經(jīng)在嘗試解決遮擋識(shí)別問(wèn)題. 近幾年甚至有研究者提出了NASNet[24]，這是1個(gè)通過(guò)人工智能尋找的非常優(yōu)秀的神經(jīng)網(wǎng)絡(luò)架構(gòu)，通過(guò)計(jì)算機(jī)尋找網(wǎng)絡(luò)架構(gòu)的研究于2019年開(kāi)始火熱.還有被譽(yù)為2021年最強(qiáng)骨干網(wǎng)絡(luò)的Swin Transformer[25]，其性能超越了前述多個(gè)網(wǎng)絡(luò)模型. 卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展大大提高了計(jì)算機(jī)圖像識(shí)別的能力，也為磨粒智能識(shí)別打下了基礎(chǔ). 圖2為卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展歷程簡(jiǎn)圖.

Fig. 1 The structure of convolutional neural network圖1 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖

1.2 磨粒智能識(shí)別

自鐵譜分析的方法問(wèn)世以后，將鐵譜分析技術(shù)與計(jì)算機(jī)技術(shù)相結(jié)合的研究就開(kāi)展起來(lái). 1976年，Odiowei等[26]開(kāi)發(fā)了1種計(jì)算機(jī)分析系統(tǒng)，提供了關(guān)于磨粒的數(shù)量、大小和分布的信息. 20世紀(jì)70年代末，Reda等[27]首先編制了磨粒圖譜第一卷，美國(guó)?？展こ讨行倪M(jìn)行了完善，為磨粒識(shí)別打下了基礎(chǔ).

1982年，Roylance等[28]提出了1種使用圖像處理技術(shù)區(qū)分不同類(lèi)型的磨損磨粒的技術(shù). 1994年，Roylance等[29]將來(lái)自不同來(lái)源的大量磨損顆粒用圖像處理和分析方法對(duì)其形狀特征進(jìn)行了分析. 還有各種基于人機(jī)交互的磨粒分析系統(tǒng)也在當(dāng)時(shí)被開(kāi)發(fā)出來(lái)，如CAVE[30]、CASPA[31]、SYCLOPS[32]以及各種基于3D磨粒分析的專(zhuān)家系統(tǒng)[33]. 在2005年之前，這些系統(tǒng)很大程度上都是基于人工定義的磨粒幾何和紋理等特性進(jìn)行特征提取，然后通過(guò)早期機(jī)器學(xué)習(xí)方法進(jìn)行磨粒識(shí)別. 但是這些系統(tǒng)只能提取少數(shù)基本的特征，面對(duì)復(fù)雜的圖像準(zhǔn)確率不高，總體來(lái)說(shuō)實(shí)用性不強(qiáng)，即使采用了“先驗(yàn)知識(shí)庫(kù)”，即提前將要識(shí)別的東西給機(jī)器進(jìn)行匹配，也只能滿足某些光學(xué)字符識(shí)別和工件識(shí)別等的要求，而對(duì)于鐵譜診斷的磨粒分析而言仍然存在很大的不足，例如針對(duì)磨粒的顏色和3D特征等重要的信息不能提取出有效的特征參數(shù).

隨著科技的進(jìn)步，學(xué)者們提出了更多的磨粒特征和更多的算法來(lái)提高磨粒識(shí)別的準(zhǔn)確率. 2005年，Chen等[34]對(duì)鐵譜圖像的顏色特征進(jìn)行了研究. 2006年，Guo等[35]將磨粒的力、溫度、超聲波或AE信號(hào)等與神經(jīng)網(wǎng)絡(luò)結(jié)合提高了磨粒智能識(shí)別的準(zhǔn)確率. 2014年，Guo等[36]結(jié)合磨粒圖像的分形特征和自組織特征映射神經(jīng)網(wǎng)絡(luò)，提出基于分形特征的磨粒圖像分割方法.除了對(duì)特征進(jìn)行改進(jìn)外，學(xué)者們還對(duì)磨粒識(shí)別的算法進(jìn)行了研究. 例如2011年，Wang等[37]利用模糊系統(tǒng)和神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn)建立了1種改進(jìn)的模糊神經(jīng)網(wǎng)絡(luò)模型和算法，通過(guò)定義特征和改進(jìn)算法等來(lái)提高識(shí)別率.2014年，Nunthavarawong等[38]比較了不同機(jī)器學(xué)習(xí)方法對(duì)磨損顆粒顏色分類(lèi)的效果. 這段時(shí)間仍然是通過(guò)人工定義特征以及利用傳統(tǒng)的機(jī)器學(xué)習(xí)方法來(lái)進(jìn)行計(jì)算機(jī)識(shí)別，但由于圖像處理硬件的極大提升，很多以前不成立的算法開(kāi)始逐漸變得可用，包括統(tǒng)計(jì)方法和局部特征描述符的引入，解決了一些問(wèn)題，例如“先驗(yàn)知識(shí)庫(kù)”中記錄的物體若發(fā)生諸如形狀、紋理和顏色等特征變化，或者受到外界影響如觀察角度、光線明暗或受到遮擋等就會(huì)嚴(yán)重影響機(jī)器識(shí)別率. 但由于該階段的圖像識(shí)別本質(zhì)上屬于人工定義特征，很多特征得到了嘗試但沒(méi)有特別高的準(zhǔn)確率，并且較多的特征耗費(fèi)了大量計(jì)算機(jī)算力，其發(fā)展一直受到硬件性能的制約，盡管這方面的制約在2012年已經(jīng)通過(guò)深度學(xué)習(xí)自動(dòng)提取樣本特征的技術(shù)出現(xiàn)得到大大緩解，但在磨粒識(shí)別領(lǐng)域一直到2018年才開(kāi)始出現(xiàn)計(jì)算機(jī)自動(dòng)發(fā)掘特征進(jìn)行識(shí)別的相關(guān)文獻(xiàn)記載. 有關(guān)人工特征和自動(dòng)特征的工作原理如圖3和圖4所示，人工對(duì)磨粒的特征進(jìn)行定義，然后根據(jù)該人工定義的特征對(duì)新磨粒進(jìn)行識(shí)別和分類(lèi)，該方法存在較強(qiáng)主觀性，因?yàn)閷?duì)于整個(gè)磨粒來(lái)說(shuō)，其特征信息是人工難以定義的. 而自動(dòng)特征則利用到計(jì)算機(jī)的強(qiáng)大計(jì)算力和卷積神經(jīng)網(wǎng)絡(luò)的強(qiáng)大算法來(lái)對(duì)磨粒的特征進(jìn)行自動(dòng)分析定義，如此經(jīng)過(guò)大量訓(xùn)練后再對(duì)新磨粒進(jìn)行識(shí)別，效果自然更好.

表1整理了一些關(guān)于磨粒識(shí)別人機(jī)交互時(shí)期和人工定義特征時(shí)期的文獻(xiàn)，只列出了部分，實(shí)際上這兩段時(shí)期所發(fā)表文獻(xiàn)數(shù)不勝數(shù)[39-40].

表1 磨粒智能識(shí)別的3個(gè)階段Table 1 Three stages of intelligent recognition of wear particles

Fig. 2 Development of convolutional neural networks圖2 卷積神經(jīng)網(wǎng)絡(luò)發(fā)展歷程

2 磨粒智能識(shí)別的現(xiàn)狀

2.1 磨粒圖像數(shù)據(jù)的處理技術(shù)

2.1.1 數(shù)據(jù)集的標(biāo)注

Fig. 3 Principle of artificial feature recognition圖3 人工特征識(shí)別原理

卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練需要大量的訓(xùn)練數(shù)據(jù)支持，對(duì)于參數(shù)眾多的模型來(lái)說(shuō)，哪怕是幾萬(wàn)乃至幾十萬(wàn)的樣本數(shù)量都是不能達(dá)到最佳效果的. 而這些訓(xùn)練數(shù)據(jù)要預(yù)先通過(guò)人工標(biāo)注出顆粒位置及其類(lèi)型才能作為訓(xùn)練集由計(jì)算機(jī)進(jìn)行學(xué)習(xí). 這一步的工作需要耗費(fèi)大量的人力物力，并且根據(jù)標(biāo)記人員經(jīng)驗(yàn)的不同，所標(biāo)注的磨粒類(lèi)型也會(huì)有所不同. 對(duì)于標(biāo)注所用工具一般要區(qū)分領(lǐng)域，如文本類(lèi)數(shù)據(jù)可用doccano軟件進(jìn)行標(biāo)注；而對(duì)磨粒這種二維圖像數(shù)據(jù)而言，則可以采用labelme軟件. An等[41]在其Mask R-CNN磨粒識(shí)別研究中就采用了labelme進(jìn)行數(shù)據(jù)集的標(biāo)注，圖5為用labelme標(biāo)注好的磨粒圖譜.

Fig. 4 Principle of automatic features recognition圖4 自動(dòng)特征識(shí)別原理

2.1.2 遷移學(xué)習(xí)

遷移學(xué)習(xí)(Transfer learning)的主要定義是將某個(gè)領(lǐng)域或任務(wù)上學(xué)習(xí)到的知識(shí)或模式應(yīng)用到不同但相關(guān)的領(lǐng)域或問(wèn)題中. 遷移學(xué)習(xí)主要解決三方面的問(wèn)題，首先是源任務(wù)與目標(biāo)任務(wù)的特征不一樣的問(wèn)題；然后是數(shù)據(jù)的分布不一樣的問(wèn)題；最后是標(biāo)注標(biāo)簽的代價(jià)很大或很難被標(biāo)注的問(wèn)題[42]. 其提出的背景在于隨著深度學(xué)習(xí)的逐漸發(fā)展，現(xiàn)有的性能表現(xiàn)比較好的模型需要越來(lái)越多的訓(xùn)練數(shù)據(jù)進(jìn)行訓(xùn)練，這些巨量的訓(xùn)練數(shù)據(jù)需要耗費(fèi)非常多的人力物力，所以遷移學(xué)習(xí)逐漸受到越來(lái)越多的關(guān)注，這在磨粒識(shí)別領(lǐng)域尤為重要[43].

Fig. 5 Marked Ferrography[41]圖5 已標(biāo)注的磨粒圖譜[41]

Peng等[44]通過(guò)兩個(gè)試驗(yàn)對(duì)遷移學(xué)習(xí)在磨粒識(shí)別中的作用做出了論證. 試驗(yàn)1中將切削、球狀、疲勞和嚴(yán)重滑動(dòng)類(lèi)型的磨粒分別用RGB (Red-Green-Blue)、HOG(Histogram of Oriented Gradient)、LBP(Local Binary Pattern)、CNN(Convolutional Neural Networks)和經(jīng)過(guò)遷移學(xué)習(xí)預(yù)訓(xùn)練的CNN進(jìn)行特征提取，結(jié)果顯示RGB、HOG和LBP無(wú)法區(qū)分該4種類(lèi)型磨粒，CNN只能區(qū)分切削和球狀磨粒，無(wú)法區(qū)分疲勞和嚴(yán)重滑動(dòng)，而經(jīng)過(guò)遷移學(xué)習(xí)預(yù)訓(xùn)練的CNN模型則能很好地區(qū)分以上4種類(lèi)型磨粒，精度較高. 試驗(yàn)2中比較了CNN、CNN-SVM(Support Vector Machines)、CNN-TL(Transfer Learning)

和CNN-TL-SVM模型識(shí)別同一批樣本的精度. 從識(shí)別精度上來(lái)看，經(jīng)過(guò)了遷移學(xué)習(xí)預(yù)訓(xùn)練后CNN模型精度遠(yuǎn)勝于CNN和CNN-SVM兩者. 由此可見(jiàn)，遷移學(xué)習(xí)在提高識(shí)別精度方面起到了極大的作用.

2.1.3 數(shù)據(jù)增廣

數(shù)據(jù)增廣技術(shù)是1種能夠把有限的數(shù)據(jù)集通過(guò)平移、旋轉(zhuǎn)和縮放等變換操作然后加入到訓(xùn)練集中，一方面這可以擴(kuò)充訓(xùn)練集，另一方面也提高了算法的魯棒性，減少了過(guò)擬合的風(fēng)險(xiǎn)[45]. 深度學(xué)習(xí)早期或更早之前常用的數(shù)據(jù)增強(qiáng)方法大概有圖像裁剪縮放、圖像線性變換、圖像鏡像和顏色空間變換等[46]. 后來(lái)陸續(xù)有一些新方法出現(xiàn)，如隨機(jī)擦除算法[47]通過(guò)用隨機(jī)值替換圖像中某塊區(qū)域中的像素值用以生成不同的模擬圖片. 還有混類(lèi)增強(qiáng)算法，如2017年Zhang等[48]提出的mixup方法，通過(guò)對(duì)圖像進(jìn)行混類(lèi)疊加來(lái)達(dá)到數(shù)據(jù)增強(qiáng)的效果，后續(xù)還有研究者提出了mixout方法[49]和cutmix方法[50]等；目前最新提出的FMix方法[51]將圖像按照高低頻進(jìn)行區(qū)域區(qū)分，再進(jìn)行分像素加權(quán)，從而對(duì)數(shù)據(jù)增強(qiáng)，是目前最先進(jìn)的混類(lèi)增強(qiáng)算法.

在磨粒識(shí)別領(lǐng)域中，由于鐵譜圖像稀少，導(dǎo)致訓(xùn)練樣本稀少，所以如何增加鐵譜圖像的數(shù)量一直是各個(gè)研究者需要考慮的問(wèn)題. 多數(shù)研究者采用圖像裁剪縮放和水平翻轉(zhuǎn)的方法進(jìn)行鐵譜圖像增廣[41,52-53]；還有少數(shù)如Wang等[54]根據(jù)粒子的產(chǎn)生機(jī)制和獨(dú)特的粒子特征，利用條件生成的對(duì)抗網(wǎng)絡(luò)合成虛擬故障粒子圖像；Peng等[55]提出了1種基于圖像斑塊置換的數(shù)據(jù)增廣算法，將1張鐵譜圖像分為4份，以排列組合的方式增廣至24張圖像. 可見(jiàn)數(shù)據(jù)增廣技術(shù)已經(jīng)在磨粒識(shí)別領(lǐng)域得到廣泛應(yīng)用，并成為研究亮點(diǎn)之一.

2.1.4 Dropout技術(shù)

當(dāng)對(duì)卷積神經(jīng)網(wǎng)絡(luò)的層數(shù)加深的時(shí)候，經(jīng)常會(huì)因?yàn)槟Ｐ蛥?shù)過(guò)多，訓(xùn)練集數(shù)量過(guò)少，而出現(xiàn)過(guò)擬合問(wèn)題[56]，即模型在訓(xùn)練集上識(shí)別準(zhǔn)確率高，但在測(cè)試集上準(zhǔn)確率卻很低的問(wèn)題，這是特征檢測(cè)器的共同作用使得檢測(cè)器之間相互依賴(lài)造成的，這往往需要消耗大量時(shí)間對(duì)多個(gè)模型進(jìn)行組合訓(xùn)練. 2014年，Srivastava等[57]提出了Dropout，前向傳播的過(guò)程中特征檢測(cè)器有隨機(jī)的概率會(huì)被隨機(jī)丟棄，這相當(dāng)于同時(shí)對(duì)多個(gè)模型組合訓(xùn)練的簡(jiǎn)化，故而能防止過(guò)擬合又不會(huì)消耗過(guò)多時(shí)間. 還有觀點(diǎn)認(rèn)為Dropout實(shí)際上是1種數(shù)據(jù)增強(qiáng)的技術(shù)，2016年，Bouthillier等[58]將利用原始數(shù)據(jù)從模型中得到的Dropout噪音投影回模型中，生成了原始訓(xùn)練數(shù)據(jù)的增強(qiáng)數(shù)據(jù)，并用增強(qiáng)數(shù)據(jù)訓(xùn)練出和原始數(shù)據(jù)類(lèi)似的結(jié)果. Dropout技術(shù)的出現(xiàn)使得深層卷積神經(jīng)網(wǎng)絡(luò)得到進(jìn)一步發(fā)展.

目前Dropout技術(shù)在磨粒識(shí)別中已經(jīng)得到了廣泛應(yīng)用，其中Peng等[59]在2019年提出的FECNN磨粒識(shí)別模型論文中對(duì)Dropout技術(shù)做了具體闡述，文中提到Dropout技術(shù)通常用于全連接層，以避免模型的過(guò)擬合，而FECNN模型則創(chuàng)造性地將其用于卷積層中使模型能夠?qū)W習(xí)到磨粒的不完整特征. 由此可見(jiàn)，Dropout技術(shù)在磨粒識(shí)別模型中的準(zhǔn)確運(yùn)用將能很好地提高模型的識(shí)別效率.

2.1.5 歸一化

由于深度學(xué)習(xí)中的神經(jīng)網(wǎng)絡(luò)層數(shù)眾多，每層數(shù)據(jù)的更新都會(huì)導(dǎo)致上一層數(shù)據(jù)的分布發(fā)生很大的變化，所以需要使用歸一化的方法將所有數(shù)據(jù)分布映射到1個(gè)區(qū)間. 歸一化指的就是將數(shù)據(jù)統(tǒng)一映射到[0,1]的區(qū)間上，從而提高模型的收斂速度和計(jì)算精度. 另外也能避免由于輸入變量的數(shù)量級(jí)過(guò)大而導(dǎo)致數(shù)值發(fā)生問(wèn)題，但數(shù)據(jù)需要量綱化和統(tǒng)一評(píng)價(jià)標(biāo)準(zhǔn). 其在卷積神經(jīng)網(wǎng)絡(luò)模型中最主要的作用是防止梯度爆炸和防止梯度消失. 在神經(jīng)網(wǎng)絡(luò)中，常用的歸一化方法有Batch Normalization (BN)[60]、Weight Normalization (WN)[61]、Layer Normalization (LN)[62]、Instance Normalization(IN)[63]、Group Normalization (GN)[64]和Switchable Normalization (SN)[65]. BN適用于較大的Batch size(單次訓(xùn)練數(shù)據(jù)樣本抓取量). 2016年，He等[20]就是通過(guò)BN的方法解決了深層卷積神經(jīng)網(wǎng)絡(luò)難以訓(xùn)練的問(wèn)題，設(shè)計(jì)出了ResNet殘差網(wǎng)絡(luò)模型. 但當(dāng)批量很小的時(shí)候，BN操作的效果將大大降低. 而WN則相反，適用于較小的批量；LN則對(duì)循環(huán)神經(jīng)網(wǎng)絡(luò)特別有效；IN對(duì)單個(gè)樣本單個(gè)通道的所有元素進(jìn)行歸一化，主要作用是圖像風(fēng)格遷移；GN將通道分組后進(jìn)行歸一化，擺脫了批量的約束；SN的歸一化策略則是將BN、LN和IN相結(jié)合，賦予它們不同的權(quán)重，然后通過(guò)神經(jīng)網(wǎng)絡(luò)自行學(xué)習(xí)以使得BN、LN和IN三者達(dá)到最適合的權(quán)重配比.

目前在磨粒識(shí)別領(lǐng)域中，一般采用BN進(jìn)行歸一化，例如Wang等[54]的三維磨粒識(shí)別網(wǎng)絡(luò)、Peng等[53]的WP-DRnet網(wǎng)絡(luò)以及Zhang等[52]的CDCNN網(wǎng)絡(luò)中均采用了BN歸一化方法. 2020年，Peng等[66]提出的OWSNet粒子分割網(wǎng)絡(luò)研究中，對(duì)BN和IN及兩者結(jié)合在OWSNet粒子分割網(wǎng)絡(luò)中的表現(xiàn)進(jìn)行了試驗(yàn)，驗(yàn)證了BN和IN對(duì)OWSNet 具有提升效果，以及在磨粒分割任務(wù)中批量較小時(shí)IN的效果比BN好，并指出IN和BN的結(jié)合可以使模型解決不同領(lǐng)域的圖像分割問(wèn)題.

2.2 基于現(xiàn)有網(wǎng)絡(luò)結(jié)構(gòu)的磨粒自動(dòng)識(shí)別模型

2.2.1 基于LeNet-5的磨粒自動(dòng)識(shí)別系統(tǒng)

LeNet-5是LeCun在1988年提出的卷積神經(jīng)網(wǎng)絡(luò)模型，也是最早的真正意義的卷積神經(jīng)網(wǎng)絡(luò)，其特點(diǎn)在于參數(shù)較少，這是由其局部連接和權(quán)值共享的特性所決定的. 但由于其對(duì)具有復(fù)雜紋理特征的數(shù)據(jù)集的分類(lèi)精度不夠高[67]，所以若要將其應(yīng)用于磨粒智能識(shí)別中，必須首先對(duì)其進(jìn)行改進(jìn).

2018年12 月，Wang等[68]參考了圖像識(shí)別領(lǐng)域的技術(shù)，創(chuàng)新性地將基于卷積神經(jīng)網(wǎng)絡(luò)的圖像識(shí)別模型與磨粒分析聯(lián)系起來(lái)，提出了1個(gè)兩級(jí)磨粒識(shí)別模型，其中第一級(jí)采用反向傳播神經(jīng)網(wǎng)絡(luò)對(duì)4組近似度不高的顆粒進(jìn)行識(shí)別，第二級(jí)則采用LeNet-5改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)兩組近似度較高的磨粒進(jìn)行分析. 該模型使得磨粒識(shí)別的準(zhǔn)確率從過(guò)去的40%多提高到80%多，其結(jié)構(gòu)如圖6所示.

從結(jié)構(gòu)上看，該模型主要的優(yōu)點(diǎn)在于：

1、在第二級(jí)識(shí)別模塊中首次采用了卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行磨粒智能分析，可以有效地從大量樣本中學(xué)習(xí)相應(yīng)的特征，避免人工干預(yù)，且其局部感知和權(quán)值共享的特點(diǎn)大大提高了計(jì)算效率和準(zhǔn)確度.

2、對(duì)所采用的LeNet-5網(wǎng)絡(luò)進(jìn)行了有效的改進(jìn)，主要包括：(1)用ReLu激活函數(shù)替代了原來(lái)的Tanh和Sigmoid函數(shù)，減緩了梯度消失的問(wèn)題，使模型能學(xué)習(xí)樣本中更深層的特征，大大提高了識(shí)別準(zhǔn)確率；(2)在全連接層中加入了Dropout運(yùn)算，加強(qiáng)模型的泛化識(shí)別能力，減少了過(guò)擬合問(wèn)題；(3)刪除了F6層精簡(jiǎn)了網(wǎng)絡(luò)，同時(shí)增大卷積層的卷積核大小和神經(jīng)元數(shù)量，使其更適合于磨粒識(shí)別；(4)限制了同時(shí)訓(xùn)練圖像的數(shù)量以防止局部最優(yōu)和內(nèi)存溢出.

主要的缺點(diǎn)在于：

1、第一級(jí)識(shí)別模塊中采用反向傳播神經(jīng)網(wǎng)絡(luò)對(duì)磨粒進(jìn)行識(shí)別，需要大量訓(xùn)練樣本才能達(dá)到較高的準(zhǔn)確度，在訓(xùn)練樣本不足的時(shí)候可能會(huì)影響到總體的識(shí)別準(zhǔn)確率.

2、Zhang等[52]在介紹中指出該類(lèi)通過(guò)卷積神經(jīng)網(wǎng)絡(luò)提取特征然后通過(guò)全連接層進(jìn)行分類(lèi)的模型以及通過(guò)支持向量機(jī)分類(lèi)的模型等無(wú)法識(shí)別訓(xùn)練中沒(méi)有出現(xiàn)過(guò)的新類(lèi)別磨粒，當(dāng)有新類(lèi)別磨粒需要識(shí)別，必須再次更改模型結(jié)構(gòu)并重新訓(xùn)練.

3、Peng等[53]在介紹中指出該類(lèi)通過(guò)卷積神經(jīng)網(wǎng)絡(luò)提取特征然后通過(guò)全連接層進(jìn)行分類(lèi)的模型以及通過(guò)支持向量機(jī)分類(lèi)的模型等無(wú)法進(jìn)行目標(biāo)檢測(cè)，所以需要事先對(duì)磨粒進(jìn)行分割，且無(wú)法解決識(shí)別磨粒鏈和重疊磨粒困難的問(wèn)題.

4、第二級(jí)識(shí)別模塊中刪除LeNet-5的F6層的做法雖然精簡(jiǎn)了網(wǎng)絡(luò)，但可能會(huì)導(dǎo)致該模型處理非線性問(wèn)題的能力很差.

2.2.2 基于inception-v3的磨粒自動(dòng)識(shí)別系統(tǒng)

Inception-v3是由谷歌開(kāi)發(fā)的一款深層卷積神經(jīng)網(wǎng)絡(luò)模型，深層神經(jīng)網(wǎng)絡(luò)能夠提取更多高級(jí)特征從而提高識(shí)別能力，并且最大的特點(diǎn)是采用正則化方法提高了模型的學(xué)習(xí)效果，故而備受推崇.

Fig. 6 Schematic diagram of an particle automatic recognition system based on LeNet-5[68]圖6 基于LeNet-5的磨粒自動(dòng)識(shí)別系統(tǒng)結(jié)構(gòu)示意圖[68]

2019年1月，Peng等[69]設(shè)計(jì)了1個(gè)改進(jìn)的inceptionv3卷積神經(jīng)網(wǎng)絡(luò)磨粒識(shí)別模型，其主要結(jié)構(gòu)為保留卷積層和池化層用于磨粒特征提取，將最后兩層全連接層替換為自設(shè)計(jì)的人工神經(jīng)網(wǎng)絡(luò)用于磨粒分類(lèi). 其新設(shè)計(jì)的人工神經(jīng)網(wǎng)絡(luò)將CNN層提取的特征進(jìn)行分類(lèi)，采用Sigmoid激活函數(shù)輸出結(jié)果，當(dāng)結(jié)果超出設(shè)定閾值時(shí)可輸出多個(gè)結(jié)果，從而達(dá)到對(duì)重疊粒子的識(shí)別.在對(duì)模型的訓(xùn)練方面則應(yīng)用隨機(jī)梯度下降算法優(yōu)化交叉熵?fù)p失函數(shù)，更新人工神經(jīng)網(wǎng)絡(luò)模型的權(quán)重和偏差. 其結(jié)構(gòu)如圖7所示.

從結(jié)構(gòu)上來(lái)看，該模型主要的優(yōu)點(diǎn)在于：

1、第一級(jí)模塊采用了卷積神經(jīng)網(wǎng)絡(luò)，能對(duì)復(fù)雜圖像進(jìn)行高效的非人工干預(yù)的特征提取.

2、用自設(shè)計(jì)的人工神經(jīng)網(wǎng)絡(luò)替換Inception-v3中的全連接層，大大降低了計(jì)算機(jī)的運(yùn)算量.

3、在人工神經(jīng)網(wǎng)絡(luò)中采用了Sigmoid激活函數(shù)，避免了輸出結(jié)果的歸一化，從而實(shí)現(xiàn)了重疊粒子的識(shí)別.

4、采用Inception-v3提取特征，其池化層采用最大池化策略，能夠更好地提取磨粒表面紋理.

主要的缺點(diǎn)在于：

Peng等[53]在介紹中指出該類(lèi)通過(guò)卷積神經(jīng)網(wǎng)絡(luò)提取特征然后通過(guò)全連接層進(jìn)行分類(lèi)的模型以及通過(guò)支持向量機(jī)分類(lèi)的模型等不具備目標(biāo)檢測(cè)能力，本質(zhì)上只是1種“圖像分類(lèi)器”，面對(duì)多磨粒圖像，需事先進(jìn)行磨粒分割，即使能夠識(shí)別重疊粒子，但若在1張圖中有多個(gè)重疊磨粒的時(shí)候仍然需要對(duì)這些重疊磨粒進(jìn)行劃分.

2.2.3 基于AlexNet的磨粒自動(dòng)識(shí)別系統(tǒng)

2019年5 月，Peng等[44]首次將遷移學(xué)習(xí)運(yùn)用到卷積神經(jīng)網(wǎng)絡(luò)磨粒識(shí)別系統(tǒng)中，減小了卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)磨粒訓(xùn)練樣本的依賴(lài)，在較少訓(xùn)練樣本的情況下達(dá)到了較高的準(zhǔn)確率，另外將SVM集成到卷積神經(jīng)網(wǎng)絡(luò)模型中，提高了疲勞和滑動(dòng)磨損碎片之間的識(shí)別精度[70]，成功建立了1種新的模型來(lái)識(shí)別類(lèi)型的磨損顆粒. 該模型的核心在于以下三點(diǎn)：(1)以AlexNet網(wǎng)絡(luò)為基礎(chǔ)，作出了將Softmax分類(lèi)器更換為SVM分類(lèi)器的改進(jìn)，在利用CNN強(qiáng)大的特征提取能力的同時(shí)吸取SVM更強(qiáng)的泛化能力；(2)采用了包含120萬(wàn)個(gè)樣本的Image Net數(shù)據(jù)集通過(guò)遷移學(xué)習(xí)技術(shù)來(lái)初始化模型權(quán)重；(3)采用了“一對(duì)一”方法的SVM分類(lèi)器，即每?jī)蓚€(gè)類(lèi)別之間建立1個(gè)SVM分類(lèi)器，將該兩類(lèi)標(biāo)記好的數(shù)據(jù)放入該分類(lèi)器訓(xùn)練直到能完全區(qū)分開(kāi). 其結(jié)構(gòu)如圖8所示.

從結(jié)構(gòu)上來(lái)看，該模型主要的優(yōu)點(diǎn)在于：

1、采用最大池化，避免了平均池化的模糊化效果，從而保留最顯著的特征，并且其步長(zhǎng)比池化核的尺寸小，這樣池化層的輸出之間會(huì)有重疊和覆蓋，提高了特征豐富性，減少了信息丟失.

2、采用ReLu作為激活函數(shù)，成功解決了Sigmoid在深層網(wǎng)絡(luò)時(shí)梯度彌散的問(wèn)題.

Fig. 7 Schematic diagram of an particle automatic recognition system based on Inception-v3[69]圖7 基于Inception-v3的磨粒自動(dòng)識(shí)別系統(tǒng)結(jié)構(gòu)示意圖[69]

Fig. 8 Schematic diagram of an particle automatic recognition system based on AlexNet[43]圖8 基于AlexNet的磨粒自動(dòng)識(shí)別系統(tǒng)結(jié)構(gòu)示意圖[43]

3、添加了歸一化LRN層，對(duì)局部神經(jīng)元的活動(dòng)創(chuàng)建競(jìng)爭(zhēng)機(jī)制，使得其中響應(yīng)比較大的值變得相對(duì)更大，并抑制其他反饋較小的神經(jīng)元，增強(qiáng)了模型的泛化能力.

4、采用Dropout方法隨機(jī)忽略部分神經(jīng)元，避免模型過(guò)擬合，增強(qiáng)模型的泛化能力.

5、采用了遷移學(xué)習(xí)的技術(shù)，大大減少了訓(xùn)練所需樣本量.

6、采用SVM分類(lèi)器，使模型具有更強(qiáng)大的泛化能力，解決了局部最優(yōu)解的問(wèn)題，同時(shí)減少了訓(xùn)練所需樣本量. 并且所采用的“一對(duì)一”方法的SVM分類(lèi)器能夠解決非線性問(wèn)題.

主要的缺點(diǎn)在于：

1、“一對(duì)一”方法雖然能夠使SVM解決多分類(lèi)問(wèn)題，但缺點(diǎn)是類(lèi)別較多時(shí)非常耗費(fèi)計(jì)算資源[71]，而且可能會(huì)造成分類(lèi)重疊現(xiàn)象，即每個(gè)分類(lèi)器都認(rèn)為識(shí)別物體屬于它所設(shè)定的正樣本.

2、Peng等[53]在介紹中指出該類(lèi)通過(guò)卷積神經(jīng)網(wǎng)絡(luò)提取特征然后通過(guò)全連接層進(jìn)行分類(lèi)的模型以及通過(guò)支持向量機(jī)分類(lèi)的模型等不具備目標(biāo)檢測(cè)能力，本質(zhì)上只是1種“圖像分類(lèi)器”，面對(duì)多磨粒圖像，需事先進(jìn)行磨粒分割，且無(wú)法解決識(shí)別磨粒鏈和重疊磨粒困難的問(wèn)題.

3、Zhang等[52]在介紹中指出該類(lèi)通過(guò)卷積神經(jīng)網(wǎng)絡(luò)提取特征然后通過(guò)全連接層進(jìn)行分類(lèi)的模型以及通過(guò)支持向量機(jī)分類(lèi)的模型等無(wú)法識(shí)別訓(xùn)練中沒(méi)有出現(xiàn)過(guò)的新類(lèi)別磨粒，當(dāng)有新類(lèi)別磨粒需要識(shí)別，必須再次更改模型結(jié)構(gòu)并重新訓(xùn)練.

2.2.4 基于Mask R-CNN的磨粒自動(dòng)識(shí)別系統(tǒng)

2020年，An等[41]和Yang等[72]等先后獨(dú)立采用Mask R-CNN模型訓(xùn)練出磨粒自動(dòng)識(shí)別系統(tǒng). An等所采用的Mask R-CNN神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)包括特征提取層、特征金字塔網(wǎng)絡(luò)、ROIAlign層和全連接層，特征提取層采用ResNet101殘差網(wǎng)絡(luò)，優(yōu)化器采用隨機(jī)梯度下降法來(lái)更新模型參數(shù). 另外An等還采用COCO訓(xùn)練集[73]對(duì)模型進(jìn)行遷移學(xué)習(xí)，也采用數(shù)據(jù)增廣方法來(lái)增強(qiáng)數(shù)據(jù)的豐富度. 而Yang等同樣直接采用Mask R-CNN模型訓(xùn)練出磨粒自動(dòng)識(shí)別系統(tǒng)，其隨機(jī)梯度下降優(yōu)化器帶有動(dòng)量，可以緩解局部最小值的問(wèn)題，該方法能夠加快模型的訓(xùn)練速度同時(shí)保證穩(wěn)定性，是目前隨機(jī)梯度下降法中最常用的優(yōu)化方法之一[74-75]. Mask R-CNN的結(jié)構(gòu)如圖9所示.

從結(jié)構(gòu)上來(lái)看，該模型主要的優(yōu)點(diǎn)在于：

Fig. 9 Schematic diagram of an particle automatic recognition system based on Mask-RCNN[41]圖9 基于Mask-RCNN的磨粒自動(dòng)識(shí)別系統(tǒng)結(jié)構(gòu)示意圖[41]

1、加入了Mask網(wǎng)絡(luò)，使模型不僅能處理目標(biāo)檢測(cè)問(wèn)題，還能處理語(yǔ)義分割問(wèn)題.

2、采用了ROIAlign，將特征金字塔網(wǎng)絡(luò)中提取到的候選區(qū)域轉(zhuǎn)化為固定維度的特征向量，大大提高了小目標(biāo)的分割準(zhǔn)確性.

3、采用了FPN特征金字塔網(wǎng)絡(luò)，其作為1種多層結(jié)構(gòu)有利于多尺度物體及小物體的檢測(cè).

4、特征提取層采用了ResNet101殘差網(wǎng)絡(luò)，可以解決網(wǎng)絡(luò)層數(shù)過(guò)深時(shí)梯度消失和梯度爆炸的問(wèn)題.

主要的缺點(diǎn)在于：

1、對(duì)于每個(gè)ROIAlign層之后的proposal層只進(jìn)行上采樣到28*28的分辨率再輸出mask，這個(gè)精度對(duì)于絕大多數(shù)物體并不足夠，對(duì)磨粒識(shí)別也是不夠的.

2、Mask-RCNN屬于two stage類(lèi)型網(wǎng)絡(luò)，訓(xùn)練和識(shí)別速度比不上one stage類(lèi)型的網(wǎng)絡(luò)，無(wú)法滿足實(shí)時(shí)顆粒識(shí)別的要求.

2.3 自設(shè)計(jì)卷積神經(jīng)網(wǎng)絡(luò)的磨粒自動(dòng)識(shí)別系統(tǒng)

2.3.1 FECNN磨粒自動(dòng)識(shí)別系統(tǒng)

2019年7月，Peng等[59]提出了1種稱(chēng)為FECNN的卷積神經(jīng)網(wǎng)絡(luò)模型，用于識(shí)別復(fù)雜鐵譜圖像中的磨損顆粒. 它通過(guò)一維卷積運(yùn)算減少了模型的數(shù)量參數(shù)和Dropout技術(shù)使模型能夠?qū)W習(xí)磨損碎片的不完整特征.該模型能夠得到比以往更準(zhǔn)確的分類(lèi)結(jié)果，并能減輕樣本收集的工作量. 該模型具有較強(qiáng)的特征提取和磨損粒子分類(lèi)能力，是1種很有前途的磨損粒子識(shí)別系統(tǒng). 其結(jié)構(gòu)如圖10所示.

從結(jié)構(gòu)上來(lái)看，該模型主要的優(yōu)點(diǎn)在于：

1、采用ELU激活函數(shù)替代ReLu函數(shù)，解決了ReLu函數(shù)的輸出不是零中心的問(wèn)題，以及學(xué)習(xí)率過(guò)大時(shí)神經(jīng)元無(wú)法激活的問(wèn)題，且在圖像過(guò)多噪音的情況下比ReLu更具魯棒性.

2、采用了一維卷積運(yùn)算來(lái)減少模型的參數(shù)，減少過(guò)擬合現(xiàn)象，同時(shí)可以在不改變圖片尺寸的情況下改變通道數(shù).

3、在模型中加入了dropout運(yùn)算，通過(guò)隨機(jī)將輸入的張量中的某些元素設(shè)置為0，破壞了磨損粒子的某些特征，從而使模型能夠?qū)W習(xí)到不完全的磨粒特征，從而增強(qiáng)磨粒識(shí)別的泛化能力.

4、在Tensor9層中采用了全局最大池化，降低卷積層輸出的特征圖維數(shù)，以取代分類(lèi)器中的Flattening或Dense層，最大限度保留了磨粒的表面紋理. 其后的全連接層有1個(gè)sigmoid激活函數(shù)用于表示每種磨損顆粒的概率，從而達(dá)到重疊粒子的識(shí)別.

主要的缺點(diǎn)在于：

1、采用的ELU激活函數(shù)計(jì)算量比ReLu大，其表現(xiàn)并不一定比ReLu好[76].

Fig. 10 Schematic diagram of FECNN particle automatic recognition system[59]圖10 FECNN磨粒自動(dòng)識(shí)別系統(tǒng)結(jié)構(gòu)示意圖[59]

2、Peng等[53]在介紹中指出該類(lèi)通過(guò)卷積神經(jīng)網(wǎng)絡(luò)提取特征然后通過(guò)全連接層進(jìn)行分類(lèi)的模型以及通過(guò)支持向量機(jī)分類(lèi)的模型等不具備目標(biāo)檢測(cè)能力，本質(zhì)上只是1種“圖像分類(lèi)器”，面對(duì)多磨粒圖像，需事先進(jìn)行磨粒分割，即使能夠識(shí)別重疊粒子，但若在1張圖中有多個(gè)重疊磨粒的時(shí)候仍然需要對(duì)這些重疊磨粒進(jìn)行劃分.

3、Zhang等[52]在介紹中指出該類(lèi)通過(guò)卷積神經(jīng)網(wǎng)絡(luò)提取特征然后通過(guò)全連接層進(jìn)行分類(lèi)的模型以及通過(guò)支持向量機(jī)分類(lèi)的模型等無(wú)法識(shí)別訓(xùn)練中沒(méi)有出現(xiàn)過(guò)的新類(lèi)別磨粒，當(dāng)有新類(lèi)別磨粒需要識(shí)別，必須再次更改模型結(jié)構(gòu)并重新訓(xùn)練.

2.3.2 小規(guī)模卷積神經(jīng)網(wǎng)絡(luò)磨粒自動(dòng)識(shí)別系統(tǒng)

2020年2月，Wang等[77]提出了在其研究中構(gòu)建了1種小規(guī)模卷積神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)包含1個(gè)輸入層，4個(gè)卷積單元，2個(gè)全連接層和1個(gè)輸出層，其中每個(gè)卷積層后面都帶有1個(gè)ReLu激活函數(shù)用于提高模型的非線性擬合能力. 第一、第二和第四個(gè)卷積單元由卷積層和最大池層組成，第三個(gè)卷積單元只有1個(gè)卷積層. 經(jīng)過(guò)第四個(gè)卷積單元后得到的所有輸出數(shù)據(jù)被輸入到之后的2層全連接層，最后使用softmax函數(shù)進(jìn)行分類(lèi)以處理非線性問(wèn)題. 其結(jié)構(gòu)如圖11所示.

從結(jié)構(gòu)上來(lái)看，該模型主要的優(yōu)點(diǎn)在于：

1、采用了多層小核卷積，可以在保持與大卷積核相同的感受野(Receptive Field)的同時(shí)，保持較少的參數(shù)量和計(jì)算量，提高圖像處理效果. 同時(shí)減少卷積核輸入和輸出通道的數(shù)量，以進(jìn)一步減小模型大小.

2、采用了恰當(dāng)?shù)纳窠?jīng)網(wǎng)絡(luò)深度以最大限度減少計(jì)算量并縮小模型的同時(shí)保證識(shí)別精度.

3、將模型小規(guī)?；耐瑫r(shí)基本沒(méi)有影響到精度，有利于磨粒識(shí)別系統(tǒng)在便攜設(shè)備或CPU等端部運(yùn)行，符合未來(lái)的發(fā)展方向.

主要的缺點(diǎn)在于：

1、該模型不具備目標(biāo)檢測(cè)能力，遇到具有多類(lèi)型磨粒的圖像需要分割后再進(jìn)一步識(shí)別.

2、該模型采用的Softmax分類(lèi)器的多標(biāo)簽識(shí)別能力較差，即無(wú)法應(yīng)付重疊粒子的問(wèn)題.

2.3.3 CDCNN磨粒自動(dòng)識(shí)別系統(tǒng)

2020年6月，Zhang等[52]提出了1種基于類(lèi)中心向量和距離比較的卷積神經(jīng)網(wǎng)絡(luò)模型，稱(chēng)為CDCNN. 其最大的特點(diǎn)在于，磨粒自動(dòng)識(shí)別領(lǐng)域中，該模型首次做到了在測(cè)試集中加入新類(lèi)，并保持很高的識(shí)別準(zhǔn)確率. 該模型由3個(gè)模塊組成，分別是特征提取模塊、類(lèi)中心向量提取模塊和預(yù)測(cè)模塊. 通過(guò)這3個(gè)模塊組成的模型，可以實(shí)現(xiàn)新類(lèi)磨損顆粒的分類(lèi).

首先是特征提取模塊，該模塊基于ShussleNet[78]模型結(jié)構(gòu)，將輸入圖像轉(zhuǎn)換為特征向量. 該模塊利用采樣單元通過(guò)“通道重組(channel shuffle)”操作將輸入特征映射的信道數(shù)均勻地劃分，輸出2個(gè)信道數(shù)相等的特征映射，并將普通卷積運(yùn)算分解為深度卷積和點(diǎn)卷積運(yùn)算，減少了模型參數(shù)的數(shù)量，提高了模型訓(xùn)練的速度，并提供了效率和精度的平衡.

然后是類(lèi)中心向量提取模塊，類(lèi)中心向量指的是某一類(lèi)別的代表，該模塊設(shè)定每個(gè)類(lèi)中生成3個(gè)類(lèi)中心向量以應(yīng)對(duì)同一類(lèi)樣本可能存在的差異. 在后續(xù)可以通過(guò)加入訓(xùn)練新類(lèi)來(lái)使其可以對(duì)新類(lèi)進(jìn)行識(shí)別而不改變現(xiàn)有的模型.

預(yù)測(cè)模塊通過(guò)計(jì)算“比較集”的特征向量與“代表性集”的類(lèi)中心向量之間的距離，并根據(jù)計(jì)算的距離獲得后驗(yàn)概率，并通過(guò)CDCNN模型輸出預(yù)測(cè)的類(lèi)結(jié)果. 利用了2個(gè)損失函數(shù)之和來(lái)訓(xùn)練模型，分別是距離損失和交叉熵?fù)p失. 其結(jié)構(gòu)如圖12所示.

從結(jié)構(gòu)上來(lái)看，該模型主要的優(yōu)點(diǎn)在于：

Fig. 11 Schematic diagram of small-scale convolutional neural networks particle automatic recognition system[77]圖11 小規(guī)模卷積神經(jīng)網(wǎng)絡(luò)磨粒自動(dòng)識(shí)別系統(tǒng)結(jié)構(gòu)示意圖[77]

1、采用了逐點(diǎn)組卷積(PWConv)和通道重組(channel shuffle)這兩種操作，改善了分組卷積時(shí)各組間“信息流通不暢”的問(wèn)題，并在保證準(zhǔn)確度的同時(shí)能夠大幅度地減少運(yùn)算代價(jià).

Fig. 12 Schematic diagram of CDCNN particle automatic recognition system[52]圖12 CDCNN磨粒自動(dòng)識(shí)別系統(tǒng)結(jié)構(gòu)示意圖[52]

2、結(jié)構(gòu)精簡(jiǎn)，作為輕量級(jí)網(wǎng)絡(luò)非常適合于便攜設(shè)備中運(yùn)行，并能保證非常高的精度.

3、當(dāng)出現(xiàn)新類(lèi)時(shí)，不需要重新對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，只需要添加類(lèi)中心向量即可.

主要的缺點(diǎn)在于：

1、shuffle channel在工程實(shí)現(xiàn)時(shí)會(huì)占用大量?jī)?nèi)存和指針跳轉(zhuǎn)，這部分非常耗時(shí)，實(shí)際運(yùn)行速度可能不會(huì)太理想.

2、shuffle channel的規(guī)則是人工設(shè)計(jì)的，分組之間信息交流存在隨意性，沒(méi)有理論指導(dǎo)，不符合自動(dòng)學(xué)習(xí)特征的基本原則.

2.3.4 WP-DRNet磨粒自動(dòng)識(shí)別系統(tǒng)

2020年4月，Peng等[53]利用兩個(gè)基于卷積神經(jīng)網(wǎng)絡(luò)的模塊和支持向量機(jī)(SVM)分類(lèi)器的級(jí)聯(lián)，開(kāi)發(fā)了1種自動(dòng)磨損粒子檢測(cè)和分類(lèi)模型. 兩個(gè)模塊用于粒子的檢測(cè)和識(shí)別，而支持向量機(jī)則用于粒子分類(lèi). 其中第一個(gè)模塊稱(chēng)為粒子檢測(cè)網(wǎng)絡(luò)，可以檢測(cè)并獲取磨粒原始圖像中粒子的存在及位置；第二個(gè)模塊被稱(chēng)為粒子識(shí)別網(wǎng)絡(luò)，可以識(shí)別疲勞、嚴(yán)重滑動(dòng)、切削和球形等磨損.

該模型的粒子檢測(cè)網(wǎng)絡(luò)是基于YOLOv3中的darknet53網(wǎng)絡(luò)設(shè)計(jì)而成的，而粒子識(shí)別網(wǎng)絡(luò)則是2.2.3節(jié)中提及的基于AlexNet模型改進(jìn)的網(wǎng)絡(luò)，該模型稱(chēng)為WP-DRNet. 通過(guò)該設(shè)計(jì)，將粒子檢測(cè)和識(shí)別時(shí)間縮短至23.4 ms，完全滿足實(shí)時(shí)粒子分類(lèi)的要求，是1種具有在線監(jiān)測(cè)前景的磨粒自動(dòng)識(shí)別系統(tǒng)，其結(jié)構(gòu)如圖13所示.

從結(jié)構(gòu)上來(lái)看，該模型主要的優(yōu)點(diǎn)在于：

1、采用了Darknet-53網(wǎng)絡(luò)用于粒子檢測(cè)模塊中，實(shí)現(xiàn)了目標(biāo)檢測(cè)功能，對(duì)于多類(lèi)別磨粒圖像不需事先分割便可實(shí)現(xiàn)識(shí)別.

2、采用了Batch Normalization的數(shù)據(jù)歸一化方法，加快了模型在訓(xùn)練時(shí)的收斂速度，避免了梯度爆炸或梯度消失. 此外該方法還能支持更多激活函數(shù)，增加泛化能力，替代已經(jīng)過(guò)時(shí)的Dropout方法[60].

3、采用了Leaky ReLu激活函數(shù)，它是ReLu函數(shù)的1種改進(jìn)函數(shù)，在反向傳播過(guò)程中，對(duì)于Leaky ReLu激活函數(shù)輸入小于零的部分，也可以計(jì)算得到梯度(而不是像ReLU一樣值為0).

主要的缺點(diǎn)在于：

1、預(yù)測(cè)的bbox較少，導(dǎo)致召回率較低，定位精度較差，對(duì)于靠近或者遮擋的群體和小物體的檢測(cè)能力相對(duì)較弱.

2、該模型作為本文2.2.3節(jié)模型的改進(jìn)版，添加了目標(biāo)檢測(cè)模塊使模型得到質(zhì)的改進(jìn)，但在粒子識(shí)別模塊方面并無(wú)過(guò)多修改，更多的優(yōu)缺點(diǎn)可參見(jiàn)本文2.2.3節(jié).

Fig. 13 Schematic diagram of WP-DRNet particle automatic recognition system[53] (A: WP-DRNet system;B: Detection network; C: Recognition network)圖13 WP-DRNet磨粒自動(dòng)識(shí)別系統(tǒng)結(jié)構(gòu)示意圖[53]（A：WP-DRNet系統(tǒng)；B：檢測(cè)網(wǎng)絡(luò)；C：識(shí)別網(wǎng)絡(luò)）

2.3.5 三維非參數(shù)磨粒自動(dòng)識(shí)別系統(tǒng)

2020年9月，Wang等[54]設(shè)計(jì)了1個(gè)三維非參數(shù)的磨粒識(shí)別模型，選擇深度圖作為磨損顆粒形貌的映射方法，將三維磨粒信息轉(zhuǎn)變?yōu)槎S非參數(shù)信息，既保留了磨粒的三維表面信息，又減少了模型的計(jì)算量. 另外還詳細(xì)說(shuō)明了如何通過(guò)條件生成對(duì)抗網(wǎng)絡(luò)來(lái)增加磨粒訓(xùn)練樣本的數(shù)量，將生成粒子與實(shí)際粒子相比，評(píng)價(jià)其分布及表面特征的合理性. 此外，利用網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化和訓(xùn)練方法建立了非參數(shù)粒子識(shí)別模型，并介紹了利用粒子圖像標(biāo)準(zhǔn)化和網(wǎng)絡(luò)可視化對(duì)網(wǎng)絡(luò)進(jìn)行進(jìn)一步優(yōu)化的方法. 本研究中為提高相似粒子分類(lèi)效率提供了1種新方法，將有助于加強(qiáng)對(duì)機(jī)器磨損狀態(tài)的分析，其結(jié)構(gòu)如圖14所示.

從結(jié)構(gòu)上來(lái)看，該模型主要的優(yōu)點(diǎn)如下：

1、采用了Leaky-ReLu激活函數(shù)，使得在反向傳播過(guò)程中，對(duì)于LeakyReLU激活函數(shù)輸入小于零的部分，也可以計(jì)算得到梯度(而不是像ReLU一樣值為0).

2、采用了條件生成對(duì)抗網(wǎng)絡(luò)生成及鑒定樣本，以增加稀少樣本的數(shù)量.

3、利用粒子圖像標(biāo)準(zhǔn)化和網(wǎng)絡(luò)可視化對(duì)識(shí)別網(wǎng)絡(luò)進(jìn)行了進(jìn)一步優(yōu)化，使其能準(zhǔn)確識(shí)別所有測(cè)試的疲勞和嚴(yán)重滑動(dòng)顆粒及其典型特性.

主要的缺點(diǎn)在于：

在粒子識(shí)別模塊中，該神經(jīng)網(wǎng)絡(luò)同時(shí)使用Dropout和BN可能會(huì)得到更差的效果. Xiang等[79]指出，Dropout和BN之間沖突的關(guān)鍵是網(wǎng)絡(luò)狀態(tài)切換過(guò)程中存在神經(jīng)方差(Neural variance)不一致行為，這種現(xiàn)象稱(chēng)為方差偏移.

Fig. 14 Schematic diagram of non-parametric particle automatic recognition system[54]圖14 三維非參數(shù)磨粒自動(dòng)識(shí)別系統(tǒng)結(jié)構(gòu)示意圖[54]

2.4 磨粒圖像的來(lái)源

當(dāng)前磨粒圖像數(shù)據(jù)較為缺乏，大多數(shù)磨粒智能識(shí)別研究所采用的圖片數(shù)量在1 000張以內(nèi)，且來(lái)源的系統(tǒng)種類(lèi)也不多，對(duì)現(xiàn)實(shí)的參考意義稍低. 在以上的研究之中，磨粒圖片最常見(jiàn)的來(lái)源是磨損試驗(yàn)機(jī)，一般會(huì)嚴(yán)格設(shè)計(jì)好磨損參數(shù)以達(dá)到仿真效果. 另外也有一些研究者采用來(lái)源于真實(shí)設(shè)備的鐵譜圖像數(shù)據(jù)，其中最引人注目的是采用真實(shí)設(shè)備的在線監(jiān)測(cè)鐵譜圖作為數(shù)據(jù)源，這樣的數(shù)據(jù)最具價(jià)值. 表2所示為第2節(jié)中有關(guān)基于卷積神經(jīng)網(wǎng)絡(luò)的磨粒識(shí)別模型的數(shù)據(jù)集情況簡(jiǎn)述.

表2 數(shù)據(jù)集情況簡(jiǎn)述Table 2 Overview of datasets

3 磨粒智能識(shí)別的研究方向展望

很多年來(lái)，油液監(jiān)測(cè)一直以離線監(jiān)測(cè)為主，遠(yuǎn)遠(yuǎn)不能滿足當(dāng)今設(shè)備長(zhǎng)時(shí)間連續(xù)運(yùn)作的需要，因此在線監(jiān)測(cè)成為了未來(lái)發(fā)展方向的熱點(diǎn)之一，自然地磨粒智能識(shí)別就成為了在線監(jiān)測(cè)的重要環(huán)節(jié). 在線監(jiān)測(cè)磨粒識(shí)別的工作其實(shí)早在2015年已經(jīng)有學(xué)者在研究[80]. 隨著卷積神經(jīng)網(wǎng)絡(luò)的興起，很多有利于磨粒在線智能識(shí)別的技術(shù)也隨之興起，甚至不再局限于磨粒的識(shí)別.

3.1 設(shè)備磨損識(shí)別

由于磨粒碎片分析有其局限性，包括磨損碎片受沖擊而變形，歷史碎片積累以及外來(lái)污染物等的影響[81]，所以近年來(lái)有研究者甚至已經(jīng)不滿足于使用卷積神經(jīng)網(wǎng)絡(luò)技術(shù)對(duì)磨損磨粒進(jìn)行智能離線分析，而是直接就設(shè)備磨損表面進(jìn)行特征分析. 例如，2020年，Chang等[82]提出了1種結(jié)合磨損表面復(fù)制成像和卷積神經(jīng)網(wǎng)絡(luò)自動(dòng)評(píng)估磨損嚴(yán)重程度的新方法，用于齒輪磨損機(jī)制(一級(jí)推理)和嚴(yán)重程度(二級(jí)推理)的自動(dòng)評(píng)估. 同年，Suh等[83]提出了1種用于軸承磨損的卷積神經(jīng)網(wǎng)絡(luò)，無(wú)閾值少量樣本預(yù)測(cè)旋轉(zhuǎn)機(jī)器健康狀態(tài)，比其他有閾值方法預(yù)測(cè)得更早且更為有效. 磨損碎片識(shí)別和磨損表面識(shí)別并不是相互孤立的，在未來(lái)很有可能以1種相互輔助進(jìn)行故障診斷的形式存在.

3.2 多源數(shù)據(jù)融合

獲取磨粒信息不完全也是在線監(jiān)測(cè)磨粒識(shí)別的難點(diǎn)之一. 從2017年開(kāi)始就陸續(xù)有研究者提出利用卷積神經(jīng)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)多焦點(diǎn)圖像融合，這樣做的目的是可以提高照片的分辨率和協(xié)同多種傳感器的優(yōu)勢(shì)獲取更多磨粒圖像信息. 如2017年，Tang等[84]提出了1種像素級(jí)卷積神經(jīng)網(wǎng)絡(luò)，它可以從源圖像的鄰域信息中識(shí)別出聚焦和離焦像素，用于多聚焦圖像融合.2019年，Ma等[85]提出了1種基于深層神經(jīng)網(wǎng)絡(luò)的邊界感知多焦點(diǎn)融合方法. 該方法利用殘差網(wǎng)絡(luò)，采用兩通道模型直接從源圖像中提取更多有用的信息，克服了很難直接捕獲三維場(chǎng)景全聚焦圖像的困難. 2020年，Wang等[86]總結(jié)了前人的方法，創(chuàng)新性地提出了1種新的基于卷積神經(jīng)網(wǎng)絡(luò)的多焦點(diǎn)圖像融合方法以識(shí)別聚焦和離焦像素，在融合圖像的視覺(jué)質(zhì)量和客觀評(píng)價(jià)方面取得最先進(jìn)的結(jié)果. 此外，多傳感器技術(shù)為在線監(jiān)測(cè)提供了多方面的數(shù)據(jù)，但目前大多數(shù)基于卷積神經(jīng)網(wǎng)絡(luò)的智能監(jiān)測(cè)系統(tǒng)卻不能很好地將多方面信息利用起來(lái)，即不考慮特征融合. 近年來(lái)已經(jīng)有學(xué)者在研究相關(guān)的問(wèn)題，2020年，Xu等[87]提出了1種基于深度學(xué)習(xí)和多傳感器特征融合的新型集成模型，在集成模型中開(kāi)發(fā)的并行卷積神經(jīng)網(wǎng)絡(luò)(PCNN)可以實(shí)現(xiàn)多感官特征融合.

多源數(shù)據(jù)融合的發(fā)展為在線監(jiān)測(cè)中磨粒圖像的去模糊化和獲取磨粒三維信息提供了參考，為未來(lái)在線監(jiān)測(cè)磨粒智能識(shí)別打下了基礎(chǔ).

3.3 離焦圖像復(fù)原

磨粒是1種三維實(shí)體，故而在圖像拍攝過(guò)程中往往會(huì)出現(xiàn)離焦的情況. 若要對(duì)離焦的圖像直接進(jìn)行復(fù)原，在圖像超分辨率領(lǐng)域早已有很多研究[88]，但在磨粒識(shí)別領(lǐng)域上，離焦圖象復(fù)原的研究則很少. 2019年，Peng等[89]提出用高斯模型得到背景，再用圖像差分法將磨粒與背景分離，最后全方面提取了運(yùn)動(dòng)中粒子的二維和三維特征，但圖像經(jīng)過(guò)提取后經(jīng)常出現(xiàn)不夠清晰的情況，導(dǎo)致信息丟失. 2019年，Wu等[90]提出了1種基于卷積神經(jīng)網(wǎng)絡(luò)的恢復(fù)失焦磨損碎片圖像的方法，能夠恢復(fù)更多關(guān)于磨損碎片的特征，尤其是表面的細(xì)節(jié). Du等[91]利用卷積神經(jīng)網(wǎng)絡(luò)，采用兩種解決方案來(lái)增強(qiáng)圖形細(xì)節(jié)和抑制噪聲. 離焦圖像復(fù)原的發(fā)展將推動(dòng)多源數(shù)據(jù)融合的發(fā)展，從而推動(dòng)整個(gè)磨粒智能識(shí)別的發(fā)展.

3.4 半監(jiān)督學(xué)習(xí)

機(jī)器學(xué)習(xí)技術(shù)有三種，1種是有監(jiān)督學(xué)習(xí)，另1種是無(wú)監(jiān)督學(xué)習(xí)，還有1種是半監(jiān)督學(xué)習(xí). 有監(jiān)督學(xué)習(xí)只用標(biāo)注過(guò)的數(shù)據(jù)進(jìn)行訓(xùn)練，無(wú)監(jiān)督學(xué)習(xí)則只用未標(biāo)注的數(shù)據(jù)，而半監(jiān)督學(xué)習(xí)則用大量未標(biāo)注的數(shù)據(jù)，少量標(biāo)注的數(shù)據(jù)來(lái)進(jìn)行訓(xùn)練. 正如前文所述，目前磨粒智能識(shí)別的模型訓(xùn)練需要大量已標(biāo)注的訓(xùn)練集，而訓(xùn)練集的標(biāo)注會(huì)耗費(fèi)大量人力物力，同時(shí)由于每個(gè)人的經(jīng)驗(yàn)不同，標(biāo)注的訓(xùn)練集將帶有一定的主觀性，所以最好可以通過(guò)計(jì)算機(jī)半監(jiān)督學(xué)習(xí)來(lái)將磨粒進(jìn)行聚類(lèi)[92].但目前有關(guān)磨損碎片識(shí)別領(lǐng)域的成果，主要都集中于有監(jiān)督學(xué)習(xí)方面. 而半監(jiān)督學(xué)習(xí)方面，2019年Li等[93]提出的基于深度學(xué)習(xí)的半監(jiān)督齒輪故障診斷可以為磨損碎片識(shí)別提供借鑒. 事實(shí)上，半監(jiān)督學(xué)習(xí)在其自身的領(lǐng)域有不少的成果，總體來(lái)說(shuō)目前仍然處于初步發(fā)展階段，而在磨粒識(shí)別領(lǐng)域則幾乎沒(méi)有任何進(jìn)展，其發(fā)展對(duì)于磨損碎片識(shí)別領(lǐng)域極為重要，應(yīng)關(guān)注其進(jìn)展[94-95].

3.5 小結(jié)

Fig. 15 Research direction of wear particle intelligent recognition圖15 磨粒智能識(shí)別研究方向

磨粒識(shí)別是設(shè)備在線監(jiān)測(cè)的其中一環(huán)，也是重要的一環(huán)，磨粒識(shí)別朝著智能識(shí)別的方向發(fā)展，必然使得設(shè)備在線監(jiān)測(cè)智能化. 磨粒智能識(shí)別未來(lái)的發(fā)展方向，不僅需要緊跟深度學(xué)習(xí)的發(fā)展方向，還要緊貼在線監(jiān)測(cè)的發(fā)展方向[96]. 圖15為磨粒智能識(shí)別未來(lái)的研究方向簡(jiǎn)圖.

4 結(jié)論

磨粒智能識(shí)別為工業(yè)上的設(shè)備鐵譜圖像診斷提供了1個(gè)快速而又準(zhǔn)確的方法，能夠解放鐵譜技術(shù)人員的生產(chǎn)力，并使鐵譜圖像的診斷客觀化. 磨粒智能識(shí)別目前已經(jīng)取得了顯著的成果，總結(jié)近年來(lái)主要的磨粒智能識(shí)別相關(guān)成果得出以下結(jié)論：

a. 以卷積神經(jīng)網(wǎng)絡(luò)技術(shù)為基礎(chǔ)的深度學(xué)習(xí)方法為主流的磨粒智能識(shí)別方案.

磨粒識(shí)別本質(zhì)上是1種圖像識(shí)別，自2012年以來(lái)，基于深度學(xué)習(xí)方法的圖像識(shí)別技術(shù)大行其道，從而也引發(fā)了后面摩擦學(xué)研究者將深度學(xué)習(xí)的方法引入到磨粒識(shí)別中. 自2018年12月，Wang等率先發(fā)表了基于卷積神經(jīng)網(wǎng)絡(luò)的磨粒識(shí)別系統(tǒng)后，以卷積神經(jīng)網(wǎng)絡(luò)技術(shù)為基礎(chǔ)的深度學(xué)習(xí)方法成為了磨粒智能識(shí)別的主流方案，并多次被摩擦學(xué)方面的國(guó)外高水平期刊如Wear和Tribology International等收錄.

b. 人工標(biāo)注圖譜是制作磨粒訓(xùn)練集的主要方法，但耗費(fèi)大量人力物力，且磨損顆粒的多樣性不夠. 目前制作磨粒訓(xùn)練集的主要方法是人工制作鐵譜，然后拍攝鐵譜圖像，再采用人工的方法對(duì)鐵譜圖像中的磨粒進(jìn)行標(biāo)注. 這樣一系列的工作過(guò)程均非常繁瑣，其中以磨粒標(biāo)注工作尤為耗費(fèi)人力物力. 以某公司的磨粒標(biāo)注工作為例，8名技術(shù)人員每天標(biāo)注約2 h，1個(gè)月的時(shí)間大概能標(biāo)注磨粒圖譜1 000張，而1 000張磨粒圖譜對(duì)訓(xùn)練識(shí)別模型來(lái)說(shuō)是杯水車(chē)薪，而且相當(dāng)一部分鐵譜圖像的磨損顆粒多樣性不足，影響機(jī)器對(duì)某部分磨粒的識(shí)別效果.

c. 通過(guò)人工標(biāo)注訓(xùn)練集磨粒的磨損類(lèi)型，由計(jì)算機(jī)自行提取特征，盡管區(qū)別于以往的人工定義特征，但技術(shù)人員在標(biāo)記樣本時(shí)仍然存在主觀因素. 在磨粒訓(xùn)練集制作的過(guò)程中，人工標(biāo)注磨粒的環(huán)節(jié)具體的做法是需要技術(shù)人員手動(dòng)標(biāo)注出磨粒，并根據(jù)經(jīng)驗(yàn)給出磨損種類(lèi)，有經(jīng)驗(yàn)的技術(shù)人員和無(wú)經(jīng)驗(yàn)的技術(shù)人員對(duì)磨粒種類(lèi)認(rèn)識(shí)有一點(diǎn)的偏差，即使同樣是有經(jīng)驗(yàn)的技術(shù)人員，對(duì)于同一磨粒圖像也會(huì)有不同的見(jiàn)解，而且鐵譜圖像具有磨粒鏈多、小顆粒多和重疊顆粒多的特點(diǎn)，再加上磨粒失焦問(wèn)題，所以人工標(biāo)注訓(xùn)練集存在很大的主觀因素，違背了磨粒智能識(shí)別的客觀性原則.

d. 磨粒智能識(shí)別在在線監(jiān)測(cè)方向?qū)⑹俏磥?lái)磨粒智能識(shí)別的應(yīng)用方向之一. 摩擦學(xué)系統(tǒng)油液監(jiān)測(cè)多年來(lái)采用離線監(jiān)測(cè)為主，已經(jīng)不能滿足現(xiàn)代設(shè)備長(zhǎng)周期連續(xù)監(jiān)測(cè)需求，所以設(shè)備在線油液檢測(cè)技術(shù)成為了當(dāng)前設(shè)備潤(rùn)滑磨損失效診斷技術(shù)重要發(fā)展熱點(diǎn)和趨勢(shì)之一. 磨粒智能識(shí)別也應(yīng)該以在線鐵譜識(shí)別為主要的發(fā)展趨勢(shì)以滿足現(xiàn)代設(shè)備監(jiān)測(cè)的要求. 但目前的研究大多數(shù)都是基于離線鐵譜識(shí)別進(jìn)行的，所采用的鐵譜圖像也大多數(shù)來(lái)源于離線鐵譜，磨粒智能識(shí)別在在線監(jiān)測(cè)方向的研究略顯不足.

e. 必須緊跟深度學(xué)習(xí)圖像識(shí)別的發(fā)展情況，才能保證磨粒智能識(shí)別水平領(lǐng)先. 磨粒智能識(shí)別本質(zhì)上是1種圖像識(shí)別，其發(fā)展依托于圖像識(shí)別技術(shù)的發(fā)展. 磨粒智能識(shí)別領(lǐng)域的技術(shù)很長(zhǎng)一段時(shí)間遠(yuǎn)遠(yuǎn)落后于圖像識(shí)別領(lǐng)域，例如，圖像識(shí)別在2012年已經(jīng)得到突破性進(jìn)展，研究者很快就發(fā)現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)是目前圖像識(shí)別的最佳選擇，但直到2018年才有基于卷積神經(jīng)網(wǎng)絡(luò)的磨粒識(shí)別成果發(fā)表，中間的間隔依舊有不少采用傳統(tǒng)的圖像識(shí)別技術(shù). 對(duì)磨粒的檢測(cè)定位方面的目標(biāo)檢測(cè)技術(shù)也相對(duì)滯后.

作為摩擦學(xué)技術(shù)人員，很難像深度學(xué)習(xí)技術(shù)人員一樣鉆研圖像識(shí)別的深層次技術(shù)，但應(yīng)該時(shí)刻緊跟圖像識(shí)別領(lǐng)域相關(guān)的進(jìn)展，才能保證磨粒智能識(shí)別的水平領(lǐng)先.