基于改進(jìn)FaceNet的飛行器結(jié)構(gòu)裂紋識(shí)別方法

呂帥帥，楊宇，王彬文，殷晨飛

中國(guó)飛機(jī)強(qiáng)度研究所，西安 710065

金屬裂紋是航空結(jié)構(gòu)的一種常見(jiàn)損傷形式。在航空結(jié)構(gòu)疲勞試驗(yàn)中及時(shí)發(fā)現(xiàn)并跟蹤損傷擴(kuò)展過(guò)程，能夠暴露航空結(jié)構(gòu)設(shè)計(jì)的薄弱環(huán)節(jié)，支撐結(jié)構(gòu)強(qiáng)度和完整性評(píng)估，同時(shí)也為航空結(jié)構(gòu)維修大綱和維修手冊(cè)編寫(xiě)提供必要的技術(shù)數(shù)據(jù)。目前發(fā)現(xiàn)裂紋主要依靠人工目視檢查，以及定期的無(wú)損檢測(cè)(如渦流、超聲等)。但是飛機(jī)結(jié)構(gòu)內(nèi)部空間狹小、大量傳感器線纜干擾，使得無(wú)損檢測(cè)人工操作極為不方便。另外，裂紋通常只在結(jié)構(gòu)加載至高載狀態(tài)時(shí)才目視可見(jiàn)，而此時(shí)出于安全考慮，檢測(cè)人員是無(wú)法抵近檢查的。因此，傳統(tǒng)的人工無(wú)損檢測(cè)存在較大的損傷漏檢可能性。

隨著計(jì)算機(jī)視覺(jué)和機(jī)器人技術(shù)的發(fā)展和應(yīng)用，機(jī)器視覺(jué)為飛機(jī)疲勞試驗(yàn)中的裂紋自動(dòng)化檢測(cè)提供了一條新的解決途徑。通過(guò)工業(yè)攝像頭和高精度運(yùn)動(dòng)系統(tǒng)(如機(jī)械臂、爬行機(jī)器人)定位檢測(cè)位置并獲取高清圖像，再應(yīng)用目標(biāo)檢測(cè)算法進(jìn)行裂紋自動(dòng)識(shí)別，可以大幅度降低人工在成本、實(shí)時(shí)性和危險(xiǎn)性等方面的不利影響。

目前研究者主要采用單幀目標(biāo)檢測(cè)算法進(jìn)行裂紋識(shí)別，即在單張圖像內(nèi)搜索裂紋。Ren等提出的Faster R-CNN算法和Redmon等提出的YOLO算法是典型的單幀目標(biāo)識(shí)別架構(gòu)，其差異體現(xiàn)在對(duì)檢測(cè)準(zhǔn)確率和計(jì)算速度的不同側(cè)重。Deng、Du、Wang和楊晶晶等分別使用Faster R-CNN、YOLO等進(jìn)行了混凝土結(jié)構(gòu)和金屬結(jié)構(gòu)的裂紋檢測(cè)，且獲得較高的檢測(cè)準(zhǔn)確率。但是需要注意的是，被識(shí)別的裂紋主要是張開(kāi)位移較大的混凝土裂紋和長(zhǎng)度較長(zhǎng)的金屬裂紋。全尺寸疲勞試驗(yàn)中的裂紋長(zhǎng)度、張開(kāi)位移均較小，且金屬結(jié)構(gòu)表面的紋理、劃痕、打磨痕跡等與這些微小裂紋的相似度極高，形成強(qiáng)烈的干擾。因此，單幀目標(biāo)檢測(cè)算法并不適合于飛機(jī)全尺寸疲勞試驗(yàn)中微小裂紋的識(shí)別。

另一種潛在的方法是采用基于兩幀圖像對(duì)比的相關(guān)性識(shí)別算法進(jìn)行微小裂紋檢測(cè)。該類算法是以兩張圖像間特征的相關(guān)性為依據(jù)，判別兩者是否包含同一個(gè)檢測(cè)目標(biāo)，分為特征提取和相關(guān)性計(jì)算兩個(gè)步驟。常用的特征提取方法包括多通道方向梯度直方圖、顏色命名算法、多特征集成尺度自適應(yīng)算法和深度學(xué)習(xí)算法等，相關(guān)性計(jì)算則以基于傅里葉變換和核函數(shù)的計(jì)算方法為主。該類方法目前通常應(yīng)用于目標(biāo)跟蹤，即跟蹤已知對(duì)象的運(yùn)動(dòng)軌跡。但是這類算法無(wú)法直接應(yīng)用于飛機(jī)全尺寸疲勞試驗(yàn)，因?yàn)槲⑿×鸭y的尺寸相對(duì)于檢測(cè)區(qū)域存在2個(gè)數(shù)量級(jí)的差別，很難對(duì)圖像特征產(chǎn)生顯著影響。此外，常用的特征提取方法對(duì)圖像亮度、清晰度敏感，而全機(jī)疲勞試驗(yàn)由于結(jié)構(gòu)的不規(guī)則振動(dòng)，無(wú)法保證圖像質(zhì)量的一致性。

因此，本文提出了面向飛機(jī)全尺寸疲勞試驗(yàn)的微小裂紋識(shí)別方法，其創(chuàng)新點(diǎn)體現(xiàn)為：① 針對(duì)劃痕、污損等廣泛存在的干擾因素，采用特征對(duì)比策略識(shí)別裂紋；② 針對(duì)微小裂紋與被檢測(cè)區(qū)域尺寸存在2個(gè)數(shù)量級(jí)差別這一矛盾，提出基于關(guān)鍵部位狀態(tài)對(duì)比的識(shí)別方法，首先根據(jù)疲勞裂紋萌生機(jī)理，設(shè)定重點(diǎn)檢測(cè)區(qū)域，然后將檢測(cè)區(qū)域劃分為4個(gè)部位，使得微小裂紋與檢測(cè)部位的幾何尺寸處于相同數(shù)量級(jí)；③ 為降低疲勞試驗(yàn)中結(jié)構(gòu)振動(dòng)導(dǎo)致的清晰度、亮度變化等問(wèn)題對(duì)裂紋識(shí)別準(zhǔn)確率的影響，選取人臉識(shí)別模型FaceNet作為基礎(chǔ)架構(gòu)，再根據(jù)裂紋數(shù)據(jù)集的結(jié)構(gòu)特點(diǎn)，對(duì)FaceNet模型進(jìn)行相應(yīng)改進(jìn)。

1 面向全尺寸疲勞試驗(yàn)的裂紋檢測(cè)方法

1.1 檢測(cè)策略

本文應(yīng)用特征對(duì)比的方法進(jìn)行目標(biāo)檢測(cè)。圖像間的特征能夠進(jìn)行有效對(duì)比的前提是檢測(cè)目標(biāo)與被拍攝區(qū)域不能存在跨數(shù)量級(jí)的尺寸差別。而在全尺寸結(jié)構(gòu)試驗(yàn)中，雖然飛機(jī)結(jié)構(gòu)龐大，但是裂紋均是在結(jié)構(gòu)細(xì)節(jié)處萌生，例如緊固件孔和非連續(xù)結(jié)構(gòu)等應(yīng)力集中區(qū)域。因此，本文采用基于關(guān)鍵部位狀態(tài)對(duì)比的策略進(jìn)行裂紋識(shí)別。

例如根據(jù)結(jié)構(gòu)受力分析可知，圖1中可能出現(xiàn)裂紋的關(guān)鍵部位為緊固件1～6的孔邊。為提高微小裂紋的檢出概率和裂紋在檢測(cè)圖像中的比例，本文將每個(gè)關(guān)鍵部位的周邊區(qū)域分為4個(gè)部分，每一部分作為一個(gè)檢測(cè)部位(如緊固件 1 所示)。通過(guò)對(duì)比每個(gè)檢測(cè)部位的實(shí)時(shí)采集圖像和無(wú)裂紋模板來(lái)發(fā)現(xiàn)裂紋。

圖1 全尺寸疲勞試驗(yàn)中關(guān)鍵區(qū)域的檢測(cè)圖像示例Fig.1 Sample images of key areas in a full-scale fatigue test

1.2 基于改進(jìn)FaceNet的裂紋檢測(cè)模型

FaceNet是一種基于深度學(xué)習(xí)的人臉識(shí)別模型，本文選擇FaceNet作為裂紋識(shí)別模型的基礎(chǔ)架構(gòu)，因?yàn)樵撃Ｐ偷暮诵氖侨M損失。三元組損失的優(yōu)勢(shì)在于細(xì)節(jié)識(shí)別，善于處理非同類、極相似樣本的分類問(wèn)題，可支撐深度學(xué)習(xí)網(wǎng)絡(luò)提取僅對(duì)裂紋敏感的圖像特征，降低圖像質(zhì)量變化對(duì)檢測(cè)結(jié)果的影響。

1.2.1 FaceNet模型

FaceNet實(shí)現(xiàn)人臉識(shí)別的基本原理為：利用深度學(xué)習(xí)網(wǎng)絡(luò)將輸入的人臉圖像映射至一個(gè)128維的歐氏特征空間，并計(jì)算不同圖像在新空間內(nèi)的特征距離，特征距離小于類別判定閾值的兩張人臉圖像可被判定為同一個(gè)人。

FaceNet的基本結(jié)構(gòu)如圖2所示，其中深度學(xué)習(xí)網(wǎng)絡(luò)采用已有的成熟網(wǎng)絡(luò)。該模型能夠?qū)崿F(xiàn)高準(zhǔn)確率人臉識(shí)別的根本原因在于提出了三元組損失的概念，并應(yīng)用三元組損失對(duì)深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

圖2 FaceNet模型的基本架構(gòu)Fig.2 Basic architecture of FaceNet

人臉識(shí)別問(wèn)題中的“三元組”指的是由模板-正例-反例三張圖片組成的一個(gè)數(shù)據(jù)樣本，其中模板和正例為同一個(gè)人在不同狀態(tài)下(如正臉、側(cè)臉)的兩張圖像、反例則為任意其他人的一張圖像。在訓(xùn)練過(guò)程中，模型每次處理個(gè)樣本(記為一個(gè)批處理數(shù)據(jù))，每個(gè)樣本通過(guò)深度學(xué)習(xí)網(wǎng)絡(luò)提取特征，得到3個(gè)128維的特征向量。然后網(wǎng)絡(luò)根據(jù)特征向量計(jì)算批處理數(shù)據(jù)的三元組損失。三元組損失具體可表示為

(1)

由式(1)可知，三元組損失的本質(zhì)是在新的特征空間內(nèi)，盡量減小模板和正例圖像間的特征距離，同時(shí)盡量增大模板和反例圖像的特征距離，并要求前者的距離值至少比后者的距離值小。也就是說(shuō)，F(xiàn)aceNet通過(guò)三元組損失使深度學(xué)習(xí)網(wǎng)絡(luò)對(duì)比學(xué)習(xí)同一個(gè)人在不同狀態(tài)下(如正臉、側(cè)臉、不同表情)的共性特征和不同人間的差異特征，這使FaceNet提取的特征向量不易受人臉圖像狀態(tài)的影響，而對(duì)人臉的固有屬性更加敏感。

1.2.2 裂紋識(shí)別與人臉識(shí)別的差異分析

在復(fù)雜的全尺寸疲勞試驗(yàn)環(huán)境中，針對(duì)同一檢測(cè)部位在不同時(shí)刻拍攝的圖像在亮度、清晰度和拍攝角度等方面均可能存在差異。深度學(xué)習(xí)模型必須能夠準(zhǔn)確區(qū)分裂紋的產(chǎn)生和圖像質(zhì)量的變化，即要求模型提取的特征不易受圖像質(zhì)量影響，而對(duì)裂紋十分敏感。這與FaceNet模型中三元組損失的設(shè)計(jì)目標(biāo)是一致的。因此本文選擇FaceNet作為裂紋識(shí)別的基礎(chǔ)架構(gòu)。但是，裂紋識(shí)別與人臉識(shí)別問(wèn)題有兩方面的差別：數(shù)據(jù)結(jié)構(gòu)差異及由此引起的特征分布差異。

1) 數(shù)據(jù)結(jié)構(gòu)的差異

在人臉識(shí)別問(wèn)題中，若待識(shí)別數(shù)據(jù)包含個(gè)人，則每個(gè)人可看作一個(gè)類別，模型處理的是一個(gè)分類問(wèn)題；而在裂紋識(shí)別問(wèn)題中，無(wú)論訓(xùn)練數(shù)據(jù)來(lái)自于多少個(gè)檢測(cè)部位，其均為一個(gè)二分類問(wèn)題(有、無(wú)裂紋)。針對(duì)該問(wèn)題，需對(duì)原FaceNet中的三元組樣本生成規(guī)則進(jìn)行改進(jìn)。

原FaceNet模型的樣本生成規(guī)則如圖3所示：① 從待分類的個(gè)人中隨機(jī)選擇兩個(gè)和，在的圖像中隨機(jī)抽取兩張作為模板和正例，在的圖像中隨機(jī)抽取一張作為反例，構(gòu)成一個(gè)三元組樣本；② 重復(fù)步驟①至樣本數(shù)量達(dá)到設(shè)定要求；③ 計(jì)算所有樣本的正、反例距離差(見(jiàn)式(1))，并將大于0的所有樣本作為最終樣本。

圖3 FaceNet的樣本生成規(guī)則Fig.3 FaceNet sample generation rules

改進(jìn)FaceNet裂紋樣本的生成規(guī)則如圖4所示：① 針對(duì)第一個(gè)檢測(cè)部位，在所有無(wú)裂紋圖像中隨機(jī)抽取2張分別作為模板和正例，并在所有有裂紋圖像中隨機(jī)抽取一張作為反例，組成一個(gè)樣本；② 重復(fù)步驟①，直至檢測(cè)部位1的樣本數(shù)量達(dá)到設(shè)定要求；③ 計(jì)算檢測(cè)部位1中所有樣本的正、反例距離差(見(jiàn)式(1))，并將大于0的所有樣本作為位置1的最終樣本；④ 針對(duì)其余位置，仿照第一個(gè)檢測(cè)部位，重復(fù)以上操作，獲取每個(gè)部位的最終樣本；⑤ 所有部位的最終樣本組成總樣本，再分割成批處理數(shù)據(jù)進(jìn)入深度學(xué)習(xí)模型參與訓(xùn)練。

圖4 改進(jìn)FaceNet的樣本生成規(guī)則Fig.4 Sample generation rules of improved FaceNet

2) 由數(shù)據(jù)結(jié)構(gòu)差異引起的特征分布差異

對(duì)比兩種樣本生成規(guī)則可知：① 原FaceNet模型是對(duì)所有數(shù)據(jù)進(jìn)行分類，改進(jìn)后的模型是在每個(gè)檢測(cè)部位內(nèi)部進(jìn)行分類；② 原FaceNet模型是對(duì)每個(gè)類別進(jìn)行聚類，而改進(jìn)后的模型只對(duì)每個(gè)檢測(cè)部位的無(wú)裂紋圖像進(jìn)行聚類。樣本生成規(guī)則的更改直接影響了模型提取特征的分布規(guī)律。圖5為原FaceNet模型在人臉?lè)诸悢?shù)據(jù)集上提取特征的分布示例，其中數(shù)字表示第個(gè)人的人臉圖像，表示第個(gè)人圖像的類內(nèi)距離，,表示第、兩個(gè)人的類間距離；圖6所示為改進(jìn)FaceNet在裂紋數(shù)據(jù)集上提取的數(shù)據(jù)特征的分布示例，其中-crack、-uncrack分別表示裂紋數(shù)據(jù)樣本中第個(gè)部位的有、無(wú)裂紋圖像，1表示第個(gè)部位有、無(wú)裂紋圖像的類間距離，2表示第個(gè)部位無(wú)裂紋圖像的類內(nèi)距離。需要指出的是，圖5和圖6中顯示的是原128維特征經(jīng)過(guò)主成分分析降至2維后的分布狀態(tài)，降維會(huì)導(dǎo)致部分?jǐn)?shù)據(jù)特征的改變，只能定性表示原特征的分布規(guī)律。

圖5 FaceNet提取特征的分布示例Fig.5 Distribution example of FaceNet extracted features

對(duì)比圖5和圖6可知，裂紋特征分布的規(guī)律性明顯低于人臉特征。其中最明顯的就是圖5中的類內(nèi)距離整體小于類間距離，例如、、小于、?；谶@一規(guī)律，原FaceNet模型的類別判定閾值計(jì)算可以轉(zhuǎn)化為一個(gè)簡(jiǎn)單的線性問(wèn)題；而在圖6中，數(shù)據(jù)特征的分布是高度非線性的，類別判定閾值的求取不再是一個(gè)線性問(wèn)題，下面從兩個(gè)層面對(duì)該問(wèn)題進(jìn)行分析。

首先，各檢測(cè)部位有、無(wú)裂紋的判定閾值是不一致的，例如圖6中檢測(cè)部位1的判定閾值∈(,)，部位3的判定閾值∈(,)，而小于，也就是說(shuō)無(wú)法通過(guò)線性計(jì)算的方法在各檢測(cè)部位間確定一個(gè)統(tǒng)一的判定閾值；其次，即使在一個(gè)檢測(cè)部位內(nèi)部，判定閾值也無(wú)法直接求取。例如針對(duì)檢測(cè)部位2，小于，也就是說(shuō)在新的樣本生成規(guī)則下，三元組損失只能保證每一張無(wú)裂紋圖像到任意一張有裂紋圖像的距離都大于該無(wú)裂紋圖像到其他任意無(wú)裂紋圖像的距離(例如>)，卻無(wú)法保證1大于2，這是裂紋特征與原FaceNet模型提取特征的最大區(qū)別，該區(qū)別增加了特征分類問(wèn)題的非線性度。

圖6 原FaceNet模型提取的裂紋特征的分布規(guī)律示意圖Fig.6 Schematic diagram of distribution of crack characteristics extracted from original FaceNet model

1.2.3 對(duì)現(xiàn)有FaceNet模型的改進(jìn)

通過(guò)以上分析可知，更改樣本生成規(guī)則后，原FaceNet模型的架構(gòu)和三元組損失已無(wú)法滿足裂紋識(shí)別任務(wù)的要求。因此，本文在原FaceNet模型后增加一個(gè)全連接層(2個(gè)神經(jīng)元)直接進(jìn)行樣本分類，同時(shí)在原損失函數(shù)中加入分類層的交叉熵?fù)p失，以在參數(shù)優(yōu)化過(guò)程中統(tǒng)籌考慮特征分布和分類準(zhǔn)確率。改進(jìn)后的模型架構(gòu)如圖7所示，原FaceNet模型輸出的3個(gè)128維特征向量先通過(guò)特征拼接形成兩個(gè)256維的拼接向量，再輸入全連接層進(jìn)行分類。特征拼接的具體方法如圖8所示。

圖7 基于改進(jìn)FaceNet的裂紋識(shí)別模型架構(gòu)Fig.7 Framework of crack identification model based on improved FaceNet

圖8 改進(jìn)FaceNet中的特征拼接方法Fig.8 Feature mosaic method in improved FaceNet

改進(jìn)FaceNet模型的損失函數(shù)具體可表示為

Loss=triplet_loss+cross_entropy_loss=

(2)

式中：cross_entropy_loss為交叉熵?fù)p失；為批處理數(shù)據(jù)中的分類樣本個(gè)數(shù)，=2；表示第個(gè)樣本標(biāo)簽的真值；1{=}表示樣本標(biāo)簽真值為時(shí)，系數(shù)為1，其他情況系數(shù)為0；為分類層第個(gè)神經(jīng)元的輸出值。

2 試驗(yàn)設(shè)計(jì)與結(jié)果分析

2.1 試驗(yàn)設(shè)計(jì)

為豐富樣本類型，本文使用的數(shù)據(jù)集由兩類構(gòu)成，第1類是全尺寸疲勞試驗(yàn)的實(shí)時(shí)檢測(cè)圖像(如圖9(a)所示)，這類數(shù)據(jù)的圖像像素為2 000萬(wàn)，視場(chǎng)為200 mm×300 mm，物方分辨率為0.055 mm。裂紋為通過(guò)圖像處理手段制造的模擬裂紋。該類圖像共包括200個(gè)檢測(cè)部位，每個(gè)部位有24張圖像，所有圖像均由機(jī)械臂采集系統(tǒng)在艙內(nèi)巡檢時(shí)自動(dòng)拍攝，拍攝間隔時(shí)間為1 d，因此該類圖像代表了全尺寸疲勞試驗(yàn)中待檢測(cè)圖像的質(zhì)量水平。針對(duì)每個(gè)檢測(cè)位置，從24張圖像中隨機(jī)選擇10張?zhí)砑幽M裂紋。

第2類樣本是金屬元件疲勞試驗(yàn)中的裂紋圖像(如圖9(b)所示), 這類數(shù)據(jù)的圖像像素為200萬(wàn)， 視場(chǎng)為33 mm×50 mm，物方分辨率為0.026 mm， 與全尺寸疲勞試驗(yàn)圖像為同一量級(jí)。

圖9 疲勞試驗(yàn)中的數(shù)據(jù)獲取方法Fig.9 Data acquisition method in fatigue test

通過(guò)15個(gè)試驗(yàn)件的疲勞試驗(yàn)共獲取80個(gè)檢測(cè)部位，每個(gè)檢測(cè)部位包含25張無(wú)裂紋圖像和12張真實(shí)裂紋圖像，每張圖像的拍攝間隔時(shí)間為2 s。由于元件疲勞試驗(yàn)中的試驗(yàn)件始終處于振動(dòng)狀態(tài)，所以各圖像間會(huì)存在一定的光線和清晰度差異。

在280個(gè)檢測(cè)位置中隨機(jī)選擇210個(gè)作為訓(xùn)練集、70個(gè)作為測(cè)試集。使用本文提出的改進(jìn)FaceNet模型進(jìn)行訓(xùn)練，深度學(xué)習(xí)網(wǎng)絡(luò)的基礎(chǔ)模型選擇Inception V3，邊界距離設(shè)置為0.05，優(yōu)化器為Adam，設(shè)置一個(gè)批處理數(shù)據(jù)包含40個(gè)三元組樣本，每200個(gè)批次為一個(gè)循環(huán)。經(jīng)過(guò)2 100個(gè)循環(huán)后模型收斂，第2 100個(gè)循環(huán)的平均三元組損失為0，平均交叉熵?fù)p失為0.005。

圖10所示為改進(jìn)FaceNet模型在部分訓(xùn)練集上提取的128維特征的分布狀態(tài)(通過(guò)主成分分析法降維至2維)。對(duì)比圖6可知，圖10中每個(gè)檢測(cè)位置的類間距離(有裂紋圖像到無(wú)裂紋圖像的最小距離)均大于類內(nèi)距離(無(wú)裂紋圖像間的最大距離)，特征分布的規(guī)律性明顯增強(qiáng)。

圖10 改進(jìn)FaceNet提取裂紋特征的分布規(guī)律示意圖Fig.10 Schematic diagram of distribution law of crack feature extracted by improved FaceNet

2.2 結(jié)果分析

針對(duì)測(cè)試集中的每個(gè)檢測(cè)部位，隨機(jī)抽取5個(gè)無(wú)裂紋待檢測(cè)樣本和5個(gè)有裂紋待檢測(cè)樣本，其中無(wú)裂紋樣本由兩張無(wú)裂紋圖像組成，有裂紋樣本由一張無(wú)裂紋、一張有裂紋圖像組成，70個(gè)檢測(cè)位置共獲得700個(gè)檢測(cè)樣本。樣本中待檢測(cè)裂紋的長(zhǎng)度從0.2～8 mm不等。使用訓(xùn)練好的改進(jìn)FaceNet模型對(duì)700個(gè)待檢測(cè)樣本進(jìn)行測(cè)試，測(cè)試結(jié)果中350個(gè)無(wú)裂紋樣本均判定正確，350個(gè)有裂紋樣本中有13個(gè)被判定為無(wú)裂紋，測(cè)試樣本的整體檢測(cè)準(zhǔn)確率為98.1%，有裂紋樣本的誤判率為3.7%。對(duì)誤判樣本進(jìn)行分析發(fā)現(xiàn)，13個(gè)樣本來(lái)自4個(gè)檢測(cè)部位，裂紋長(zhǎng)度均小于0.6 mm 且處于裂尖(如圖11所示)。該現(xiàn)象說(shuō)明大尺寸裂紋更容易被檢出，而小尺寸裂紋由于寬度小，檢出難度較大，這與人工目視檢查的經(jīng)驗(yàn)相同。要提高小尺寸裂紋的檢出概率，可結(jié)合試驗(yàn)場(chǎng)景，通過(guò)減小視場(chǎng)、增大物方分辨率等手段來(lái)實(shí)現(xiàn)。

圖11 誤判樣本示例Fig.11 Example of misjudged samples

需要指出的是，在無(wú)裂紋樣本的部分圖像中，劃痕的形態(tài)與裂紋相似度較高，當(dāng)使用FasterR-CNN對(duì)這些圖像進(jìn)行檢測(cè)時(shí)，劃痕會(huì)被誤判為裂紋。但使用本文模型進(jìn)行檢測(cè)時(shí)，即使待檢測(cè)圖像與模板的清晰度和亮度分布存在一定差異，也均能判斷正確，其對(duì)比如圖12所示。說(shuō)明針對(duì)疲勞試驗(yàn)中的裂紋識(shí)別問(wèn)題，相較于單幀目標(biāo)檢測(cè)算法，該模型優(yōu)勢(shì)明顯。

圖12 Faster R-CNN和改進(jìn)FaceNet檢測(cè)結(jié)果對(duì)比Fig.12 Comparison of Fasters R-CNN and improved FaceNet detection results

此外，本文使用相同的數(shù)據(jù)集對(duì)原FaceNet模型進(jìn)行了訓(xùn)練，并分別使用線性計(jì)算閾值和單獨(dú)訓(xùn)練一個(gè)兩層分類神經(jīng)網(wǎng)絡(luò)的方法完成對(duì)訓(xùn)練集的分類，最后使用以上兩個(gè)完整的模型對(duì)700個(gè)測(cè)試樣本進(jìn)行檢測(cè)，其與改進(jìn)FaceNet模型的性能對(duì)比如表1所示。

由表1可知，改進(jìn)FaceNet模型的檢測(cè)準(zhǔn)確率明顯高于原有模型的79.8%和91.7%，但由于進(jìn)行了向量拼接，模型的復(fù)雜度提升，其在測(cè)試狀態(tài)下的浮點(diǎn)運(yùn)算數(shù)(FLOPs)明顯增大，造成每秒可檢測(cè)圖片數(shù)量減少，該問(wèn)題可通過(guò)提高硬件水平得到改善。

表1 改進(jìn)FaceNet模型與原FaceNet模型的 檢測(cè)結(jié)果對(duì)比Table 1 Comparison of detection results between proposed model and FaceNet

3 結(jié) 論

1) 本文提出了基于關(guān)鍵部位狀態(tài)對(duì)比的裂紋識(shí)別策略，設(shè)計(jì)了基于改進(jìn)FaceNet的裂紋檢測(cè)模型，從而形成了一種基于機(jī)器視覺(jué)的面向飛機(jī)全尺寸疲勞試驗(yàn)的裂紋識(shí)別方法。

2) 本文提出的方法解決了由全尺寸結(jié)構(gòu)與微小裂紋跨數(shù)量級(jí)的尺寸差異導(dǎo)致的裂紋難以被檢測(cè)的問(wèn)題，能夠有效排除被檢測(cè)結(jié)構(gòu)表面廣泛存在的劃痕、污損等因素的干擾，實(shí)現(xiàn)了高準(zhǔn)確率的裂紋識(shí)別。

3) 本方法裂紋識(shí)別準(zhǔn)確率高的原因?yàn)椋禾卣鲗?duì)比機(jī)制可有效避免劃痕等干擾因素的影響；三元組損失支撐模型對(duì)比學(xué)習(xí)裂紋特征和圖像質(zhì)量差異；面向?qū)嶋H問(wèn)題的模型架構(gòu)和損失函數(shù)改進(jìn)。

4) 本文提出的方法需結(jié)合工程經(jīng)驗(yàn)才能縮小裂紋檢測(cè)范圍，為實(shí)現(xiàn)緊固件孔、非連續(xù)結(jié)構(gòu)等應(yīng)力集中區(qū)域的自動(dòng)檢測(cè)和定位，進(jìn)一步的改進(jìn)方向是進(jìn)行單幀目標(biāo)檢測(cè)算法和特征對(duì)比算法的融合模型設(shè)計(jì)。