深度遷移學(xué)習(xí)預(yù)訓(xùn)練對(duì)紅外尾流成像識(shí)別的影響

鐘 睿，楊 立，杜永成

深度遷移學(xué)習(xí)預(yù)訓(xùn)練對(duì)紅外尾流成像識(shí)別的影響

鐘 睿，楊 立，杜永成

（海軍工程大學(xué) 動(dòng)力工程學(xué)院，湖北 武漢 430033）

隨著水下航行器噪聲水平的不斷降低，水下航行器形成的尾流紅外成像特征就成為其主要可探測(cè)的特征源之一，利用水下航行器尾流的水面紅外特征來(lái)探測(cè)水下航行器的蹤跡逐漸發(fā)展成為一種新的探測(cè)方式。由于人工判別尾流特征的效率低，準(zhǔn)確性不高，采用人工智能深度學(xué)習(xí)的方式能夠得到較大的改善。本文以水下航行器尾流紅外特征識(shí)別為研究核心，通過(guò)圖像分類(lèi)制作了混合類(lèi)的樣本集，利用遷移學(xué)習(xí)比較不同預(yù)訓(xùn)練網(wǎng)的對(duì)尾流的訓(xùn)練效果，討論預(yù)訓(xùn)練網(wǎng)內(nèi)部參數(shù)對(duì)尾流訓(xùn)練效果的影響，結(jié)合Faster-RCNN算法，最終測(cè)試對(duì)尾流的識(shí)別精度，在45個(gè)2類(lèi)尾流的小樣本集下，預(yù)訓(xùn)練之后的網(wǎng)絡(luò)在識(shí)別準(zhǔn)確度上增加了21.43%，誤檢率下降了2.14%，帶有紅外特征的圖像在定位精準(zhǔn)率上比可見(jiàn)光圖像高18.18%。該預(yù)訓(xùn)練測(cè)試對(duì)未來(lái)研究尾流探測(cè)結(jié)合卷積神經(jīng)網(wǎng)絡(luò)的識(shí)別有一定的應(yīng)用潛力。

紅外特征；尾流；深度學(xué)習(xí)；遷移學(xué)習(xí)；faster-RCNN

0 引言

水下航行器航行形成的尾流特征明顯，利用水下航行器尾流的水面紅外特征來(lái)探測(cè)水下航行器的蹤跡逐漸發(fā)展成為一種新的探測(cè)方式。由于水下航行器航行形成的尾流特征復(fù)雜，人工識(shí)別工作量大，識(shí)別準(zhǔn)確率較低。采用深度學(xué)習(xí)的人工神經(jīng)網(wǎng)絡(luò)識(shí)別水下航行器尾流紅外圖像具有明顯的優(yōu)勢(shì)。

人工神經(jīng)網(wǎng)絡(luò)[1]的起源可以追溯到20世紀(jì)40年代，在此期間經(jīng)歷了淺度學(xué)習(xí)和深度學(xué)習(xí)兩個(gè)階段。從學(xué)術(shù)角度來(lái)看，以1956年達(dá)特茅斯會(huì)議作為人工智能學(xué)科公認(rèn)的起點(diǎn)，誕生了多個(gè)思想學(xué)派。但20世紀(jì)80年代以前，人工神經(jīng)網(wǎng)絡(luò)有很大的局限性，只能計(jì)算一些有限樣本，且對(duì)目標(biāo)進(jìn)行分類(lèi)的能力也很薄弱。在1986年之后，Rumelhart和McClelland[2]將反向傳遞神經(jīng)網(wǎng)絡(luò)算法運(yùn)用于神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，解決復(fù)雜目標(biāo)函數(shù)的求導(dǎo)問(wèn)題。目前，人工神經(jīng)網(wǎng)絡(luò)作為機(jī)器學(xué)習(xí)的重要分支，在領(lǐng)域內(nèi)有不可或缺的作用。

作為深度網(wǎng)絡(luò)的一種，卷積神經(jīng)網(wǎng)絡(luò)通過(guò)多層特征提取層[3]的疊加得到比較復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)。Razavain等人[4]構(gòu)建了更加深層的卷積神經(jīng)網(wǎng)絡(luò)（deep convolutional neural network，DCNN），用于對(duì)目標(biāo)進(jìn)行提取圖像特征，再進(jìn)行分類(lèi)與識(shí)別，這比傳統(tǒng)方法達(dá)成了更好的效果。2015年，David Rumelhart等人[5]合作提出了Faster-RCNN，它由一個(gè)區(qū)域生成網(wǎng)絡(luò)（region proposal network，RPN）與Fast-RCNN共同構(gòu)成。通過(guò)區(qū)域生成網(wǎng)絡(luò)與Fast RCNN共享特征提取網(wǎng)絡(luò)[6]以及位置精修的策略，進(jìn)一步提高了目標(biāo)檢測(cè)的速度。

本文根據(jù)尾流紅外特征圖像自身的特點(diǎn)，結(jié)合Faster-RCNN進(jìn)行定位和識(shí)別，在卷積神經(jīng)網(wǎng)絡(luò)理論的基礎(chǔ)上，比較不同的預(yù)訓(xùn)練網(wǎng)的預(yù)訓(xùn)練效果，選取最優(yōu)的預(yù)訓(xùn)練網(wǎng)AlexNet；討論了預(yù)訓(xùn)練網(wǎng)參數(shù)對(duì)訓(xùn)練效果的影響；最終比較AlexNet預(yù)訓(xùn)練和無(wú)預(yù)訓(xùn)練的網(wǎng)絡(luò)對(duì)尾流圖像的識(shí)別效果。

1 紅外尾流簡(jiǎn)介

紅外是一種電磁波，它位于可見(jiàn)光的外端[7]。肉眼難以觀察出尾流在紅外圖像與可見(jiàn)光圖像中的區(qū)別，但對(duì)于神經(jīng)網(wǎng)絡(luò)而言，卻可以抓住圖像中的特點(diǎn)。

水下航行器熱尾流的形成[8]有兩個(gè)主要原因：一是水下航行器在溫度梯度海中航行時(shí)對(duì)海洋溫度場(chǎng)的擾動(dòng)。二是水下航行器在水下航行時(shí)會(huì)放出大量的冷卻水，冷卻水在尾流中形成熱尾流。在水下航行器剛剛通過(guò)的地方，由于熱尾流，海水的溫度與周?chē)Ｋ臏囟扔泻艽蟮牟煌?，因此紅外輻射也不同[9]。通過(guò)對(duì)尾流紅外成像進(jìn)行分析，可以識(shí)別出不同的水下航行物。圖1(a)是紅外探測(cè)儀下的潛望鏡尾流，由于尾流引起的溫度變化，呈現(xiàn)出開(kāi)爾文形狀，并隨著尾流的延長(zhǎng)，溫度特征與海面背景的差異逐漸變??；圖1(b)是可見(jiàn)光下的水面航行器尾流，尾跡較長(zhǎng)，從遠(yuǎn)處看呈帶有小波浪的平行線，與潛望鏡尾流不同，它產(chǎn)生的尾流波浪較大。這些特征將作為尾流圖像識(shí)別的主要提取內(nèi)容，通過(guò)Faster-RCNN實(shí)現(xiàn)尾流圖像的定位，2種類(lèi)型的尾流圖像將作為實(shí)驗(yàn)訓(xùn)練的樣本集來(lái)識(shí)別。

2 深度遷移學(xué)習(xí)識(shí)別尾流

2.1 Faster-RCNN算法介紹

Faster-RCNN的基本結(jié)構(gòu)[10]是由RPN與Fast-RCNN共享CNN 征提取網(wǎng)絡(luò)構(gòu)成。圖2所示Faster-RCNN對(duì)尾流紅外圖像進(jìn)行識(shí)別的過(guò)程。先輸入圖片表示為Height×Width×Depth的張量（多維數(shù)組）形式，經(jīng)過(guò)預(yù)訓(xùn)練CNN模型的處理，得到卷積特征圖（convolutional feature map），將CNN作為特征提取器，送入下一個(gè)部分。然后RPN對(duì)提取的卷積特征圖進(jìn)行處理。

本文在不改變Faster-RCNN的基本結(jié)構(gòu)的前提下，運(yùn)用Faster-RCNN來(lái)實(shí)現(xiàn)目標(biāo)的檢測(cè)。在對(duì)樣本進(jìn)行訓(xùn)練之前，人為的將收集到的尾流圖片打入標(biāo)簽，過(guò)程中我們選擇邊界框來(lái)對(duì)區(qū)域進(jìn)行選定識(shí)別，最終將作為訓(xùn)練樣本集，相比于傳統(tǒng)的整張圖片導(dǎo)入，增強(qiáng)了一定的靈活性和識(shí)別精度。

通過(guò)Faster-RCNN算法對(duì)大量尾流圖片進(jìn)行訓(xùn)練、識(shí)別和定位，訓(xùn)練通常包含了4個(gè)過(guò)程：RPN的訓(xùn)練、用RPN訓(xùn)練Faster-RCNN、Faster-RCNN利用RPN共享權(quán)重和更新之后的RPN對(duì)Faster-RCNN進(jìn)行再訓(xùn)練。最終得出較為滿(mǎn)意的尾流紅外特征識(shí)別定位網(wǎng)絡(luò)。

圖1 不同類(lèi)型的尾流特征圖像

圖2 Faster-RCNN在識(shí)別紅外尾流中的應(yīng)用

2.2 基本網(wǎng)絡(luò)

Faster-RCNN第一步是采用基于分類(lèi)任務(wù)（如，ImageNet）的CNN模型作為特征提取器，并可視化中間層，查看其輸出形式。Faster-RCNN最早是采用在ImageNet訓(xùn)練的ZF（Zeiler ＆Fergus Net）和VGG（visual geometry group），其后出現(xiàn)了很多其他權(quán)重不同的網(wǎng)絡(luò)。在各種深度神經(jīng)網(wǎng)絡(luò)中，卷積神經(jīng)網(wǎng)絡(luò)[11]是最廣泛應(yīng)用的一種，收斂性能和識(shí)別精度較為優(yōu)越。卷積神經(jīng)網(wǎng)絡(luò)由LeCun[12]在1989年提出，并且成功運(yùn)用在手寫(xiě)字符圖像的識(shí)別。2012年，AlexNet網(wǎng)絡(luò)擁有更深層次，并且在分類(lèi)任務(wù)中取得成功，此后卷積神經(jīng)網(wǎng)絡(luò)高速發(fā)展，被廣泛用于各種領(lǐng)域。卷積網(wǎng)絡(luò)的訓(xùn)練是通過(guò)反向傳播訓(xùn)練得到的。反向傳播算法的關(guān)鍵是計(jì)算誤差項(xiàng)的值，根據(jù)該值計(jì)算損失函數(shù)對(duì)權(quán)重、偏置項(xiàng)的梯度值。本文將采用AlexNet作為預(yù)訓(xùn)練網(wǎng)絡(luò)，開(kāi)展紅外尾流識(shí)別的遷移學(xué)習(xí)研究。AlexNet網(wǎng)絡(luò)有5個(gè)卷積層，其中一部分后面接著max池化層；有3個(gè)全連接層；最后是softmax輸出層，涵蓋了1000個(gè)節(jié)點(diǎn)，對(duì)應(yīng)1000個(gè)圖像類(lèi)。該網(wǎng)絡(luò)在實(shí)現(xiàn)中沒(méi)有采用傳統(tǒng)的sigmoid或tanh函數(shù)作為激活函數(shù)，而是使用了新型的ReLU函數(shù)[13]：

其導(dǎo)函數(shù)為：

由于函數(shù)簡(jiǎn)單，在正向傳播和反向傳播時(shí)能夠減少計(jì)算量，且該函數(shù)能夠提高圖片識(shí)別效果。

不同的基本網(wǎng)絡(luò)之間有所差異。通常，基本網(wǎng)絡(luò)的參數(shù)包含網(wǎng)絡(luò)內(nèi)部參數(shù)（訓(xùn)練輪數(shù)、訓(xùn)練學(xué)習(xí)率等）、驗(yàn)證時(shí)的Frequency和Patience等。選用合適的基本網(wǎng)絡(luò)和相關(guān)參數(shù)，對(duì)結(jié)合Faster-RCNN算法識(shí)別尾流有重要影響。

3 結(jié)果與討論

3.1 比較不同的預(yù)訓(xùn)練網(wǎng)絡(luò)

預(yù)訓(xùn)練網(wǎng)的神經(jīng)網(wǎng)絡(luò)作為遷移學(xué)習(xí)的重要部分，那么選擇合適的預(yù)訓(xùn)練網(wǎng)也變成了重要的問(wèn)題。通過(guò)比較不同的預(yù)訓(xùn)練網(wǎng)，看訓(xùn)練效果如何。不同的神經(jīng)網(wǎng)絡(luò)的卷積層和池化層有很大區(qū)別，在保證相關(guān)參數(shù)不變的情況下，利用Matlab中神經(jīng)網(wǎng)絡(luò)訓(xùn)練功能，選擇相同的小樣本集（3類(lèi)尾流，每類(lèi)10張），按照80%訓(xùn)練、20%驗(yàn)證精度的比例來(lái)做對(duì)比，比較Google、VGG19、AlexNet三種基本網(wǎng)絡(luò)對(duì)預(yù)訓(xùn)練的差異。

首先，固定好訓(xùn)練網(wǎng)絡(luò)的參數(shù)。參數(shù)設(shè)置如圖3(a)所示。針對(duì)3個(gè)不同的預(yù)訓(xùn)練網(wǎng)絡(luò)，我們?cè)O(shè)置訓(xùn)練輪數(shù)為5，F(xiàn)requency＝3，Patience＝5，保證參數(shù)不變進(jìn)行實(shí)驗(yàn)。

從圖3(b)可以看出，采用Google作為預(yù)訓(xùn)練網(wǎng)，訓(xùn)練速度較快，總共花費(fèi)了5min 34s，但是精度最終只有83.33%，損失值最終也沒(méi)有收斂。

從圖3(c)可以看出，采用VGG19作為預(yù)訓(xùn)練網(wǎng)，在第一輪結(jié)束之后，精度就可以達(dá)到一個(gè)較高的數(shù)值，且在第二輪完成時(shí)已經(jīng)可以穩(wěn)定在100%，損失值也收斂為0，但花費(fèi)時(shí)間較長(zhǎng)，耗時(shí)61min 49s。

從圖3(d)可以看出，采用AlexNet作為預(yù)訓(xùn)練網(wǎng)，在第二輪末端時(shí)刻我們的驗(yàn)證精度可以達(dá)到100%，總共花費(fèi)了13min 13s，損失也逐漸降為0。

由表1對(duì)比可以得出以下結(jié)論：

1）Google網(wǎng)絡(luò)在小樣本容量訓(xùn)練過(guò)程中速度較快，但回歸會(huì)出現(xiàn)不收斂的情形，導(dǎo)致最終訓(xùn)練精度達(dá)不到預(yù)期值。

2）VGG19網(wǎng)絡(luò)的內(nèi)部結(jié)構(gòu)復(fù)雜，在小樣本訓(xùn)練過(guò)程中，結(jié)果雖然可以達(dá)到理想的精度，但耗時(shí)較長(zhǎng)。

3）AlexNet網(wǎng)絡(luò)的最終訓(xùn)練精度可以達(dá)到預(yù)期值，耗時(shí)一般。

對(duì)比之下，AlexNet網(wǎng)絡(luò)用于預(yù)訓(xùn)練網(wǎng)實(shí)驗(yàn)較為優(yōu)越。

圖3 Google、VGG19、AlexNet基本網(wǎng)絡(luò)對(duì)比實(shí)驗(yàn)圖

表1 3種基本網(wǎng)絡(luò)對(duì)比結(jié)果

3.2 討論網(wǎng)絡(luò)參數(shù)對(duì)精度的影響

3.1中已經(jīng)討論了不同的預(yù)訓(xùn)練網(wǎng)的訓(xùn)練效果，確定了AlexNet網(wǎng)絡(luò)可以在實(shí)驗(yàn)中達(dá)到效益最大化，下面在AlexNet網(wǎng)絡(luò)的基礎(chǔ)上，將討論參數(shù)Frequency和Patience對(duì)訓(xùn)練網(wǎng)絡(luò)的影響。以便于在大樣本實(shí)驗(yàn)中，能夠調(diào)整網(wǎng)絡(luò)至最優(yōu)解。

1）Frequency對(duì)預(yù)訓(xùn)練的影響

控制Patience＝5，訓(xùn)練輪數(shù)Epoch＝5，不改變系統(tǒng)神經(jīng)網(wǎng)絡(luò)的內(nèi)部結(jié)構(gòu)，其余參數(shù)不變，圖4比較了Frequency從1～5的變化。

參考Frequency參數(shù)對(duì)AlexNet網(wǎng)絡(luò)影響結(jié)果（詳見(jiàn)表2），可以得出以下結(jié)論：

Frequency如果過(guò)小會(huì)導(dǎo)致訓(xùn)練提前結(jié)束，達(dá)不到預(yù)期的精度；Frequency過(guò)大或者過(guò)小都會(huì)延長(zhǎng)訓(xùn)練時(shí)間，但對(duì)穩(wěn)定性的影響較小。對(duì)于小樣本的AlexNet預(yù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)，F(xiàn)requency在3或者4較為適宜。

圖4 Frequency參數(shù)對(duì)AlexNet網(wǎng)絡(luò)的影響實(shí)驗(yàn)

表2 Frequency參數(shù)對(duì)AlexNet網(wǎng)絡(luò)影響結(jié)果

2）Patience對(duì)預(yù)訓(xùn)練的影響

控制Frequency＝4，訓(xùn)練輪數(shù)Epoch＝5，不改變系統(tǒng)神經(jīng)網(wǎng)絡(luò)的內(nèi)部結(jié)構(gòu)，其余參數(shù)不變，圖5討論了Patience在1、3、5、7時(shí)的變化。

參考Patience參數(shù)對(duì)AlexNet網(wǎng)絡(luò)影響結(jié)果（詳見(jiàn)表3），可以得出以下結(jié)論：

Patience的大小對(duì)訓(xùn)練的最終精度影響較小，對(duì)耗時(shí)影響也不明顯；但Patience一旦過(guò)小也會(huì)導(dǎo)致訓(xùn)練提前終止；過(guò)大會(huì)導(dǎo)致訓(xùn)練的穩(wěn)定度降低；在小樣本的AlexNet預(yù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)，控制Patience在3～5較為適宜。

圖5 Patience參數(shù)對(duì)AlexNet網(wǎng)絡(luò)影響實(shí)驗(yàn)

3.3 自定義網(wǎng)絡(luò)與預(yù)訓(xùn)練網(wǎng)絡(luò)比較

確立了AlexNet基本網(wǎng)絡(luò)的相關(guān)參數(shù)之后，對(duì)其進(jìn)行測(cè)試。為更能說(shuō)明尾流識(shí)別精度結(jié)果，選取11層的自定義網(wǎng)絡(luò)作為比較，這個(gè)自定義網(wǎng)絡(luò)沒(méi)有進(jìn)行任何的預(yù)訓(xùn)練。實(shí)驗(yàn)分別選用了45個(gè)樣本集、65個(gè)樣本集、85個(gè)樣本集對(duì)2類(lèi)圖像進(jìn)行比較訓(xùn)練（其中潛望鏡尾流為紅外圖像，艦船尾流為可見(jiàn)光圖像）。訓(xùn)練過(guò)程中，帶有預(yù)訓(xùn)練網(wǎng)的神經(jīng)網(wǎng)絡(luò)訓(xùn)練速度加快，接著對(duì)2種成型的網(wǎng)絡(luò)用同樣的測(cè)試集進(jìn)行測(cè)試。參考圖6，部分訓(xùn)練完成后的網(wǎng)絡(luò)能夠成功識(shí)別并定位出尾流圖像。從圖6可以看出，針對(duì)帶有紅外特征的尾流圖像，定位范圍能夠更加精準(zhǔn)。

針對(duì)不同的樣本集實(shí)驗(yàn)進(jìn)行實(shí)時(shí)監(jiān)測(cè)，得到了自定義網(wǎng)絡(luò)和AlexNet遷移學(xué)習(xí)之后的成型網(wǎng)絡(luò)對(duì)尾流圖像的判別結(jié)果，詳見(jiàn)圖7。

從圖7(a)、(b)可以看出，45個(gè)小樣本集下，用14個(gè)分成2類(lèi)的樣本去測(cè)試，AlexNet預(yù)訓(xùn)練的網(wǎng)絡(luò)比自定義的網(wǎng)絡(luò)漏檢率（未檢測(cè)到的目標(biāo)占總目標(biāo)的比例）低，誤檢率低，導(dǎo)致識(shí)別圖像的準(zhǔn)確度（Accuracy）更高，參考表4。通過(guò)進(jìn)行AlexNet預(yù)訓(xùn)練之后，在精準(zhǔn)率方面，采用紅外圖像比可見(jiàn)光圖像的精準(zhǔn)率高18.18%。

表3 Patience參數(shù)對(duì)AlexNet網(wǎng)絡(luò)影響結(jié)果

圖6 成型網(wǎng)絡(luò)尾流識(shí)別與定位測(cè)試結(jié)果展示

圖7 兩類(lèi)尾流測(cè)試集下不同樣本的實(shí)時(shí)數(shù)據(jù)記錄

從圖7(c)、(d)可以看出，65個(gè)樣本集下，用14個(gè)分成2類(lèi)的樣本去測(cè)試，增加了訓(xùn)練樣本數(shù)量之后，自定義網(wǎng)絡(luò)的漏檢率大幅下降，準(zhǔn)確度提升較明顯，此時(shí)的自定義網(wǎng)絡(luò)的綜合性能接近于遷移學(xué)習(xí)網(wǎng)絡(luò)，參考表5。

從圖7(e)、(f)可以看出，85個(gè)樣本集下，用14個(gè)分成2類(lèi)的樣本去測(cè)試，對(duì)于同樣的測(cè)試集，在訓(xùn)練樣本中增加區(qū)分度較小的2類(lèi)尾流圖像，訓(xùn)練過(guò)程因出現(xiàn)過(guò)擬合而造成干擾，導(dǎo)致精度有所下滑。但從誤檢率、精準(zhǔn)率和召回率來(lái)看，AlexNet遷移學(xué)習(xí)網(wǎng)絡(luò)受到的影響較小，說(shuō)明AlexNet遷移學(xué)習(xí)網(wǎng)絡(luò)的穩(wěn)定性要比自定義網(wǎng)絡(luò)好，且隨著樣本數(shù)量增加，精準(zhǔn)率和召回率都有所提升，參考表6。針對(duì)AlexNet遷移學(xué)習(xí)網(wǎng)絡(luò)，采用紅外圖像為正樣本時(shí)比采用可見(jiàn)光圖像在精準(zhǔn)率方面高30%。

表4 45個(gè)樣本集/14個(gè)測(cè)試集（2類(lèi)）下的實(shí)驗(yàn)結(jié)果

表5 65個(gè)樣本集/14個(gè)測(cè)試集下（2類(lèi)）的實(shí)驗(yàn)結(jié)果

表6 85個(gè)樣本集/14個(gè)測(cè)試集下（2類(lèi)）的實(shí)驗(yàn)結(jié)果

4 結(jié)論

本文主要研究了深度遷移學(xué)習(xí)在尾流識(shí)別定位中的問(wèn)題。通過(guò)結(jié)合Fast-RCNN算法，不同訓(xùn)練網(wǎng)絡(luò)能夠?qū)崿F(xiàn)對(duì)紅外尾流圖像的識(shí)別和定位。而在眾多預(yù)訓(xùn)練網(wǎng)絡(luò)當(dāng)中，AlexNet神經(jīng)網(wǎng)絡(luò)的優(yōu)勢(shì)明顯；針對(duì)尾流小樣本容量的訓(xùn)練，AlexNet神經(jīng)網(wǎng)絡(luò)作為尾流識(shí)別預(yù)訓(xùn)練網(wǎng)絡(luò)的首選。它在訓(xùn)練精度、耗時(shí)、穩(wěn)定性等綜合方面的性能優(yōu)勢(shì)明顯。隨著樣本容量增加，對(duì)未進(jìn)行預(yù)訓(xùn)練的網(wǎng)絡(luò)有一定的干擾能力，容易導(dǎo)致過(guò)擬合發(fā)生，而有預(yù)訓(xùn)練的網(wǎng)絡(luò)呈現(xiàn)出的穩(wěn)定性較高。在圖像選擇方面，識(shí)別尾流紅外圖像比可見(jiàn)光圖像在精準(zhǔn)率方面高。因此抓住尾流的紅外特征，對(duì)判別尾流有較好的促進(jìn)作用。通過(guò)實(shí)驗(yàn)比較了遷移學(xué)習(xí)的優(yōu)勢(shì)，對(duì)未來(lái)水下航行器紅外尾流成像識(shí)別有廣闊的應(yīng)用前景。

[1] 王雨農(nóng). 基于視覺(jué)注意機(jī)制的神經(jīng)網(wǎng)絡(luò)模型研究及應(yīng)用[D]. 合肥: 中國(guó)科學(xué)技術(shù)大學(xué), 2017.

WANG Yunong. Research on Visual Attention Based Neural Network Model and its Application[D]. Hefei: University of Science and Technology of China, 2017.

[2] Rumelhart D, Mcclelland J. Learning internal representations by error propagation[M]//:, Massachusetts: MIT Press, 1986: 318-362.

[3] 尹勰, 閆磊. 基于深度卷積神經(jīng)網(wǎng)絡(luò)的圖像目標(biāo)檢測(cè)[J]. 工業(yè)控制計(jì)算機(jī), 2017, 30(4): 96-97.

YIN Xie, YAN Lei. Image target detection based on deep convolutional neural network [J]., 2017, 30(4): 96-97.

[4] Razavian A S, Azizpour H, Sullivan J, et al. CNN features off-the-shelf: an astounding baseline for recognition[C]//, 2014: 512-519.

[5] Zeiler M D, Fergus R.[M]//–, Springer International Publishing, 2014.

[6] 胡炎, 單子力, 高峰. 基于Faster-RCNN和多分辨率SAR的海上艦船目標(biāo)檢測(cè)[J]. 無(wú)線電工程, 2018, 48(2): 96-100.

HU Yan, SHAN Zili, GAO Feng. Ship target detection based on faster-RCNN and multi-resolution SAR[J]., 2018, 48(2): 96-100.

[7] 李新. 基于紅外熱像技術(shù)連鑄板坯裂紋預(yù)報(bào)方法研究[D]. 唐山: 華北理工大學(xué), 2015.

LI Xin. Research on Crack Prediction Method of Continuous Casting Slab Based on Infrared Thermography[D]. Tangshan : North China University of Technology, 2015.

[8] 張健, 楊立, 袁江濤. 水下航行器熱尾流試驗(yàn)研究[J]. 實(shí)驗(yàn)流體力學(xué), 2008, 22(3): 9-15.

ZHANG Jian, YANG Li, YUAN Jiangtao. Experimental study on thermal wake of underwater vehicles[J]., 2008, 22(3): 9-15.

[9] 賀林. 水噴淋消聲器設(shè)計(jì)與實(shí)驗(yàn)研究[D]. 哈爾濱: 哈爾濱工程大學(xué), 2006.

HE Lin. Design and Experimental Study of Water Spray Muffler[D]. Harbin : Harbin Engineering University, 2006.

[10] 伍偉明. 基于Faster R-CNN的目標(biāo)檢測(cè)算法的研究[D]. 廣州: 華南理工大學(xué), 2018.

WU Weiming. Research on Target Detection Algorithm Based on Faster R-CNN[D]. Guangzhou : South China University of Technology, 2018.

[11] 劉萬(wàn)軍, 梁雪劍, 曲海成. 自適應(yīng)增強(qiáng)卷積神經(jīng)網(wǎng)絡(luò)圖像識(shí)別[J]. 中國(guó)圖象圖形學(xué)報(bào), 2019, 22(12): 1723-1736.

LIU Wanjun, LIANG Xuejian, QU Haicheng. Adaptive enhanced convolutional neural network image recognition[J]., 2019, 22(12): 1723-1736.

[12] Lecun Y, Boser B, Denker J, et al. Back propagation applied to handwritten zip code recognition[J]., 1989, 1(4): 541-551.

[13] 王紅霞, 周家奇, 辜承昊, 等. 用于圖像分類(lèi)的卷積神經(jīng)網(wǎng)絡(luò)中激活函數(shù)的設(shè)計(jì)[J]. 浙江大學(xué)學(xué)報(bào): 工學(xué)版, 2019, 53(7): 1363-1373.

WANG Hongxia, ZHOU Jiaqi, GU Chenghao, et al. Design of activation functions in convolutional neural networks for image classification[J].: Engineering Edition, 2019, 53(7): 1363-1373.

The Influence of Deep TransferLearning Pre-training on Infrared Wake Image Recognition

ZHONG Rui，YANG Li，DU Yongcheng

(,,430033,)

With lower underwater vehicle noise levels, the infrared imaging characteristics of underwater vehicle wake have become one of the main detectable sources. Using the infrared characteristics of underwater vehicle wakes to detect underwater vehicle traces has gradually developed into a popular detection method. Because of the low efficiency and inaccuracy of artificial wake characteristics identification, the adopted artificial intelligence deep learning method can be greatly improved. In this study, the infrared feature recognition of underwater vehicle wake is the primary focus. A sample set of mixed classes was made by image classification. The training effect of different pre-training networks was compared using migration learning. The influence of the internal parameters of the pre-training networks on the training effect of the wake was discussed. Finally, in the small sample set of 45 two kinds of wake, the recognition accuracy of the network after pre-training increased by 21.43%, the false detection rate decreased by 2.14%, and the positioning accuracy of the image with infrared characteristics was 18.18% higher than that of the visible image. This pre-training test has a certain application potential for future research on wake detection combined with convolution neural network recognition.

infrared characteristics, wake, deep learning, transfer learning, faster-RCNN

TP391.41

A

1001-8891(2021)10-0979-08

2020-03-08；

2020-04-27.

鐘睿（1996-），男，碩士，主要研究方向：傳熱、熱流體及其應(yīng)用。E-mail：243225679@qq.com。

楊立（1962-），男，教授，主要研究方向：傳熱、熱流體及其應(yīng)用。

“十三×五”海軍預(yù)研項(xiàng)目。