基于深度學(xué)習(xí)的反無(wú)人機(jī)預(yù)警神經(jīng)網(wǎng)絡(luò)

孫顥洋， 王 欣， 曹昭睿， 白 帆， 王 興， 郝永平， 王俊杰

(1.沈陽(yáng)理工大學(xué)裝備工程學(xué)院， 沈陽(yáng) 110159； 2.沈陽(yáng)理工大學(xué)機(jī)械工程學(xué)院， 沈陽(yáng) 110159； 3.沈陽(yáng)理工大學(xué)理學(xué)院， 沈陽(yáng) 110159)

隨著人工智能無(wú)人化技術(shù)的發(fā)展，飛行無(wú)人機(jī)設(shè)備在現(xiàn)代軍事與民用背景中的使用頻率不斷增高。無(wú)人飛行設(shè)備的應(yīng)用環(huán)境也從早期的低空拍攝、低載荷運(yùn)輸延伸到了高空偵察、信號(hào)鏈路干擾與精確打擊等復(fù)雜任務(wù)中。由于無(wú)人機(jī)具備飛行軌跡低、體積小、運(yùn)動(dòng)速度慢等特點(diǎn)，其產(chǎn)生的信號(hào)回波數(shù)據(jù)量與時(shí)域信號(hào)分辨率極低，特征反饋信息難以被傳統(tǒng)雷達(dá)探測(cè)設(shè)備所捕獲[1]。即使無(wú)人機(jī)飛至雷達(dá)監(jiān)控平臺(tái)較近的距離時(shí)，憑借自身靈活的飛行控制能力，無(wú)人機(jī)也可以通過(guò)改變運(yùn)動(dòng)軌跡來(lái)輕易突破信號(hào)探測(cè)區(qū)域，實(shí)現(xiàn)隱蔽滲透與快速突防[2]。而這一問(wèn)題伴隨著無(wú)人機(jī)的大量投入與廣泛應(yīng)用不斷凸顯出來(lái)，導(dǎo)致使用常規(guī)雷達(dá)作為偵查探測(cè)手段的敏感單位面臨著嚴(yán)重的風(fēng)險(xiǎn)。

與此同時(shí)，無(wú)人機(jī)的性能與構(gòu)型也隨著技術(shù)發(fā)展和承擔(dān)任務(wù)不同出現(xiàn)了分化。例如，飛行穩(wěn)定、體積小巧的四旋翼無(wú)人機(jī)負(fù)責(zé)環(huán)境偵查；翼展較大、飛行速度快的固定翼無(wú)人機(jī)負(fù)責(zé)目標(biāo)毀傷。為了能夠提高無(wú)人機(jī)的作戰(zhàn)效能，甚至出現(xiàn)了由多個(gè)功能不同的無(wú)人機(jī)構(gòu)成的協(xié)同作戰(zhàn)群體，這種集群策略不但提升了無(wú)人機(jī)系統(tǒng)的執(zhí)行效率，也使得無(wú)人機(jī)設(shè)備的生存能力和反偵察能力大大增強(qiáng)。常規(guī)雷達(dá)在面對(duì)這些“低小慢”無(wú)人機(jī)時(shí)不能有效地對(duì)不同功能類型進(jìn)行區(qū)分，無(wú)法針對(duì)性地制定攔截與防御措施[3]。所以，設(shè)計(jì)一種能夠識(shí)別多種類無(wú)人機(jī)，并且可提供實(shí)時(shí)跟蹤與軌跡預(yù)測(cè)的探測(cè)策略，對(duì)關(guān)鍵區(qū)域的防御是十分重要的。

目前，國(guó)內(nèi)外研究學(xué)者對(duì)反“低小慢”無(wú)人機(jī)的偵查技術(shù)已展開(kāi)了諸多研究。在常規(guī)雷達(dá)探測(cè)領(lǐng)域，蔣平等[4]通過(guò)信號(hào)預(yù)處理、短時(shí)傅立葉變換法、飛控信號(hào)特征提取、飛控信號(hào)檢測(cè)與識(shí)別等算法，在現(xiàn)場(chǎng)可編程門(mén)陣列(FPGA)核心上實(shí)現(xiàn)了無(wú)人機(jī)型號(hào)、參數(shù)與數(shù)量的識(shí)別；張梓鑫[5]利用短時(shí)傅里葉變換、魏格納-威爾分布與短時(shí)分?jǐn)?shù)階傅立葉變換獲取目標(biāo)微動(dòng)回波信號(hào)時(shí)頻譜圖，并利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)譜圖進(jìn)行分類，以分辨雙旋槳、三旋槳無(wú)人機(jī)和鳥(niǎo)類。但上述方法對(duì)于無(wú)人機(jī)所處環(huán)境要求較高，當(dāng)目標(biāo)的飛行震動(dòng)雷達(dá)回波受到環(huán)境雜波影響時(shí)，上述兩種方法的分類精度會(huì)受到較大影響。

為解決環(huán)境雜波與擾動(dòng)雜波問(wèn)題，研究人員將目標(biāo)特征獲取方式的重心由主動(dòng)雷達(dá)回波信號(hào)向被動(dòng)成像光電信號(hào)進(jìn)行轉(zhuǎn)移。由于無(wú)人機(jī)的可見(jiàn)光圖像數(shù)據(jù)維度深、特征信息量豐富、空間映射程度高，在判斷目標(biāo)類別與運(yùn)動(dòng)狀態(tài)上更具優(yōu)勢(shì)。薛珊等[6]提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的無(wú)人機(jī)目標(biāo)識(shí)別方法，并針對(duì)小樣本無(wú)人機(jī)數(shù)據(jù)集進(jìn)行了訓(xùn)練；魏文怡[7]以Faster R-CNN為基本框架，將VGG16作為特征提取網(wǎng)絡(luò)骨干，配合顯著性算法(BMS)不理想目標(biāo)拍攝圖像，構(gòu)建了一種針對(duì)小尺度固定翼飛機(jī)的目標(biāo)識(shí)別神經(jīng)網(wǎng)絡(luò)；虞曉霞等[8]通過(guò)對(duì)Le Net-5模型進(jìn)行結(jié)構(gòu)改進(jìn)，設(shè)計(jì)了一種面向無(wú)人機(jī)識(shí)別的輕量化卷積神經(jīng)網(wǎng)絡(luò)；程懷俊等[9]使用膨脹卷積替代了常規(guī)神經(jīng)網(wǎng)絡(luò)中的傳統(tǒng)卷積，擴(kuò)大了網(wǎng)絡(luò)進(jìn)行特征提取時(shí)的感受野，降低了冗余計(jì)算量。這些算法的設(shè)計(jì)與研究雖然具有較大的創(chuàng)新與突破，但分類器計(jì)算能力與網(wǎng)絡(luò)特征提取能力較弱，深層語(yǔ)義信息挖掘效果不佳，在多種類無(wú)人機(jī)分類、多尺度無(wú)人機(jī)檢測(cè)和軌跡預(yù)測(cè)上的精確度有待提升。

為賦予地面檢測(cè)系統(tǒng)在反無(wú)人機(jī)預(yù)警方面的快速分類識(shí)別與持續(xù)跟蹤能力，同時(shí)滿足對(duì)無(wú)人機(jī)下一階段飛行軌跡的預(yù)測(cè)需求，現(xiàn)提出了一種基于深度卷積神經(jīng)網(wǎng)絡(luò)與長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)的反無(wú)人機(jī)預(yù)警算法。該算法以含有膨脹卷積的殘差網(wǎng)絡(luò)為特征提取網(wǎng)絡(luò)構(gòu)架，對(duì)空中多個(gè)無(wú)人機(jī)目標(biāo)進(jìn)行實(shí)時(shí)識(shí)別與跟蹤，確定對(duì)應(yīng)無(wú)人機(jī)的像空間位置與類別，并分別構(gòu)建出無(wú)人機(jī)于像空間的運(yùn)動(dòng)軌跡。通過(guò)LSTM網(wǎng)絡(luò)對(duì)連續(xù)時(shí)域內(nèi)的無(wú)人機(jī)飛行軌跡進(jìn)行實(shí)時(shí)分析，獲得對(duì)應(yīng)無(wú)人機(jī)下階段的預(yù)測(cè)軌跡結(jié)果，實(shí)現(xiàn)對(duì)空中無(wú)人機(jī)飛行行為的全程監(jiān)控與預(yù)測(cè)。該方法具有較高的計(jì)算實(shí)時(shí)性與精確度，能夠在機(jī)器視覺(jué)領(lǐng)域賦予機(jī)場(chǎng)、軍事單位、禁飛區(qū)等重要場(chǎng)地反無(wú)人機(jī)能力。

1 系統(tǒng)組成

所設(shè)計(jì)的反無(wú)人機(jī)識(shí)別與軌跡預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)(anti-UAV recognition and trajectory prediction neural network,AUNN)由如圖1所示的無(wú)人機(jī)特征提取、無(wú)人機(jī)類型識(shí)別、無(wú)人機(jī)像空間位置識(shí)別與無(wú)人機(jī)像空間軌跡預(yù)測(cè)4個(gè)環(huán)節(jié)構(gòu)成。

圖1 AUNN網(wǎng)絡(luò)結(jié)構(gòu)

首先，算法將成像系統(tǒng)捕捉的空中無(wú)人機(jī)圖像通過(guò)特征提取網(wǎng)絡(luò)，獲取無(wú)人機(jī)的多尺度深層語(yǔ)義特征信息；隨后分別將獲得的多尺度高維特征圖組傳入無(wú)人機(jī)類型識(shí)別網(wǎng)絡(luò)與無(wú)人機(jī)像空間位置識(shí)別網(wǎng)絡(luò)，計(jì)算出目標(biāo)無(wú)人機(jī)類別與像空間位置；根據(jù)對(duì)應(yīng)無(wú)人機(jī)在一定時(shí)域內(nèi)像空間位置中心的變化趨勢(shì)，構(gòu)建改時(shí)域下無(wú)人機(jī)的歷史運(yùn)動(dòng)軌跡；最后利用LSTM網(wǎng)絡(luò)結(jié)合歷史運(yùn)動(dòng)軌跡，分析目標(biāo)無(wú)人機(jī)在未來(lái)時(shí)域下的預(yù)測(cè)運(yùn)動(dòng)軌跡并輸出，完成在當(dāng)前時(shí)域下的無(wú)人機(jī)實(shí)時(shí)識(shí)別、跟蹤以及未來(lái)時(shí)域下的軌跡預(yù)測(cè)。

2 算法實(shí)現(xiàn)

2.1 無(wú)人機(jī)目標(biāo)識(shí)別

為了快速并直觀地獲得空中無(wú)人機(jī)的類別與位置信息，首先需要對(duì)相機(jī)捕捉到的圖像或視頻流數(shù)據(jù)中的無(wú)人機(jī)進(jìn)行識(shí)別與定位。面向地基型計(jì)算平臺(tái)，針對(duì)空中環(huán)境下的多尺度多目標(biāo)無(wú)人機(jī)識(shí)別任務(wù)，設(shè)計(jì)了一種無(wú)人機(jī)特征提取網(wǎng)絡(luò)(UFEN)，作為AUNN的網(wǎng)絡(luò)底層(backbone)，用于提取空中無(wú)人機(jī)深層語(yǔ)義信息，并將YOLO V3(you only look once)目標(biāo)識(shí)別網(wǎng)絡(luò)作為 AUNN的網(wǎng)絡(luò)中層(neck)與頂層(head)，完成目標(biāo)的類別與像空間識(shí)別計(jì)算。

2.1.1 無(wú)人機(jī)特征提取網(wǎng)絡(luò)

UFEN網(wǎng)絡(luò)是一種深度殘差網(wǎng)絡(luò)，該網(wǎng)絡(luò)由標(biāo)準(zhǔn)卷積層、膨脹卷積層、循環(huán)殘差模塊堆疊構(gòu)成。UFEN的網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

由于地基平臺(tái)對(duì)空中無(wú)人機(jī)進(jìn)行拍攝時(shí)，無(wú)人機(jī)距離地基探測(cè)單位一般在45 m以外，此時(shí)圖像中含有無(wú)人機(jī)的前景語(yǔ)義信息量遠(yuǎn)小于背景語(yǔ)義信息量，且背景中多為純色的天空。當(dāng)使用有效尺寸相同卷積核時(shí)，標(biāo)準(zhǔn)卷積的感受野與膨脹卷積的感受野如式(1)與式(2)所示：

(1)

(2)

式中：rn為第n個(gè)卷積層中每個(gè)單元的感受野；i為前n-1層卷積，每一層卷積的索引值；kn和si分別為第n個(gè)卷積層的卷積核尺寸和步長(zhǎng)；d為膨脹卷積系數(shù)。

通過(guò)式(1)與式(2)對(duì)比可知，在卷積核移動(dòng)步長(zhǎng)和輸入圖像尺寸相同的前提下，同層網(wǎng)絡(luò)中膨脹卷積的感受野大于標(biāo)準(zhǔn)卷積感受野[10]。對(duì)于空中無(wú)人機(jī)圖像，膨脹卷積能更有效地獲取圖片深層語(yǔ)義特征，并減小了標(biāo)準(zhǔn)卷積迭代過(guò)程中背景環(huán)境的多次冗余計(jì)算。但由于膨脹卷積在計(jì)算過(guò)程中，卷積核下采樣不連續(xù)，對(duì)于體積較小的空中無(wú)人機(jī)目標(biāo)而言，容易出現(xiàn)如圖3(a)所示的空間層級(jí)化信息丟失與小物體信息無(wú)法重建。為解決上述問(wèn)題，采用鋸齒狀結(jié)構(gòu)的膨脹卷積模塊以替代標(biāo)準(zhǔn)卷積[11]，避免無(wú)空間結(jié)構(gòu)聯(lián)系的膨脹卷積核略過(guò)或淡化無(wú)人機(jī)的語(yǔ)義信息點(diǎn)。鋸齒狀結(jié)構(gòu)的膨脹卷積模塊計(jì)算方式如式(3)所示：

(3)

式(3)中：input為輸入數(shù)據(jù)；Feature為計(jì)算后獲得的特征圖；convdil為膨脹卷積計(jì)算；1、2、5為膨脹系數(shù)。同時(shí)控制高維膨脹卷積的膨脹系數(shù)，膨脹卷積中最大膨脹系數(shù)Mi為

Mi=max[Mi+1-2ri,Mi+1-2(Mi+1-ri),ri]

(4)

式(4)中：ri為第i個(gè)膨脹卷積的感受野。鋸齒狀結(jié)構(gòu)的膨脹卷積模塊結(jié)構(gòu)如圖4與表1所示。

表1 鋸齒狀結(jié)構(gòu)膨脹卷積模塊各層卷積核數(shù)量

圖4 鋸齒狀結(jié)構(gòu)的膨脹卷積模塊結(jié)構(gòu)圖

經(jīng)過(guò)上述混合搭配后，鋸齒狀結(jié)構(gòu)融合卷積，實(shí)現(xiàn)了如圖3(b)所示的特征圖信息點(diǎn)的全覆蓋計(jì)算，即可以利用較大的感受野提取全局語(yǔ)義信息，也防止了對(duì)目標(biāo)特征信息的忽視。

圖3 鋸齒狀結(jié)構(gòu)的膨脹卷積模塊特征提取示意

在對(duì)多尺度無(wú)人機(jī)目標(biāo)進(jìn)行深度語(yǔ)義特征提取時(shí)，由于網(wǎng)絡(luò)的不斷深化與循環(huán)迭代次數(shù)增多，每次卷積計(jì)算后特征圖的尺寸都會(huì)縮減。語(yǔ)義信息量較少的小尺度無(wú)人機(jī)目標(biāo)在每層所映射的特征圖面積較小，當(dāng)網(wǎng)絡(luò)深度過(guò)大時(shí)，小目標(biāo)的特征信息將難以被分辨，深層語(yǔ)義信息中內(nèi)部細(xì)節(jié)紋理將被淡化。為提升小目標(biāo)的識(shí)別效率，既需要凝練深層語(yǔ)義信息，也需要保留淺層特征信息[12]。UFEN利用殘差模塊(residual model)，每個(gè)殘差模塊由兩個(gè)殘差單元組成，每個(gè)殘差單元如圖5所示：包含卷積層、批歸一化層和激活函數(shù)層，其中激活函數(shù)采用Leaky ReLU。每個(gè)殘差模塊能夠?qū)⒛K內(nèi)部的淺層語(yǔ)義信息與深層語(yǔ)義信息進(jìn)行融合，結(jié)合shortcut的方式連接每一個(gè)子段網(wǎng)絡(luò)，融合大尺寸、低維度特征與小尺寸、高維度特征，提升識(shí)別多尺度目標(biāo)識(shí)別精度，控制梯度傳播并防止出現(xiàn)梯度彌散或者梯度爆炸現(xiàn)象。UFEN中殘差模塊結(jié)構(gòu)如圖6所示。UFEN共有5個(gè)殘差模塊，分別接在5個(gè)膨脹卷積模塊之后，殘差模塊的第一個(gè)殘差單元都會(huì)對(duì)圖片進(jìn)行一次降采樣，并且會(huì)在最后的3次降采樣對(duì)圖片進(jìn)行預(yù)測(cè)。UFEN5個(gè)殘差模塊循環(huán)次數(shù)分別為1、2、8、8、4次，卷積核具體數(shù)量如表2所示。

圖5 卷積單元結(jié)構(gòu)圖

圖6 殘差卷積模塊結(jié)構(gòu)圖

表2 殘差卷積模塊各層卷積核數(shù)量

2.1.2 無(wú)人機(jī)目標(biāo)識(shí)別網(wǎng)絡(luò)

UFEN完成無(wú)人機(jī)目標(biāo)的特征提取，并生成了3種尺度分別為13×13、26×26、52×52的特征圖后，AUNN將會(huì)利用YOLO V3目標(biāo)識(shí)別網(wǎng)絡(luò)對(duì)特征圖組進(jìn)行目標(biāo)識(shí)別。

YOLO V3目標(biāo)識(shí)別網(wǎng)絡(luò)會(huì)在輸入特征圖上進(jìn)行識(shí)別區(qū)域網(wǎng)格劃分，網(wǎng)格劃分?jǐn)?shù)量與輸入特征圖尺寸大小對(duì)應(yīng)[13]。特征圖中的每個(gè)網(wǎng)格內(nèi)的標(biāo)定框(anchor box)負(fù)責(zé)標(biāo)識(shí)與檢測(cè)，其中每個(gè)網(wǎng)格包含的信息N表示為

N=[bx,by,bw,bh,p0,p1,p2,…,pc]×B

(5)

式(5)中：bx、by、bw、bh為當(dāng)前預(yù)測(cè)框的中心點(diǎn)坐標(biāo)與尺寸信息；p0為當(dāng)前網(wǎng)格中是否包含目標(biāo)物以及目標(biāo)物位置的準(zhǔn)確性；p1，p2，…，pc為框內(nèi)目標(biāo)為各待識(shí)別種類的概率，若目標(biāo)的中心落在某個(gè)特征圖的語(yǔ)義信息像素點(diǎn)中，則該網(wǎng)格就將對(duì)這個(gè)區(qū)域內(nèi)的目標(biāo)物進(jìn)行檢測(cè)，B為標(biāo)定框的個(gè)數(shù)，置信值p0為檢測(cè)目標(biāo)物的概率與IOU(intersection over union)的乘積，如式(6)所示：

(6)

式(6)中：P(object)為該網(wǎng)格中是否存在目標(biāo)物，若存在則值為1，不存在值為0；IOU為交并比，即目標(biāo)所產(chǎn)生的真實(shí)框truth與目標(biāo)識(shí)別產(chǎn)生的范圍框pred的交并比例[14]，表達(dá)式如式(7)所示：

(7)

式(7)中：DR為檢測(cè)目標(biāo)框范圍(detection result)；GT為真實(shí)目標(biāo)覆蓋范圍(ground truth)，檢測(cè)目標(biāo)范圍與真實(shí)目標(biāo)覆蓋范圍交并結(jié)果IOU如圖7所示。

圖7 IOU示意圖

通過(guò)計(jì)算檢測(cè)目標(biāo)范圍框與真實(shí)目標(biāo)覆蓋范圍的IOU，使得網(wǎng)絡(luò)能夠區(qū)分前景目標(biāo)和背景目標(biāo)。

對(duì)于不同尺度下的特征圖，所劃分的每個(gè)網(wǎng)格在對(duì)內(nèi)部目標(biāo)進(jìn)行分類時(shí)，需要預(yù)測(cè)內(nèi)部c個(gè)目標(biāo)的類別概率，即第i類目標(biāo)物中落在該網(wǎng)格內(nèi)的概率P(Classi|object)：

(8)

YOLO V3網(wǎng)絡(luò)中每個(gè)網(wǎng)格首先要對(duì)內(nèi)部是否存在目標(biāo)進(jìn)行計(jì)算。當(dāng)確定存在目標(biāo)時(shí)，此目標(biāo)物分類情況將根據(jù)其類別預(yù)測(cè)概率進(jìn)行判斷，當(dāng)目標(biāo)的某一類別預(yù)測(cè)概率超過(guò)閾值且大于其他分類預(yù)測(cè)值時(shí)，則認(rèn)為該目標(biāo)為當(dāng)前類別。對(duì)于目標(biāo)的位置信息判斷，YOLO V3將通過(guò)訓(xùn)練迭代微調(diào)，不斷學(xué)習(xí)與修正標(biāo)定框的尺寸，使預(yù)測(cè)框結(jié)果逼近真實(shí)框，該調(diào)整過(guò)程如式(9)所示：

(9)

式(9)中：cx、cy為不同尺度特征圖上對(duì)應(yīng)網(wǎng)格的左上角坐標(biāo)；tx、ty、tw、th為預(yù)測(cè)框與真實(shí)框間的偏差；pw、ph為標(biāo)定框的長(zhǎng)寬尺寸，最終得到預(yù)測(cè)框的左上角坐標(biāo)bx、by以及預(yù)測(cè)框?qū)?yīng)的長(zhǎng)寬bw、bh。

NMS為非極大值抑制(non-maximum suppres-sion)對(duì)網(wǎng)絡(luò)的所有預(yù)測(cè)結(jié)果進(jìn)行篩選，只選擇最優(yōu)的預(yù)測(cè)結(jié)果，而去掉同一目標(biāo)的多余的預(yù)測(cè)結(jié)果。大體思路為首先選取某一類中評(píng)分最高的預(yù)測(cè)框作為最優(yōu)預(yù)測(cè)框，然后計(jì)算其余框與最優(yōu)預(yù)測(cè)框的IOU，如果IOU大于某個(gè)設(shè)定的閾值，認(rèn)為該框與最優(yōu)預(yù)測(cè)框?yàn)橥荒繕?biāo)的預(yù)測(cè)結(jié)果，則舍棄該框。從篩選后的預(yù)測(cè)框中再找出評(píng)分最高的預(yù)測(cè)框，重復(fù)上述步驟，最終完成對(duì)所有類別的非極大值抑制操作。

2.2 無(wú)人機(jī)軌跡預(yù)測(cè)

無(wú)人機(jī)軌跡預(yù)測(cè)網(wǎng)絡(luò)將以無(wú)人機(jī)空間歷史時(shí)域運(yùn)動(dòng)軌跡作為輸入數(shù)據(jù)，利用長(zhǎng)短期記憶網(wǎng)絡(luò)LSTM網(wǎng)絡(luò)學(xué)習(xí)無(wú)人機(jī)飛行行為特征，通過(guò)已有時(shí)域內(nèi)的像空間位置來(lái)對(duì)未來(lái)時(shí)域內(nèi)的像空間位置進(jìn)行預(yù)測(cè)。

長(zhǎng)短期記憶網(wǎng)絡(luò)是一種克服了梯度爆炸與梯度消失問(wèn)題的RNN優(yōu)化型網(wǎng)絡(luò)。LSTM相比傳統(tǒng)循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)多出了一個(gè)“忘記門(mén)”(forget gate)機(jī)制[15]，該機(jī)制會(huì)通過(guò)某一時(shí)刻的輸入輸出與前段時(shí)刻的相關(guān)性決定是否忘記該時(shí)刻的內(nèi)容，從而使得全部時(shí)段內(nèi)只保留重要信息[16]。LSTM網(wǎng)絡(luò)單元結(jié)構(gòu)如圖8所示。

xt為輸入的當(dāng)前時(shí)域內(nèi)無(wú)人機(jī)像空間運(yùn)動(dòng)軌跡；ht為輸出的下一時(shí)域內(nèi)無(wú)人機(jī)像空間預(yù)測(cè)運(yùn)動(dòng)軌跡；A為L(zhǎng)STM網(wǎng)絡(luò)中的計(jì)算單元，每個(gè)單元首尾相接，同一層的計(jì)算單元會(huì)把前一層的輸出作為后一層的輸入；σ(sigmoid)和tanh為激活函數(shù)

LSTM單元中會(huì)從左至右傳入一個(gè)整形后的軌跡矩陣C，對(duì)于t時(shí)刻下的輸入信息，LSTM單元內(nèi)從左端傳入的矩陣為Ct-1，從右端傳出的矩陣為Ct。其中Ct-1矩陣被乘法器乘以一個(gè)系數(shù)，然后經(jīng)過(guò)加法器做線性疊加，最終得出Ct。

左側(cè)ht-1矩陣與輸入的ht矩陣進(jìn)行連接操作，通過(guò)一個(gè)線性單元后帶入sigmoid函數(shù)計(jì)算出系數(shù)ft，該系數(shù)即為x矩陣傳遞過(guò)程中的乘法器系數(shù)，表達(dá)式如式(10)所示：

ft=σ(Wf[ht-1,xt]+bf)

(10)

式(10)中：Wf與bf為訓(xùn)練過(guò)程需學(xué)習(xí)的待定系數(shù)。LSTM的“忘記門(mén)”中，若sigmoid函數(shù)輸出為1，則將輸入完全記?。蝗糨敵鰹?，則將輸入完全忘記；若為0～1的中間值，則按該值比例對(duì)輸入進(jìn)行記憶。

最后LSTM將輸入信息再次經(jīng)過(guò)一個(gè)“忘記門(mén)”，生成輸出ht，生成的ht共有兩部分，一部分傳遞給同層單元，一部分傳遞給下一層單元。則LSTM單元t時(shí)刻下最終輸出的預(yù)測(cè)軌跡為

ht=σ(Wt[ht-1,xt]+bt)×tanhCt

(11)

通過(guò)上述計(jì)算，AUNN已能夠獲得目標(biāo)無(wú)人機(jī)的類別信息與位置信息，將目標(biāo)無(wú)人機(jī)的連續(xù)幀識(shí)別位置中心點(diǎn)投影到時(shí)域坐標(biāo)下，獲得的無(wú)人機(jī)像空間歷史時(shí)域運(yùn)動(dòng)軌跡，并利用LSTM網(wǎng)絡(luò)對(duì)未來(lái)時(shí)域內(nèi)無(wú)人機(jī)的位置進(jìn)行預(yù)測(cè)。該計(jì)算過(guò)程的反饋流程如圖9所示。

圖9 無(wú)人機(jī)像空間歷史時(shí)域運(yùn)動(dòng)軌跡映射方式

3 實(shí)驗(yàn)結(jié)果與分析

3.1 網(wǎng)絡(luò)的訓(xùn)練

訓(xùn)練階段的初始學(xué)習(xí)率設(shè)置為0.001，并且在前兩個(gè)世代逐漸增大學(xué)習(xí)率，當(dāng)?shù)螖?shù)為380次時(shí)，開(kāi)始減小學(xué)習(xí)率，直到學(xué)習(xí)率達(dá)到0.000 001便不再減小，這樣能夠使得損失函數(shù)得到進(jìn)一步的收斂，學(xué)習(xí)率曲線如圖10所示。

圖10 AUNN網(wǎng)絡(luò)學(xué)習(xí)率曲線

3.2 模型的預(yù)測(cè)

為驗(yàn)證AUNN的計(jì)算能力，基于軍、民用領(lǐng)域構(gòu)建了面向空中無(wú)人機(jī)識(shí)別的圖像數(shù)據(jù)集。數(shù)據(jù)集中共計(jì)760張圖片，依照無(wú)人機(jī)結(jié)構(gòu)、功能、可執(zhí)行任務(wù)分為偵查型、載荷/控制型與進(jìn)攻型目標(biāo)。各類型無(wú)人機(jī)數(shù)據(jù)組分如表3所示。

表3 無(wú)人機(jī)數(shù)據(jù)集結(jié)構(gòu)

驗(yàn)證平臺(tái)為DELL Z840，中央處理器CPU配置為Intel Xeon E5-2643 V3，主頻3.4 GHz，GPU為Quadro P5000，運(yùn)行內(nèi)存32 GB，計(jì)算環(huán)境為Ubuntu 18.04。測(cè)試時(shí)IVFNN編寫(xiě)語(yǔ)言為Python3.7，配合Tensorflow 2.0與Opencv 3.2作為輔助高級(jí)API。

AUNN完成訓(xùn)練后，網(wǎng)絡(luò)的總損失曲線如圖11所示大約在經(jīng)過(guò)40 000次的迭代之后，最后的損失穩(wěn)定在0左右，從損失曲線可以看出AUNN網(wǎng)絡(luò)訓(xùn)練的結(jié)果比較理想。

圖11 AUNN網(wǎng)絡(luò)損失曲線

AUNN的網(wǎng)絡(luò)訓(xùn)練曲線收斂狀態(tài)良好，未出現(xiàn)梯度爆炸、彌散、消失等現(xiàn)象，證明本研究所設(shè)計(jì)的網(wǎng)絡(luò)具有良好的特征學(xué)習(xí)能力。AUNN的平均目標(biāo)識(shí)別率為82%，平均軌跡預(yù)測(cè)率為80%,計(jì)算速度為24幀/s。網(wǎng)絡(luò)的無(wú)人機(jī)識(shí)別、軌跡預(yù)測(cè)效果如圖12所示，圖12(a)～圖12(c)分別代表網(wǎng)絡(luò)對(duì)于控制型無(wú)人機(jī)(command_UAV)、偵察型無(wú)人機(jī)(scout_UAV)以及進(jìn)攻型無(wú)人機(jī)(attack_UAV)的識(shí)別效果；圖12(d)～圖12(f)分別對(duì)應(yīng)為3種類型無(wú)人機(jī)的軌跡預(yù)測(cè)效果。

根據(jù)圖12所示的結(jié)果可知，AUNN能夠在地基平臺(tái)下對(duì)空中多目標(biāo)無(wú)人機(jī)進(jìn)行精確的目標(biāo)識(shí)別與定位，同時(shí)可以基于當(dāng)前無(wú)人機(jī)像空間軌跡，對(duì)未來(lái)時(shí)域內(nèi)無(wú)人機(jī)像空間運(yùn)動(dòng)位置進(jìn)行預(yù)測(cè)，實(shí)現(xiàn)了針對(duì)“低小慢”無(wú)人機(jī)目標(biāo)的快速精確預(yù)警，為反無(wú)人機(jī)系統(tǒng)提供了機(jī)器視覺(jué)支持。

圖12 AUNN網(wǎng)絡(luò)的無(wú)人機(jī)識(shí)別與軌跡預(yù)測(cè)效果

4 結(jié)語(yǔ)

設(shè)計(jì)了一種結(jié)合深度卷積神經(jīng)網(wǎng)絡(luò)與長(zhǎng)短期記憶網(wǎng)絡(luò)的反無(wú)人機(jī)目標(biāo)識(shí)別與軌跡預(yù)測(cè)算法，賦予了機(jī)場(chǎng)、禁飛區(qū)、軍事單位等敏感地點(diǎn)基于光電成像與機(jī)器視覺(jué)的無(wú)人機(jī)檢測(cè)能力。AUNN具備計(jì)算精度高、預(yù)測(cè)靈活、冗余計(jì)算量小的特點(diǎn)，可嵌入地基計(jì)算平臺(tái)，配合大視場(chǎng)成像系統(tǒng)實(shí)現(xiàn)多尺度無(wú)人機(jī)探測(cè)。