基于機(jī)動動作類型識別的飛行員飛行訓(xùn)練質(zhì)量自動評估方法

朱立成, 孫 青, 端軍紅,*, 龐 敏

(1. 空軍工程大學(xué)防空反導(dǎo)學(xué)院, 陜西 西安 710051; 2. 北京微電子技術(shù)研究所, 陜西 西安 710119)

0 引 言

在現(xiàn)代空戰(zhàn)中,戰(zhàn)術(shù)機(jī)動是戰(zhàn)斗機(jī)躲避雷達(dá)探測和導(dǎo)彈攔截的重要手段,因此戰(zhàn)術(shù)機(jī)動飛行訓(xùn)練逐漸成為了飛行員日常訓(xùn)練的一項(xiàng)核心內(nèi)容。對戰(zhàn)術(shù)機(jī)動的飛行質(zhì)量進(jìn)行具體評估是戰(zhàn)術(shù)機(jī)動飛行訓(xùn)練的一個重要環(huán)節(jié),其對提升飛行員的操作能力和作戰(zhàn)水平而言意義重大。在傳統(tǒng)評估方法中,由于飛行員對飛行教官的判斷有著嚴(yán)重依賴,存在著效率低下、主觀性強(qiáng)等問題,已經(jīng)不能滿足現(xiàn)代飛行訓(xùn)練的要求。為此,實(shí)現(xiàn)飛行訓(xùn)練質(zhì)量的自動化快速評估,具有重要的軍事價值和實(shí)際意義。

飛行訓(xùn)練質(zhì)量自動化評估包含兩方面內(nèi)容:一是戰(zhàn)術(shù)機(jī)動動作的識別;二是基于識別結(jié)果的戰(zhàn)術(shù)機(jī)動飛行過程質(zhì)量評估。目前,國內(nèi)外學(xué)者已經(jīng)在這兩個問題上進(jìn)行了一些研究。在戰(zhàn)術(shù)機(jī)動識別方面,楊俊等[1]將模糊邏輯理論和支持向量機(jī)相結(jié)合,在多分類問題上取得了較好的效果。Tian等[2]基于模糊控制理論,利用標(biāo)記數(shù)據(jù)節(jié)點(diǎn)、去除擾動、特征提取等方法解決機(jī)動動作識別不準(zhǔn)確、延遲高等問題。但是,模糊理論依賴相關(guān)專家對機(jī)動特征的準(zhǔn)確判斷,識別結(jié)果不夠客觀,小規(guī)模樣本集的訓(xùn)練也容易造成訓(xùn)練精度差的問題。徐西蒙等[3]采用運(yùn)動分解和層次支持向量機(jī)的方法,利用二分類器構(gòu)造多分類器,提高準(zhǔn)確性和識別效率。Yang等[4]建立層次識別模型,通過級聯(lián)結(jié)構(gòu)降低計算復(fù)雜度,克服了當(dāng)樣本數(shù)量較多時的收斂性和實(shí)時性較差的問題。上述方法將復(fù)雜軌跡分解為簡單軌跡,雖然簡化了識別過程,但由于復(fù)雜機(jī)動與簡單機(jī)動在機(jī)動動作中的飛行參數(shù)有著很大差異,導(dǎo)致在復(fù)雜戰(zhàn)術(shù)機(jī)動動作的識別問題中表現(xiàn)不佳。Wei等[5]將機(jī)動識別看作多維時間序列的時空對齊問題,提出了一種多策略的正則仿射時間翹曲方法,在時間序列分類數(shù)據(jù)集和無人機(jī)機(jī)動實(shí)驗(yàn)上取得了較好的效果。然而,在空戰(zhàn)對抗背景下進(jìn)行敵機(jī)機(jī)動識別,部分飛行參數(shù)難以通過探測手段獲取[3-5]。

在飛行訓(xùn)練質(zhì)量評估方面,張建業(yè)等[6]依據(jù)飛行數(shù)據(jù)和專家經(jīng)驗(yàn),建立飛行成績自動評定及管理系統(tǒng),能夠準(zhǔn)確快速地評定飛行成績。Long等[7]提出了基于模糊邏輯理論的飛行質(zhì)量評估模型,在模擬飛行機(jī)動的進(jìn)近段中評估結(jié)果和實(shí)際得分幾乎一致。但是傳統(tǒng)評估方法過于依賴人的主觀判斷,評估方法不夠科學(xué),并且成本較高、效率低下[6-7]。柳忠起等[8]利用眼動數(shù)據(jù)構(gòu)建反向傳播(back propagation, BP)神經(jīng)網(wǎng)絡(luò),實(shí)現(xiàn)了3種技術(shù)水平飛行員的飛行績效準(zhǔn)確評估。姚裕盛等[9]基于飛行員生理信號和飛行參數(shù),建立了基于BP神經(jīng)網(wǎng)絡(luò)的評估模型,評估結(jié)果與專家評分大致吻合。劉浩等[10]使用動態(tài)貝葉斯網(wǎng)絡(luò)識別機(jī)動動作,建立灰度模糊評估矩陣進(jìn)行飛行質(zhì)量評估,提升了飛行訓(xùn)練評估效率。但是淺層學(xué)習(xí)模型只能提取數(shù)據(jù)的淺層特征,缺少語義信息,模型表達(dá)能力不強(qiáng),評估結(jié)果不穩(wěn)定[8-10]。此外,現(xiàn)有的大多數(shù)評估方法主要是對飛行訓(xùn)練后的數(shù)據(jù)進(jìn)行質(zhì)量評估,但是在飛行訓(xùn)練過程中,不同種類的戰(zhàn)術(shù)機(jī)動動作對應(yīng)的有效評估指標(biāo)有所不同,因此缺乏對不同種類戰(zhàn)術(shù)機(jī)動動作的具體評估。

本文的貢獻(xiàn)主要有以下幾點(diǎn):① 針對戰(zhàn)術(shù)機(jī)動識別中的準(zhǔn)確度和實(shí)時性不高的問題,采用多尺度特征融合的深度神經(jīng)網(wǎng)絡(luò)構(gòu)建分類器,通過對飛行參數(shù)的多維度深層特征提取實(shí)現(xiàn)對不同種類戰(zhàn)術(shù)機(jī)動的識別,這樣既減少了網(wǎng)絡(luò)深度,提升識別效率,又能充分獲取不同尺度數(shù)據(jù)信息,以保證準(zhǔn)確度;② 針對不同戰(zhàn)術(shù)機(jī)動動作類型的有效評估指標(biāo)不同的問題,搭建飛行質(zhì)量評估指標(biāo)體系,建立評估指標(biāo)標(biāo)準(zhǔn),將評估過程定量化,使得評估結(jié)果更加客觀準(zhǔn)確;③ 針對不同指標(biāo)之間存在的差異,使用基于博弈論的組合賦權(quán)方法消除了單一主觀或客觀評價對評估結(jié)果的不利影響,得到不同戰(zhàn)術(shù)機(jī)動動作所對應(yīng)的有效評估指標(biāo)權(quán)重,最終得到評估結(jié)果。所提出的飛行訓(xùn)練質(zhì)量自動評估方法可以有效降低訓(xùn)練成本,提升效率,滿足現(xiàn)代飛行訓(xùn)練的要求。

需要說明的是,戰(zhàn)斗機(jī)可執(zhí)行的戰(zhàn)術(shù)機(jī)動動作類型多達(dá)幾十種。為簡便起見,在本文中,選取斤斗、斜斤斗、半滾倒轉(zhuǎn)、半斤斗翻轉(zhuǎn)4個基本動作,以及半滾倒轉(zhuǎn)-斤斗,半滾倒轉(zhuǎn)-半斤斗翻轉(zhuǎn)兩個組合動作(共計6個動作類型)作為需要進(jìn)行機(jī)動識別和飛行質(zhì)量評估的典型戰(zhàn)術(shù)動作類型。

1 戰(zhàn)術(shù)機(jī)動動作識別

準(zhǔn)確識別戰(zhàn)術(shù)機(jī)動動作是進(jìn)行飛行質(zhì)量評估的基本前提。在戰(zhàn)術(shù)機(jī)動過程中,飛行參數(shù)也會不斷變化,參數(shù)主要包括位置、速度、加速度、航向角、俯仰角、滾轉(zhuǎn)角等信息[11],不同的戰(zhàn)術(shù)機(jī)動動作對應(yīng)的飛行參數(shù)變化規(guī)律也不同。本文針對離線數(shù)據(jù)進(jìn)行識別,飛行參數(shù)序列完整,由于戰(zhàn)術(shù)機(jī)動種類不同,可以將此類識別問題歸結(jié)為多分類問題。目前,處理多分類問題常用的方法就是機(jī)器學(xué)習(xí)[12-13]。機(jī)器學(xué)習(xí)是一種數(shù)據(jù)驅(qū)動的識別方法,在非線性問題上的處理能力十分強(qiáng)大,能夠通過內(nèi)部參數(shù)的不斷調(diào)整來獲取數(shù)據(jù)中的特征信息,也就是機(jī)器在不斷學(xué)習(xí)進(jìn)化的過程。相比傳統(tǒng)的識別方法,機(jī)器學(xué)習(xí)無需先驗(yàn)知識,識別結(jié)果更加快速準(zhǔn)確。

Sun等[14]將過去機(jī)器學(xué)習(xí)取得的成功主要?dú)w功于更加復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu),更大規(guī)模的標(biāo)簽數(shù)據(jù)集以及更強(qiáng)大的計算性能。在機(jī)器學(xué)習(xí)中,對數(shù)據(jù)進(jìn)行一維卷積處理相較于對圖片、視頻等進(jìn)行二維或三維卷積處理要簡單很多,因此無需太復(fù)雜的網(wǎng)絡(luò),即可取得較好的效果。為了保持網(wǎng)絡(luò)精度,降低計算復(fù)雜度,設(shè)計輕量化的網(wǎng)絡(luò)模型十分必要。因此,本文中戰(zhàn)術(shù)機(jī)動識別的主要方法就是搭建合適的輕量化網(wǎng)絡(luò)和建立完備的數(shù)據(jù)集。

1.1 網(wǎng)絡(luò)模型介紹

1.1.1 深度殘差網(wǎng)絡(luò)模塊

在Lecun[15]提出卷積神經(jīng)網(wǎng)絡(luò)后,國內(nèi)外研究大都通過堆疊卷積層數(shù)來提升網(wǎng)絡(luò)模型效果。但是實(shí)驗(yàn)證明,如果僅僅通過簡單的堆積卷積層來達(dá)到加深網(wǎng)絡(luò)的目的,網(wǎng)絡(luò)就有可能出現(xiàn)退化等問題。這些問題在2015年殘差神經(jīng)網(wǎng)絡(luò)(residual neural network, ResNet)[16]被提出后得到了有效的解決,ResNet改善了網(wǎng)絡(luò)的連接結(jié)構(gòu),在卷積層之間添加恒等映射構(gòu)成殘差模塊,如圖1所示。目前,在許多場景應(yīng)用中,如目標(biāo)識別[17]、故障檢測[18]、語義圖像分割[19]等,ResNet模型都優(yōu)于以前的模型。

圖1 殘差模塊結(jié)構(gòu)Fig.1 Structure of residual block

殘差模塊的輸出是模塊的輸入和經(jīng)過卷積計算后的期望輸出相加的結(jié)果,恒等映射的作用就是始終輸出一個權(quán)值為1的梯度,這樣就不會隨著網(wǎng)絡(luò)的加深而出現(xiàn)梯度消失的現(xiàn)象,同時也不會過多地增加網(wǎng)絡(luò)的參數(shù)和計算量。計算表達(dá)式為

H(x)=F(x)+x

(1)

通常情況下,在ResNet34及以下的淺層網(wǎng)絡(luò)中使用圖1中的結(jié)構(gòu),在更深層的殘差網(wǎng)絡(luò)中,如ResNet101,會將兩層卷積替換為3層卷積,其中包括兩個1×1卷積,用于將網(wǎng)絡(luò)進(jìn)行降維和升維處理。相比直接堆疊淺層網(wǎng)絡(luò)的殘差模塊,這樣會將參數(shù)數(shù)量大幅縮減,從而大幅提升網(wǎng)絡(luò)的訓(xùn)練效率。

1.1.2 多尺度特征提取

戰(zhàn)術(shù)機(jī)動過程中的飛行參數(shù)信息具有明顯的非線性、非平穩(wěn)特征,盡管目前ResNet已被廣泛地運(yùn)用到了分類識別領(lǐng)域,但通常是通過堆疊網(wǎng)絡(luò)層數(shù)以取得更好的效果,Wu等[20]研究發(fā)現(xiàn),特定網(wǎng)絡(luò)只有在有效深度內(nèi)才會通過加深層數(shù)顯著提升精度,網(wǎng)絡(luò)的寬度對結(jié)果的影響也十分重要。單一的網(wǎng)絡(luò)通路結(jié)構(gòu)不能同時提取出不同尺度數(shù)據(jù)內(nèi)的特征信息,限制了分類性能。因此,對數(shù)據(jù)進(jìn)行不同尺度卷積的特征提取就顯得十分必要,使用多尺度特征提取來獲得不同尺度下的數(shù)據(jù)特征可以有效地提升分類的準(zhǔn)確性。

多尺度特征提取是一種多路并行分支結(jié)構(gòu),最開始來源于Inception模型[21],該結(jié)構(gòu)是在網(wǎng)絡(luò)的同一層中使用多個不同大小的卷積核來提取不同尺度的特征信息,如圖2所示。最后,通過全連接層組合不同尺度下的特征信息,網(wǎng)絡(luò)通過橫向的擴(kuò)展可以避免卷積堆積,有效降低網(wǎng)絡(luò)的復(fù)雜度。

圖2 并行多尺度特征提取結(jié)構(gòu)Fig.2 Parallel multi-scale feature extraction structure

1.1.3 網(wǎng)絡(luò)模型

為了兼顧殘差網(wǎng)絡(luò)和多尺度特征提取的優(yōu)勢,將殘差模塊和多尺度特征提取的結(jié)構(gòu)相結(jié)合,構(gòu)建多尺度特征提取的深度殘差網(wǎng)絡(luò)(multi-scale feature extraction deep residual network, MSDRN)模型,如圖3所示。網(wǎng)絡(luò)的輸入是大小為1×H的一維數(shù)據(jù),其中H為特征個數(shù)。首先將輸入通過一個卷積層提高通道數(shù)以提升網(wǎng)絡(luò)的學(xué)習(xí)性;然后通過一個批標(biāo)準(zhǔn)化、激活函數(shù)以及最大池化的串行結(jié)構(gòu),完成淺層特征提取,之后將其接入到網(wǎng)絡(luò)主體中。網(wǎng)絡(luò)主體由3個并行支路組成,每條支路卷積層的尺寸大小不同,對應(yīng)的感受野范圍也就不同,因此可以獲取到數(shù)據(jù)中不同尺度的特征信息,構(gòu)成多尺度特征提取模塊。奇數(shù)尺寸的濾波器可以提取出更好的中心特征,所以均采用了奇數(shù)大小的卷積核,同時小尺寸的卷積核相較于大尺寸卷積核更有利于壓縮網(wǎng)絡(luò)規(guī)模。如圖3所示,3條支路分別由1×1、1×3、1×5大小的殘差模塊串聯(lián)組合而成。在每條支路的末端,通過一個平均池化層降低參數(shù)量,并確保3條支路的輸出維度一致。在網(wǎng)絡(luò)的最后,使用全連接層增強(qiáng)模型的非線性并輸出結(jié)果。以其中一條支路為例,模型中參數(shù)大小如表1所示。

圖3 網(wǎng)絡(luò)模型結(jié)構(gòu)Fig.3 Network model’s structure

表1 模型參數(shù)大小

1.2 建立訓(xùn)練數(shù)據(jù)集

在搭建完網(wǎng)絡(luò)模型后,還需要建立完備的數(shù)據(jù)集以實(shí)現(xiàn)網(wǎng)絡(luò)訓(xùn)練。利用飛行模擬器可以獲得各戰(zhàn)術(shù)機(jī)動動作的飛行數(shù)據(jù),每條飛行數(shù)據(jù)包含位置、速度、加速度、姿態(tài)角、姿態(tài)角速度等飛行參數(shù)。為降低網(wǎng)絡(luò)計算量,本文選取速度和加速度矢量作為飛行過程的特征參數(shù)。

為了避免網(wǎng)絡(luò)在訓(xùn)練過程中出現(xiàn)過擬合,提升數(shù)據(jù)集的完備性,需要對已有的數(shù)據(jù)進(jìn)行數(shù)據(jù)增強(qiáng)處理。常用的數(shù)據(jù)增強(qiáng)方法有翻轉(zhuǎn)、旋轉(zhuǎn)、平移等,考慮到戰(zhàn)術(shù)機(jī)動在改變航向時不能影響機(jī)動時的飛行特性,所以本文中的飛行軌跡具有旋轉(zhuǎn)不變特性。將軌跡繞Y軸旋轉(zhuǎn)360°,旋轉(zhuǎn)間隔角度為1°,設(shè)旋轉(zhuǎn)角度為θ,可得旋轉(zhuǎn)矩陣為

坐標(biāo)的變換過程如下:

(2)

表2 機(jī)動動作標(biāo)簽

由表2可以看出,該問題是個多分類問題,使用6種戰(zhàn)術(shù)機(jī)動軌跡各7 200條(共43 200條)數(shù)據(jù)構(gòu)成數(shù)據(jù)集。數(shù)據(jù)集在網(wǎng)絡(luò)中會劃分為訓(xùn)練集和測試集,訓(xùn)練集用來更新網(wǎng)絡(luò)權(quán)重,測試集用來驗(yàn)證訓(xùn)練效果以及是否出現(xiàn)過擬合。當(dāng)訓(xùn)練集和測試集的損失均較小時,網(wǎng)絡(luò)的分類和泛化能力較強(qiáng);當(dāng)測試集損失遠(yuǎn)大于訓(xùn)練集損失時,網(wǎng)絡(luò)則可能出現(xiàn)過擬合現(xiàn)象,代表網(wǎng)絡(luò)過于信賴訓(xùn)練數(shù)據(jù),泛化能力較差。

將訓(xùn)練數(shù)據(jù)集輸入到網(wǎng)絡(luò)模型中,根據(jù)數(shù)據(jù)中的特征信息,網(wǎng)絡(luò)模型可以利用梯度下降法,通過BP算法不斷地更新網(wǎng)絡(luò)中權(quán)值的大小,使得誤差最小化,并進(jìn)行網(wǎng)絡(luò)訓(xùn)練,最終輸出戰(zhàn)術(shù)機(jī)動識別結(jié)果。

2 基于識別結(jié)果的飛行訓(xùn)練評估

2.1 評估指標(biāo)

戰(zhàn)術(shù)機(jī)動動作識別完成之后,還需要對該機(jī)動飛行過程進(jìn)行質(zhì)量評估,因此要構(gòu)建合理的評估指標(biāo)體系。由于每種戰(zhàn)術(shù)機(jī)動動作的飛行特性既有相同之處,也有不同之處,不同類型戰(zhàn)術(shù)機(jī)動動作的有效評估指標(biāo)有所區(qū)別。構(gòu)建的評估指標(biāo)體系要能充分地體現(xiàn)機(jī)動飛行過程中的特征變化,反映飛行品質(zhì),指標(biāo)評估標(biāo)準(zhǔn)要盡量合理、科學(xué)、簡單并且實(shí)用。本文根據(jù)飛行員飛行大綱訓(xùn)練要求和相關(guān)領(lǐng)域?qū)＜医?jīng)驗(yàn),構(gòu)建的各種戰(zhàn)術(shù)機(jī)動動作飛行訓(xùn)練評估指標(biāo)如表3所示。

表3 戰(zhàn)術(shù)機(jī)動動作評估指標(biāo)

其中,組合動作評估指標(biāo)由相關(guān)基本動作評估指標(biāo)排列而成,指標(biāo)評估標(biāo)準(zhǔn)如表4所示[22]。

表4 戰(zhàn)術(shù)機(jī)動指標(biāo)評估標(biāo)準(zhǔn)

2.2 評估方法

現(xiàn)有的指標(biāo)評估方法主要分為主觀賦權(quán)法[23]和客觀賦權(quán)法[24-25]。主觀賦權(quán)法在根據(jù)決策者意圖確定權(quán)重方面比客觀法更優(yōu),但是依賴于專家知識,人為因素影響大?？陀^賦權(quán)法根據(jù)數(shù)據(jù)間的差異性區(qū)分重要程度,相較于主觀賦權(quán)法,客觀賦權(quán)法更能夠挖掘出數(shù)據(jù)自身信息量,有著較強(qiáng)的理論依據(jù),但缺少了決策者的經(jīng)驗(yàn)信息,可能會出現(xiàn)和實(shí)際相反的情況。因此,需要將主觀和客觀規(guī)律相結(jié)合,使得評估結(jié)果更加科學(xué)合理。

2.2.1 確定主觀權(quán)重

考慮到戰(zhàn)術(shù)機(jī)動過程會受到多種因素的影響,層次分析法是一種將定性和定量相結(jié)合的多目標(biāo)決策方法,可以綜合考慮多種因素并進(jìn)行逐層分析[26]。使用層次分析法可以在一定程度上代表專家經(jīng)驗(yàn),具體步驟為:① 確定評估指標(biāo);② 建立判斷矩陣,如表5所示;③ 層次內(nèi)單排序;④ 一致性檢驗(yàn)。

表5 判斷矩陣標(biāo)度含義

層次內(nèi)單排序就是計算權(quán)重系數(shù),本文使用和積法(算術(shù)平均法)進(jìn)行層次內(nèi)單排序。

將判斷矩陣的每一列元素歸一化處理:

(3)

然后,按行相加,再按列歸一化處理。

(4)

式中:i,j分別為行和列;n為指標(biāo)數(shù)量。最終,可求得判斷矩陣的層次內(nèi)單排序結(jié)果(即權(quán)重系數(shù))。

由于判斷矩陣是人為賦予的,可能會出現(xiàn)指標(biāo)間互相矛盾的現(xiàn)象,所以要進(jìn)行一致性檢驗(yàn)。計算一致性指標(biāo)(consistency index, CI):

(5)

查找平均隨機(jī)一致性指標(biāo)(random consistency index, RI),如表6所示,并計算一致性比例(consistency ratio, CR)。

(6)

如果CR<0.1,則認(rèn)為判斷矩陣可以接受。

表6 隨機(jī)一致性指標(biāo)值

2.2.2 確定客觀權(quán)重

Critic方法是一種通過評估指標(biāo)的對比強(qiáng)度和沖突性來衡量指標(biāo)的客觀權(quán)值賦權(quán)法[27]。其中,對比強(qiáng)度用標(biāo)準(zhǔn)差表示,沖突性用相關(guān)系數(shù)表示,計算過程如下。

(1) 設(shè)有m個樣本,n個評估指標(biāo),構(gòu)建原始數(shù)據(jù)矩陣X為

(2) 正向化處理:

(7)

(3) 計算指標(biāo)的信息量:

(8)

(9)

式中:Sj代表了指標(biāo)的數(shù)值差異性,Sj越大,則信息量越多;Aj代表了指標(biāo)之間的沖突性,Aj越大,則各個指標(biāo)之間的內(nèi)容越?jīng)]有重復(fù);rij為指標(biāo)i和指標(biāo)j之間的皮爾遜相關(guān)系數(shù)。

計算得到信息量Cj為

Cj=Sj·Aj

(10)

信息量越大,說明指標(biāo)在整個指標(biāo)評估體系中的作用越大,權(quán)值也就越大。

(4) 計算客觀權(quán)重:

(11)

計算得到的Wj即為指標(biāo)j的客觀權(quán)重大小。

2.2.3 確定組合權(quán)重

在獲得主觀權(quán)重和客觀權(quán)重后,博弈論方法可以在不同方法獲得的權(quán)重之間找到一致或折中,使得可能的權(quán)值與單個基值之間的偏差最小[28]。在博弈論組合賦權(quán)方法中,首先構(gòu)建權(quán)值向量qk=[qk1,qk2,…,qkn]。權(quán)值向量的任意線性組合可表示為

(12)

式中:σk為組合系數(shù),l為賦權(quán)方法數(shù)量。為使得q與qk的離差最小化,即

(13)

式(13)的最優(yōu)化一階導(dǎo)數(shù)為

(14)

計算得到(σ1,σ2,…,σl),進(jìn)行歸一化處理,即可得到組合權(quán)重。

(15)

(16)

在確定完指標(biāo)權(quán)重后,需要對飛行過程中的每個指標(biāo)進(jìn)行量化評估,具體評估規(guī)則如下:

(17)

式中:Ds為標(biāo)準(zhǔn)值;Di為實(shí)際值;Dmax為最大允許距離;S為評估結(jié)果。將評估結(jié)果劃分為5個等級:優(yōu)秀(90～100),良好(80～90),中等(70～80),合格(60～70),不合格(<60)。

3 仿真實(shí)驗(yàn)

仿真實(shí)驗(yàn)在計算機(jī)上運(yùn)行,運(yùn)行環(huán)境為AMD Ryzen 7 5800H with Radeon Graphics 3.20 GHz處理器,16 GB內(nèi)存,Win11 64位操作系統(tǒng),Python3.9.0。

3.1 分類器訓(xùn)練與測試

網(wǎng)絡(luò)模型包含訓(xùn)練部分和驗(yàn)證部分,在數(shù)據(jù)集中選取其中的80%作為訓(xùn)練集,選取20%作為驗(yàn)證集,并作為網(wǎng)絡(luò)的輸入。在網(wǎng)絡(luò)開始訓(xùn)練之前,需要使用一些方法來加快收斂速度,避免參數(shù)過擬合。Mini-batch[29]是一種小批次訓(xùn)練方法,可以避免大數(shù)據(jù)集導(dǎo)致的計算復(fù)雜的問題,同時由一個batch中的數(shù)據(jù)決定梯度方向,減少了梯度計算過程中的隨機(jī)性。在本文實(shí)驗(yàn)中,batch大小選取為32。

為了避免因?qū)W習(xí)率設(shè)置不準(zhǔn)確而導(dǎo)致網(wǎng)絡(luò)收斂緩慢,在網(wǎng)絡(luò)中采用AdamW(Adam with weight decay, AdamW)優(yōu)化算法[30],該算法可以自適應(yīng)調(diào)整學(xué)習(xí)率,并且在參數(shù)更新時引入?yún)?shù)本身以避免過擬合問題。損失函數(shù)選擇均方損失函數(shù):

(18)

該損失函數(shù)處處可導(dǎo),確保梯度值可隨學(xué)習(xí)率而變化,可以很好地配合AdamW優(yōu)化算法,加快網(wǎng)絡(luò)收斂,計算方式如式(17)所示。在網(wǎng)絡(luò)的全連接層后加入DropOut[31],通過丟棄一部分參數(shù)使得網(wǎng)絡(luò)不會過度依賴某些局部特征,防止過擬合,并增強(qiáng)網(wǎng)絡(luò)模型的泛化能力。

為驗(yàn)證本文所設(shè)計的分類器在性能上的優(yōu)越性,另外使用了與本文模型卷積數(shù)目相同的一維卷積神經(jīng)網(wǎng)絡(luò)(one-dimensional convolutional neural network, 1D-CNN)和ResNet進(jìn)行訓(xùn)練。其中,1D-CNN和ResNet的卷積核大小均為1×3。訓(xùn)練過程的損失值和準(zhǔn)確率變化分別如圖4和圖5所示。

圖4 訓(xùn)練損失變化圖Fig.4 Training loss changing map

圖5 訓(xùn)練準(zhǔn)確率變化圖Fig.5 Training accuracy changing map

測試另外選取兩組飛行數(shù)據(jù),數(shù)據(jù)處理方式同訓(xùn)練數(shù)據(jù)集方式一樣,共生成4 320個測試樣本,將測試樣本輸入到網(wǎng)絡(luò)中,測試性能對比結(jié)果如表7所示。

表7 測試性能對比

由表7可以看出,1D-CNN雖然運(yùn)行速度最快,但是識別誤差較大,準(zhǔn)確率最低,只有83%左右,原因是簡單的網(wǎng)絡(luò)結(jié)構(gòu)雖然參數(shù)較少,但是在樣本數(shù)量不夠充分的情況下表現(xiàn)不佳。ResNet準(zhǔn)確度雖然高于1D-CNN,但是運(yùn)行時間最長,原因是通過加深網(wǎng)絡(luò)層數(shù)在提升識別準(zhǔn)確率的同時加大了網(wǎng)絡(luò)的計算量。上述兩個網(wǎng)絡(luò)結(jié)構(gòu)測試結(jié)果與訓(xùn)練結(jié)果相比差別較大,存在著一定的過擬合問題。MSDRN的測試結(jié)果與訓(xùn)練結(jié)果保持一致,都達(dá)到了100%,并且計算量低于ResNet,在實(shí)現(xiàn)高準(zhǔn)確度的同時保持著較高的運(yùn)算效率,相對而言表現(xiàn)最好,表明了網(wǎng)絡(luò)的橫向拓展在一定程度上比縱向加深拓展的效果更好。

3.2 飛行訓(xùn)練質(zhì)量評估

為了驗(yàn)證評估方法的有效性,選取三組斤斗機(jī)動數(shù)據(jù)進(jìn)行仿真實(shí)驗(yàn),首先根據(jù)速度和加速度進(jìn)行機(jī)動類型識別,識別結(jié)果如表8所示。

表8 機(jī)動識別結(jié)果

根據(jù)識別結(jié)果,在表3中找到對應(yīng)的機(jī)動評估指標(biāo)以及評估標(biāo)準(zhǔn),可以得到斤斗機(jī)動的有效評估指標(biāo)為進(jìn)入速度、載荷大小、頂點(diǎn)速度。為了確定不同指標(biāo)的重要程度,分別計算不同指標(biāo)的權(quán)重大小。由第3節(jié)中的賦權(quán)方法可以得到斤斗機(jī)動動作的判斷矩陣,如表9所示,表9中的數(shù)值均為標(biāo)度值。

表9 斤斗機(jī)動判斷矩陣

由式(4)～式(7)計算可得一致性比例CR為

(19)

然后,對機(jī)動飛行過程的不同階段進(jìn)行分析以獲取各個指標(biāo)的實(shí)際飛機(jī)參數(shù)。為方便評估,選取飛行過程中的進(jìn)入段和頂點(diǎn)位置。在北天東坐標(biāo)系下,當(dāng)速度的Y軸分量大于30 km/h或加速度值大于15 m/s2時,視為機(jī)動開始;當(dāng)速度的Y軸分量發(fā)生正負(fù)變化時,視為斤斗機(jī)動達(dá)到高度頂點(diǎn),載荷大小為從機(jī)動開始到高度頂點(diǎn)這一過程的平均載荷大小。

3條飛行軌跡在機(jī)動時的進(jìn)入速度、載荷大小、頂點(diǎn)速度的實(shí)際值和偏差值如表10所示。

表10 機(jī)動飛行參數(shù)

由表10中的飛行數(shù)據(jù)和表4給出的評估標(biāo)準(zhǔn),可以計算得到不同指標(biāo)的具體得分情況,再根據(jù)組合權(quán)重,便可得到評估結(jié)果得分,如表11所示。

表11 機(jī)動評估結(jié)果

在表11中,第1組數(shù)據(jù)和第3組數(shù)據(jù)評估結(jié)果為良好,第2組的評估結(jié)果為中等,具有一定的區(qū)分度,其中第3組數(shù)據(jù)的評估最好。經(jīng)過權(quán)重計算后,各種動作指標(biāo)得分如圖6所示。

圖6 各種動作指標(biāo)得分Fig.6 Score for each action indicator

在本文方法中,首先對機(jī)動動作進(jìn)行識別,針對不同種類的機(jī)動動作有著不同的評估指標(biāo)及評估標(biāo)準(zhǔn),提升了評估過程的可靠性。通過組合賦權(quán)方法得到的評估指標(biāo)占比權(quán)重可以有效地區(qū)分出不同指標(biāo)對于機(jī)動動作的重要程度,可以根據(jù)此標(biāo)準(zhǔn)對飛行員進(jìn)行針對訓(xùn)練,以提升飛行質(zhì)量。從評估結(jié)果可以看出,基于機(jī)動動作識別的飛行訓(xùn)練質(zhì)量評估方法是可行的,可以對不同戰(zhàn)術(shù)機(jī)動動作進(jìn)行有效評估。

傳統(tǒng)教練員打分均是基于部分觀測數(shù)據(jù)的主觀判斷,無法準(zhǔn)確把握不同戰(zhàn)術(shù)機(jī)動的評估指標(biāo)節(jié)點(diǎn),并且對于不同指標(biāo)的重要程度無法做出定量分析。本文提出的自動化的評估方法充分考慮到不同戰(zhàn)術(shù)機(jī)動的飛行特性,對每個評估指標(biāo)做出定量分析,評估方法科學(xué)合理,更具說服性。

4 結(jié)束語

針對現(xiàn)有飛行訓(xùn)練質(zhì)量評估方法的不足,本文提出了一種基于戰(zhàn)術(shù)機(jī)動識別和組合賦權(quán)的評估方法。其主要意義有以下幾點(diǎn):① 將戰(zhàn)術(shù)機(jī)動識別歸結(jié)為一個多分類問題,使用基于多尺度特征的深度殘差網(wǎng)絡(luò)的戰(zhàn)術(shù)機(jī)動識別方法,對基本動作和組合動作均有較高的識別率,對文中的6種機(jī)動動作類型的識別率達(dá)到了100%,而且參數(shù)選擇簡單,有很好的泛化性能,為后續(xù)的飛行質(zhì)量評估奠定了基礎(chǔ);② 結(jié)合戰(zhàn)術(shù)機(jī)動飛行特性,利用指標(biāo)賦權(quán)方法,完成了對不同戰(zhàn)術(shù)機(jī)動動作種類的自動具體評估,擺脫了對教練員的依賴,評估結(jié)果同時融合了主觀專家知識和客觀數(shù)據(jù)特征,使得評估結(jié)果更加科學(xué)合理。所提出的飛行訓(xùn)練質(zhì)量自動評估方法降低了飛行訓(xùn)練成本,提升了評估效率,具有較好的應(yīng)用價值。但是,本文所提出的飛行質(zhì)量自動評估方法只選取了部分飛行特征點(diǎn),未充分考慮戰(zhàn)術(shù)機(jī)動動作的整體變化。在今后的研究中,將飛行整體過程納入評估指標(biāo)考慮范圍,可以進(jìn)一步提升評估效果。