基于深度學(xué)習(xí)和改進(jìn)證據(jù)理論的海上多源艦船信息融合識別方法

任秉旺，王肖霞，吉琳娜，楊風(fēng)暴

（中北大學(xué) 信息與通信工程學(xué)院，山西 太原 030051）

0 引言

近年來，隨著海上交通的日益繁忙和軍事安全的關(guān)注度提升，海上艦船信息的目標(biāo)準(zhǔn)確識別成為一個重要的課題。傳統(tǒng)的單一數(shù)據(jù)源識別方法在應(yīng)對復(fù)雜海上環(huán)境和多樣化數(shù)據(jù)源時存在一定的限制。為了克服這些限制并提高艦船信息識別的準(zhǔn)確性和魯棒性，本文提出了一種基于深度學(xué)習(xí)和改進(jìn)證據(jù)理論的海上多源艦船信息融合識別方法。

多源信息融合識別是指將來自不同傳感器、同一目標(biāo)的信息進(jìn)行融合，然后根據(jù)融合的信息識別目標(biāo)種類，其中融合方式包括數(shù)據(jù)級融合、特征融合和決策級融合[1]。數(shù)據(jù)級融合一般以像素級融合為主，方法也比較多，比如基于模型的方法[2]、基于多尺度分解的方法[3-4]等。相比于其他兩種融合方式，數(shù)據(jù)級融合在計算復(fù)雜度上更具優(yōu)勢，但是對于具有不同語義結(jié)構(gòu)特征的數(shù)據(jù)，往往不能簡單通過數(shù)據(jù)融合的方式實現(xiàn)多源信息的有效利用。特征融合是指先提取原始數(shù)據(jù)的有效特征，然后將這些特征采用不同的組合方式堆疊為新的特征，但是該方法對于提取特征以及特征提取方法的有效性依賴很大。決策級融合是指分別對原始目標(biāo)數(shù)據(jù)進(jìn)行處理和分類，然后根據(jù)一定的決策規(guī)則對前面得到的結(jié)果進(jìn)行融合，融合結(jié)果受數(shù)據(jù)預(yù)處理和決策規(guī)則兩方面因素的影響。

深度學(xué)習(xí)由于其具有高效準(zhǔn)確的目標(biāo)分類識別能力，使其在海上艦船識別中應(yīng)用廣泛。文獻(xiàn)[5]提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）的艦船檢測識別方法，它結(jié)合了深度學(xué)習(xí)和遙感圖像處理技術(shù)，通過訓(xùn)練一個CNN 模型來實現(xiàn)艦船目標(biāo)的自動檢測和分類。文獻(xiàn)[6]通過層次化的特征提取和學(xué)習(xí)策略，將艦船目標(biāo)的不同細(xì)節(jié)和尺度信息有效地結(jié)合起來，以實現(xiàn)更準(zhǔn)確的艦船分類識別。文獻(xiàn)[7]提出了一種基于深度特征和多實例學(xué)習(xí)的SAR 圖像艦船分類方法，通過使用深度學(xué)習(xí)方法提取SAR 圖像的特征表示，并應(yīng)用多實例學(xué)習(xí)算法來實現(xiàn)艦船目標(biāo)的自動分類。文獻(xiàn)[8]提出了一種基于時頻分析和卷積神經(jīng)網(wǎng)絡(luò)的雷達(dá)目標(biāo)識別方法，它通過對雷達(dá)信號進(jìn)行時頻分析，提取時頻特征，并結(jié)合CNN分類器實現(xiàn)雷達(dá)輻射源艦船目標(biāo)的分類識別。

對于多源信息目標(biāo)融合識別，文獻(xiàn)[9]提出利用D-S證據(jù)理論對分析電子支援措施（ESM）和目標(biāo)航速、大小等信息得到的基本概率分配函數(shù)進(jìn)行決策級融合。針對多傳感器獲取到的數(shù)據(jù)融合較困難的問題，文獻(xiàn)[10]使用Jaccard 系數(shù)矩陣進(jìn)行分塊化處理，對證據(jù)間的沖突程度進(jìn)行合理的描述，結(jié)合D-S 證據(jù)理論對多源數(shù)據(jù)實現(xiàn)了合理的融合。雖然D-S 證據(jù)理論在多源信息融合識別時優(yōu)勢較大，但是對于高沖突信息融合時會出現(xiàn)“伯德”悖論的問題[11]，導(dǎo)致融合識別錯誤。為了解決這個問題，文獻(xiàn)[12]提出一種衡量證據(jù)間距離的信息融合方法，克服了“伯德”悖論問題，具有較高的應(yīng)用價值。

為了提升基于海上多源信息的目標(biāo)識別能力，本文針對可見光圖像、SAR 圖像以及多輻射源信息三類觀測數(shù)據(jù)分別設(shè)計了深度目標(biāo)分類識別網(wǎng)路，利用其高效特征提取以及分類能力實現(xiàn)基于單一信息的艦船目標(biāo)識別，然后使用改進(jìn)的D-S 證據(jù)理論對多個單一信息目標(biāo)分類識別的結(jié)果進(jìn)行有效融合，得到置信度更高的識別結(jié)果。為了驗證本文方法的有效性，在噪聲條件下對不同識別算法進(jìn)行測試，對比和分析了這些算法的識別性能。

1 基于深度學(xué)習(xí)的單模式艦船目標(biāo)識別

1.1 可見光艦船目標(biāo)識別

本節(jié)介紹了一種基于VGGNet 神經(jīng)網(wǎng)絡(luò)的改進(jìn)方法，使用Ghost 卷積模塊代替?zhèn)鹘y(tǒng)的卷積操作。這個網(wǎng)絡(luò)的輸入是64×64×3 大小的艦船可見光圖像，Ghost 卷積操作采用3×3 的卷積核、步長為1，填充為1。卷積后的特征映射經(jīng)過ReLU 函數(shù)修正線性單元進(jìn)行加速收斂，并采用特征最大池化進(jìn)行降維采樣，池化窗口大小為2×2，填充為2。多次執(zhí)行Ghost 卷積操作后，將特征圖池化為1×1 大小，然后通過三個全連接層+ReLU 函數(shù)的組合層處理。最后使用Softmax 函數(shù)對輸出進(jìn)行歸一化，得到可見光艦船目標(biāo)所屬艦船的可能度分布，其中可能度值最大的即為分類識別結(jié)果?；贕host 卷積的VGG 網(wǎng)絡(luò)模型如圖1 所示。

圖1 基于Ghost 卷積的VGG 網(wǎng)絡(luò)模型

1.2 SAR 圖像艦船目標(biāo)識別

文獻(xiàn)[13]指出，由于SAR 圖像缺乏顏色和紋理特征，相對淺層和深層網(wǎng)絡(luò)在特征提取能力上差別不大，因此分類識別結(jié)果基本一致。同時，淺層特征圖也具有一定程度上與深層特征圖類似的目標(biāo)類別信息表征能力。為了充分利用淺層和深層特征以提高識別準(zhǔn)確率，本節(jié)采用淺層和深層特征的有效融合方法。特征提取網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示，在每個池化層之前都添加了一個分支結(jié)構(gòu)。該分支結(jié)構(gòu)包括1×1 的卷積層、ReLU 激活函數(shù)和全局池化層。使用1×1 卷積旨在降低不同尺寸特征圖的通道數(shù)，并實現(xiàn)跨通道信息的有效融合。這里設(shè)計了100 個通道。然后對每個分支的特征向量進(jìn)行線性相加，接著通過全連接層、激活函數(shù)和Softmax 層實現(xiàn)對SAR 艦船目標(biāo)的分類識別。這種融合方法能夠充分利用淺層和深層特征，提高分類識別的準(zhǔn)確率。

圖2 SAR 艦船目標(biāo)識別網(wǎng)絡(luò)結(jié)構(gòu)

1.3 雷達(dá)輻射源艦船目標(biāo)識別

通常，一艘艦船上會配置多種雷達(dá)，并且每個雷達(dá)都有不同的脈沖描述參數(shù)，例如載頻（RF）、脈寬（PW）和重頻（PRF）等。脈寬的變化方式可以包括恒定、跳變、滑變和參差等。如果考慮到這些參數(shù)的各種組合變化，一個雷達(dá)的工作方式將變得非常復(fù)雜。然而，根據(jù)文獻(xiàn)[14]的研究，無論雷達(dá)參數(shù)的類型如何變化，載頻、重頻和脈寬的每種組合都對應(yīng)著其參數(shù)的最大值、最小值和均值。因此，在艦船識別時，不再考慮雷達(dá)參數(shù)的類型變化，而是將載頻、重頻和脈寬的最大值、最小值和均值作為一條輻射源信息?；谶@一思想，提出了一種基于全連接網(wǎng)絡(luò)的多輻射源艦船目標(biāo)識別模型，該模型能夠有效地利用這些參數(shù)信息進(jìn)行艦船目標(biāo)識別?；谳椛湓葱畔⒌呐灤繕?biāo)識別網(wǎng)絡(luò)結(jié)構(gòu)如圖3 所示。

圖3 基于輻射源信息的艦船目標(biāo)識別網(wǎng)絡(luò)

2 基于融合確定度和支持度的證據(jù)合成方法

定義系統(tǒng)辨識框架為Θ={A1,A2,…,AM}，系統(tǒng)一共有N個證據(jù)E1,E2,…,EN，對應(yīng)的基本概率分配函數(shù)分別為m1,m2,…,mN，其中

2.1 確定度

證據(jù)的確定度以證據(jù)體自身特性作為判定依據(jù)，可以用來反映證據(jù)的可信程度，確定度越高，說明證據(jù)的聚集程度越高，對于自身的BPA 分配的認(rèn)可度越高。證據(jù)Ei的自身確定度ci的計算過程如下：

式中M表示辨識框架Θ中焦元A對應(yīng)的事件個數(shù)。

根據(jù)公式（1）分別計算N個證據(jù)的確定度，可以得到該系統(tǒng)的證據(jù)確定度向量C，表示如下：

2.2 基于Lance 距離的支持度

支持度從證據(jù)間的相互性出發(fā)，描述證據(jù)間的變化趨勢是否相關(guān)。假設(shè)存在兩個證據(jù)Ei和Ej，他們之間的Lance 距離可以表示為：

用Lance 距離表示兩個證據(jù)體之間的變化趨勢一致程度，距離越小，證據(jù)之間的變化趨勢一致性越高，他們之間的相互支持度也就越高。這里用s表示兩個證據(jù)體之間的支持度，s(Ei,Ej)=1-d(Ei,Ej)。計算系統(tǒng)所有證據(jù)之間的Lance 距離，可以構(gòu)建一個相互支持度矩陣S，表示如下：

式中：sij即s(Ei,Ej)，表示證據(jù)Ei和Ej之間的相互支持程度，最大值為1，最小值為0，當(dāng)i=j時，sij為1。

2.3 融合確定度和支持度的證據(jù)可信度

無論是證據(jù)自身的確定度cij還是證據(jù)間的支持度sij，都屬于證據(jù)體自身所擁有的信息。如果單純考慮其中的一方面，都會破壞證據(jù)信息的完整性，尤其在證據(jù)沖突度較大時，會對多證據(jù)下的融合識別結(jié)果造成很不利的影響。因此，將確定度和支持度相結(jié)合，構(gòu)建了融合確定度和支持度的可信度矩陣T。其計算過程如下：

具體可以表示為：

考慮到本文辨識框架下證據(jù)存在較大的沖突，在融合多證據(jù)時均衡每條證據(jù)的影響會嚴(yán)重降低整體的效果，而證據(jù)體在融合時的重要性由其權(quán)重系數(shù)體現(xiàn)，權(quán)重系數(shù)可由計算可信度得到，即ωi=Reli。證據(jù)Ei的可信度Reli定義為：

2.4 基于可信度的證據(jù)合成

由上述研究可知，可信度綜合考慮了證據(jù)自身的確定度和證據(jù)間的相互支持度，有效描述了某一證據(jù)對整體的作用程度，可以最大化程度利用證據(jù)信息。以此為基礎(chǔ)，構(gòu)建了基于可信度的改進(jìn)D-S 證據(jù)理論框架。

將可信度作為證據(jù)的折扣系數(shù)，對證據(jù)體進(jìn)行修正并達(dá)到多沖突證據(jù)體正確融合識別的效果。具體流程如圖4 所示。

圖4 沖突證據(jù)融合流程圖

2.5 算例分析

由于傳感器獲得的信息容易受到外界環(huán)境的干擾，因此在目標(biāo)識別時多源信息會出現(xiàn)沖突度較高的情況，因此本文以文獻(xiàn)[15]提到的高沖突悖論BPA 函數(shù)作為驗證本文方法有效性的數(shù)據(jù)源，如表1 所示。同時以該數(shù)據(jù)源為基礎(chǔ)，將本文方法與幾種經(jīng)典的改進(jìn)算法進(jìn)行對比，對比結(jié)果如表2 所示?？芍?，多證據(jù)體在高沖突悖論下，D-S 理論[16]和Yager 組合規(guī)則[17]對A 的信任度為0，與實際情況不符；Sun 組合規(guī)則[18]將沖突完全賦予全集，認(rèn)為證據(jù)完全未知；Deng 組合規(guī)則[19]和本文方法都能得到正確的結(jié)果，但是本文方法在實際正確結(jié)果A 上的概率分配值更高，實驗證明了本文方法的有效性。

表1 高沖突悖論示例

表2 高沖突悖論在不同證據(jù)組合方法下的合成結(jié)果

3 基于改進(jìn)證據(jù)理論和深度學(xué)習(xí)的多源沖突信息融合識別模型

本文提出的基于深度學(xué)習(xí)和改進(jìn)證據(jù)理論的多源信息艦船目標(biāo)識別方法，將深度學(xué)習(xí)和改進(jìn)D-S 證據(jù)理論方法的優(yōu)勢相結(jié)合，其融合識別模型框架如圖5 所示，主要分為兩層：子神經(jīng)網(wǎng)絡(luò)單模式識別層和改進(jìn)DS 證據(jù)理論融合識別層。

圖5 基于改進(jìn)證據(jù)理論和深度學(xué)習(xí)的多源信息融合識別模型框架

首先，對各傳感器采集到的數(shù)據(jù)進(jìn)行預(yù)處理，得到不同類別的艦船信息，然后根據(jù)信息的特點構(gòu)建單模式分類識別網(wǎng)絡(luò)，并對每個網(wǎng)絡(luò)使用學(xué)習(xí)樣本來學(xué)習(xí)訓(xùn)練，隨后對訓(xùn)練好的子神經(jīng)網(wǎng)絡(luò)利用相應(yīng)的測試樣本進(jìn)行測試，得到各個單模式識別子神經(jīng)網(wǎng)絡(luò)的權(quán)重參數(shù)。

n類的艦船信息經(jīng)過子神經(jīng)網(wǎng)絡(luò)分類識別后，得到n個證據(jù)體，應(yīng)用本文改進(jìn)證據(jù)理論多證據(jù)體融合規(guī)則后，得到最終的目標(biāo)分類識別結(jié)果。算法流程如圖5 所示，最終得到的融合證據(jù)具有更高的概率分配值，識別準(zhǔn)確率更高。

4 實驗結(jié)果與分析

實驗選取了1 000 組關(guān)聯(lián)好的可見光艦船圖像、SAR 艦船圖像以及三條輻射源參數(shù)信息組成的向量數(shù)據(jù)，包含三類目標(biāo)，分別是航空母艦、驅(qū)逐艦和護(hù)衛(wèi)艦。對于本文使用的艦船可見光和SAR 圖像數(shù)據(jù)來說，一般它們都屬于非合作的數(shù)據(jù)，即成像傳感器的觀測俯仰角以及位置并不一致，進(jìn)而導(dǎo)致目標(biāo)在圖中的姿態(tài)方位角并不相同。

為了驗證本文基于改進(jìn)證據(jù)理論和深度學(xué)習(xí)的海上多源艦船信息融合識別方法的有效性和魯棒性，本文模擬了真實環(huán)境下的干擾條件，實驗中分別對測試集的原始可見光圖像和輻射源數(shù)據(jù)添加了不同強(qiáng)度的高斯噪聲，對SAR 圖像添加了斑點噪聲，這里的噪聲強(qiáng)度用信噪比來衡量。隨后統(tǒng)計了在不同信噪比條件下，可見光圖像艦船目標(biāo)識別、SAR 圖像艦船目標(biāo)識別、雷達(dá)輻射源艦船目標(biāo)識別和本文融合識別方法的準(zhǔn)確率。

實驗結(jié)果如圖6所示，隨著噪聲水平的提升，不同識別模式艦船識別準(zhǔn)確率嚴(yán)重降低。其中由于輻射源參數(shù)數(shù)據(jù)含有的信息量有限以及重復(fù)性較高，在信噪比為30 dB 時識別準(zhǔn)確率也僅僅有87%。本文基于改進(jìn)證據(jù)理論和深度學(xué)習(xí)的目標(biāo)融合識別方法，綜合考量了各個沖突證據(jù)信息的價值，將有益于正確識別的證據(jù)信息權(quán)重放大化，模糊證據(jù)信息以及與整體水平偏差較大的證據(jù)信息產(chǎn)生的作用降到最低，最終提高了模型整體的識別準(zhǔn)確率和對噪聲的魯棒性。不同模式下的識別置信度統(tǒng)計分布結(jié)果如圖7～圖10所示，本文融合識別準(zhǔn)確率在不同信噪比條件下均高于三種單一模式識別準(zhǔn)確率，經(jīng)計算，高于三種單一模式的平均識別準(zhǔn)確率水平6.53%。

圖6 不同識別模式抗噪性能對比

圖7 可見光艦船圖像單模式識別置信度統(tǒng)計分布

圖8 SAR 艦船圖像單模式識別置信度統(tǒng)計分布

圖9 雷達(dá)輻射源單模式識別置信度統(tǒng)計分布

圖10 本文融合識別方法置信度統(tǒng)計分布

5 結(jié)語

本文針對復(fù)雜環(huán)境下獨立使用單一信息源時海上艦船識別準(zhǔn)確率低，以及多源艦船信息高沖突時無法有效融合識別的問題，提出一種基于深度學(xué)習(xí)和改進(jìn)證據(jù)理論的海上多源艦船信息融合識別方法。首先利用深度學(xué)習(xí)高效特征學(xué)習(xí)能力實現(xiàn)更加準(zhǔn)確的艦船目標(biāo)分類識別；然后通過改進(jìn)的證據(jù)理論實現(xiàn)高沖突多源信息的高效正確融合。高悖論證據(jù)融合實驗結(jié)果表明，相比于其他融合方法，本文方法融合結(jié)果具有更高的概率分配值。同時在不同信噪比條件下，對單模式識別以及本文融合識別方法進(jìn)行測試，本文方法在噪聲情況下仍能比單模式平均水平高出6.53%的識別性能。因此，利用本文融合識別方法能夠提高艦船目標(biāo)識別系統(tǒng)的識別準(zhǔn)確率和魯棒性。

注：本文通訊作者為王肖霞。