基于圖像和航跡信息的目標(biāo)完整性評(píng)估方法

謝松云, 劉祥惠, 吳曉亮, 高川林, 沈冬睿

(西北工業(yè)大學(xué) 電子信息學(xué)院, 陜西 西安 710072)

目標(biāo)的完整性評(píng)估指目標(biāo)發(fā)生變化后，獲取相關(guān)多源信息如圖像、視頻、軌跡和雷達(dá)等數(shù)據(jù)，根據(jù)其結(jié)構(gòu)和特點(diǎn)，通過多種技術(shù)方法給出目標(biāo)當(dāng)前完整程度的判定。在如自然災(zāi)害的檢測(cè)評(píng)估、土地利用以及軍事等多個(gè)領(lǐng)域具有重要應(yīng)用[1-2]。尤其在國(guó)防領(lǐng)域的應(yīng)用中，準(zhǔn)確及時(shí)地對(duì)目標(biāo)進(jìn)行完整性評(píng)估是戰(zhàn)場(chǎng)協(xié)調(diào)控制和正確決策的重要基礎(chǔ)和依據(jù)，能有效提高戰(zhàn)場(chǎng)資源的利用效率。本文即依托空中飛行物這一目標(biāo)對(duì)其進(jìn)行實(shí)時(shí)的完整性評(píng)估。

自20世紀(jì)90年代起，國(guó)內(nèi)外學(xué)者對(duì)目標(biāo)完整性判斷的方法進(jìn)行了大量研究，如貝葉斯網(wǎng)絡(luò)法、模糊綜合評(píng)估法、深度學(xué)習(xí)法等[3]。其中，由于圖像信息來源較多且相對(duì)容易獲取，基于圖像變化檢測(cè)來判斷目標(biāo)完整性是較為常用的方法。如Hajeb等[4]基于地震事件前后SAR圖像的紋理特征對(duì)震后城市損害進(jìn)行了評(píng)估。Zhai等[5]基于卷積神經(jīng)網(wǎng)絡(luò)，選取谷歌街景圖像，對(duì)颶風(fēng)災(zāi)后建筑物的損壞程度進(jìn)行了檢測(cè)。然而對(duì)于現(xiàn)實(shí)環(huán)境下的空中飛行目標(biāo)，即使完整性未發(fā)生變化，其周圍可能也會(huì)存在干擾評(píng)估的火焰或者煙霧，產(chǎn)生的原因一般是并未接觸目標(biāo)，或者是被目標(biāo)釋放的誘餌提前引燃。這些干擾信息也會(huì)呈現(xiàn)在采集到的圖像數(shù)據(jù)中，從而影響目標(biāo)完整性評(píng)估的準(zhǔn)確率。

近些年，基于非圖像信息源的目標(biāo)完整性評(píng)估研究也取得了較多進(jìn)展。Gu等[6]分析了戰(zhàn)術(shù)彈道導(dǎo)彈的系統(tǒng)特性和功能特性，構(gòu)建了導(dǎo)彈的易損性模型進(jìn)行完整性評(píng)估。Zhai等[7]對(duì)導(dǎo)彈打擊下島礁目標(biāo)區(qū)域的完整性建立了評(píng)估模型，結(jié)合灰色關(guān)聯(lián)度法和層次分析法解決了不同島礁設(shè)施重要性的量化。但該類方法建立評(píng)估模型時(shí)要考慮的因素眾多，過程十分復(fù)雜。

針對(duì)上述基于單一數(shù)據(jù)源對(duì)目標(biāo)進(jìn)行完整性評(píng)估不夠準(zhǔn)確、實(shí)現(xiàn)過程復(fù)雜等問題，提出了一種結(jié)合圖像和航跡信息的目標(biāo)完整性綜合評(píng)估方法：首先利用目標(biāo)變化前后的圖像紋理、角點(diǎn)、方向梯度直方圖(histogram of oriented gradient,HOG)等特征，通過K-近鄰(K-nearest neighbors,KNN)、支持向量機(jī)(support vector machine,SVM)分類器轉(zhuǎn)化為圖像分類問題，之后結(jié)合航跡信息的分類結(jié)果綜合判斷，得出最終的完整性評(píng)估結(jié)果。該方法易于實(shí)現(xiàn)，且能夠滿足準(zhǔn)確率和實(shí)時(shí)性的雙重要求。

1 完整性評(píng)估方法概述

隨著獲取信息能力越來越強(qiáng)，可獲得數(shù)據(jù)種類的增多，基于單一數(shù)據(jù)源的目標(biāo)完整性評(píng)估方法已經(jīng)不能滿足人們的需求。利用不同信息源傳遞的數(shù)據(jù)，按照一定的規(guī)則進(jìn)行融合，能做出更完備、更高效、更準(zhǔn)確合理的判斷。本研究即采用可見光圖像和航跡信息2種不同源的數(shù)據(jù)進(jìn)行融合評(píng)估，可避免單一數(shù)據(jù)源的某種限制造成評(píng)估結(jié)果的偏差。方法的整體框圖如圖1所示，基于可見光圖像和航跡信息分別給出評(píng)估結(jié)果，在決策層根據(jù)各自的評(píng)估性能確定權(quán)重進(jìn)行加權(quán)融合，得出最終的融合評(píng)估結(jié)果。

在分別基于可見光圖像和航跡信息進(jìn)行評(píng)估時(shí)，提出了一種新的基于分類的評(píng)估方法。經(jīng)典的評(píng)估方法多為提取目標(biāo)變化前后特定信息的變化率，由評(píng)估模型得到目標(biāo)的完整性系數(shù)，根據(jù)不同的評(píng)估標(biāo)準(zhǔn)將系數(shù)對(duì)應(yīng)到不同的完整性等級(jí)，該類方法的難點(diǎn)在于完整性系數(shù)與評(píng)估標(biāo)準(zhǔn)的對(duì)應(yīng)往往需要一定的專家經(jīng)驗(yàn)，而利用目標(biāo)變化前后的評(píng)估特征，通過分類器轉(zhuǎn)化為目標(biāo)數(shù)據(jù)分類問題則可以避免這一困難。該方法首先將目標(biāo)的完整性分為3個(gè)類別，分別為完整目標(biāo)(類別0)、部分完整目標(biāo)(類別1)、不完整目標(biāo)(類別2)，記變化前目標(biāo)的完整性均為類別0，則當(dāng)前目標(biāo)的分類類別等同于任務(wù)前后類別的變化量，也即任務(wù)后目標(biāo)的完整性等級(jí)。

當(dāng)空中目標(biāo)受到打擊發(fā)生變化時(shí)，在可見光圖像上一般會(huì)表現(xiàn)為燃燒或者爆炸的現(xiàn)象，且飛行目標(biāo)往往有著比較規(guī)則的邊緣，目標(biāo)一旦命中，規(guī)則的邊緣就會(huì)受到大幅度破壞。圖像的紋理特征、角點(diǎn)個(gè)數(shù)和HOG特征都會(huì)隨著目標(biāo)狀態(tài)的不同發(fā)生較明顯變化，可將其作為圖像分類的特征。

正常情況下空中目標(biāo)在三維空間中的飛行軌跡是一條平滑且連續(xù)的曲線，一旦目標(biāo)變化，飛行軌跡會(huì)發(fā)生突變甚至消失。因此目標(biāo)在三維空間內(nèi)飛行軌跡的參數(shù)變化也可作為航跡分類的特征。

在分類器的選擇上，K近鄰方法易于實(shí)現(xiàn)，對(duì)異常值和噪聲有較高的容忍度，支持向量機(jī)是一種學(xué)習(xí)及泛化能力很強(qiáng)的分類器，在非線性和高維識(shí)別問題以及小樣本問題中展現(xiàn)了其獨(dú)特的優(yōu)勢(shì)，正符合本文樣本量較少的需求。

2 基于圖像和航跡信息的完整性評(píng)估

2.1 基于圖像分類的目標(biāo)完整性評(píng)估方法

基于圖像分類的目標(biāo)完整性評(píng)估如圖1所示，由圖像預(yù)處理、紋理角點(diǎn)特征與KNN分類器、HOG特征與SVM分類器3個(gè)部分組成。

2.1.1 圖像預(yù)處理

為了提高圖像質(zhì)量，減少圖像背景對(duì)評(píng)估結(jié)果的影響，縮短后續(xù)特征信息提取時(shí)間，首先需對(duì)目標(biāo)圖像進(jìn)行預(yù)處理。

由于待評(píng)估對(duì)象為?？毡尘跋碌目罩酗w行目標(biāo)，減少天空背景中的煙霧可有效增強(qiáng)圖像質(zhì)量。本文采用的暗通道去霧方法[8]處理速度快且效果好，是目前諸多去霧算法中比較出色的算法之一。

得到更為清晰的去霧圖像后，為防止非目標(biāo)的圖像背景變化會(huì)對(duì)后續(xù)評(píng)估產(chǎn)生干擾，在評(píng)估特征提取之前對(duì)去霧后的可見光圖像進(jìn)行待評(píng)估目標(biāo)的檢測(cè)與裁剪，把后續(xù)特征提取的區(qū)域縮小至空中目標(biāo)本身，此步驟同時(shí)可縮短后續(xù)特征提取所需時(shí)間。具體操作分別為高斯去噪、sobel算子計(jì)算圖像梯度、二值化確定目標(biāo)的4個(gè)邊界完成對(duì)圖像的裁剪,結(jié)果如圖2所示。

圖2 圖像預(yù)處理效果圖

2.1.2 基于紋理角點(diǎn)特征和KNN的完整性評(píng)估

考慮到目標(biāo)完整性評(píng)估穩(wěn)定和快速的需求，研究選取的紋理特征為圖像均值、標(biāo)準(zhǔn)差、平均梯度、信息熵，計(jì)算方式如下，其中,w為圖像的寬，h為圖像的高，Pxy為像素點(diǎn)(x,y)的像素灰度值，pn為灰度值為n的像素點(diǎn)在所有像素中所占比例。

圖像均值：圖像里全部像素的灰度平均值

(1)

圖像標(biāo)準(zhǔn)差：像素灰度值和均值之間的離散程度

(2)

圖像平均梯度：反映了圖像的紋理變化及圖像的清晰度

(3)

圖像信息熵：代表了圖像數(shù)據(jù)的信息豐富度

(4)

在紋理特征發(fā)生變化的同時(shí)，目標(biāo)圖像中的角點(diǎn)數(shù)目也存在較大變化。研究采用的角點(diǎn)檢測(cè)方法為 Shi-Tomasi 角點(diǎn)檢測(cè)算法，如圖2g)所示：完整目標(biāo)的角點(diǎn)個(gè)數(shù)為6，部分完整目標(biāo)角點(diǎn)個(gè)數(shù)為10，不完整目標(biāo)的角點(diǎn)個(gè)數(shù)為15。通過變化前后目標(biāo)圖像的角點(diǎn)個(gè)數(shù)統(tǒng)計(jì)發(fā)現(xiàn)目標(biāo)的完整性和目標(biāo)圖像角點(diǎn)個(gè)數(shù)變化具有一定的相關(guān)性，不完整程度越大，角點(diǎn)個(gè)數(shù)變化越大，記變化量為ΔD。

KNN算法是一種基于回歸和分類問題的算法，有實(shí)現(xiàn)簡(jiǎn)單、訓(xùn)練速度快等優(yōu)點(diǎn)。其分類過程如下：選取一個(gè)待測(cè)樣本，在全部的訓(xùn)練樣本集中搜索k個(gè)待測(cè)樣本的最近鄰，然后通過多數(shù)投票的方式在k個(gè)最近鄰中確定待測(cè)樣本的所屬類別,以此實(shí)現(xiàn)待測(cè)樣本的分類識(shí)別。文中k值取3，距離采用歐氏距離。每個(gè)圖像的特征向量即為

Y=(μ,σ,G,H,ΔD)T

(5)

則2個(gè)圖像所對(duì)應(yīng)的紋理角點(diǎn)特征向量之間的歐氏距離為：

(6)

為了提高準(zhǔn)確率，對(duì)紋理角點(diǎn)特征進(jìn)行歸一化：

(7)

對(duì)于某個(gè)未知類別的特征實(shí)例來說，計(jì)算其與訓(xùn)練集中所有特征實(shí)例的歐氏距離，然后取 3 個(gè)與其相距最近的特征實(shí)例，通過判斷這3個(gè)特征實(shí)例中的大多數(shù)類別，即可決定該未知實(shí)例的類別，也即完整性評(píng)估結(jié)果，該部分流程圖如圖3所示。

圖3 基于紋理角點(diǎn)特征和KNN的完整性評(píng)估方法流程圖

2.1.3 基于HOG特征和SVM的完整性評(píng)估

HOG特征本質(zhì)也是圖像梯度的統(tǒng)計(jì)信息，將圖像分解成若干個(gè)小的單元，采集單元中各像素點(diǎn)的梯度直方圖，構(gòu)建表征梯度的統(tǒng)計(jì)特征向量。圖4為3種情況下目標(biāo)圖像的HOG特征可視化圖，可以看出也存在較明顯區(qū)別。

圖4 不同情況下的圖像HOG特征可視化圖

SVM是一種基于統(tǒng)計(jì)學(xué)習(xí)理論的學(xué)習(xí)機(jī)，其主要原理為通過使用非線性映射算法將輸入的特征向量從低維空間映射至另一個(gè)高維的空間內(nèi)使其線性可分，并且在該高維空間內(nèi)構(gòu)建最優(yōu)的線性分類面。同時(shí)，把特征向量映射至高維空間里僅僅是改變了內(nèi)積運(yùn)算，算法的復(fù)雜度并沒有隨著維數(shù)的提高而提高，在圖像識(shí)別和分類領(lǐng)域得到了廣泛應(yīng)用。與HOG特征組合得到的分類結(jié)果同樣可作為當(dāng)前目標(biāo)的完整性評(píng)估結(jié)果，流程圖如圖5所示。

圖5 基于HOG和SVM的完整性評(píng)估方法流程圖

2.2 基于航跡信息的完整性評(píng)估方法

本研究通過飛行模擬軟件FlightGear控制飛行器在三維空間內(nèi)飛行的方式來進(jìn)行目標(biāo)的航跡模擬仿真。通過模擬進(jìn)行正常飛行、某一時(shí)刻突然墜落、某一時(shí)刻突然停止飛行，分別對(duì)完全完整(未受到命中)、部分不完整(部分受到命中)、不完整(完全受到命中)等3種情況進(jìn)行仿真，得出對(duì)應(yīng)的3種空中目標(biāo)的航跡數(shù)據(jù)。其中包括7個(gè)參數(shù)：經(jīng)度、緯度、高度、速度、傾角、俯仰角、航向角，區(qū)別較明顯的參數(shù)為高度、速度、俯仰角。

通過對(duì)比目標(biāo)在變化前后的參數(shù)大小，可以得出目標(biāo)在變化前后的高度、速度和俯仰角的變化；將變化值作為特征，同樣采用KNN分類器進(jìn)行三分類。分別記高度、速度、俯仰角為G,S,F，同時(shí)下標(biāo)q,h分別代表變化前(即目標(biāo)變化點(diǎn)之前的那一點(diǎn))和變化后(即目標(biāo)變化點(diǎn)之后的那一點(diǎn)；如果目標(biāo)完全變化，則為目標(biāo)變化點(diǎn)本身)。

則目標(biāo)在變化后的軌跡特征向量V為

V=(|Gh-Gq|,|Sh-Sq|,|Fh-Fq|)T

(8)

把V輸入KNN進(jìn)行分類，得到目標(biāo)軌跡測(cè)試數(shù)據(jù)在變化后的類別，即當(dāng)前目標(biāo)的完整性結(jié)果, 流程圖如圖6所示。

圖6 基于航跡信息和KNN的完整性評(píng)估方法流程圖

2.3 融合方法

通過上述方法分別得到圖像類別變化(記為ΔCI(image category))和航跡類別變化(記為ΔCT(track category))的結(jié)果后，對(duì)2個(gè)類別變化進(jìn)行加權(quán)平均，得到綜合類別變化 。

ΔC=aΔCI+bΔCT

(9)

在基于圖像數(shù)據(jù)源分類方面，為了對(duì)目標(biāo)的完整性進(jìn)行更全面評(píng)估，記ΔCIK為KNN和紋理角點(diǎn)分類所得到的類別變化，ΔCIS為SVM和HOG分類所得到的類別變化，則有下式：

ΔCI=c1ΔCIK+c2ΔCIS

(10)

將(10)式帶入(9)式可得

ΔC=ac1ΔCIK+ac2ΔCIS+bΔCT

(11)

其中，a,b,c1,c2分別為各分類結(jié)果所占權(quán)重。由于最后的類別變化應(yīng)該為整數(shù)(0或1或2)，對(duì)ΔC進(jìn)行四舍五入取整，得到最終的綜合類別變化，也即目標(biāo)完整性評(píng)估的最終結(jié)果。

3 方法驗(yàn)證和結(jié)果分析

首先基于紋理角點(diǎn)特征與KNN圖像分類方法對(duì)目標(biāo)完整性進(jìn)行評(píng)估，數(shù)據(jù)集共選取360張圖像，其中包括完整圖像120張(類別標(biāo)簽為0)，部分完整圖像120張(類別標(biāo)簽為1)，不完整圖像120張(類別標(biāo)簽為2)，訓(xùn)練集與測(cè)試集的比例為2∶1。圖7中藍(lán)色代表4維紋理特征向量，橙色為加入角點(diǎn)變化量的5維特征向量。結(jié)果表明選擇紋理角點(diǎn)5維特征的準(zhǔn)確率達(dá)到了93.33%，高于無角點(diǎn)變化量特征的90.83%, 且無論是否加入角點(diǎn)變化量，歸一化操作都提高了圖像的分類準(zhǔn)確率，驗(yàn)證了歸一化操作的有效性。

圖7 紋理角點(diǎn)+KNN完整性評(píng)估準(zhǔn)確率對(duì)比(是否歸一化)

圖8為將紋理角點(diǎn)、HOG、2種特征拼接分別和KNN、SVM分類器進(jìn)行組合后的6種分類準(zhǔn)確率結(jié)果，從圖中可以看出，紋理角點(diǎn)+KNN組合的準(zhǔn)確率93.33%高于紋理角點(diǎn)+SVM組合的91.67%，HOG+SVM組合的準(zhǔn)確率90.83%高于HOG+KNN組合的89.16%，但拼接特征與任意分類器組合的準(zhǔn)確率都沒有超過紋理角點(diǎn)與KNN的組合,因此基于圖像源的評(píng)估方法本文采用的組合即為2.1.2和2.1.3節(jié)所述的方法。

圖8 基于圖像的完整性評(píng)估正確率對(duì)比

雖然從圖8中可以看出，紋理角點(diǎn)特征相比HOG特征擁有更高的準(zhǔn)確率，但2種特征從不同角度反映了圖像的特點(diǎn)，為了對(duì)目標(biāo)的完整性進(jìn)行更全面的判斷，2種方法均作為基于圖像分類的一部分加入綜合評(píng)估。在結(jié)合航跡分類結(jié)果進(jìn)行綜合評(píng)估的過程中，權(quán)重的選擇是一個(gè)重要的因素。由于前2種方法的數(shù)據(jù)源均為圖像，只有第3種方法基于航跡信息且準(zhǔn)確率并不低于2種圖像源的方法，為了充分發(fā)揮航跡信息的作用故將第3種方法的權(quán)重定為略高于1/3的0.4，前2種圖像源的方法權(quán)重均分為0.3和0.3。由圖9不同權(quán)重下的完整性綜合評(píng)估準(zhǔn)確率柱狀圖中可以看出，當(dāng)圖像分類權(quán)重為0.6，且其中紋理角點(diǎn)特征和HOG特征各占比0.5(即紋理角點(diǎn)特征、HOG特征和航跡特征分類結(jié)果的權(quán)重分別為0.3，0.3，0.4)時(shí)，處于高準(zhǔn)確率區(qū)域的中心位置，相對(duì)較穩(wěn)定。

圖9 不同權(quán)重下的完整性綜合評(píng)估準(zhǔn)確率

基于以上權(quán)重，圖10給出了單數(shù)據(jù)源和綜合評(píng)估的準(zhǔn)確率對(duì)比結(jié)果，實(shí)驗(yàn)證明基于圖像和航跡信息的綜合評(píng)估方法準(zhǔn)確率高達(dá)97.5%,相比僅依賴圖像(無論是紋理角點(diǎn)還是HOG特征)或者航跡信息進(jìn)行判斷分別高出了4.17%，6.67%，4.17%，證實(shí)了結(jié)合圖像和航跡信息綜合評(píng)估方法的有效性。

圖10 單數(shù)據(jù)源和綜合完整性評(píng)準(zhǔn)確率對(duì)比

由于目標(biāo)的完整性評(píng)估需要極高的實(shí)時(shí)性，基于Intel(R) Core(TM) i7-9700F CPU @ 3.00GHz，GTX1660Ti顯卡，16G內(nèi)存的工作環(huán)境，進(jìn)行了評(píng)估方法各環(huán)節(jié)速度的測(cè)試，如表1所示。整個(gè)完整性評(píng)估的用時(shí)可保持在毫秒級(jí)別，完全滿足實(shí)時(shí)性的要求。

表1各環(huán)節(jié)單張圖片平均用時(shí)

4 結(jié) 論

論文通過對(duì)目標(biāo)可見光圖像和航跡信息仿真及預(yù)處理得到可用于分類的數(shù)據(jù)，并對(duì)數(shù)據(jù)分別進(jìn)行評(píng)估特征提取及分類，將分類情況對(duì)應(yīng)為目標(biāo)發(fā)生變化后的完整性結(jié)果，最終通過加權(quán)平均得到基于圖像數(shù)據(jù)和航跡信息的綜合評(píng)估結(jié)果。該方法將目標(biāo)的完整性評(píng)估轉(zhuǎn)換為分類問題，采用2種數(shù)據(jù)源成功提高了評(píng)估的準(zhǔn)確率及速度，最終評(píng)估準(zhǔn)確率高達(dá)97.5%，單張圖片的用時(shí)為100 ms左右。在后續(xù)的研究中可繼續(xù)引入更多的數(shù)據(jù)源進(jìn)行綜合評(píng)估，如雷達(dá)回波和紅外圖像等，進(jìn)一步驗(yàn)證基于多數(shù)據(jù)源進(jìn)行目標(biāo)完整性評(píng)估的優(yōu)勢(shì)。

致謝感謝陜西省腦機(jī)一體化及其無人系統(tǒng)應(yīng)用國(guó)際聯(lián)合研究中心提供數(shù)據(jù)和設(shè)備支持。