新一代步兵班組的多源圖像偵察信息融合*

張露瑩，王 鵬，景雅琪，閆星星

（1.北方自動(dòng)控制技術(shù)研究所，太原 030006；2.解放軍32381 部隊(duì)，北京 100072）

0 引言

未來的戰(zhàn)場環(huán)境越來越向網(wǎng)絡(luò)化和信息化發(fā)展，在信息化的背景下，網(wǎng)絡(luò)化偵察有著越來越重要的地位。在當(dāng)前高度信息化的作戰(zhàn)環(huán)境下，綜合利用各種有源、無源、寬頻域覆蓋的軍事傳感器獲取敵我雙方目標(biāo)情報(bào)信息并進(jìn)行融合處理，形成高層決策信息已成為信息處理領(lǐng)域的研究熱點(diǎn)［1-3］。在未來步兵班組的偵察概念中，由于空中、地面微型無人偵察平臺(tái)的加入，偵察班組的構(gòu)成將發(fā)生重大變化，大規(guī)模以人為主的偵察將不再是步兵班組偵察作戰(zhàn)的主要方式，而將被有人/無人協(xié)同偵察方式所替代。圖像信息是最直觀的偵察信息，可以對(duì)目標(biāo)快速識(shí)別，方便士兵直觀地了解目標(biāo)屬性，對(duì)目標(biāo)威脅程度的判斷更加精準(zhǔn)，對(duì)班組指揮員進(jìn)行行動(dòng)決策有著至關(guān)重要的作用。隨著技術(shù)的發(fā)展，班組內(nèi)各有人/無人偵察要素獲取的圖像偵察信息將越來越豐富，對(duì)多源圖像偵察信息進(jìn)行融合，為班組及上級(jí)指揮員提供全面、直觀、準(zhǔn)確的戰(zhàn)場情報(bào)，將在未來的班組偵察作戰(zhàn)中發(fā)揮越來越重要的作用。

1 新一代步兵班組的偵察體系

相較于傳統(tǒng)的步兵班組，未來步兵班組將強(qiáng)化有人/無人偵察平臺(tái)的協(xié)同偵察。未來步兵班組的偵察組織結(jié)構(gòu)關(guān)系可以按照戰(zhàn)場實(shí)時(shí)情況進(jìn)行編配，上級(jí)偵察任務(wù)下達(dá)后，班組指揮員根據(jù)作戰(zhàn)環(huán)境以及偵察任務(wù)，分別從單兵、地面無人偵察裝置、空中無人偵察裝置中選擇適宜的偵察裝備實(shí)施協(xié)同偵察，構(gòu)成如圖1 所示的偵察班組，完成偵察任務(wù)。單兵手持偵察裝備與空中/地面?zhèn)刹煅b置進(jìn)行有效配合，具有多角度戰(zhàn)場偵察、全方位精確目標(biāo)識(shí)別等偵察能力。

圖1 未來步兵班組偵察組成

2 新一代步兵班組的圖像偵察場景

2.1 步兵班組典型偵察流程

基于步兵班組偵察組成及多種典型作戰(zhàn)模式，根據(jù)作戰(zhàn)任務(wù)、作戰(zhàn)要素的不同，可以設(shè)計(jì)出多種典型作戰(zhàn)場景。在班組指揮員進(jìn)行偵察籌劃后，偵察班組根據(jù)指揮員制定的偵察計(jì)劃進(jìn)行偵察任務(wù)。下頁圖2 是包含士兵、無人作戰(zhàn)裝備等要素的典型協(xié)同偵察流程。

圖2 步兵偵察班組偵察流程

可疑目標(biāo)出現(xiàn)時(shí)，班組指揮員根據(jù)偵察實(shí)際場景判斷無人偵察平臺(tái)或單兵是否可以獨(dú)立完成偵察任務(wù)，可以獨(dú)立進(jìn)行偵察時(shí)，班組指揮員選擇最佳偵察單元，將任務(wù)指派給指定的偵察單體，單體受領(lǐng)任務(wù)進(jìn)行獨(dú)立任務(wù)，對(duì)可疑目標(biāo)進(jìn)行多角度拍攝，再將拍攝圖像進(jìn)行融合，把最終融合信息傳送給班組指揮員，班組指揮員根據(jù)實(shí)時(shí)目標(biāo)狀態(tài)信息判定威脅程度。

若偵察班組根據(jù)情勢判定偵察平臺(tái)或單兵無法獨(dú)立完成偵察任務(wù)，指揮員將偵察目標(biāo)信息發(fā)送給整個(gè)偵察班組，班組接收偵察指令進(jìn)行協(xié)同偵察。將偵察視頻、目標(biāo)方向、距離參數(shù)等實(shí)時(shí)偵察數(shù)據(jù)上報(bào)班組指揮員，班組指揮員可根據(jù)匯總數(shù)據(jù)判定目標(biāo)的距離、形狀、大小等信息，顯示實(shí)時(shí)態(tài)勢圖，得出可疑目標(biāo)屬性信息，判定威脅程度。

新一代步兵班組的多源圖像融合偵察方式可以有效克服傳統(tǒng)偵察方式的不確定性和局限性，提高實(shí)時(shí)精確探測和識(shí)別能力。

2.2 步兵班組多源圖像融合場景

在收到班組指揮員的協(xié)同目標(biāo)偵測指令時(shí)，以對(duì)地目標(biāo)偵測為例，步兵班組的偵察流程如下。

2.2.1 目標(biāo)一致

圖3 目標(biāo)一致的圖像融合過程

班組指揮員在檢測到可疑目標(biāo)時(shí)，對(duì)空中無人偵察機(jī)發(fā)出定位指令，無人機(jī)對(duì)可疑目標(biāo)進(jìn)行追蹤，通過平臺(tái)上的綜合偵察設(shè)備，獲取目標(biāo)的圖像及方位距離信息，并傳送給地面?zhèn)刹煅b置。班組內(nèi)的士兵和地面無人偵察車接收信息后，向可疑目標(biāo)方向前進(jìn)。通過兩者拍攝到的實(shí)時(shí)圖像信息，首先判斷偵察目標(biāo)是否一致，確認(rèn)一致后，將兩個(gè)平臺(tái)獲得的圖像進(jìn)行融合，得到融合圖像。班組指揮員通過融合圖像，得到目標(biāo)的屬性數(shù)據(jù)，判斷其威脅程度。

[18]羅蘭·巴爾特：《寫作的零度》，《羅蘭·巴爾特文集》，李幼蒸譯，北京：中國人民大學(xué)出版社，2008年，第4頁。

2.2.2 目標(biāo)不一致

當(dāng)士兵和地面無人偵察車拍攝到的目標(biāo)相似百分比很低時(shí)，請(qǐng)求友鄰班組協(xié)助，對(duì)目標(biāo)進(jìn)行二次偵察，與偵察班組拍攝圖像進(jìn)行相似度百分比對(duì)比，確認(rèn)目標(biāo)，融合有用圖像信息，得到目標(biāo)融合圖像。在多源圖像融合場景中，基于偵察數(shù)據(jù)，對(duì)多源圖像進(jìn)行有價(jià)值信息的篩選融合，生成實(shí)時(shí)的融合圖像，為單兵了解目標(biāo)屬性，步兵班組進(jìn)一步地偵察作戰(zhàn)提供重要信息。

3 新一代步兵班組的多源圖像信息處理

圖4 目標(biāo)不一致的圖像融合過程

圖像融合技術(shù)由軍事需要而產(chǎn)生和發(fā)展，軍事領(lǐng)域的需求是圖像融合技術(shù)發(fā)展的重要?jiǎng)恿碓矗?］。由圖1 可知，未來步兵班組的偵察信息形態(tài)有數(shù)據(jù)、音頻、動(dòng)態(tài)圖像等多種形式。其中，圖像信息相比其他偵察信息，對(duì)偵察目標(biāo)的判斷更加直觀全面。在對(duì)可疑目標(biāo)的偵察中，步兵班組的多源圖像信息處理，通過不同偵察角度、不同偵察平臺(tái)拍攝的源圖像對(duì)比融合，實(shí)現(xiàn)基于圖像信息的目標(biāo)快速檢測、定位與識(shí)別，使步兵班組對(duì)可疑目標(biāo)有更加直觀的了解。步兵班組將拍攝圖像傳送回班組指揮員，班組指揮員通過處理的圖像融合，將目標(biāo)屬性、實(shí)時(shí)態(tài)勢等信息分發(fā)給士兵終端實(shí)現(xiàn)情報(bào)展現(xiàn)。

3.1 步兵班組圖像信息處理平臺(tái)

步兵班組圖像信息處理平臺(tái)主要由士兵信息終端、地面/空中無人偵察平臺(tái)及相應(yīng)的軟件組成，如圖5 所示。

圖5 步兵班組圖像信息處理平臺(tái)

士兵信息終端由步兵班組內(nèi)的士兵攜帶，是士兵信息系統(tǒng)的主要設(shè)備，主要完成指揮控制、情報(bào)信息處理、態(tài)勢信息處理與顯示、通信網(wǎng)絡(luò)控制、人機(jī)交互等功能。無人偵察平臺(tái)信息接口包括微型地面/空中無人偵察平臺(tái)的接口控制與信息處理模塊、無線通信單元，完成信息的接入、處理和分發(fā)、微型地面/空中無人偵察平臺(tái)控制、無線通信網(wǎng)絡(luò)等功能。各信息平臺(tái)都可獨(dú)立完成目標(biāo)偵察信息的獲取，人機(jī)通過班組信息處理平臺(tái)實(shí)現(xiàn)對(duì)偵察目標(biāo)的信息共享。

3.2 圖像信息處理流程

圖6 圖像處理流程圖

班組多源圖像處理在搭建的信息處理平臺(tái)上進(jìn)行。步兵班組的多源圖像融合的流程一般為多源圖像的預(yù)處理、圖像融合、目標(biāo)識(shí)別、情報(bào)分發(fā)以及情報(bào)展現(xiàn)，如圖6 所示。圖像預(yù)處理旨在提高圖像增強(qiáng)等預(yù)處理功能，能夠?qū)邮盏亩嘣磮D像提供對(duì)比度調(diào)整、增強(qiáng)、降噪、拉伸、放大、縮小、壓縮、解壓縮和邊緣處理等處理能力，改善拍攝圖像的顯示效果。圖像融合能夠完成多源圖像融合，包括圖像特征提取、圖像特征匹配、圖像配準(zhǔn)等功能，其中圖像匹配在下一步驟目標(biāo)識(shí)別中具有十分重要的作用。目標(biāo)識(shí)別能夠根據(jù)目標(biāo)的特征，完成目標(biāo)特征的模式匹配、判別分類，實(shí)現(xiàn)基于多源圖像融合的目標(biāo)識(shí)別功能。班組指揮員的情報(bào)分發(fā)，主要用于根據(jù)作戰(zhàn)需求和情報(bào)保障關(guān)系，對(duì)情報(bào)進(jìn)行分級(jí)、分類和排序，快速及時(shí)分發(fā)情報(bào)，還支持情報(bào)信息的按需索取，實(shí)現(xiàn)情報(bào)信息源、情報(bào)用戶、情報(bào)處理節(jié)點(diǎn)間的情報(bào)互通、信息共享。情報(bào)展現(xiàn)是完成情報(bào)態(tài)勢生成，并以態(tài)勢圖、表格、圖像、圖形等多種顯示方式完成情報(bào)的態(tài)勢顯示。

3.3 多源圖像融合技術(shù)

多源圖像融合技術(shù)實(shí)質(zhì)上是對(duì)現(xiàn)實(shí)世界生物大腦綜合處理圖像信息功能的一種模擬［6］。步兵班組中不同傳感器獲取的圖像信息會(huì)存在圖像清晰度和完整度的互補(bǔ)或者互余，多源圖像信息融合的基本原理就是通過對(duì)獲取的多源圖像進(jìn)行綜合整合利用，提高目標(biāo)圖像的可靠性，便于步兵班組進(jìn)一步了解目標(biāo)屬性，為班組指揮員進(jìn)行下一步的行動(dòng)提供依據(jù)。

各偵察平臺(tái)在精確的時(shí)空統(tǒng)一條件下進(jìn)行目標(biāo)信息處理，每個(gè)平臺(tái)能夠?qū)⒛繕?biāo)數(shù)據(jù)進(jìn)行實(shí)時(shí)融合，經(jīng)過一系列相關(guān)的濾波算法，產(chǎn)生實(shí)時(shí)融合圖像，實(shí)現(xiàn)快速共享。班組選擇合適的情報(bào)處理軟件，經(jīng)過時(shí)空配準(zhǔn)、數(shù)據(jù)關(guān)聯(lián)、濾波估計(jì)等處理，建立班組內(nèi)融合后的實(shí)時(shí)態(tài)勢。其中，完成目標(biāo)圖像融合的關(guān)鍵技術(shù)就是圖像配準(zhǔn)。

3.3.1 圖像配準(zhǔn)方法

對(duì)班組獲取的多源圖像進(jìn)行融合拼接，需要將不同傳感器獲取的有共同目標(biāo)視點(diǎn)的成像圖像進(jìn)行坐標(biāo)變換，將每幅圖像像素的坐標(biāo)X=［x，y］T投影到同一新坐標(biāo)系中的某一坐標(biāo)X?=［x?，y?］T進(jìn)行配準(zhǔn)。首先需要確定新舊坐標(biāo)之間的對(duì)應(yīng)關(guān)系模型，利用該模型的參數(shù)解決圖像投影問題?？紤]如何準(zhǔn)確地計(jì)算變換模型中的參數(shù)，其實(shí)質(zhì)就是圖像配準(zhǔn)。

不同偵察平臺(tái)使用的傳感器不同，在不同條件下（偵察角度、光線等）拍攝的圖像一般來說會(huì)有所不同，不同成像模式產(chǎn)生的圖像分辨率、灰度值等也會(huì)不同，為了對(duì)拍攝目標(biāo)屬性進(jìn)行深入分析，需要通過圖像配準(zhǔn)將不同傳感器獲取的多源圖像數(shù)據(jù)融合起來。圖像配準(zhǔn)決定著融合效果是否理想，是多源圖像融合技術(shù)的關(guān)鍵步驟。

圖像配準(zhǔn)就是指針對(duì)在不同條件下（時(shí)間、傳感器、天氣、照度、角度和攝像位置等）獲得的同一目標(biāo)的兩幅（或兩幅以上）圖像進(jìn)行匹配和疊加的處理過程，它是圖像融合處理當(dāng)中涉及到的一個(gè)基本的問題［7］。簡單來說，圖像配準(zhǔn)技術(shù)就是將不同傳感器獲取的不同坐標(biāo)的圖像，以最佳的融合算法投影到同一個(gè)坐標(biāo)系下形成一幅完整、清晰度較高的圖像的規(guī)程。

根據(jù)圖像配準(zhǔn)利用圖像的信息，可以將圖像配準(zhǔn)分為3 大類：基于區(qū)域的圖像配準(zhǔn)、基于變換域的圖像配準(zhǔn)以及基于特征的圖像配準(zhǔn)方法?；趨^(qū)域的圖像配準(zhǔn)算法是不需要對(duì)圖像進(jìn)行預(yù)處理，利用圖像的像素值直接參與到配準(zhǔn)算法?；谧儞Q域圖像配準(zhǔn)方法是通過傅里葉變換將圖像由空域轉(zhuǎn)換到頻域，利用傅里葉譜完成圖像的配準(zhǔn)操作。第3種基于特征的圖像配準(zhǔn)算法的應(yīng)用場景一般是，當(dāng)圖像之間存在無法避免克服的干擾噪聲，造成成像問題，發(fā)生圖像畸變時(shí)，采用其他兩者圖像額批準(zhǔn)算法無法解決該問題，不能獲得理想的配準(zhǔn)結(jié)果，只能采用基于特征的圖像配準(zhǔn)算法。

表1 3 種配準(zhǔn)方法優(yōu)缺點(diǎn)

3.3.2 基于特征點(diǎn)的圖像配準(zhǔn)

步兵班組情報(bào)信息的來源主要為光電類偵察裝備，信息的類型主要為不同傳感器、不同來源、不同視角的圖像、視頻信息，各種可見光、紅外圖像傳感器獲取的異種圖像具有灰度差異太大，噪聲大的特點(diǎn)。綜合考慮3 種配準(zhǔn)方法的優(yōu)缺點(diǎn)，基于特征點(diǎn)的圖像配準(zhǔn)算法較其他兩種算法雖然在特征提取時(shí)會(huì)損失大量的圖像信息，但是采用多傳感器獲取更多多源圖像可以一定程度彌補(bǔ)這個(gè)缺點(diǎn)，且該方法的配準(zhǔn)性能優(yōu)于其他兩種方法，對(duì)多源圖像融合效果的作用更加理想，更適合步兵班組的偵察任務(wù)，所以采用基于特征點(diǎn)的圖像配準(zhǔn)算法更為合理。

基于特征點(diǎn)的圖像配準(zhǔn)算法的步驟是，首先利用Harris 算子從圖像中提取特征點(diǎn)，這里選取角點(diǎn)，并獲取匹配的角點(diǎn)對(duì)，然后根據(jù)這些匹配的角點(diǎn)對(duì)計(jì)算出圖像之間的變換模型參數(shù)，最后通過計(jì)算出的變換模型參數(shù)實(shí)現(xiàn)圖像的配準(zhǔn)。

圖7 圖像配準(zhǔn)過程

在進(jìn)行角點(diǎn)匹配過程中，需要考慮誤匹配和圖像中角點(diǎn)位置不精確的情況。采用魯棒的參數(shù)估計(jì)法——隨機(jī)采樣算法進(jìn)行參數(shù)的估計(jì)投影變換，將源圖像中的數(shù)據(jù)分為“內(nèi)點(diǎn)”（即滿足估計(jì)參數(shù)的點(diǎn)）和“出格點(diǎn)”（即不滿足估計(jì)參數(shù)的點(diǎn)），最后用所有的“內(nèi)點(diǎn)”反過來重新計(jì)算和估計(jì)函數(shù)的參數(shù)，利用這種方法可以有效地提高圖像配準(zhǔn)精度，完成圖像的拼接變換。

圖8 圖像配準(zhǔn)拼接過程

如圖8 所示對(duì)同一視點(diǎn)從左至右依次拍攝的3幅圖像進(jìn)行圖像拼接，圖中用“●”表示提取出來的角點(diǎn)。然后分別對(duì)圖像1 和圖像2、圖像2 和圖像3這兩對(duì)中的角點(diǎn)進(jìn)行歸一化互相關(guān)匹配，完成匹配步驟。其中含有出格點(diǎn)（誤匹配的角點(diǎn)）。然后采用隨機(jī)采樣法進(jìn)行投影變換矩陣參數(shù)估計(jì)，最終對(duì)3幅原始圖像1、圖像2 和圖像3 進(jìn)行拼接得到的一幅寬視野的全景圖，如圖8 所示，其中以源圖像2作為統(tǒng)一的圖像參照坐標(biāo)系。

利用合適算法，采用圖像融合技術(shù)，對(duì)同一場景的不同目標(biāo)圖像“對(duì)齊”或進(jìn)行廣義的匹配，從而獲取目標(biāo)更加廣泛的圖像信息，可以擴(kuò)大偵察視野，增強(qiáng)步兵班組對(duì)偵察目標(biāo)的屬性分析，更加全面地了解戰(zhàn)場環(huán)境。但是目前來看，信息融合技術(shù)仍面臨諸多技術(shù)挑戰(zhàn)，尤其針對(duì)國內(nèi)現(xiàn)狀，最終成熟運(yùn)用到軍事上還需克服許多困難［8］。比如不確定因素對(duì)算法的影響，在獲取多幅原始圖像的前提下，若出現(xiàn)某一傳感器獲取的是低分辨率圖像或者黑屏圖像，圖像處理終端對(duì)于這些圖像的處理方式，會(huì)影響算法對(duì)于全景圖的拼接效果。同時(shí)，多學(xué)科知識(shí)體系的集成和應(yīng)用（如人工智能技術(shù)，模式識(shí)別等）也是一大挑戰(zhàn)。

4 結(jié)論

隨著戰(zhàn)場傳感器技術(shù)的不斷發(fā)展，戰(zhàn)場多傳感器數(shù)據(jù)融合系統(tǒng)必將在未來信息化戰(zhàn)爭中發(fā)揮更大的作用［9］。未來步兵班組將配有不同方式的偵察裝置，適應(yīng)多種戰(zhàn)場偵察環(huán)境，完成多角度全方位的偵察，實(shí)現(xiàn)班組內(nèi)成員間的信息交互與態(tài)勢共享。其中多源圖像的融合處理，可以充分發(fā)揮未來步兵班組的偵察能力，有助于提高目標(biāo)識(shí)別的準(zhǔn)確性和可靠性。隨著各類無人偵察平臺(tái)、偵察手段等要素不斷發(fā)展，對(duì)圖像融合概念與技術(shù)的研究需要不斷深入探索，以便進(jìn)一步提升未來步兵班組的作戰(zhàn)效能，解決在復(fù)雜條件下的局部戰(zhàn)場實(shí)時(shí)態(tài)勢感知需求?？傊瑘D像融合技術(shù)在軍事上扮演著越來越重要的地位，是未來步兵班組掌握復(fù)雜戰(zhàn)場把控能力的關(guān)鍵一步。