無人機(jī)偵察圖像實(shí)時(shí)展示方法研究

徐曉婷 滕杰

摘? 要：為提升圖像分析人員判讀無人機(jī)偵察圖像的效率，該文提出一種輔助圖像分析人員實(shí)時(shí)判讀的無人機(jī)偵察圖像展示方法。該方法基于無人機(jī)位姿數(shù)據(jù)，實(shí)現(xiàn)偵察圖像的實(shí)時(shí)地圖疊加顯示，有效地解決圖像重復(fù)判讀、拼接失敗圖像展示等問題，為圖像分析人員提供更加豐富的圖像關(guān)聯(lián)信息及地理信息，真正實(shí)現(xiàn)發(fā)現(xiàn)即定位。

關(guān)鍵詞：無人機(jī)；偵察圖像；情報(bào)；圖像拼接；瓦片地圖

中圖分類號(hào)：TP751.1? ? ? 文獻(xiàn)標(biāo)志碼：A? ? ? ? ? 文章編號(hào)：2095-2945（2024）05-0137-04

Abstract： In order to improve the efficiency of image analysts in interpreting UAV reconnaissance images， this paper proposes a UAV reconnaissance image display method which assists image analysts in real-time interpretation. Based on the position and attitude data of UAV， this method realizes the real-time map overlay display of reconnaissance images， effectively solves the problems of image repeated interpretation and splicing failure image display， and provides more abundant image correlation information and geographic information for image analysts， the real discovery is location.

Keywords： drone; reconnaissance image; intelligence; image mosaic; tile map

近年來，無人作戰(zhàn)系統(tǒng)快速發(fā)展，無人作戰(zhàn)向體系化、集群化發(fā)展。無人機(jī)承擔(dān)著偵察、打擊等多種作戰(zhàn)任務(wù)，通過無人機(jī)收集的偵察圖像數(shù)據(jù)呈爆炸式增長(zhǎng)，如何高效地從圖像中獲取目標(biāo)信息，是困擾圖像分析人員的重要問題。

吳蔚等[1]通過對(duì)圖像情報(bào)處理系統(tǒng)的分析，提出了一種滿足實(shí)時(shí)作業(yè)和離線管理的圖像情報(bào)處理方法；宋朱剛等[2]通過對(duì)高空長(zhǎng)航時(shí)無人機(jī)的作戰(zhàn)應(yīng)用需求分析，提出了高空長(zhǎng)航時(shí)無人機(jī)在情報(bào)偵察中的關(guān)鍵技術(shù)；吳婷等[3]根據(jù)C4ISR系統(tǒng)中無人機(jī)偵察圖像信息的處理架構(gòu)，提出了偵察圖像處理、分發(fā)、分析的關(guān)鍵技術(shù)和解決方案。

隨著人工智能技術(shù)的發(fā)展，基于深度學(xué)習(xí)的目標(biāo)識(shí)別技術(shù)被廣泛應(yīng)用于圖像目標(biāo)檢測(cè)領(lǐng)域。張玉蓮[4]提出了一種適合艦船目標(biāo)檢測(cè)與識(shí)別的深度學(xué)習(xí)網(wǎng)絡(luò)模型，針對(duì)1 920×1 080的大尺寸圖像，在嵌入式硬件系統(tǒng)中艦船檢測(cè)識(shí)別的準(zhǔn)確率高于85%。嚴(yán)開忠[5]設(shè)計(jì)了一個(gè)基于YOLOv3的無人機(jī)航拍圖像檢測(cè)模型，該模型在測(cè)試數(shù)據(jù)集上的mAP超過84%。雖然基于深度學(xué)習(xí)的目標(biāo)檢測(cè)與識(shí)別技術(shù)在圖像自動(dòng)化判讀上取得極大的進(jìn)步，但是該技術(shù)地有效運(yùn)行依賴于大量訓(xùn)練數(shù)據(jù)，當(dāng)前在無人機(jī)偵察領(lǐng)域尚難以滿足。因此，本文從圖像數(shù)據(jù)的合理展示入手，輔助圖像分析人員提高圖像判讀效率，加速情報(bào)處理閉環(huán)。

1? 圖像情報(bào)處理流程

1.1? 典型流程

圖像情報(bào)處理典型流程包括圖像解析、圖像預(yù)處理、圖像顯示、判讀整編和情報(bào)分發(fā)等步驟，如圖1所示。

圖像解析模塊接收無人機(jī)下傳的原始遙測(cè)信息，經(jīng)過解析后獲得偵察圖片及其附加信息，其中附加信息包括成像瞬間無人機(jī)的位置、姿態(tài)信息及傳感器的姿態(tài)、成像參數(shù)信息；圖像預(yù)處理模塊根據(jù)圖像特性及成像效果執(zhí)行幾何校正、灰度校正等操作；圖像顯示模塊主要完成圖像數(shù)據(jù)的顯示，供圖像分析人員進(jìn)行目標(biāo)判讀；判讀整編模塊則為提供必要的檢測(cè)、標(biāo)注、定位工具，供圖像分析人員完成目標(biāo)信息的整編；成果上報(bào)則將整理的情報(bào)數(shù)據(jù)分發(fā)至相關(guān)系統(tǒng)。

1.2? 圖像顯示

在圖像顯示階段，通常具有3種顯示方式：滾動(dòng)顯示、拼接圖顯示及地圖顯示。

滾動(dòng)顯示是在完成圖像解析與預(yù)處理后，通過圖像顯示窗口依次顯示偵察圖像，分析人員可通過執(zhí)行暫停、播放、調(diào)整播放速度、圖像縮放等操作進(jìn)行圖像判讀。為了保證偵察圖像對(duì)偵察區(qū)域的覆蓋性，相鄰圖像間通常有一定的重疊率，單純的滾動(dòng)顯示方式會(huì)造成分析人員的重復(fù)判讀；同時(shí)由于偵察圖像分辨率通常較大，直接顯示在屏幕上通常會(huì)執(zhí)行縮放操作，可能造成小目標(biāo)的判讀遺漏。

拼接圖顯示首先創(chuàng)建一張全景畫布，以第一張圖片為基準(zhǔn)，依次將后續(xù)圖像拼接校正后依次顯示于全景圖上。全景圖的顯示形式規(guī)避了對(duì)同一區(qū)域重復(fù)判讀的問題。但是由于拼接算法的不確定性，圖片存在無法拼接的可能，拼接失敗的圖片如何展示在全景畫布上成為制約拼接圖顯示的主要難題。同時(shí)，拼接圖顯示還需解決拼接累積誤差、拼接圖縮放、目標(biāo)標(biāo)注等問題。

地圖顯示首先根據(jù)圖像附加信息對(duì)圖像進(jìn)行幾何校正和地理編碼，然后依據(jù)圖像地理位置將圖像疊加于地圖進(jìn)行顯示。地圖顯示可有效解決重復(fù)判讀、拼接失敗的圖像展示等問題。

2? 地圖顯示

地圖顯示處理流程包括4步：①幾何校正；②瓦片生成；③瓦片融合；④二維地圖顯示。如圖2所示。

幾何校正模塊接收原始圖像及成像附加信息，完成圖像的地理編碼并執(zhí)行圖像變換生成校正圖；瓦片生成模塊接收校正圖，依據(jù)校正圖構(gòu)造切割圖像金字塔并完成各層級(jí)圖像瓦片切割；瓦片融合模塊接收?qǐng)D像瓦片，對(duì)于同一層級(jí)、同一行列號(hào)的瓦片執(zhí)行像素融合，生成唯一的該層級(jí)該行列號(hào)地圖瓦片；二維地圖顯示模塊利用地圖引擎加載瓦片進(jìn)行顯示。

2.1? 幾何校正

幾何校正由絕對(duì)校正和相對(duì)校正兩階段完成，主要完成原始圖像的地理編碼及幾何校正。幾何校正階段決定了圖像在地圖上的展示位置。

2.1.1? 絕對(duì)校正

圖像絕對(duì)校正首先利用無人機(jī)位姿信息及傳感器成像參數(shù)計(jì)算圖像對(duì)應(yīng)的地理坐標(biāo)，進(jìn)而對(duì)圖像進(jìn)行校正，將其還原為實(shí)際照射范圍的形狀為Plefttop（左上點(diǎn)）、Pleftbottom（左下點(diǎn)）、Prighttop（右上點(diǎn)）、Prightbottom（右下點(diǎn)）這4個(gè)點(diǎn)所包絡(luò)的形狀，如圖3所示。無人機(jī)位置信息包括無人機(jī)經(jīng)度、緯度、高度，姿態(tài)信息包括無人機(jī)橫滾角、俯仰角、航向角，傳感器成像參數(shù)包括傳感器方位角、俯仰角、視場(chǎng)角。

在圖像對(duì)應(yīng)的地理坐標(biāo)解算過程中，由于一副圖像包含一定矩形區(qū)間范圍內(nèi)的像素，數(shù)量較多，考慮到歐式變換中主要以旋轉(zhuǎn)、平移為主，基本上屬于可逆的線性變換機(jī)制，因此，只需要利用一副圖像中的4個(gè)角點(diǎn)即可計(jì)算出圖像在地面的空間分布范圍。在成像瞬間，相機(jī)攝影中心S、圖片中某像點(diǎn)a、像點(diǎn)a對(duì)應(yīng)的實(shí)際景物點(diǎn)A 3點(diǎn)共線，基于此可采用共線方程計(jì)算圖像四個(gè)角點(diǎn)對(duì)應(yīng)的物點(diǎn)經(jīng)緯度。共線方程實(shí)際上描述的是像點(diǎn)、物點(diǎn)、攝影中心在大地輔助直角坐標(biāo)系中的空間位置關(guān)系，如下式所示

式中：（XA，YA，ZA）為物點(diǎn)A在地輔系中的坐標(biāo)；（Xa，Ya，Za）為像點(diǎn)a在地輔系中的坐標(biāo)；（XS，YS，ZS）為攝影中心S在地輔系的坐標(biāo)；L為像點(diǎn)a到物點(diǎn)A的距離。

2.1.2? 相對(duì)校正

由于相鄰圖片間通常具有一定的重疊率，為了更好的可視化效果，將圖像相對(duì)上一幀圖像進(jìn)行配準(zhǔn)校正，本文基于特征點(diǎn)配準(zhǔn)完成相鄰圖像的匹配校正。圖像配準(zhǔn)就是將不同視角的兩幅圖像進(jìn)行匹配疊加的過程，本質(zhì)上是在變換空間中尋找最優(yōu)的圖像變換方式，以獲得正確匹配結(jié)果。圖像配準(zhǔn)通常有3類方法：基于灰度信息方法、基于變換域方法和基于特征方法?；诨叶刃畔⒎椒ㄊ侵苯痈鶕?jù)圖像或圖像塊灰度信息進(jìn)行像素上的對(duì)齊，該方法主要思想是直接最小化圖像信息差異；基于變換域的方法將圖像轉(zhuǎn)化到變化域進(jìn)行對(duì)齊配準(zhǔn)；基于特征方法則在特征空間完成圖像配準(zhǔn)。由于航拍圖像面臨著天氣變化、成像角度多樣等挑戰(zhàn)，本文采用基于特征方法進(jìn)行圖像配準(zhǔn)，基于特征的圖像配準(zhǔn)流程包括基準(zhǔn)圖像、待配準(zhǔn)圖像特征提取、特征匹配、變化矩陣解算和待配準(zhǔn)圖像校正等步驟，如圖4所示。

基于特征的配準(zhǔn)方法可以分為基于點(diǎn)特征配準(zhǔn)、基于線特征配準(zhǔn)、基于面特征配準(zhǔn)3類。點(diǎn)特征通常包含角點(diǎn)、端點(diǎn)及極值點(diǎn)等，基于特征點(diǎn)的圖像配準(zhǔn)方法適用于角點(diǎn)明顯、高曲率點(diǎn)及邊緣端點(diǎn)等特征明顯的圖像；線特征通常指圖像的邊緣和構(gòu)成邊緣的線，基于線特征的圖像配準(zhǔn)方法使用于道路、海岸線、建筑輪廓等場(chǎng)景；面特征通常指一個(gè)區(qū)域內(nèi)的顯著特征，適用于多光譜成像場(chǎng)景。由于點(diǎn)特征具有較強(qiáng)的適應(yīng)性與魯棒性，本文采用點(diǎn)特征進(jìn)行圖像配準(zhǔn)，特征點(diǎn)提取結(jié)果如圖5所示。

2.2? 瓦片生成

瓦片生成主要包含2個(gè)步驟：①圖像金字塔生成；②瓦片切割。

數(shù)字地圖引擎通常采用了以瓦片機(jī)制驅(qū)動(dòng)的地圖內(nèi)容服務(wù)，其中最常見的是瓦片金字塔結(jié)構(gòu)。為了適應(yīng)地圖引擎的需求，根據(jù)所需顯示的瓦片層級(jí)，將圖片以2的次方進(jìn)行采樣，獲取圖像金字塔。

地圖瓦片通常為固定分辨率（如256像素×256像素）的圖片，根據(jù)地圖引擎的標(biāo)準(zhǔn)，將各個(gè)層級(jí)的圖片切割為固定尺寸的地圖瓦片，切割結(jié)果如圖6所示。

2.3? 瓦片融合

瓦片融合是對(duì)不同圖片產(chǎn)生的同一層級(jí)、同一行列號(hào)的瓦片進(jìn)行灰度值處理的過程，本文直接采用后生成瓦片的灰度值。常用的融合方法包括加權(quán)平均法、金字塔融合法、梯度域融合法等，由于融合效果主要影響視覺效果，對(duì)圖像判讀影響不大，故本文采用加權(quán)平均法對(duì)同名瓦片進(jìn)行融合處理（圖7）。

2.4? 二維地圖顯示

為了更好地表征圖像所在的地理位置及圖像間的相對(duì)位置關(guān)系，本文采用瓦片地圖對(duì)圖像進(jìn)行展示。在進(jìn)行地圖展示時(shí)，瓦片地圖通過2種方式刷新瓦片顯示：①人工操作觸發(fā)，當(dāng)判讀人員執(zhí)行地圖平移、縮放等操作時(shí)，刷新顯示瓦片；②切割瓦片主動(dòng)推送，當(dāng)瓦片切割模塊生成圖像瓦片時(shí)，若該瓦片位于當(dāng)前顯示區(qū)域，刷新顯示瓦片。

通過以上2種刷新機(jī)制，保證了瓦片地圖的合理顯示，便于分析人員判讀分析。

3? 技術(shù)展望

為了進(jìn)一步提升偵察圖像判讀效率，一方面需繼續(xù)豐富偵察圖像顯示方式，另一方面須加強(qiáng)在小樣本下的目標(biāo)自動(dòng)判讀技術(shù)。

3.1? 基于slam的實(shí)時(shí)三維顯示

隨著slam技術(shù)的快速發(fā)展，基于slam的實(shí)時(shí)三維重建技術(shù)[6]得到更多研究。在保證偵察圖像重疊率的情況下，可以結(jié)合slam技術(shù)完成地面數(shù)據(jù)實(shí)時(shí)三維重建，為圖像分析人員提供高度方向的信息，增加圖像分析人員的判讀信心。

3.2? 小樣本目標(biāo)自動(dòng)判讀技術(shù)

在體系化作戰(zhàn)下，圖像數(shù)據(jù)將進(jìn)一步增加，單純依靠人工判讀難以保證情報(bào)生成的時(shí)效性。雖然圖像數(shù)據(jù)急劇增加，但是包含特定目標(biāo)的圖像數(shù)據(jù)卻極為稀少，為了應(yīng)對(duì)小數(shù)據(jù)集下深度學(xué)習(xí)識(shí)別模型的性能缺陷問題，需加強(qiáng)研究小樣本目標(biāo)自動(dòng)判讀技術(shù)[7]，輔助圖像分析人員完成目標(biāo)判讀。

4? 結(jié)束語

為了提升圖像分析人員的判讀效率，本文提出了一種無人機(jī)真?zhèn)刹靾D像展示方法。該方法通過幾何校正、瓦片生成、瓦片融合等處理流程，將偵察圖像實(shí)時(shí)疊加于瓦片地圖進(jìn)行顯示，展示了偵察圖像的位置信息及依賴關(guān)系。本方法時(shí)效性強(qiáng)，可視化效果好，可有效輔助圖像分析人員進(jìn)行判讀分析。在偵察圖像急劇增加、分析人員有限的背景下，為進(jìn)一步提升圖像分析效率，還需大力發(fā)展無人機(jī)偵察圖像自動(dòng)判讀能力，進(jìn)而加速作戰(zhàn)行動(dòng)的感知、決策、行動(dòng)閉環(huán)。

參考文獻(xiàn)：

[1] 吳蔚，李曉冬，許鶯.無人機(jī)偵察圖像情報(bào)處理與運(yùn)用關(guān)鍵技術(shù)研究[C]//中國指揮與控制學(xué)會(huì).第四屆中國指揮控制大會(huì)論文集.中國電子科技集團(tuán)公司第二十八研究所信息系統(tǒng)工程重點(diǎn)實(shí)驗(yàn)室，2016：4.

[2] 宋朱剛，蔣盤林.高空長(zhǎng)航時(shí)無人機(jī)在情報(bào)偵察中的軍事應(yīng)用與關(guān)鍵技術(shù)[J].通信對(duì)抗，2010（3）：4.

[3] 吳婷，朱美正.圖像情報(bào)處理系統(tǒng)的研究與實(shí)現(xiàn)[J].計(jì)算機(jī)工程與設(shè)計(jì)，2011，32（11）：3925-3928.

[4] 張玉蓮.光學(xué)圖像海面艦船目標(biāo)智能檢測(cè)與識(shí)別方法研究[D].北京：中國科學(xué)院大學(xué)（中國科學(xué)院長(zhǎng)春光學(xué)精密機(jī)械與物理研究所），2021.

[5] 嚴(yán)開忠.基于深度學(xué)習(xí)的無人機(jī)目標(biāo)檢測(cè)與跟蹤算法研究[D].南京：南京理工大學(xué)，2021.

[6] 萬剛.無人機(jī)測(cè)繪技術(shù)及應(yīng)用[M].北京：測(cè)繪出版社，2015.

[7] 劉春磊，陳天恩，王聰，等.小樣本目標(biāo)檢測(cè)研究綜述[J].計(jì)算機(jī)科學(xué)與探索，2023，17（1）：53-73.