基于三維實(shí)景建模的戰(zhàn)場(chǎng)勘測(cè)仿真技術(shù)

張 晗，李嘉俊，徐 威，余榮學(xué)

（中國(guó)電子科技集團(tuán)公司第二十二研究所，山東 青島 266107）

0 引 言

目標(biāo)與背景差異檢測(cè)與分析是防御作戰(zhàn)的重要組成部分，其通過(guò)技術(shù)手段獲取己方目標(biāo)特征，評(píng)估暴露癥候并為作業(yè)方案的改進(jìn)提供依據(jù)。實(shí)地勘測(cè)、實(shí)景數(shù)據(jù)采集是目標(biāo)與背景差異分析中的重要一環(huán)，現(xiàn)階段難以回避。為確?？睖y(cè)數(shù)據(jù)的完整性、準(zhǔn)確性及客觀性，在現(xiàn)地勘測(cè)前需依據(jù)戰(zhàn)技要求制定詳細(xì)的勘測(cè)計(jì)劃、預(yù)案，由作業(yè)人員結(jié)合現(xiàn)地情況采集原始數(shù)據(jù)，并依此開(kāi)展后續(xù)的處理分析。這種方式不僅對(duì)方案設(shè)計(jì)人員、作業(yè)人員的專(zhuān)業(yè)素質(zhì)提出了較高的要求，同時(shí)所獲取的數(shù)據(jù)針對(duì)性強(qiáng)，難以為不同切入方向的分析提供支撐。當(dāng)前，已具備利用三維實(shí)景數(shù)據(jù)進(jìn)行目標(biāo)與背景差異分析的技術(shù)基礎(chǔ)，如：利用無(wú)人機(jī)掛載傾斜攝影相機(jī)進(jìn)行影像拍攝和三維建模；應(yīng)用離屏渲染技術(shù)生成高分辨率二維影像，并應(yīng)用于目標(biāo)特征的提取分析與評(píng)估。該方式不僅可以有效提高作業(yè)效率，還可作為前述問(wèn)題的一種有效解決手段。

本文提出一種基于三維實(shí)景建模的戰(zhàn)場(chǎng)勘測(cè)仿真技術(shù)，以實(shí)現(xiàn)替代傳統(tǒng)戰(zhàn)場(chǎng)勘測(cè)方法的目的。該技術(shù)采用傾斜攝影相機(jī)拍攝獲取包含特定目標(biāo)的二維影像，與基于三維模型渲染生成的二維影像進(jìn)行特征相似性度量，以驗(yàn)證渲染生成的高分辨率二維影像可以替代真實(shí)采集影像，用于目標(biāo)勘測(cè)圖像的分析與評(píng)估處理。本文通過(guò)2張相鄰拍攝影像、相機(jī)姿態(tài)信息、既設(shè)相控點(diǎn)位置坐標(biāo)、相機(jī)焦距和CCD尺寸、影像分辨率和視場(chǎng)角等信息，計(jì)算原始拍攝影的視場(chǎng)中心點(diǎn)坐標(biāo)，應(yīng)用可見(jiàn)光波段的傾斜攝影三維模型渲染生成高分辨率二維影像。為獲取多尺度下圖像特征表達(dá)，對(duì)影像分別進(jìn)行降采樣處理至同一尺寸大小，對(duì)圖像針對(duì)角點(diǎn)提取SIFT特征進(jìn)行匹配，對(duì)顏色特征的RGB和HSV空間的統(tǒng)計(jì)直方圖進(jìn)行距離和相關(guān)性計(jì)算，同時(shí)比對(duì)不同算子提取的目標(biāo)與背景邊緣特征，對(duì)圖像相似性進(jìn)行度量和驗(yàn)證。

1 基于三維建模的影像獲取

1.1 傾斜攝影三維建模技術(shù)的發(fā)展

三維重建是遙感數(shù)據(jù)攝影測(cè)量的主要目標(biāo)之一，光學(xué)影像自動(dòng)三維重建利用不同角度拍攝的多視影像，通過(guò)匹配技術(shù)獲取影像同名點(diǎn)、灰度同名光線(xiàn)的空間矢量關(guān)系、交會(huì)目標(biāo)的空間三維位置[1]。傳統(tǒng)航空攝影測(cè)量能夠得到地面高程信息、地物地貌信息，對(duì)有明顯輪廓的建筑物提供較高的三維重建精度[2]，但無(wú)法提供建筑物立面紋理信息。近年來(lái)發(fā)展迅速的傾斜攝影技術(shù)在獲取頂面紋理的同時(shí)，能夠獲取地物側(cè)面紋理，提高了三維重建的效率和效果[3-7]。

隨著數(shù)據(jù)處理和圖形處理軟件的不斷改進(jìn)，傾斜攝影測(cè)量三維建模技術(shù)不僅應(yīng)用于各種大比例尺測(cè)圖，還在亂占耕地違建監(jiān)察、電力線(xiàn)設(shè)施規(guī)劃設(shè)計(jì)、智慧城市基礎(chǔ)信息等方面得到應(yīng)用[8-9]；但是對(duì)于目標(biāo)特性和目標(biāo)背景勘測(cè)分析評(píng)估領(lǐng)域，國(guó)內(nèi)外公開(kāi)發(fā)表的文章或參考文獻(xiàn)中鮮有涉及[4]。

1.2 三維建模技術(shù)

為消除水汽和氣溶膠等帶來(lái)的影響，通過(guò)大氣傳輸輻射校正模型處理，從而明顯改善圖像亮度暗與光線(xiàn)不均色差大等問(wèn)題。校正影像基于SURF算子提取角點(diǎn)特征，對(duì)圖像中的角點(diǎn)信息進(jìn)行檢測(cè)和篩選，建立相應(yīng)的特征描述子進(jìn)行特征表達(dá)，對(duì)重疊區(qū)域的特征信息進(jìn)行定位，自動(dòng)匹配同名點(diǎn)。對(duì)提取的關(guān)鍵特征點(diǎn)和寫(xiě)入EXIF信息的相鄰重疊影像，通過(guò)最小二乘法解算最小誤差，求得關(guān)鍵點(diǎn)的(x,y,z)位置信息；以關(guān)鍵特征點(diǎn)為點(diǎn)擴(kuò)散增長(zhǎng)的空間種子點(diǎn)，重建臨近空間平面區(qū)域，借助臨近重建空間平面共享同一法向量的性質(zhì)，逐步得到重建區(qū)域密集點(diǎn)云；將密集點(diǎn)云看作小立方體，在設(shè)定閾值的基礎(chǔ)上，確定內(nèi)表面與外表面相交的等值線(xiàn)及體素邊界交點(diǎn)，逐步構(gòu)造三角網(wǎng)格表面模型；在三維表面附著紋理階段，應(yīng)用面片表面元素與待映射面片中心點(diǎn)的絕對(duì)距離與待處理面片法向量作乘積，映射最佳面片，最終得到目標(biāo)地表區(qū)域的精細(xì)三維模型[10-11]。三維建模處理流程如圖1所示。

1.3 計(jì)算地面影像中心坐標(biāo)

基于三維模型，為最大程度地獲取與傾斜攝影原始拍攝影像的相機(jī)拍攝位置、視場(chǎng)中心點(diǎn)坐標(biāo)相一致的渲染影像，根據(jù)寫(xiě)入EXIF信息的相鄰拍攝影像、傾斜攝影相機(jī)傳感器尺寸、視場(chǎng)角、圖像尺寸和像控點(diǎn)坐標(biāo)等計(jì)算原始圖像的視場(chǎng)中心點(diǎn)。

以單張圖像為單元，取傾斜攝影一個(gè)航次中拍攝的相鄰2幅圖像，按照攝影中心、視場(chǎng)中心像點(diǎn)以及相應(yīng)地面點(diǎn)三點(diǎn)共線(xiàn)的原理進(jìn)行區(qū)域網(wǎng)平差計(jì)算。區(qū)域網(wǎng)平差計(jì)算的基礎(chǔ)方程為共線(xiàn)條件方程，共線(xiàn)條件方程是表達(dá)物點(diǎn)、投影中心、像點(diǎn)之間幾何關(guān)系的數(shù)學(xué)關(guān)系式，如下：

式中：(x,y)為像點(diǎn)的像平面坐標(biāo)；f為相機(jī)焦距；(x′,y′,z′)為物方點(diǎn)的空間坐標(biāo)；(xs,ys,zs)為拍攝點(diǎn)物方空間坐標(biāo)；ai,bi,ci(i=1,2,3)為外方位角元素所構(gòu)成的9個(gè)余弦值。利用已知的物方點(diǎn)坐標(biāo)和拍攝點(diǎn)坐標(biāo)，根據(jù)共線(xiàn)方程組求解像片中心點(diǎn)經(jīng)緯坐標(biāo)。據(jù)此，根據(jù)拍攝方位坐標(biāo)、視場(chǎng)角FOV以及視場(chǎng)中心點(diǎn)坐標(biāo)，基本實(shí)現(xiàn)基于三維場(chǎng)景模型的原始拍攝條件渲染成像。

1.4 離屏渲染成像

基于三維模型獲取二維影像，將基于屏幕截圖得到的二維影像，再應(yīng)用金字塔模型進(jìn)行放縮，得到的圖像分辨率低、質(zhì)量差，無(wú)法用于目標(biāo)與背景特征的提取、分析。為解決該問(wèn)題，使用基于GPU的OpenGL離屏渲染技術(shù)，將三維模型經(jīng)過(guò)頂點(diǎn)變換、片元著色等處理保存于幀緩沖區(qū)，顯存同時(shí)保存顏色值，綁定到二維顯示窗口即完成渲染流程。然后，將幀緩存對(duì)象綁定到大小相同的二維紋理，并保存于硬盤(pán)中，完成二維影像的獲取[12]。離屏渲染技術(shù)流程如圖2所示，原始拍攝影像和渲染成像如圖3所示。

1.5 圖像降采樣

為獲取多尺度下圖像特征表達(dá)，通過(guò)降采樣的方式將原始拍攝影像和離屏渲染影像處理至同一尺寸分辨率。對(duì)于一幅尺寸為M×N的圖像I，對(duì)其進(jìn)行s倍下采樣，即得到(M s)×(N s)尺寸的分辨率圖像。如果考慮的是矩陣形式的圖像，就是把原始圖像s×s窗口內(nèi)的圖像變成一個(gè)像素，這個(gè)像素點(diǎn)的值就是窗口內(nèi)所有像素的均值，表示為：

2 圖像相似性驗(yàn)證

2.1 SSIM圖像相似性評(píng)估

為驗(yàn)證對(duì)比圖像間的高相似度，計(jì)算SSIM，通過(guò)亮度、對(duì)比度和結(jié)構(gòu)三個(gè)方面對(duì)2幅圖像的相似性進(jìn)行評(píng)估，具體流程如圖4所示。

對(duì)于輸入的2幅圖像，首先計(jì)算亮度評(píng)價(jià)并進(jìn)行比對(duì)，得到第一個(gè)相似性對(duì)比；在此基礎(chǔ)上減去亮度評(píng)價(jià)影響，計(jì)算對(duì)比度評(píng)價(jià)，得到對(duì)比度對(duì)比；再用上步結(jié)果除掉對(duì)比度評(píng)價(jià)進(jìn)行結(jié)構(gòu)評(píng)價(jià)，得到結(jié)構(gòu)對(duì)比；最后將對(duì)比結(jié)果融合，得到最終的評(píng)價(jià)結(jié)果。SSIM基于樣本x和y之間的比較衡量亮度l、對(duì)比度c和結(jié)構(gòu)s公式分別為：

式中：一般取c3=c22；σxy是x和y的協(xié)方差；μ是均值；σ是標(biāo)準(zhǔn)差；c1,c2,c3是常數(shù)。為了避免除零，將l(x,y)，c(x,y)，s(x,y)代入SSIM(x,y)=l(x,y)·c(x,y)·s(x,y)得到：

對(duì)比圖像的SSIM值為：0.831 531 286 308 082 8。

2.2 特征相似性檢驗(yàn)

圖像直方圖的距離采用歐氏距離、巴氏距離和相關(guān)性計(jì)算[5]：

有M個(gè)樣本向量X1～XM，協(xié)方差矩陣記為S，均值向量記為μ，則樣本向量X到μ的馬氏距離為：

相關(guān)系數(shù)ρXY是衡量?jī)蓚€(gè)特征列之間相關(guān)程度的一種方法，取值范圍為[-1，1]。相關(guān)系數(shù)的絕對(duì)值越大，表明特征列X和Y的相關(guān)程度越高。當(dāng)取值為1時(shí)表明正線(xiàn)性相關(guān)，為-1時(shí)表明負(fù)線(xiàn)性相關(guān)，公式為：

提取圖像顏色特征的一個(gè)傳統(tǒng)方法是統(tǒng)計(jì)圖像像素色彩的分布情況，即顏色直方圖，其所描述的是不同色彩在整幅圖像中所占的比例。對(duì)比圖像的RGB顏色特征統(tǒng)計(jì)直方圖如圖5所示。

將顏色統(tǒng)計(jì)量進(jìn)行標(biāo)準(zhǔn)化，計(jì)算不同顏色分量在亮度區(qū)間內(nèi)的歐氏距離：

對(duì)比圖像的RGB空間各分量歐氏距離見(jiàn)表1，巴氏距離和相關(guān)性對(duì)比見(jiàn)表2。

表1 對(duì)比圖像RGB分量歐氏距離

表2 對(duì)比圖像RGB巴氏距離和相關(guān)性

原始圖像和渲染圖像的灰度統(tǒng)計(jì)直方圖如圖6所示，均衡化后的直方圖如圖7所示，兩個(gè)直方圖相關(guān)性如圖8所示。

由于RGB空間并不符合人們對(duì)顏色相似性的主觀判斷，因此，使用符合主觀感覺(jué)的HSV空間對(duì)兩張圖片的色調(diào)、飽和度和明度進(jìn)行直方圖統(tǒng)計(jì)[13]。相關(guān)統(tǒng)計(jì)直方圖如圖9～圖11所示。

對(duì)比圖像的HSV空間各分量歐氏距離如表3所示，巴氏距離和相關(guān)性對(duì)比如表4所示。

表3 對(duì)比圖片HSV分量歐氏距離

表4 對(duì)比圖片HSV巴氏距離和相關(guān)性

提取紋理特征可采用GLCM、LBP、Tamura等方法，Gabor濾波器對(duì)于圖像的亮度和對(duì)比度變化具有較強(qiáng)的健壯性。

如果從Fourier變換的角度來(lái)看，Gobor變換就是窗函數(shù)取高斯窗時(shí)的短時(shí)Fourier變換；如果從小波變換的角度來(lái)看，Gabor變換就是小波基函數(shù)取Gabor基的小波變換，公式為：

式中：a,b,σx,σy,ρ都是常數(shù)，范圍為σx＞0,σy＞0,-∞＜a＜+∞,-∞＜b＜+∞,-1＜ρ＜1。

(x,y)服從參數(shù)為a,b,σy,ρ的二維正態(tài)分布。通過(guò)Gabor小波濾波器對(duì)原始采集圖像和渲染圖像進(jìn)行物體紋理特征的提取，可視化結(jié)果如圖12所示。

Gabor紋理特征距離計(jì)算采用漢明距離，2個(gè)等長(zhǎng)字符串之間的漢明距離定義為：將其中一個(gè)變?yōu)榱硗庖粋€(gè)所需要的最小替換次數(shù)[14]。應(yīng)用邊緣檢測(cè)算法大大減少圖像數(shù)據(jù)量，能夠過(guò)濾掉無(wú)用信息，留下圖像的重要結(jié)構(gòu)，大大簡(jiǎn)化圖像處理工作。對(duì)圖片針對(duì)不同算子提取邊緣特征，就目標(biāo)與背景區(qū)域，對(duì)比其邊緣提取的效果，可視化結(jié)果如圖13～圖15所示。

相較Harris和ORB等角點(diǎn)提取方法，SIFT特征提取速度較慢，無(wú)法滿(mǎn)足視覺(jué)里程計(jì)的實(shí)時(shí)性要求，但是效果更好、精度更高。角點(diǎn)特征匹配采用SIFT算法進(jìn)行角點(diǎn)特征提取，通過(guò)FLANN快速最近鄰逼近搜索函數(shù)實(shí)現(xiàn)快速高效匹配，通過(guò)KNN近鄰最優(yōu)匹配對(duì)匹配點(diǎn)進(jìn)行篩選，最終得到匹配點(diǎn)映射集合。角點(diǎn)匹配量如表6所示，可視化結(jié)果如圖16所示。

表6 角點(diǎn)特征提取和匹配數(shù)量統(tǒng)計(jì)

角點(diǎn)特征查看匹配率，將2幅圖片提取角點(diǎn)的數(shù)量與匹配率進(jìn)行比對(duì)。原始拍攝影像中共提取765個(gè)特征點(diǎn)，渲染影像中共提取871個(gè)特征點(diǎn)，圖像匹配點(diǎn)601個(gè)，匹配率為78%。

3 分析結(jié)果

在圖像對(duì)比分析研究中，采用傾斜攝影原始拍攝影像與基于三維模型的離屏渲染圖像，通過(guò)對(duì)比圖像在RGB和HSV顏色空間不同分量的統(tǒng)計(jì)直方圖得出，其歸一化后的各分量歐氏距離和巴氏距離皆小于0.1，且相關(guān)性皆大于0.95。在Gabor小波濾波提取紋理特征及Canny算子、Sobel算子和Roberts算子等提取的邊緣特征，比對(duì)重要目標(biāo)和背景區(qū)域提取的效果，得到渲染圖像能夠得到較好的特征表達(dá)；在針對(duì)SIFT角點(diǎn)特征的提取與匹配方面，匹配率達(dá)到78%，在重要目標(biāo)的角點(diǎn)匹配率方面匹配程度較高。為增加研究數(shù)據(jù)的可信度，以相同方法獲取另外4組視角的原始拍攝影像和渲染影像，如圖17所示。

基于前文提及的各種特征提取方法進(jìn)行距離和相似性的對(duì)比，結(jié)果如表7所示。

表7 原始影像與渲染圖像的特征相似性對(duì)比（計(jì)算結(jié)果取小數(shù)點(diǎn)后3位）

總體而言，從5組圖像和特征相似性的對(duì)比來(lái)說(shuō)，渲染圖像的特征表達(dá)與原始的相似度較高，圖片質(zhì)量好。

4 結(jié) 論

本文將三維實(shí)景建模與離屏渲染技術(shù)應(yīng)用于戰(zhàn)場(chǎng)偽裝目標(biāo)的勘測(cè)仿真工作中，驗(yàn)證該方法在偽裝勘測(cè)方面的可行性。

研究結(jié)果表明，本文提出的基于三維實(shí)景建模的戰(zhàn)場(chǎng)勘測(cè)仿真技術(shù)可以替代傳統(tǒng)戰(zhàn)場(chǎng)目標(biāo)的勘測(cè)方法，以獲取目標(biāo)與背景影像；同時(shí)該方法有效提高了外場(chǎng)目標(biāo)勘測(cè)作業(yè)效率。下一步計(jì)劃針對(duì)該三維模型，實(shí)現(xiàn)外場(chǎng)目標(biāo)的繞飛和既定航線(xiàn)的偵察影像獲取，以及戰(zhàn)場(chǎng)偵察目標(biāo)的通視與視域分析。