雙目視覺下紅外遙感艦船圖像三維重構(gòu)設(shè)計(jì)研究

趙 金

（鄭州科技學(xué)院，河南 鄭州 450000）

0 引 言

艦船圖像三維重構(gòu)時(shí)，過于依賴艦船表面的紋理信息[1]，當(dāng)艦船表面過于光滑時(shí)，目標(biāo)重構(gòu)結(jié)果[2-3]容易存在數(shù)據(jù)空洞。目前已有眾多研究學(xué)者，針對(duì)目標(biāo)三維重構(gòu)進(jìn)行研究[4]。莊蘇鋒等[5]采用水下雙目立體視覺相機(jī)采集艦船目標(biāo)，在匹配采集圖像目標(biāo)特征的基礎(chǔ)上實(shí)現(xiàn)了目標(biāo)三維重構(gòu)。石磊等[6]依據(jù)圖像中目標(biāo)的幾何信息和光度信息，選取稀疏度自適應(yīng)方法，對(duì)圖像像素點(diǎn)分類，利用變分模型對(duì)圖像去噪，選取稀疏度正交匹配算法實(shí)現(xiàn)三維重構(gòu)。以上方法雖然可以實(shí)現(xiàn)目標(biāo)三維重構(gòu)，重構(gòu)時(shí)間較短，但是艦船航行環(huán)境背景復(fù)雜，采集艦船圖像時(shí)，極易成為弱、暗目標(biāo)，無法獲取艦船目標(biāo)的深度信息。存在三維重構(gòu)結(jié)果丟失過多細(xì)節(jié)的情況，重構(gòu)結(jié)果分辨率不理想。

為了獲取最佳的艦船圖像三維重構(gòu)結(jié)果，結(jié)合雙目視覺相機(jī)采集的艦船可見光圖像與艦船紅外遙感圖像，設(shè)計(jì)艦船圖像三維重構(gòu)方法。

1 紅外遙感艦船圖像三維重構(gòu)

1.1 可見光圖像與紅外遙感圖像的點(diǎn)云融合

根據(jù)上述過程獲取的可見光圖像提供了豐富的顏色和紋理信息，能夠幫助識(shí)別和分類目標(biāo)。而紅外遙感圖像[7]則能夠探測艦船的熱量輻射，提供了艦船的熱紅外特征，可幫助識(shí)別隱蔽或遮擋的目標(biāo)。因此，將雙目視覺相機(jī)采集的艦船可見光圖像與艦船紅外遙感圖像的點(diǎn)云信息融合處理，即將點(diǎn)云融合問題，視為將紅外遙感圖像的點(diǎn)云數(shù)據(jù)，通過像素坐標(biāo)系和世界坐標(biāo)系的相關(guān)轉(zhuǎn)換實(shí)現(xiàn)點(diǎn)云數(shù)據(jù)融合。

用P1與P2分別表示雙目特征點(diǎn)的稀疏點(diǎn)云以及紅外遙感圖像的點(diǎn)云信息，二者分別位于世界坐標(biāo)系以及圖像像素坐標(biāo)系。相同像素點(diǎn)在不同坐標(biāo)系內(nèi)，其坐標(biāo)值不同。用分別表示艦船特征點(diǎn)在像素坐標(biāo)系O1-xyz以及世界坐標(biāo)系Ow-XYZ的坐標(biāo)值，轉(zhuǎn)換像素坐標(biāo)系與世界坐標(biāo)系的表達(dá)式如下：

式中，k為尺度縮放因子，R為旋轉(zhuǎn)矩陣，T為平移系數(shù)，(X,Y,Z)表示雙目視覺空間中艦船的一點(diǎn)在世界坐標(biāo)下的齊次坐標(biāo)。

紅外遙感艦船圖像的像素坐標(biāo)系與雙目視覺攝像機(jī)坐標(biāo)系內(nèi)，不存在旋轉(zhuǎn)關(guān)系，取R值為0。轉(zhuǎn)換如下：

平移變換紅外遙感像素坐標(biāo)下的艦船點(diǎn)云數(shù)據(jù)[8]，移動(dòng)至坐標(biāo)原點(diǎn)坐標(biāo)系。利用最小二乘法，求解艦船Z方向的尺度轉(zhuǎn)換參數(shù)。

雙目視覺相機(jī)在艦船圖像采集過程中，主像素點(diǎn)位置與理論位置存在一定差異，因此設(shè)置平移參數(shù)糾正誤差。艦船紅外遙感圖像坐標(biāo)系與雙目視覺坐標(biāo)系，在X軸與Y軸的平移參數(shù)表達(dá)式如下：

式中，(u'0,v'0)表示通過立體標(biāo)定獲取艦船的真實(shí)值，dx與dy分別表示雙目相機(jī)像元在X軸與Y軸的尺寸。

通過相機(jī)標(biāo)定獲取X軸與Y軸的焦距值fx與fy。艦船像素點(diǎn)在Z軸的平移參數(shù)表達(dá)式如下：

綜合式（3）與式（4），獲取紅外遙感圖像的像素坐標(biāo)系與雙目視覺相機(jī)坐標(biāo)系之間的平移參數(shù)T。

選取最小二乘法，獲取滿足轉(zhuǎn)化誤差最小目標(biāo)的不同坐標(biāo)下的尺度轉(zhuǎn)換因子k，得到最終的可見光圖像與紅外遙感圖像的點(diǎn)云融合表達(dá)式如下：

式中，N為特征點(diǎn)數(shù)量。

1.2 艦船圖像特征點(diǎn)提取與匹配

為獲取艦船圖像三維重構(gòu)的最佳匹配效果，結(jié)合艦船目標(biāo)的點(diǎn)狀特征與區(qū)域特征，選取艦船目標(biāo)的質(zhì)心、質(zhì)心區(qū)域灰度以及艦船區(qū)域面積，作為艦船圖像的特征基元。通過艦船圖像中的連通域集合中心，獲取艦船目標(biāo)質(zhì)心的幾何中心坐標(biāo)：

式中，(xi,yi) 與(xo,yo)分別表示相同連通域的像素點(diǎn)坐標(biāo)以及幾何中心坐標(biāo)。

計(jì)算各連通域內(nèi)元素灰度之差，獲取艦船質(zhì)心區(qū)域的平均灰度表達(dá)式如下：

式中，d()表示相同連通域內(nèi)的像素點(diǎn)灰度值。艦船質(zhì)心區(qū)域的平均灰度D可反映艦船的整體亮度和顏色特征。艦船通常具有明顯的亮度差異與背景相比，因此利用艦船質(zhì)心區(qū)域的平均灰度可將其作為一個(gè)代表性特征點(diǎn)。

利用半全局匹配算法，對(duì)所提取的艦船圖像特征點(diǎn)D進(jìn)行匹配。艦船圖像灰度值的絕對(duì)偏差容易受環(huán)境影響，半全局匹配算法利用改進(jìn)的匹配代價(jià)函數(shù)進(jìn)行匹配，并計(jì)算兩幅圖像的互信息值，令匹配結(jié)果更加精準(zhǔn)。

艦船圖像互信息的計(jì)算公式如下:

式中，EL與ER分別為左圖像與右圖像直方圖的熵，ELR為聯(lián)合分布直方圖的熵。

艦船特征點(diǎn)匹配時(shí)，對(duì)不同方向設(shè)置順序性約束，得到艦船圖像特征點(diǎn)匹配結(jié)果為：

式中，G表示艦船圖像特征點(diǎn)匹配結(jié)果，e(x,y,z)表示艦船圖像的像素點(diǎn)匹配誤差，l表示像素點(diǎn)距離。

1.3 基于三角化曲面的艦船圖像三維重構(gòu)

在特征點(diǎn)匹配過程中，由于艦船圖像本身的特性、遮擋等因素導(dǎo)致部分特征點(diǎn)缺失或重復(fù)。使用三角化曲面算法在缺失或重復(fù)特征點(diǎn)的區(qū)域進(jìn)行插值或去除操作，優(yōu)化艦船圖像三維重構(gòu)質(zhì)量。因此，依據(jù)艦船圖像特征點(diǎn)匹配結(jié)果，采用三角化曲面算法，通過像素點(diǎn)的延伸，連接網(wǎng)格中滿足拓?fù)湔_性和幾何正確性的點(diǎn)，實(shí)現(xiàn)艦船圖像三維重構(gòu)。具體重構(gòu)過程如下：

1）對(duì)于艦船圖像像素點(diǎn)p=1-G，設(shè)置固定的半徑，利用KD 樹算法，搜索該像素點(diǎn)在圖像空間內(nèi)的k鄰域。

2）將該像素點(diǎn)領(lǐng)域內(nèi)的點(diǎn)，投影至像素點(diǎn)p的曲面切平面。

3）將所獲取的投影點(diǎn)，利用可見性修剪方法修剪處理，將投影結(jié)果連接至p點(diǎn)至相鄰點(diǎn)內(nèi)，組成1 個(gè)三角形。

重復(fù)以上過程，直至完成艦船點(diǎn)云內(nèi)全部點(diǎn)的遍歷。完成遍歷后，連接不同點(diǎn)之間的線，所獲取的三角化結(jié)果，即最終的艦船三維重構(gòu)的網(wǎng)格化模型。以所構(gòu)建的網(wǎng)格化模型為基礎(chǔ)，依據(jù)可見光圖像，為網(wǎng)格化模型進(jìn)行紋理信息的貼圖處理。完成網(wǎng)格化模型的紋理貼圖后，即可獲取最終艦船三維重構(gòu)結(jié)果。

2 實(shí)驗(yàn)分析

為驗(yàn)證所研究的艦船三維重構(gòu)方法的重構(gòu)性能，選取某艦船作為研究對(duì)象。

2.1 實(shí)驗(yàn)設(shè)置

以目標(biāo)艦船為測試對(duì)象進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)步驟如下：

1）相機(jī)標(biāo)定。使用標(biāo)定板和角度測量儀標(biāo)定Stereolab 公司的ZED 雙目立體視覺相機(jī)和FLIR 船載熱像儀M400XR，獲取其內(nèi)外參數(shù)。

2）圖像采集。分別利用Stereolab 公司的ZED 雙目立體視覺相機(jī)和FLIR 船載熱像儀M400XR，采集目標(biāo)艦船的可見光圖像與紅外遙感圖像。其中，選取ZED 雙目立體相機(jī)采集艦船的可見光圖像。艦船可見光圖像采集結(jié)果如圖1 所示。采用FLIR 船載熱像儀M400XR 采集艦船的紅外遙感圖像，采集結(jié)果如圖2 所示。

圖1 可見光圖像采集結(jié)果Fig. 1 Visible light image acquisition results

圖2 艦船紅外遙感圖像采集結(jié)果Fig. 2 Acquisition results of ship infrared remote sensing images

通過圖1、圖2 實(shí)驗(yàn)結(jié)果可看出，采用雙目視覺相機(jī)采集的艦船可見光圖像，與艦船紅外遙感圖像，分別可體現(xiàn)艦船目標(biāo)的不同細(xì)節(jié)。依據(jù)不同類型圖像中包含的豐富圖像細(xì)節(jié)，令艦船三維重構(gòu)結(jié)果更加豐富，避免艦船三維重構(gòu)結(jié)果出現(xiàn)空洞情況。

3）圖像預(yù)處理。使用OpenCV 圖像處理軟件進(jìn)行圖像去噪、校正和對(duì)齊等預(yù)處理操作。

4）特征點(diǎn)提取和匹配。在預(yù)處理后的圖像上提取特征點(diǎn)，并通過半全局匹配算法匹配艦船圖像特征點(diǎn)。

5）三維重建?；谌腔娣椒▽?shí)現(xiàn)艦船圖像三維重構(gòu)。

6）重建結(jié)果分析和可視化。使用Matlab 軟件對(duì)重建結(jié)果進(jìn)行分析和可視化，評(píng)估重建效果和準(zhǔn)確性。

2.2 結(jié)果分析

采用本文方法從艦船圖像中提取特征點(diǎn)，統(tǒng)計(jì)艦船特征點(diǎn)匹配結(jié)果的三維坐標(biāo)，驗(yàn)證本文方法的特征匹配性能，統(tǒng)計(jì)結(jié)果如表1 所示。

表1 特征點(diǎn)三維坐標(biāo)匹配結(jié)果Tab. 1 Results of three-dimensional coordinate matching of feature points

可看出，采用本文方法可實(shí)現(xiàn)所提取特征點(diǎn)的精準(zhǔn)匹配。本文方法從艦船可見光圖像與艦船紅外遙感圖像的融合結(jié)果中，提取艦船目標(biāo)特征，并進(jìn)行特征點(diǎn)的匹配，2 幅圖像的特征點(diǎn)吻合度極高，驗(yàn)證本文方法的匹配性能。

采用本文方法對(duì)艦船三維網(wǎng)格化結(jié)果進(jìn)行貼圖處理，獲取最終的艦船三維重構(gòu)結(jié)果，如圖3 所示。

圖3 艦船三維重構(gòu)結(jié)果Fig. 3 Results of ship 3D reconstruction

由圖3 可看出，采用本文方法有效利用雙目視覺相機(jī)采集的可見光圖像，與紅外遙感圖像結(jié)合，實(shí)現(xiàn)艦船的三維重構(gòu)。進(jìn)一步分析圖3 的艦船三維重構(gòu)結(jié)果可知，重構(gòu)結(jié)果未出現(xiàn)細(xì)節(jié)丟失或空洞情況，豐富度較高，分辨率高，基本可體現(xiàn)艦船圖像中的全部內(nèi)容。

3 結(jié) 語

結(jié)合雙目視覺相機(jī)采集的艦船可見光圖像與紅外遙感艦船圖像，進(jìn)行艦船圖像的三維重構(gòu)。通過可見光圖像與紅外遙感圖像的融合，在艦船目標(biāo)紋理信息較少時(shí)，仍可獲取理想的三維重構(gòu)結(jié)果。實(shí)驗(yàn)結(jié)果驗(yàn)證，該方法有效改善缺少目標(biāo)紋理，導(dǎo)致重構(gòu)結(jié)果中存在大量空洞的問題，獲取高分辨率的艦船三維重構(gòu)結(jié)果。