基于虛擬現(xiàn)實(shí)技術(shù)的低質(zhì)量船舶三維圖像重建

周 雷

（河南工程學(xué)院，河南 鄭州 451191）

0 引言

船舶圖像在成像后，三維信息轉(zhuǎn)換為二維信息[1]，將導(dǎo)致部分船舶目標(biāo)三維數(shù)據(jù)丟失[2]，對船舶圖像應(yīng)用產(chǎn)生消極影響。為獲取船舶目標(biāo)的三維數(shù)據(jù)，提升圖像應(yīng)用性能，需對船舶圖像實(shí)施三維重建。

石磊等[3]研究圖像三維重構(gòu)問題過程中，對圖像實(shí)施奇異值分解字典訓(xùn)練，通過稀疏度自適應(yīng)正則化校正匹配算法重建圖像。該方法匹配過程消耗大量時間，不能保障圖像重建的實(shí)時性要求。姚程等[4]針對圖像三維重構(gòu)問題，構(gòu)建基于八叉樹的卷積神經(jīng)網(wǎng)絡(luò)，將平面補(bǔ)丁發(fā)現(xiàn)與位移作為輸入，輸出重構(gòu)結(jié)果。該方法實(shí)際應(yīng)用過程中有較大概率出現(xiàn)圖像信息丟失問題。針對上述問題，提出基于虛擬現(xiàn)實(shí)技術(shù)的低質(zhì)量船舶三維圖像重建方法，從而獲取高質(zhì)量重建結(jié)果。

1 低質(zhì)量船舶三維圖像重建方法

1.1 基于虛擬現(xiàn)實(shí)技術(shù)的低質(zhì)量船舶圖像預(yù)處理

由于船舶三維圖像在采集過程中受外界環(huán)境因素與采集設(shè)備因素等影響，導(dǎo)致所采集的船舶圖像質(zhì)量較低，因此在進(jìn)行三維圖像重建前，需采用虛擬現(xiàn)實(shí)技術(shù)中的形態(tài)學(xué)濾波技術(shù)對所采集的船舶三維圖像實(shí)施增強(qiáng)處理，提升最終圖像重建精度。f(i,j)和g(i,j)分別表示大小為m×n的船舶圖像和其結(jié)構(gòu)元素，采用虛擬現(xiàn)實(shí)技術(shù)中的形態(tài)學(xué)濾波技術(shù)對f(i,j)實(shí)施處理。

利用式（1）進(jìn)行膨脹運(yùn)算：

式中，⊕表示膨脹運(yùn)算。

利用式（2）進(jìn)行腐蝕運(yùn)算：

式中，Θ表示腐蝕運(yùn)算，x∈(0,m]，y∈(0,n]。

利用式（3）進(jìn)行開啟與閉合運(yùn)算：

通過開啟處理過程能夠?yàn)V除船舶圖像內(nèi)孤立的毛刺[5]，能夠顯著抑制比結(jié)構(gòu)元素小的正峰值噪聲。由宏觀角度分析可知，通過開啟運(yùn)算可在保障船舶圖像尺寸固定的條件下對其進(jìn)行平滑處理，但在船舶圖像鄰域像素灰度值噪聲點(diǎn)分布較為密集，同時結(jié)構(gòu)元素尺寸與噪聲點(diǎn)距離相比顯著提升的條件下，開啟運(yùn)算對于船舶圖像增強(qiáng)的效果顯著降低。而閉合運(yùn)算能夠有效填充船舶圖像目標(biāo)間狹小裂縫，實(shí)現(xiàn)臨近目標(biāo)物的連接[6]，但在噪聲點(diǎn)灰度值高于鄰域像素、同時密度值較大的條件下，閉合運(yùn)算的濾波處理效果也有所下降。針對這些問題，可對開啟與閉合處理過程實(shí)施串聯(lián)，構(gòu)建數(shù)學(xué)形態(tài)學(xué)開啟—閉合濾波器，其結(jié)構(gòu)如圖1 所示。數(shù)學(xué)形態(tài)學(xué)開啟—閉合濾波器內(nèi)的圖像融合是為了最大限度結(jié)合開啟與閉合運(yùn)算的優(yōu)勢，經(jīng)由兩類濾波結(jié)果最大限度融合的過程能夠提升船舶圖像濾波效果，實(shí)現(xiàn)低質(zhì)量船舶圖像的增強(qiáng)處理。

圖1 數(shù)學(xué)形態(tài)學(xué)開啟—閉合濾波器結(jié)構(gòu)圖Fig.1 Mathematical morphology opening closing filter structure diagram

1.2 基于指數(shù)權(quán)重系數(shù)的船舶圖像特征提取

在完成低質(zhì)量船舶圖像增強(qiáng)處理后，對其實(shí)施三維圖像重建。船舶三維圖像重建過程中，需確定重構(gòu)前后船舶圖像的對應(yīng)關(guān)系。將增強(qiáng)處理后的船舶圖像內(nèi)特征點(diǎn)作為不變信息，通過特征描述保障重構(gòu)過程中的信息完整性[7]。根據(jù)增強(qiáng)處理后船舶圖像的點(diǎn)云信息構(gòu)建包含全部點(diǎn)云的元網(wǎng)格，確定不同網(wǎng)格中點(diǎn)云數(shù)據(jù)的均值。匯集全部組成的集合以H表示，也就是增強(qiáng)處理后的船舶三維點(diǎn)云圖像。針對H，可利用式（4）描述特征描述點(diǎn)Af算子：

式中：n和xn分別表示描述船舶圖像特征算子維度與特征描述信息，xn中主要包含船舶圖像中的幾何、紋理與亮度等信息。對待實(shí)施特征描述的船舶圖像點(diǎn)云數(shù)據(jù)區(qū)域?qū)嵤┘訖?quán)求和處理，即可獲取此區(qū)域的特征矢量描述符。

1.3 基于虛擬現(xiàn)實(shí)技術(shù)的船舶圖像三維重建

采用虛擬現(xiàn)實(shí)技術(shù)獲取船舶圖像最小識別距離，基于所確定的船舶圖像特征，實(shí)現(xiàn)各三維點(diǎn)云的高精度匹配，在此基礎(chǔ)上達(dá)到船舶三維圖像重建。設(shè)定通過虛擬現(xiàn)實(shí)設(shè)備獲取的三維虛擬船舶均為點(diǎn)光源，不同點(diǎn)光源將形成艾里斑，若任意艾里斑邊緣零點(diǎn)與其與艾里斑的中心產(chǎn)生重疊，則可通過虛擬現(xiàn)實(shí)設(shè)備能分辨的最遠(yuǎn)距離表示不同艾里斑的間距，公式為：

式中：l和D分別表示三維船舶與虛擬現(xiàn)實(shí)設(shè)備的間距和光通直徑，?表示光攝入虛擬現(xiàn)實(shí)設(shè)備的波長。

通過式（5）得到，光波同虛擬現(xiàn)實(shí)設(shè)備內(nèi)光學(xué)部分可識別的最大距離呈正比例相關(guān)。

利用式（6）能夠描述虛擬現(xiàn)實(shí)技術(shù)下三維船舶圖像重建過程：

式中：f(o+1)和f(o)分別表示重建后和重建前的船舶三維圖像，σo和V分別表示重建過程中的松弛因子和N階船舶圖像的正定矩陣，W和p分別表示M階船舶圖像的正定矩陣和船舶圖像特征提取迭代過程。

圖2 為船舶三維圖像重建過程，具體步驟如下：

圖2 船舶三維圖像重建過程流程圖Fig.2 Flow chart of ship 3D image reconstruction process

步驟1確定某個投影角度下的投射射線i，利用帶重建船舶圖像的初始值得到第i條投影射線的投影

步驟2獲取船舶三維圖像投影值與實(shí)際測量的投影值的差值，確定理論船舶圖像投影值與實(shí)際投影值間的差值，公式為：

步驟3保存所獲取的 ?i值。

步驟4估算任意投影角度下第i+1條射線投影值，循環(huán)步驟1～步驟3，直到完全糾正所有射線偏差為止。

步驟5通過步驟4 獲取的偏差值修改重建后船舶圖像像素值。

針對其余投影角度，循環(huán)進(jìn)行上述操作過程，直到所有角度下的船舶重建圖像校準(zhǔn)完成為止，通過船舶重建圖像的Q次迭代實(shí)現(xiàn)高質(zhì)量的船舶三維圖像重建。

2 實(shí)驗(yàn)結(jié)果與分析

選取某大型船舶圖像構(gòu)建圖像集，采用本文方法對船舶圖像進(jìn)行三維圖像重建實(shí)驗(yàn)。

2.1 圖像處理性能測試

為驗(yàn)證本文方法的圖像增強(qiáng)效果，在圖像集內(nèi)隨機(jī)選取2 幅圖像作為研究對象，在研究對象中加入20%的隨機(jī)噪聲，采用本文方法對其進(jìn)行增強(qiáng)處理，結(jié)果如圖3 所示。分析可知，采用本文方法能夠有效實(shí)現(xiàn)研究對象的增強(qiáng)處理，通過增強(qiáng)處理后的圖像能夠準(zhǔn)確識別船舶目標(biāo)的輪廓信息，令船舶目標(biāo)完全由噪聲中恢復(fù)出來，整體上提升了圖像的清晰度，最大程度接近初始圖像。

圖3 本文方法圖像增強(qiáng)效果Fig.3 Image enhancement effect of the method in this article

為客觀分析本文方法的圖像增強(qiáng)效果，以峰值信噪比為增強(qiáng)效果的評價指標(biāo)，峰值信噪比值越大說明本文方法圖像增強(qiáng)效果越好。表1 為本文方法增強(qiáng)處理后的圖像峰值信噪比。分析可知，采用本文方法對研究對象進(jìn)行增強(qiáng)處理，在不同噪聲密度條件下，峰值信噪比均呈現(xiàn)不同程度的提升，提升幅度在14%以上，由此說明采用本文方法的圖像增強(qiáng)效果較好。

表1 本文方法增強(qiáng)后的峰值信噪比Tab.1 Peak signal-to-noise ratio after the method enhancement in this article

2.2 三維圖像重建性能分析

在圖像集內(nèi)選取不同結(jié)構(gòu)復(fù)雜度的圖像，采用本文方法對其進(jìn)行重構(gòu)，以均方誤差與結(jié)構(gòu)相似性2 個指標(biāo)為評估指標(biāo)，驗(yàn)證本文方法的圖像重建性能，結(jié)果如表2 所示。分析可知，隨著目標(biāo)結(jié)構(gòu)復(fù)雜度的提升，本文方法重構(gòu)結(jié)果的均方誤差整體表現(xiàn)出逐漸提升的趨勢，而結(jié)構(gòu)相似性表現(xiàn)為逐漸下降的趨勢。但在目標(biāo)結(jié)構(gòu)復(fù)雜度達(dá)到0.80 時，本文方法重建結(jié)果的均方誤差低于0.27，而結(jié)構(gòu)相似度達(dá)到95%，由此說明本文方法重建性能較好，更接近理想狀態(tài)。

表2 本文方法重建圖像的均方誤差與結(jié)構(gòu)相似性Tab.2 Mean square error and structural similarity of reconstructed images using this method

在圖像集內(nèi)選取6 幅分辨率為1 025×769 的船舶圖像，采用本文方法對其進(jìn)行三維重建，對比重建前后的圖像分辨率，由此驗(yàn)證本文方法的重建性能，結(jié)果如表3 所示。分析可知，采用本文方法對所選圖像實(shí)施重建后，圖像的分辨率提升至1 280×960，由此說明本文方法能夠在準(zhǔn)確提取圖像特征的基礎(chǔ)上提升圖像清晰度。

表3 圖像重建前后的分辨率對比結(jié)果Tab.3 Resolution comparison results before and after image reconstruction

3 結(jié)語

本文提出了基于虛擬現(xiàn)實(shí)技術(shù)的低質(zhì)量船舶三維圖像重建方法，采用虛擬現(xiàn)實(shí)技術(shù)中的濾波技術(shù)與虛擬現(xiàn)實(shí)設(shè)備實(shí)現(xiàn)三維圖像重建的目的。實(shí)驗(yàn)結(jié)果表明，本文方法能夠有效實(shí)現(xiàn)圖像增強(qiáng)目的，達(dá)到高精度圖像重建的目的。