融合超像素分割技術(shù)的虛擬成像細(xì)節(jié)重建研究

劉 彪,顧邦軍

(蘇州科技大學(xué)新媒體交互設(shè)計(jì)與應(yīng)用研究所,江蘇 蘇州 215009)

1 引言

虛擬成像是以全息科技為基礎(chǔ)的高科技成像技術(shù)[1],其原理是在獲取到目標(biāo)物體的全息影像后將其投射于透明介質(zhì)上[2],產(chǎn)生三維立體觀感,從而提升視覺(jué)效果。目前虛擬成像重建技術(shù)在眾多領(lǐng)域中均具有優(yōu)異的表現(xiàn),各領(lǐng)域科研人員利用虛擬成像重建技術(shù)能夠?qū)崿F(xiàn)信息分析與處理,為生產(chǎn)和生活帶來(lái)極大的便利。

針對(duì)虛擬圖像的重建問(wèn)題,當(dāng)前相關(guān)領(lǐng)域的專家也得到了一些較好的研究成果。孫碩等人[3]提出基于面部虛擬整形的三維人臉重建系統(tǒng)。采集目標(biāo)的多角度圖像,將圖像轉(zhuǎn)換為點(diǎn)云模型后去噪處理。通過(guò)粗匹配拼接正面點(diǎn)云和側(cè)面點(diǎn)云并采用精配準(zhǔn)方法配準(zhǔn)點(diǎn)云,生成三維點(diǎn)云模型并對(duì)其網(wǎng)格化處理,引入細(xì)分算法提升重建后模型精度,實(shí)現(xiàn)復(fù)雜虛擬成像重建。劉東生等人[4]提出基于深度相機(jī)的大場(chǎng)景三維重建方法。融合深度圖像和彩色圖像作為基礎(chǔ)模型,將輸入RGB-D圖像的幾何誤差和亮度誤差最小化處理用于相機(jī)跟蹤,計(jì)算相機(jī)與子網(wǎng)絡(luò)中心的距離。若該距離大于設(shè)置閾值,則以體素單元整數(shù)倍距離為標(biāo)準(zhǔn)平移子網(wǎng)絡(luò)。并基于該網(wǎng)絡(luò)跟蹤相機(jī),重建局部場(chǎng)景模型。通過(guò)迭代步長(zhǎng)法在子網(wǎng)格之間搜索相應(yīng)表面點(diǎn),將點(diǎn)間歐式距離和亮度誤差作為約束條件,對(duì)全局相機(jī)軌跡優(yōu)化處理,實(shí)現(xiàn)復(fù)雜虛擬成像重建。薛俊詩(shī)等人[5]提出一種基于場(chǎng)景圖分割的混合式多視圖三維重建方法。采用多層次加權(quán)核K均值算法分割場(chǎng)景圖并混合重建每個(gè)子場(chǎng)景圖建立子模型,構(gòu)造最佳影像選擇標(biāo)準(zhǔn)。依據(jù)穩(wěn)健三角測(cè)量法和迭代優(yōu)化策略等提升重建精度,合并全部子模型,實(shí)現(xiàn)復(fù)雜虛擬成像重建。以上方法忽略了對(duì)圖像分辨率限制和超像素分割相關(guān)問(wèn)題的解決,導(dǎo)致峰值信噪比和結(jié)構(gòu)相似度仍達(dá)不到理想效果。

為此,提出基于VR和小波降噪的復(fù)雜虛擬成像重建方法。通過(guò)對(duì)實(shí)景圖像采集和預(yù)處理,獲得去噪后的圖像。采用VR技術(shù),將獲取的全息三維影像投射到透明介質(zhì),實(shí)現(xiàn)對(duì)復(fù)雜虛擬成像的重建。

2 實(shí)景圖像采集和預(yù)處理

2.1 最小識(shí)別距離確定

在復(fù)雜虛擬成像重建時(shí),每個(gè)幀點(diǎn)像素分辨率均會(huì)對(duì)重建效果產(chǎn)生一定的影響,為了保證最終復(fù)雜虛擬成像重建質(zhì)量,需要有效解決圖像分辨率限制問(wèn)題。重建虛擬成像前需要通過(guò)專業(yè)攝像機(jī)全面采集目標(biāo)事物的實(shí)景圖像,圖像識(shí)別距離會(huì)直接影響實(shí)景圖像分辨率。所提方法以光學(xué)原理為依據(jù)判定像素識(shí)別最小距離,將圖像中掃描到的目標(biāo)點(diǎn)視為一個(gè)光源結(jié)構(gòu),在兩個(gè)目標(biāo)點(diǎn),即兩個(gè)光源中往往存在一個(gè)及以上的艾里斑,當(dāng)某個(gè)艾里斑的中心與另一個(gè)艾里斑邊緣重合時(shí),則兩者間具有最大識(shí)別距離φ。

將圖像和攝像機(jī)之間實(shí)際直線距離記作d,光源通過(guò)圓形路線直徑記作D,圖像點(diǎn)光源進(jìn)入攝像機(jī)內(nèi)的實(shí)際波長(zhǎng)記作λ,則φ計(jì)算方式如下所示:

(1)

在實(shí)際使用中,攝像機(jī)分辨率通常為恒定值,且該值往往高于其它光學(xué)衍射分辨率[6],因此,依據(jù)式(1)得到最小識(shí)別距離后結(jié)合該值選取分辨率合適的攝像機(jī)有利于提升圖像質(zhì)量,進(jìn)而提升最終復(fù)雜虛擬成像重建效果。

2.2 多視點(diǎn)圖像采集

結(jié)合最小識(shí)別距離、攝像機(jī)配置標(biāo)準(zhǔn)和目標(biāo)位置調(diào)節(jié)攝像機(jī)方位和標(biāo)定,構(gòu)建成像模型。為提升成像效果,通常采用針孔成像模型[7],成像原理如圖1所示。

圖1 針孔成像模型原理圖

為了重建復(fù)雜虛擬成像,需要攝像機(jī)采集目標(biāo)在若干不同角度和方位的多視點(diǎn)圖像作為實(shí)景圖像,采集過(guò)程中,攝像機(jī)和投影平面通過(guò)移動(dòng)實(shí)現(xiàn)目標(biāo)的動(dòng)態(tài)捕捉。

在針孔成像模型中,依據(jù)齊次坐標(biāo)獲取三維空間中任意點(diǎn)Q坐標(biāo)Q=(x,y,z,1),Q點(diǎn)經(jīng)映射呈現(xiàn)于圖像平面,對(duì)應(yīng)坐標(biāo)記作q=(x′,y′,z′),連接該點(diǎn)與投影中心,用ψ代表投影矩陣,則可將映射關(guān)系表示為ψq=PQ。

將采集到的全部數(shù)據(jù)傳輸至計(jì)算機(jī),通過(guò)單應(yīng)矩陣計(jì)算全部圖像樣本標(biāo)點(diǎn)改變值[8],引入線性分析處理計(jì)算結(jié)果,即可得到攝像機(jī)和二維圖像平面成像相關(guān)參數(shù),主要流程如圖2所示。

圖2 多視點(diǎn)圖像采集流程

圖2中,初始化是對(duì)攝像機(jī)自身各項(xiàng)參數(shù)計(jì)算并生成參數(shù)閉式解的過(guò)程[9];非線性優(yōu)化是以均值誤差最小為原則,最小化圖像全部目標(biāo)特征點(diǎn)多次投影標(biāo)定誤差的過(guò)程[10],過(guò)程中首先降低迭代梯度,然后引入雅可比矩陣封閉運(yùn)算對(duì)標(biāo)點(diǎn)參數(shù)非線性優(yōu)化[11],最后將實(shí)景圖像信息存儲(chǔ)于計(jì)算機(jī)相應(yīng)數(shù)據(jù)庫(kù)中。

2.3 小波降噪

利用SLIC超像素分割技術(shù)優(yōu)化小波降噪方法,將采集到的實(shí)景圖像去噪處理。由于設(shè)備自身限制和外界環(huán)境干擾,采集到的圖像中不可避免會(huì)存在部分噪聲,小波降噪法在濾除圖像噪聲的同時(shí)能夠有效保護(hù)圖像邊緣和細(xì)節(jié),為了保證復(fù)雜虛擬成像重建質(zhì)量,所提方法引入小波降噪法去除圖像噪聲[12]。

所提方法引入分割結(jié)果緊湊均勻且所需輸入?yún)?shù)較少的SLIC超像素分割技術(shù)分割圖像[13],結(jié)合實(shí)際需求設(shè)置分割尺度為M,分割分解尺度為j時(shí)各方向上小波系數(shù),生成標(biāo)簽圖,匯總其中標(biāo)簽值為k的分割塊中全部像素位置,構(gòu)建集合u(k),即不規(guī)則窗口k,將該窗口中小波系數(shù)記作Fu(k),引入軟閾值函數(shù)S獲取小波系數(shù)Fu(k)的閾值化系數(shù)F′u(k),如下所示

(2)

(3)

(4)

通過(guò)以上方式,采用SLIC超像素分割技術(shù)改進(jìn)局部自適應(yīng)小波降噪法,將其用于采集到的圖像降噪之中,經(jīng)驗(yàn)證,該方法能夠有效提升圖像質(zhì)量。

3 成像重建

3.1 坐標(biāo)獲取

采用VR技術(shù)重建三維全息影像[15],確定實(shí)景圖像中各幀對(duì)應(yīng)點(diǎn)坐標(biāo),選取一個(gè)與三個(gè)方向坐標(biāo)軸距離近似的圖像點(diǎn)作為三維空間坐標(biāo)原點(diǎn),依據(jù)該點(diǎn)搜索實(shí)景圖像中全部坐標(biāo)點(diǎn)與虛擬圖像的坐標(biāo)點(diǎn)映射,并在同一坐標(biāo)系中融合實(shí)景圖像和虛擬圖像。為了降低重建復(fù)雜度,將實(shí)景圖像視為虛擬圖像依據(jù)一定選擇規(guī)則變換生成的矩陣,對(duì)比該矩陣和實(shí)景圖像信息,將兩者間平移量記作p,描述三維圖像的虛擬值記作v,其橫坐標(biāo)記作w,坐標(biāo)系中水平方向、豎直方向和空間方向坐標(biāo)數(shù)值分別記作x、y和z,則v的計(jì)算方式如下所示

(5)

依據(jù)式(5)可對(duì)實(shí)景圖像轉(zhuǎn)換為重建三維全息影像矩陣h加以計(jì)算,將參數(shù)量轉(zhuǎn)換為重建三維全息影像矩陣函數(shù)記作hm,參數(shù)量記作Φ,矩陣定標(biāo)記作K,則h計(jì)算方式如下所示

h=hm(Φ)=K[v|vp]

(6)

3.2 重建深度距離計(jì)算

將實(shí)景圖像中任意幀點(diǎn)與其在重建后三維全息影像中幀點(diǎn)距離記作l,中心點(diǎn)記作o,實(shí)景圖像中某已知坐標(biāo)點(diǎn)記作s,三維全息影像虛擬坐標(biāo)記作R,則橫坐標(biāo)、縱坐標(biāo)或空間坐標(biāo)上三維全息影像重建深度距離sd計(jì)算方式如下所示

(7)

在式(7)中,若sd為橫坐標(biāo)上全息影像三維重建深度距離,則R應(yīng)為實(shí)景圖像中已知坐標(biāo)點(diǎn)空間坐標(biāo)值;若sd為縱坐標(biāo)上全息影像三維重建深度距離,則R應(yīng)為實(shí)景圖像中已知坐標(biāo)點(diǎn)縱坐標(biāo)值,若sd為空間坐標(biāo)上全息影像三維重建深度距離,則R應(yīng)為實(shí)景圖像中已知坐標(biāo)點(diǎn)橫坐標(biāo)和縱坐標(biāo)之差。由此可得到全息影像三維重建后每個(gè)幀點(diǎn)的正確位置,在重建過(guò)程中,由式(7)計(jì)算得到實(shí)際距離后以該距離為標(biāo)準(zhǔn)連接各幀點(diǎn),從而生成一個(gè)虛擬平面圖像。為了使重建后三維全息圖像具有立體感,需要計(jì)算虛擬平面圖像中每個(gè)幀點(diǎn)的實(shí)際深度L,將虛擬平面圖像中心點(diǎn)在坐標(biāo)系中水平方向坐標(biāo)值記作x0,則L的計(jì)算公式如下所示

(8)

依據(jù)式(8)對(duì)虛擬平面圖像中每個(gè)幀點(diǎn)的深度值加以計(jì)算,從而得到深度一致的立體圖像。

通過(guò)以上方法實(shí)現(xiàn)全息影像三維重建,最終將得到的全息影像投射至透明介質(zhì)上,完成復(fù)雜虛擬成像重建。

4 實(shí)驗(yàn)與結(jié)果

為了驗(yàn)證基于VR和小波降噪的復(fù)雜虛擬成像重建方法整體有效性,需要測(cè)試基于VR和小波降噪的復(fù)雜虛擬成像重建方法。采用如圖3的房屋模型作為實(shí)驗(yàn)三維模型,分別采用VR和小波降噪方法、深度相機(jī)方法和場(chǎng)景圖分割方法對(duì)其虛擬成像重建,放大重建后虛擬成像局部細(xì)節(jié),效果如圖4所示。

圖3 虛擬成像樣本模型

圖4 位置1超像素分割

圖5 位置2超像素分割

圖6 位置3超像素分割

由圖4～圖7可以看出,VR和小波降噪方法的復(fù)雜虛擬成像重建效果優(yōu)于深度相機(jī)方法和場(chǎng)景圖分割方法,圖像清晰度更高,細(xì)節(jié)更為豐富,而文獻(xiàn)方法均出現(xiàn)一定程度的模糊,喪失部分細(xì)節(jié),重建效果不理想。

圖7 位置4超像素分割

為了避免主觀視覺(jué)誤差,選取峰值信噪比和結(jié)構(gòu)相似度對(duì)復(fù)雜虛擬成像重建效果定量分析,峰值信噪比和結(jié)構(gòu)相似度越高,則復(fù)雜虛擬成像重建質(zhì)量越好,假設(shè)Nmax代表圖像點(diǎn)像素最大值,MSE代表均方誤差,G和H代表尺寸為m×n的兩幅圖像,(i,j)表示像素值,則峰值信噪比PSNR計(jì)算公式如下所示

(9)

假設(shè)存在圖像a和圖像b,用ua和ub分別代表兩者均值,σa和σb分別代表兩者方差,σab代表兩者協(xié)方差,C1和C2代表兩個(gè)相關(guān)參數(shù),α代表圖像像素位數(shù),則結(jié)構(gòu)相似度SSIM計(jì)算公式如下所示:

(10)

由圖8可以看出,VR和小波降噪方法平均峰值信噪比為25.5dB,平均結(jié)構(gòu)相似度為0.83;深度相機(jī)方法的平均峰值信噪比為16.5dB,平均結(jié)構(gòu)相似度為0.65;場(chǎng)景圖分割方法平均峰值信噪比為19dB,平均結(jié)構(gòu)相似度為0.56;根據(jù)本次測(cè)試所得數(shù)據(jù)可知,研究方法的峰值信噪比和結(jié)構(gòu)相似度指標(biāo)平均值高于另外兩種方法。

圖8 指標(biāo)測(cè)試結(jié)果

5 結(jié)束語(yǔ)

提出基于VR和小波降噪的復(fù)雜虛擬成像重建方法,結(jié)合最小識(shí)別距離、攝像機(jī)配置標(biāo)準(zhǔn)和目標(biāo)位置確定攝像機(jī)方位和標(biāo)定,采集多視點(diǎn)圖像,通過(guò)改進(jìn)的小波降噪法去噪圖像,引入VR技術(shù)獲取全息三維影像重建點(diǎn)坐標(biāo)和深度距離,將得到的全息影像投射至透明介質(zhì)上,實(shí)現(xiàn)復(fù)雜虛擬成像重建。該方法能夠有效地提高峰值信噪比和結(jié)構(gòu)相似度、縮短運(yùn)算時(shí)間,為促進(jìn)復(fù)雜虛擬成像技術(shù)發(fā)展奠定基礎(chǔ)。