隨機梯度下降的交互式VR影像拼接均勻性校正

吳海靜

(六安職業(yè)技術(shù)學院 幼兒教育與旅游管理學院,安徽 六安 237158)

隨著社會不斷發(fā)展,交互式VR技術(shù)也日新月異。在汽車、房地產(chǎn)、城市規(guī)劃、影視動畫以及醫(yī)院等行業(yè)都可以看到交互式VR技術(shù)的身影[1],人們可以在交互式VR技術(shù)下盡情享受前所未有的科技體驗感,豐富人們生活的同時也給人們的生活帶來很大便捷。VR前期的拍攝固然重要,但后期的拼接工作同樣不可或缺,VR影像拼接均勻性越高,影像的質(zhì)量也越高,這會帶給人們更加強烈、真實且直觀的VR交互體驗[2],但目前對交互式VR影像的拼接均勻校正方法仍不完善,依舊存在諸多漏洞,急需有效的影像拼接均勻性校正方法,提升交互式VR影像的視覺效果。

為此眾多學者對交互式VR影像拼接均勻校正進行大量研究,王士偉等提出自適應(yīng)移動窗口的COMS拼接均勻性校正方法[3],以工程為切入點,通過移動窗口對影像實施分塊處理并對同窗口下的多影像進行同一組參量校正,結(jié)合COMS傳感器最終實現(xiàn)交互式VR影像拼接均勻性校正,該方法可以使用較少的影像校正參數(shù),但影像校正后的質(zhì)量無明顯改善;牟新剛基于全卷積神經(jīng)網(wǎng)絡(luò)影像均勻性校正方法,通過設(shè)定好的子網(wǎng)絡(luò)實現(xiàn)影像的噪聲輸入,其次輸出級別估量圖,最終在主校正網(wǎng)絡(luò)下完成交互式VR影像拼接均勻性校正,該方法避免影像邊緣模糊的狀態(tài)的同時,校正后的影像仍然存在不均衡缺點[4]。

隨機梯度下降算法具備較高的誤差校正功能,該算法可以不斷對誤差進行迭代,不斷優(yōu)化誤差,直至誤差最小[5-7]。因此本文提出基于隨機梯度下降的交互式VR影像拼接均勻性校正方法,該方法不僅可以實現(xiàn)交互式VR影像拼接均勻性校正,而且校正后的影像均勻性高、質(zhì)量更佳。

1 交互式VR影像拼接均勻性校正

1.1 確定交互式VR影像重疊區(qū)域

拼接后的交互式VR影像會在一定程度上存在重疊區(qū)域[8],重疊區(qū)域越大,表示兩個拼接影像之間的關(guān)聯(lián)性越大。也就是說用于拼接的兩個影像之間的關(guān)聯(lián)隨重疊區(qū)的增大而增大,所以可通過將重疊率轉(zhuǎn)換成用于拼接圖像的關(guān)聯(lián)參數(shù)從而獲取交互式VR影像重疊區(qū)域。

關(guān)聯(lián)參數(shù)屬于標準的協(xié)方差函數(shù),通過兩個信號的方差與協(xié)方差相除獲得關(guān)聯(lián)參數(shù)。若探尋交互式VR影像和目標影像二者之間的灰度出現(xiàn)線性變形,相似化水準依舊可被關(guān)聯(lián)參數(shù)表示。可獲取兩個交互式VR影像灰度矩陣的關(guān)聯(lián)參數(shù),如式(1)所示。

(1)

式(1)中,關(guān)聯(lián)參數(shù)用g表示。參量DI1、DI2以及DI1I2的計算如式(2)所示。

(2)

式(2)中,灰度矩陣的總行數(shù)、總列數(shù)、灰度矩陣灰度均值用m、n和E(I)描述;用I(i,j)表示灰度矩陣i行j列的灰度值。

在式(1)和式(2)的融合下可得關(guān)聯(lián)參數(shù)的計算如式(3)所示。

(3)

由式(3)可知,兩個交互式VR影像的灰度矩陣計算其實就是關(guān)聯(lián)參數(shù)的計算。在計算機上的交互式VR影像灰度矩陣可直觀看出,所以無需進行重疊率的特點提取以及影像配對,運算量降低的同時,處理數(shù)據(jù)的效率明顯提升。

用于拼接的影像之間存在非重疊區(qū)域,所以在交互式VR影像處理流程中直接對用于拼接的兩個影像展開關(guān)聯(lián)運算,由于非重疊區(qū)域的干擾,最終結(jié)果的正確性將大大降低。本文以用于拼接的兩個交互式VR影像的關(guān)聯(lián)區(qū)為處理目標,改進優(yōu)化后的式(1)如式(4)所示。

(4)

(5)

將式(2)代入式(4)中,如式(6)所示。

(6)

由于式(6)中只利用影像重疊區(qū)域進行計算,使得計算效率得以提升[9],此外沒有非重疊區(qū)的干擾,使得通過關(guān)聯(lián)參數(shù)確定交互式VR影像重疊區(qū)域的準確率大大提高。

1.2 交互式VR影像拼接均勻性調(diào)整

根據(jù)1.1小節(jié)確定的交互式VR影像重疊區(qū)域為基礎(chǔ),并在此基礎(chǔ)上完成交互式VR影像拼接產(chǎn)生重疊區(qū)域的均勻性調(diào)整,詳細步驟為。

(1)確立鏡頭畸變參數(shù):畸變系數(shù)、畸變中心以及交互式VR影像中對角線的長短分別用k1、(u0,v0)和D表示,那么可變焦距鏡頭畸變系數(shù)滿足-1/D2≤k1≤1/D2。將得到的畸變參數(shù)組合u與式(7)結(jié)合獲得調(diào)整后的交互式VR邊緣影像。

(7)

畸變像素點相應(yīng)的物理坐標和畸變像素點相應(yīng)的像素坐標分別是(xd,yd)及(ud,vd)。計算調(diào)整后的邊緣像素點相關(guān)梯度,如式(8)所示。

(8)

式(8)中,用(Gu,Gv)描述調(diào)整后邊緣影像亮度值在(un,vn)相關(guān)的一階偏導數(shù);交互式VR影像相應(yīng)亮度值、調(diào)整后邊緣像素點的梯度方向以及坐標分別用B、α(un,vn)和(un,vn)表示。

(2)使原有交互式VR影像重疊區(qū)域4個焦點a(u21,v21)、b(u22,v22)、c(u23,v23)、d(u24,v24)坐標投射在地圖坐標系,如式(9)所示。

(9)

VR攝像機內(nèi)的位置元素、徑向畸變系數(shù)和交互式VR影像中畸變中心與畸變像點間的歐氏距離分別是A0、k1和rd;畸變像點t相應(yīng)的物理坐標和物點t′相應(yīng)的地圖坐標分別用(xd,yd)以及(xm,ym)描述。

以上文所用式得到的地圖坐標a′(xm1,ym1)、b′(xm2,ym2)、c′(xm3,ym3)、d′(xm4,ym4)為基礎(chǔ)并在該基礎(chǔ)上采用xm、ym坐標組形式對所得地圖坐標展開分組,最后得出最大值(xmax,ymax)和最小值(xmin,ymin)。

(3)對地面網(wǎng)格實施分區(qū)處理,用dxm、dym描述每個像素點在輸出交互式VR影像中的地面大小,對交互式VR影像的全部列數(shù)col以及全部行數(shù)row進行計算,如式(10)所示。

(10)

式(10)中,取整函數(shù)為fix。

(4)對每個像素點坐標(u′,v′)在調(diào)整后交互式VR影像相關(guān)的地圖坐標(xm,ym),如式(11)所示。

(11)

u′=1,2,…,col,v′=1,2,…,row

(5)以地圖坐標(xm,ym)為基礎(chǔ),使用以下流程計算像素點在交互式VR影像的相關(guān)坐標(ud,vd)。

以一個參量模型為基礎(chǔ)通過對變焦鏡頭畸變的運算實現(xiàn)交互式VR影像拼接均勻性調(diào)整,如式(12)所示。

(12)

(13)

當k1>0時,交互式VR影像為枕形畸變;當k1<0時,交互式VR影像為桶形畸變。

處理rd并對畸變影像中物點t′(xm,ym)相關(guān)的像素坐標(ud,vd)進行計算,如式(14)所示。

(14)

(6)交互式VR影像拼接均勻性的調(diào)整方法是以原有交互式VR影像中的像素點坐標u為前提條件并對該坐標的相關(guān)灰度值采用雙線性差值算法,從而在計算后的調(diào)整交互式VR影像像素點幅值。

(7)最終不停使用(4)-(6)步驟對標準影像的像素點灰度值調(diào)整并計算,實現(xiàn)交互式VR影像拼接均勻性調(diào)整。

但以上過程影像拼接均勻性誤差不可避免[10],因此本文結(jié)合隨機梯度算法更好地實現(xiàn)交互式VR影像拼接均勻性誤差校正。

1.3 基于SPGD的交互式VR影像拼接均勻性誤差校正

拼接均勻性誤差越大,拼縫處越分散,所以根據(jù)拼縫處可分析出拼接均勻性誤差大小,從而隨時指引拼接均勻性誤差的校正[11-12]。目前校正誤差的算法主要包括隨機梯度下降算法(SPGD)、爬山法以及遺傳算法等。此中由于SPGD算法具有較大的誤差校正實力且收斂速率迅速,所以本文采用SPGD算法實現(xiàn)交互式VR影像拼接均勻性誤差校正。

在使用SPGD算法實際計量拼縫處過程中,需對拼縫處實施隨機干擾再進行迭代,通過干擾下的拼縫處的變化情況獲取優(yōu)化指標并對其進行運算[13],從而得出優(yōu)化指標梯度,指引下次迭代優(yōu)化向指標的梯度方位進行[14-15],迭代結(jié)束標準為:實現(xiàn)優(yōu)化指標最大化即拼接均勻性誤差最小化。SPGD對交互式VR影像拼接均勻性誤差校正過程,如圖1所示。

圖1 SPGD校正拼接均勻性過程圖

完成SPGD對交互式VR影像拼接均勻性誤差校正,如式(15)-式(17)所示。

α(k+1)=α(k)γ+Δα(k)ΔJ(k)

(15)

(16)

(17)

計算當k=1、α(1)=0時的拼接影像原有的均勻性誤差向量β,如式(18)所示。

β=[b1,b2,…,b20]

(18)

式(18)中,拼接的交互式VR影像中,第i個影像繞x軸和y軸的歪斜誤差、第i個影像向x軸、y軸的移動誤差和第i個影像(i=1,2,3,4)的原有移動誤差分別用b5i-1和b5i、b5i-3和b5i-2以及b5i-4表示。

第k次迭代下影像拼接的誤差,如式(19)所示。

(19)

SPGD算法[16]的收斂精準度與速率和優(yōu)化指標的選擇密不可分。本文選擇式(20)-式(23)作為SPGD的優(yōu)化水平評估函數(shù)并以此得到水平較高的優(yōu)化指標。

(20)

(21)

(22)

(23)

2 實驗分析

本文選取某商場交互式VR體驗中心的200組后臺影像,其中包括110組建筑影像、50組插畫影像以及40組風景影像,一組有100張影像。隨機從一組影像中抽取兩張影像進行拼接,對拼接結(jié)果應(yīng)用本文方法進行拼接均勻性校正,探究本文方法的可行性。應(yīng)用本文方法校正前后的影像效果展示,如圖2所示。

(a)抽取的第1張VR影像

(b)抽取的第2張VR影像

(c)未校正拼接均勻性的VR影像

(d)校正拼接均勻性后的VR影像

由圖2可知,校正前的影像圖片不僅拼接處模糊,而且拼接不連貫、不均衡,通過本文方法校正之后,基本看不出拼接痕跡且拼縫處更加平滑、均勻,說明本文方法可以實現(xiàn)交互式VR影像拼接均勻性校正。

采用結(jié)構(gòu)相似度評分(SSIM)為交互式VR影像拼接均勻性校正效果測試指標,SSIM越大,即交互式VR影像均勻性校正效果越好。SSIM結(jié)果主要有三大要素,分別是組成相似度、對比度相似度以及亮度相似度,其計算如式(24)所示。

(24)

式(24)中,組成、對比度以及亮度對比函數(shù)分別用s(x,y)、c(x,y)和l(x,y)表示;常數(shù)是C1、C2和C3;兩個交互式VR影像間的相互關(guān)聯(lián)參量、交互式VR影像的平均強弱以及基準差分別是σxσy、μx與μy、σx與σy。

采用邊緣差分譜評分(DoEM)以及變形度(Twist)為交互式VR影像拼接均勻性校正效果測試指標,DoEM越大,即交互式VR影像均勻性校正后的質(zhì)量越佳;Twist越低,說明均勻性校正后的交互式VR影像總誤差越小。兩者的計算公式如式(25)和式(26)所示。

(25)

twist=max{slopes(i,j)}i,j∈resultpoint

(26)

式(25)和式(26)中,交互式VR影像過渡區(qū)相關(guān)的方差、均值以及邊緣區(qū)均值分別是σ2、μa和μe;鄰近坐標間的傾斜率以及交互式VR影像變換過程后組成的中央坐標集合分別用slopes(i,j)和resultpoint描述。

分別對上文所提未校正拼接均勻性的VR影像使用本文方法、文獻[3]基于自適應(yīng)移動窗口的COMS拼接均勻性校正方法和文獻[4]基于全卷積神經(jīng)網(wǎng)絡(luò)影像均勻性校正方法,對比分析以上方法的SSIM、DoEM以及Twist,如表1和圖3所示。

表1 結(jié)構(gòu)相似度評分和邊緣差分譜評分

圖3 變形度測試結(jié)果

通過表1分析,本文方法應(yīng)用后交互式VR圖像的SSIM和DoEM均比文獻方法高,因為本文方法先確定交互式VR影像的拼接后的重疊區(qū)域,以此為基礎(chǔ),進行針對性的拼接均勻性校正,而并非對大范圍的拼接后VR影像進行全局處理,可使拼接處的細節(jié)處理效果更好,使校正后影像的質(zhì)量明顯提升;由圖3可知,本文方法校正后影像的Twist均在20%以下,比文獻方法低10%左右,較低的Twist表明應(yīng)用本文方法校正后的影響拼接均勻性總誤差較小。

綜上所述,說明本文方法不僅可以實現(xiàn)交互式VR影像拼接均勻性的校正,而且校正后的影像具有較高質(zhì)量,此外拼縫處的均勻性程度較高且拼接均勻總體誤差較小。

3 結(jié)論

以結(jié)構(gòu)相似度評分(SSIM)、邊緣差分譜評分(DoEM)以及變形度(Twist)為測試指標衡量本文方法的應(yīng)用效果,數(shù)據(jù)表明本文方法擁有較高的SSIM、DoEM以及較低的Twist,說明本文方法實現(xiàn)交互式VR影像拼接均勻性校正的同時,又能使校正后的影像拼縫處更加平滑、均勻,從而得到更高質(zhì)量的影像;此外本文方法下的影像拼縫處的拼接均勻性程度高且拼接均勻性的總誤差較小,校正的效果更加顯著。在不久將來希望本文方法可對交互式VR影像領(lǐng)域?qū)崿F(xiàn)更高的應(yīng)用價值。