移動(dòng)AR+VR支持下全景圖像拼接均勻性校正方法

趙 松，王 勐

(南京師范大學(xué)中北學(xué)院，江蘇 丹陽 212300)

1 引言

圖像拼接技術(shù)是計(jì)算機(jī)圖形學(xué)和視覺等領(lǐng)域的重點(diǎn)研究內(nèi)容，全景圖像是在統(tǒng)一場景下利用拼接技術(shù)對多組重疊區(qū)域進(jìn)行融合、配準(zhǔn)操作獲得的[1]。全景圖像被廣泛地應(yīng)用在遙感視覺、攝影測量等領(lǐng)域中。相機(jī)一般情況下視角為垂直35°，水平50°，人眼的視角通常情況下為垂直135°，水平200°。一般鏡頭的視角通常較小，拼接全景圖像所用的圖像較多，且拼接成的全景圖像中的重疊區(qū)域較大，導(dǎo)致全景圖像的均勻性較差[2]，因此需要對全景圖像拼接均勻性校正方法進(jìn)行分析和研究。

楊明東[3]等人提出基于匹配策略融合的圖像拼接均勻性校正方法，該方法首先提取并計(jì)算全景圖像的特征點(diǎn)和對應(yīng)的描述符，在坐標(biāo)約束條件下采用RANSAC算法確定匹配策略實(shí)現(xiàn)特征匹配，構(gòu)建投影變換模型，采用多線程技術(shù)在投影變換模型的基礎(chǔ)上在參考坐標(biāo)系中投影全景圖像，實(shí)現(xiàn)圖像的均勻性校正，該方法無法獲取全景圖像中存在的重疊區(qū)域，導(dǎo)致校正后的全景圖像結(jié)構(gòu)相似度評分SSIM較低。陳波[4]等人提出基于子孔徑目標(biāo)圖像配準(zhǔn)的圖像拼接均勻性校正方法，該方法結(jié)合M估計(jì)抽樣一致算法、歐式距離最近鄰法和尺度不變特征變換算法對圖像進(jìn)行配準(zhǔn)處理，計(jì)算瞳孔放大器和探測器在孔徑之間的誤差，通過對誤差進(jìn)行調(diào)整提高全景圖像的均勻性，該方法在校正過程中忽略了重疊區(qū)域，導(dǎo)致校正后的全景圖像邊緣差分譜評分DoEM低。姚欽舟[5]等人提出基于映射關(guān)系的圖像拼接均勻性校正方法，該方法將四維光場參數(shù)引入折射模型中，構(gòu)建成像模型，通過光場方向信息獲得對應(yīng)的坐標(biāo)映射關(guān)系，根據(jù)映射關(guān)系實(shí)現(xiàn)圖像拼接的均勻性校正，該方法無法有效地對重疊區(qū)域中的像素進(jìn)行處理，導(dǎo)致校正后的全景圖像扭曲度大，存在累計(jì)誤差大的問題。

為解決傳統(tǒng)方法中存在的問題，提出移動(dòng)AR+VR支持下全景圖像拼接均勻性校正方法。

2 確定全景圖像的重疊區(qū)域

在移動(dòng)AR+VR支持下采用相位相關(guān)算法確定全景圖像中的重疊區(qū)域，具體過程如下：

用(Δx，Δy)描述圖像I1(x，y)和圖像I2(x，y)間的平移關(guān)系

I1(x，y)=I2(x-Δx，y-Δy)

(1)

在移位特性的基礎(chǔ)上通過Fourier變換獲得下式

1(x，y)=exp[-j2π(uΔx+vΔy)]2(x，y)

(2)

在式(3)的基礎(chǔ)上移動(dòng)AR+VR支持下全景圖像拼接均勻性校正方法實(shí)現(xiàn)互功率譜的歸一化處理

(3)

對上式做Fourier逆變換處理，構(gòu)建二維沖激函數(shù)δ(x-Δx，y-Δy)：

δ(x-Δx，y-Δy)=F-1[e-j2π(uΔx+vΔy)]

(4)

峰值在沖激函數(shù)中的位置就是全景圖像的平移參數(shù)，利用峰值表征全景圖像之間存在的相互關(guān)系[6-7]。如果兩幅全景圖像不相似，對應(yīng)的峰值為零，如果兩幅全景圖像相似，對應(yīng)的峰值為1。沖激函數(shù)受到全景圖像中移動(dòng)物體或噪聲的影響時(shí)，會(huì)將能量進(jìn)行分散處理。

移動(dòng)AR+VR支持下全景圖像拼接均勻性校正方法利用相位相關(guān)算法通過上述過程獲得平移參數(shù)(Δx，Δy)，實(shí)現(xiàn)圖像重疊區(qū)域的監(jiān)測。

3 全景圖像拼接均勻性校正

移動(dòng)AR+VR支持下全景圖像拼接均勻性校正方法在直線投射投影不變性原理的基礎(chǔ)上在全景圖像的重疊區(qū)域中實(shí)現(xiàn)均勻性的校正，具體過程如下：

1)確定鏡頭畸變參數(shù)。

(5)

式中，(xd，yd)代表畸變像素點(diǎn)對應(yīng)的物理坐標(biāo)；(ud，vd)代表畸變像素點(diǎn)對應(yīng)的像素坐標(biāo)[11]。

邊緣像素點(diǎn)經(jīng)過校正處理后對應(yīng)的梯度可通過下述公式進(jìn)行計(jì)算：

(6)

式中，(Gu，Gv)代表邊緣圖像亮度值經(jīng)過校正處理后在(un，vn)處對應(yīng)的一階偏導(dǎo)數(shù)；I代表全景圖像對應(yīng)的亮度值[12]。通過上述過程獲得邊緣像素點(diǎn)經(jīng)過校正處理后的梯度方向α(un，vn)和坐標(biāo)(un，vn)。

對需要校正的全景圖像進(jìn)行Hough變換，獲得前N個(gè)Hough變換單元峰值的方向β(q)，與原點(diǎn)之間的距離dist(q)以及對應(yīng)的Nl條直線端邊緣，其中q=1，2，…，N[8-9]。

當(dāng)?shù)趒條直線的方向β(q)與像素點(diǎn)梯度方向α(un，vn)之間的差值低于δa時(shí)，通過下式計(jì)算第q條直線與該像素點(diǎn)之間存在的距離

dq=|uncos(β(q))+vnsin(β(q))-dist(q)|

(7)

2)通過下述公式將原始全景圖像四個(gè)焦點(diǎn)坐標(biāo)a(u21，v21)、b(u22，v22)、c(u23，v23)、d(u24，v24)投射到地圖坐標(biāo)系中

(8)

式中，A0代表攝像機(jī)內(nèi)存在的方位元素；k1代表徑向畸變系數(shù)；rd代表畸變中心與畸變像點(diǎn)之間在全景圖像中對應(yīng)的歐式距離；(xd，yd)代表畸變像點(diǎn)t對應(yīng)的物理坐標(biāo)；(xm，ym)代表物點(diǎn)t′對應(yīng)的地圖坐標(biāo)。

通過上述公式獲得地圖坐標(biāo)值a′(xm1，ym1)、b′(xm2，ym2)、c′(xm3，ym3)、d′(xm4，ym4)，按照xm、ym坐標(biāo)組對上述獲取的地圖坐標(biāo)值進(jìn)行分組，獲得最大值(xmax，ymax)和最小值(xmin，ymin)。

3)對地面網(wǎng)格進(jìn)行劃分，設(shè)dxm、dym為每個(gè)像素點(diǎn)在輸出全景圖像中的地面尺寸，計(jì)算全景圖像的總列數(shù)col和總行數(shù)row

(9)

式中，fix代表取整函數(shù)。

4)計(jì)算每個(gè)像素點(diǎn)坐標(biāo)(u′，v′)在校正圖像中對應(yīng)的地圖坐標(biāo)(xm，ym)

(10)

式中，u′=1，2，…，col，v′=1，2，…，row。

5)根據(jù)地圖坐標(biāo)(xm，ym)通過下述過程計(jì)算像素點(diǎn)在原始全景圖像中對應(yīng)的坐標(biāo)(ud，vd)。

在理想無畸變?nèi)皥D像中計(jì)算物點(diǎn)t′(xm，ym)對應(yīng)像點(diǎn)t0的物理坐標(biāo)

(11)

式中，Ccm代表第i幅全景圖像的外方位元素。

移動(dòng)AR+VR支持下全景圖像拼接均勻性校正方法通過單參數(shù)模型對變焦距鏡頭畸變進(jìn)行計(jì)算

(12)

(13)

當(dāng)k1<0時(shí)，全景圖像為桶形畸變，當(dāng)k1>0時(shí)，全景圖像為枕形畸變。

通過下式根據(jù)rd對畸變圖像中物點(diǎn)t′(xm，ym)對應(yīng)的像素坐標(biāo)(ud，vd)進(jìn)行計(jì)算

(14)

6)移動(dòng)AR+VR支持下全景圖像拼接均勻性校正方法通過雙線性差值算法對像素點(diǎn)坐標(biāo)(ud，vd)在原始全景圖像中對應(yīng)的灰度值進(jìn)行計(jì)算[11-12]，即為校正全景圖像(u′，v′)像素點(diǎn)幅值。

7)重復(fù)步驟(4)-(6)，依次對像素點(diǎn)在標(biāo)準(zhǔn)圖像中對應(yīng)的灰度值進(jìn)行計(jì)算，完成計(jì)算后結(jié)束，實(shí)現(xiàn)全景圖像拼接的均勻性校正。

4 實(shí)驗(yàn)與分析

為了驗(yàn)證移動(dòng)AR+VR支持下全景圖像拼接均勻性校正方法的整體有效性，需要對移動(dòng)AR+VR支持下全景圖像拼接均勻性校正方法進(jìn)行測試，本次測試使用的平臺為Qt Creater5.7平臺，操作系統(tǒng)為Windows7 64位，結(jié)合Boost多線程庫和OpenCV 2.4.10視覺庫進(jìn)行相關(guān)測試。

分別采用結(jié)構(gòu)相似度法和邊緣差分譜評價(jià)法對移動(dòng)AR+VR支持下全景圖像拼接均勻性校正方法(所提方法)、基于匹配策略融合的圖像拼接均勻性校正方法(文獻(xiàn)[3]方法)和基于子孔徑目標(biāo)圖像配準(zhǔn)的圖像拼接均勻性校正方法(文獻(xiàn)[4]方法)校正后的全景圖像質(zhì)量進(jìn)行評價(jià)。對比測試的指標(biāo)分為結(jié)構(gòu)相似度評分SSIM、邊緣差分譜評分DoEM以及扭曲度。結(jié)構(gòu)相似度評分SSIM越高，說明該方法處理后的圖像與原圖像的差別越大，即校正效果越好。邊緣差分譜越高，說明校正后圖像質(zhì)量越好。扭曲度越低表明校正后的全景圖像累計(jì)誤差越小，結(jié)構(gòu)相似度法的評分結(jié)果由三個(gè)要素構(gòu)成，分別是結(jié)構(gòu)相似度、對比度相似度和亮度相似度評價(jià)，結(jié)構(gòu)相似度評分SSIM可通過下式計(jì)算得到

(15)

式中，s(x，y)、c(x，y)、l(x，y)分別代表結(jié)構(gòu)、對比度和亮度比較函數(shù)；σxy代表兩個(gè)全景圖像之間存在的互相關(guān)系數(shù)；C3、C2、C1為常數(shù)；μx、μy、σx、σy分別代表全景圖像的平均強(qiáng)度以及對應(yīng)的標(biāo)準(zhǔn)差。

所提方法、文獻(xiàn)[3]方法和文獻(xiàn)[4]方法的結(jié)構(gòu)相似度評分SSIM如表1所示。

表1 結(jié)構(gòu)相似度評分SSIM

邊緣差分譜評分DoEM可通過下式計(jì)算得到

(16)

式中，σ2代表全景圖像過度區(qū)域?qū)?yīng)的方差；μa代表全景圖像過度區(qū)域?qū)?yīng)的均值；μe代表全景圖像過度區(qū)域?qū)?yīng)的邊界區(qū)均值。

所提方法、文獻(xiàn)[3]方法和文獻(xiàn)[4]方法的邊緣差分譜評分DoEM如表2所示。

表2 邊緣差分譜評分DoEM

分析表1和表2中的數(shù)據(jù)可知，在多次迭代中所提方法的結(jié)構(gòu)相似度評分SSIM和邊緣差分譜評分DoEM均高于文獻(xiàn)[3]方法和文獻(xiàn)[4]方法的結(jié)構(gòu)相似度評分SSIM和邊緣差分譜評分DoEM。結(jié)構(gòu)相似度評分SSIM和邊緣差分譜評分DoEM越高表明方法校正后的全景圖像質(zhì)量較高，因?yàn)樗岱椒ㄔ谝苿?dòng)AR+VR支持下采用相位相關(guān)算法確定全景圖像中的重疊區(qū)域，在重疊區(qū)域內(nèi)對全景圖像拼接的均勻性進(jìn)行校正，提高了校正后全景圖像的質(zhì)量。

將扭曲度twist作為測試指標(biāo)，對所提方法、文獻(xiàn)[3]方法和文獻(xiàn)[4]方法的整體有效性進(jìn)行測試，扭曲度twist的計(jì)算公式如下：

twist=max{slopes(i，j)}i，j∈resultpoint

(17)

式中，slopes(i，j)代表相鄰坐標(biāo)間存在的斜率；resultpoint代表全景圖像變化處理后構(gòu)成的中心坐標(biāo)集合。

所提方法、文獻(xiàn)[3]方法和文獻(xiàn)[4]方法的扭曲度twist測試結(jié)果如圖1所示。

圖1 扭曲度測試結(jié)果

分析圖1中的數(shù)據(jù)可知，在多次實(shí)驗(yàn)過程中所提方法的扭曲度均控制在10%以下，文獻(xiàn)[3]方法和文獻(xiàn)[3]方法的扭曲度在30%-40%范圍內(nèi)波動(dòng)，對比不同算法的測試結(jié)果可知，所提方法的扭曲度最低，扭曲度越低表明校正后的全景圖像累計(jì)誤差越小，因?yàn)樗岱椒ㄔ谌皥D像的重疊區(qū)域中根據(jù)直線投射投影不變性原理對全景圖像拼接的均勻性進(jìn)行校正，提高了方法的整體有效性，進(jìn)而降低了校正處理后全景圖像的累計(jì)誤差。

5 結(jié)束語

廣角鏡頭與普通鏡頭相比具有極大的優(yōu)勢，視場寬是廣角鏡頭的特點(diǎn)，利用廣角鏡頭可以獲取更多的信息量，通過廣角鏡頭生成的全景圖像在人們?nèi)粘９ぷ骱蜕钪惺艿搅巳藗兊南矏?，但全景圖像在拼接過程中容易產(chǎn)生畸變，降低了全景圖像的均勻性，為了獲取高質(zhì)量的全景圖像，需要研究全景圖像拼接均勻性校正方法。目前全景圖像拼接均勻性校正方法存在結(jié)構(gòu)相似度評分SSIM低、邊緣差分譜評分DoEM低和累計(jì)誤差大的問題，提出移動(dòng)AR+VR支持下全景圖像拼接均勻性校正方法，首先對圖像重疊區(qū)域進(jìn)行檢測，利用直線投射投影不變性原理實(shí)現(xiàn)圖像的均勻性校正，解決了目前方法中存在的問題，為全景圖像的應(yīng)用和發(fā)展提供了保障。