基于改進PMS算法的多視點立體視圖優(yōu)化算法

樊相奎，周紹軍，黎 明

(1.四川師范大學(xué) 計算機科學(xué)學(xué)院，四川 成都 610101；2.四川水利職業(yè)技術(shù)學(xué)院 信息工程系，四川 崇州 611231)

0 引 言

視圖優(yōu)化技術(shù)是多學(xué)科交叉的一門綜合性學(xué)科，包括計算機、電子信息和仿真技術(shù)等[1]。立體顯示是利用雙目視差和運動視差來實現(xiàn)立體顯示，主要應(yīng)用在工業(yè)、軍事、醫(yī)療、娛樂和商業(yè)等領(lǐng)域[2]。視圖按照一定方式運動的序列形成動畫，由視圖到動畫需要進行優(yōu)化，使其立體動畫效果更加逼真和貼切[3]。因此，利用相關(guān)理論和方法，對多視點視圖的優(yōu)化具有一定意義和價值的。

對視圖匹配與優(yōu)化研究方面，國內(nèi)外研究者們提出了很多視圖/視點的匹配與優(yōu)化算法。文獻[4]提出了一種對大的非線性輻射畸變具有魯棒性的特征匹配算法，但該算法僅應(yīng)用于輻射不敏感特征變換，對其它特征下未進行描述。文獻[5]將Hopfield網(wǎng)絡(luò)應(yīng)用于視差空間上的立體匹配求解上，提出一種基于RBF(radial basis function)的邊界提取算法。文獻[6]提出一種基于交叉片的滾動標(biāo)簽擴展的立體匹配算法，該算法在像素級和亞像素級都具有較高的匹配精度。文獻[7]為基于邊界的視差圖優(yōu)化，通過實驗驗證與分析，將Canny檢測算法與SGBM(semi-global block matching，SGBM)算法相結(jié)合的方法剔除了大量不相關(guān)信息，提高視差圖的質(zhì)量。文獻[8]提出一種基于置信度的大尺度密集多視點立體成像方法和一種基于深度控制的空間一致性預(yù)測方法。文獻[9]提出一種在立體視覺和多視點下校準(zhǔn)立體圖像的表面法線估計的最優(yōu)算法。文獻[10]對平面立體視覺圖像進行優(yōu)化研究，提出一種帶約束的優(yōu)化算法。文獻[11]提出一種空中多視點高質(zhì)量三維重建和優(yōu)化方法，并對提出的方法進行了量化評估。從現(xiàn)有研究成果來看，對局部立體視圖的匹配進行相應(yīng)研究的主要體現(xiàn)在文獻[12]；文獻[12]通過估計每個像素上的單獨三維平面而投射出支持區(qū)域以解決視差，借以提出了一種PatchMatch算法來求解無限數(shù)量的平面的最優(yōu)三維平面。

綜上，利用局部立體視圖匹配PMS(PatchMatch ste-reo)算法，結(jié)合多點視圖法平面與視差空間，提出一種多視點法平面與視差空間及聚合成本最優(yōu)化的改進PMS算法，來優(yōu)化和處理多視點立體視圖匹配問題，并對算法進行仿真與實驗驗證。

1 優(yōu)化框架設(shè)計

要實現(xiàn)基于虛擬現(xiàn)實的多視點裸眼體視動畫優(yōu)化，必須對優(yōu)化框架進行設(shè)計，即完成改進局部立體匹配(improved patch match stereo,IPMS)框架設(shè)計。

利用多臺攝像機對單個客體進行拍攝，得到相應(yīng)的圖像信息。依據(jù)得到的某一時刻的信息幀，進行虛擬仿真，而得到連續(xù)動態(tài)的動畫，并使得在裸眼體視下具有動畫效果。如圖1所示，3臺攝像機對N平面上的點P進行拍攝，第i個和第j個視圖間的投影點的相鄰像素通過局部仿射變換為Aij關(guān)聯(lián)，平面Πi的點Pi為投射點，Ci為仿射點，其中i=1,2,3,j=1,2,3。 因此，平面N的點P就得到3個投射點視圖和3個仿射視圖。

圖1 多視點拍攝

用三維坐標(biāo)系對如圖1的3個攝像機和被拍攝對象進行坐標(biāo)標(biāo)定。搜索圖P3和對應(yīng)的仿射點C3， 映射到xy平面，得到線段P′3C′3； 由于3臺攝像機處于同樣的高度，即與P點位于同一個平面內(nèi)，因此，各拍攝點的z軸坐標(biāo)值是固定的，其變化部分為x軸和y軸。假定P=(x,y)T、P1=(x1,y1)T∈Π1、P2=(x2,y2)T∈Π2和P3=(x3,y3)T∈Π3， 若P1和P3匹配，則在同一個坐標(biāo)系里可使P1和P3具有相同的y坐標(biāo)和視差量值d， 故在參考空間D和參考產(chǎn)生的視差空間D′， 有P1=(x1,y,d)T∈D和P3=(x3,y,d)T∈D′為點P的兩個不同投影變換，若令X′=x-d或X′=x+d， 則視差空間中P1和P3之間的關(guān)系為

(1)

d=ax+by+cz

(2)

δ=aξ+bη+cγ

(3)

(4)

(5)

(6)

(7)

式中：φ為預(yù)置參數(shù)， |Ip-Iq| 表示像素點p和q間的距離，可用式(2)或式(3)表示；函數(shù)similDh(p,q) 表示p和q待匹配像素點間的相似度，即

(8)

式中：q是通過p的視差值，由式(2)確定；α為像素點p和像素點q間的色彩與梯度平衡因子；tpc,tpg為匹配代價在對應(yīng)區(qū)域內(nèi)的魯棒性因子。

PMS算法性能直接取決于匹配跨視圖測量區(qū)域的相似性成本。因某些仿射變化或噪聲影響，使得匹配區(qū)的強度受到影響，而導(dǎo)致匹配成本函數(shù)必須對該影響具有魯棒性[9]。在此，基于前面的變換關(guān)系和改進PMS算法，使用像素自適應(yīng)權(quán)重匹配的成本函數(shù)，來進行跨視圖匹配及其框架的設(shè)計。

對式(4)進行改進，以得到最小化聚合匹配成本平面

(9)

因此，點P的聚合成本為

(10)

(11)

(12)

(13)

圖2 優(yōu)化框架流程

由圖2可知，優(yōu)化框架流程分為3個步驟實現(xiàn)多視點裸眼體視優(yōu)化。首先進行初始化，在最小允許視差值dmin和最大允視差值dmax之間均勻分配視差值，即視差值d服從 [dmin,dmax] 的均勻分布，表示為d～U(dmin,dmax)； 在左右視差空間D、D′為平面N、 Πi的每個像素分配單位法線。然后進行傳播和細(xì)化后得到左右像素點πL和πR。 最后還需要進行后處理，其方法見文獻[12]。

2 優(yōu)化算法

依據(jù)前面提出的優(yōu)化框架，按照式(10)的成本函數(shù)，對每個視覺獲取的視圖進行如圖所示的框架進行優(yōu)化。還需要進一步進行優(yōu)化算法研究，該優(yōu)化算法在本節(jié)予以完成。

對n個視點的P點聚合成本，可描述為

(14)

因此，依據(jù)PMS算法和圖2流程框架，利用式(14)得到最低開銷的聚合成本，進而得到多視點的IPMS算法。設(shè)計多視點法平面與視差聚合成本最小化的改進PMS算法，來實現(xiàn)多視點裸眼體視動畫的優(yōu)化[15]。其算法分為初始化、傳播、多視點法平面與視差聚合成本最小化迭代、視差圖后處理4個步驟。其中前3個步驟將多視點法平面與視差轉(zhuǎn)化為多視點法平面與視差及聚合成本的最優(yōu)化求解過程，算法具體描述如算法1所示。

算法1：

輸入：各視點左右視圖、法平面、視差空間、視差與法平面的約束

輸出：法平面與視差和左右視點最優(yōu)聚合成本

(2)計算各視點的相似度。依據(jù)建立的坐標(biāo)系，計算各視點的偏移量di-d， 用偏移量代替視距而構(gòu)成視差空間D′i， 設(shè)置各視點Pi相對于P點的相似度similDi(pi,p)。

(6)后處理。后處理首先是對左右視差圖執(zhí)行左右一致性驗證，以使得小于給定閾值的視差點為無效點，其次進行填充處理。填充方法是搜索無效點左側(cè)最近鄰和右側(cè)最近鄰的有效像素點，若仍為無效像素點，則返回第(1)步，重新設(shè)置初始值，直到為有效像素點。

依據(jù)算法1，可對每個視點完成空間傳播、視角傳播及視差優(yōu)化，同時能夠?qū)σ朁c進行隨機選取和處理。通過后處理完成對視點視圖的邊角、遮擋和噪聲等的處理[16]。

3 算法實驗與分析

在本節(jié)中，主要完成對提出的算法進行實驗，同時完成對實驗結(jié)果的分析。

在仿真實驗時，為使得仿真拍攝視圖滿足仿真要求，采用如圖3所示的3種方式進行多視點視圖拍攝。每個視圖點位于距被拍點P半徑為R的球面上，將3D隨機定向點上拍攝視圖，多點拍攝形成多點視圖，如圖3最右邊所示。然后等式(1)出發(fā)，進行每個拍攝點的法平面局部仿射變換，將具有標(biāo)準(zhǔn)差σ的零均值高斯噪聲添加到點P和仿射參數(shù)中。仿真得到的結(jié)果為測試用例400次運算后的平均值。

圖3 仿真視圖拍攝樣式

將本文提出的算法與文獻[17-19]的方法進行對比，得到如圖4所示的對比曲線。在仿真時，分別仿真噪聲σ的函數(shù)的角度誤差(單位：度)和在5、10、15、20個視點時的比較曲線，從仿真得到的圖4可知，本文算法在相同噪聲σ函數(shù)的角度誤差下，優(yōu)于其它參比算法。

圖4 不同視點數(shù)比較曲線

若σ一定，仿真得到在噪聲固定時視點數(shù)的函數(shù)的角度誤差曲線，如圖5的(a)所示；當(dāng)σ=0.5時，本文算法與參比算法相比，若樣本數(shù)越多，則誤差總趨勢是越來越小。同樣，在相同噪聲下的執(zhí)行各算法時間上進行比較，得到如圖5(b)所示的曲線圖，當(dāng)樣本增加時，本文算法在執(zhí)行時間上增加比較緩慢，優(yōu)于參比算法。

圖5 不同視點錯誤率與執(zhí)行時間比較曲線

利用實際圖片，進行對比實驗。采用相同圖片，分別用PMS算法和本文算法進行處理，得到如圖6所示的結(jié)果。圖6(a)按照經(jīng)典PMS算法進行匹配得到的處理結(jié)果，圖6(b)是按照本文算法進行處理的結(jié)果。圖6中，實驗使用的原圖為相同的左右視圖，代表不同視點的視圖，圖6(a)最后得到的匹配圖對遮擋部分，效果欠佳；而圖6(b)按照本文算法得到的視差圖，上下兩行分別為左右視點視圖的視差圖，其效果是明顯優(yōu)于PMS算法。

綜上，通過仿真與實驗結(jié)果可知，本文提出的算法在不同噪聲下的角度誤差、相同噪聲不同視點數(shù)的角度誤差和相同噪聲不同視點數(shù)的執(zhí)行時間方面，均優(yōu)于參比算法；在實物圖處理方面，與PMS算法進行比較，本文算法在處理效果方面具有優(yōu)越性。

4 結(jié)束語

針對多視點視圖匹配存在的不足，對多視點視圖進行法平面與視差及聚合成本方面的算法研究，提出一種多視點法平面與視差空間及聚合成本最優(yōu)化的改進PMS算法，以提高多視點視圖處理的效果。首先給出多視點視圖優(yōu)化框架和單視點聚合成本函數(shù)；然后結(jié)合多視點聚合成本函數(shù)最優(yōu)化方法，設(shè)計了法平面與視差及聚合成本最優(yōu)化的改進PMS算法，給出了算法步驟；最后，對提出的算法進行仿真實驗和對比實驗，結(jié)果表明所提出的改進PMS算法相對于參比算法而言，具有一定的優(yōu)越性。