視差可控的多視點(diǎn)立體圖像校正算法

程 浩，安 平，李賀建，王 奎，張兆楊

(1.新型顯示技術(shù)及應(yīng)用集成教育部重點(diǎn)實驗室，上海 200072;2.上海大學(xué) 通信與信息工程學(xué)院 上海200072)

隨著科學(xué)技術(shù)的發(fā)展，普通的二維視頻顯示技術(shù)已經(jīng)很難滿足人們對圖像的觀賞，因此三維顯示技術(shù)以其強(qiáng)烈的表現(xiàn)力和立體感很好的滿足了人們的需要。多視點(diǎn)立體顯示器(也稱為裸視立體顯示器)可使觀看者無需要佩戴任何輔助工具直接觀看立體顯示器上的圖像，并且立體感強(qiáng)、觀察視角大，因此，自由立體顯示系統(tǒng)(FTV:Free－Viewpoint TV System)被認(rèn)為是未來三維顯示技術(shù)的發(fā)展方向［1］。

目前的自由立體顯示主要是基于多視點(diǎn)信息的立體顯示，它需要使用攝像機(jī)陣列采集多個視點(diǎn)的信息并對其做相應(yīng)的處理，將處理后的圖像合成符合多視點(diǎn)立體顯示的圖像。因此對多視點(diǎn)信息進(jìn)行相應(yīng)的校正就顯得格外重要。

目前針對雙目立體圖像的校正算法已經(jīng)有很多［2］。但多視點(diǎn)立體圖像的校正算法因涉及攝像機(jī)陣列上多個視點(diǎn)的信息，因此校正過程復(fù)雜，并沒有形成公認(rèn)的校正算法［3－4］。

筆者在總結(jié)前人工作的基礎(chǔ)上，提出了一種視差可控的多視點(diǎn)立體圖像校正算法，該算法具有實現(xiàn)簡單快速的特點(diǎn)，非常適合實時系統(tǒng)，并且該算法可對目標(biāo)物體實現(xiàn)正視差、負(fù)視差和零視差的調(diào)節(jié)。

實驗表明，該算法可很好的支持8視點(diǎn)立體顯示系統(tǒng)中的圖像實時校正，并且對目標(biāo)物體可以根據(jù)需要進(jìn)行立體感調(diào)節(jié)。

1 立體圖像校正

1.1 立體攝像機(jī)模型

如圖1所示建立雙目立體顯示的模型，。立體攝像機(jī)的左、右攝像機(jī)分別為Cl、Cr。P點(diǎn)為目標(biāo)物體上的任意點(diǎn)，左右成像平面為 Left和Right。

圖1 雙目攝像機(jī)模型Fig.1 Binocular cameramodel

圖1(a)為未經(jīng)過校正的圖像，由于成像平面處在不同的空間平面上，所以產(chǎn)生旋轉(zhuǎn)、垂直或水平的校正誤差。

圖1(b)為經(jīng)校正后的圖像，此時校正后的左、右成像平面處在同一水平面上，誤差基本消除。

1.2 提取特征點(diǎn)

為進(jìn)行多視點(diǎn)立體圖像的校正，必須得到水平誤差、垂直誤差和旋轉(zhuǎn)誤差，為更準(zhǔn)確的獲取這些誤差的參數(shù)，筆者通過選擇適當(dāng)?shù)奶卣鼽c(diǎn)計算這些誤差。其特征點(diǎn)是根據(jù)經(jīng)驗人工選擇得到的，如圖2所示。

選擇越多的特征點(diǎn)則水平誤差、垂直誤差和旋轉(zhuǎn)誤差就會越小。筆者選擇11個特征點(diǎn)，這些特征點(diǎn)主要集中在場景的中間部分。通過提取這11個特征點(diǎn)坐標(biāo)可計算出水平誤差、垂直誤差和旋轉(zhuǎn)誤差的調(diào)整參數(shù)。

圖2 特征點(diǎn)選擇Fig.2 Feature point selection

1.3 多視點(diǎn)立體圖像

多視點(diǎn)立體圖像因涉及多個視點(diǎn)的信息，因此校正算法復(fù)雜，筆者算法的主要思路為從多個視點(diǎn)中選擇一個視點(diǎn)作為參考視點(diǎn)，其他視點(diǎn)與參考視點(diǎn)兩兩配對進(jìn)行校正，這樣將多視點(diǎn)立體校正轉(zhuǎn)換為多個雙目立體圖像校正，從而降低算法的復(fù)雜度。

圖3為由8視點(diǎn)攝像機(jī)陣列采集到的未校正圖像。從圖3中可明顯看出8個視點(diǎn)存在水平誤差、垂直誤差和旋轉(zhuǎn)誤差，這主要是因為攝像機(jī)內(nèi)參的不同以及攝像機(jī)陣列在擺放時位置的細(xì)微差。因此為了得到更好的立體顯示效果，需要對攝像機(jī)陣列采集到的多視點(diǎn)信息進(jìn)行立體圖像校正。

圖3 未矯正的8視點(diǎn)圖像Fig.3 Uncorrected viewpoint image

2 多視點(diǎn)立體圖像校正算法

2.1 旋轉(zhuǎn)和垂直誤差校正

對平行攝像機(jī)陣列而言立體圖像誤差主要存在于XY平面上，因此首先對多視點(diǎn)圖像進(jìn)行旋轉(zhuǎn)變化校正旋轉(zhuǎn)誤差。式(2)為旋轉(zhuǎn)矩陣，其中θ為XY平面上的旋轉(zhuǎn)角度，該旋轉(zhuǎn)角度是通過1.2節(jié)中的特征點(diǎn)計算而來，不同視點(diǎn)的旋轉(zhuǎn)參數(shù)不同。

在消除垂直誤差時，首先要選擇參考視點(diǎn)，一般選擇中間視點(diǎn)作為參考視點(diǎn)。設(shè)參考視點(diǎn)的光心為參考光心，其它視點(diǎn)的光心通過與參考光心比較來消除垂直誤差，使得校正后的所有視點(diǎn)的光心均處在同一直線上。式(3)為垂直矩陣，其中y為垂直誤差參數(shù)，它是由特征點(diǎn)計算而來。

最后將矩陣(2)和(3)帶入式(4)中，就可得到消除旋轉(zhuǎn)和垂直誤差后的立體圖像，其中A為校正前圖像，B為校正后圖像。

2.2 視差均衡

2.2.1 正視差、負(fù)視差和零視差

多視點(diǎn)立體顯示器能夠在同一個屏幕上同時顯示兩個或多個視點(diǎn)的信息。以雙目立體顯示為例，對于目標(biāo)物體P，雙目立體顯示器可以通過調(diào)節(jié)視差表現(xiàn)出不同的立體效果，如圖4所示。

圖4 雙目立體顯示器的立體效果原理Fig.4 Binocular stereo display three-dimensional effect p rincip le

圖4(a)為零視差，此時點(diǎn)P的視差為0，觀看時人可以看到點(diǎn)P處在屏幕上。圖4(b)為正視差，此時點(diǎn)P的視差為正值，觀看時點(diǎn)P在屏幕里面有凹陷感。圖4(c)為負(fù)視差，此時點(diǎn)P視差為負(fù)值，觀看時點(diǎn)P突出屏幕有突出感。圖4 (d)為發(fā)散視差，不能形成可看的立體效果，在調(diào)整視差時要盡量避免出現(xiàn)發(fā)散視差。

在進(jìn)行視差均衡時，必須考慮目標(biāo)物體的零視差、正視差和負(fù)視差，這樣才能按照需要對目標(biāo)物體的立體感進(jìn)行適當(dāng)調(diào)節(jié)。

2.2.2 視差均衡

在雙目立體顯示系統(tǒng)中，視差均衡的原理如圖4所示，只需要調(diào)整兩幅圖像的水平視差即可。但多視點(diǎn)視差均衡因為涉及多個視點(diǎn)而變得相當(dāng)復(fù)雜。不能簡單的調(diào)節(jié)各個視點(diǎn)的光心距離使得目標(biāo)物體突出或者凹陷入屏幕。筆者提出的算法是根據(jù)場景內(nèi)容來進(jìn)行視差調(diào)節(jié)的。

多視點(diǎn)場景可根據(jù)其內(nèi)容被劃分為3部分，即前景、目標(biāo)物體和背景。下面主要討論物體為零視差平面時的視差均衡，其他情況可以此類推。當(dāng)物體為零視差平面時，在觀看時會感到前景突出屏幕有很強(qiáng)的立體感，背景凹陷入屏幕。

在進(jìn)行視差均衡時必須首先使零視差平面上的物體重合，此時前景物體為負(fù)視差，背景物體為正視差，在立體顯示器中觀看時，可清晰看到目標(biāo)物體，前景物體突出屏幕，背景陷入屏幕，如圖5所示。從圖5中可看到前景為負(fù)視差，在立體顯示器上觀看時有凸出感，背景物體為正視差，在立體顯示器上觀看時有凹陷感。在進(jìn)行多視點(diǎn)視差均衡時通1常以第一個攝像機(jī)C1為參考攝像機(jī)，其他各個相機(jī)與C1兩兩配對進(jìn)行視差均衡。

圖5 物體為零時差時的視差均衡Fig.5 Object is zero parallax when the time difference balanced

矩陣(5)為視差均衡公式。x為當(dāng)前視點(diǎn)的視差偏移量，它是由特征點(diǎn)計算得到的。

3 實驗結(jié)果

該算法的實驗平臺為8視點(diǎn)立體采集顯示系統(tǒng)，該系統(tǒng)包括實時采集、實時圖像校正和8視點(diǎn)立體顯示。實驗平臺的參數(shù)在表1中給出。

表1 實驗平臺參數(shù)

在多視點(diǎn)立體顯示系統(tǒng)中，如果不經(jīng)過校正直接在立體顯示器上合成立體圖像其結(jié)果如圖6所示。觀看者在觀看時不能生成可舒適觀看的立體圖像，圖像質(zhì)量很差、重影嚴(yán)重。

圖6 未校正圖像直接合成立體圖像Fig.6 Uncorrected images direct synthesis of threedimensional images

在多視點(diǎn)立體圖像中根據(jù)經(jīng)驗選擇特征點(diǎn)，使用這些特征點(diǎn)計算出旋轉(zhuǎn)參數(shù)和垂直參數(shù)，再根據(jù)式(4)對圖像進(jìn)行校正，校正后的結(jié)果如圖7所示。此時圖像中已經(jīng)基本消除旋轉(zhuǎn)和垂直誤差。

圖7 校正后8視點(diǎn)圖像Fig.7 8 viewpoint image corrected

此時對處理后的圖像進(jìn)行視差均衡。根據(jù)場景的要求來調(diào)整場景的立體效果，假設(shè)把圖7中場景的零視差平面分別定義在背景、男學(xué)生所在平面和女學(xué)生所在平面，可產(chǎn)生同一場景的不同立體效果圖像。圖8為零視差平面在背景，此時從多視點(diǎn)立體顯示器上觀看時，背景前的所有物體均有強(qiáng)烈的突出感;圖9為零視差平面在男學(xué)生所在平面上，此時女學(xué)生具有強(qiáng)烈的突出感，背景陷入屏幕;圖10為零視差平面在女學(xué)生所在平面上，此時物體和背景均陷入屏幕。該算法在實際使用時，可根據(jù)場景的特點(diǎn)或者感興趣區(qū)域的需要來調(diào)節(jié)零視差平面的位置。

圖8 以背景為零視差平面合成后的立體圖像Fig.8 Three-dimensional image after the background zero parallax p lane of synthesis

圖9 以中景為零視差平面合成后的立體圖像Fig.9 The m iddle ground zero parallax plane synthesized stereo image

圖10 以前景為零視差平面合成后的立體圖像Fig.10 Three-dimensional image in the prospect of zero parallax p lane synthesized

4 結(jié)論

筆者提出一種視差可控的多視點(diǎn)立體圖像校正算法，該算法通過對各個視點(diǎn)進(jìn)行特征點(diǎn)提取的方式計算出垂直、水平和旋轉(zhuǎn)參數(shù)。利用這些參數(shù)消除多視點(diǎn)信息中的垂直、水平和旋轉(zhuǎn)誤差。該算法具有低復(fù)雜度的特點(diǎn)，適用于實時系統(tǒng)中，并且該算法可根據(jù)實際需要對場景的立體感進(jìn)行調(diào)節(jié)。

［1］Zhang Zhao－yang，An Ping，Zhang Zhi－jiang，et al.2D/ 3D video processing and stereo display technology［M］. Beijing:Science Press，2010:198－204.

［2］Andrea Fusiello，Emanuele Trucco，Alessandro Verri.A compact algorithm for rectification of stereo pairs［J］. Machine Vision and Applications，2000，12:16－22.

［3］Wang H－M，Chang C－W，Yang J－F.An effective calibration procedure for correction of parallax unmatched image pairs［J］.Institution of Engineering and Technology (IET)，2008，3:63－74.

［4］Yun－Suk Kang，Cheon Lee，Yo－Sung Ho.An efficient rectification algorithm formulti－view images in parallel camera array［C］//3DTV Conference:The True Vision－Capture，Transm ission and Display of 3D Video，2008:61－64.