基于LED屏的立體圖像生成方法

張春彥，王世剛，賈叢新，孫愛(ài)朦，陳賀新

(吉林大學(xué)通信工程學(xué)院，長(zhǎng)春130022)

立體影像顯示技術(shù)日新月異并且種類(lèi)眾多，目前的研究熱點(diǎn)是自由立體顯示技術(shù)。這種立體顯示技術(shù)中觀眾無(wú)需佩戴輔助工具(如偏光眼鏡、頭盔顯示器等)，裸眼就可以自由、清晰地觀看到立體畫(huà)面，享受到身臨其境的逼真感覺(jué)和無(wú)與倫比的立體視覺(jué)［1］。

目前基于液晶顯示器(LCD)屏的自由立體顯示技術(shù)已經(jīng)比較成熟，在市場(chǎng)上開(kāi)始商用化［2－6］，但基于發(fā)光二極管(LED)顯示屏的立體顯示技術(shù)還沒(méi)有研發(fā)出成熟產(chǎn)品［7，8］?；诖?，本文解決研發(fā)LED大屏幕自由立體顯示系統(tǒng)中的圖像文件合成問(wèn)題。

1 計(jì)算像素點(diǎn)映射表

LED屏自由立體顯示系統(tǒng)是基于光柵(狹縫光柵和柱鏡光柵)的多視點(diǎn)自由立體顯示技術(shù)，將光柵板附在LED顯示屏的外表面，利用光柵的分光作用使觀看者裸眼看到立體影像。它要求原始的視點(diǎn)圖像來(lái)自成像物體的不同視點(diǎn)，對(duì)視點(diǎn)圖像的像素進(jìn)行重新排列合成立體圖像，然后在自由立體顯示設(shè)備上播放才會(huì)產(chǎn)生立體效果。不恰當(dāng)?shù)牧Ⅲw圖像合成方法可能造成視點(diǎn)的視差信息得不到完全充分的利用，從而產(chǎn)生圖像畸形，甚至產(chǎn)生不了立體效果，因此需要計(jì)算得到LED屏自由立體顯示技術(shù)中多視點(diǎn)像素映射關(guān)系［9］。

如圖1所示，光柵板傾斜角度為α，光柵單元柵距p，第一個(gè)光柵邊緣的水平位移是b，總視點(diǎn)數(shù)N，像素點(diǎn)間距為ph，計(jì)算得到顯示屏上的任意像素點(diǎn)距離所在光柵單元的光柵左邊緣的水平位移。

當(dāng)光柵板為逆時(shí)針?lè)较騼A斜時(shí)取“－”，順時(shí)針?lè)较騼A斜時(shí)取“+”。式中:(x，y)為顯示屏上的像素點(diǎn)中心點(diǎn)坐標(biāo)值;Δ為像素點(diǎn)(x，y)距離所在光柵單元的光柵左邊緣的水平位移;mod表示求余運(yùn)算。將Δ代入公式

式中:n表示與顯示屏上的像素點(diǎn)(x，y)相對(duì)應(yīng)的視點(diǎn)n的像素點(diǎn)，［］表示向上取整運(yùn)算，由此計(jì)算得到N個(gè)視點(diǎn)圖像合成立體圖像的像素點(diǎn)映射表。

圖1 LED屏自由立體顯示器參數(shù)Fig.1 Parameters of LED autostereoscopic display

2 各視點(diǎn)圖像處理

計(jì)算得到由N個(gè)視點(diǎn)圖像合成立體圖像的像素點(diǎn)映射表后，需要根據(jù)像素點(diǎn)映射表對(duì)視點(diǎn)圖像分辨率的要求進(jìn)行圖像處理。自由立體顯示中視點(diǎn)數(shù)N一般取4、6、8或更大值，由于LED顯示屏的分辨率固定，這樣分配到視點(diǎn)的水平分辨率隨N值的增大而急劇減小，而垂直分辨率變化小，若采用傳統(tǒng)的插值圖像縮放技術(shù)對(duì)視點(diǎn)圖像進(jìn)行處理后，圖像的垂直分辨率和水平分辨率出現(xiàn)比例失調(diào)現(xiàn)象，嚴(yán)重影響立體效果，故本文采用縫隙刪除技術(shù)［10］降低視點(diǎn)圖像的水平分辨率。

縫隙刪除技術(shù)是通過(guò)插入或移除圖像中不同區(qū)域的像素而改變圖像大小的一種技術(shù)，豎直seam是指在圖片上從上到下最佳的8個(gè)像素連接區(qū)域，每一行必須包含且只包含一個(gè)像素點(diǎn)。假設(shè)I是一個(gè)n×m的圖片，定義豎直seam為

就可插入或移除能量低的像素以保護(hù)圖像結(jié)構(gòu)。

調(diào)整視點(diǎn)圖像的水平分辨率，需要根據(jù)圖像內(nèi)容插入或移除那些不引人注意的像素，保留重要像素。單幅圖像中每個(gè)像素的重要性是由相鄰像素決定的，故可采用梯度值衡量每個(gè)像素的重要性即能量值。而對(duì)于立體圖像對(duì)，文獻(xiàn)［11］加入了深度值，以每個(gè)像素梯度值與深度值的權(quán)值和作為其能量值。然而，目前深度圖生成算法技術(shù)還未成熟，只適用于簡(jiǎn)單的、人工合成的立體圖像對(duì)，對(duì)于現(xiàn)實(shí)世界中的復(fù)雜場(chǎng)景，深度圖生成效果不好。本文考慮到不同視點(diǎn)的圖像在水平方向上有視差偏移，而視差偏移大的區(qū)域正是引起觀看者注意的區(qū)域，故充分利用視點(diǎn)的視差信息，聯(lián)合使用梯度值和視差信息衡量視點(diǎn)圖像的像素能量值:

式中:I'是與I相鄰的視點(diǎn)圖像，α、β是權(quán)值(實(shí)驗(yàn)中取α=0.6，β=0.4)。

3 實(shí)驗(yàn)結(jié)果與比較

如圖2所示，采用本文的seam carving算法，原圖像水平分辨率降低200，與文獻(xiàn)［10］方法相比，圖像中間的舞蹈者最靠近觀看者，水平視差值最大，而文獻(xiàn)［10］方法導(dǎo)致舞蹈者左手發(fā)生扭曲，嚴(yán)重影響立體效果。

圖2 水平分辨率降低200的實(shí)驗(yàn)結(jié)果Fig.2 Experim ental results of 200 columns being carved

如圖3所示原圖像水平分辨率增加200，與文獻(xiàn)［10］相比圖像未發(fā)生畸變，本文方法很好的保護(hù)了其圖像結(jié)構(gòu)和水平視差。

本文針對(duì)3 mm點(diǎn)距的LED屏幕進(jìn)行了實(shí)驗(yàn)，其LED屏分辨率為256×256，光柵板順時(shí)針45度傾斜放置，計(jì)算得到圖4四個(gè)視點(diǎn)合成立體圖像的像素點(diǎn)映射表，圖5是一幅合成的四視點(diǎn)圖像，圖6是分別在各視點(diǎn)立體視區(qū)內(nèi)用相機(jī)拍攝的顯示效果。

圖3 水平分辨率增加200的實(shí)驗(yàn)結(jié)果Fig.3 Experimental results of 200 columns being added

圖4 四視點(diǎn)像素點(diǎn)映射表Fig.4 A pixelmapping of 4 viewpoints

圖5 四視點(diǎn)立體圖像Fig.5 A 3D image of 4 viewpoints

圖6 四視點(diǎn)分離圖Fig.6 The picture from 4 views

4 結(jié)論

本文提出了一種基于LED屏的立體圖像生成方法，這種方法快速、高效，能合成任意視點(diǎn)數(shù)的立體圖像，滿足光柵式LED屏多視點(diǎn)自由立體顯示系統(tǒng)的要求。實(shí)驗(yàn)結(jié)果顯示，本文方法取得較好的立體視覺(jué)效果，有效地保護(hù)了圖像結(jié)構(gòu)和水平視差信息，降低了各視點(diǎn)的水平分辨率，根據(jù)LED屏自由立體顯示器各參數(shù)的要求快速合成了立體圖像文件。然而，本文方法仍存在某些不足，例如在實(shí)驗(yàn)過(guò)程中α、β權(quán)值的選擇，是在實(shí)驗(yàn)中不斷嘗試、統(tǒng)計(jì)而確定的，未作深入的研究，在以后的研究工作中還需進(jìn)一步完善。

［1］Dodgson N A.Autostereoscopic 3D displays［J］.Com puter，2005，38(8):31－36.

［2］Hill L，Jacobs A.3－D liquid crystal displays and their applications［J］.Proceeding of the IEEE，2006，94(3): 575－590.

［3］Yang Lei，Zhou Yuan.A generalmultiview LCD stereo image composition method based on optical plate technology［C］∥3DTV Conference，Potsdam，2009: 1－4.

［4］Lee Yun－gu，Ra Jong Beom.Image distortion correction for lenticularmisalignment in three－dimensional lenticular displays［J］.Optical Engineering SPIE，2006，45 (1):17007－17015.

［5］Konrad J，Agniel P.Subsampling models and anti－alias filters for3－D automultiscopic displays［J］.IEEE Transactions on Image Processing，2006，15(1):128－140.

［6］Ralph Braspenning，Eric Brouwer，Gerard De Haan.Visual quality assessment of lenticular based 3D－displays［C］∥European Signal Processing Conference，Antalya，2005:1594－1597.

［7］ Liou Jian－chiun，Lee Kuan，Huang Juy－Fong.Low crosstalk multi－view tracking 3－D display of synchrosignal LED scanning backlight system［J］.Journal of Display Technology，2011，7(8):411－419.

［8］Hirotsugu Yamamoto，Tomoya Kimura，Shinya Matsumoto，et al.Viewing－zone control of light－emitting diode panel for stereoscopic display and multiple viewing distances［J］.Journal of Display Technology，2010，6(9): 359－366.

［9］Van Berkel C.Image preparation for 3D－LCD［C］∥Proceeding of SPIE，San Jose，CA，USA，1999:84－91.

［10］Avidan S，Shamir A.Seam carving for content－aware image resizing［C］∥ACM SIGGRAPH 2007，San Diego，2007:1－9.

［11］Vikas Ramachandra，Matthias Zwicker，Truong Q Nguyen.Combined image plus depth seam carving formultiview 3D images［C］∥ICASSP2009，Taipei，2009:737－740.