基于多圖像融合的裸眼3D視頻技術(shù)研究

安玲玲 于雷

摘? 要： 裸眼3D視頻的制作是裸眼3D顯示和播放中的最為重要的環(huán)節(jié)，現(xiàn)有柱狀透鏡式的裸眼3D視頻在制作過(guò)程中，必須在同一時(shí)刻對(duì)多個(gè)視點(diǎn)圖像進(jìn)行拍攝，成本較高，并且制作視頻流程較復(fù)雜。以人眼多視點(diǎn)觀察的相關(guān)理論為研究基礎(chǔ)，提出一種圖像匹配算法，由單個(gè)視點(diǎn)圖像生成多視點(diǎn)圖像，并對(duì)多視點(diǎn)圖像進(jìn)行融合處理，實(shí)現(xiàn)將雙目視頻轉(zhuǎn)換為可在柱狀透鏡裸眼3D顯示器上播放的3D視頻，從而降低3D視頻制作的復(fù)雜度和成本。測(cè)試結(jié)果表明，該算法的視頻轉(zhuǎn)換效果符合預(yù)期指標(biāo)，具有較好的推廣價(jià)值。

關(guān)鍵詞： 裸眼3D; 雙目視頻; 多視點(diǎn)圖像融合; 圖像匹配

中圖分類號(hào)：TP311? ? ? ? ? 文獻(xiàn)標(biāo)志碼：A? ? ?文章編號(hào)：1006-8228（2018）12-04-04

Abstracts： The production of naked eye 3D video is the most important part of the naked eye 3D display and play. The existing columnar lens type naked eye 3D video must be photographed at the same time， and the cost is high and the video process is more complex. Based on the related theory of eye multiple view observation， an image matching algorithm is proposed， which generates multiple view images from a single point of view image， and converts multiple view image into a 3D video that can be played on a columnar naked eye 3D display， and could reduce the complexity and cost of 3D video production. The test results show that the video conversion effect of the algorithm meets the expected target and has good popularization value.

Key words： naked eye 3D; binocular video; multiple view image fusion; image matching

0 引言

裸眼3D顯示技術(shù)無(wú)需佩戴如3D眼鏡等輔助工具即可觀察到3D圖像，其中應(yīng)用最為廣泛的是柱狀透鏡式技術(shù)。目前，采用基于雙目攝像頭來(lái)實(shí)現(xiàn)3D視頻拍攝與制作的方式逐漸成為主流。因此，如何將雙目視頻高效地、低成本地轉(zhuǎn)為裸眼3D視頻就成為研究焦點(diǎn)所在[1]。本文提出一種基于圖像匹配算法（Sum of absolute differences，SAD），由單個(gè)視點(diǎn)圖像生成多視點(diǎn)圖像，并對(duì)多視點(diǎn)圖像進(jìn)行融合處理，實(shí)現(xiàn)雙目視頻到可播放的3D視頻的轉(zhuǎn)換，能夠有效降低3D視頻制作的復(fù)雜度和成本[2]。

1 柱狀透鏡裸眼3D顯示技術(shù)原理

柱狀透鏡技術(shù)是當(dāng)前裸眼3D顯示的主流，其原理是將微柱透鏡加在普通LCD液晶屏上，并將LCD屏像素劃分成R、G、B三種子像素[3]。在圖像顯示的過(guò)程中，受柱狀透鏡的影響，各個(gè)RBG子像素都將產(chǎn)生不同角度的折射。由于人的左右眼之間存在一定的位置差，因此各個(gè)像素折射到人眼中的圖像就會(huì)呈現(xiàn)出立體感。但與此同時(shí)，柱狀透鏡也會(huì)放大各子像素的間距，從而對(duì)立體顯示的效果產(chǎn)生不良影響[4]。

2 基于SAD算法的多視點(diǎn)圖像生成

通過(guò)擴(kuò)大顯示器可視點(diǎn)的范圍，可以改善柱狀透鏡3D設(shè)備的觀看角度和觀看效果，前提是視差圖也要隨之大幅增多[5]?；赟AD算法來(lái)生成多視點(diǎn)圖像，可以實(shí)現(xiàn)將雙目圖像的左右視差圖轉(zhuǎn)成多個(gè)視差圖，能夠有效降低視差圖的拍攝成本。

2.1 SAD算法

左右眼圖像是有一定微小差別的，視差圖在完成轉(zhuǎn)換之前，必須先采用圖像識(shí)別算法將左右眼圖像中同一景物的具體位置加以定位，并以此計(jì)算視差數(shù)據(jù)，然后結(jié)合實(shí)際需求將視差進(jìn)行調(diào)節(jié)，最終轉(zhuǎn)換為多視點(diǎn)圖像。SAD算法是應(yīng)用較為廣泛的區(qū)域匹配算法[6]，該算法的原理如下：找出基準(zhǔn)圖像的待匹配點(diǎn)，并以此作為中心像素來(lái)構(gòu)建矩形窗口，窗口尺寸為W×W，采用窗口內(nèi)的像素灰度值表示各像素。通過(guò)在配準(zhǔn)圖像內(nèi)按照視差范圍沿極線方向進(jìn)行搜索，得到與基準(zhǔn)點(diǎn)相同尺寸的矩形窗口，并按照次序與匹配點(diǎn)相比較，直到找出最大的相似點(diǎn)即為最佳匹配，兩點(diǎn)坐標(biāo)之差即為所求視差。

通過(guò)SAD算法可以得出圖像內(nèi)某個(gè)窗口的具體位置，如果想要實(shí)現(xiàn)多點(diǎn)轉(zhuǎn)換，則必須將全圖像像素視差加以提取，利用圖像掃描獲取和記錄視差數(shù)據(jù)，最終獲得雙目圖像的視差分布矩陣。具體流程如圖1所示。

2.2 多視點(diǎn)圖像生成處理

目前主流的裸眼3D顯示器至少是八個(gè)視點(diǎn)，但是雙目圖像僅為一個(gè)視點(diǎn)，因此需將雙目圖像轉(zhuǎn)為多視點(diǎn)圖像。觀察者所處的位置不同，在屏幕中觀察到的圖像視點(diǎn)也有所不同，從而導(dǎo)致人眼所見(jiàn)的物體景深存在差別[7]。要生成多視點(diǎn)圖像，就必須采用相應(yīng)算法來(lái)得到圖像景深信息，再推導(dǎo)出場(chǎng)景內(nèi)各物體前后分布信息，然后將視野內(nèi)位置較遠(yuǎn)的物體進(jìn)行平移，最終達(dá)到變換物體視角的效果。

在雙目圖像中，兩眼視圖間存在一定的視差，空間三維場(chǎng)景的具體分布已蘊(yùn)含其中，通過(guò)對(duì)雙目圖像的視差矩陣進(jìn)行分析提取，理論上可得到整個(gè)空間物體的分布情況和距離標(biāo)準(zhǔn)平面的深度，由此計(jì)算出在屏幕前不同視點(diǎn)之間的物體遮擋變化差值，即可對(duì)各個(gè)視點(diǎn)與標(biāo)準(zhǔn)視差的具體關(guān)系加以分析，通過(guò)一定的映射公式推導(dǎo)出各視點(diǎn)之間的位移偏移大小，最后再對(duì)圖像進(jìn)行調(diào)節(jié)，從而完成多視點(diǎn)合成。

景深信息提取具體算法流程如下。

⑴ 對(duì)輸入的視差按次序排列，相同景深的物體視差相差無(wú)幾，變化較小;但不同層次的物體視差就會(huì)有很大變化。

⑵ 通過(guò)設(shè)定變化率閾值來(lái)查尋具有較大景深變化率的位置并截?cái)鄶?shù)據(jù)。

⑶ 將截?cái)嗟臄?shù)據(jù)加以保存并取得各視差的位置坐標(biāo)。

⑷ 對(duì)數(shù)據(jù)處理過(guò)程完畢與否加以判斷：若尚未處理完成，則返回⑵、⑶步驟;，若已經(jīng)處理完畢，則輸出數(shù)據(jù)。

為了獲得更為逼真的視角，在圖像中的深度信息提取完成之后需要對(duì)圖像內(nèi)的物體加以遮擋調(diào)節(jié)。最終的多視點(diǎn)合成圖像流程如圖2所示。

3 多視點(diǎn)圖像融合處理

多視點(diǎn)圖像產(chǎn)生后，必須重排像素才可，在柱狀透鏡式裸眼3D顯示設(shè)備上播放[8]。通過(guò)提高可觀看視點(diǎn)數(shù)，就能夠擴(kuò)大3D顯示設(shè)備可觀看的角度范圍，所以需將各視點(diǎn)圖像融合并重排像素。

多視點(diǎn)圖像融合算法的原理是，基于光柵的裸眼顯示3D視頻技術(shù)，通過(guò)該算法來(lái)抽取已生成的多視點(diǎn)雙目圖像子像素，再依據(jù)裸眼3D顯示器的光柵像素表排列，最終產(chǎn)生適于光柵顯示的裸眼3D立體圖像。

3.1 視點(diǎn)圖像的融合原理

為使觀察者處于不同位置觀看3D顯示器時(shí)均可獲得上不同的視點(diǎn)圖像，根據(jù)柱狀透鏡的分光特性需要對(duì)多視點(diǎn)圖像進(jìn)行融合拼接，最后形成在柱狀透鏡寬度下視點(diǎn)的全覆蓋。柱狀透境所包含的八個(gè)視點(diǎn)圖像各自含有兩個(gè)左右視差圖像，RGB三個(gè)像素點(diǎn)包含于各個(gè)視差圖像之中[9]，多視點(diǎn)圖像融合實(shí)際上就是將各個(gè)視點(diǎn)像素次序重排的過(guò)程。視點(diǎn)數(shù)量直接影響裸眼3D顯示器的分辨率，對(duì)八視點(diǎn)裸眼3D圖像來(lái)說(shuō)，其顯示分辨率將減小十六倍。此外，柱狀透鏡傾斜還將造成圖像錯(cuò)亂，使得像素分布也必須隨透鏡傾斜的角度來(lái)排列[10]。

3.2 多視點(diǎn)像素排列算法

通過(guò)對(duì)課題研究中具體使用的顯示器參數(shù)進(jìn)行建模推導(dǎo)，得出該算法的像素映射如圖3所示。

圖3中，X是坐標(biāo)為（x，y）的子像素與透鏡邊緣的水平距離位移，PX是透鏡位于像素行方向的寬度分量大小。假設(shè)顯示器的視點(diǎn)數(shù)用N'表示，視點(diǎn)和子像素（x，y）之間的RGB分量用N表示，顯示器的RGB像素寬度為Ph，則有：

綜上所述，RGB子像素（x，y）的橫縱坐標(biāo)均為已知，n，α，N，參數(shù)的大小取決于所用立體顯示器。此RGB子像素所顯示圖像是由自視點(diǎn)N的RGB分量而來(lái)，再通過(guò)計(jì)算裸眼3D顯示裝置的相關(guān)參數(shù)，就能夠得出子像素排列分布的具體情況。

4 八視點(diǎn)視頻轉(zhuǎn)裸眼3D視頻流程

八視點(diǎn)視頻的左右圖像所包含的十六個(gè)視頻數(shù)據(jù)均產(chǎn)生于相同的視點(diǎn)視頻，因此具有相等數(shù)量的圖像幀。要實(shí)現(xiàn)八視點(diǎn)視頻到裸眼3D視頻的轉(zhuǎn)換，必須提前依照視點(diǎn)自左向右的次序?qū)⒁曨l數(shù)據(jù)進(jìn)行排序，再按順序?qū)?shù)據(jù)進(jìn)行讀取并調(diào)節(jié)視頻分辨率以滿足顯示器的需求，然后構(gòu)建十六個(gè)與顯示器具有相同分辨率的數(shù)據(jù)塊以保存全部圖像數(shù)據(jù)，最后將像素重排即可得到裸眼3D視頻。

課題研究中自行制作的視頻最終播放在裸眼3D顯示器上的顯示效果如圖4所示。在該角度下觀看圖像融合轉(zhuǎn)換后的視頻，能夠較為明顯的觀察到雙目視差的立體圖像。

5 結(jié)束語(yǔ)

本文針對(duì)當(dāng)前柱狀透鏡式裸眼3D視頻制作的弊端，提出一種圖像匹配算法，由單個(gè)視點(diǎn)圖像生成多視點(diǎn)圖像，并對(duì)多視點(diǎn)圖像進(jìn)行融合處理。測(cè)試結(jié)果表明，該算法的視頻轉(zhuǎn)換效果符合預(yù)期，具有較好的推廣價(jià)值。下一步將針對(duì)以下三點(diǎn)開(kāi)展研究：①當(dāng)視角較大時(shí)，會(huì)出現(xiàn)較為明顯的錯(cuò)位平移，可以采取相應(yīng)補(bǔ)償措施，減小甚至消除位移偏差;②SAD算進(jìn)行視差搜索的過(guò)程中可以針對(duì)圖像尺寸靈活設(shè)定窗口，并優(yōu)化掃描步長(zhǎng)，從而提升圖像匹配的精確程度;③可以優(yōu)化圖像視差，增強(qiáng)控制精確度，從而提高3D視頻顯示的立體效果。

參考文獻(xiàn)（References）：

[1] 孫博.裸眼3D顯示技術(shù)的現(xiàn)狀與發(fā)展[J].科技傳播，2017.9（21）：58-59

[2] 潘繼水.基于多視點(diǎn)轉(zhuǎn)換的裸眼3D技術(shù)研究[J].電子測(cè)試，2017.14：134-135

[3] 陳東.高清裸眼3D電視圖像信號(hào)處理技術(shù)研究[D].南昌大學(xué)，2017.

[4] 陳思羽.裸眼3D立體視覺(jué)設(shè)計(jì)及應(yīng)用研究[D].北京工業(yè)大學(xué)，2016.

[5] 蔣健.多視點(diǎn)裸眼3D視頻實(shí)時(shí)采集處理系統(tǒng)的軟件優(yōu)化[D].東南大學(xué)，2016.

[6] 張昊煜.多模式裸眼3D合成顯示SOC系統(tǒng)設(shè)計(jì)[D].浙江大學(xué)，2017.

[7] 徐遙令.一種裸眼3D電視系統(tǒng)的設(shè)計(jì)方案[J].電子產(chǎn)品世界，2016.23（11）：36-38

[8] 劉紅.基于障壁和漸變孔徑狹縫光柵的裸眼3D顯示系統(tǒng)設(shè)計(jì)[J].電子世界，2018.11：56-57

[9] 李柏霖.夾縫光柵裸眼3D立體顯示器的串?dāng)_研究[J].電子設(shè)計(jì)工程，2018.26（5）：44-47

[10] 趙悟翔.弱化莫爾條紋的LED裸眼3D顯示[J].電子技術(shù)與軟件工程，2017.23：83-84