蜂窩式立體元圖像陣列的生成

武 偉，王世剛，趙 巖，韋 健，鐘 誠(chéng)

(1.吉林大學(xué) 通信工程學(xué)院，長(zhǎng)春 130012；2.長(zhǎng)春工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院，長(zhǎng)春 130012;3.長(zhǎng)春工業(yè)大學(xué) 人文學(xué)院，長(zhǎng)春 130012)

0 引 言

組合成像技術(shù)是目前3D領(lǐng)域中研究的熱點(diǎn)，屬于真三維立體顯示技術(shù)，最早由Lippmann[1]于1908年提出，由于當(dāng)時(shí)制造工藝相對(duì)落后，此技術(shù)一直停滯不前[2-4]。近年來(lái)，隨著工業(yè)生產(chǎn)的發(fā)展以及3D影片的熱播，立體顯示技術(shù)又一次成為國(guó)內(nèi)外學(xué)者研究的重點(diǎn)。在眾多的3D顯示方法中，組合成像技術(shù)的應(yīng)用前景最廣，它可以為觀看者提供連續(xù)視差和全真色彩的圖像，而且不需要佩戴任何裝置，記錄和重現(xiàn)的三維場(chǎng)景都是以二維圖像的方式存儲(chǔ)，使得組合成像技術(shù)可以使用現(xiàn)有的圖像處理方法來(lái)傳輸和處理。

傳統(tǒng)組合成像系統(tǒng)中均使用圓形孔徑透鏡陣列，隨著微透鏡陣列制作工藝的發(fā)展，已出現(xiàn)六邊形孔徑透鏡陣列[5]。因此，探索六邊形孔徑透鏡陣列在組合成像系統(tǒng)中的應(yīng)用，具有重要的研究意義。首先要生成可用的視頻源即立體元圖像陣列。

立體元圖像的生成可以采用真實(shí)拍攝和計(jì)算機(jī)虛擬生成兩種方法[6]。真實(shí)拍攝有兩種，一種是將相機(jī)以陣列的形式排列來(lái)模擬微透鏡陣列的排列結(jié)構(gòu)[7-9]。該方法需對(duì)相機(jī)進(jìn)行標(biāo)定以保證所有相機(jī)的光軸都相互平行且在同一平面，隨著相機(jī)數(shù)量的增加，標(biāo)定的難度也加大。真實(shí)拍攝的另一種是透鏡陣列直接獲取立體元圖像陣列，這種方法簡(jiǎn)單、易實(shí)現(xiàn)，但存在空間反轉(zhuǎn)和串?dāng)_等問(wèn)題[10，11]。

本文采用計(jì)算機(jī)模擬組合成像系統(tǒng)的記錄過(guò)程，利用虛擬相機(jī)模擬透鏡陣列生成立體元圖像陣列，每個(gè)透鏡元相對(duì)獨(dú)立，可以有效避免串?dāng)_，且虛擬相機(jī)可以直接生成無(wú)反轉(zhuǎn)的圖像，因而避免了真實(shí)立體顯示時(shí)的空間反轉(zhuǎn)問(wèn)題。綜上，利用計(jì)算機(jī)虛擬生成蜂窩式立體元圖像陣列，可以推進(jìn)蜂窩式透鏡陣列在組合成像系統(tǒng)中應(yīng)用的研究，節(jié)約成本。

1 基本原理

理想的組合成像系統(tǒng)主要有記錄和顯示兩部分組成，如圖1所示。在記錄階段，微透鏡陣列從不同角度獲取物體的三維信息，并將信息以二維圖像的形式記錄在成像平面上。在顯示過(guò)程中，將成像平面放置在微透鏡陣列的焦平面上，根據(jù)光路可逆的原理就可以重建物體的三維信息[12]。

圖1 理想組合成像系統(tǒng)Fig.1 Ideal integral imaging system

計(jì)算機(jī)虛擬生成立體元圖像陣列的基本原理如圖2所示。通過(guò)計(jì)算得出虛擬3D物體對(duì)應(yīng)每個(gè)虛擬透鏡元中的視點(diǎn)圖像。在計(jì)算中，不考慮有限孔徑引起的衍射和離焦引起的模糊。因此，計(jì)算生成的視點(diǎn)圖像就是3D物體通過(guò)小孔在采集平面的投影。為了避免串?dāng)_，需將計(jì)算的視點(diǎn)圖像根據(jù)虛擬透鏡元的大小進(jìn)行裁剪。通常每個(gè)立體元圖像的位置和大小與透鏡元一致。

圖2 立體元圖像陣列的生成Fig.2 Elemental image generation

2 本文方法

2.1 建立虛擬相機(jī)陣列

蜂窩式透鏡陣列的每一個(gè)透鏡元均為六邊形，并以蜂窩狀結(jié)構(gòu)緊密排列。傳統(tǒng)立體元圖像陣列都是采用水平或垂直方向上直接投影的方式，這對(duì)于蜂窩式透鏡陣列是不可行的。因此要生成可以用于蜂窩式透鏡成像系統(tǒng)的立體元圖像陣列，首先要分析蜂窩式透鏡陣列的結(jié)構(gòu)。

圖3 蜂窩式透鏡陣列排列結(jié)構(gòu)Fig.3 Structure of hexagonal lenslet array

(1)

生成的蜂窩式虛擬相機(jī)矩陣如圖4所示。

圖4 蜂窩式虛擬相機(jī)陣列Fig.4 Hexagonal virtual camera array

虛擬相機(jī)的焦距、視角與顯示平臺(tái)中蜂窩式透鏡陣列的光學(xué)參數(shù)一致。虛擬相機(jī)的分辨率r為：

(2)

式中：M×N、H×W分別為顯示設(shè)備的分辨率及外形尺寸。

2.2 參數(shù)設(shè)置

根據(jù)顯示過(guò)程所需的立體元圖像陣列的數(shù)量、分辨率以及景深等相關(guān)參數(shù)，設(shè)置物距、虛擬相機(jī)的相機(jī)間隔、焦距、立體元圖像分辨率等參數(shù)。具體方法如圖5所示。

根據(jù)光線光學(xué)可以得到：

圖5 采集端與顯示端的關(guān)系Fig.5 Relation ship between acquisition and display

(3)

(4)

(5)

式中：L1、g1、P1、D為采集端的物距、相機(jī)焦距、相機(jī)陣列鏡頭間距、相鄰立體元圖像間視差；L2、g2、P2、d分別為顯示端的像距、透鏡到顯示平面的距離、透鏡陣列間距、相鄰立體元圖像間視差；β為放大系數(shù)。

將其帶入組合成像系統(tǒng)橫向分辨率RI、可觀測(cè)視角θ和景深ΔZ的關(guān)系式中，即可得到相機(jī)陣列記錄物距L1、相機(jī)間隔P1與三維再現(xiàn)像顯示特性的關(guān)系為：

(6)

(7)

L2=Nf2

(8)

式中:Rd是顯示平面的分辨率；f2是透鏡陣列的焦距?？梢杂缮鲜浇⒔M合成像系統(tǒng)顯示端與采集端的聯(lián)系，根據(jù)顯示端參數(shù)設(shè)置采集端立體元圖像陣列的生成。

2.3 建立投影模型

建立蜂窩式透鏡陣列的投影模型，如圖6所示。設(shè)相機(jī)矩陣為m×n，單個(gè)立體元圖像的分辨率為p×q，則投影后的蜂窩式立體元圖像陣列的分辨率R為：

(9)

虛擬相機(jī)中第(i,j)幅立體元圖像中的像素點(diǎn)One(x,y)與蜂窩式立體元圖像陣列中像素點(diǎn)E(X,Y)的投影關(guān)系為：

(10)

圖6 虛擬相機(jī)陣列與蜂窩式立體元圖像陣列的投影模型Fig.6 Pixel mapping between virtual camera arrayand hexagonal lenslet array

3 實(shí)驗(yàn)驗(yàn)證

虛擬3D物體由字母“W”、“U”組成，距離虛擬透鏡陣列的距離Z分別為60、40 mm，如圖7所示。組合成像真實(shí)立體顯示平臺(tái)如圖8所示。

圖7 虛擬場(chǎng)景Fig.7 Virtual scene

圖8 組合成像顯示平臺(tái)Fig.8 Integral imaging display plane

蜂窩式虛擬相機(jī)陣列生成的立體元圖像如圖9所示。

圖9 立體元圖像Fig.9 Elemental images

根據(jù)式(10)將所有立體元圖像投影生成蜂窩式立體元圖像陣列。

由于本文采用直接投影的方式生成蜂窩式立體元圖像陣列，所以從圖10的局部放大圖中可以看出，每個(gè)立體元圖像都是正立的，不存在反轉(zhuǎn)，且立體元圖像間也沒(méi)有串?dāng)_的現(xiàn)象。

圖10 蜂窩式立體元圖像陣列Fig.10 Hexagonal elemental image array

將蜂窩式立體元圖像陣列放置于組合成像真實(shí)立體顯示平臺(tái)，顯示效果如圖11所示。

圖11 真實(shí)立體顯示效果Fig.11 True stereo display

從真實(shí)立體顯示效果中可以清晰看到不同視角下的立體圖像，且各視角間的視差明顯。例如左右視點(diǎn)間字母U與字母W的間距不同。上下視點(diǎn)間字母U與字母W的相對(duì)高度不同。以上實(shí)驗(yàn)結(jié)果說(shuō)明，本文提出的基于蜂窩式透鏡陣列的立體元圖像陣列生成方法是正確、有效的。

4 結(jié)束語(yǔ)

本文提出了一種基于蜂窩式透鏡陣列立體元圖像陣列的生成方法。利用虛擬相機(jī)模擬組合成像系統(tǒng)的記錄過(guò)程，根據(jù)顯示端透鏡陣列和顯示器的參數(shù)設(shè)置虛擬相機(jī)的采集參數(shù)，采用直接投影的方式生成立體元圖像陣列。實(shí)驗(yàn)結(jié)果表明，該方法能夠生成具有連續(xù)水平和垂直視差的蜂窩式立體元圖像陣列，能真實(shí)再現(xiàn)3D物體的空間信息。本文方法既克服了透鏡陣列直接采集存在空間反轉(zhuǎn)和串?dāng)_的問(wèn)題，又為基于蜂窩式透鏡陣列的研究提供了豐富的圖像源。

[1] Lippmann M G. Epreuves reversible donnant la sensatioin du relief [J]. Journal of Physiology, 1908,1(7):821-825.

[2] 王瓊?cè)A. 3D顯示技術(shù)與器件[M]. 北京：科學(xué)出版社，2011.

[3] Ives H E. Optical properties of alippmann lenticulated sheet [J]. Journal of the Optical Society of America, 1931, 21(3):171-176.

[4] Okano F, Hoshino H, Arai J, et al. Real-time pickup method for a three-dimensional image based on integral photography [J]. Applied Optics, 1997, 36(7): 1598-1603.

[5] 劉德森. 微小光學(xué)與微透鏡陣列[M]. 北京：科學(xué)出版社，2013.

[6] Hong J, Kim Y, Choi H J, et al. Three-dimensional display technologies of recent interest: principles, status, and issues [J]. Applied Optics, 2011, 50(34): 87-115.

[7] Javidi B, Sola-Pikabea J, Martinez-Corral M. Breakthroughs in photonics 2014: recent advances in 3-D integral imaging sensing and display [J]. IEEE Photonics Journal, 2015, 7(3): 0700907.

[8] Park S, Yeom J, Jeong Y, et al. Recent issues on integral imaging and its applications [J]. Journal of Information Display, 2014, 15(1): 37-46.

[9] Luo C G, Wang Q H, Deng H, et al. Extended depth of field in integral imaging pick up process based on amplitude modulated sensor arrays [J]. Optics Engineering, 2015, 54(7): 073108-14.

[10] Kishk S, Javidi B. Improved resolution 3D object sensing and recognition using time multiplexed computational integral imaging [J]. Optics Express, 2003, 11(26): 3528-3541.

[11] Hong J, Park J H, Jung S, et al. Depth-enhanced integral imaging by use of optical path control [J]. Optics Letters, 2004, 29(15): 1790-1792.

[12] Arai J, Okano F, Hoshino H, et al. Gradient-index lens-array method based on real-time integral photography for three-dimensional images [J]. Applied Optics, 1998, 37(11): 2034-2045.