基于平面圖像的集成成像方法研究

汪文琪

（武漢大學(xué) 印刷與包裝系，湖北 武漢 430072）

基于平面圖像的集成成像方法研究

汪文琪

（武漢大學(xué) 印刷與包裝系，湖北 武漢 430072）

集成成像技術(shù)是一種能夠較為真實(shí)地再現(xiàn)三維場景的立體顯示技術(shù)，研究發(fā)現(xiàn)平面圖像在經(jīng)過計(jì)算機(jī)處理后能夠得到其視差圖像。本文基于集成成像技術(shù)的原理提出一種適用于各類層次分明平面圖像的計(jì)算機(jī)生成集成成像方法，該方法通過對平面圖像進(jìn)行分層和像素平移來獲取視差圖像，從而得到子圖像陣列，并使用連續(xù)抽樣法和間隔抽樣法將子圖像陣列轉(zhuǎn)換為單元圖像陣列。實(shí)驗(yàn)證明，在對視差圖像形成中位移量等參數(shù)設(shè)定合理的情況下，本文提出的方法可取得較好的立體顯示效果。

集成成像；平面圖像；圖像分層；像素平移

近年來，基于計(jì)算機(jī)的集成成像技術(shù)已成為當(dāng)今集成成像技術(shù)的主流發(fā)展方向?；谄矫鎴D像的集成成像技術(shù)主要依托于人的雙眼視差，即大腦分析左右眼看到的不同景物從而得到深度信息。2002年侯春萍[1]針對含有心理視覺暗示的平面圖提出一種通過引入隨機(jī)視差異的方法將平面圖像立體化。2009年張超等人[2]利用MATLAB建立曲面模型為平面圖像的規(guī)則區(qū)域賦予立體信息，并在多視點(diǎn)自由立體顯示器上顯示，為已知形狀的規(guī)則圖形的立體圖的視差圖獲取提供了新思路。近年來，研究表明[3]單幅圖像在經(jīng)過計(jì)算機(jī)處理后能夠生成光柵立體圖，隨后，有學(xué)者[4]在連續(xù)抽條的基礎(chǔ)上提出間隔抽條法。根據(jù)集成圖像與單方向光柵立體圖像成像原理的相似性可知，單幅圖通過計(jì)算機(jī)也能生成子圖像陣列，通過抽樣和合成制作成單元圖像陣列，再利用微透鏡光柵或正交光柵等光學(xué)器件重建人眼可見的裸視自由立體圖像。勞國華和王瓊?cè)A等人[5, 6]在各自的專利中都使用了連續(xù)抽樣法；謝俊國[7]也采用連續(xù)抽樣法生成單元圖像陣列。彭愛華[8]在柱透鏡單方向立體圖間隔抽條的基礎(chǔ)上，使用間隔抽樣的方式制作集成圖像單元圖像陣列。關(guān)于此方法的立體重現(xiàn)方式，勞國華[5]在2003年提出使用兩張柱透鏡光柵90°疊加觀察立體圖的方法[3]；2008年，謝俊國等人[7]提出一種用狹縫光柵和柱鏡光柵膜復(fù)合的顯示屏結(jié)構(gòu)方案，綜合了兩者各自的優(yōu)勢[7]。

本文基于集成成像技術(shù)的原理提出一種適用于各類層次分明平面圖像的計(jì)算機(jī)生成集成成像方法，該方法通過對平面圖像進(jìn)行分層和像素平移來獲取視差圖像，從而得到子圖像陣列，并使用連續(xù)抽樣法和間隔抽樣法將子圖像陣列轉(zhuǎn)換為單元圖像陣列。

1　集成成像方法及原理

集成成像分為記錄和重現(xiàn)兩個階段，根據(jù)記錄和重現(xiàn)立體三維場景的方式的不同，集成成像技術(shù)分為以下四類：全光學(xué)集成成像、計(jì)算集成成像、計(jì)算機(jī)生成集成成像和全數(shù)字集成成像。本文將采用計(jì)算機(jī)生成集成成像技術(shù)，使用計(jì)算機(jī)獲得子圖像陣列，并生成單元圖像陣列，再通過正交光柵直觀再現(xiàn)立體場景。

集成成像技術(shù)是一門基于立體視覺原理和立體顯示原理的技術(shù)，首先基于雙眼視差的原理獲取深度信息，再通過立體顯示原理再現(xiàn)深度信息。其中，人工立體視覺是一種基于雙眼視差的人工立體技術(shù)，通過不同通道將左、右視差圖分別傳輸給左、右兩眼，通過大腦整合視差圖像并在大腦中形成深度信息，使得人眼同時注視兩幅圖時會出現(xiàn)立體感。在人工立體視覺中，決定像點(diǎn)景深的因素有位移方向和位移量。關(guān)于位移量的公式有很多，本文將選取普拉斯經(jīng)驗(yàn)值公式和侯春萍生理限制公式對位移量的設(shè)定進(jìn)行指導(dǎo)[9]。

1.1 拉斯經(jīng)驗(yàn)值限制

為了保證立體效果且滿足顯示效果和視覺舒適度，普拉斯公司提出根據(jù)經(jīng)驗(yàn)視差圖像的最佳位移量公式。此公式指出，視差圖像的位移量與光柵材料的厚度相關(guān)。設(shè)選定的光柵厚度為t(mm)，視差圖中前景的總位移Δx1(mm)，后景的總位移為Δx2(mm)，則t、Δx1和Δx2滿足如普拉斯經(jīng)驗(yàn)公式(1)和(2)所示的關(guān)系：

通過Δx1、Δx2的結(jié)果，可進(jìn)一步求出前景和后景每兩幅視差圖的位移量Δn1與Δn2：

公式中，m為視差圖像的幅數(shù)；Δn1和Δn2分別為前景和后景為每兩幅視差圖之間的位移量，單位為像素，規(guī)定前景位移量統(tǒng)一取負(fù)值；p為圖像分辨率。

1.2 侯春萍生理限制

侯春萍等人結(jié)合人眼生理限制和理論限制，推導(dǎo)出了人眼舒適范圍內(nèi)可容忍的最大視差圖像位移量公式（5）:

其中D為人眼瞳孔直徑，S為觀視距離，Ee為瞳間距，η為視銳度，取，Pσ為立體圖像的像素間隔，此處m為單方向視差圖像幅數(shù)，l為立體顯示光柵板的光柵線數(shù)。

2　基于平面圖像的集成成像方法

本文基于集成成像技術(shù)的原理提出一種適用于各類層次分明平面圖像的計(jì)算機(jī)生成集成成像方法，該方法通過對平面圖像進(jìn)行分層和像素平移來獲取視差圖像，從而得到子圖像陣列，并使用連續(xù)抽樣法和間隔抽樣法將子圖像陣列轉(zhuǎn)換為單元圖像陣列。計(jì)算機(jī)生成集成成像的流程如圖1所示。

首先將平面圖像中的景物根據(jù)人眼視覺習(xí)慣分為前、中、后景圖層，根據(jù)景深的不同進(jìn)行位移量的設(shè)定，在水平方向復(fù)制M幅，在水平序列圖的基礎(chǔ)上將各圖層在向垂直方向復(fù)制M幅，分別合并所有景物的相應(yīng)視差圖圖層可獲得子圖像M×M幅。再使用軟件將子圖像陣列進(jìn)行抽樣并合成為集成圖像。

圖1　計(jì)算機(jī)生成集成成像流程

2.1 子圖像陣列的獲取方法

將平面圖像轉(zhuǎn)化為具有立體感的圖像，首先需要根據(jù)線性透視、經(jīng)驗(yàn)、遮擋、陰影等心理立體視覺因素，將平面圖像中的景物分為前、中、后景；分離出前、中、后景后，再對其進(jìn)行排序，規(guī)定中間層位置為0，最前景位置為X，最后景位置為-X，根據(jù)景物層次數(shù)的不同，X可做適當(dāng)調(diào)整；隨后根據(jù)各個景物間的層次關(guān)系確定各個景物的位置，前景的位置均在0～X之間，后景的位置均在-X～0之間；最后，需模擬微透鏡陣列從各個角度對立體場景曝光的效果，即將各個層次景物進(jìn)行相應(yīng)位移。將同一視角的景物合成到同一張圖像上，生成一張子圖像，將所有視角的景物依次均合成完畢后，將得到子圖像陣列。

2.2 單元圖像陣列的合成方法

對所有子圖像進(jìn)行抽樣編碼后生成的大幅圖像稱為單元圖像陣列，其單元稱為單元圖像，單元圖像中的每一個像素點(diǎn)均來自不同子圖像，單元圖像中的像素?cái)?shù)與子圖像的幅數(shù)相同。由三維場景模擬拍攝或平面圖像經(jīng)處理生成個數(shù)為M×M的子圖像陣列后，將進(jìn)行單元圖像陣列的合成。目前，常用的單元圖像陣列合成方式有兩種：間隔抽樣法和連續(xù)抽樣法。

2.2.1 連續(xù)抽樣法

連續(xù)抽樣法中每幅子圖像陣列中的所有像素點(diǎn)都將用于單元圖像的合成。每個子圖像的每個單元中的所有像素點(diǎn)均被提取出，用于合成單元圖像。假設(shè)子圖像幅數(shù)為M×M，將子圖像以n×n像素為單位分為眾多單元。每一個單元圖像的像素將取自所有子圖像中的一個相應(yīng)子圖像單元，來自相同位置的子圖像單元像素將合成一個M×M的單元圖像包含像素點(diǎn)M2×n2個。

圖2(a)所示是由2×2幅子圖像組的子圖像陣列進(jìn)行續(xù)抽樣編碼的過程。對子圖像以2×2像素為單位進(jìn)行橫、縱分割。將2×2幅子圖像中抽取的所有像素點(diǎn)如圖2(a)的方式排列，合成單元圖像陣列。最后更改單元圖像陣列的分辨率為l×2×2以確保每個透鏡單元下對應(yīng)一個4×4像素的單元圖像。

2.2.2 間隔抽樣法

使用間隔抽樣法生成集成圖像時只需在每幅子圖像中抽取一個像素點(diǎn)用于單元圖像的合成。假設(shè)子圖像幅數(shù)為M×M，將子圖像以M×M像素為單位分為眾多單元。每個單元圖像的像素取自每個子圖像中相同單元的不同位置的像素，故單元圖像包含像素M×M個。

圖2(b)所示是對由2×2幅子圖像組成的子圖像陣列進(jìn)行間隔樣編碼的過程。

圖2　單元圖像陣列合成方法示意圖

對子圖像以2×2像素為單位進(jìn)行橫、縱分割。將2×2幅子圖像中抽取的不同位置的像素點(diǎn)進(jìn)行如圖2(b)的方式編碼排列，合成單元圖像陣列。最后更改單元圖像陣列的分辨率為2×l以確保每個透鏡單元下對應(yīng)一個2×2像素的單元圖像。

3　實(shí)驗(yàn)及分析

3.1 實(shí)驗(yàn)參數(shù)的設(shè)定

根據(jù)第1部分的兩種指導(dǎo)公式算出來的正負(fù)位移量限制如表1所示。

表1　正負(fù)位移量指導(dǎo)值

由于位移量的單位為像素，因此需對其進(jìn)行取整。本實(shí)驗(yàn)決定在理論參考值附近取值進(jìn)行實(shí)驗(yàn)，所取實(shí)驗(yàn)值如表2所示。

表2　位移量實(shí)驗(yàn)值設(shè)計(jì)

3.2 基于徽章類平面圖像的集成成像實(shí)驗(yàn)

由于徽章類圖像具有層次清晰、色彩明快的優(yōu)勢，本文以徽章類平面圖像為例，進(jìn)行了集成成像實(shí)驗(yàn)。實(shí)驗(yàn)中使用線數(shù)為75.55lpi、厚度為0.45mm的光柵板凸對凸疊加組成正交光柵。子圖像陣列為4×4，子圖像單元為4×4，以PHOTOSHOP的分層功能為輔助，使用PSDTO3D軟件生成子圖像陣列，再通過MATLAB使用間隔抽條和連續(xù)抽條兩種方式合成單元圖像陣列。最終使用EPSON STYLUS PHOTO R2880進(jìn)行集成圖像的輸出。

3.2.1 基于PSDTO3D的視差圖像陣列獲取

（1）原始圖像首次分層

將原始圖片分辨率在PHOTOSHOP中設(shè)置為302.2dpi，大小設(shè)置為9cm×9cm。由于房屋和環(huán)形的遮擋關(guān)系，前景選擇房屋；中景最清晰，因此選擇較小的數(shù)字和小圈；后景選擇大環(huán)，因其面積大，立體效果明顯。按照層次順序使用PHOTOSHOP進(jìn)行分層，如圖3所示。

（2）生成基礎(chǔ)序列圖像

將（1）中的分層文件導(dǎo)入PSDTP3D軟件,來制作位移量為（-12,12）的子圖像陣列。設(shè)置光柵線數(shù)l75.55lpi，鏡頭數(shù)為4，焦點(diǎn)層為2，精度即圖片分辨率p為302.2dpi。移位值，移位值為第一幅視差圖到最后一幅視差圖間的像素間隔。帶入位移量12、-12和序列圖幅數(shù)4得到總位移量，便可生成如圖4所示的四副基礎(chǔ)序列圖像。

圖3　平面圖像前、中、后景和組合圖

圖4　基礎(chǔ)序列圖像

圖5　二次分層方法示意圖

（3）圖像二次分層

在PSDTO3D中制作了基礎(chǔ)序列圖像后，還需再次將其轉(zhuǎn)換為分層圖像，順時將4幅基礎(chǔ)序列圖導(dǎo)入PHOTOSHOP中。拖入預(yù)先制作好的前、中、后景圖層至第一張序列圖，首先在垂直方向?qū)R，再水平調(diào)節(jié)各圖層位置使其與原圖完全重合，添加白色底色，刪除原序列圖，僅保留前、中、后景和底色圖層。將圖像順時針旋轉(zhuǎn)90°，如圖5。

恢復(fù)旋轉(zhuǎn)的步驟，將第二幅視差圖拖入窗口，調(diào)節(jié)位置至圖片邊角（并非徽章部分）完全重合。調(diào)節(jié)前、后景圖層使其與徽章部分完全重合。將原視差圖像刪除，將圖像順時針旋轉(zhuǎn)90°。以此方法依次處理剩余兩幅視差圖。

（4）PSDTO3D生成子圖像陣列

將4幅旋轉(zhuǎn)后的視差圖像分別在PSDTO3D中進(jìn)行處理生成各自的縱向視差圖像，方法同（1），參數(shù)保持不變。處理完成后一共得到16幅子圖像。將16幅子圖像逆時針旋轉(zhuǎn)90°，根據(jù)其視角的不同依次命名為A、B、……O、P，如圖6所示。

3.2.2 基于MATLAB的合成

實(shí)驗(yàn)中我們分別采用了連續(xù)抽樣法和間隔抽樣法來實(shí)現(xiàn)子圖像陣列合成單元圖像陣列，并借助MATLAB予以實(shí)現(xiàn)，實(shí)驗(yàn)結(jié)果如圖7所示。

圖6　子圖像陣列

圖7　子圖像合成單元圖像結(jié)果圖

3.3 實(shí)驗(yàn)結(jié)果及分析

3.3.1 單元圖像陣列合成時間評價(jià)

由于間隔抽樣和連續(xù)抽樣的集成圖像分辨率相差4倍，待處理像素?cái)?shù)相差16倍，因此使用MATLAB用來合成集成圖像的時間也有差異。整個程序的運(yùn)行時間測量結(jié)果見表3。

表3　MATLAB運(yùn)行時間統(tǒng)計(jì)表

結(jié)果表明對像素大小為1071×1071的16幅子圖像進(jìn)行連續(xù)抽樣的平均耗時為48.75秒，進(jìn)行間隔抽樣的平均耗時為4.22秒，相差十倍以上，故連續(xù)抽樣法在處理速度上并無優(yōu)勢。

3.3.2 單元圖像陣列效果評價(jià)

子圖像陣列規(guī)模為4×4，子圖像中一個單元的像素?cái)?shù)為4×4，可得使用連續(xù)抽樣法生成的單元圖像包含像素?cái)?shù)256，使用間隔抽樣法生成的單元圖像包含像素?cái)?shù)16。如圖8，選取徽章中較鮮明的特征位置，同時放大連續(xù)抽樣和間隔抽樣的兩幅集成圖像至能看清像素點(diǎn)，可發(fā)現(xiàn)連續(xù)抽樣法比間隔抽樣法要更加細(xì)膩。由于連續(xù)抽樣法保留了全部立體信息，因此包含的信息量較間隔抽樣法更大。

圖8　連續(xù)抽樣法與間隔抽樣法局部對比

3.3.3 立體效果評價(jià)

本文分別對采用連續(xù)抽樣法和間隔抽樣法制作的集成圖像進(jìn)行了立體效果評價(jià)。經(jīng)過綜合評定，連續(xù)抽樣法并未得到應(yīng)有立體效果，而使用間隔抽樣法制作集成圖像且位移量選擇(-14,14)時，在舒適度和立體感方面表現(xiàn)均優(yōu)秀，為最佳位移量，如圖9所示，此時能夠清晰展現(xiàn)前、中、后景的位置差異。

圖9　(-14,14)位移量間隔抽樣法集成圖像各方向展示圖

4　總結(jié)

本文基于集成成像技術(shù)的原理提出一種適用于各類層次分明平面圖像的計(jì)算機(jī)生成集成成像方法，該方法通過對平面圖像進(jìn)行分層和像素平移來獲取視差圖像，從而得到子圖像陣列，并使用連續(xù)抽樣法和間隔抽樣法將子圖像陣列轉(zhuǎn)換為單元圖像陣列。本文基于不同指導(dǎo)公式對位移量的參數(shù)設(shè)定進(jìn)行了討論和實(shí)驗(yàn)，通過相關(guān)實(shí)驗(yàn)確定了該實(shí)驗(yàn)條件下的最佳位移量。實(shí)驗(yàn)證明，該方法可得到高精度子圖像陣列和單元圖像陣列，能夠?qū)崿F(xiàn)較好的立體效果。

[1] 侯春萍，俞斯樂．一種平面圖像立體化的新方法[J]．電子學(xué)報(bào)，2002，30(12)：1861-1864．

[2] 張超，王瓊?cè)A，李大海，等．從平面圖生成多視點(diǎn)自由立體顯示視差圖的研究[J]．液晶與顯示，2009，(2)：258-261．

[3] 董永貴，沈立，馮冠平，等．一種基于柱透鏡光柵的計(jì)算機(jī)輔助彩色立體圖片合成方法[J]．光學(xué)技術(shù)，1999，(3)．

[4] 陳君，方志良，楊勇等．基于光學(xué)/數(shù)字圖像處理的平面圖像立體化技術(shù)[J]．光電子·激光，2005，16(12)：1510-1513．

[5] 勞國華．全方位立體圖片的制作方法和所采用的透鏡光柵組合[P]．中國專利：CN1580868，2005-02-16．

[6] 王瓊?cè)A，鄧歡，趙悟翔．基于稀疏攝像機(jī)陣列的集成成像微圖像陣列生成方法[P]．中國專利：CN102300113A，2011-12-28．

[7] 謝俊國，周永明，于丙濤．基于微透鏡陣列實(shí)現(xiàn)全真立體顯示技術(shù)的研究[J]．中國體視學(xué)與圖像分析，2008，13(1)：42-46．

[8] 彭愛華，朱化鳳．應(yīng)用于立體印刷的矩陣式透鏡光柵的原理[J]．燕山大學(xué)學(xué)報(bào)，2010，(3)：262-265．

[9] 侯春萍，阿陸南，俞斯樂．立體成像系統(tǒng)數(shù)學(xué)模型和視差控制方法[J]．天津大學(xué)學(xué)報(bào)：自然科學(xué)與工程技術(shù)版，2005，38(5)：455-460．

Research of Integral Imaging Method Based on 2D Image

WANG Wen-qi
（School of Printing and Packaging，Wuhan University，Wuhan Hubei 430072，China）

The technique of integral imaging is a technique capable of displaying 3D images with continuous parallax in full natural color. With the improvement of computer application technology，studies have shown that parallax images can be generated from 2D images with computer technology. A technique of generating integral images from 2D images with the aid of computer has been presented in this paper. This technique applies to a wide range of 2D images. The methods of the 2D image's layering and pixel-moving are adopted in obtaining the sub-image array and the methods of sampling and encoding and are adopted in obtaining the computer-generated elemental image array. Experiments showed that when parameters，such as the displacement and so on，were reasonably set in the parallax image formation，the stereoscopic display effect can be better realized by the method proposed in this paper.

integral imaging； 2D image； image's layering； pixel-moving

TN141

A

2095－414X(2016)03－0075－06

汪文琪（1993-），女，碩士研究生，研究方向：圖像處理.