基于FPGA的自由立體顯示系統(tǒng)光學(xué)引擎設(shè)計*

陸 麟 ，王元慶 ，曹利群 ，周必業(yè) ，李鳴皋

（1.南京大學(xué) 電子科學(xué)與工程學(xué)院，江蘇 南京 210046；2.中國人民解放軍海軍總醫(yī)院，北京 100088）

立體顯示技術(shù)經(jīng)過多年發(fā)展已經(jīng)有了巨大的進(jìn)步，目前市場上已經(jīng)商用的立體顯示器大多需要佩戴配套的眼鏡才能看到立體影像，存在多種不便利因素。已經(jīng)出現(xiàn)的裸眼立體顯示器基于光柵原理，雖然不需要佩戴眼鏡，但是水平方向分辨率會降為原始分辨率的一半。因此如何實現(xiàn)不需要佩戴任何輔助設(shè)備即可觀看全高清3D影像的自由立體顯示技術(shù)，正成為研究的熱點。

在這一背景下，本文提出并實現(xiàn)了一種可控的指向性光學(xué)引擎。采用該光學(xué)引擎利用普通120 Hz液晶面板即可實現(xiàn)自由立體顯示技術(shù)。在不佩戴輔助設(shè)備的前提下，能達(dá)到同時多人觀看全高清3D影像的目的。光學(xué)引擎采用通過Spartan 3E FPGA控制高亮度LED陣列的指向性背光技術(shù)，通過從人眼跟蹤模塊[1]獲得的瞳孔

坐標(biāo)，控制LED驅(qū)動電路按照液晶屏的刷新時序準(zhǔn)確將光線投射到人的左右眼中。與目前基于Atmega128單片機的光學(xué)引擎系統(tǒng)[2]相比，本系統(tǒng)在僅增加很少成本的前提下，具有能夠精確控制時序、同步性更好、適應(yīng)于更大規(guī)模LED驅(qū)動電路等優(yōu)勢，增加了系統(tǒng)的穩(wěn)定性和可升級性。整套系統(tǒng)經(jīng)測試，可在±30°視場角內(nèi)實現(xiàn) 1～5人的實時無輔助立體顯示，并能夠兼容傳統(tǒng)的2D平面顯示模式，達(dá)到商用標(biāo)準(zhǔn)，具有很好的應(yīng)用前景。

1 自由立體顯示系統(tǒng)工作原理

當(dāng)場景中同一點在左右視圖中具有視差的兩點分別投射到對應(yīng)人眼后，由大腦融合感覺到虛擬立體深度，從而產(chǎn)生立體感。在視差立體顯示中能夠觀看到舒適立體的必要條件主要如下：

(1)左右眼看到的兩幅圖像各自刷新頻率高于46 Hz；

(2)兩幅圖片的視差小于聚焦一輻輳的容許度；

(3)單視角圖像的空間分辨率小于人眼的分辨極限。

根據(jù)以上原則，采用商用刷新率為120 Hz、分辨率為1 920×1 080的全高清液晶面板，分別以60 Hz的刷新率顯示左右眼圖像，利用菲涅爾透鏡構(gòu)成的光學(xué)成像系統(tǒng)[3]，在液晶屏上的左圖像刷新完成后，光學(xué)引擎將LED陣列上的對應(yīng)于左眼位置的固定寬度一段LED點亮并投射到觀察者左眼中。同理下一幀右圖像刷新完成后，右眼對應(yīng)位置的LED會將整個屏幕照亮并投射到觀察者右眼中。觀察者的左右眼將會分別看到以60 Hz刷新的1 920×1 080全高清左右圖像，經(jīng)過大腦融合，就可以實現(xiàn)立體視覺。LED在人眼處投射的光帶寬度大致等于人眼的寬度，其余位置幾乎沒有光線出射。因此本系統(tǒng)的光學(xué)利用率極高，只需要幾顆高亮LED即可達(dá)到可觀看的亮度。當(dāng)有多人觀看時，只要LED陣列對應(yīng)位置不相互重疊，觀看者間就不會互相影響，如圖1所示。受限于水平方向±30°的視場角，本系統(tǒng)可同時供最多5人互不影響地觀看。當(dāng)觀察者在視場角內(nèi)左右移動時，瞳孔跟蹤模塊會實時將觀察者當(dāng)前的瞳孔位置發(fā)送給光學(xué)引擎，由光學(xué)引擎實時更新LED位置，使觀察者始終能夠觀看到立體影像。系統(tǒng)可兼容傳統(tǒng)2D模式顯示，當(dāng)系統(tǒng)工作在2D模式時，LED陣列以掃描背光模式工作，因此觀看者在任何位置看到的畫面都與傳統(tǒng)2D顯示器無異。

圖1 自由立體顯示系統(tǒng)工作原理

2 光學(xué)引擎系統(tǒng)設(shè)計

2.1 系統(tǒng)總體架構(gòu)

由上節(jié)所介紹的自由立體顯示系統(tǒng)原理可知，本系統(tǒng)中光學(xué)引擎的主要任務(wù)包括視頻左右?guī)叫盘柕墨@取、觀看者瞳孔位置坐標(biāo)的獲取和對高亮度LED陣列的控制。目前光學(xué)引擎的主控部分采用AVR單片機來完成。受限于單片機的順序執(zhí)行單線程架構(gòu)，無法對系統(tǒng)的時序進(jìn)行精確控制，很小的功能改變就會導(dǎo)致最終系統(tǒng)的時序錯亂，使整個系統(tǒng)的魯棒性和可定制性較差。并且由于單片機的時鐘最高僅能到12 MHz，再加上部分指令執(zhí)行時間大于一個時鐘周期，單片機對TLC5927 LED驅(qū)動芯片的配置速率最高僅能達(dá)到800 kHz。由于TLC5927采用串行方式配置，當(dāng)驅(qū)動芯片數(shù)量為50片時，完成所有驅(qū)動芯片的配置需要耗時達(dá)1 ms，已經(jīng)無法滿足大規(guī)模LED陣列的驅(qū)動時序要求。因此本文采用基于FPGA的光學(xué)引擎系統(tǒng)。由于FPGA的并行特性，可以方便地對系統(tǒng)時序進(jìn)行控制，增加和減少功能不會對已有時序產(chǎn)生影響，增強了系統(tǒng)的可定制性和魯棒性[4]。并且由于FPGA的高時鐘頻率，系統(tǒng)可以以LED驅(qū)動芯片的最大配置時鐘頻率30 MHz對其進(jìn)行配置，在1 ms時間內(nèi)最多可配置1 876片TLC5927，使系統(tǒng)的可擴(kuò)展性大大增強。系統(tǒng)功能框圖如圖2所示，其中虛線內(nèi)的部分由FPGA完成。

圖2 光學(xué)引擎系統(tǒng)結(jié)構(gòu)框圖

2.2 同步信號接收模塊設(shè)計

從120 Hz液晶面板配套的液晶開關(guān)眼鏡中可以提取出左右液晶鏡片的驅(qū)動波形，如圖3中l(wèi)on、loff、ron、roff所示。將該波形經(jīng)過電平匹配后即可輸入FPGA內(nèi)部的同步信號接收模塊，將這4路信號兩兩異或，即可得到左眼和右眼的同步信號lbuff和rbuff。兩路信號的周期均為60 Hz，且相位相差180°。該信號僅僅表示液晶刷新的使能信號，由于液晶翻轉(zhuǎn)需要時間，因此左圖和右圖LED點亮使能信號需要延時液晶的翻轉(zhuǎn)時間τ，才能輸出給主控制器供LED驅(qū)動器使用。最后同步信號接收模塊輸出的波形為圖3中的lenable和renable。利用該信號驅(qū)動LED驅(qū)動器，即可在液晶面板顯示左圖時點亮左眼LED，顯示右圖時點亮右眼LED，液晶面板刷新過程中LED不亮。

圖3 同步信號接收模塊時序圖

2.3 串口通信模塊設(shè)計

為了使光學(xué)引擎能夠?qū)崟r更新人眼跟蹤模塊的瞳孔位置坐標(biāo)，F(xiàn)PGA使用RS232串口與人眼跟蹤模塊的DSP通信。右眼的瞳孔位置可以根據(jù)左眼瞳孔位置+瞳孔間距得到，在觀看者瞳孔間距基本一致的情況下，串口僅需發(fā)送左眼瞳孔坐標(biāo)即可，這樣可以大大減少串口的數(shù)據(jù)量，提高實時性。串口每幀傳輸10 bit數(shù)據(jù)，包括一位起始標(biāo)志位和一位結(jié)束標(biāo)志位[5]。串口通信模塊狀態(tài)機如圖4所示。DSP首先發(fā)送一個開始字節(jié)，內(nèi)容為56 h，表明新的坐標(biāo)數(shù)據(jù)傳輸開始。第二個字節(jié)中傳輸當(dāng)前檢測到的瞳孔對數(shù)（即觀看者數(shù)量）。根據(jù)光學(xué)成像系統(tǒng)的參數(shù)視場角 θ=±30°，最佳觀看距離 d=1.2 m，人臉寬度w≈0.22 m，可以計算出最大同時觀看人數(shù)n=[2×(d×tanθ)/w]=6。第三個字節(jié)開始傳輸左眼瞳孔的坐標(biāo)位置，當(dāng)串口通信模塊獲得了所有的瞳孔坐標(biāo)后，會將這些坐標(biāo)發(fā)送給主控模塊，主控模塊以這些位置為地址即可從預(yù)置在FPGA中的對應(yīng)表獲得顯示左圖時需要點亮的LED的對應(yīng)位置。在該地址上加一個偏移量，就可以從同一個對應(yīng)表中得到顯示右圖時需要點亮的LED的對應(yīng)位置。主控模塊將這兩個位置存放在寄存器中，直到下一次DSP通過串口更新瞳孔位置信息。

圖4 串口通信模塊狀態(tài)機

2.4 LED驅(qū)動器控制模塊

LED陣列的設(shè)計間距與人眼觀察處立體視窗分辨率的關(guān)系為[6]：△l=β×△t，其中 △l為每移動一顆 LED 出瞳投影窗口的偏移量，β為光學(xué)成像系統(tǒng)的投影放大倍率。因此減小LED陣列的排列間距可以提高人眼觀察處的視窗分辨率。為了使LED排列盡量緊密，選用尺寸較小的高亮LED Xlamp XB-D，并采用菱形排布方式。采用這種排布方式，可以使兩顆LED的水平間隔由LED邊長降為LED邊長的為使LED陣列能夠可控、可尋址并保證每顆LED的亮度均勻性，本文選用TI公司TLC5927 16通道恒流 LED驅(qū)動芯片，芯片功能如圖5所示[7]，數(shù)據(jù)以串行方式從SDI輸入，采樣時鐘為CLK，可獨立控制16路通道的亮滅，每通道最大電力為120 mA。為使每顆LED達(dá)到盡可能大的工作電流，采用8通道并聯(lián)驅(qū)動的方式[8]。

圖5 TLC5927驅(qū)動信號功能示意

在3D顯示模式下，LED由主控提供的Enable信號按照120 Hz的幀率刷新，每幀LED熄滅后，LED驅(qū)動控制模塊從主控獲取下一幀的LED位置信息。由于采用8驅(qū)動管腳并聯(lián)的工作方式，因此可以將LED位置信息通過SDI口以3.75 MHz的速率發(fā)送給TLC5927陣列，同時以同步方式輸出30 MHz的CLK，即可實現(xiàn)每8個CLK周期同步一個SDI電平。SDI信息寫入完成后，LED驅(qū)動器控制模塊發(fā)送一個LE信號對TLC5927進(jìn)行鎖存，并在下一次Enable信號到來時將OE信號拉低點亮對應(yīng)的LED。時序如圖6所示。

圖6 LED驅(qū)動器控制模塊配置時序

當(dāng)顯示系統(tǒng)以2D模式工作時，LED驅(qū)動模塊工作在掃描背光方式下。此時主控模塊無Enable信號輸出，2D/3D標(biāo)志位為低，驅(qū)動器控制模塊每次點亮4顆LED，以30 kHz的高頻率進(jìn)行掃描，每隔33 μs點亮的LED平移一顆，根據(jù)人眼的視覺暫留特性，即可等效于持續(xù)點亮的均勻背光。

3 實驗結(jié)果

實驗采用三星S23A700D 3D液晶面板，分辨率為1 920×1 080，刷新率 120 Hz，有效顯示面積 509.76 mm×286.74 mm，分別測試了觀看人數(shù)為1人和2人時的光學(xué)引擎工作狀況，如圖7所示。

圖7 光學(xué)引擎LED陣列工作圖

在實驗中，光學(xué)引擎系統(tǒng)以Spartan 3E FPGA作為控制處理器，通過RS232串口與DSP瞳孔跟蹤模塊實時通信，并根據(jù)液晶面板同步信號控制大功率LED驅(qū)動電路實現(xiàn)對應(yīng)瞳孔坐標(biāo)的指向性照明。采用FPGA作為控制處理器實現(xiàn)了對LED驅(qū)動芯片時序的精確控制和快速配置，使系統(tǒng)的魯棒性和可升級性明顯提升。實驗測試證明，本系統(tǒng)性能達(dá)到了市場化要求，具有較好的商業(yè)應(yīng)用前景。

[1]Yan Chao，Wang Yuanqing，Zhang Zhaoyang.Robust real-time multi-user pupil detection and tracking under various illumination and large-scale head motion[J].Computer Vision and Image Understanding，2011，115(8)：1223-1238.

[2]張瑞雪，王元慶，張兆揚.基于AVR單片機的自由立體顯示背光控制系統(tǒng)[J].現(xiàn)代電子技術(shù)，2011，34(23)：149-151.

[3]汪洋，王元慶.多用戶自由立體顯示技術(shù)[J].液晶與顯示，2009，24(3)：434-437.

[4]周渝斌.基于FPGA+DSP的智能車全景視覺系統(tǒng)[J].電子技術(shù)應(yīng)用，2011，37(3)：38-41.

[5]王希朝，張毅，程鵬，等.面向物聯(lián)網(wǎng)應(yīng)用的 UART-WIFI網(wǎng)關(guān)設(shè)計[J].微型機與應(yīng)用，2013，32(8)：45-47.

[6]BRAR R S，SURMAN P，SEXTON I，et al.Helium3D：a laser-based 3D display with′3D+′Capability[C].2010 Conference on Visual Media Production(CVMP)，IEEE，2010：123-130.

[7]Texas Instruments.16-channel Constant-Current LED sink drivers[DB/OL].（2008-07-xx）[2013-07-15].http://www.ti.com/lit/ds/symlink/tlc5927.pdf.

[8]Texas Instruments.TLC5916 one-wire control-eliminating microprocessor control for LED driver[DB/OL].（2009-07-xx）[2013-07-15].http://www.ti.com/lit/an/slva346/slva346.pdf.