基于雙目視覺(jué)的增強(qiáng)現(xiàn)實(shí)模型系統(tǒng)設(shè)計(jì)*

陳春妃，陳瓊，湯勇明

（1.東南大學(xué)電子科學(xué)與工程學(xué)院，南京211189；2.東南大學(xué)電氣工程學(xué)院，南京211189）

基于雙目視覺(jué)的增強(qiáng)現(xiàn)實(shí)模型系統(tǒng)設(shè)計(jì)*

陳春妃1，陳瓊2，湯勇明*

（1.東南大學(xué)電子科學(xué)與工程學(xué)院，南京211189；2.東南大學(xué)電氣工程學(xué)院，南京211189）

該模型的研究是為了改善目前單目增強(qiáng)現(xiàn)實(shí)設(shè)備存在著視場(chǎng)小、成像不逼真、單目觀察、適應(yīng)人群窄等問(wèn)題。模型系統(tǒng)選用高分辨率、寬色域、高集成度2 mm×17 mm OLED微顯示器作為成像像源，大尺寸BS棱鏡和凹面鏡作為成像元件，合理控制圖像放大倍率，提高視場(chǎng)；該系統(tǒng)可以實(shí)現(xiàn)高清晰穩(wěn)定的單目及雙目增強(qiáng)現(xiàn)實(shí)成像效果，具有多維的可調(diào)節(jié)度，包括調(diào)節(jié)放大倍數(shù)在1～∞內(nèi)精確微調(diào)、眼距和雙目圖像合成角度等。

圖像處理模型；雙目增強(qiáng)現(xiàn)實(shí)；雙目圖像融合；OLED微顯示像源；多維調(diào)節(jié)

增強(qiáng)現(xiàn)實(shí)技術(shù)是一種利用計(jì)算機(jī)系統(tǒng)產(chǎn)生的三維信息來(lái)增加用戶對(duì)現(xiàn)實(shí)世界事物的感知的技術(shù)［1］?；谝曈X(jué)的增強(qiáng)現(xiàn)實(shí)是借助于三維顯示［2］、攝像機(jī)標(biāo)定［3］，計(jì)算機(jī)視覺(jué)技術(shù)［4］以及多媒體技術(shù)，將虛擬的場(chǎng)景疊加到用戶眼前真實(shí)視野中。

Google Glass［5］的出現(xiàn)開(kāi)啟了小型可穿戴增強(qiáng)現(xiàn)實(shí)設(shè)備的新紀(jì)元。但Google Glass單目增強(qiáng)現(xiàn)實(shí)系統(tǒng)的缺點(diǎn)催生了關(guān)于增強(qiáng)現(xiàn)實(shí)技術(shù)和雙目成像技術(shù)的結(jié)合研究。

基于雙目視覺(jué)的模型的研究在于設(shè)計(jì)一套具有大視場(chǎng)、多參數(shù)可調(diào)節(jié)、高亮度高清晰度顯示預(yù)定圖像的雙目增強(qiáng)現(xiàn)實(shí)實(shí)驗(yàn)設(shè)備。雙目成像是基于雙眼視差［6］，通過(guò)兩套獨(dú)立的圖像源系統(tǒng)來(lái)產(chǎn)生視差圖像源，再通過(guò)特定光學(xué)系統(tǒng)進(jìn)行圖像融合處理。模型設(shè)計(jì)的創(chuàng)新點(diǎn)難點(diǎn)就在于光學(xué)系統(tǒng)的設(shè)計(jì)。

1　系統(tǒng)模型介紹

單目增強(qiáng)現(xiàn)實(shí)系統(tǒng)僅是將單一圖像源通過(guò)單個(gè)光路處理系統(tǒng)將圖像呈現(xiàn)在觀察眼的一側(cè)。雙目增強(qiáng)現(xiàn)實(shí)系統(tǒng)的實(shí)現(xiàn)方法有多種［7-8］，本文主要選擇的是將兩套獨(dú)立的單目成像系統(tǒng)組合校準(zhǔn)，即采用雙像源雙目鏡顯示方式，既提高了系統(tǒng)的穩(wěn)定性，符合人眼視覺(jué)習(xí)慣，又可以方便調(diào)試。整體系統(tǒng)圖如圖1所示。

圖1　整體系統(tǒng)圖

在這整套系統(tǒng)中左右眼兩套系統(tǒng)的參數(shù)、結(jié)構(gòu)完全一致，以一套單目增強(qiáng)現(xiàn)實(shí)系統(tǒng)模型為例來(lái)說(shuō)明增強(qiáng)現(xiàn)實(shí)系統(tǒng)結(jié)構(gòu)原理，具體如圖2所示。

圖2　單目系統(tǒng)結(jié)構(gòu)圖

光源模塊采用的是高亮度高分辨率尺寸為2 mm×17 mm的OLED像源，由計(jì)算機(jī)預(yù)先設(shè)定圖像。

光路處理模塊核心光學(xué)元件為BS半透射半反射分光棱鏡、凹面鏡，用于控制光路走向，形成有效虛像。

調(diào)節(jié)模塊內(nèi)部主要有凹面鏡，外部主要是支架外觀設(shè)計(jì)。通過(guò)改變凹面鏡與BS之間的距離來(lái)調(diào)節(jié)虛像放大倍數(shù)。通過(guò)支架鏡筒的旋鈕以及套筒結(jié)構(gòu)設(shè)計(jì)可以實(shí)現(xiàn)眼距、高度、角度的靈活調(diào)節(jié)。

2　基于OLED微像源模型設(shè)計(jì)

目前市場(chǎng)上可供選擇的顯示像源有很多種，LED，LCOS，OLED等等。不同的像源都存在各自不可替代的優(yōu)點(diǎn)，在本套系統(tǒng)中，我們的最終目的是實(shí)現(xiàn)大視野、高亮度、高清晰度、易集成的雙目增強(qiáng)現(xiàn)實(shí)系統(tǒng)實(shí)驗(yàn)?zāi)Ｐ?，基于以上參?shù)需求，OLED［9］成為我們最佳選擇。

2.1OLED微顯示像源的選擇論證

OLED屬于自發(fā)光像源，驅(qū)動(dòng)電路簡(jiǎn)單，視角寬，清晰度高，亮度也高。但考慮到像源光經(jīng)過(guò)光路處理系統(tǒng)BS半透半反棱鏡，會(huì)有亮度的損失，因此我們?cè)诹炼确矫媸欠窈线m做了驗(yàn)證。

在顯示設(shè)備中，亮度［10］（Luminance）定義為單位面積、單位立體角內(nèi)測(cè)量所得到的光通量，即單位投影面積上的發(fā)光強(qiáng)度，單位為ni（t尼特）或cd/m2。人眼可以看到的亮度是衡量視頻眼鏡的重要參數(shù)，亮度和光通量的關(guān)系由下面簡(jiǎn)化公式（1）換算：

式中，L為亮度，S為發(fā)光面的面積，Ω為對(duì)應(yīng)的立體角。

假設(shè)視頻眼鏡可以到達(dá)人眼瞳孔的能量占芯片總能量的η，視場(chǎng)角為±θ，那么人眼可以看到的亮度近似如式（2）所示：

式中，Φ是OLED微像源的光通量，Seye為人眼瞳孔面積。本論文用LED作為OLED的照明光源，典型的LED芯片亮度為107量級(jí)，發(fā)光效率約為20 lm/W，假設(shè)LED在1 W的驅(qū)動(dòng)下，光學(xué)系統(tǒng)的效率為1%［11］，則對(duì)于視場(chǎng)的30°計(jì)算可得，通過(guò)瞳孔可以看到的亮度約為105 nit。而在白天環(huán)境亮度為104 nit時(shí)，人眼大約能分辨的亮度范圍為200 nit～20 000 nit，低于200 nit的亮度感覺(jué)為黑色；夜間環(huán)境為30 nit時(shí)，可分辨的亮度范圍為1 nit～200 nit，這時(shí)100 nit的亮度就引起相當(dāng)亮的感覺(jué)，只有低于1 nit的亮度才引起黑色感覺(jué)。因此可以看到，OLED可保證人眼看到足夠的亮度，滿足本套系統(tǒng)的光源需求，故本系統(tǒng)采用基于OLED的光源成像。

2.2光路處理模塊成像原理以及可控倍率推導(dǎo)

像源OLED圖像的光經(jīng)過(guò)BS分光棱鏡，一部分光經(jīng)過(guò)BS透射進(jìn)入凹面鏡成虛像，虛像光源經(jīng)BS棱鏡反射進(jìn)入目鏡系統(tǒng)成像。成像原理示意圖如圖3所示。

圖3　虛像成像原理示意

在研究中我們選擇使用Φ=-2 cm和Φ=-16 cm兩款凹面鏡，實(shí)驗(yàn)結(jié)果表明：

（1）當(dāng)凹面鏡的Φ=-2 cm時(shí)，放大效果非常明顯，而凹面鏡的Φ=-16 cm時(shí)，放大效果不明顯。

（2）當(dāng)凹面鏡的Φ=-2 cm時(shí)，移動(dòng)凹面鏡，像的大小變化很大；而Φ=-16 cm的凹面鏡，像變化率較小。

關(guān)于凹面鏡對(duì)成像原理以及虛像放大率的控制效果作以下推導(dǎo)（圖4）。

圖4　凹面鏡成像系統(tǒng)

圖4即為凹面鏡成像系統(tǒng)，箭頭指向?yàn)檎?，坐?biāo)原點(diǎn)取在面鏡中心，面鏡的焦距為（ff<0），物的位置s（s<0），物距離面鏡中心距離為d=|s|，像的位置為s′。根據(jù)面鏡成像公式［12］

可以得到

所以像的放大率

由于在本系統(tǒng)中要求凹面鏡成放大的虛像，因此有f-s<0，因此

依據(jù)式（6）對(duì)實(shí)驗(yàn)中的兩種現(xiàn)象進(jìn)行分析。

（1）放大率與f的關(guān)系。實(shí)驗(yàn)現(xiàn)象顯示，凹面鏡放于同一位置，但焦距不同時(shí)，像的放大率不同，因此這里需要求放大率對(duì)f的偏導(dǎo)，由式（6）得：

因此放大率隨著焦距的增大而增大，因此選用-2 cm焦距的凹面鏡，放大效果要明顯于-16 cm的凹面鏡。

（2）放大率的變化率與f的關(guān)系。

實(shí)驗(yàn)現(xiàn)象顯示，焦距不同的凹面鏡，移動(dòng)相同的距離時(shí)，像的放大率的變化不同。因此這里需要求放大率對(duì)s的偏導(dǎo)，求得放大率與s的關(guān)系，然后再對(duì)f求偏導(dǎo)，求得f對(duì)放大率變化率的影響。由式（7）得

可以得到隨著s的增大，即物體離面經(jīng)越來(lái)越近時(shí)，放大倍數(shù)越小。然后由式（8）得

因此隨著f的增大（也就是|f|的減?。糯舐师码Ss的變化率會(huì)增大，因此會(huì)觀察到f=-2 cm的凹面鏡的放大率變化率會(huì)遠(yuǎn)大于f=-16 cm的凹面鏡。

根據(jù)推導(dǎo)可以得知，焦距為-2 cm的凹面鏡放大作用會(huì)遠(yuǎn)優(yōu)于焦距為-16 cm的凹面鏡，對(duì)此，我們輔助以試驗(yàn)來(lái)驗(yàn)證結(jié)果的正確性。

試驗(yàn)結(jié)果表明：使用該方案成像清晰，亮度適中，大小可從等大一直調(diào)節(jié)到無(wú)窮大，無(wú)干擾反射光。且與外景疊加效果良好。當(dāng)用焦距為-2 cm的凹面鏡時(shí)，放大效果非常明顯，滿足試驗(yàn)所需的要求，因此采用此套方案作為系統(tǒng)的最終方案。

2.4雙目成像系統(tǒng)的結(jié)構(gòu)設(shè)計(jì)

雙目成像系統(tǒng)是基于左右兩套系統(tǒng)形成的一定的雙目視差。在本套系統(tǒng)中，由于采用的是兩套獨(dú)立的單目系統(tǒng)，兩只眼睛由兩套成像相互獨(dú)立的光源分別投影，因此，必須使兩幅投影圖片滿足人眼視差的關(guān)系，消除雙目競(jìng)爭(zhēng)才能使佩戴者使用時(shí)感覺(jué)到雙眼看到的是同一幅圖像，雙目疊加的方式有很多種，具體可參考前文已給出的雙目視覺(jué)圖像文獻(xiàn)。

依據(jù)光路特點(diǎn)和調(diào)節(jié)要求，設(shè)計(jì)雙目系統(tǒng)的支架鏡筒，為了保證成像質(zhì)量，避免漏光問(wèn)題，本套模型系統(tǒng)采用黑色ABS快速成型技術(shù)。

模型滿足如下要求：

（1）凹面鏡與BS之間距離在0～3 cm內(nèi)可精確微調(diào)。

（2）BS另一側(cè)應(yīng)與OLED光源盡量緊貼，減少光線漏出和光路的延長(zhǎng)。

（3）嵌裝BS的套筒應(yīng)盡量少遮蓋通光表面積，以保證用戶觀看時(shí)的視場(chǎng)角足夠大。

（4）左右眼兩套系統(tǒng)之間的距離可調(diào)，上下高度可調(diào)，前后以及角度可調(diào)，滿足不同用戶需求。

（5）所有元件均可方便地拆卸組裝，保證調(diào)試的便捷性。

具體實(shí)物圖如圖5所示。

圖5　雙目系統(tǒng)模型支架圖

2.5雙目系統(tǒng)調(diào)試

雙目圖像融合是雙目系統(tǒng)的核心基礎(chǔ)。分別通過(guò)計(jì)算機(jī)給左右兩套系統(tǒng)OLED像源設(shè)定待融合的圖片，根據(jù)實(shí)驗(yàn)者的眼距來(lái)調(diào)節(jié)兩套系統(tǒng)的距離，上下水平高度以及兩套系統(tǒng)的角度，從而可以獲得完整地融合效果圖。

（1）設(shè)定黑色背景，傳送彩色圖案，效果圖如圖6所示。

圖6　黑底彩色效果圖

（2）傳送黑白圖案疊加外景，效果如圖7所示。

圖7　黑白圖案增強(qiáng)現(xiàn)實(shí)效果圖

從展示的效果圖中可以看到，本套系統(tǒng)對(duì)于黑白圖案和彩色圖案，均能做到以下指標(biāo)：圖案清晰無(wú)畸變，色彩還原度高且顏色鮮艷，顯示分辨率高，有可調(diào)節(jié)的放大效果（OLED微顯示像源有效發(fā)光表面積大約僅為1.5 cm2），此外，對(duì)于外景的疊加，能夠做到互不干擾、真實(shí)可靠。

進(jìn)行雙目測(cè)試時(shí)，由于雙目融合效果由大腦和眼球同步處理，照相機(jī)無(wú)法模擬，因此此處無(wú)法展示最終效果圖。根據(jù)我們實(shí)驗(yàn)觀察及測(cè)試，符合理論值。雙目疊加范圍［13］在100%時(shí)幾乎感受不到雙目競(jìng)爭(zhēng)，而在0%時(shí)有比較明顯的雙目競(jìng)爭(zhēng)，且視野稍有變形。二者較為明顯的分界線在于30%～50%的疊加率之間。

另外通過(guò)測(cè)試還發(fā)現(xiàn)，雙目融合的過(guò)程中對(duì)左右眼兩套系統(tǒng)的的OLED像源的要求高，必須保證兩塊OLED的色彩飽和度、亮度信息高度一致才能獲得優(yōu)質(zhì)的融合效果圖。

3　結(jié)論與展望

該研究項(xiàng)目目的是搭建一套基于雙目視覺(jué)的增強(qiáng)現(xiàn)實(shí)模型系統(tǒng)，由OLED微顯示像源子系統(tǒng)、BS和凹面鏡構(gòu)成的雙目簡(jiǎn)約成像子系統(tǒng)和雙目模型支架子系統(tǒng)組成。該雙目增強(qiáng)現(xiàn)實(shí)實(shí)驗(yàn)?zāi)Ｐ拖到y(tǒng)能夠在合理疊加外景的基礎(chǔ)上實(shí)現(xiàn)大視場(chǎng)、高亮度、高清晰度顯示預(yù)定的黑白或彩色圖像，自由調(diào)節(jié)虛像放大率；模型支架可根據(jù)不同用戶的需求實(shí)現(xiàn)上下左右前后以及角度7個(gè)自由度的調(diào)節(jié)，并且整套系統(tǒng)模型能夠方便拆卸組裝，可用于增強(qiáng)現(xiàn)實(shí)類應(yīng)用的界面設(shè)計(jì)模擬以及相關(guān)的研究。

從虛擬現(xiàn)實(shí)頭盔顯示到單目增強(qiáng)現(xiàn)實(shí)谷歌眼鏡，未來(lái)智能眼鏡的發(fā)展趨勢(shì)必然是趨于雙目，只有雙目顯示才能實(shí)現(xiàn)3D和全息影像，因此，我們這套雙目增強(qiáng)現(xiàn)實(shí)系統(tǒng)模型為今后雙目成像技術(shù)和增強(qiáng)現(xiàn)實(shí)技術(shù)結(jié)合的研究有很大的幫助。

［1］朱淼良，姚遠(yuǎn)，蔣云良.增強(qiáng)現(xiàn)實(shí)綜述［J］.中國(guó)圖象圖形學(xué)報(bào)，2004，9（7）：2.

［2］康紹鵬.增強(qiáng)現(xiàn)實(shí)關(guān)鍵技術(shù)研究［D］.沈陽(yáng)：航空航天大學(xué)航空工業(yè)專業(yè)，2009：15-1.

［3］鐘慧娟，劉肖琳，吳曉莉.增強(qiáng)現(xiàn)實(shí)系統(tǒng)以及關(guān)鍵技術(shù)的研究［J］.計(jì)算機(jī)仿真學(xué)報(bào)，2008，25（1）：2.

［4］管濤.增強(qiáng)現(xiàn)實(shí)中的虛實(shí)配準(zhǔn)方法研［D］.武漢：華中科技大學(xué)空間信息科學(xué)與技術(shù)專業(yè)，2008：11-13.

［5］念聰.谷歌眼鏡——戴在鼻子上的智能終端［N］.軟件工程師，2013-07-15：1-2.

［6］蔡磊.基于微顯示器件的3D雙目成像方法及FPGA實(shí)現(xiàn)［D］.成都：電子科技大學(xué)電子與通信工程專業(yè)，2012：11-12.

［7］張可.基于雙目立體視覺(jué)原理的自由曲面三維重構(gòu)［D］.武漢：華中科技大學(xué)機(jī)械制造及其自動(dòng)化專業(yè)，2005：21-27.

［8］成劍華.基于相位匹配的自由曲面雙目視覺(jué)測(cè)量方法的研究［D］.武漢：華中科技大學(xué)測(cè)試計(jì)量技術(shù)及儀器專業(yè)，2012：8-12.

［9］張積梅，關(guān)玉琦，劉暢.硅基OLED微顯示技術(shù)的優(yōu)勢(shì)與發(fā)展現(xiàn)狀［J］.集成電路運(yùn)用，2012-09-10：1-2.

［10］百度百科.亮度［EB/OL］.http：//baike.haosou.com/doc/3650460-3836943.html.

［11］刁玉潔.關(guān)于OLED亮度和壽命的優(yōu)化研究［D］.青島.中國(guó)海洋大學(xué)電子與通信工程專業(yè)，2014：11.

［12］王擁軍.關(guān)于成像公式精確度的分析［J］.中學(xué)數(shù)理化，2011-01-15：1.

［13］張可.基于雙目立體視覺(jué)原理的自由曲面三維重構(gòu)［D］.武漢：華中科技大學(xué)機(jī)械制造及其自動(dòng)化專業(yè)，2005：45-47.

陳春妃（1992-），女，海南省?？谑腥耍瑬|南大學(xué)電子科學(xué)與技術(shù)專業(yè)本科生，213123123@seu.edu.cn；

湯勇明（1973-），男，江蘇省江都市人東南大學(xué)電子學(xué)院研究員、博士，從事顯示電子學(xué)、光電測(cè)試與評(píng)估方面的研究，tym@seu.edu.cn。

Design of Augmented Reality Evaluation System Based on Binocular Vision*

CHEN Chunfei1，CHEN Qiong2，TANG Yongming*
（1.School of Electronic Science and Engineering，Southeast University，Nanjing 211189，China；2.School of Chien-ShiungWU college，Southeast University，Nanjing 211189，China）

To improve monocular vision shortcoming of unrealistic，uncomfortable and small range users，an augment?ed reality evaluation system is proposed，which selects high resolution，wide color gamut and high integration 2 mm× 17 mm micro OLED display as an imaging image source，large size BS prism and a concave mirror as an imaging ele?ment，control the image magnification to improve the field of view.The system can achieve high clarity and stability of monocular and binocular augmented reality imaging effect.With a multi-dimensional adjustable degree，the magni?fication times can be from one to infinite，the eyes'district and binocular image synthesis angle also can be adjusted. Key words：optical modeling；binocularaugmented reality；binocular image fusion；OLED micro display；multi-di?mensional regulation

R339.14

A

1005-9490（2016）02-0248-05

EEACC：6140C；7230G10.3969/j.issn.1005-9490.2016.02.003

項(xiàng)目來(lái)源：東南大學(xué)2014年基于教師科研的大學(xué)生創(chuàng)新實(shí)踐研究項(xiàng)目（T14062002）

2015-06-06修改日期：2015-07-03