單攝像機(jī)無(wú)人機(jī)獲取裸眼3D視頻的方法

尹業(yè)超，趙悟翔，王瓊?cè)A

(1. 四川大學(xué) 電子信息學(xué)院，四川 成都 610065； 2. 北京航空航天大學(xué) 儀器科學(xué)與光電工程學(xué)院，北京 100191)

1 引 言

與二維(2D)顯示相比，裸眼3D顯示對(duì)現(xiàn)實(shí)世界有較直觀的描述，顯示的效果更加逼真[1-4]。應(yīng)用無(wú)人機(jī)獲取裸眼3D實(shí)時(shí)場(chǎng)景技術(shù)提供清晰的地形地貌是當(dāng)前軍事和民用領(lǐng)域研究的熱點(diǎn)[5-11]。目前通過實(shí)景3D建模、虛擬3D建模以及其他的傳統(tǒng)3D建模技術(shù)來實(shí)現(xiàn)高精度的重建效果需要耗費(fèi)大量的人力和時(shí)間，而通過攝像機(jī)陣列拍攝視頻制作成立體播放器所需的立體視頻片源格式，可以大大減小這方面的消耗，實(shí)現(xiàn)高精度的裸眼3D實(shí)景重現(xiàn)[12-13]。平行攝像機(jī)陣列法是攝像機(jī)陣列法主要的擺放方式之一[14]。平行攝像機(jī)陣列法的各相機(jī)光軸互相平行，物平面重合，獲取的視差圖像沒有楔形失真和垂直視差。但是攝像機(jī)陣列的相機(jī)間距會(huì)影響立體顯示觀看效果，間距太小立體感會(huì)較弱甚至觀看不到立體效果，間距太大會(huì)產(chǎn)生視疲勞甚至還會(huì)超出人眼融合范圍失去立體感。為了獲得較好的立體顯示效果，針對(duì)不同被拍攝場(chǎng)景的距離就需要設(shè)置不同的相機(jī)間距[15-17]。然而攝像機(jī)陣列體積較為龐大，信號(hào)流遠(yuǎn)程傳輸之間具有串?dāng)_，難以搭載在無(wú)人機(jī)之上，即使可以搭載攝相機(jī)陣列，無(wú)人機(jī)在空中飛行時(shí)調(diào)整相機(jī)間距也將變得較為困難，目前用于航拍的無(wú)人機(jī)主要搭載的都是單攝像機(jī)，這樣就制約了航拍3D場(chǎng)景技術(shù)的發(fā)展。

針對(duì)上面提到的單攝像機(jī)普通無(wú)人機(jī)的立體拍攝問題，本文提出一種單攝像機(jī)無(wú)人機(jī)獲取裸眼3D視頻的方法，并制作出裸眼3D顯示器的立體視頻片源。該方法在解決目前單攝像機(jī)無(wú)人機(jī)難以搭載相機(jī)陣列獲取裸眼3D視頻問題的同時(shí)，避免了平行攝相機(jī)陣列法針對(duì)不同被拍攝場(chǎng)景調(diào)整相機(jī)間距不便的缺陷。

2 原 理

單攝像機(jī)無(wú)人機(jī)獲取裸眼3D視頻的方法是在平行攝像機(jī)陣列法的基礎(chǔ)上，針對(duì)不同被拍攝場(chǎng)景的距離選取不同的計(jì)算所得相應(yīng)幀，相應(yīng)幀模擬的是平行攝相機(jī)陣列進(jìn)行3D拍攝時(shí)的視差圖像，最終將多段視差視頻制作成一段多視點(diǎn)的裸眼3D立體視頻片源用于裸眼3D顯示器的播放。

當(dāng)單攝像機(jī)無(wú)人機(jī)在空中水平飛行時(shí)，其原理結(jié)構(gòu)如圖1所示，其中D表示模擬的立體相機(jī)間距，α表示攝像機(jī)的水平視場(chǎng)角，L表示攝像機(jī)與被拍攝場(chǎng)景的距離，d表示空間坐標(biāo)中的真實(shí)視差，S表示相機(jī)世界對(duì)焦平面寬度。無(wú)人機(jī)保持勻速水平飛行，其飛行速度為V，攝像機(jī)獲取視頻的幀率為f。通過無(wú)人機(jī)在空中勻速水平飛行，其不同時(shí)刻獲取的圖像可以等效看作相機(jī)陣列在同一時(shí)刻獲取的同一物體的視差圖像。根據(jù)幾何光學(xué)原理可以得到各個(gè)參數(shù)之間的關(guān)系如式(1)、式(2)所示：

(1)

d=D.

(2)

圖1 單攝像機(jī)無(wú)人機(jī)獲取視差圖像原理示意圖Fig.1 Schematic diagram of parallax image acquisition by single-camera unmanned aerial vehicle

假設(shè)視差圖像在裸眼3D顯示器上顯示時(shí)的水平寬度為H，空間坐標(biāo)中的真實(shí)視差d對(duì)應(yīng)裸眼3D顯示器的水平視差值為ΔX，H和ΔX單位均為像素。則有：

(3)

圖2 拍攝視頻取幀獲取視差原理示意圖Fig.2 Schematic diagram of parallax acquisition by shooting video frame

單攝像機(jī)拍攝視頻獲取視差視頻的原理示意圖如圖2所示。無(wú)人機(jī)在空中水平勻速拍攝一段視頻，經(jīng)過完整取幀后得到視頻的所有幀。其中每相鄰兩個(gè)視差視頻起始幀數(shù)之間的差值稱為幀距，用字母p表示。為了獲取多段等視差的視頻圖像制作裸眼3D立體視頻片源，截取視頻中的第1幀到第k幀為Video-1，第p+1幀到第p+k幀為Video-2，以此類推，第p×(n-1)+1幀到第p×(n-1)+k幀為Video-n。本實(shí)驗(yàn)為8視點(diǎn)裸眼3D顯示器提供裸眼3D視頻，因此，n取8，并按以上提取視頻幀的方法，獲取8段幀距為p的k幀視頻圖像。模擬的相機(jī)間距如下：

(4)

由式(1)～(4)可得：

(5)

對(duì)于參數(shù)確定的無(wú)人機(jī)和裸眼3D顯示器，顯然式(5)中的α、V、H、f是可以確定的。針對(duì)特定的L，根據(jù)所需的ΔX值就可以求出相應(yīng)的p值。這樣就得到了水平視差值ΔX與幀距p之間的定量關(guān)系，從而對(duì)不同拍攝距離的場(chǎng)景通過幀距的選取獲得較為理想的視差。

3 實(shí) 驗(yàn)

為了證明提出的單攝像機(jī)無(wú)人機(jī)獲取視差視頻方法的可行性，我們制作了一臺(tái)165 cm(65 in)柱透鏡光柵裸眼3D顯示器，其主要參數(shù)如表1所示。

此外，在本實(shí)驗(yàn)中采用如圖3所示的大疆御MAVIC進(jìn)行圖像拍攝。其中無(wú)人機(jī)攝像機(jī)的視場(chǎng)角為78.8°，視場(chǎng)角是以成像面的對(duì)角線計(jì)算，相機(jī)成像面的長(zhǎng)寬比為16∶9，由此計(jì)算出α=71°。已知無(wú)人機(jī)獲取視頻的幀率f=30 Hz，在無(wú)風(fēng)無(wú)氣流的理想狀態(tài)下V=1 m/s，制作的裸眼3D顯示器H=3 840，根據(jù)裸眼3D顯示器的參數(shù)選取視差大小為單個(gè)像素即ΔX=1。將式(5)代入數(shù)值則有：

表1 裸眼3D顯示器的主要參數(shù)Tab.1 Main parameters of the naked-eye 3D display

(6)

因此，根據(jù)不同拍攝距離L，只需選取不同的幀距p即可獲得合適的視差圖像。

圖3 無(wú)人機(jī)Fig.3 Unmanned aerial vehicle

我們?nèi)×藘蓚€(gè)拍攝場(chǎng)景進(jìn)行實(shí)驗(yàn)，分別為場(chǎng)景1和場(chǎng)景2。如圖4(a)、(b)所示，場(chǎng)景1的拍攝距離約為L(zhǎng)1=300 m，場(chǎng)景2的拍攝距離約為L(zhǎng)2=90 m，其數(shù)據(jù)由百度地圖測(cè)距得到。將L1=300 m、L2=90 m代入式(6)可得p1=3.3、p2=1，實(shí)驗(yàn)過程中幀距無(wú)法取小數(shù)位，故本實(shí)驗(yàn)中幀距p1取整為3，按照上述提取視頻幀的方法分別對(duì)兩個(gè)場(chǎng)景的拍攝視頻進(jìn)行截取，獲得8段視差視頻，將這8段視頻制作成裸眼3D顯示器的立體播放器所規(guī)定格式的立體視頻片源，可得場(chǎng)景1和場(chǎng)景2的立體視頻片源單幀圖像分別如圖5(a)、(b)所示。

圖4 攝像機(jī)與拍攝場(chǎng)景測(cè)距圖。(a) L1=300 m；(b) L2=90 m。Fig.4 Ranging diagram of camera and shooting scene. (a) L1=300 m；(b) L2=90 m.

圖5 立體視頻片源單幀圖像。(a)場(chǎng)景1；(b)場(chǎng)景2。Fig.5 Stereo video source single frame image. (a) Scene 1；(b) Scene 2.

在最佳觀看距離3.5 m處，場(chǎng)景1通過裸眼3D顯示器在同一時(shí)刻同一位置左右視角觀看到的圖像如圖6(a)、(b)所示，圖6(a)中兩棟建筑物后場(chǎng)景有部分被遮擋，圖6 (b)中可以清晰地看到兩棟建筑物后的場(chǎng)景，雙眼進(jìn)行融合時(shí)可以看到較佳的立體顯示效果；場(chǎng)景2通過裸眼3D顯示器在同一時(shí)刻同一位置左右視角觀看到的圖像如圖6(c)、(d)所示，可以觀看到兩幅圖像中樹木對(duì)車輛的遮擋稀疏密度不一致，圖6(c)中最下方車輛幾乎完全被遮擋，圖6 (d)中可以看到最下方車輛的大致輪廓，同樣雙眼進(jìn)行融合時(shí)可以觀看到較佳的立體顯示效果。為了驗(yàn)證根據(jù)計(jì)算所得幀距p選取的相應(yīng)幀合成的視差圖像可以達(dá)到最佳的立體顯示效果，針對(duì)場(chǎng)景1選取了p=2，3，4，5四種情況進(jìn)行了另外一組對(duì)比實(shí)驗(yàn)，在裸眼3D顯示器上的顯示效果分別如圖7(a)～(d)所示。當(dāng)p=2時(shí)，雖然圖像較清晰，但立體顯示效果較弱，基本觀看不到；當(dāng)p=3時(shí)，圖像也較為清晰，且立體顯示效果較佳；當(dāng)p=4時(shí)，視差略大，觀看一段時(shí)間會(huì)產(chǎn)生眩暈感；當(dāng)p=5時(shí)，視差過大，超過人眼融合范圍失去立體感。實(shí)驗(yàn)結(jié)果與理論分析相吻合，從而驗(yàn)證了該方法的可行性。

圖6 立體視頻片源單幀圖像顯示效果。(a) 場(chǎng)景1左視圖；(b) 場(chǎng)景1右視圖；(c) 場(chǎng)景2左視圖；(d) 場(chǎng)景2右視圖。Fig.6 Display effect of stereo video source single frame image. (a) Left view image of scene 1；(b) Right view image of scene 1；(c) Left view image of scene 2；(d) Right view image of scene 2.

圖7 不同幀距合成視差圖像的顯示效果。(a) p=2；(b) p=3；(c) p=4；(d) p=5。Fig.7 Display effect at different frame distance composite parallax image. (a) p=2；(b) p=3；(c) p=4；(d) p=5.

4 結(jié) 論

本文提出了一種單攝像機(jī)無(wú)人機(jī)獲取裸眼3D視頻的方法，該方法在平行攝像機(jī)陣列法的基礎(chǔ)上，推導(dǎo)出拍攝距離與幀距之間的定量關(guān)系，針對(duì)兩個(gè)不同場(chǎng)景的拍攝距離分別計(jì)算出各自的幀距值，提取各自相應(yīng)幀制作成裸眼3D立體視頻片源，在裸眼3D顯示器播放時(shí)都能觀看到清晰逼真的裸眼3D實(shí)景重現(xiàn)，從而驗(yàn)證了該方法的可行性。該方法在解決目前單攝像機(jī)無(wú)人機(jī)難以搭載相機(jī)陣列獲取裸眼3D視頻問題的同時(shí)，避免了平行攝相機(jī)陣列法針對(duì)不同被拍攝場(chǎng)景難以調(diào)整相機(jī)間距的缺陷，從而為普通無(wú)人機(jī)拍攝真實(shí)3D場(chǎng)景制作成裸眼3D立體視頻片源提供了參考。