基于連續(xù)全景影像航向與俯仰角速度的計(jì)算與應(yīng)用

向澤君，羅再謙，李 波

(重慶市勘測(cè)院，重慶400020)

基于連續(xù)全景影像航向與俯仰角速度的計(jì)算與應(yīng)用

向澤君，羅再謙，李 波

(重慶市勘測(cè)院，重慶400020)

連續(xù)全景影像采集平臺(tái)常常要集成陀螺儀或慣性導(dǎo)航單元等昂貴設(shè)備，造成硬件成本高、集成復(fù)雜等弊病。提出一種基于連續(xù)全景影像的航向和俯仰角速度的軟件計(jì)算方法，不需要陀螺儀或慣性導(dǎo)航單元等硬件就可以計(jì)算航向和俯仰角速度，并成功應(yīng)用在連續(xù)全景影像的坐標(biāo)校正與圖像防抖中。該方法避免了使用硬件設(shè)備，簡(jiǎn)化了全景采集平臺(tái)的設(shè)計(jì)，降低了成本，取得了理想的效果。

連續(xù)全景影像;SoftIMU;航向角速度;俯仰角速度

一、引 言

全景影像，即360°無(wú)死角的圖片。連續(xù)全景影像是由采集時(shí)間間隔相等的多張全景影像按時(shí)間順序排序的視頻全景。連續(xù)全景影像采集平臺(tái)由全景采集鏡頭、云臺(tái)支架、運(yùn)載車(chē)輛、附屬設(shè)備構(gòu)成。運(yùn)載車(chē)輛在全景采集過(guò)程中的航向角速度與俯仰角速度對(duì)全景數(shù)據(jù)的應(yīng)用至關(guān)重要［1］。

目前，眾所周知的連續(xù)全景影像采集平臺(tái)大都使用陀螺儀或者慣性導(dǎo)航單元(inertial measurement unit，IMU)及輔助電子設(shè)備來(lái)獲取航向與俯仰角速度數(shù)據(jù)。大多數(shù)連續(xù)全景影像采集平臺(tái)都集成了全景攝像機(jī)、陀螺儀或IMU、GPS、車(chē)速傳感器，以及連接這些傳感器的電子設(shè)備。它在采集過(guò)程中，把GPS獲得的經(jīng)緯度坐標(biāo)，陀螺儀或IMU獲得的角速度，以及汽車(chē)速度通過(guò)一定算法，求解出采集平臺(tái)的運(yùn)行軌跡。這種技術(shù)方案價(jià)格昂貴，并且設(shè)計(jì)復(fù)雜［2］。

本文通過(guò)跟蹤連續(xù)全景影像中的特征點(diǎn)坐標(biāo)，利用連續(xù)同名點(diǎn)的水平及垂直位移與全景圖片的幾何關(guān)系，把像素位移轉(zhuǎn)換為角度的旋轉(zhuǎn)，最終計(jì)算出全景采集平臺(tái)的航向與俯仰角速度。

二、問(wèn)題與思路

連續(xù)全景影像的采集系統(tǒng)一般由視頻采集設(shè)備、GPS接收器、移動(dòng)工作站及配套設(shè)備組成。車(chē)輛頂部架設(shè)全景視頻采集設(shè)備和GPS接收器，在車(chē)輛行駛過(guò)程中采集道路周邊360°的全景視頻和坐標(biāo)。采集中，一個(gè)場(chǎng)景由多張圖片和一個(gè)坐標(biāo)組成，經(jīng)圖像拼接與融合后得到球面投影的全景幀(如圖1所示)。連續(xù)采集的全景幀經(jīng)過(guò)視頻處理后，就得到連續(xù)全景影像數(shù)據(jù)，其中每一幀都對(duì)應(yīng)一個(gè)坐標(biāo)。

圖1 球面投影的全景影像

在實(shí)踐中，因受城市樓宇與樹(shù)木的遮擋，GPS設(shè)備采集的坐標(biāo)并不準(zhǔn)確，而視頻設(shè)備的采集頻率要比GPS采集頻率高很多。因此，不可能針對(duì)每一幀都獲得一個(gè)高精度的坐標(biāo)。一般是通過(guò)加裝IMU等硬件設(shè)備來(lái)獲得每一幀的坐標(biāo)或者姿態(tài)。但I(xiàn)MU設(shè)備及其輔助電子設(shè)備會(huì)增加整個(gè)采集系統(tǒng)的硬件成本［3］。

連續(xù)全景影像采集過(guò)程中，因采集車(chē)輛正前方或正后方的物體距離攝像機(jī)較遠(yuǎn)，汽車(chē)的直線(xiàn)運(yùn)動(dòng)不會(huì)引起這些景物在連續(xù)兩個(gè)全景幀中同名像素的坐標(biāo)變化，而其轉(zhuǎn)向或顛簸運(yùn)動(dòng)會(huì)引起俯仰角變化，從而引起同名像素的坐標(biāo)變化。根據(jù)這一現(xiàn)象，可以通過(guò)跟蹤連續(xù)全景影像正前方或正后方同名像素的坐標(biāo)變化來(lái)解算連續(xù)影像的航向與俯仰角度變化［4］。

三、算法與分析

1.算法步驟

根據(jù)以上原理，本文提出跟蹤連續(xù)全景影像中的同名像素點(diǎn)坐標(biāo)的變化來(lái)解算運(yùn)載平臺(tái)的航向與俯仰角速度，算法由以下步驟組成。

1)如圖2所示，車(chē)載全景影像采集平臺(tái)間隔地采集全景影像，構(gòu)成全景影像圖片。其中，采集的間隔時(shí)間為Δt，且設(shè)定相鄰幀第i幀、第i+1幀采集到全景影像圖片分別為Fi、Fi+1，所述全景影像圖片的寬度為w像素，高度為h像素。當(dāng)選用球面投影模型時(shí)，高度h為寬度w的二分之一，即h=。

圖2 全景采集示意圖

2)如圖3所示，采用三維紋理映射技術(shù)將所述全景影像圖片中的全景影像紋理映射至投影模型上。

3)利用三維技術(shù)，在投影模型的中心點(diǎn)設(shè)置攝像機(jī)，該攝像機(jī)與運(yùn)載車(chē)輛行駛的正前方或者正后方在一條直線(xiàn)上，獲得水平和垂直視野范圍β°內(nèi)的區(qū)域影像。設(shè)定所述區(qū)域影像的坐標(biāo)變化與所述運(yùn)載車(chē)輛的直線(xiàn)運(yùn)動(dòng)關(guān)系無(wú)關(guān)，利用三維中的渲染到紋理技術(shù)將所述投影模型上的區(qū)域影像渲染到區(qū)域影像圖片上(如圖3所示)。其中，設(shè)定相鄰幀第i幀和第i+1幀采集到的區(qū)域影像圖片分別為Pi、Pi+1，所述區(qū)域影像圖片的寬度為wp像素，高度為hp像素。寬度wp等于高度hp，即wp=hp=，視野范圍 β的取值范圍為10°～30°。

4)以所述區(qū)域影像圖片的中心點(diǎn)為原點(diǎn)建立坐標(biāo)系統(tǒng)，如圖4所示。圖4中水平向右為X軸正向，垂直向上為Y軸正向，且計(jì)算第i幀所述區(qū)域影像圖片在原點(diǎn)附近的任意像素點(diǎn)(u，v)的特征向量。

5)計(jì)算第i+1幀所述區(qū)域影像圖片的小區(qū)域U={(x，y)|－c≤x－u≤c，－c≤y－v≤c}中所有像素點(diǎn)的特征向量集合(x，y)∈U}，其中，x、y均為整數(shù)。

圖3 區(qū)域影像的獲取

圖4 區(qū)域影像圖片的坐標(biāo)系

7)根據(jù)投影模型單位寬度對(duì)應(yīng)的角度，計(jì)算所述車(chē)載全景影像采集平臺(tái)第i+1幀相對(duì)于第i幀的航向偏轉(zhuǎn)角度和俯仰偏轉(zhuǎn)角度。航向偏轉(zhuǎn)角度的計(jì)算公式為dx=×(a－u);俯仰偏轉(zhuǎn)角度的i+1計(jì)算公式為dy=×(b－v)。i+1

8)航向偏轉(zhuǎn)角度/Δt、俯仰偏轉(zhuǎn)角度/Δt，即獲得第i+1幀相對(duì)于第i幀的航向角速度和俯仰角速度。其中，Δt為相鄰幀的間隔時(shí)間。

2.關(guān)鍵技術(shù)

(1)紋理映射與渲染到紋理

在計(jì)算全景正前方圖片Pi時(shí)，使用了計(jì)算機(jī)三維技術(shù)中的兩個(gè)關(guān)鍵技術(shù)。首先，把球面投影的全景幀還原為全景，關(guān)鍵是在三維場(chǎng)景中建立經(jīng)緯三角形網(wǎng)，并指定每一個(gè)頂點(diǎn)在全景幀中的紋理坐標(biāo);然后把三維中的虛擬攝像機(jī)設(shè)置在全景球的中心，指定攝像機(jī)方向指向正前方，并設(shè)置攝像機(jī)的水平與垂直視角;最后使用渲染到紋理技術(shù)，把虛擬攝像機(jī)拍攝的圖片保存到Pi中。

(2)特征向量

特征向量是用來(lái)抽取像素點(diǎn)的特征，有多種技術(shù)方法。實(shí)際操作中，汽車(chē)正前方的圖像變化會(huì)非常多，使用傳統(tǒng)的圖片塊匹配算法準(zhǔn)確性不高。在計(jì)算航向角速度時(shí)，本文使用如下方法來(lái)計(jì)算特征向量= (v0，v1，…，v2n)， 其中，vj=，0≤j≤2n為Pi中(u+j－n， v－k)像素的灰度值。本特征值定義實(shí)質(zhì)上是以(u，v)為下底邊的中心，把一個(gè)矩形區(qū)域的像素按列累加求和，并把該矩形從左到右每一列對(duì)應(yīng)的和組成一個(gè)向量。

使用以上兩種特征向量定義，其特征向量中蘊(yùn)含了該點(diǎn)相當(dāng)大區(qū)域內(nèi)的特征信息，即使在圖像變化比較大的情況下，算法依然非常穩(wěn)定。

(3)提高特征點(diǎn)匹配的準(zhǔn)確性

上述算法中，只計(jì)算了相鄰兩幀之間的匹配特征點(diǎn)，但是無(wú)法保證該匹配點(diǎn)每次都精確匹配。筆者使用以下兩種方法來(lái)提高算法的穩(wěn)定性。

1)連續(xù)兩幀之間計(jì)算多組匹配點(diǎn)，然后求平均值作為這兩幀之間的航向與俯仰變化角度。

2)在計(jì)算dxi，i－1(第i幀相對(duì)于i－1幀的航向偏移像素)時(shí)，考慮 dxi－1，i－2和 dxi，i－2，即 dxi= (dxi，i－1+dxi，i－2－dxi－1，i－2)/2。

3.誤差分析

當(dāng)通過(guò)車(chē)載全景影像采集平臺(tái)前進(jìn)方向區(qū)域影像圖片時(shí)，車(chē)載全景影像采集平臺(tái)向右轉(zhuǎn)向時(shí)，航向角速度為正，反之為負(fù);車(chē)載全景影像采集平臺(tái)上坡時(shí)，俯仰角速度為正，反之為負(fù)。航向角速度和俯仰角速度的采樣率與連續(xù)全景影像幀率相同;最小分辨率受全景幀分辨率限制，當(dāng)w=4096，β=22.5°時(shí)，使用球面投影時(shí)，最小分辨率為0.088°。

本算法有一個(gè)假設(shè)就是正前方景物距離攝像機(jī)足夠遠(yuǎn)。只考慮航向時(shí)，平臺(tái)前進(jìn)運(yùn)動(dòng)可以分解為直線(xiàn)前進(jìn)、水平位移和轉(zhuǎn)向3個(gè)分解運(yùn)動(dòng)。直線(xiàn)前進(jìn)運(yùn)動(dòng)不會(huì)造成正前方景物的水平像素位移［6］，如果攝像機(jī)采樣率為16幀/s，平臺(tái)以30 km/h(約每幀0.52 m)的速度前進(jìn)，平臺(tái)最大轉(zhuǎn)向速度為30°/s(約每幀1.9°)，全景幀分辨率為4096像素× 2048像素，則每幀水平偏移最大0.52×sin(1.9°)= 0.017 m。對(duì)于距離攝像機(jī) L≈0.017/sin(360/ 4096)≈12 m外的景物，當(dāng)每幀水平位移0.017 m時(shí)，不會(huì)產(chǎn)生像素的偏移，顯然L＞12 m這個(gè)條件在絕大多數(shù)情況下都是滿(mǎn)足的，也就是在絕大多數(shù)情況下，只有平臺(tái)轉(zhuǎn)向造成了特征點(diǎn)像素的水平位移［7］。

四、算法應(yīng)用

本課題開(kāi)發(fā)的DPM-π軟件如圖6所示。使用計(jì)算出來(lái)的航向數(shù)據(jù)來(lái)對(duì)采集的GPS坐標(biāo)進(jìn)行校準(zhǔn)，其基本方法是：

1)首先計(jì)算航向角速度數(shù)據(jù)。

圖6 算法應(yīng)用

2)通過(guò)GPS插值計(jì)算每一幀的速度，并對(duì)速度濾波。

3)使用每一個(gè)GPS信號(hào)的HDOP過(guò)濾較高精度的GPS坐標(biāo)，作為控制點(diǎn)。

4)通過(guò)控制點(diǎn)、航向角速度、速度恢復(fù)采集線(xiàn)路。

另外，在數(shù)據(jù)采集過(guò)程中，常常遇到路面顛簸的情況，造成采集的影像上下晃動(dòng)嚴(yán)重?？梢允褂迷撍惴ㄖ杏?jì)算的俯仰角速度來(lái)解決這個(gè)問(wèn)題，方法如下：

1)首先計(jì)算俯仰角速度，并且使用高通濾波器對(duì)俯仰角速度濾波，保留抖動(dòng)嚴(yán)重的部分。

2)在播放連續(xù)實(shí)景影像時(shí)，把俯仰角速度積分，并把該積分角度增加到三維球的X軸上，從而抵消俯方向上的抖動(dòng)。

五、結(jié)束語(yǔ)

為了降低車(chē)載全景影像采集平臺(tái)的硬件成本。本文提出使用軟件的方法來(lái)計(jì)算該平臺(tái)的航向與俯仰角速度。本方法的原理是在車(chē)載全景影像采集平臺(tái)的采集過(guò)程中，沿著運(yùn)載車(chē)輛行駛方向的較小視野范圍內(nèi)像素點(diǎn)的坐標(biāo)變化與運(yùn)載車(chē)輛直線(xiàn)運(yùn)動(dòng)關(guān)系很小，而與運(yùn)載車(chē)輛轉(zhuǎn)向運(yùn)動(dòng)關(guān)系很大。本文給出了算法的具體步驟與關(guān)鍵技術(shù)，并定量分析了精度與誤差，最后列舉了坐標(biāo)校正與圖像防抖兩個(gè)方面的算法應(yīng)用。

［1］ 北京市測(cè)繪設(shè)計(jì)研究院.CJJ 8—1999城市測(cè)量規(guī)范［S］.北京：中國(guó)建筑工業(yè)出版社，1999.

［2］ 中華人民共和國(guó)國(guó)家質(zhì)量監(jiān)督檢驗(yàn)檢疫總局.GB/T 18314—2009全球定位系統(tǒng)(GPS)測(cè)量規(guī)范［S］.北京：中國(guó)標(biāo)準(zhǔn)出版社，2009.

［3］ 國(guó)家技術(shù)監(jiān)督局.GB/T 7929—1995可量測(cè)的實(shí)景影像［S］.北京：中國(guó)標(biāo)準(zhǔn)出版社，1995.

［4］ 中華人民共和國(guó)國(guó)家質(zhì)量監(jiān)督檢驗(yàn)檢疫總局.GB/T 12979—2008近景攝影測(cè)量規(guī)范［S］.北京：中國(guó)標(biāo)準(zhǔn)出版社，2008.

［5］ 劉佳音，王忠立，賈云得.一種雙目立體視覺(jué)系統(tǒng)的誤差分析方法［J］.光學(xué)技術(shù)，2003(5)：29.

［6］ 于洪川，吳福朝.基于主動(dòng)視覺(jué)的攝像機(jī)自標(biāo)定方法［J］.機(jī)器人，1999(21)：1-7.

［7］ 顧峰華，高井祥，仇春平.近景攝影測(cè)量監(jiān)測(cè)小變形體的誤差分析與精度評(píng)定［J］.礦山測(cè)量，2005(6)：2.

Continuous Panoramic Image Based Course and Pitch Rate Calculation and Application

XIANG Zejun，LUO Zaiqian，LI Bo

0494-0911(2012)09-0048-03

P237

B

2012-03-21

向澤君(1965—)，男，重慶萬(wàn)州人，教授級(jí)高級(jí)工程師，主要研究方向?yàn)?S技術(shù)的研究和管理。