無人機傾斜攝影冗余數(shù)據(jù)刪除算法

邰建豪，楊 冉

(1.河南財經(jīng)政法大學 資源與環(huán)境學院，鄭州 450046; 2.河南財經(jīng)政法大學 城鄉(xiāng)數(shù)據(jù)挖掘院士工作站，鄭州 450046)

無人機傾斜攝影技術是通過在無人機上搭載同一類型或者不同類型的多臺傳感器，從而實現(xiàn)多個角度采集影像，得到目標地物更加全面、準確信息的技術[1-3]。它突破了傳統(tǒng)正射影像只能從垂直方向入射的局限，通過將多臺傳感器搭載在無人機飛行平臺上，可以同時從一個垂直和4個傾斜共5個角度[4-5](正射、前視、后視、左視、右視)拍攝地物，從而采集目標全方位影像。該技術不僅可以獲得目標的垂直影像，還能獲得具有目標地物立面紋理信息的傾斜影像[6]。最后，通過構建模型，將用戶引入一個符合人眼視覺的真實直觀世界[7]。由于傾斜攝影測量技術多角度拍攝的特點，無人機在臨近研究區(qū)域邊界飛行時，垂直鏡頭拍攝的是研究區(qū)域邊界部分，而有些傾斜鏡頭拍攝的部分是研究區(qū)域外的地物，在進行空中三角測量計算和三維建模時這些圖像也會參與，從而大大降低空中三角測量計算和三維建模效率。因此刪除傾斜攝影相機冗余數(shù)據(jù)十分必要，但目前該領域的研究較少。有個別5鏡頭傾斜相機生產(chǎn)廠家在自有品牌產(chǎn)品中加入了冗余數(shù)據(jù)刪除功能，但僅限于自有品牌的相機，且不能通用，其處理方法也沒有公開發(fā)表，例如飛馬相機和賽爾相機[8-9]。張軍等人設計了基于ArcgisEngine開發(fā)的冗余數(shù)據(jù)處理方法，但該方法自動化程度較低，需要大量人工干預，操作過程中容易出現(xiàn)錯誤[10]。

文中以5鏡頭傾斜攝影測量為例，建立了一種通用型5鏡頭傾斜相機冗余數(shù)據(jù)刪除模型，利用無人機定位導航系統(tǒng)(Position Oriental System，POS)數(shù)據(jù)，結合相機參數(shù)和飛行參數(shù)，建立了數(shù)學模型，求出每張圖像在地面上的4個角點的投影坐標。最后利用射線法解算圖像角點坐標和測區(qū)范圍的空間包含關系，從而確定圖像是否有效，實現(xiàn)冗余數(shù)據(jù)的刪除。

1 冗余數(shù)據(jù)處理的必要性

由于無人機傾斜攝影是多鏡頭的(以5鏡頭為例進行闡述)，當無人機在臨近研究區(qū)域邊界飛行進行拍攝時，垂直鏡頭拍攝的地區(qū)是研究區(qū)域的邊界，且至少有1個傾斜鏡頭拍攝到的地物是在研究區(qū)域外的，所以得到的圖像是無效的，這些無效圖像在進行三維建模時是無用的，即冗余數(shù)據(jù)。如果不對這些冗余數(shù)據(jù)進行剔除，會很大程度上增加空中三角測量計算和三維建模過程中數(shù)據(jù)量的處理，從而降低空三和三維建模效率。所以刪除在研究區(qū)域外的冗余數(shù)據(jù)可以提高空中三角測量和三維建模效率。

為更直觀理解此實驗的必要性，假設飛行范圍和測區(qū)范圍一樣，做簡單示意圖如圖1所示，當無人機在測區(qū)邊界飛行時，只有一個鏡頭拍攝的圖像落在了測區(qū)之內，其他4張圖像都落在測區(qū)之外，屬于冗余數(shù)據(jù)。本實驗所刪除的圖像都是類似于圖1中在測區(qū)范圍之外的圖像。

2 冗余數(shù)據(jù)刪除數(shù)學模型

2.1 模型建立

2.1.1 圖像中心點投影坐標的計算模型

根據(jù)傾斜攝影5鏡頭的原理，可以畫出中心投影點計算的模型，其中4個傾斜鏡頭的傾斜角度都是45°，正射方向的鏡頭的中心點投影到地面上的坐標和相機拍攝圖像時的坐標是一樣的，所以不用考慮。因無人機自帶POS數(shù)據(jù)中位置是用經(jīng)緯度表示的，需要換算成長度單位m。經(jīng)緯度和距離的關系：1經(jīng)度≈111 000×cos(當?shù)鼐暥?，1緯度≈111 000。航向與正北方向的角度可以根據(jù)前后兩張圖像拍攝時的坐標來確定。POS文件里的高度是海拔高度，實際的飛機的航高還要考慮測區(qū)平均高程，即航高=海拔高度-測區(qū)平均高程。左視和右視鏡頭中心點的投影坐標與相機拍攝時的坐標位置關系如圖2所示。

圖2 左視、右視鏡頭中心投影點示意圖

于是可以得到如下變量：

航向偏離正北的角度：

(1)

左鏡頭圖像中心投影點的經(jīng)度：

(2)

左鏡頭圖像中心投影點的緯度：

(3)

右鏡頭圖像中心投影點的經(jīng)度：

(4)

右鏡頭圖像中心投影點的緯度：

(5)

表1 文中數(shù)學模型所用符號說明

前視、后視鏡頭中心點的投影坐標與相機拍攝時的坐標位置關系如圖3所示。

圖3 前視、后視鏡頭中心投影點示意

于是可以得到如下變量：

前鏡頭圖像中心投影點的經(jīng)度：

(6)

前鏡頭圖像中心投影點的緯度：

(7)

后鏡頭圖像中心投影點的經(jīng)度：

(8)

后鏡頭圖像中心投影點的緯度：

(9)

2.1.2 圖像4個角點投影坐標的計算模型

在計算模型中需要確定焦距、航高、傳感器尺寸等飛行參數(shù)和相機參數(shù)，并且確定如下數(shù)學關系：焦距/航高=傳感器尺寸/地面邊長，單位統(tǒng)一用m表示。根據(jù)航向和像素數(shù)可以得知圖像在地面上的投影的形狀為向左傾斜的長方形，傾斜角度和航向偏離正北的角度是相同的。左上角點的坐標計算模型示意圖如圖4所示，根據(jù)幾何關系可知，左上角點和中心點的經(jīng)緯度差與右下角點和中心點的經(jīng)緯度差是一樣的。

圖4 左上角點坐標示意

于是可以得到計算左上角點和右下角點坐標：

左上角點的經(jīng)度：

(10)

左上角點的緯度：

(11)

右下角點的經(jīng)度：

(12)

右下角點的緯度：

(13)

右上角點的坐標計算模型如圖5所示，根據(jù)幾何關系可知，右上角點和中心點的經(jīng)緯度差與左下角點和中心點的經(jīng)緯度差是一樣的?？梢缘玫接嬎阌疑辖屈c和左下角點坐標。

圖5 右上角點坐標示意

右上角點的經(jīng)度：

(14)

右上角點的緯度：

(15)

左下角點的經(jīng)度：

(16)

左下角點的緯度：

(17)

2.2 射線法確定冗余數(shù)據(jù)

射線法的基本原理是以目標點為端點引一條射線，統(tǒng)計射線和多邊形的交點數(shù)目。如果交點個數(shù)為奇數(shù)[11]，則判斷該點在多邊形的內部(內部包括：多邊形的邊及多邊形的角點)，如果交點個數(shù)為偶數(shù)，則判斷該點位于多邊形外部[12]。射線法具有如下特點：1)多邊形的角點數(shù)越多，則射線法判斷點與多邊形的包含關系的結果越精確[13]。2)若不在多邊形內部的一個目標點發(fā)出的射線過多邊形的一個角點，則該點會被誤判為在多邊形內部，會被保留[14-15]。

本實驗的目的是刪除冗余數(shù)據(jù)，從而提高空中三角測量計算效率和三維建模效率，但要盡可能地保留有用數(shù)據(jù)，寧可少刪但不能多刪。實驗中已經(jīng)考慮到了多邊形的角點和邊點，采取的措施是保留這些點位的圖像。

3 冗余數(shù)據(jù)刪除實驗

3.1 測區(qū)概況

實驗用測區(qū)是一個小型村莊，如圖6所示，包括43塊宗地。以農(nóng)房普查飛行為例，需要獲取測區(qū)范圍內農(nóng)房的精確數(shù)據(jù)，房屋之外的數(shù)據(jù)無需獲取。測區(qū)面積8 511 m2，見圖6藍色區(qū)域，飛行范圍面積47 207 m2，見圖6白色區(qū)域。一共拍攝了890張圖像，每個鏡頭圖像數(shù)量相等，均為178張。

圖6 實驗測區(qū)范圍和飛行范圍

3.2 飛行參數(shù)和相機參數(shù)確定

航高由POS文件和地面控制點高程值差值確定，本實驗飛行高度為100 m。每個鏡頭的焦距如表2所示，所有焦距均四舍五入保留1位小數(shù)。相機傳感器尺寸為23.5 mm×15.6 mm，對應的像素6 000×4 000。

表2 各相機焦距 mm

3.3 實驗流程

實驗流程如圖7所示，首先遍歷POS文件，剔除高度小于0的數(shù)據(jù)，這些數(shù)據(jù)是飛機剛起飛時拍攝的無效圖像。然后依據(jù)幾何關系，計算圖像中心點在地面上的投影坐標，并結合相機參數(shù)，計算出圖像的4個角點在地面上的投影。然后利用射線法判斷每張圖像的4個角點和研究區(qū)域的包含關系，從而確定該張圖像是否是冗余數(shù)據(jù)。如果4個角點都不在研究區(qū)域內，那么該張圖像是冗余數(shù)據(jù)，反之，該張圖像是有效數(shù)據(jù)。最后將冗余數(shù)據(jù)刪除。

圖7 冗余數(shù)據(jù)刪除流程

3.4 實驗結果與分析

每張圖像投影點與測區(qū)位置之間的關系如圖8(a)所示，5個鏡頭圖像分別用不同顏色標注。單次攝影局部放大圖如圖8(b)所示。

圖8 測區(qū)所有圖像中心投影點解算結果示意

實驗結果如圖9所示，紫色區(qū)域為測區(qū)，黃色點為保留的圖像點位，藍色點為刪除的圖像點位。所有落在研究區(qū)域范圍內的圖像都被保留，部分不在研究區(qū)域內的圖像也被保留，這是因為射線法自身存在的缺點所導致的，鑒于該實驗的意義，為保證空三及三維建模的準確性，所以這部分不在測區(qū)范圍內的數(shù)據(jù)可以保留。實驗數(shù)據(jù)一共890張圖像，最終結果刪除了660張圖像，最后保留了230張圖像，其中左視、右視、下視、前視、后視鏡頭分別保留37張、31張、71張、43張、48張。初步結果顯示，刪除了大量的無效數(shù)據(jù)，刪除率達到了74%。

圖9 保留數(shù)據(jù)和刪除數(shù)據(jù)對比

查看刪除的圖像，可以看到刪除的圖像里都是林地和農(nóng)田,部分圖像如圖10所示。保留的圖像里面大部分都是房屋，偶爾幾張是林地或者農(nóng)田，這是因為射線法判斷點和多邊形的拓撲關系時會存在誤差，少量在多邊形外的點會被判斷為在多邊形內。由于本實驗的目的是刪除冗余數(shù)據(jù)提高空中三角測量計算效率和三維建模效率，所以還是要確保三維建模后的準確性，所以這一部分誤差數(shù)據(jù)可以保留。

圖10 刪除圖像和保留圖像局部截圖

3.5 空中三角測量計算效率對比

在Context Capture實景三維建模軟件中進行空中三角測量計算，結果見表3。 原始數(shù)據(jù)空三計算時間為25 min，刪除冗余數(shù)據(jù)后的圖像空三計算時間為3 min，計算效率提升了7.3倍。

表3 刪除前后空三效率對比

4 結 論

本實驗通過無人機5鏡頭傾斜攝影幾何關系建立像片投影模型，利用Python語言實現(xiàn)了刪除無人機5鏡頭傾斜攝影相機獲得的冗余數(shù)據(jù)的算法。實驗結果表明，該算法能夠刪除大量冗余數(shù)據(jù)，極大提高無人機后期數(shù)據(jù)空三和建模的效率。但該算法仍然存在一些不足。實驗結果表明，航線規(guī)劃不合理會造成大量的冗余數(shù)據(jù)。但在實際飛行時野外飛行人員一般會為了操控方便和節(jié)省時間，往往忽略了航線規(guī)劃的技巧，而是采用較為簡單的方法規(guī)劃航線，從而人為地增加了冗余數(shù)據(jù)數(shù)量。同時，測區(qū)范圍形狀越簡單，刪除冗余數(shù)據(jù)越少，比如矩形測區(qū)，刪除圖像不多。測區(qū)范圍復雜的，多邊形邊數(shù)越多，產(chǎn)生的冗余數(shù)據(jù)越多。本文意在闡述刪除冗余數(shù)據(jù)的算法，因此沒有討論影響冗余數(shù)據(jù)多少的因素。