大區(qū)域無人機(jī)影像數(shù)據(jù)的快速幾何處理

孫　磊，郭海濤,，李傳廣，李海濱，姜春雪

(1.信息工程大學(xué)，河南 鄭州 450052；2.海軍海洋測繪研究所，天津 300061；3.北京東方泰坦科技股份有限公司，北京 100083)

?

大區(qū)域無人機(jī)影像數(shù)據(jù)的快速幾何處理

孫磊1，郭海濤1,2，李傳廣3，李海濱2，姜春雪1

(1.信息工程大學(xué)，河南 鄭州 450052；2.海軍海洋測繪研究所，天津 300061；3.北京東方泰坦科技股份有限公司，北京 100083)

摘要：無人機(jī)遙感影像快速幾何處理被廣泛應(yīng)用于災(zāi)害應(yīng)急監(jiān)測與評估、軍事偵察等領(lǐng)域。針對目前多數(shù)商業(yè)軟件所依賴的硬件平臺成本昂貴、軟件開發(fā)過程復(fù)雜等問題，面向通用硬件平臺，提出一種大區(qū)域無人機(jī)影像數(shù)據(jù)的快速幾何處理方法。對制約處理效率的各關(guān)鍵算法進(jìn)行優(yōu)化和改造，實(shí)現(xiàn)大區(qū)域無人機(jī)影像數(shù)據(jù)的快速幾何處理；在影像連接點(diǎn)匹配、正射糾正和影像鑲嵌的處理過程中，均應(yīng)用基于多核CPU并行處理技術(shù)，提高整體處理效率。多組無人機(jī)影像數(shù)據(jù)處理試驗(yàn)表明，該方法能夠大幅提高處理效率，對硬件平臺要求低，具有推廣應(yīng)用價(jià)值。

關(guān)鍵詞：無人機(jī)；影像匹配；空中三角測量；影像鑲嵌；多核CPU

無人機(jī)遙感具備靈活機(jī)動、響應(yīng)迅速、成本低等眾多優(yōu)勢，廣泛應(yīng)用于地形測繪、環(huán)境保護(hù)、戰(zhàn)場檢測、災(zāi)害監(jiān)測與災(zāi)情評估等眾多領(lǐng)域，其在釣魚島地形測繪和四川蘆山地震災(zāi)害遙感監(jiān)測與災(zāi)情評估中發(fā)揮重要作用，無人機(jī)數(shù)據(jù)處理技術(shù)成為研究的熱點(diǎn)[1-4]。災(zāi)情面前，時(shí)間就是生命；在軍事偵察領(lǐng)域，戰(zhàn)場環(huán)境瞬息萬變。這些都對無人機(jī)數(shù)據(jù)處理的效率提出更高的要求。影像匹配、區(qū)域網(wǎng)空中三角測量等是無人機(jī)數(shù)據(jù)處理中的關(guān)鍵步驟，由于算法本身比較復(fù)雜，使得計(jì)算資源消耗多、運(yùn)行速度慢，在大區(qū)域、大規(guī)模、多像幅無人機(jī)影像處理中難以滿足應(yīng)急保障的需求。

近年來的并行處理技術(shù)為影像數(shù)據(jù)處理效率的大幅提高提供技術(shù)支撐，典型的商業(yè)系統(tǒng)有像素工廠、INPHO’s Photogrammetric System、Pix4Dmapper和PixelGrid等，但是這些系統(tǒng)所依賴的硬件平臺成本昂貴、軟件開發(fā)過程復(fù)雜，無法滿足多數(shù)通用硬件平臺的要求[5-7]，不利于系統(tǒng)的廣泛應(yīng)用。

當(dāng)前大部分的計(jì)算機(jī)均已采用多核CPU處理器，如果程序算法僅利用一個(gè)處理核，其它處理核則處于閑置的狀態(tài)，這將造成處理器資源的極大浪費(fèi)[8]。面向當(dāng)前通用硬件平臺，為了提高無人機(jī)影像數(shù)據(jù)處理效率，本文主要從兩個(gè)方面進(jìn)行考慮，一是針對無人機(jī)影像處理的關(guān)鍵算法，進(jìn)行改進(jìn)和優(yōu)化，提高算法的運(yùn)算速度；另一方面是引入多核處理器并行處理的思想，充分利用已有的計(jì)算資源，來提高處理效率。

1大區(qū)域無人機(jī)影像數(shù)據(jù)的快速幾何處理方法

在無人機(jī)影像數(shù)據(jù)處理的過程中，提出綜合應(yīng)用多種提高計(jì)算效率的方法，實(shí)現(xiàn)大區(qū)域無人機(jī)影像數(shù)據(jù)的快速幾何處理，具體表現(xiàn)在：①在影像連接點(diǎn)匹配中，采用基于幾何約束條件下的影像匹配算法，提高匹配速度；②在進(jìn)行POS數(shù)據(jù)輔助下的快速區(qū)域網(wǎng)平差時(shí)，引入稀疏矩陣技術(shù)，從而實(shí)現(xiàn)高效存儲、快速解算；③在進(jìn)行正射糾正時(shí)，采用連接點(diǎn)地面坐標(biāo)內(nèi)插的方式快速獲取測區(qū)的DEM，對大區(qū)域多像幅無人機(jī)影像進(jìn)行正射糾正；④在進(jìn)行正射影像鑲嵌時(shí)，采用基于面Voronoi圖的影像鑲嵌方法，減少鑲嵌時(shí)重疊區(qū)域的數(shù)據(jù)冗余，實(shí)現(xiàn)快速自動鑲嵌；⑤在影像連接點(diǎn)匹配、正射糾正和影像鑲嵌的整個(gè)過程中，都應(yīng)用基于多核CPU并行處理技術(shù)，提高整體處理效率。整個(gè)處理流程如圖1所示。

圖1　無人機(jī)影像快速幾何處理流程

1.1基于幾何約束條件的無人機(jī)影像匹配

針對SURF算法在大區(qū)域、多像幅的無人機(jī)遙感影像匹配處理中，效率不高、多度連接點(diǎn)匹配穩(wěn)定性差等問題，采用基于幾何約束的連接點(diǎn)影像多核CPU并行匹配方法，該方法首先進(jìn)行SURF影像初匹配，即在兩張影像的金字塔頂層進(jìn)行SURF特征匹配，降低計(jì)算量，縮小搜索范圍，提高匹配速度；接著利用基于多項(xiàng)式的隨機(jī)采樣法(RANSAC)進(jìn)行粗差剔除，該方法能夠較好地剔除較大粗差點(diǎn)；然后把匹配結(jié)果映射到影像底層，利用匹配點(diǎn)對建立起影像間的像方空間仿射變換關(guān)系——幾何約束條件，從而大大縮小后續(xù)影像精匹配的搜索范圍，為后續(xù)提高匹配速度打下基礎(chǔ)。同時(shí)在影像連接點(diǎn)匹配時(shí)引入多核CPU并行處理的思想，在匹配過程中引入由粗到細(xì)的金字塔分層匹配策略，逐級優(yōu)化匹配結(jié)果，最終實(shí)現(xiàn)連接點(diǎn)影像的快速準(zhǔn)確匹配。

1.2基于稀疏矩陣技術(shù)的快速區(qū)域網(wǎng)平差

為了快速完成大區(qū)域多像幅無人機(jī)影像的控制定位、生成測區(qū)的正射影像圖，采用POS數(shù)據(jù)輔助下的區(qū)域網(wǎng)平差方法，進(jìn)行無控條件下的自由網(wǎng)平差。這種方法無需進(jìn)行外業(yè)控制點(diǎn)測量，并且整個(gè)區(qū)域網(wǎng)空中三角測量過程是全自動的，能夠快速完成大區(qū)域多像幅無人機(jī)影像定位，非常適合于無人機(jī)影像的快速應(yīng)急處理。

在大區(qū)域多像幅無人機(jī)影像區(qū)域網(wǎng)平差中，未知數(shù)即為每張像片的外方位元素和連接點(diǎn)的地面三維坐標(biāo)，其個(gè)數(shù)是非常大的，若直接求解法方程或者無稀疏矩陣存儲的改化法方程，將消耗大量內(nèi)存，解算速度也非常慢，在一般的計(jì)算機(jī)上甚至無法解算。而光束法區(qū)域網(wǎng)平差關(guān)聯(lián)到的系數(shù)矩陣一般都為稀疏矩陣，因此可以引入稀疏矩陣技術(shù)對系數(shù)矩陣組建并存儲，達(dá)到高效存儲、快速解算的目的[9-11]。

1.3正射影像快速生成

影像正射糾正之前，需要生成該區(qū)域的DEM?？紤]到傳統(tǒng)獲取DEM方式獲得的數(shù)據(jù)盡管精度較高，但是周期較長、非常繁瑣、往往需要較多的人工干預(yù)，不能滿足無人機(jī)影像快速應(yīng)急處理的需求。

考慮到在進(jìn)行區(qū)域網(wǎng)空中三角測量之后，每張影像的外方位元素和影像上匹配像點(diǎn)所對應(yīng)的地面點(diǎn)坐標(biāo)是已知的，故可以采用連接點(diǎn)地面坐標(biāo)內(nèi)插的方式快速獲取測區(qū)的概略DEM，然后再應(yīng)用基于多核CPU并行處理技術(shù)進(jìn)行影像正射糾正。

1.4基于面Voronoi圖的正射影像快速鑲嵌方法

實(shí)現(xiàn)遙感影像自動快速鑲嵌的關(guān)鍵是自動生成接邊線、消除鑲嵌時(shí)的數(shù)據(jù)冗余，在大區(qū)域、高重疊度、高分辨率、大數(shù)據(jù)量的無人機(jī)影像鑲嵌處理時(shí)，這點(diǎn)尤為突出。為了能夠快速完成大區(qū)域無人機(jī)正射影像自動鑲嵌，采用顧及重疊的面Voronoi圖[12-13]接縫線網(wǎng)絡(luò)自動生成方法。該方法首先生成全體影像的初始接縫線網(wǎng)絡(luò)，再根據(jù)重疊區(qū)的影像對初始網(wǎng)絡(luò)進(jìn)行優(yōu)化。優(yōu)化后的接縫線網(wǎng)絡(luò)包含測區(qū)內(nèi)的全部正射影像，并且將各正射影像覆蓋范圍劃分成沒有冗余的、唯一的和無縫的有效鑲嵌多邊形，避免中間結(jié)果的產(chǎn)生，與影像的順序無關(guān)，更利于并行算法的設(shè)計(jì)，非常適合大范圍的無縫影像鑲嵌處理。

1.5基于多核CPU并行處理算法設(shè)計(jì)

在無人機(jī)影像數(shù)據(jù)處理過程中，很多算法在每張影像上完成相同的計(jì)算，為并行化數(shù)據(jù)處理提供可能。為此，對無人機(jī)影像匹配、影像正射糾正、影像鑲嵌等算法進(jìn)行并行化設(shè)計(jì)。

1)影像連接點(diǎn)匹配并行化。無人機(jī)影像連接點(diǎn)匹配算法的并行化設(shè)計(jì)主要涉及到確定匹配任務(wù)單元和制定并行策略。

為此提出一種基于POS數(shù)據(jù)的匹配任務(wù)單元確定方法。該方法根據(jù)每張影像對應(yīng)的POS數(shù)據(jù)和地區(qū)平均高程，通過共線條件方程，求得影像4個(gè)角點(diǎn)的概略地面坐標(biāo)，通過計(jì)算每兩張影像的地面范圍交集確定其重疊度，設(shè)定重疊度閾值，滿足閾值的影像作為鄰接影像，遍歷所有影像，得到每張影像所有的鄰接影像。匹配單元即為一幅影像與其鄰接的多幅影像的匹配任務(wù)，這些匹配單元之間是相互獨(dú)立的，形成多個(gè)匹配任務(wù)單元。

任務(wù)并行執(zhí)行的策略是：首先確定CPU處理核的個(gè)數(shù)，開辟相同個(gè)數(shù)的處理線程，并將各線程關(guān)聯(lián)到對應(yīng)的CPU處理核上，各線程按順序選擇匹配單元并同時(shí)執(zhí)行匹配任務(wù)。當(dāng)其中任意匹配任務(wù)執(zhí)行完畢時(shí)，則選擇下一匹配單元并執(zhí)行任務(wù)，直到所有任務(wù)完成。匹配模型如圖2所示。

圖2　連接點(diǎn)并行匹配模型

2)正射糾正并行化。利用連接點(diǎn)內(nèi)插生成概略DEM之后,對各張影像進(jìn)行正射糾正，算法本身就是獨(dú)立的，不同影像正射糾正的任務(wù)之間互不相關(guān)，即每張影像的糾正過程是一個(gè)獨(dú)立的處理任務(wù)，因此，可以按照并行匹配的處理策略，執(zhí)行影像的并行正射糾正。

3)影像鑲嵌并行化。在接縫線網(wǎng)生成之后，每個(gè)Voronoi多邊形對應(yīng)著唯一的一幅正射影像，因此，在鑲嵌該多邊形區(qū)域的過程中，讀取正射影像和寫入數(shù)據(jù)的過程和其他影像互不相關(guān)，是獨(dú)立的任務(wù)執(zhí)行單元，同樣可以按照上面的并行處理策略，執(zhí)行并行鑲嵌。但是由于現(xiàn)有的硬盤對同一文件的并行寫入不能較好地支持，故在并行處理策略上改為利用一個(gè)處理核專門負(fù)責(zé)數(shù)據(jù)寫入任務(wù)，其他處理核則按Voronoi多邊形的順序選擇對應(yīng)的正射影像同時(shí)執(zhí)行讀取任務(wù)，當(dāng)其中的任一讀取數(shù)據(jù)的處理核，所讀數(shù)據(jù)被寫入任務(wù)處理核執(zhí)行完畢時(shí)，則選擇下一任務(wù)單元執(zhí)行任務(wù)，直至所有任務(wù)完成。

2試驗(yàn)與結(jié)果分析

上述算法采用c++語言全部在Visual Studio 2010下編程實(shí)現(xiàn)。實(shí)驗(yàn)選取兩套無人固定翼飛機(jī)航拍數(shù)據(jù)。數(shù)據(jù)一：平均航高為430 m，影像大小5 616像素×3 744像素，影像的航向重疊度為70%～80%，旁向重疊度為30%～40%，包含航拍影像時(shí)的POS數(shù)據(jù)，其精度在10~12 m，部分航帶內(nèi)影像旋偏角較大，測區(qū)主要為城區(qū)人工建筑物；數(shù)據(jù)二為大關(guān)地區(qū)無人機(jī)航拍影像，平均航高600 m，影像大小5 616像素×3 744像素，航向重疊度為65%～75%，旁向重疊度為30%～40%，測區(qū)為丘陵地區(qū)，地形地貌復(fù)雜。兩套數(shù)據(jù)相機(jī)象元大小均為0.006 41 mm。試驗(yàn)平臺選擇普通的臺式機(jī)，硬件配置情況如表1所示。試驗(yàn)數(shù)據(jù)的詳細(xì)情況如表2所示。

表1　實(shí)驗(yàn)平臺硬件配置

表2　實(shí)驗(yàn)數(shù)據(jù)

為了驗(yàn)證上述方法中各個(gè)算法的可靠性和處理精度，對數(shù)據(jù)一、數(shù)據(jù)二進(jìn)行無人機(jī)數(shù)據(jù)快速處理試驗(yàn)，并對匹配結(jié)果、平差情況和鑲嵌結(jié)果進(jìn)行統(tǒng)計(jì)分析，如表3所示。圖3和圖4分別為數(shù)據(jù)一和數(shù)據(jù)二的正射影像鑲嵌結(jié)果，圖5為局部接邊效果。目視判讀來看，兩套數(shù)據(jù)整體的接邊效果較好，平均接邊誤差在1～2個(gè)像素，在局部高差大的區(qū)域，接邊誤差在3～4個(gè)像素；為了概略分析無控條件下無人機(jī)數(shù)據(jù)處理結(jié)果的絕對定位精度，分別從Google Earth上量測15個(gè)檢查點(diǎn)，和其鑲嵌結(jié)果影像上的地理位置做比較，得到正射影像在X,Y方向上的定位精度，處理結(jié)果的定位精度和POS數(shù)據(jù)本身的定位精度相當(dāng)。

實(shí)驗(yàn)可以看出，本文方法匹配正確率高、在無控制條件下的定位精度較高、鑲嵌接邊效果好，能夠較好地滿足無人機(jī)快速應(yīng)急處理的需要。

表3　實(shí)驗(yàn)統(tǒng)計(jì)結(jié)果

圖3　數(shù)據(jù)一鑲嵌結(jié)果效果

圖4　數(shù)據(jù)二鑲嵌結(jié)果效果圖

圖5　局部接邊效果圖

為了分析該方法的處理效率，利用數(shù)據(jù)二在不同處理?xiàng)l件下進(jìn)行實(shí)驗(yàn)，得到統(tǒng)計(jì)分析結(jié)果如表4所示。表4中區(qū)域網(wǎng)平差解算加速比指的是平差過程不做稀疏矩陣改化處理與做稀疏矩陣改化處理之間的加速比。從表4可知，影像多核并行匹配算法的加速比達(dá)到3.92，與處理核的個(gè)數(shù)成近線性的關(guān)系；而影像正射糾正和影像鑲嵌的并行處理加速比分別為2.35和1.89，之所以影像正射糾正和影像鑲嵌的加速比沒有影像匹配的加速比高，是因?yàn)樵诖藬?shù)據(jù)處理過程中，主要是數(shù)據(jù)的讀寫操作，硬盤的讀寫速度限制了加速比；在進(jìn)行算法改造和多核并行設(shè)計(jì)之后，231張無人機(jī)影像整個(gè)處理過程耗時(shí)2 667.46 s，加速比達(dá)到了3.10。綜上所述，在特定的硬件環(huán)境下，該方法和常規(guī)串行方法相比，在處理效率有大幅提升。

表4　數(shù)據(jù)二在不同處理?xiàng)l件下的時(shí)間和加速比統(tǒng)計(jì)表

3結(jié)束語

本文對無人機(jī)遙感影像處理過程的各個(gè)環(huán)節(jié)進(jìn)行分析論述，針對制約處理效率的關(guān)鍵算法進(jìn)行優(yōu)化和改造，研究提出一種大區(qū)域多像幅無人機(jī)影像數(shù)據(jù)的快速幾何處理方法。實(shí)驗(yàn)表明，該方法能夠大幅提高無人機(jī)影像的幾何處理效率；同時(shí)，在無控制條件下，該方法的定位精度較高、影像接邊效果好，能夠滿足無人機(jī)快速應(yīng)急處理的要求，為大區(qū)域無人機(jī)影像快速處理提供一條有效的技術(shù)途徑，在災(zāi)害應(yīng)急監(jiān)測與災(zāi)情評估、軍事偵察、戰(zhàn)場監(jiān)測、打擊效果評估等眾多領(lǐng)域具有重要的應(yīng)用價(jià)值。

參考文獻(xiàn)：

[1]胡慶武，艾明耀，殷萬玲，等.大旋角無人機(jī)影像全自動拼接方法研究[J].計(jì)算機(jī)工程，2012，38(15)：152-155.

[2]李軍，李永樹，蔡國林.利用無人機(jī)影像制作地震災(zāi)區(qū)三維景觀圖[J].測繪工程，2012，21(1)：50-53.

[3]張萬強(qiáng)，趙俊三，唐敏.無人機(jī)影像構(gòu)建三維地形研究[J].測繪工程，2014,23(3)：36-41.

[4]魯恒，李永樹，何敬.無人機(jī)低空遙感影像數(shù)據(jù)的獲取與處理[J].測繪工程，2011，20(1)：51-54.

[5]李勁澎，龔志輝，張婷.無人機(jī)影像SIFT特征匹配的集群并行處理方法[J].測繪科學(xué)技術(shù)學(xué)報(bào)，2012，26(6):440.

[6]仝紅菊，李浩，趙海強(qiáng)，等.無人機(jī)航攝影像的RANSAC自動定向方法研究.[J].測繪與空間地理信息，2015，38(4)：50-52.

[7]紀(jì)松.多視匹配策略與優(yōu)化方法研究[D].鄭州:信息工程大學(xué)，2012.

[8]李秀芳.基于多核的多線程算法并行優(yōu)化[D].鄭州：鄭州大學(xué)，2010．

[9]鄒亞未，劉玉紅.基于多核CPU的無人機(jī)影像連接點(diǎn)并行匹配方法[J].測繪通報(bào)，2014(3)：32-36.

[10] TRIGGSB,MCLAUCHLANP,HARTLEYR,etal.Bundle Adjustment-A Modern Synthesis[A]．TRIGGSW ZISSERMANA,and SZELISKI R.Vision Algorithms:Theory and Practice,LNCS[C].[s.l.]:Springer Verlag,2000.298-375.

[11] 詹總謙，張祖勛，張劍清.基于稀疏矩陣技術(shù)的光束法平差快速算法設(shè)計(jì)[J].測繪通報(bào)，2006(12):5-8.

[12] 潘俊，王密，李德仁.基于顧及重疊的面Voronoi圖的接縫線網(wǎng)絡(luò)生成方法[J].武漢大學(xué)學(xué)報(bào)(信息科學(xué)版)，2009，34(5):518-521.

[13] 潘俊，王密，李德仁.接縫線網(wǎng)絡(luò)的自動生成及優(yōu)化方法[J].測繪學(xué)報(bào)，2010，39(3):289-292.

[責(zé)任編輯：張德福]

Quick geometric processing of large area unmanned aerial vehicle images

SUN Lei1,GUO Haitao1,2,LI Chuanguang3,LI Haibin2,JIANG Chunxue1

(1.Information Engineering University,Zhengzhou 450052, China； 2.Navel Institute of Hydrographic Surveying and Charting,Tianjin 300061, China; 3.Beijing Oriental TITAN Technology Co.,Ltd,Beijing 100083, China)

Abstract：Unmanned aerial vehicle images (UAV) rapid geometric processing is widely used in disaster emergency monitoring and evaluation,military reconnaissance,and the like.The hardware platform on which most present business softwares depend is expensive,and the software development process is complex. A quick geometric processing method of large area UAV images for general hardware platform is proposed.The key algorithms which restrict the efficiency are optimized and modified and the rapid geometric processing of large area UAV images is implemented.In the process of join points image matching,ortho-rectification and image mosaic,the multi-core CPU parallel processing technology is applied and the efficiency of the whole process is improved.Multiple sets of UAV image data processing results show the method has a great potential in the field of application for its improved efficiency and low requirements for hardware platform.

Key words：unmanned aerial vehicle；image matching；aerial triangulation；image mosaic；multi-core CPU

中圖分類號：P237

文獻(xiàn)標(biāo)識碼：A

文章編號：1006-7949(2016)03-0035-06

作者簡介：孫磊(1989-)，男，碩士研究生.

收稿日期：2014-11-17；修回日期：2015-06-18