低空UAV激光點(diǎn)云和序列影像的自動(dòng)配準(zhǔn)方法

陳 馳，楊必勝，彭向陽1.武漢大學(xué)測繪遙感信息工程國家重點(diǎn)實(shí)驗(yàn)室，湖北武漢40079；2.武漢大學(xué)時(shí)空數(shù)據(jù)智能獲取技術(shù)與應(yīng)用教育部工程研究中心，湖北武漢40079；.廣東電力科學(xué)研究院，廣東廣州510080

低空UAV激光點(diǎn)云和序列影像的自動(dòng)配準(zhǔn)方法

陳 馳1，2，楊必勝1，2，彭向陽3
1.武漢大學(xué)測繪遙感信息工程國家重點(diǎn)實(shí)驗(yàn)室，湖北武漢430079；2.武漢大學(xué)時(shí)空數(shù)據(jù)智能獲取技術(shù)與應(yīng)用教育部工程研究中心，湖北武漢430079；3.廣東電力科學(xué)研究院，廣東廣州510080

提出了一種低空無人機(jī)（unmanned aeriaI vehicIe，UAV）序列影像與激光點(diǎn)云自動(dòng)配準(zhǔn)的方法。首先分別基于多標(biāo)記點(diǎn)過程與局部顯著區(qū)域檢測對激光點(diǎn)云和序列影像的建筑物頂部輪廓進(jìn)行提取，并依據(jù)反投影臨近性匹配提取的頂面特征。然后利用匹配的建筑物角點(diǎn)對，線性解算序列影像外方位元素，再使用建筑物邊線對的共面條件進(jìn)行條件平差獲得優(yōu)化解。最后，為消除錯(cuò)誤提取與匹配特征對整體配準(zhǔn)結(jié)果的影響，使用多視立體密集匹配點(diǎn)集與激光點(diǎn)集進(jìn)行帶相對運(yùn)動(dòng)閾值約束的ICP（迭代最臨近點(diǎn)）計(jì)算，整體優(yōu)化序列影像外方位元素解。試驗(yàn)結(jié)果表明本文方法能實(shí)現(xiàn)低空序列影像與激光點(diǎn)云像素級精度的自動(dòng)配準(zhǔn)，聯(lián)合制作DOM精度滿足現(xiàn)行無人機(jī)產(chǎn)品1∶500比例尺標(biāo)準(zhǔn)。

機(jī)載激光點(diǎn)云；序列影像；點(diǎn)云影像配準(zhǔn)；無人機(jī)

1　引 言

隨著電子、傳感器與計(jì)算機(jī)技術(shù)的快速發(fā)展，可量測相機(jī)、激光掃描儀、POS系統(tǒng)等對地觀測的傳感器逐步小型化與輕量化。尤其是低空無人機(jī)（UAV）平臺(tái)的快速發(fā)展，使輕小型、集成化的無人機(jī)低空遙感系統(tǒng)成為現(xiàn)實(shí)。武漢大學(xué)以小型無人直升機(jī)為搭載平臺(tái)，集成激光掃描儀、光學(xué)相機(jī)、IMU等傳感器，研制了低空無人機(jī)多功能三維測量系統(tǒng)Heli＿M(jìn)apping，實(shí)現(xiàn)了飛行區(qū)域內(nèi)激光點(diǎn)云、同時(shí)相可見光影像數(shù)據(jù)的同步獲取。激光點(diǎn)云數(shù)據(jù)可提供精確物方三維信息，但缺乏紋理、光譜信息，給點(diǎn)云數(shù)據(jù)的濾波、分類和解譯帶來較大困難［1］，可見光影像則具有較好的紋理信息，激光點(diǎn)云數(shù)據(jù)與影像聯(lián)合處理是當(dāng)前攝影測量與遙感領(lǐng)域一個(gè)研究熱點(diǎn)［2-7］。激光點(diǎn)云數(shù)據(jù)與可見光影像數(shù)據(jù)的配準(zhǔn)是二者聯(lián)合處理的先決條件，對目標(biāo)的提取、三維重建、真正射影像生成、高精度DEM生產(chǎn)等都具有十分重要的作用。

與成熟的商用有人機(jī)機(jī)載激光掃描系統(tǒng)不同，低空無人機(jī)飛行平臺(tái)的有限載荷（一般都小于20kg）極大地限制了傳感器的選型（掃描儀、相機(jī)等），同時(shí)低空無人機(jī)平臺(tái)的穩(wěn)定性亦較差，難以利用商用有人機(jī)系統(tǒng)的硬件檢校方式實(shí)現(xiàn)激光點(diǎn)云與同步獲取影像的高精度配準(zhǔn)。目前，可見光影像與激光掃描點(diǎn)云的配準(zhǔn)方法主要分為4類：①基于特征匹配的2D-3D配準(zhǔn)算法［8-14］；②基于統(tǒng)計(jì)的2D-3D配準(zhǔn)算法［15-16］；③基于影像多視匹配生成密集點(diǎn)云與激光點(diǎn)云配準(zhǔn)的3D-3D配準(zhǔn)算法［17］；④基于硬件標(biāo)定的方法［18-19］?；诰€對的自動(dòng)配準(zhǔn)方法［12-13］需要較為準(zhǔn)確的影像外方位元素初值與正確的匹配對保證平差的正確收斂。由于低空無人機(jī)系統(tǒng)的飛行高度低、飛行速度較慢、飛行姿態(tài)不穩(wěn)定等因素，與商用機(jī)載系統(tǒng)相比其獲取的激光點(diǎn)云密度高，獲取的影像的像幅小、分辨率高、基線短、畸變大。上述因素給低空無人機(jī)平臺(tái)的激光點(diǎn)云和影像的配準(zhǔn)帶來了較大的困難和挑戰(zhàn)，導(dǎo)致傳統(tǒng)的線對配準(zhǔn)方法難以應(yīng)用于低空無人機(jī)系統(tǒng)點(diǎn)云和影像的配準(zhǔn)。

目前，低空無人機(jī)激光掃描系統(tǒng)點(diǎn)云與影像自動(dòng)配準(zhǔn)的研究處于起步階段。縱觀國內(nèi)外的研究成果與相關(guān)應(yīng)用可以看出：現(xiàn)有的航空可見光影像與激光掃描數(shù)據(jù)配準(zhǔn)方法將POS系統(tǒng)的輸出值作為可見光影像的外方位元素的近似值，無法滿足POS系統(tǒng)輸出值精度較差或影像和激光點(diǎn)云異步獲取情況下的激光點(diǎn)云和影像的配準(zhǔn)。同時(shí)基于特征的配準(zhǔn)方法多為半自動(dòng)方法，需要交互選擇配準(zhǔn)基元，缺乏對基元提取完整度與配準(zhǔn)精確的評價(jià)。

針對以上問題，本文研究基于建筑物頂部輪廓特征的低空無人機(jī)可見光影像與激光點(diǎn)云的兩步法高精度自動(dòng)配準(zhǔn)方法。首先基于提取的建筑物頂面特征進(jìn)行2D（影像）-3D（點(diǎn)云）粗配準(zhǔn)，同時(shí)，為避免特征錯(cuò)誤提取、匹配基元對配準(zhǔn)精度與穩(wěn)健性的影響，進(jìn)而利用影像多視立體生成密集點(diǎn)云與激光點(diǎn)云進(jìn)行3D-3D的精配準(zhǔn)，從而優(yōu)化粗配準(zhǔn)的結(jié)果，保證配準(zhǔn)的精度與穩(wěn)健性。

圖1　UAV影像與激光點(diǎn)云的自動(dòng)配準(zhǔn)Fig.1 Flow chart of automatic registration of UAV images sequence and laser points cloud

2　低空UAV激光點(diǎn)云與序列影像的自動(dòng)配準(zhǔn)

本文提出的UAV影像與激光點(diǎn)云配準(zhǔn)的流程如圖1所示。該方法的第1步通過建立兩者間的融合點(diǎn)、線配準(zhǔn)基元的建筑物頂面特征匹配基元，削弱現(xiàn)有配準(zhǔn)方法對POS系統(tǒng)輸出值的依賴，實(shí)現(xiàn)兩者間的粗配準(zhǔn)；第2步基于多視立體匹配方法生成序列影像的密集點(diǎn)云，以第1步的粗匹配的結(jié)果為初始值與激光點(diǎn)云進(jìn)行帶相對運(yùn)動(dòng)閾值約束的迭代最臨近點(diǎn)計(jì)算，優(yōu)化粗配準(zhǔn)參數(shù)，消除建筑物頂面點(diǎn)，線基元提取不完整或錯(cuò)誤匹配對配準(zhǔn)精度的影響，最終實(shí)現(xiàn)序列可見光影像與激光點(diǎn)云的高精度穩(wěn)健配準(zhǔn)。

2.1 基于多通道圖像張量梯度方向統(tǒng)計(jì)的建筑物輪廓自動(dòng)提取

建筑物頂部具有明顯的線結(jié)構(gòu)特征，在激光點(diǎn)云和可見光影像中均具有較好的可分性。本文的方法首先基于多標(biāo)記點(diǎn)過程方法［20］對低空無人機(jī)激光點(diǎn)云數(shù)據(jù)進(jìn)行建筑物目標(biāo)的提取，并使用迭代最小外包矩形方法（recursive minimum bounding rectangle，RMBR）［21］對提取輪廓進(jìn)行規(guī)則化，獲取建筑物目標(biāo)的輪廓數(shù)據(jù)。圖2是基于多標(biāo)記點(diǎn)過程方法從無人機(jī)激光點(diǎn)云提取的建筑物輪廓規(guī)則化結(jié)果。

圖2　建筑物頂面提取與規(guī)則化Fig.2 Extraction and regularization of building roofs from LiDAR data

利用可見光影像的POS數(shù)據(jù)將點(diǎn)云中提取的建筑物輪廓反投影到影像，記為R1區(qū)域。由于飛行姿態(tài)的不穩(wěn)定性以及POS的誤差，導(dǎo)致點(diǎn)云中提取的建筑物輪廓和可見光影像中的建筑物輪廓存在較大的偏差（如圖3（a）所示），直接使用R1區(qū)域進(jìn)行顯著性區(qū)域檢測將導(dǎo)致可見光影像中建筑物輪廓提取不完整等問題。因此，建立基于多通道圖像張量梯度方向統(tǒng)計(jì)與極值響應(yīng)解算的反投影區(qū)域查找方法從可見光影像中提取建筑物的完整輪廓區(qū)域（R3）。

圖3　建筑物輪廓線查找區(qū)域Fig.3 Extraction regions of the building contour

在R1區(qū)域內(nèi)進(jìn)行多通道圖像結(jié)構(gòu)張量梯度計(jì)算。對于可見光影像f=（f1，f2，…，fn）T，其結(jié)構(gòu)張量G表示為式（1）

計(jì)算G對應(yīng)的本征值，并進(jìn)行非極大值抑制，保留強(qiáng)邊緣響應(yīng)，其對應(yīng)最大梯度方向θ按式（2）進(jìn)行計(jì)算

對于規(guī)則建筑物，建筑物邊緣方向與最大梯度方向垂直。因此，最大梯度方向反映建筑物基本走向。經(jīng)統(tǒng)計(jì)發(fā)現(xiàn)：建筑物區(qū)域的張量梯度方向分布具有單峰（長條形房屋）和雙峰特性（正方形房屋或L形房屋），如圖4所示。對于異形房屋，其張量梯度方向分布統(tǒng)計(jì)圖不具備以上兩種特性，依據(jù)此特征對其進(jìn)行剔除，不參與后續(xù)配準(zhǔn)運(yùn)算。

以張量梯度方向統(tǒng)計(jì)峰值點(diǎn)為建筑物區(qū)域的主方向，以R1區(qū)域重心為轉(zhuǎn)軸將R1區(qū)域旋轉(zhuǎn)到梯度方向統(tǒng)計(jì)峰值點(diǎn)方向得到R2區(qū)域（圖3（b））。在區(qū)域R2主方向與次主方向上逐像素移動(dòng)區(qū)域R2，查找獲得區(qū)域內(nèi)最強(qiáng)梯度張量梯度和響應(yīng)位置作為最優(yōu)查找區(qū)域R3。對區(qū)域R3進(jìn)行緩沖區(qū)擴(kuò)展，最后基于對比度顯著性區(qū)域檢測［22］和輪廓角點(diǎn)算子CPDA［23］檢測建筑物輪廓，并進(jìn)行矢量化和規(guī)整化，從而提取出影像中的建筑物外輪廓特征，如圖5所示。

圖4　建筑物張量梯度統(tǒng)計(jì)直方圖Fig.4 Histogram statistic of buildings tensor gradient orientation

圖5　基于激光先驗(yàn)知識(shí)的影像建筑物屋頂提取Fig.5 Building contour extraction from image using prior form laser points cloud

2.2 基于建筑物輪廓特征的粗配準(zhǔn)

根據(jù)影像中提取的建筑物輪廓和激光點(diǎn)云中對應(yīng)的建筑物輪廓構(gòu)建建筑物影像角點(diǎn)m=（u，v，f）與激光輪廓角點(diǎn)M=（X，Y，Z）的匹配集合｛IL|sm=A［R|t］M｝和匹配線對集合。

首先自建筑物輪廓角點(diǎn)匹配集合｛IL|sm= A［R|t］M｝點(diǎn)對，使用快速透視N點(diǎn)方法（efficient perspective Npoint，EPNP）［24］解算相機(jī)模型。對滿足共面平差的條件：存在兩對不平行匹配線對的匹配集，使用線對共面平差方法［12］對結(jié)果進(jìn)行迭代優(yōu)化。對于分別位于自由網(wǎng)光束法坐標(biāo)系CMVS與世界坐標(biāo)系Cworld中的同名點(diǎn)Mmvs，Mlas有轉(zhuǎn)換關(guān)系如式（3）

式中，R、T、λ分別為坐標(biāo)轉(zhuǎn)換過程中的旋轉(zhuǎn)、平移以及尺度變換參數(shù)。

基于EPNP并附帶線對共面平差條件平差解算式（4）可獲得激光世界坐標(biāo)系下相機(jī)外方位元素

式中，m為Mlas在影像上成像的像素坐標(biāo)；A為相機(jī)標(biāo)定矩陣；（spnp，Rpnp，tpnp）為點(diǎn)Mlas成像的旋轉(zhuǎn)，平移以及尺度變換參數(shù)。

經(jīng)序列影像自由網(wǎng)光束法平差［25］解算式（5）可求解相機(jī)在CMVS下的外方位元素

式中，m為點(diǎn)Mmvs在影像上成像的像素坐標(biāo)；A為相機(jī)標(biāo)定矩陣；（sbundle，Rbundle，tbundle）為Mmvs成像的旋轉(zhuǎn)，平移以及尺度變換參數(shù)。

對于N張影像EPNP線性解，聯(lián)立式（3）、式（4）、式（5）計(jì)算自由網(wǎng)下的多視立體匹配密集點(diǎn)云到激光點(diǎn)云世界坐標(biāo)的旋轉(zhuǎn)參數(shù)R如式（6）

令CMVS坐標(biāo)系中相機(jī)外方位元素線元素重心坐標(biāo)為PCpnp（Xcp，Ycp，Zcp），Cworld標(biāo)系中的相機(jī)外方位元素線元素重心坐標(biāo)為PCbundle（Xcb，Ycb，Zcb），則尺度參數(shù)λ最小二乘估計(jì)如式（7）將式（6）、式（7）代入式（3）中相機(jī)位置值即可

2.3 基于迭代最鄰近點(diǎn)方法的3D-3D精確配準(zhǔn)

基于多視密集匹配方法［26］對經(jīng)序列影像光束法平差［25］后的序列影像生成影像密集點(diǎn)云，將2D-3D的影像與激光點(diǎn)云配準(zhǔn)問題轉(zhuǎn)換為3D-3D的密集匹配點(diǎn)云與激光點(diǎn)云ICP配準(zhǔn)問題。利用粗配準(zhǔn)的結(jié)果作為ICP的初始值，采用兩點(diǎn)間距離最小化作為ICP最優(yōu)配準(zhǔn)的收斂條件，則最優(yōu)配準(zhǔn)可表達(dá)為求解函數(shù)E（λ3D-3D，R3D-3D，T3D-3D）最小值對應(yīng)的λ3D-3D，R3D-3D，T3D-3D。以歐氏距離作為測度，E（λ3D-3D，R3D-3D，T3D-3D）表達(dá)如式（9）

以2.2節(jié)中求解的粗匹配計(jì)算獲得的R、T、λ作為ICP初值，對式（9）進(jìn)行迭代解算，避免由于POS初值不準(zhǔn)確導(dǎo)致ICP迭代錯(cuò)誤收斂。其次，為消除密集匹配點(diǎn)云中存在誤匹配對整體ICP錯(cuò)誤收斂的影響，采用相對運(yùn)動(dòng)閾值［27］限制點(diǎn)對搜索，提高了ICP算法穩(wěn)健性。同時(shí)采用分步迭代計(jì)算的平差方法［28］對R、T、λ迭代解算。經(jīng)迭代優(yōu)化后，對于每幀影像有精配準(zhǔn)參數(shù)Rcam=RRfAT、Tcam=λRTfAT+T，其中RfAT、TfAT為光束法平差相機(jī)外方位元素。

3　配準(zhǔn)試驗(yàn)與分析

為驗(yàn)證本文方法的有效性，利用武漢大學(xué)的低空無人直升機(jī)Heli＿M(jìn)apping系統(tǒng)獲取的武漢黃陵地區(qū)和梁子湖地區(qū)的激光點(diǎn)云與影像數(shù)據(jù)（如圖6）進(jìn)行了配準(zhǔn)試驗(yàn)。其中兩個(gè)區(qū)域的航飛高度、影像地面分辨率（GSD）、點(diǎn)云密度等參數(shù)見表1。

表1　數(shù)據(jù)集描述Tab.1 Dataset specifications

圖6　試驗(yàn)數(shù)據(jù)集Fig.6 Experiment datasets

3.1 配準(zhǔn)結(jié)果

圖7（a）為直接使用POS提供姿態(tài)與位置信息將提取的建筑物頂面激光點(diǎn)云反投影到影像上的配準(zhǔn)結(jié)果，可見存在較大的配準(zhǔn)誤差。圖7（b）為經(jīng)粗配準(zhǔn)計(jì)算相機(jī)模型后建筑物頂面激光點(diǎn)云與影像配準(zhǔn)結(jié)果。由圖7（b）可見，配準(zhǔn)差依然存在，主要原因是特征匹配粗差以及點(diǎn)云密度過低引起的線框特征估計(jì)不準(zhǔn)確原因?qū)е?。圖7（c）為經(jīng)本文提出配準(zhǔn)方法的配準(zhǔn)結(jié)果，結(jié)果顯示粗配準(zhǔn)誤差得到了進(jìn)一步的消除。

圖7　由粗到精的點(diǎn)云和影像兩步自動(dòng)配準(zhǔn)Fig.7 Coarse to fine registration of images and laser points cloud

3.2 配準(zhǔn)誤差評定

為定量檢驗(yàn)本文方法的配準(zhǔn)精度，使用預(yù)先布設(shè)在兩個(gè)數(shù)據(jù)集測區(qū)內(nèi)的高反射靶標(biāo)作為檢查點(diǎn)進(jìn)行檢查，其中黃陵數(shù)據(jù)集、梁子湖數(shù)據(jù)集分別布設(shè)檢查點(diǎn)15個(gè)與9個(gè)。在激光點(diǎn)云中使用強(qiáng)度信息提取高反射靶標(biāo)點(diǎn)，擬合靶標(biāo)矩形獲得其中心坐標(biāo)作為靶標(biāo)檢查點(diǎn)坐標(biāo)。分別使用POS數(shù)據(jù)，粗配準(zhǔn)參數(shù)，精配準(zhǔn)參數(shù)，反投影檢查點(diǎn)到影像，量測檢查點(diǎn)反投影成像與檢查點(diǎn)影像成像坐標(biāo)的距離差（以像素為單位）作為配準(zhǔn)精度評定指標(biāo)量。從兩份數(shù)據(jù)配準(zhǔn)精度檢查表（表2、表3）可看出：經(jīng)本文方法配準(zhǔn)后配準(zhǔn)像素誤差由原始POS數(shù)據(jù)的85像素降低到精配準(zhǔn)后的1像素（殘差分布見圖8），較好地解決了較大配準(zhǔn)粗差條件下的點(diǎn)云與序列影像的自動(dòng)配準(zhǔn)，克服了傳統(tǒng)線基元配準(zhǔn)方法的不足。

聯(lián)合配準(zhǔn)后的激光點(diǎn)云和影像制作了梁子湖區(qū)域的DEM和DOM，并基于RTK實(shí)測30個(gè)檢查點(diǎn)對平面和高程誤差進(jìn)行了計(jì)算，具體結(jié)果見表4。

圖8　檢查點(diǎn)反投影像素差殘差Fig.8 Residual projection error distribution

表2　黃陵數(shù)據(jù)集激光點(diǎn)反投影誤差Tab.2 Projection error of Huangling dataset像素

表3　梁子湖數(shù)據(jù)集激光點(diǎn)反投影誤差Tab.3 Projection error of Liangzihu dataset像素

表4　梁子湖數(shù)據(jù)集RTK檢查點(diǎn)精度表Tab.4 Precision statistic of RTK check points m

按照現(xiàn)行《低空數(shù)字航空攝影測量內(nèi)業(yè)規(guī)范CH/Z 3003—2010》中的規(guī)定，采用航空攝影測量方法測繪的1∶500比例尺平原地區(qū)地形圖，應(yīng)滿足平面中誤差＜0.6m、高程誤差＜0.5m的精度要求，配準(zhǔn)結(jié)果精度基本滿足1∶500比例尺地形圖精度要求。圖9為使用配準(zhǔn)后影像數(shù)據(jù)給激光點(diǎn)云賦色結(jié)果。圖10為完成數(shù)據(jù)配準(zhǔn)后使用激光點(diǎn)云與序列影像制作的真正射影像與原始影像的局部細(xì)節(jié)對比。由圖10可見，使用配準(zhǔn)后數(shù)據(jù)集進(jìn)行真正射糾正后，房屋屋頂?shù)玫郊m正，且由其造成的遮擋區(qū)域也得到填補(bǔ)。

圖9　使用配準(zhǔn)序列影像數(shù)據(jù)賦色的激光點(diǎn)云Fig.9 Laser point cloud rendered by color from registered images

圖10　基于自動(dòng)配準(zhǔn)數(shù)據(jù)制作真正射影像Fig.10 True ortho images generated from co-registered dataset

4　結(jié) 論

經(jīng)定量配準(zhǔn)精度分析，使用經(jīng)本文方法配準(zhǔn)后的相機(jī)外方位元素和激光點(diǎn)云濾波生成DEM制作的DOM滿足大比例尺（1∶500）正射影像制作要求。由于本文方法使用建筑物輪廓作為粗配準(zhǔn)基元，對于無建筑物區(qū)域的UAV影像和激光點(diǎn)云的配準(zhǔn)問題難以解決，下一步將研究通用于各種地形條件下的UAV影像與激光的高精度自動(dòng)配準(zhǔn)。

［1］ BALTSAVIAS E A.Comparison between Photogrammetry and Laser Scanning［J］.ISPRS Journal of Photogrammetry and Remote Sensing，1999，54（2）：83-94.

［2］ HABIB A F，GHANMA M S，TAIT M.Integration of LiDAR and Photogrammetry for Close Range Applications［R］.International Archives of Photogrammetry and Remote Sensing.Istanbul：［s.n.］，2004.

［3］ HABIB A F，RUIFANG Z，KIM C.Generation of Complex Polyhedral Building Models by Integrating Stereo-aerial Imagery and LiDAR Data［J］.Photogrammetric Engineering and Remote Sensing，2010，76（5）：609-623.

［4］ HUDAK A T，LEFSKY M A，COHEN W B，et al.Integration of LiDAR and Landsat ETM+Data for Estimating and Mapping Forest Canopy Height［J］.Remote Sensing of Environment，2002，82（2）：397-416.

［5］ NAIDOO L，CHO M A，MATHIEU R，et al.Classification of Savanna Tree Species，in the Greater Kruger National Park Region，by Integrating Hyper-spectral and LiDAR Data in a Random Forest Data Mining Environment［J］.ISPRS Journal of Photogrammetry and Remote Sensing，2012，69（4）：167-179.

［6］ LI Yijing，HU Xiangyun，ZHANG Jianqing，et al.Automatic Road Extraction in Complex Scenes Based on Information Fusion from LiDAR Data and Remote Sensing Imagery［J］.Acta Geodaetica et Cartographica Sinica，2012，41（6）：870-876.（李怡靜，胡翔云，張劍清，等.影像與LiDAR數(shù)據(jù)信息融合復(fù)雜場景下的道路自動(dòng)提?。跩］.測繪學(xué)報(bào)，2012，41（6）：870-876.）

［7］ WU Hangbin.Classification and Feature Extraction of Airborne LiDAR Data Fused with Aerial Image［J］.Acta Geodaetica et Cartographica Sinica，2011，40（1）：134-134.（吳杭彬.融合航空影像的機(jī)載激光掃描數(shù)據(jù)分類與特征提?。跩］.測繪學(xué)報(bào)，2011，40（1）：134-134.）

［8］ STAMOS I，LIU L，CHEN C，et al.Integrating Automated Range Registration with Multiviews Geometry for the Photorealistic Modeling of Large-scale Scenes［J］.International Journal of Computer Vision，2008，78（2-3）：237-260.

［9］ DING M，LYNGBAEK K，ZAKHOR A.Automatic Registration of Aerial Imagery with Untextured 3DLiDAR Models［C］∥Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.Anchorage：IEEE，2008：1-8.

［10］ ZHONG Cheng，LI Hui，HUANG Xianfeng，et al.Automatic Registration of LiDAR Data and Aerial Image Based on a 6Tuples Relaxation［J］.Geomatics and Information Science of Wuhan University，2009，34（12）：1426-1430.（鐘成，李卉，黃先鋒，等.利用6元組松弛法自動(dòng)配準(zhǔn)LiDAR數(shù)據(jù)與航空影像［J］.武漢大學(xué)學(xué)報(bào)：信息科學(xué)版，2009，34（12）：1426-1430.）

［11］ DENG Fei，ZHANG Zuxun，ZHANG Jianqing.Threedimensional Reconstruction of Ancient Architecture Using Laser Scanner and Digital Camera［J］.Science of Surveying and Mapping，2007，32（2）：29-30.（鄧非，張祖勛，張劍清.利用激光掃描和數(shù)碼相機(jī)進(jìn)行古建筑三維重建研究［J］.測繪科學(xué)，2007，32（2）：29-30.）

［12］ HABIB A，GHANMA M，MORGAN M，et al.Photogrammetric and LiDAR Data Registration Using Linear Features［J］.Photogrammetric Engineering and Remote Sensing，2005，71（6）：699-707.

［13］ MA Hongchao，YAO Chunjing，WU Jianwei.Registration of LiDAR Point Clouds and High Resolution Images Based on Linear Feature［J］.Geomatics and Information Science of Wuhan University，2012，37（2）：136-140.（馬洪超，姚春靜，鄔建偉.利用線特征進(jìn)行高分辨率影像與LiDAR點(diǎn)云的配準(zhǔn)［J］.武漢大學(xué)學(xué)報(bào)：信息科學(xué)版，2012，37（2）：136-140.）

［14］ WANG Yanmin，HU Chunmei.A Robust Registration Method for Terrestrial LiDAR Point Clouds and Texture Image［J］.Acta Geodaetica et Cartographica Sinica，2012，41（2）：266-272.（王晏民，胡春梅.一種地面激光雷達(dá)點(diǎn)云與紋理影像穩(wěn)健配準(zhǔn)方法［J］.測繪學(xué)報(bào)，2012，41（2）：266-272.）

［15］ FRUEH C，SAMMON R，ZAKHOR A.Automated Texture Mapping of 3DCity Models with Oblique Aerial Imagery［C］∥Proceedings of the 2nd International Symposium on 3DData Processing，Visualization and Transmission.［S.l.］：IEEE，2004：396-403.

［16］ MASTIN A，KEPNER J，F(xiàn)ISHER J.Automatic Registration of LiDAR and Optical Images of Urban Scenes［C］∥Proceedings of 2009IEEE Conference on Computer Vision and Pattern Recognition.Miami：IEEE，2009：2639-2646.

［17］ ZHAO W，NISTER D，HSU S.Alignment of Continuous Video onto 3DPoint Clouds［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2005，27（8）：1305-1318.

［18］ ZHONG Liang，MA Hongchao，GUAN Haiyan，et al. Boresight Calibration Based Fast Registration between Airborne LiDAR Points Clouds and Synchronous Images［J］. Geomatics and Information Science of Wuhan University，2011，36（9）：1035-1038.（鐘良，馬洪超，管海燕，等.利用安置角檢校進(jìn)行機(jī)載LiDAR點(diǎn)云數(shù)據(jù)與同步影像快速配準(zhǔn)［J］.武漢大學(xué)學(xué)報(bào)：信息科學(xué)版，2011，36（9）：1035-1038.）

［19］ WU Shenghao，ZHONG Ruofei.The 3DVisualization’s Approach Based on Vehicle-borne Laser Scanning［J］. Journal of Capital Normal University：Natural Science Edition，2011，32（4）：57-61.（吳勝浩，鐘若飛.基于移動(dòng)平臺(tái)的激光點(diǎn)云與數(shù)字影像融合方法［J］.首都師范大學(xué)學(xué)報(bào)：自然科學(xué)版，2011，32（4）：57-61.）

［20］ YANG B S，XU W X，DONG Z.Automated Extraction of Building Outlines from Airborne Laser Scanning Point Clouds［J］.IEEE Geoscience and Remote Sensing Letters，2013，10（6）：1399-1403.

［21］ KWAK E.Automatic 3DBuilding Model Generation by Integrating LiDAR and Aerial Images Using a Hybrid Approach［D］.Calgary：University of Calgary，2013.

［22］ CHENG M M，ZHANG G X，MITRA N J，et al.Global Contrast Based Salient Region Detection［C］∥Proceedings of 2011IEEE Conference on Computer Vision and Pattern Recognition.Providence：IEEE，2011：409-416.

［23］ AWRANGJEB M，LU G，F(xiàn)RASER C S.Performance Comparisons of Contour-based Corner Detectors［J］.IEEE Transactions on Image Processing，2012，21（9）：4167-4179.

［24］ LEPETIT V，MORENO-NOGUER F，F(xiàn)UA P.EPnP：An Accurate O（n）Solution to the PnP Problem［J］. International Journal of Computer Vision，2009，81（2）：155-166.

［25］ LI Deren，YUAN Xiuxiao.Error Processing and Reliability Theory［M］.Wuhan University Press，2002.（李德仁，袁修孝.誤差處理與可靠性理論［M］.武漢：武漢大學(xué)出版社，2002.）

［26］ LAFARGE F，KERIVEN R，BRéDIF M，et al.A Hybrid Multi-view Stereo Algorithm for Modeling Urban Scenes［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2013，35（1）：5-17.

［27］ POMERLEAU F，COLAS F，F(xiàn)ERLAND F，et al.Relative Motion Threshold for Rejection in ICP Registration［C］∥Field and Service Robotics.Berlin：Springer，2010：229-238.

［28］ ZHANG Yongjun，HU Binghua，ZHANG Jianqing. Absolute Orientation of Large Rotation Angle Images［J］. Geomatics and Information Science of Wuhan University，2010，35（4）：427-431.（張永軍，胡丙華，張劍清.大旋角影像的絕對定向方法研究［J］.武漢大學(xué)學(xué)報(bào)：信息科學(xué)版，2010，35（4）：427-431.）

（責(zé)任編輯：叢樹平）

E-maiI：bshyang@whu.edu.cn

Automatic Registration of Low AItitude UAV Sequent Images and Laser Point CIouds

CHEN Chi1，2，YANG Bisheng1，2，PENG Xiangyang3
1.State Key Laboratory of Information Engineering in Surveying，Mapping and Remote Sensing，Wuhan University，Wuhan 430079，China；2.Engineering Research Center for Spatio-temporaI Data Smart Acquisition and AppIication，Ministry of Education of China，Wuhan University，Wuhan 430079，China；3.Guangdong EIectric Power Research Institute，Guangzhou 510080，China

It is proposed that a noveI registration method for automatic co-registration of unmanned aeriaI vehicIe（UAV）images sequence and Iaser point cIouds.FirstIy，contours of buiIding roofs are extracted from the images sequence and Iaser point cIouds using marked point process and IocaI saIient region detection，respectiveIy.The contours from each data are matched via back-project proximity.SecondIy，the exterior orientations of the images are recovered using a Iinear soIver based on the contours corner pairs foIIowed by a co-pIanar optimization which is impIicated by the matched Iines form contours pairs. FinaIIy，the exterior orientation parameters of images are further optimized by matching 3D points generated from images sequence and Iaser point cIouds using an iterative near the point（ICP）aIgorithm with reIative movement threshoId constraint.Experiments are undertaken to check the vaIidity and effectiveness of the proposed method.The resuIts show that the proposed method achieves high-precision coregistration of Iow-aItitude UAV image sequence and Iaser points cIoud robustIy.The accuracy of the coproduced DOMs meets 1∶500 scaIe standards.

airborne LiDAR point cIoud；UAV image sequences；registration；UAV

The NationaI NaturaI Science Foundation of China（No.41371431）；The NationaI Basic Research Program of China（973 Program）（No.2012CB725301）；DoctoraI Scientific Fund Project of the Ministry of Education of China（No.20120141110035）；Southern Power Grid Company Funded Key Research Program（No.K-GD2013-030）

CHEN Chi（1989—），maIe，PhD candidate，majors in UAV photogrammetry and LiDAR data processing. E-maiI：chenchi＿Iiesmars@foxmaiI.com

YANG Bisheng

P237

A

1001-1595（2015）05-0518-28

國家自然科學(xué)基金（41371431）；國家973計(jì)劃（2012CB725301）；教育部博士點(diǎn)基金（20120141110035）；南方電網(wǎng)公司重點(diǎn)科技資助（K-GD2013-030）

CHEN Chi，YANG Bisheng，PENG Xiangyang.Automatic Registration of Low Altitude UAV Sequent Images and Laser Point Clouds［J］.Acta Geodaetica et Cartographica Sinica，2015，44（5）：518-525.（陳馳，楊必勝，彭向陽.低空UAV激光點(diǎn)云和序列影像的自動(dòng)配準(zhǔn)方法［J］.測繪學(xué)報(bào)，2015，44（5）：518-525.）

10.11947/j.AGCS.2015.20130558

2013-11-08

陳馳（1989—），男，博士生，研究方向?yàn)榈涂諗z影測量與激光掃描點(diǎn)云數(shù)據(jù)處理。

楊必勝

修回日期：2014-05-05