面向無人機(jī)水域影像的自動(dòng)拼接方法

，，，

(1.中國礦業(yè)大學(xué)(北京) 地球科學(xué)與測繪工程學(xué)院，北京 100083；2.首都師范大學(xué)資源環(huán)境與旅游學(xué)院，北京 100048；3.中國科學(xué)院 遙感與數(shù)字地球研究所，北京 100094)

1 研究背景

水質(zhì)監(jiān)測是水質(zhì)評價(jià)與水污染防治的重要依據(jù)。及時(shí)獲取水質(zhì)災(zāi)害發(fā)生和發(fā)展的實(shí)時(shí)監(jiān)測信息，可以為當(dāng)?shù)卣陀嘘P(guān)部門提供實(shí)時(shí)的決策服務(wù)信息，對于防災(zāi)減災(zāi)具有重要意義。目前，我國常規(guī)的水質(zhì)監(jiān)測方法是采用在水域內(nèi)定點(diǎn)定剖面，長年累月進(jìn)行采樣分析。傳統(tǒng)檢測方法受到人力、物力和氣候條件的限制，采集的數(shù)據(jù)量較少、成本高、速度慢，而且主要針對局部地區(qū)水域水質(zhì)參數(shù)，不能反映大范圍整體水域水質(zhì)參數(shù)的分布情況[1]。遙感監(jiān)測技術(shù)具有監(jiān)測范圍廣、速度快、成本低和便于進(jìn)行長期動(dòng)態(tài)監(jiān)測的優(yōu)勢，所以遙感監(jiān)測技術(shù)的出現(xiàn)和發(fā)展為大范圍水質(zhì)監(jiān)測和研究開辟了新的途徑[2-3]。目前我國逐漸形成了一套完整的立體水體(陸地水、海洋)災(zāi)害監(jiān)視監(jiān)測系統(tǒng)。該系統(tǒng)具有監(jiān)測對象全方位化、監(jiān)測手段多樣化等特點(diǎn)，主要包括衛(wèi)星遙感、航空遙感、船舶監(jiān)測、浮標(biāo)監(jiān)測、岸基站監(jiān)測等[4-5]。

目前研究應(yīng)用較多的是衛(wèi)星遙感、航空遙感技術(shù)，但是因其成本高、實(shí)時(shí)性差等缺陷，很難提供及時(shí)監(jiān)測信息。而無人機(jī)遙感技術(shù)(Unmanned Aerial Vehicle)由于具有較強(qiáng)的機(jī)動(dòng)性、時(shí)效性等特點(diǎn)，可為災(zāi)情調(diào)查與應(yīng)急指揮等提供第一時(shí)間的資料，逐漸成為人們關(guān)注的熱點(diǎn)[6-7]。然而，無人機(jī)在航拍監(jiān)測地表和海洋水時(shí)，由于水域面積過于龐大，利用傳統(tǒng)的特征檢查算法不能提取到足夠的特征點(diǎn)，從而無法進(jìn)行快速正確的拼接。

本文對無人機(jī)拍攝的水域影像特征進(jìn)行深入研究，提出了優(yōu)化大面積水域圖像自動(dòng)拼接的方法。針對水域面積較陸地面積比例大、有效特征點(diǎn)過少的問題，利用SIFT和Harris算子共同提取特征點(diǎn)，獲得更多的特征點(diǎn)并使其滿足拼接需求。針對用于拼接的圖像完全是水域的情況，利用無人機(jī)攜帶的POS數(shù)據(jù)對圖像進(jìn)行幾何糾正，并根據(jù)反算出的影像投影中心坐標(biāo)實(shí)現(xiàn)航帶的自動(dòng)拼接。

2 試驗(yàn)關(guān)鍵技術(shù)

2.1 SIFT和Harris特征點(diǎn)提取

在圖像配準(zhǔn)領(lǐng)域中，特征點(diǎn)檢測的算法很多，如：Moravee，Harris，SUSAN，SIFT及其改進(jìn)算法等。本文在研究陸地和水域共存的影像時(shí)(陸地面積占比例較小，水域面積占比例較大)，主要利用尺度不變性算子SIFT檢測特征點(diǎn)，同時(shí)輔助Harris算子提取角點(diǎn)作為補(bǔ)充。

SIFT(Scale Invariant Feature Transform)算法的核心思想主要分為4步：①在DOG(Difference-of-Gaussian，高斯差分)尺度空間初步檢測特征點(diǎn)(極值點(diǎn))；②精確確定關(guān)鍵點(diǎn)(Key points)的位置和所處尺度，刪除低對比度的點(diǎn)及邊緣點(diǎn)；③使用鄰域梯度的主方向作為該點(diǎn)的方向特征，生成SIFT特征向量；④相似性判斷，SIFT特征點(diǎn)匹配[8]。該算法是利用高斯差分函數(shù)來構(gòu)造尺度空間函數(shù)的，所以其檢測出的特征點(diǎn)是高斯差分函數(shù)的極值點(diǎn)，在圖像上反映的往往不一定是明顯的地形或地物點(diǎn)。同時(shí)SIFT 算法未考慮圖像的色彩信息，因此在利用該算法對無人機(jī)影像提取特征之前，需要將影像變?yōu)槿跋瘛?/p>

Harris算法的基本思想是：運(yùn)用圖像灰度的一階導(dǎo)數(shù)來估算自相關(guān)矩陣，當(dāng)某一像素點(diǎn)的自相關(guān)矩陣的特征值都非常大時(shí)，則認(rèn)為該點(diǎn)為角點(diǎn)。即若某點(diǎn)向任一個(gè)方向小小的移動(dòng)都會引起灰度的很大變化，則該點(diǎn)為角點(diǎn)[9]。該算法計(jì)算簡單，只用到了灰度的一階差分；同時(shí)也具有較高的穩(wěn)定性和魯棒性，可作為SIFT檢測特征點(diǎn)的補(bǔ)充。

圖1中，紫紅色的箭頭表示SIFT特征向量的主梯度方向，紅色的空心◇表示Harris角點(diǎn)。根據(jù)統(tǒng)計(jì)，用SIFT提取到35對特征點(diǎn)。增添了Harris角點(diǎn)補(bǔ)充后，共為54對特征點(diǎn)，大大提高了參與配準(zhǔn)的同名點(diǎn)數(shù)。但是，這里所檢測到的特征點(diǎn)中還包括一些錯(cuò)誤匹配以及用2種算法檢測到的相同點(diǎn)。

圖1 SIFT與Harris算子共同提取特征點(diǎn)

2.2 RANSAC算法剔除錯(cuò)誤匹配點(diǎn)

設(shè)定在檢測到的特征點(diǎn)樣本中，含有2種數(shù)據(jù)：①內(nèi)點(diǎn)(Inliers)，即可以被模型描述的數(shù)據(jù)；②外點(diǎn)(Outliers)，偏離正常范圍很遠(yuǎn)、無法適應(yīng)數(shù)學(xué)模型的數(shù)據(jù)，即所謂的噪聲。因此，需要將這些“外點(diǎn)”去除，從而減少變換矩陣的誤差，提高圖像的拼接效果。

在精匹配過程中，主要采用隨機(jī)抽樣一致性檢驗(yàn)算法RANSAC(Random Sample Consensus)[10]，它可以有效剔除50%左右的錯(cuò)誤點(diǎn)。其具體步驟如下：

(1) 計(jì)算粗匹配中每對同名特征點(diǎn)的距離l，即

dx=x-x′,dy=y-y′ 。

(1)

式中，(x,y)和(x′,y′)為一對同名特征點(diǎn)。

(2) 以3σ0為閾值，若一對同名點(diǎn)的l>3σ0，則刪除該同名點(diǎn)，σ0為中誤差，即

(2)

式中：n為特征點(diǎn)樣本個(gè)數(shù)；P為單位矩陣。

2.3 利用仿射變換進(jìn)行圖像拼接

設(shè)給定參考影像和需要配準(zhǔn)的影像分別為f(x,y)和f′(x,y)，其中特征點(diǎn)所對應(yīng)的像素坐標(biāo)分別為(x,y)和(x′,y′)，二者之間存在近似的幾何關(guān)系：

(3)

其中，a1,a2,a3,a4,b1,b2為仿射變換參數(shù)。

由式(3)可知，仿射變換參數(shù)有6個(gè)未知量，需要至少3對特征點(diǎn)來求解這6個(gè)未知數(shù)。那么，就需要在參考圖像和待配準(zhǔn)圖像之間尋找若干組同名點(diǎn)(即特征點(diǎn))。然后再將這些同名點(diǎn)的坐標(biāo)分別代入式中等號左右兩側(cè)，求解未知數(shù)。但是，由于特征點(diǎn)檢測時(shí)會受到各種因素——如噪聲、處理步驟等的影響，導(dǎo)致提取到的特征點(diǎn)位置不夠精確。所以，在實(shí)際處理過程中，應(yīng)該盡可能擴(kuò)大參與計(jì)算的特征點(diǎn)對數(shù)，以減小各種因素的影響，提高參數(shù)求解的精度。若已知的特征點(diǎn)對數(shù)足夠大時(shí)，利用最小二乘法可以高效地求解仿射變換參數(shù)。

2.4 基于POS的圖像拼接

POS(Position and Orientation System)系統(tǒng)產(chǎn)生于20 世紀(jì)90 年代，由IMU(慣性測量裝置)和GPS(全球定位系統(tǒng))組合而成。無人飛機(jī)搭載POS系統(tǒng)，記錄無人機(jī)飛行過程中的位置和姿態(tài)等信息，為攝像相片提供了外方位元素信息。但是，由于無人機(jī)航拍受風(fēng)力氣象條件、載荷限制等因素影響，不能搭載高精度GPS，機(jī)載原始 POS數(shù)據(jù)通常含有大量粗差。若直接利用原始 POS 數(shù)據(jù)進(jìn)行地理定位不能滿足實(shí)際需求。但是，對原始POS數(shù)據(jù)進(jìn)行糾正后可以用來輔助圖像拼接，為應(yīng)對突發(fā)事件提供較好幫助。

由于無人機(jī)拍攝的影像重疊率較高，對其適當(dāng)?shù)剡M(jìn)行“抽稀”處理，不會影響其拼接效果，反而一定程度上能夠提高拼接精度[11]。無人機(jī)在起飛、降落、轉(zhuǎn)彎、受風(fēng)力影響顛簸等情況下，拍攝的圖像均有較大的畸變，而這些從記載的POS數(shù)據(jù)中均可反映出來(如表1)。表1中，觀察序號121—124的部分，發(fā)現(xiàn)ω，φ，κ3個(gè)角度值均發(fā)生較大的變化，此時(shí)飛機(jī)正處于轉(zhuǎn)彎，需要將此部分的影像剔除。此外，還需要進(jìn)行重疊度(55%≤航向重疊度< 90%，20%≤旁向重疊度<50%)、旋偏角(左、右≤12°)、彎曲度(≤5°)、相鄰相片高度差的檢查，將存在異常的數(shù)據(jù)記錄并剔除，作為后備輔助數(shù)據(jù)。

表1 無人機(jī)POS定向數(shù)據(jù)

利用POS數(shù)據(jù)進(jìn)行影像拼接的主要思想是：每張影像的圖像坐標(biāo)與其對應(yīng)的大地坐標(biāo)間的相對位置關(guān)系是不變的。已知每張圖像的尺寸(長、寬)，利用POS數(shù)據(jù)，根據(jù)圖片的長和寬，計(jì)算出每張影像攝影中心的坐標(biāo)，從而計(jì)算圖像4個(gè)角點(diǎn)的坐標(biāo)。根據(jù)每張影像的角點(diǎn)坐標(biāo)，得出相鄰影像之間的相對關(guān)系，從而完成航帶之間的拼接。

在WGS84地心坐標(biāo)系下，將攝影中心的大地坐標(biāo)(B,L,H)轉(zhuǎn)換成空間直角坐標(biāo)(XS,YS,ZS)，

(4)

其中:N為卯酉圈曲率半徑[12];B,L,H分別表示POS數(shù)據(jù)中的緯度、經(jīng)度和高程。

圖2顯示的是海面油污的監(jiān)測情況。左側(cè)為無人機(jī)拍攝的相鄰時(shí)刻的2張影像，右側(cè)圖為基于POS數(shù)據(jù)拼接后的影像。其中，紅色圈出的部分為海上監(jiān)測船。

圖2 利用POS數(shù)據(jù)對水域圖像進(jìn)行拼接

3 試驗(yàn)流程及應(yīng)用案例

3.1 試驗(yàn)流程

首先，對無人機(jī)影像進(jìn)行預(yù)處理，選擇飛行質(zhì)量較好的影像作為數(shù)據(jù)源。傳統(tǒng)的拼接過程主要包括4個(gè)步驟：特征點(diǎn)檢測、消除錯(cuò)誤匹配點(diǎn)、計(jì)算變換模型、重采樣拼接圖像。然而，針對水域影像的特殊性，該方法并不完全適用。本試驗(yàn)針對以下2種情況，設(shè)計(jì)了拼接方案(如圖3)。

圖3 雙片的拼接流程

3.1.1 水域與陸地共存的影像

針對這種情況(陸地面積占比例較小，水域面積占比例較大)，主要利用SIFT算子和Harris算子共同檢測特征點(diǎn)。用RANSAC算法消除錯(cuò)誤匹配點(diǎn)。利用仿射變換完成圖像拼接。

3.1.2 完全水域的影像

針對這一情況，利用POS數(shù)據(jù)，首先計(jì)算出攝影中心的空間直角坐標(biāo)。然后，利用中心投影的共線方程式，計(jì)算出每張影像4個(gè)角點(diǎn)的地面坐標(biāo)，從而完成圖像拼接。

3.2 應(yīng)用實(shí)例

我國近海岸區(qū)域情況復(fù)雜，聚集了眾多的港口、 碼頭、 臨海工礦企業(yè)、 水產(chǎn)養(yǎng)殖、 入海河流及排污口，污染事故的發(fā)生比較頻繁。當(dāng)事故發(fā)生后，可利用無人機(jī)機(jī)動(dòng)靈活性獲得受災(zāi)區(qū)域的整體影像，通過對該影像的快速自動(dòng)拼接，從宏觀上了解災(zāi)情狀況。同時(shí)，由于POS數(shù)據(jù)具有定位信息，可以根據(jù)圖片位置坐標(biāo)從而粗略定位到災(zāi)情較嚴(yán)重區(qū)域，從而為應(yīng)急指揮及處理方案設(shè)定提供了極為有效的第一手資料。

根據(jù)上述實(shí)驗(yàn)設(shè)計(jì)思路，選取我國某處近海岸無人機(jī)航拍的2條航帶影像為數(shù)據(jù)來源進(jìn)行自動(dòng)拼接試驗(yàn)，選擇VC6.0+OpenCV1.0進(jìn)行編程，通過計(jì)算機(jī)自動(dòng)完成一條航帶的拼接。然后通過人工交互的方法，完成航帶的旁向拼接。如圖4所示，圖中紅色圈出的部分為海面上的污染油污。根據(jù)紅色區(qū)域，可以從宏觀上了解感興趣區(qū)域(AOI)的情況，從而快速分析決策。

圖4 利用無人機(jī)拼接影像對近海岸油污情況監(jiān)測

4 結(jié) 語

本文利用傳統(tǒng)的SIFT和Harris特征檢測算法，配合無人機(jī)攜帶的POS定位數(shù)據(jù)實(shí)現(xiàn)了大規(guī)模水域圖像的計(jì)算機(jī)自動(dòng)拼接，便于研究人員從宏觀上掌握感興趣區(qū)域的情況。在應(yīng)對突發(fā)事件時(shí)，應(yīng)急人員可利用本試驗(yàn)方法在第一時(shí)間內(nèi)從宏觀上了解災(zāi)情，迅速作出決策。應(yīng)用實(shí)例表明，本研究在無人機(jī)遙感技術(shù)水質(zhì)監(jiān)測領(lǐng)域具有較好的實(shí)用價(jià)值。

參考文獻(xiàn)：

[1] 張淵智,聶躍平,藺啟忠，等.表面水質(zhì)遙感監(jiān)測研究[J] .遙感技術(shù)與應(yīng)用, 2000, 15(4):214-219. (ZHANG Yuan-zhi, NIE Yue-ping, LIN Qi-zhong,etal. Surface Water Quality Monitoring Using Remote Sensing[J]. Remote Sensing Technology and Application, 2000, 15(4):214-219. (in Chinese))

[2] 張 華,曾光明,李忠武，等. 內(nèi)陸水環(huán)境污染監(jiān)測的多時(shí)相遙感信息模型[J] . 中國環(huán)境監(jiān)測, 2005,21(5):63-68. (ZHANG Hua, ZENG Guang-ming, LI Zhong-wu,etal. Multi-temporal Remote Sensing Information Model for Pollution Monitoring of Inland Water[J]. Environmental Monitoring in China, 2005, 21(5): 63-68. (in Chinese))

[3] 于德浩,王艷紅,鄧正棟，等. 內(nèi)陸水體水質(zhì)遙感監(jiān)測技術(shù)研究進(jìn)展[J]. 中國給水排水,2008, 24(22):12-16. (YU De-hao, WANG Yan-hong, DENG Zheng-dong,etal. Research Progress in Remote Sensing Technology for Inland Water Quality Monitoring[J]. China Water & Wastewater, 2008, 24(22): 12-16.(in Chinese))

[4] 楊敏華,胡慧萍. 試談遙感發(fā)展與農(nóng)業(yè)信息獲取[J].遙感信息,2000, (4):44-46. (YANG Min-hua, HU Hui-ping. On the Development of Remote Sensing and Agricultural Information Acquisition [J]. Remote Sensing Information, 2000, (4): 44-46. (in Chinese))

[5] 張文宗,王云秀,魏立濤,等. 河北省海洋災(zāi)害遙感動(dòng)態(tài)監(jiān)測系統(tǒng)簡介[J]. 自然災(zāi)害學(xué)報(bào),2007,16(3):76-80. (ZHANG Wen-zong, WANG Yun-xiu, WEI Li-tao,etal. Brief Introduction of Remote Sensing Dynamic Monitoring System for Oceanic Disaster in Hebei Province[J]. Journal of Natural Disasters, 2007, 16(3): 76-80. (in Chinese))

[6] 王雅萍.UAV影像自動(dòng)配準(zhǔn)與拼接方法研究[D].昆明:昆明理工大學(xué),2010. (WANG Ya-ping. Automatic Registration and Mosaic Methods for UAV Images[D]. Kunming: Kunming University of Science and Technology, 2010. (in Chinese))

[7] 金 偉,葛宏立,杜華強(qiáng), 等，無人機(jī)遙感發(fā)展與應(yīng)用概況[J]. 遙感信息，2009, (1): 88-92. (JIN Wei, GE Hong-li, DU Hua-qiang,etal. A Review on Unmanned Aerial Vehicle Remote Sensing and Its Application[J]. Remote Sensing Information, 2009, (1): 88-92. (in Chinese))

[8] LOWE D G. Distinctive Image Features from Scale-Invariant Key Points[J]. International Journal of Computer Vision, 2004, 60(2): 91-110.

[9] HARRIS C, STEPHENS M. A Combined Corner and Edge Detector[C]∥Proceedings of the 4th Alvey Vision Conference, Manchester, UK, August 31-September 2, 1988: 147-151.

[10] FISHIER M A, BOLES R C. Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography[J]. Communications of the ACM, 1981, 24(6): 381-395.

[11] 何 敬,李永樹,魯 恒.無人機(jī)影像拼接誤差實(shí)驗(yàn)研究[J]. 激光與光電子學(xué)進(jìn)展,2011,48(12):64-68. (HE Jing, LI Yong-shu, LU Heng. Experimental Study on UAV Image Stitching Error[J]. Laser & Optoelectronics Progress, 2011,48(12):64-68. (in Chinese))

[12] 張 勤,李家權(quán). GPS測量原理及應(yīng)用[M].北京:科學(xué)出版社,2007: 16-17. (ZHANG Qin, LI Jia-quan. GPS Surveying Principles and Applications[M]. Beijing: Science Press, 2007: 16-17. (in Chinese))