基于圖優(yōu)化的無人機視頻影像快速拼接技術與應用

李虹 曹琳 紀任鑫 陳軍鵬 宋亞婷 王永威

摘? 要：為實現(xiàn)災害復雜環(huán)境中無人機視頻影像的快速、優(yōu)質拼接，綜合利用無人機POS數(shù)據(jù)、圖像特征點提取和匹配技術，建立一種基于圖優(yōu)化技術的無人機視頻影像快速拼接方法，并選取典型高山峽谷區(qū)域開展應用試驗。試驗表明該方法可以實現(xiàn)航拍視頻的快速實時拼接，拼接后影像精度與線下后期拼接數(shù)據(jù)相差不大，很大程度上提高圖像拼接的效率。該文方法可以實現(xiàn)無人機航拍視頻快速拼接，滿足現(xiàn)場數(shù)據(jù)檢驗以及其他快速應急響應的需求，在災害應急保障與救援中有重要應用意義。

關鍵詞：無人機；影像快速拼接；圖優(yōu)化；確定關鍵幀；特征點提取

中圖分類號：V279+.2? ? ? 文獻標志碼：A? ? ? ? ? 文章編號：2095-2945（2024）06-0007-05

Abstract： In order to realize the fast and high quality mosaic of UAV video images in complex disaster environment， a fast mosaic method of UAV video images based on graph optimization technology is established by comprehensively using UAV POS data and image feature point extraction and matching technology， and typical mountain and canyon areas are selected to carry out application experiments. The experimental results show that this method can realize the fast real-time stitching of aerial video， and the image accuracy after stitching is similar to that of offline later stitching data， which improves the efficiency of image stitching to a great extent. This method can realize the rapid stitching of UAV aerial video， meet the needs of on-site data inspection and other rapid emergency response， and therefore has important application significance in disaster emergency support and rescue.

Keywords： UAV; fast image stitching; graph optimization; determining key frames; feature point extraction

隨著無人機遙感平臺系統(tǒng)和載荷技術的不斷發(fā)展，利用無人機獲取地面影像的數(shù)據(jù)，開展正射影像拼接和地表三維模型建立已成為應急測繪作業(yè)的主流方式。無人機作為一種新型航空遙感平臺，具備在人力無法進入的危險區(qū)域開展低空作業(yè)的優(yōu)勢，可以快速獲取地表的高分辨率圖像數(shù)據(jù)，能夠為抗震救災、應急救援及時提供數(shù)據(jù)支撐[1]。

利用無人機采集到的影像精度較高，但像幅較小，需進行影像拼接處理后才能獲得完整的測區(qū)影像。傳統(tǒng)的無人機正射影像拼接方法一般采取離線處理方式，利用攝影測量技術恢復地表的三維點云和單張照片對應的位置和姿態(tài)信息，進一步進行密集匹配獲取數(shù)字表面模型（DSM）和拼接后的正射影像（DOM）。但使用該方法進行影像拼接處理比較耗時，一般只針對相機拍攝的靜態(tài)圖像，所獲得影像成果主要用于災害后期的損失評估或地圖制作等測繪任務。為了能夠快速獲取拍攝區(qū)域大范圍監(jiān)測影像，滿足突發(fā)事件和災害發(fā)生時需要實時掌握災場環(huán)境數(shù)據(jù)的應急需求，往往通過無人機拍攝視頻數(shù)據(jù)進行實時傳輸，同時要求在無人機飛行時對數(shù)據(jù)進行實時拼接，以達到能夠快速查看災情區(qū)域的效果。

近年來，無人機航拍視頻快速拼接已成為無人機測繪領域的熱點研究問題[2]?，F(xiàn)有的無人機視頻拼接的主流算法有3類，雖然在應用場景上各具特色，但都有不足之處。其中應用領域最廣、使用頻率最高的圖像拼接方法是基于圖像特征點匹配，即通過提取匹配視頻圖像的特征點，快速計算視頻圖像間的變換參數(shù)，進而完成視頻的拼接。特征點提取算法最常用的有3種，分別為SIFT算法、SURF算法和ORB算法。SIFT算法（尺度不變特征變換）由Lowe[3]于1999年首次提出，因其對尺度變化、光照變化、旋轉等均有較好的魯棒性，至今為止仍是精度最高的特征之一。Bay等人在2006年提出了SURF算法，它是利用積分圖像加速卷積運算，使得運算速度有了很大提升。Ethan Rublee等人在2011年提出了ORB算法，它是在綜合FAST特征檢測與BRIEF特征描述的基礎上進行了優(yōu)化和改進[4]。但基于圖像特征點匹配的方法適用于圖像序列較短的情況，對于長時序的圖像序列會出現(xiàn)明顯的誤差累積效應，從而導致拼接效率降低。且該方法對圖像場景和特征點數(shù)量有較高要求，對于稀疏特征點或無特征點區(qū)域，拼接過程易中斷從而導致拼接失敗，特征點數(shù)量過多則會影響拼接效率。

直接利用無人機飛行時獲取的POS（Position and Orientation System）數(shù)據(jù)進行影像拼接也是常用的處理方式，該方法利用無人機自帶的POS系統(tǒng)獲取經緯高和姿態(tài)數(shù)據(jù)，然后基于共線條件方程求解每個像素對應的地理坐標，最后基于地理位置進行圖像拼接。該方法對無人機飛行獲取的POS數(shù)據(jù)精度要求較高，而在實際飛行過程中，由于災害現(xiàn)場環(huán)境較為復雜，獲取的POS數(shù)據(jù)精度存在不穩(wěn)定的問題，導致獲取的相鄰圖像存在明顯的錯位現(xiàn)象，使得拼接后的數(shù)據(jù)會出現(xiàn)明顯的接縫。還有一類影像拼接方法是先基于POS數(shù)據(jù)校正原始圖像獲取正射影像，然后通過特征提取和匹配來求解基準圖像和待配準圖像的幾何投影變換關系，最后通過坐標微調的方式對正射影像重新校正后再基于地理位置拼接圖像。但該方法依然存在系統(tǒng)偏差、速度較慢等問題。

本文從應急救援需求出發(fā)，為應對災害現(xiàn)場復雜惡劣環(huán)境導致飛行不穩(wěn)定造成的影像拼接問題，采用綜合利用多種信息的無人機視頻快速拼接方法進行影像拼接處理試驗。該方法以POS數(shù)據(jù)作為相機位置和姿態(tài)的初始值，利用關鍵幀圖像特征點提取和匹配結果來構建圖優(yōu)化的約束，然后基于圖優(yōu)化對位置和姿態(tài)進行更新，最后利用優(yōu)化后的位置和姿態(tài)完成圖像的快速拼接。

1? 影像快速拼接方法

基于圖優(yōu)化技術的無人機視頻數(shù)據(jù)快速拼接方法是綜合利用圖像特征點提取和匹配、無人機POS數(shù)據(jù)及圖優(yōu)化技術，對視頻數(shù)據(jù)進行快速處理，能夠對無人機拍攝的視頻數(shù)據(jù)進行實時拼接。該方法實現(xiàn)主要包括3個關鍵步驟，即確定關鍵幀、特征點提取和匹配、圖優(yōu)化。確定關鍵幀的作用是從視頻數(shù)據(jù)中確定用于拼接的若干幀圖像數(shù)據(jù)，由于視頻的幀率較高，關鍵幀的確定可以降低計算的數(shù)據(jù)量；特征點提取與匹配的作用是利用匹配后的二維點對應信息來計算出相鄰圖像拍攝時的相對位置和姿態(tài)數(shù)據(jù)，用來作為圖優(yōu)化的邊；圖優(yōu)化對相機的位置和姿態(tài)信息進行優(yōu)化，每個相機的位置和姿態(tài)數(shù)據(jù)對應了圖優(yōu)化中的節(jié)點，圖像匹配的結果用來對節(jié)點進行調整。

基于圖優(yōu)化技術的無人機視頻數(shù)據(jù)快速拼接方法主要分為以下幾個步驟，技術流程如圖1所示。

1.1? 確定關鍵幀

在選定基準幀影像后，為了提高圖像拼接的效率，獲取滿足重疊度要求的影像對需要提取關鍵幀影像。判定當前幀圖像是否為關鍵幀的依據(jù)是當前幀與參考幀之間的重疊度[5]。在選定了重疊度和參考幀之后，計算當前幀與基準幀的重疊度，若重疊度滿足要求，則將當前幀選為關鍵幀，否則移動到下一幀，循環(huán)上述過程。在選定關鍵幀之后，再進行下一關鍵幀的提取[6]。

為提高關鍵幀的提取效率，本文采用的方法是利用POS數(shù)據(jù)、飛行高度數(shù)據(jù)以及相機標定參數(shù)來確定每張視頻圖像在地面上的覆蓋范圍，然后根據(jù)覆蓋范圍計算出圖像重疊度，最后根據(jù)航帶內以及航帶之間的圖像重疊度來判斷當前幀是否為一個關鍵幀。為了能夠達到較好的特征點匹配效果，關鍵幀的選取要保證相鄰的關鍵幀之間的重疊度達到一定的數(shù)值，比如航帶內的重疊度要求達到80%以上，不同航帶之間的重疊度要求達到30%以上。計算重疊度時，假設飛行高度不變，并且假設地平面沒有起伏，那么相鄰圖像對應的地表區(qū)域在XY平面上可以用矩形和來表示，重疊率的計算公式如下

式中：iou為重疊度；R1為采集圖像地表區(qū)域在X方向上的距離；R2為采集圖像地表區(qū)域在Y方向上的距離。

1.2? 特征點提取與匹配

特征點提取與匹配是圖像拼接的核心步驟，圖像配準的精度和速度直接影響了拼接的質量和實時性。本文主要是利用特征點提取算法從圖像中得到稀疏的特征點，然后利用特征點匹配建立相鄰圖片之間的特征點對應關系。本文采用ORB 算法進行特征點的提取，ORB算法是2011年由Ethan Rublee等人提出的[7]。它是在FAST特征檢測與BRIEF特征描述的基礎上提出的，并對其進行了優(yōu)化和改進。為了使FAST算法有一定的尺度不變性，ORB算法首先對圖像進行降采樣與尺度空間變化，然后構建金字塔影像，再在金子塔影像上進行特征點檢測，并構建特征描述子[4]。特征點提取之后需要用特征描述子對兩幅圖像進行粗匹配，粗匹配結果可能會出現(xiàn)大量的誤匹配點，嚴重影響之后的單應矩陣計算的準確度，為圖像拼接帶來難度。因此，需要將這些錯誤的匹配點剔除[8]。本文采用RANSAC算法對錯誤匹配對進行剔除，該算法能夠在包含異常數(shù)據(jù)的數(shù)據(jù)集中得到有效樣本數(shù)據(jù)。這些異常數(shù)據(jù)有可能來自錯誤的計算、測量的誤差等情況，例如圖像特征點匹配中出現(xiàn)的錯誤匹配對就是來自系統(tǒng)誤差和算法誤差。

利用特征點提取算法來從圖像中得到稀疏的特征點，然后利用特征點匹配來建立相鄰圖片之間的特征點對應關系。為了能夠和POS數(shù)據(jù)的尺度一致，需將特征點轉換為地面坐標。具體方法是根據(jù)相機的標定參數(shù)（焦距、主點、畸變系數(shù)），以及飛行的高度將特征點投影到地面。為了簡化運算以及后續(xù)的拼接，假設地表是平坦的，即所有的地面點的高程值是相同的。因此在計算相對位置和姿態(tài)時，只需要考慮平面上的平移和旋轉，這樣就將復雜的三維位置與姿態(tài)計算問題簡化為二維平移與旋轉。特征點提取和匹配技術流程如圖2所示。

1.3? 圖優(yōu)化

在基于圖像的三維重建中，往往需要將地面點的三維坐標，以及相機的位置和姿態(tài)一同進行優(yōu)化。當圖像的數(shù)量較多時，點云的數(shù)量也較大，導致優(yōu)化的速度較慢。圖優(yōu)化只對位置和姿態(tài)進行優(yōu)化，需要進行優(yōu)化的參數(shù)較少，運算量大幅降低，通常在幾次迭代后就可以收斂，因此圖優(yōu)化廣泛地應用于實時定位和建圖（SLAM）領域?；趫D優(yōu)化的SLAM算法的優(yōu)勢在于它可以消除長時間的誤差，使所建地圖更加精確等[9]。本文將圖優(yōu)化技術應用于無人機視頻影像的拼接，也能夠發(fā)揮獨特的優(yōu)勢。具體流程是：在得到關鍵幀數(shù)據(jù)后，以關鍵幀數(shù)據(jù)對應的拍攝位置和姿態(tài)作為未知數(shù)。每個圖像對應圖優(yōu)化中的一個節(jié)點（Node），相鄰圖像之間的相對位置和姿態(tài)作為圖優(yōu)化中的邊（Edge）。節(jié)點的位置和姿態(tài)的初始值來源于無人機飛行時的POS數(shù)據(jù)。當相鄰圖像的紋理較為豐富時，特征點數(shù)量較多而且匹配成功率較高，可以用來計算相對位置和姿態(tài)，用于構造圖優(yōu)化中的邊。當匹配不成功時，直接利用POS數(shù)據(jù)來計算相對位置和姿態(tài)。因此該方法能夠最大程度地利用圖像紋理信息對POS數(shù)據(jù)進行校正，當紋理不夠豐富或匹配不成功時，還可以利用POS信息來進行定位，并且不會出現(xiàn)拼接中斷的情況。圖優(yōu)化技術流程如圖3所示。

2? 試驗與分析

2.1? 試驗區(qū)概況

本文試驗區(qū)位于福建省福州市永泰縣，地處福建省東部、福州市西南部，因受火山作用強烈，又受后期喜山運動新構造升降和震蕩影響，境內群山林立、溝谷深切，大部分地區(qū)海拔在500 m以上，是典型的高山峽谷地形。該地區(qū)地形陡峭、高差大，巖石和土體容易失穩(wěn)下滑，從而誘發(fā)崩塌、滑坡等災害發(fā)生。同時，由于地形抬升作用，使得局地性暴雨頻發(fā)，也為泥石流和洪水孕育提供有利條件。試驗區(qū)現(xiàn)場如圖4所示。

2.2? 試驗數(shù)據(jù)獲取

試驗數(shù)據(jù)采集設備為KWT-X6M多旋翼無人機，續(xù)航時間為70 min，抗風能力7級，遙控器最大控制距離7 km，地面站最大控制距離10 km。該機型具有很強的環(huán)境適應性，可以在海拔5 000 m以上的高原地區(qū)開展測繪作業(yè)，并可在高濕、高熱、高腐蝕和高鹽等惡劣環(huán)境下正常使用。無人機所掛載的相機型號為KWT-4K-30X，該設備具有30倍光學變焦、829萬像素高清鏡頭，視頻輸出分辨率最高為1 920×1 080 P/60。數(shù)據(jù)采集設備如圖5所示。

根據(jù)試驗區(qū)周邊環(huán)境，選定平坦開闊區(qū)域作為起降點，保證無人機起飛和降落時四周視野開闊，周邊障礙物的高度角不能大于15°，并且對GNSS信號接收不產生影響[10]。本次試驗起降點選定在福州市永泰縣城以南，嶺路鄉(xiāng)與莆田市涵江區(qū)交界處，坐標為25.806°N～118.950°E，距離永泰縣城13 km2，最高海拔1 130 m。測試當天永泰縣最高氣溫34 ℃，最低氣溫26 ℃，風力1～2級，東北風。無人機進行飛行作業(yè)前首先對周邊1 000 m范圍區(qū)域進行航線規(guī)劃，航線規(guī)劃區(qū)域內包含建筑物、道路、植被等典型地物。通過對無人機獲取的數(shù)據(jù)進行拼接處理后，可以對比拼接成果中不同類型典型地物檢查拼接效果，航線規(guī)劃如圖6所示。本次試驗通過2個架次飛行獲取測試數(shù)據(jù)，分別獲取實時成圖影像和后期拼接對比數(shù)據(jù)。

2.3? 試驗結果與分析

本次試驗通過無人機飛行獲取的視頻數(shù)據(jù)、POS數(shù)據(jù)、飛行高度數(shù)據(jù)以及相機標定參數(shù)等數(shù)據(jù)，綜合運用圖像特征點提取和匹配、圖優(yōu)化技術實現(xiàn)無人機視頻影像的快速拼接。按照規(guī)劃航線實施航測任務，飛行過程中最大爬升高度為107.463 m，飛行速度6 m/s，航向重疊率75%，旁向重疊率85%，測區(qū)面積約0.13 km2，飛行時間5 m/43 s，共獲取影像32張。實時拼接成果與后期拼接成果如圖7所示。

經測試，利用圖優(yōu)化技術實現(xiàn)無人機視頻快速拼接成圖方法能夠完整呈現(xiàn)測區(qū)實時成圖影像，且成圖速度較快，實時成圖時延小于等于8 s，符合測試指標。通過與后期拼接成果對比可以得出，無人機視頻影像實時拼接會導致精度有一定損失，但紋理特征明顯。同時，通過選取建筑物、道路等典型地物，對單幅影像拼接效果進行細節(jié)對比，可檢查實時拼接成果定位精度及角度偏移程度。拼接效果局部對比如圖8所示。從局部對比圖中可以看出，實時成圖影像拼接位置基本無偏移，圖幅定位較為準確；拼接影像角度受飛行姿態(tài)影響有輕微偏移，但對數(shù)據(jù)質量影響不大。綜上所述，該方法能夠在保證一定數(shù)據(jù)質量的前提下大幅度提高數(shù)據(jù)獲取的時效性，可滿足應急救援實際需求，為指揮人員提供數(shù)據(jù)支撐。

3? 結束語

本文為滿足突發(fā)事件和災害發(fā)生時能夠實時掌握災場環(huán)境數(shù)據(jù)的應急需求，針對無人機獲取的航拍視頻提出了一種基于圖優(yōu)化技術的視頻影像快速拼接方法。該方法通過確定關鍵幀、特征點提取和匹配、圖優(yōu)化等關鍵技術可實現(xiàn)對無人機視頻影像的快速拼接。本文選取位于福建省永泰縣的典型高山峽谷區(qū)域開展應用試驗，通過無人機飛行2個架次分別獲取實時成圖影像和后期拼接對比數(shù)據(jù)，經過數(shù)據(jù)處理后，對無人機視頻影像實時拼接成果與后期拼接成果進行對比分析，試驗結果表明如下。

1）該方法充分利用POS信息和圖像特征信息來進行視頻影像快速拼接，綜合多種數(shù)據(jù)的優(yōu)勢，能夠提高拼接的效率和精度。

2）該方法可以實現(xiàn)無人機航拍視頻的快速拼接，滿足快速應急響應的需求，能夠在災害應急保障與救援中發(fā)揮重大作用。

3）該方法應用在復雜的災場環(huán)境中仍存在不足之處，實時拼接影像角度受飛行姿態(tài)影響有輕微偏移；面對地形陡峭、高差較大的高山峽谷地區(qū)，無人機獲取的視頻影像對于三維位置和姿態(tài)的解算較平坦區(qū)域稍顯復雜，還值得進一步深入研究與驗證。

參考文獻：

[1] 鄭暉，姜城，孫敏，等.一種近實時的無人機視頻流拼接方法[J].地理與地理信息科學，2015，31（5）：1-5.

[2] 孟淑英.自動檢測拼接線的無人機視頻影像快速拼接方法[J].測繪通報，2013（5）：47-49.

[3] LOWE D G. Object Recognition from Local Scale-Invariant Features[C]//IEEE Computer Society， 1999.

[4] 陳武.無人機視頻影像拼接關鍵技術研究[D].南昌：南昌航空大學，2019.

[5] 任超鋒.航空視頻影像的正射影像制作關鍵技術研究[D].武漢：武漢大學，2014.

[6] 李含倫，李豐凱.低空視頻影像自適應關鍵幀提取與快速拼接[J].圖像與信號處理，2018，7（4）：179-190.

[7] 李慧，藺啟忠，劉慶杰.基于FAST和SURF的遙感圖像自動配準方法[J].國土資源遙感，2012（2）：28-33.

[8] 王陳東.低空無人機視頻實時處理關鍵技術研究[D].武漢：武漢大學，2018.

[9] 顏普，曹昊宇，雷為好.基于改進圖優(yōu)化的激光SLAM算法[J].安徽大學學報（自然科學版），2023，47（4）：35-41.

[10] 曾娟娟，劉娣，陳偉.無人機三維建模在土方計量中的應用——以湘潭荷塘交通樞紐項目為例[J].科技創(chuàng)新與應用，2023，13（18）：188-192.