基于雙無人機視頻拼接的水深測量方法研究

摘 要：本文將視頻拼接技術應用于近岸測深，將2架無人機捕獲的2個視頻作為輸入，采用統(tǒng)一的視頻拼接和防抖優(yōu)化，以獲得最佳的視頻拼接效果，同時采用基于線性關系的時間互相關分析方法，對獲取的全景視頻估算水深。在計算中，首先從全景視頻中選擇感興趣區(qū)域（ROI）并進行正射校正變換，以提取時間堆棧圖像。其次對信號進行濾波，以消除噪聲。最后將該方法應用于2架無人機，以獲得更寬的視場角，擴大測量區(qū)域，為測深算法提供有效的視頻輸入數(shù)據。

關鍵詞：無人機；視頻拼接；進岸測深

中圖分類號：P 642" " " " " " " " 文獻標志碼：A

水深是直接反映近岸地形的關鍵參數(shù)，然而在波浪運動、極端天氣和人類活動的影響下，近岸地形會經常發(fā)生變化[1]，使海/水岸帶管理面臨較大挑戰(zhàn)，因此需要及時測量近岸水深，并亟需一種能應用于實際工作的準確、便捷的測深方法[2]。傳統(tǒng)的水深測量方法主要利用浮標、聲納等設備，操作受限、成本較高，在復雜水域環(huán)境下測量精度不足[3-4]。隨著無人機技術的普及，應用雙無人機系統(tǒng)可以同時獲取水體表面和底部的信息，從而為水深測量提供更全面、立體的數(shù)據源。這種整合視覺信息的方法有望克服傳統(tǒng)方法的局限性，對水深進行高精度測量。本文通過2架無人機的應用案例證明了可以使用視頻拼接和波速反演算法從全景視頻中估計水深。

1 應用案例的視頻處理

1.1 視頻采集方案

視頻采集位置是一個面向西太平洋的沙質海岸。該地區(qū)在長岸方向上有約5km的海灘海岸線，在跨岸方向有一個顯著的地平線，可以觀察海浪。涌入的海浪傳播方向與海岸線間的夾角幾乎為0。該地點的波浪具有清晰的波峰線和理想的振幅。因此本文選擇該海灣作為圖像采集地點，并獲取1月—5月的該地點不同條件下淺水深區(qū)的無人機視頻。使用配有24mm焦距普通廣角鏡頭的無人機，將像素分辨率調整為FHD（1920 ppi×1080 ppi）。由于需要連續(xù)視頻，因此將捕獲視頻的幀速率設置為30f/s。為了更好地利用視頻并實現(xiàn)深度多點反演過程，無人機應部署得盡可能高，并確保無人機不超過安全可控的高度，因此將無人機懸停在60m～120m的高度，視頻時長為4min～15min。

1.2 視頻拼接和穩(wěn)定

在固定視角下，無人機拍攝的測深視頻通常受攝像機視場（FOV）的限制[5]。拼接視頻是增加攝像機水平視場的一種方法，適當增加另一個攝像機可以減少第一個攝像機偏置的影響[6]。為了穩(wěn)定輸入視頻，將視頻在空間上劃分為網格。在原始視頻中的相鄰幀間估計單個單應性Fi（t），其中i代表幀t處的網格，它是通過相鄰幀間的跟蹤特征來估計的，相機路徑可以定義為一系列連續(xù)單應性的乘法，如公式（1）所示。

Ci（t）=Fi（t）·Fi（t-1）…Fi（1），1≤t≤T，1≤i≤m2 （1）

式中：T為視頻文件中的幀數(shù)；m2為m×m網格的大小。

網格的局部變化通?？梢愿玫厝〉闷唇有Ч?。相機路徑可由KLT跟蹤來計算特征軌跡。給定原始路徑C={C（t）}，優(yōu)化路徑為P={P（t）}，特征軌跡如公式（2）所示。

（2）

式中：Ωt為第t幀的鄰域；數(shù)據項||Pi（t）?Ci（t）||2強制優(yōu)化路徑接近原始路徑、||Pi（t）?Pr（t）||2主要穩(wěn)定優(yōu)化路徑；λ和ωt，r均為權重系數(shù)，平衡上述2項，根據經驗，將λ設置為5。

通過2個高斯函數(shù)計算ωt，r，如公式（3）所示。

ωt，r=G（||r-t||）·G（||Ci（r）-Ci（t）||） （3）

如果所有網格都參與路徑優(yōu)化，則公式（3）轉化為公式（4）。

（4）

式中：P={Pi|1≤i≤m2}；j∈N（i）為網格j是網格單元i的鄰網格；Estable為穩(wěn)定性能量函數(shù)，它的作用是通過優(yōu)化過程中的能量項來確保系統(tǒng)的穩(wěn)定性。

視頻拼接是為了創(chuàng)建更寬的FOV，假設P A和P B分別是視頻A和視頻B生成的優(yōu)化路徑，H是用于拼接2個視頻的單個單應性。對于拼接過程，公式（5）、公式（6）的優(yōu)化算法可以同時實現(xiàn)拼接和穩(wěn)定。

E（PA，PB，H）=Estable（PA）+Estable（PB）+β·Estitch（PA，PB，H） （5）

（6）

式中：vkA（t）和vkB（t）分別為在視頻A和視頻B的t幀處，通過傅里葉變換計算的第k個特征點；i和j分別為特征點vkA（t）和vkB（t）所在的網格；Estitch（P A，P B，H）為使用傅里葉變換來拼接幀。

基于上述原則，本文規(guī)劃了2條飛行路線，并根據相機鏡頭參數(shù)，將2架無人機間的距離從100m合理調整到130m。2架無人機的飛行參數(shù)見表1。

1.3 正射校正和背景識別

正射校正是對影像進行幾何畸變糾正的一個過程，逐幀提取感興趣區(qū)域（ROI），每個圖像的正射校正主要包括3個階段。1）通過地面控制點確定ROI的真實坐標。2）確定像素分辨率。3）計算ROI像素坐標。4）將這些像素重新組織成完整的圖像，以便輸入算法?？紤]復雜的相機運動，背景識別通過在連續(xù)幀的特征流上聚類和識別背景點，實現(xiàn)視覺里程計的作用，并提取出圖像中的前景點，如圖1所示。

由于無人機可能會受機械振動和強風等環(huán)境因素的影響，每幅圖像的特征參數(shù)都需要求解一次，如公式（7）所示的位置信息（xw、yw、zw）和相機歐拉角。

（7）

將黑白相間的紙張作為地面控制點，以便在每一幀中對其進行快速識別。由于無人機攜帶的慣性測量單元（IMU）和GPS定位模塊的數(shù)據可能不是最準確的，會導致相機外在參數(shù)估計困難，因此在后續(xù)的識別中，需要通過靜態(tài)或簡單的相機運動、顏色閾值分類或模板匹配來確定地面控制點的像素坐標。而背景識別是一種有效的方法，可在連續(xù)幀的特征流上聚類和識別背景點，背景點的運動與相機運動非常接近，可以作為視覺里程計，從幀間的背景點計算相機的運動路徑。

2 信號提取

在理想情況下，波浪可以近似為多個正弦波的疊加。然而，海面上存在許多與海浪運動無關的短風浪，表明像素強度信號有大量噪聲與水深無關。此外，如果不對原始信號進行適當處理，就很難在各種其他不確定因素的共同作用下從下采樣圖像中直接獲得可用信號。因此，需要對信號進行3次濾波，得到與水深相關的信號分量。波的運動特性可以通過像素波動直接反映出來，像素強度信號可以從一系列正射校正圖像中提取，某指定樣帶的時間堆棧圖像如圖2所示。第一次濾波通過圖像濾波方法消除短風波等高頻噪聲，高斯低通濾波器可以顯著降低像素強度波動。第二次濾波應擺脫由光學噪聲等產生的不相關因素的影響，帶通濾波器將截取頻率范圍為0.05Hz～0.5Hz的像素強度信號，并通過快速傅里葉變換截斷上述頻段之外的信號。第三次濾波提取信號的主頻率分量，以強調不同信號間的相關性。

3 深度的估計

經過正射校正后，波浪傳播方向基本垂直于海岸線。根據是否能完整反映波浪的傳播特性，使用時間延遲法來確定波速的最佳范圍，將時間滯后Δt固定為3s，然后選擇一個參考像素位置i，從1到i-1（0m～149m）的所有相鄰像素位置j都參與相關系數(shù)的計算，如公式（8）所示。

Cor（xij，yij）=〈I（xi，yi，t），I（xj，yj，t+?t）〉 （8）

對于跨岸方向的每個像素，將正相關系數(shù)最大的點與參考像素間的距離視為波速估計的合適范圍，再通過線性擬合方法確定波速，最后將波速乘以時間，即為水深。

4 測深結果

4.1 不同數(shù)量無人機的測深結果

為了取得基準測深結果，使用帶有RTK-GPS和單波束聲納系統(tǒng)的無人遙控船執(zhí)行測深任務?；趩蝹€無人機的測深結果如圖3所示，其測量的長岸范圍為0m～100m。

為了實現(xiàn)雙無人機測深，本文選擇比單無人機更大的ROI區(qū)域，其長岸為0m～200m。本文算法和傳統(tǒng)算法水深測繪的結果如圖4所示，2種算法的試驗拼接結果總體吻合較好，因為它們都是基于線性色散關系求解的水深，證明了本文所提拼接算法的有效性。

此外，本文還計算了全局均方誤差（MSE）和全局均方根誤差（RMSE），分別為0.37m2和0.60m。均方誤差和長岸線的關系如圖5所示。從圖5可以看出，約50m和200m海岸的深度曲線非常不一致，這可能是與相機的距離較遠造成的。由于在視頻拼接過程中增加了一個攝像頭，另一個攝像頭的整流偏差需要在一定程度上得到補償，例如波浪通常單獨影響相機A結果誤差，而相機B通常需要利用其與相機A的距離來補償相機A的整流偏差。因此，為了進一步降低視頻拍攝時整流偏差的影響，應根據現(xiàn)場調整相機歐拉角度和相機距離。

由單個無人機和雙無人機的測深對比結果可以看出，基于雙無人機的視頻拼接方法可以創(chuàng)建更寬的視場，以擴大測量區(qū)域，可為測深算法提供有效的輸入數(shù)據。

4.2 討論

雖然4.1節(jié)的結果表明，該方法能夠合理地實現(xiàn)基于視頻拼接的測深測繪算法，但該方法存在的問題及其適用性仍需要做進一步探討。為了獲得最終的全景視頻，通過公式（5）、公式（6）中估計的拼接和穩(wěn)定變量對輸入視頻進行變換。然而前景圖像容易被誤識別，造成該結果的主要原因是相機歐拉角度相近、距離相對較短的2臺相機間存在輕微的視差偏差。

5 結論

本文提出了一種利用無人機視頻拼接的近岸測深測量方法，通過引入第二架無人機來彌補無人機測深測繪的不足。結果表明，該方法通過拼接2架無人機拍攝的視頻，擴大了無人機測繪的水平視場角。此外，在提高測量效率的同時，還解決了校正偏差影響測繪結果的部分問題，可為測深算法提供有效的技術支持。

參考文獻

[1]潘文俊.基于色散關系的無人機淺海水深自主測繪系統(tǒng)研究[D].廣州：華南理工大學，2021.

[2]鄭鵬，張華，潘子英，等.多波束測深聲吶成像仿真及作用距離分析[J].數(shù)字海洋與水下攻防，2023，6（6）：664-669.

[3]郭孝祖.基于ICESat-2和Sentinel-2的淺水測深研究[D].南京：南京信息工程大學，2023.

[4]高敬涵，李道京，周凱，等.共形衍射光學系統(tǒng)機載激光雷達測深距離的分析[J].激光與光電子學進展，2021，58（12）：67-74.

[5]姚贇.無人機多路航拍視頻拼接方法研究[D].西安：西安理工大學，2023.

[6]劉臺，胡斌，田進龍，等.全景視頻實時拼接技術研究與實現(xiàn)[J].移動通信，2023，47（2）：69-76.