基于無人機視頻流的實時拼接方法研究

摘" 要： 針對無人機視頻流的實時拼接方法進行深入研究，提出一種多線程并行處理的無人機視頻實時拼接方法，主要解決無人機視頻流實時拼接問題。該方法充分利用計算機并行運算的特點，將視頻實時拼接工作分解成多線程工作模式，主要由圖像配準線程、非線性優(yōu)化線程、閉環(huán)檢測線程、圖像拼接線程組成，其中圖像配準線程實現(xiàn)對視頻關(guān)鍵幀的自適應(yīng)提取和配準，包括特征點檢測、特征點匹配、圖像粗配準；非線性優(yōu)化線程完成對拼接參數(shù)模型的動態(tài)優(yōu)化以最小化配準誤差，及時修正實時配準引入的誤差；閉環(huán)檢測線程檢測當前幀與歷史幀存在的閉環(huán)圖像對，通過閉環(huán)圖像對進行非線性全局優(yōu)化以最小化全局配準誤差；圖像拼接線程則根據(jù)優(yōu)化后的配準參數(shù)動態(tài)生成拼接影像。通過4組實驗數(shù)據(jù)驗證了該方法的有效性和實用性，能有效消除多幀拼接的累積誤差，實現(xiàn)對無人機視頻流的實時拼接。

關(guān)鍵詞： 無人機視頻； 多線程； 并行處理； 圖像配準； 非線性優(yōu)化； 閉環(huán)檢測； 累積誤差； 實時拼接

中圖分類號： TN911.73?34； TP231" " " " " " " " " " 文獻標識碼： A" " " " " " " " "文章編號： 1004?373X（2024）23?0049?06

Research on real?time stitching based on UAV video streaming

LIU Bin1， LIANG Panpan1， LU Di2， JIN Ran1

（1. The Aviation Military Deputy Office of Army in Luoyang， Luoyang 471000， China;

2. The Aviation Military Deputy Office of Army in Zhuzhou， Zhuzhou 412000， China）

Abstract： The real?time stitching method of UAV video stream is studied in depth， and a UAV video stream real?time stitching method based on multi?threaded parallel processing is proposed， which aims to cope with the difficulties of real?time stitching of UAV video stream. This method decomposes the real?time video stitching into a multi?threaded working mode by using the characteristic of computer parallel computing fully. The multi?threaded working mode is mainly composed of image registration thread， nonlinear optimization thread， closed?loop detection thread and image stitching thread. The image registration thread realizes the adaptive extraction and registration of video key frame， including feature point detection， feature point matching and image rough registration. The nonlinear optimization thread completes the dynamic optimization of the stitching parameter model to minimize the registration error and correct the error generated by real?time registration timely. The closed?loop detection thread detects the closed image pairs existing in the current frame and the historical frame， and performs nonlinear global optimization on the closed image pairs to minimize the global registration error. The image stitching thread generates the stitched image dynamically according to the optimized registration parameters. The validity and practicability of the method are verified by four groups of experimental data. It can be seen that the proposed method can eliminate the cumulative error of multi?frame stitching effectively and realize the real?time stitching of UAV video stream.

Keywords： UAV video; multithreading; parallel processing; image registration; nonlinear optimization; closed?loop detection; accumulated error; real?time stitching

0" 引" 言

近年來，隨著無人機技術(shù)的不斷發(fā)展，無人機已廣泛地應(yīng)用到戰(zhàn)場偵察[1]、災(zāi)害評估[2]、應(yīng)急測繪[3]、交通監(jiān)管等方面。在軍事上，大場景的拼接影像能夠為指揮員提供大范圍區(qū)域的戰(zhàn)場態(tài)勢[4]，幫助指揮員更好地掌握戰(zhàn)場的整體與局部細節(jié)情況，及時作出快速反應(yīng)，為目標打擊提供準確的情報信息；在民用領(lǐng)域，通過影像拼接可以得到地表的整體信息，實現(xiàn)對某一地區(qū)的整體監(jiān)測，或動態(tài)監(jiān)控災(zāi)害預警情況，使之在環(huán)境監(jiān)測、災(zāi)害評估等多個應(yīng)用領(lǐng)域發(fā)揮重要作用。

傳統(tǒng)基于無人機航拍影像的拼接系統(tǒng)[5]能夠較好地完成影像的拼接，常作為測繪級別地圖生產(chǎn)來采用，能提供較為完整的拼圖成果，不足是生產(chǎn)周期較長，并不適應(yīng)于應(yīng)急響應(yīng)或者情報偵查的快速成圖需求。文獻[6?7]提出了無人機實時拼接方法，但該方法高度依賴成像時刻的位置信息或外部硬件設(shè)備，并不能對任何航拍視頻進行拼接，具有較大的應(yīng)用局限性。

為滿足一般情況下的無人機視頻實時拼接需求，本文提出一種無人機視頻的實時拼接方法，主要包括：視頻幀特征檢測與匹配、關(guān)鍵幀選取、非線性配準參數(shù)優(yōu)化、閉環(huán)圖像對檢測、圖像拼接與地圖更新五個部分。系統(tǒng)首先對無人機視頻幀進行特征點檢測與匹配，運用關(guān)鍵幀選取機制提取關(guān)鍵幀圖像，將關(guān)鍵幀配準到二維地圖以創(chuàng)建當前環(huán)境的配準參數(shù)模型，進行局部的非線性優(yōu)化消除拼接誤差，并通過閉環(huán)檢測實時檢測閉環(huán)圖像對，利用閉環(huán)圖像對進行全局非線性優(yōu)化，優(yōu)化后的參數(shù)及時更新拼接圖像。

1" 算法的基本框架

本文提出的無人機視頻流實時拼接系統(tǒng)流程圖如圖1所示，輸入為無人機實時視頻流，通過以下四個任務(wù)線程處理，全自動實現(xiàn)無人機視頻流的實時拼接。

1） 視頻幀配準線程，完成視頻流關(guān)鍵幀的提取與跟蹤。實時跟蹤當前幀與參考幀的跟蹤強度，當檢測到當前幀與參考幀跟蹤強度較弱時，則新增關(guān)鍵幀為新的參考幀并啟動優(yōu)化線程局部優(yōu)化模式，否則繼續(xù)獲取下一幀視頻圖像進行處理。

2） 非線性優(yōu)化線程。當輸入為局部優(yōu)化模式時，則建立新增關(guān)鍵幀與關(guān)鍵幀序列關(guān)聯(lián)的特征匹配對，優(yōu)化新增關(guān)鍵幀配準參數(shù)，消除局部配準誤差，待局部優(yōu)化結(jié)束后啟動圖像拼接線程和閉環(huán)圖像對檢測線程；當輸入為全局優(yōu)化模式時，建立所有關(guān)鍵幀序列的特征匹配對，對所有關(guān)鍵幀序列和特征匹配對進行全局優(yōu)化以消除累積誤差，待全局優(yōu)化結(jié)束后啟動圖像拼接線程。

3） 閉環(huán)圖像對檢測線程。當完成配準參數(shù)局部非線性優(yōu)化后，則啟動閉環(huán)圖像對檢測線程，當發(fā)現(xiàn)當前新增幀與歷史關(guān)鍵幀存在閉環(huán)圖像對時，則啟動優(yōu)化線程全局優(yōu)化模式，否則退出當前線程。

4） 圖像拼接線程。獲取將所有關(guān)鍵幀序列配準參數(shù)，生成拼接圖像并刷新顯示，當拼接圖像大小超過一定上限后，則將拼接圖像保存在硬盤并重置拼接跟蹤線程，開始下一個視頻幀跟蹤，否則，繼續(xù)下一個視頻幀跟蹤。

2" 關(guān)鍵技術(shù)

無人機視頻流實時拼接關(guān)鍵技術(shù)主要包括關(guān)鍵幀提取算法、非線性優(yōu)化消除累積誤差、閉環(huán)圖像對檢測與優(yōu)化、拼接圖像輸出顯示等技術(shù)，對于一個實時運行的系統(tǒng)，采用多線程并行優(yōu)化也是系統(tǒng)實現(xiàn)的一個關(guān)鍵步驟，同時計算機硬件技術(shù)的發(fā)展也是支持無人機視頻實時處理的關(guān)鍵。

2.1" 關(guān)鍵幀提取

一個完整的關(guān)鍵幀提取過程包括特征點檢測、特征點匹配、圖像重疊度計算，通過圖像重疊度和匹配點連接強度來判斷當前幀是否為一個關(guān)鍵幀。

2.1.1" 視頻幀特征點檢測與匹配

特征點檢測與匹配是建立影像間幾何連接關(guān)系的關(guān)鍵環(huán)節(jié)，在眾多的特征點檢測算子中，為達到視頻處理的實時性，本文采用ORB算子[8]作為視頻幀的特征提取算子，采用BEBLID算子[9]作為特征描述符，使用漢明距離進行特征描述符距離計算，可有效提升匹配效率和匹配精度，進一步采用RANSAC算法[10]過濾匹配的外點。

2.1.2" 視頻關(guān)鍵幀提取

本文采用當前幀與參考幀重疊率[FOverlap]和匹配點跟蹤強度[TrackR]來判斷是否新增關(guān)鍵幀。假設(shè)當前幀與參考幀僅發(fā)生平移操作，其重疊率可以用平移參數(shù)表達，假設(shè)視頻幀在地圖投影區(qū)域為Rect，則重疊率[FOverlap]的計算公式如下：

[FOverlap=Recti?RectnRecti?Rectn，" " " FOverlap≥0.1] （1）

式中：[Recti]表示當前幀在地圖投影區(qū)域；[Rectn]表示參考幀在地圖投影區(qū)域；[?]表示投影重疊區(qū)域；[?]表示投影合并區(qū)域。

設(shè)參考幀的兩視圖最大匹配點數(shù)作為基數(shù)[N1]，當前幀與參考幀的匹配點為[N2]，則匹配點跟蹤強度的計算公式如下：

[TrackR=N2N1，" " "100≤N2≤400] （2）

當滿足以下條件之一時，則注冊當前視頻幀為新增的一幀關(guān)鍵幀圖像。

條件1：[FOverlap≤0.2，N2≤400]

條件2：[TrackR≤0.2，N2≤400]

條件3：[N2≤100]

2.2" 非線性優(yōu)化

2.2.1" 影像配準模型

無人機對地拍攝圖像以地面為參考平面，所有待拼接圖像通過一個圖像幾何變換配準到參考地平面。常見的圖像幾何變換有剛性變換、仿射變換、透視變換以及多項式變換等，考慮系統(tǒng)實時性和魯棒性要求，本文選擇剛性變換作為圖像配準變換模型。設(shè)圖像點[Xx，y，1]和地圖圖像點[Xx，y，1]，則經(jīng)剛性變換[T]后的變換公式為：

[X=xy1=cosθsinθtxsinθcosθty001xy1=TX] （3）

式中：[θ]為旋轉(zhuǎn)角；[tx]和[ty]為水平平移量和垂直平移量。點與點之間的歐氏距離保持不變，線與線之間的幾何關(guān)系不變。

2.2.2" 非線性最小化誤差優(yōu)化

對于[n]幅待配準影像，[mi]是影像[i]的匹配點數(shù)量，[Ti]和[Xij]為對應(yīng)影像的變換矩陣及匹配點，[X]是拼接后的地圖像素點，建立如下代價函數(shù)：

[argmin=i=1nj=1mid（TiXij，X）2] （4）

求解以上最小代價函數(shù)屬于非線性最小二乘問題，假設(shè)第[j]個地圖圖像點在第[i]張待拼接影像上的觀測點坐標為[（i， j）]，求解以上最小化投影誤差對應(yīng)的矩陣是圖像拼接的最優(yōu)矩陣。求解以上最小代價函數(shù)屬于非線性最小二乘問題，利用Levenberg?Marquardt算法[11]對式（4）進行參數(shù)化后迭代求解即可得到影像配準的變換矩陣，參數(shù)的初始化值由DLT算法[12]直接提供，當所有單元合并成一個整體時，將整個全區(qū)的誤差分散給參與運算的各個點，消除了累積誤差，從而保證了影像拼接的順利進行。本文采用Google公司發(fā)布的開源庫Ceres?Solver[13]完成非線性最小化優(yōu)化運算。

2.3" 閉環(huán)圖像對檢測與優(yōu)化

閉環(huán)檢測及優(yōu)化主要用于消除拼接系統(tǒng)的累積誤差，消除漂移以提升圖像拼接的配準精度，主要由創(chuàng)建關(guān)鍵幀詞袋模型、相似度計算、非線性全局優(yōu)化組成。

2.3.1" 構(gòu)建關(guān)鍵幀視覺字典

通過K?means聚類算法[14]對提取的BEBLID特征描述向量進行聚類生成視覺單詞，單詞集合便是一個視覺字典，可以用視覺字典來表征關(guān)鍵幀圖像。

對于關(guān)鍵幀圖像集[I=i1，i2，…，im]，每幀圖像提取的特征向量集合[D=d1，d2，…，dn]，K?means聚類簇數(shù)為[K]，構(gòu)建的視覺詞典為[C=c1，c2，…，cm]。具體步驟如下：

步驟1：從[D]中隨機選擇[K]個向量作為初始聚類中心[C=c1，c2，…，cK]。

步驟2：計算所有特征向量[D]與每個初始聚類中心[ci1≤i≤K]之間的歐氏距離，取最小值作為它們的歸類。

步驟3：重新計算每個簇的聚類中心。

步驟4：如果每個聚類中心變化小于設(shè)定的閾值，則算法收斂，否則，返回步驟2。

2.3.2nbsp; 相似性計算

在得到關(guān)鍵幀的視覺字典后，對每幀圖像構(gòu)建圖像描述向量，采用文本檢索的TF?IDF方法[15]構(gòu)建詞袋模型中的圖像描述向量。TF是指某單詞在一幅圖像中經(jīng)常出現(xiàn)的頻率，頻率越高區(qū)分度越高；IDF是指某單詞在字典中出現(xiàn)的頻率，越低區(qū)分度越高。

對于特征數(shù)量為[n]，單詞[ωi]在圖像中出現(xiàn)了[ni]次，則[TFi]和[IDFi]分別為：

[TFi=nni] （5）

[IDFi=lognni] （6）

單詞[ωi]的權(quán)重[μi]為[TFi]與[IDFi]之積：

[μi=IDFi×TFi] （7）

一幅圖像的特征點對應(yīng)多個單詞，組成向量[VA]，則有：

[VA=ω1， μ1，ω2， μ2，…，ωN， μN] （8）

圖像[A]與圖像[B]的差異為[s]，則：

[sVA-VB=2i=1NVAi+VBi-VAi-VBi] （9）

給定[s]的閾值，當[s]的絕對值小于閾值時即形成閉環(huán)，閾值的大小取決于訓練的數(shù)據(jù)集。

2.3.3" 閉環(huán)全局優(yōu)化

當檢測到可能的閉環(huán)圖像對后，進一步利用RANSAC算法[10]進行閉環(huán)圖像對特征匹配，并利用DLT算法[12]求解該關(guān)鍵幀與閉環(huán)處關(guān)鍵幀間的配準參數(shù)，從而完成對閉環(huán)信息的獲取，對所有影像配準參數(shù)按照式（4）最小化配準累積誤差，實現(xiàn)對配準參數(shù)的全局優(yōu)化，將整個全區(qū)的誤差分散給參與運算的每個點，從而消除累積拼接的系統(tǒng)誤差。

2.4" 多線程并行優(yōu)化

本文提出的無人機視頻實時拼接系統(tǒng)主要包括六個環(huán)節(jié)：數(shù)據(jù)獲取與預處理、圖像特征提取與匹配、關(guān)鍵幀提取、配準參數(shù)非線性優(yōu)化、閉環(huán)檢測與優(yōu)化、拼接圖像更新顯示組成。系統(tǒng)主要時間消耗發(fā)生在圖像特征提取與匹配、關(guān)鍵幀提取、非線性優(yōu)化以及地圖更新過程中。由于各處理模塊算法復雜度較高，采用串行任務(wù)結(jié)構(gòu)在實時性和執(zhí)行效率上存在很大的不足，存在的延時丟幀會造成關(guān)鍵幀提取失敗，從而導致拼接任務(wù)失敗。

為了有效提高算法的實時性和計算機資源的利用率，如圖2所示，本文采用多線程技術(shù)[16]將任務(wù)劃分為圖像配準線程、非線性優(yōu)化線程、閉環(huán)檢測線程、圖像拼接4個獨立線程。其中圖像配準線程實現(xiàn)對視頻關(guān)鍵幀的自適應(yīng)提取，包括實時圖像獲取、圖像特征的提取及其匹配、關(guān)鍵幀選?。环蔷€性優(yōu)化線程完成對關(guān)鍵幀配準參數(shù)的動態(tài)優(yōu)化及更新，該任務(wù)結(jié)束后觸發(fā)圖像拼接線程；閉環(huán)檢測優(yōu)化線程主要完成閉環(huán)圖像對的檢測與全局優(yōu)化和修正；圖像拼接線程主要完成二維地圖的生成、更新與顯示，他們在主內(nèi)存進行資源共享，同時采用互斥標志來防止資源共享時的線程沖突，對公共數(shù)據(jù)區(qū)采用加鎖保護機制以確保數(shù)據(jù)更新一致。

3" 實驗驗證

本文采用4組數(shù)據(jù)對提出的無人機視頻實時拼接方法進行測試驗證，算法運行在圖像處理工作站CoreTM i7?12700K 3.60 GHz，顯卡NVIDIA GTX1080，內(nèi)存64 GB的WIN10 64位操作系統(tǒng)，其中前3組數(shù)據(jù)采用FFmpeg庫[17]實現(xiàn)對視頻文件實時解碼，第4組數(shù)據(jù)采用視頻圖傳模塊實時獲取視頻流。

3.1" 實驗一

第一組數(shù)據(jù)是對某段河道的垂直拍攝，航拍時間10 min，采用大疆Phantom航拍系統(tǒng)拍攝，視頻分辨率為1 920×1 080，幀率為25 f/s，加載到系統(tǒng)進行實時拼接，共提取107 f關(guān)鍵幀，最終生成了像素大小為9 328×6 392的拼接圖像，拼接效果如圖3、圖4所示。

3.2" 實驗二

第二組數(shù)據(jù)是高空無人機對某片沙漠區(qū)域的航拍測試視頻，視頻分辨率為1 260×900，視頻幀率為10 f/s，整個拍攝過程存在劇烈的抖動，還存在丟幀、視頻拉花、屏幕字體干擾等問題，視頻時長90 s，加載到系統(tǒng)進行實時拼接，共提取了64 f關(guān)鍵幀，生成像素大小為10 668×7 032的拼接圖像，拼接效果如圖5所示。

3.3" 實驗三

數(shù)據(jù)取自懸停無人機對山地背景空中移動目標的追蹤拍攝視頻，視頻分辨率為640×360，視頻幀率為25 f/s，整個拍攝過程中直升機目標高速運動，攝像頭隨著目標快速轉(zhuǎn)動，視頻時長15 s，加載到系統(tǒng)進行拼接，提取了44 f關(guān)鍵幀，生成了像素大小為6 196×1 812的拼接圖像，拼接效果如圖6所示。

3.4" 實驗四

第4組數(shù)據(jù)是對某工業(yè)園區(qū)進行航拍，采用無人機視頻圖傳模塊實時回傳航拍視頻，該系統(tǒng)實時接收視頻流，分辨率為1 920×1 080，幀率為25 f/s，無人機圍繞工業(yè)園區(qū)航拍一圈用時4 min31 s，提取了91 f關(guān)鍵幀，生成了像素大小為4 020×8 260的拼接圖像，拼接效果如圖7所示。

實驗一和實驗四驗證了無人機低空對地拍攝視頻的實時拼接；實驗二驗證了無人機高空對地拍攝視頻的實時拼接，其中成像過程存在劇烈的抖動和干擾、圖像特征較弱等問題；實驗三驗證了無人機攝像頭對快速目標視頻的實時拼接，其中存在特征弱、關(guān)鍵幀容易丟幀的問題。實驗結(jié)果表明，本文提出的方法均能夠?qū)崿F(xiàn)穩(wěn)定的視頻拼接。

4" 結(jié)" 語

針對無人機視頻實時拼接需求，本文提出了一種基于多線程并行優(yōu)化的實時視頻拼接方法，算法能夠在保證效率和效果的前提下完成無人機視頻流的實時拼接，及時消除了實時拼圖的累積誤差，并支持長航時視頻的拼接。通過四組實驗驗證了本文提出算法的可行性、正確性和魯棒性，可應(yīng)用到戰(zhàn)場的實時偵查、環(huán)境動態(tài)監(jiān)測、災(zāi)害評估等多個領(lǐng)域。

參考文獻

[1] 吳蔚，李曉冬，許鶯.無人機偵察圖像情報處理與運用關(guān)鍵技術(shù)研究[C]//第四屆中國指揮控制大會論文集.北京：電子工業(yè)出版社，2016：604?607.

[2] 路堯，丁小牛.無人機遙感在地震災(zāi)害損失預評估中的應(yīng)用[J].測繪通報，2021（z1）：170?172.

[3] 張楠楠.無人機影像獲取和數(shù)據(jù)處理在應(yīng)急測繪中的應(yīng)用[J].中國航班，2020（8）：33.

[4] 張明義，趙泉樸，吳中華.無人機機載光電平臺偵察圖像拼接技術(shù)[J].艦船電子工程，2016，36（12）：113?115.

[5] 陳濤，王烽，萬阿芳，等.基于無人機航攝的真正射影像圖制作方法與實踐[J].測繪科學技術(shù)，2024，12（2）：159?166.

[6] 尹中義，姜梁，高偉，等.基于多無人機實時視頻圖像的地圖拼接構(gòu)建的系統(tǒng)及方法：CN112767245B[P].2024?03?29.

[7] 李民錄，王宇翔，鐘函笑，等.帶有位置信息的無人機視頻拼接方法、裝置、設(shè)備及介質(zhì)：CN117201708B[P].2024?02?02.

[8] RUBLEE E， RABAUD V， KONOLIGE K， et al. ORB： An efficient alternative to SIFT or SURF [C]// IEEE International Conference on Computer Vision. New York： IEEE， 2011： 2564?2571.

[9] SUAREZ I， SFEIR G， BUENAPOSADA J M， et al. BEBLID： Boosted efficient binary local image descriptor [J]. Pattern recognition letters， 2020， 133： 366?372.

[10] 周劍軍，歐陽寧，張彤，等.基于RANSAC的圖像拼接方法[J].計算機工程與設(shè)計，2009，30（24）：5692?5694.

[11] CHEN L， MA Y F. A new modified Levenberg?Marquardt method for systems of nonlinear equations [EB/OL]. [2023?02?10]. https：//onlinelibrary.wiley.com/doi/10.1155/2023/6043780.

[12] HARTLEY R， ZISSERMAN A. Multiple view geometry in computer vision [M]. 2nd ed. Cambridge： Cambridge University Press， 2003.

[13] AGARWAL S， MIERLE K. Ceres solver 1.0α tutorial amp; re?ference [EB/OL]. [2024?06?15]. https：//www.researchgate.net/publication/268063780.

[14] COATES A， NG A Y. Learning feature representations with K?means [J]. Lecture notes in computer science， 2012， 7700： 561?580.

[15] 胡維華，鮑乾，李柯.結(jié)合漢明距離及語義的文本相似度量方法研究[J].杭州電子科技大學學報，2016，36（3）：36?41.

[16] PACHECO P S， MALENSEK M. Shared?memory programming with Pthreads [EB/OL]. [2015?12?11]. https：//www.doc88.com/p?9495207288694.html.

[17] LI L G. FFmpeg： A complete， cross?platform solution to handle， capture， and stream audio and video [C]// Proceedings of the 2004 ACM SIGCOMM Conference on Communication. New York： ACM， 2004： 1?6.

作者簡介：劉" 彬（1981—），男，四川邛崍人，博士研究生，工程師，主要研究領(lǐng)域為基于圖像的三維重建、圖像匹配、相機標定、圖像測量等。

梁攀攀（1992—），男，河南洛陽人，碩士研究生，助理工程師，主要研究領(lǐng)域為基于深度的學習目標檢測與識別、模式識別等。

盧" 迪（1993—），男，江蘇徐州人，碩士研究生，助理工程師，主要研究領(lǐng)域為航空發(fā)動機、自動控制等。

靳" 冉（1985—），男，河南尉氏人，助理工程師，主要研究領(lǐng)域為光電偵察、火控任務(wù)系統(tǒng)等。