基于運動估計的無人機視頻與遙測同步方法

，， ，

(1.國家海洋技術(shù)中心，天津 300112； 2.天津航天中為數(shù)據(jù)系統(tǒng)科技有限公司，天津 300301)

基于運動估計的無人機視頻與遙測同步方法

趙恩偉2，王厚軍1，韓蓉2，丁寧1

(1.國家海洋技術(shù)中心，天津300112； 2.天津航天中為數(shù)據(jù)系統(tǒng)科技有限公司，天津300301)

針對無人機遙測數(shù)據(jù)和視頻由于通訊延遲、鏈路不穩(wěn)等因素，視頻和遙測數(shù)據(jù)無法一一對應起來，需要對其進行同步處理的技術(shù)需求，提出了基于運動估計的視頻與遙測同步方法;對于無人機飛行獲取的遙測數(shù)據(jù)進行載荷和無人機的數(shù)據(jù)解析，計算載荷和無人機的運動編碼，再根據(jù)無人機運動規(guī)律將無人機和載荷的運動編碼映射到視頻的運動編碼;對于視頻進行基于灰度投影的運動估計得到運動編碼，然后基于遙測計算和視頻運動估計得到的兩種運動編碼進行匹配，進而根據(jù)匹配結(jié)果，對遙測數(shù)據(jù)進行插值處理，實現(xiàn)遙測與視頻的同步;通過灰度投影的方法進行運動估計以完成視頻的運動編碼，大大提高了視頻運動估計的效率和速度，最終實現(xiàn)視頻與遙測的同步;實現(xiàn)對遙測數(shù)據(jù)的高精度匹配和插值，提高同步的精度。

無人機；運動估計；視頻；遙測；離線同步

0 引言

無人機具有機動、靈活、生存力強、使用方便等特點，在多種行業(yè)的應用越來越廣泛。在無人機飛行過程中，視頻圖像數(shù)據(jù)與遙測數(shù)據(jù)是分別記錄和存儲的(視頻圖像數(shù)據(jù)是無人機載荷產(chǎn)生與存儲，遙測數(shù)據(jù)是飛控系統(tǒng)產(chǎn)生與存儲)，并在飛行結(jié)束后生成視頻和遙測文件。隨著無人機應用的推廣，對無人機數(shù)據(jù)的分析以及進一步的深化和細化，需要對無人機遙測數(shù)據(jù)和視頻進行同步處理，由于通訊延遲、鏈路不穩(wěn)等因素，視頻和遙測數(shù)據(jù)無法準確對應起來，需要人工根據(jù)無人機位置所在的區(qū)域的地貌或景物情況和視頻內(nèi)容進行對比與同步，費時費力，且同步結(jié)果也不夠理想，同步的效果完全憑人工主觀判斷為依據(jù)，可靠性和可重復性不高。為了滿足后續(xù)視頻數(shù)據(jù)處理，如視頻拼接，視頻中目標物定位等，需要降低人工操作的復雜，并提高視頻與遙測的同步準確性和可靠性。

為解決視頻和遙測數(shù)據(jù)的自動同步的準確性、可靠度以及效率問題，現(xiàn)有的一種做法是采用人工方式根據(jù)無人機位置和視頻內(nèi)容進行對比與同步，這種方式不僅費時費力，而且由于人工處理的局限性導致同步結(jié)果也不理想。另一種做法是利用SIFT或光流法等圖像匹配方法對相鄰的視頻幀進行圖像匹配，根據(jù)匹配結(jié)果來計算相鄰幀的相對位置關(guān)系，從而得到視頻的相對運動情況，再根據(jù)視頻的相對運動情況與遙測定位技術(shù)結(jié)合，實現(xiàn)視頻與遙測的同步，但在視頻相鄰幀匹配過程中，由于圖像匹配算法的計算量大、效率低，消耗的計算資源與時間過多，無法有效地應用在實際的視頻處理中。

視頻編碼的關(guān)鍵技術(shù)之一就是基于塊的運動估計[1-4]，它能夠去除圖像幀之間的冗余。將相鄰視頻圖像幀分成若干塊，找出每個塊在相鄰圖像幀的位置，得出的圖像幀間的相對偏移量即是運動矢量，得到運動矢量的過程稱為運動估計?；叶韧队八惴軌虺浞掷靡曨l圖像序列灰度變化的特點，對圖像序列的行列灰度投影曲線作一次相關(guān)運算，就可以準確地獲取圖像運動矢量[5-7]。

綜上，目前亟需一種更為有效的遙測數(shù)據(jù)和視頻圖像數(shù)據(jù)的離線同步方法，在實現(xiàn)遙測數(shù)據(jù)與視頻圖像數(shù)據(jù)的離線同步的基礎上，提高數(shù)據(jù)同步的效率和準確性。

1 視頻與遙測同步算法實現(xiàn)

算法主要可以分為如下3個階段:

1)基于無人機遙測協(xié)議對遙測數(shù)據(jù)進行解析獲得無人機的經(jīng)度，維度，高度，橫滾，俯仰，偏航等實時數(shù)據(jù)再計算出相對運動幅度和方向并根據(jù)無人機及載荷的運動規(guī)律計算遙測信息的運動編碼。

2)基于灰度投影算法來估算視頻幀間相對運動的幅度和方向再根據(jù)無人機以及載荷的運動特性計算視頻運動編碼，根據(jù)載荷和無人機本身運動特性按照時間維度對載荷和視頻相對運動數(shù)據(jù)進行分類，從而獲取遙測和視頻的運動編碼。

3)對視頻和遙測的運動編碼進行數(shù)據(jù)歸一化預處理，并根據(jù)運動編碼的分布特征對運動編碼進行匹配。

4)根據(jù)匹配結(jié)果對遙測數(shù)據(jù)進行插值處理。通過匹配和插值處理后，可得到與視頻圖像數(shù)據(jù)中的圖像幀對應的遙測數(shù)據(jù)。

基于運動估計的視頻與遙測離線同步方法的整體流程如圖1所示。

圖1 視頻與遙測同步流程圖

采用灰度投影法進行視頻運動估計，大大提高了運動估計的效率，進而從整體上提高了數(shù)據(jù)同步的效率。下面將分別就遙測數(shù)據(jù)分析算法，視頻數(shù)據(jù)分析算法，運動數(shù)據(jù)預處理和匹配算法以及遙測數(shù)據(jù)插值算法進行討論。

1.1 無人機及載荷運動與視頻運動的關(guān)系

在一般作業(yè)活動中拍攝視頻中的運動現(xiàn)象是由于無人機以及載荷的復合運動造成的。下面將分析造成無人機拍攝視頻的運動特點以及原因，從而建立起無人機以及載荷運動與視頻運動的映射關(guān)系，從而能將遙測數(shù)據(jù)與視頻數(shù)據(jù)關(guān)聯(lián)起來。

無人機本身的運動對視頻造成的影響可以分為五類：平緩飛行、轉(zhuǎn)彎、機身震動、起飛以及降落。對于視頻的影響如下所示。

1)無人機的平緩飛行運動一般會造成視頻出現(xiàn)小幅度的向著固定方向的持續(xù)移動；

2)無人機轉(zhuǎn)彎運動由于機身姿態(tài)的劇烈變化會造成視頻出現(xiàn)大幅度的向著固定方向的持續(xù)移動；

3)機身震動則會造成視頻出現(xiàn)小幅度的無規(guī)則的振蕩運動；

4)無人機起飛或降落會造成視頻的大幅度無規(guī)則振蕩運動。

載荷的運動主要是由載荷操作人員的控制決定，操作人員的控制一般都會造成載荷視角的大范圍的移動，反映在視頻上就會造成大幅度向著固定方向的持續(xù)的移動，特別的若操作人員改變載荷的焦距則一般只是視頻范圍的放大或縮小并不會造成視頻的運動。

按照上面分析的視頻運動規(guī)律可以將在一段時間內(nèi)無人機視頻的運動分為大幅單向運動、小幅單向運動、大幅震蕩運動以及小幅震蕩運動這4種類型，運動類型和無人機及載荷運動情況如表1所示。

表1 視頻運動類型與無人機及載荷運動的關(guān)系

根據(jù)上面分析可得到的無人機及載荷的運動與視頻運動的映射關(guān)系。

1.2 遙測數(shù)據(jù)分析算法

本節(jié)講著重討論遙測數(shù)據(jù)分析算法，通過遙測數(shù)據(jù)分析的主要過程是將遙測數(shù)據(jù)解析并轉(zhuǎn)換為無人機及載荷的運動編碼，再根據(jù)無人機及載荷的運動而映射為視頻運動編碼分布。

遙測數(shù)據(jù)分析算法主要流程如圖2所示。

圖2 遙測數(shù)據(jù)分析流程圖

算法主要步驟如下所示：

1)解析無人機實時狀態(tài)參數(shù)。

根據(jù)無人機遙測協(xié)議對遙測數(shù)據(jù)進行解析，得到經(jīng)度、緯度、高度、俯仰、橫滾、偏航等無人機狀態(tài)參數(shù)；

2)解析載荷實時狀態(tài)參數(shù)。

根據(jù)載荷遙測協(xié)議對載荷的遙測數(shù)據(jù)進行解析，得到載荷的姿態(tài)以及焦距等狀態(tài)參數(shù)；

3)對無人機及載荷的狀態(tài)參數(shù)計算無人機及載荷的運動參數(shù)。

根據(jù)解析得到的無人機狀態(tài)參數(shù)、載荷狀態(tài)參數(shù)，根據(jù)遙測數(shù)據(jù)以時間為軸進無人機以及載荷的運動模式編碼，即將按照時間維度將無人機的運動劃分為上升U、下降D、轉(zhuǎn)彎R、一般飛行F以及載荷運動L階段。劃分依據(jù)如下所示：

a)若無人機的高度參數(shù)在一段時間內(nèi)連續(xù)的增大則被判定為上升階段U；

b)若無人機的高度參數(shù)在一段時間內(nèi)連續(xù)的降低則被判定為下降階段D；

c)若無人機的位置(經(jīng)度和緯度)在一段時間內(nèi)連續(xù)的平緩的變化則判定為飛行階段F；

d)若無人機的姿態(tài)(橫滾，俯仰，偏航等參數(shù))在一定時間內(nèi)劇烈變化則判定為轉(zhuǎn)彎R階段；

e)若載荷的姿態(tài)數(shù)據(jù)在一定時間內(nèi)持續(xù)變化則被判定為載荷運動階段L；

f)各階段的優(yōu)先級順序為上升U=下降D>載荷運動L>轉(zhuǎn)彎R>飛行F。

無人機運動分布圖如圖3所示。

圖3 無人機運動編碼分布圖

4)將無人機及載荷的運動參數(shù)轉(zhuǎn)換為視頻運動編碼。

根據(jù)表1所示的無人機及載荷運動以及視頻運動的關(guān)系，將無人機及載荷運動轉(zhuǎn)換為視頻運動模式，即大幅單向運動BS，小幅單向運動SS，大幅震蕩運動BV以及小幅震蕩SV運動。映射后的視頻運動分布如圖4所示。

圖4 視頻運動編碼分布圖

1.3 視頻圖像數(shù)據(jù)分析算法

通過視頻圖像數(shù)據(jù)分析算法對視頻圖像數(shù)據(jù)進行處理，流程如圖5所示。

圖5 視頻數(shù)據(jù)分析流程圖

采用如下式所示灰度投影算法計算視頻圖像相鄰幀之間的相互運動[5]：

式中,Gk(j)，Gk(i)分別為第k幀圖像中第j列和第i行的灰度投影值；Gk(i,j)為(i,j)位置處像素灰度值。

灰度投影算法主要思路是將第k幀圖像的行、列灰度投影曲線做互相關(guān)運算，根據(jù)兩條相關(guān)曲線的波谷值即可確定當前幀圖像相對參考幀圖像的行、列位移矢量。再根據(jù)行列位移矢量就可以計算相鄰兩幀運動的大小和方向。

利用灰度投算法對整個視頻序列進行視頻運動幅度和方向的計算。根據(jù)視頻相鄰幀之間的相對運動情況對視頻序列進行劃分，即對一組連續(xù)的視頻幀進行運動模式的分類，分為大幅單向運動BS，小幅單向運動SS，大幅震蕩運動BV以及小幅震蕩SV運動。從而得到基于運動估計的視頻運動編碼。

1.4 視頻與遙測同步算法

視頻與遙測同步算法主要步驟如下：

1)為了解決視頻幀數(shù)和遙測幀數(shù)相差較大的問題，需要將視頻和遙測數(shù)據(jù)的運動編碼進行歸一化處理。具體實現(xiàn)為對運動編碼的縱坐標數(shù)值進行歸一化，并再將橫坐標數(shù)據(jù)歸一化到0至1000內(nèi)；

2)通過對視頻運動編碼進行拉伸和平移，再計算與遙測運動編碼的符合程度來實現(xiàn)視頻運動編碼和遙測運動編碼的匹配從而實現(xiàn)視頻和遙測的同步；規(guī)定視頻運動編碼為f(x)，遙測運動編碼為g(x)，f(x)的拉伸和平移可以變現(xiàn)為f(ax+b)，a表示拉伸，b表示平移距離，即同視頻和遙測編碼匹配的過程可以理解為對能量函數(shù)E=∑(f(ax+b)*g(x))的優(yōu)化過程，即找到合適的a和b使E最大；

3)通過梯度下降最大法來搜索E最大時對應的a和b為視頻和遙測的匹配結(jié)果。

4)根據(jù)匹配結(jié)果，采用二項式擬合公式對遙測運動編碼進行插值，即可得到與視頻同步的遙測數(shù)據(jù)。

算法流程圖如圖6所示。

圖6 視頻與遙測同步流程圖

2 實驗與分析

針對本文提出的基于運動估計的視頻與遙測同步方法，采用如下數(shù)據(jù)進行驗證，采用無人機MD4-1000在三亞鳳凰島進行飛行驗證，對無人機采集的視頻與遙測數(shù)據(jù)進行同步處理，通過對比人工和算法處理結(jié)果來驗證算法的有效性。

圖7 三亞鳳凰島視頻與遙測數(shù)據(jù)同步結(jié)果

無人機采集的視頻總長度12分28秒，實際飛行長度12分27秒。

視頻數(shù)據(jù)是無人機載荷產(chǎn)生，但是由于通訊延遲、鏈路不穩(wěn)等因素，信息本身在一定程度上是粗糙模糊的，所以處理起來難度很大。只能通過初步觀察確定：在無人機起飛和降落時，視頻隨之出現(xiàn)連續(xù)的高強度的無規(guī)律運動；而在飛機姿態(tài)存在較大的波動時，視頻也都對應著較大的相對運動。表2即為三亞鳳凰島視頻變化記錄。

根據(jù)人工觀察的視頻變化情況對比根據(jù)載荷與無人機協(xié)議解析的載荷及無人機位置姿態(tài)數(shù)據(jù)變化情況，視頻與無人機及載荷的運動關(guān)系是符合1.1節(jié)中描述的情況的。

基于遙測和視頻數(shù)據(jù)分析得到的運動編碼數(shù)據(jù)，如圖7(a)為基于視頻數(shù)據(jù)得到的視頻運動編碼，如圖7(b)基于遙測數(shù)據(jù)得到的遙測運動編碼。根據(jù)視頻與遙測運動編碼，通過1.4中的同步方法，計算出視頻與遙測匹配成功的點位，點位在圖7中如a1與b1， a2與b2，最終基于匹配結(jié)果對遙測運動編碼進行二項式擬合插值，完成了視頻與遙測的同步。

根據(jù)飛機飛行高度來限定平移的范圍，獲取在飛機平穩(wěn)飛行階段的數(shù)據(jù)，從而縮小計算范圍，提高計算效率。

3 結(jié)論

本文提出了一種基于運動估計編碼的無人機視頻與遙測離線同步技術(shù)，該技術(shù)具有如下優(yōu)勢：

1)本文利用無人機與載荷運動與視頻的運動關(guān)系，將遙測數(shù)據(jù)所反映的無人機運動變化情況映射為視頻的運動變化情況，實現(xiàn)了了視頻與遙測的自動化匹配。

2)利用灰度投影算法大大提高了視頻運動估計的效率和速度；

3)實現(xiàn)對遙測數(shù)據(jù)的高精度匹配和插值，提高了同步的精度。

本文完成了離線視頻與遙測的同步處理，目前僅在實驗環(huán)境中驗證了方法，具體深入應用還需要進一步探索。

綜上所述，本文采用的方法在無人機遙測數(shù)據(jù)和視頻離線同步處理的領域?qū)玫礁訌V泛的應用。

表2 三亞鳳凰島視頻變化記錄

[1] 沈 秋,李小凡,孔繁鏘,等. 于仿射模型的無人機視頻實時壓縮算法[J].電子與信息學報,2014,36(12):2355-2360.

[2] 譚 熊,余旭初,劉景正,等. 基于無人機視頻的運動目標快速跟蹤[J].測繪通報,2011(9):32-34.

[3] 吳曉軍,白世軍,盧文濤. 基于H.264視頻編碼的運動估計算法優(yōu)化[J].電子學報,2009,37(11):2541-2545.

[4] 吳銀花,金龍旭,張 寧,等. 針對H.264改進的快速整像素運動估計算法[J].光學精密工程,2013,21(4):1017-1024.

[5] 任 航,張 濤. 基于灰度投影法運動估計的成像CCD平移補償法[J].應用光學,2009,30(3):417-421.

[6] 楊光宇,朱 丹,佟新鑫,等.基于灰度投影法的電子穩(wěn)像平臺設計與實現(xiàn)[J]. 電視技術(shù),2011,35(19):115-118.

[7] 吳 浩,鄧宏彬.一種基于分塊灰度投影運動估計的視頻穩(wěn)像方法[J]. 兵工學報,2013,34(4):406-411.

SynchronizationMethodofUAVVideoandTelemetryBasedonMotionEstimation

Zhao Enwei2，Wang Houjun1，Han Rong2，Ding Ning1

(1.National Ocean Technology Center, Tianjin 300112, China; 2.Tianjin Zhong Wei Aerospace Data System Technology Co.,Ltd., Tianjin 300301, China)

Aiming at the technical requirement of UAV telemetry data and video synchronization, video and telemetry data can not be matched one by one because of communication delay and link instability. The video and telemetry synchronization method based on motion estimation is proposed. For UAV flight for telemetry data and video data, respectively for motion estimation, get the exercise based on remote sensing data coding and based on video data movement, and then based on the analysis of motion coding matching, and then according to the result of the match, the telemetry data interpolation processing, to realize the synchronization of telemetry and video. By matching the overall motion pattern, the video and the telemetry are synchronized according to the motion pattern even if the content of UAV telemetry or the load telemetry protocol is unknown. The motion estimation of the video is completed by the gray projection method, which greatly improves the efficiency and speed of the video motion estimation, and finally synchronizes the video and telemetry.The method realized high accuracy matching and interpolation of the telemetry data, improved the accuracy of synchronization.

unmanned aerial vehicle (UAV); motion estimation; video; telemetry; offline synchronization

2017-03-13；

2017-05-15。

海洋公益性行業(yè)科研專項經(jīng)費項目(201405028)。

趙恩偉(1986-)，男，天津市人，碩士研究生，工程師，主要從事圖像處理，模式識別、軟件工程方向的研究。

丁 寧(1984-)，女，碩士研究生，工程師，主要從事海洋開發(fā)管理及海域動態(tài)監(jiān)測方向的研究。

1671-4598(2017)11-0111-04

10.16526/j.cnki.11-4762/tp.2017.11.029

TP399

A