輸電線路直升機(jī)/無人機(jī)巡檢光電吊艙電子穩(wěn)像方法研究

徐瑞 張潔 燕正亮

摘? 要：直升機(jī)/無人機(jī)在巡檢輸電線路過程中，機(jī)載攝像機(jī)會(huì)不可避免地產(chǎn)生輕微或劇烈的抖動(dòng)，為了獲取穩(wěn)定、清晰的巡檢視頻，需要對(duì)抖動(dòng)視頻進(jìn)行去抖增穩(wěn)。本文通過對(duì)輸電線路巡檢視頻連續(xù)幀進(jìn)行智能處理，在傳統(tǒng)的運(yùn)動(dòng)估計(jì)模塊與運(yùn)動(dòng)補(bǔ)償模塊之外，增加運(yùn)動(dòng)初判模塊，采用相位相關(guān)法進(jìn)行運(yùn)動(dòng)初判，基于FAST特征點(diǎn)的光流法進(jìn)行運(yùn)動(dòng)估計(jì)，進(jìn)而基于主運(yùn)動(dòng)識(shí)別的方法進(jìn)行運(yùn)動(dòng)補(bǔ)償，算法可根據(jù)可見光和紅外視頻抖動(dòng)程度自動(dòng)采取合適的處理策略及方法，實(shí)現(xiàn)直升機(jī)巡視光電吊艙視頻的去抖增穩(wěn)，實(shí)驗(yàn)表明，算法運(yùn)動(dòng)估計(jì)精度達(dá)0.024像素，抖動(dòng)判斷準(zhǔn)確率為91%，標(biāo)清巡檢視頻處理速度為25幀/s。

關(guān)鍵詞：電子穩(wěn)像? 運(yùn)動(dòng)估計(jì)? 抖動(dòng)判斷? 運(yùn)動(dòng)補(bǔ)償? 巡檢視頻分析

中圖分類號(hào)：TM755? ? ? ? ? ? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼：A? ? ? ? ? ? ? ? ? ?文章編號(hào)：1674-098X（2020）09（c）-0137-05

Abstract： During inspection of transmission line by Helicopter/UAV， airborne camera will inevitably vibrate slightly or violently. In order to obtain stable and clear inspection video， it is necessary to stabilize the jitter video. In this paper， the continuous frame of transmission line inspection video is intelligently processed， and the motion preliminary judgment module is added in addition to the traditional motion estimation and motion compensation module. Phase correlation method is used to judge preliminary main motion mode. Then motion is estimated by optical flow method based on FAST feature points. Then motion compensation is based on the method of main motion recognition. The proposed method can automatically adopt appropriate processing strategies and methods according to the jitter degree of visible and infrared video. Experimental result showed the precision of motion estimation is 0.024 pixel， the accuracy of jitter judgement is 91% and the processing speed of SD inspection video is 25 frames per second.

Key Words： Electronic stabilization; Motion estimation; Jitter judgement; Motion compensation; Inspection video analysis

直升機(jī)/無人機(jī)被越來越多的應(yīng)用于架空輸電線路巡檢，然而光電吊艙受多變的載體姿態(tài)和復(fù)雜的飛行環(huán)境等因素影響，導(dǎo)致所攝取的巡視視頻失穩(wěn)、模糊不清，分辨率嚴(yán)重下降，影響后續(xù)對(duì)巡檢視頻的應(yīng)用。因此需要利用電子穩(wěn)像技術(shù)對(duì)所攝取的巡視視頻進(jìn)行穩(wěn)像處理，去除隨機(jī)抖動(dòng)的干擾，為進(jìn)一步的線路目標(biāo)檢測(cè)識(shí)別與跟蹤等提供基礎(chǔ)[1]。

運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償是電子穩(wěn)像的關(guān)鍵步驟，而實(shí)時(shí)性和準(zhǔn)確性是決定電子穩(wěn)像技術(shù)能應(yīng)用于直升機(jī)巡視系統(tǒng)等實(shí)際領(lǐng)域的關(guān)鍵指標(biāo)，近年來，國內(nèi)外諸多的算法中，基于特征點(diǎn)提取的運(yùn)動(dòng)估計(jì)方法結(jié)合適當(dāng)?shù)倪\(yùn)動(dòng)補(bǔ)償方法的電子穩(wěn)像算法具有良好的應(yīng)用。

基于特征點(diǎn)提取的運(yùn)動(dòng)估計(jì)的研究方向是選取適當(dāng)?shù)乃阕?，快速?zhǔn)確的提取和匹配特征點(diǎn)，進(jìn)而提高電子穩(wěn)像的準(zhǔn)確性和實(shí)時(shí)性。目前常見的提取特征點(diǎn)的算子有SIFT（Scale Invariant Feature Transfer，尺度不變特征變換）算子、SURF（Speed-Up Robust Feature，加速魯棒特征）算子、GFTT（Good Feature To Track，易于跟蹤特征）算子、BRISK（Binary Robust Invariant Scalable Keypoint，二進(jìn)制局部特征）算子、SUSAN（Small univalue segment assimilating nucleus，吸收核同值）算子、FAST（Features From Accelerated Segment Test，加速段試驗(yàn)特征）算子等[2-3]?？梢曰谒阕拥拿枋鲎悠ヅ涞玫竭\(yùn)動(dòng)參數(shù)，也可以基于特征點(diǎn)提取結(jié)合如相位相關(guān)法、位平面匹配法、光流法和灰度投影法等方法進(jìn)行運(yùn)動(dòng)參數(shù)估計(jì)[4-5]。運(yùn)動(dòng)補(bǔ)償研究通常側(cè)重于利用改進(jìn)的Kalman濾波法、均值法或粒子濾波法等方法，平滑運(yùn)動(dòng)參數(shù)、獲取運(yùn)動(dòng)補(bǔ)償參數(shù)，提高電子穩(wěn)像的準(zhǔn)確性[5-6]。

1? 電子穩(wěn)像方法

1.1 技術(shù)路線

輸電線路直升機(jī)巡視光電吊艙電子穩(wěn)像算法在傳統(tǒng)的運(yùn)動(dòng)估計(jì)模塊與運(yùn)動(dòng)補(bǔ)償模塊之外，增加運(yùn)動(dòng)初判模塊。具體技術(shù)路線如圖1所示：對(duì)于輸入視頻初始幀，采用基于相位相關(guān)法的運(yùn)動(dòng)初判，獲取初始運(yùn)動(dòng)狀態(tài);對(duì)于視頻的后續(xù)幀，提取FAST特征點(diǎn)，并通過LK光流法得到特征點(diǎn)的運(yùn)3到全局運(yùn)動(dòng)參數(shù);利用初始運(yùn)動(dòng)狀態(tài)和全局運(yùn)動(dòng)矢量矩陣，采用基于主運(yùn)動(dòng)識(shí)別方向的方法進(jìn)行運(yùn)動(dòng)補(bǔ)償，輸出穩(wěn)定視頻。

1.2 基于相位相關(guān)法的運(yùn)動(dòng)初判

攝像機(jī)的拍攝狀態(tài)包括靜態(tài)拍攝、運(yùn)動(dòng)拍攝及靜態(tài)拍攝與運(yùn)動(dòng)拍攝的相互切換三種狀態(tài)。運(yùn)動(dòng)初判是指利用視頻的初始幀，計(jì)算攝像機(jī)的二維平移量，并進(jìn)行攝像機(jī)運(yùn)動(dòng)的初步判斷，得到攝像機(jī)的初始運(yùn)動(dòng)狀態(tài)，為后續(xù)穩(wěn)像處理提供基礎(chǔ)。相位相關(guān)法對(duì)相鄰兩視頻幀進(jìn)行快速傅里葉變換，將視頻幀從空域變換到頻域，然后通過他們的互功率譜可直接計(jì)算兩視頻幀間的平移量。

分別為和的共軛，對(duì)上式進(jìn)行傅里葉逆變換，在空間形成的脈沖函數(shù)脈沖峰值的位置為兩幀之間的平移量。在巡檢開始時(shí)，以該平移量近似作為攝像機(jī)的二維平移量，實(shí)現(xiàn)主運(yùn)動(dòng)方向和運(yùn)動(dòng)狀態(tài)的初始化。

1.3 運(yùn)動(dòng)估計(jì)

1.3.1 FAST特征點(diǎn)提取

FAST算子[4]提取特征點(diǎn)的原理是若在某一像素點(diǎn)P的鄰域內(nèi)有足夠多的像素點(diǎn)的灰度值大于或小于該點(diǎn)的灰度值，則選擇該點(diǎn)為特征點(diǎn)。

1.3.2 基于 LK （Lucas&Kanade）光流法的運(yùn)動(dòng)估計(jì)

基于光流的亮度恒常性假設(shè)和速度平滑性假設(shè)，利用LK法[7]的局部約束條件，假設(shè)面積為的小區(qū)域內(nèi)各點(diǎn)的光流相同。在此情況下，LK法通過對(duì)區(qū)域內(nèi)不同的FAST特征點(diǎn)賦予不同的權(quán)重，可將光流的計(jì)算轉(zhuǎn)化為ELK的最小化，表示在時(shí)刻上坐標(biāo)的灰度值，ELK如下式所示，

1.3.3 基于仿射變換模型的全局運(yùn)動(dòng)參數(shù)估計(jì)

根據(jù)估計(jì)出的n個(gè)FAST特征點(diǎn)的光流矢量，可以求出兩幀間的仿射變換矩陣，得到兩幀間的仿射變換矩陣即為全局運(yùn)動(dòng)參數(shù)，，分別為水平運(yùn)動(dòng)矢量和垂直運(yùn)動(dòng)矢量。

1.4 運(yùn)動(dòng)補(bǔ)償

基于主運(yùn)動(dòng)方向識(shí)別的運(yùn)動(dòng)補(bǔ)償流程如圖2所示，利用當(dāng)前運(yùn)動(dòng)狀態(tài)和主運(yùn)動(dòng)方向?qū)Χ秳?dòng)進(jìn)行判斷，實(shí)現(xiàn)運(yùn)動(dòng)補(bǔ)償。

具體的實(shí)現(xiàn)步驟如下。

1.4.1 主運(yùn)動(dòng)方向識(shí)別

在電子穩(wěn)像過程中連續(xù)輸入視頻的運(yùn)動(dòng)估計(jì)參數(shù)，若運(yùn)動(dòng)估計(jì)參數(shù)方向一致性大道幀數(shù)閾值，則識(shí)別出主運(yùn)動(dòng)方向，否則判定為無主運(yùn)動(dòng)方向[8]。若能夠識(shí)別出主運(yùn)動(dòng)方向，則判定當(dāng)前運(yùn)動(dòng)狀態(tài)為運(yùn)動(dòng)拍攝;若不能夠識(shí)別出主運(yùn)動(dòng)方向，則判定當(dāng)前運(yùn)動(dòng)狀態(tài)為靜態(tài)拍攝。

1.4.2 抖動(dòng)判斷

針對(duì)每兩幀之間的運(yùn)動(dòng)矢量，如果當(dāng)前運(yùn)動(dòng)狀態(tài)為運(yùn)動(dòng)拍攝，若當(dāng)前水平方向運(yùn)動(dòng)矢量、垂直方向運(yùn)動(dòng)矢量與主運(yùn)動(dòng)方向不一致，則判定為動(dòng)態(tài)抖動(dòng)，若當(dāng)前運(yùn)動(dòng)量與主運(yùn)動(dòng)方向一致，則判定為非抖動(dòng)。如果當(dāng)前運(yùn)動(dòng)狀態(tài)為靜態(tài)拍攝，對(duì)當(dāng)前水平方向運(yùn)動(dòng)矢量、垂直方向運(yùn)動(dòng)矢量進(jìn)行判定，若大于一定閾值則判定為靜態(tài)抖動(dòng)，否則判定為非抖動(dòng)。

1.4.3 運(yùn)動(dòng)補(bǔ)償

若判定為靜態(tài)抖動(dòng)則以當(dāng)前運(yùn)動(dòng)矢量為補(bǔ)償參數(shù);若判定為動(dòng)態(tài)抖動(dòng)，采用高斯權(quán)值的均值濾波對(duì)得到的運(yùn)動(dòng)矢量進(jìn)行平滑，如下式所示，為視頻第i幀運(yùn)動(dòng)矢量。

利用濾波后的運(yùn)動(dòng)矢量，對(duì)當(dāng)前幀進(jìn)行仿射變換，得到穩(wěn)定的視頻。

2? 試驗(yàn)分析

本算法在Visual Studio 2010平臺(tái)基于OpenCV3.0 beta的C++語言開發(fā)算法，實(shí)驗(yàn)平臺(tái)為Inter（R） Core（TM） i7-4790CPU @3.60GHz，RAM16GB。采用11個(gè)視頻進(jìn)行算法的實(shí)驗(yàn)驗(yàn)證，各視頻縮略圖如圖3所示，編號(hào)1～4視頻為仿真視頻，編號(hào)5～11視頻為真實(shí)架空輸電線路直升機(jī)/無人機(jī)巡視視頻，其中5～9為可見光視頻，10～11為紅外視頻。

視頻1和視頻2是仿真的靜態(tài)拍攝視頻，生成方法是對(duì)靜態(tài)圖像加入隨機(jī)抖動(dòng)量生成多幀圖像，并將多幀圖像合成仿真視頻，視頻的抖動(dòng)量的大小和方向已知，可以用于評(píng)價(jià)穩(wěn)像精度和統(tǒng)計(jì)抖動(dòng)判斷誤差。

通過計(jì)算估計(jì)抖動(dòng)量和真實(shí)抖動(dòng)量的均方根誤差RMSE（Root Mean Square Error），評(píng)價(jià)穩(wěn)像精度。RMSE定義如下，

其中和分別為視頻第i幀與第i+1幀間估計(jì)補(bǔ)償量和真實(shí)抖動(dòng)量，N為視頻總幀數(shù)。

視頻3和視頻4是仿真的動(dòng)態(tài)拍攝視頻，生成方法是對(duì)平滑視頻加入具有一定方向性的隨機(jī)抖動(dòng)量合成仿真視頻，視頻的抖動(dòng)方向?yàn)橐阎?，可用于統(tǒng)計(jì)抖動(dòng)判斷誤差。仿真視頻穩(wěn)像處理結(jié)果如表1所示，抖動(dòng)判斷準(zhǔn)確率平均值為91%，抖動(dòng)量估計(jì)的均方根誤差的平均值為0.024（像素），表明穩(wěn)像精度達(dá)到亞像素級(jí)。

對(duì)于真實(shí)巡視視頻穩(wěn)像處理中，為表示穩(wěn)像算法對(duì)標(biāo)清視頻的處理時(shí)間效率，將視頻分辨率統(tǒng)一轉(zhuǎn)換為720×576，對(duì)各視頻處理的時(shí)間效率匯總表如表2所示，平均每幀處理時(shí)間為39ms，處理幀率為25fps，與原視頻幀率相同，因此本電子穩(wěn)像算法可以滿足標(biāo)清可見光視頻和紅外視頻的實(shí)時(shí)處理。

圖4是可見光視頻8的第804、2328幀原始視頻（左）和穩(wěn)像后的視頻幀（右）對(duì)比情況，圖5是紅外視頻10原始視頻幀和穩(wěn)像后的視頻幀的對(duì)比情況，自左向右、自上而下分別為第950、2376幀。

3? 結(jié)語

直升機(jī)/無人機(jī)巡檢光電吊艙電子穩(wěn)像算法包括運(yùn)動(dòng)初判模塊、運(yùn)動(dòng)估計(jì)模塊和運(yùn)動(dòng)補(bǔ)償模塊。通過對(duì)仿真視頻和真實(shí)架空輸電線路巡視視頻的實(shí)驗(yàn)表明，視頻抖動(dòng)判斷準(zhǔn)確率為91%;抖動(dòng)量估計(jì)的均方根誤差的平均值為0.024像素，穩(wěn)像精度達(dá)到亞像素級(jí);對(duì)于標(biāo)清巡視視頻的去抖增穩(wěn)時(shí)平均單幀處理時(shí)間為39ms（即處理幀率為25fps），達(dá)到了實(shí)時(shí)性的要求。

參考文獻(xiàn)

[1] 谷祥訪.輸電線路無人機(jī)巡檢技術(shù)應(yīng)用現(xiàn)狀及相關(guān)問題探討[J].科技創(chuàng)新導(dǎo)報(bào)，2019，16（26）：22-23.

[2] Jiaoru Yang， Rui Wang， Rui Xu. Salient Feature Detection for optical flow computation[C]. The 2016 IEEE Chinese Guidance Navigation and Control Conference.（CCNCC2016），Nanjing，China，2016：2473-2476.

[3] 陳雨銘.電子穩(wěn)像中的特征點(diǎn)匹配與平滑濾波算法研究[D].南京：南京大學(xué)，2019.

[4] 酒銳波，李冰寒，劉玉婷.基于FAST-9角點(diǎn)與光流法的機(jī)載視頻穩(wěn)像算法[J].科技資訊，2019，17（1）：38-39，42.

[5] 熊煒，王傳勝，李利榮，等.結(jié)合光流法和卡爾曼濾波的視頻穩(wěn)像算法[J].計(jì)算機(jī)工程與科學(xué)，2020，42（3）：493-499.

[6] 鄭鵬珍.復(fù)合運(yùn)動(dòng)下的電子穩(wěn)像算法研究[D].西安：西安電子科技大學(xué)，2019.

[7] Fan Z，Yang G，Bakos J D. Lucas-Kanade Optical Flow estimation on the TI C66x digital signal processor. High Performance Extreme Computing Conference，2015.

[8] Rui Xu， etal. Research on video motion compensation method based on the analysis of airborne video camera shaking mode of continuous video frames. 2016 IEEE PES 13th International Conference on Transmission & Distribution Construction， Operation & Live-Line Maintenance （ESMO）， Columbus， OH， 2016：1-4.