基于視覺的煤礦輸電線巡檢無人機(jī)自主降落系統(tǒng)

張傳江 劉險(xiǎn)峰 陳幫干 曹金芳 孟祥宇

摘 ?要：面對煤礦中復(fù)雜的地形，巡檢無人機(jī)很難將降落地標(biāo)與環(huán)境區(qū)分開，無法實(shí)現(xiàn)定點(diǎn)的精準(zhǔn)降落?；谝陨蠁栴}，提出了一種基于視覺導(dǎo)航的煤礦輸電線無人機(jī)自主降落系統(tǒng)。為了區(qū)分地標(biāo)和環(huán)境區(qū)，將地標(biāo)設(shè)計(jì)為一種拓?fù)淠Ｊ?，為了提高圖像二值化的檢測效率，提出了一種動態(tài)閾值方法。根據(jù)有效圖像信息計(jì)算水平面內(nèi)的相對距離，用線性插值法求出相對高度。在相應(yīng)平臺上進(jìn)行降落實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明，提出的自主降落系統(tǒng)性能穩(wěn)定，可以準(zhǔn)確自主降落。

關(guān)鍵詞：計(jì)算機(jī)視覺;圖像二值化;無人機(jī);自主降落

中圖分類號：V279;V249;TP391.41 ? ? ?文獻(xiàn)標(biāo)識碼：A 文章編號：2096-4706（2020）04-0014-03

Abstract：Facing the complex terrain in the coal mine，it is difficult for UAV to distinguish the landing landmark from the environment and realize the precise landing at a fixed point. Based on the above problems，an autonomous landing system of UAV for coal mine transmission line based on visual navigation is proposed. In order to distinguish the landmark from the environment area，the landmark is designed as a topological mode. In order to improve the detection efficiency of two value image，a dynamic threshold method is proposed. According to the effective image information，the relative distance in the horizontal plane is calculated，and the relative height is calculated by linear interpolation. The landing experiment is carried out on the corresponding platform. The experimental results show that the proposed autonomous landing system has stable performance and can land accurately.

Keywords：computer vision;image binarization;UAV;autonomous landing

0 ?引 ?言

煤礦輸電線路自身老化和人為破壞及復(fù)雜未知環(huán)境對其的影響，都對電網(wǎng)的安全穩(wěn)定運(yùn)行及煤礦的正常開采提出了嚴(yán)峻的挑戰(zhàn)[1]。利用無人機(jī)對煤礦輸電線路進(jìn)行巡檢是目前比較常用的手段，在整個煤礦輸電線巡檢無人機(jī)自主飛行的過程中，如何保證無人機(jī)在煤礦中的復(fù)雜惡劣環(huán)境下進(jìn)行對目標(biāo)的檢測、跟蹤和自主降落是提高無人機(jī)應(yīng)用價(jià)值的重要目標(biāo)[2]。實(shí)現(xiàn)這些目標(biāo)的大多數(shù)傳統(tǒng)方法依賴于全球定位系統(tǒng)（GPS）和慣性導(dǎo)航的組合[3]。與傳統(tǒng)方法相比，基于視覺的導(dǎo)航系統(tǒng)具有很強(qiáng)的抗干擾能力，視覺傳感器可以實(shí)時(shí)捕捉外部環(huán)境中的運(yùn)動信息[4]。因此，利用基于視覺的導(dǎo)航方法實(shí)現(xiàn)無人機(jī)在復(fù)雜環(huán)境中定點(diǎn)安全快速降落成為當(dāng)前研究的熱點(diǎn)。

本文提出了一種基于視覺的煤礦輸電線巡檢無人機(jī)自主降落系統(tǒng)。設(shè)計(jì)了一個由兩個大小不同的等邊三角形組成的拓?fù)淠Ｊ?，無人機(jī)可以很容易地從復(fù)雜的周圍環(huán)境中識別出來。然后提出了一種動態(tài)閾值圖像二值化方法，如果識別成功，將稍微調(diào)整閾值，如果在連續(xù)幀中沒有檢測到目標(biāo)，將重新搜索可能的閾值，從而提高檢測效率。為了估計(jì)無人機(jī)相對于降落平臺的相對位置和方向，利用圖像的有效信息來計(jì)算相對水平距離和航向角偏差，采用線性插值法逼近相對高度[5，6]。最后在相應(yīng)平臺上進(jìn)行實(shí)驗(yàn)，以評估本文提出的無人機(jī)自主降落系統(tǒng)的性能。

1 ?無人機(jī)自主降落系統(tǒng)

整個無人機(jī)自主降落系統(tǒng)可分為飛行控制器、氣壓高度傳感器、慣性測量單元、全球定位系統(tǒng)、數(shù)據(jù)處理器和視覺系統(tǒng)幾個部分，如圖1所示。

本文主要針對視覺系統(tǒng)進(jìn)行研究，其包括圖像采集和圖像處理兩個部分。本文使用帶有Linux操作系統(tǒng)中的樹莓派4B作為圖像處理單元，圖像由廣角175度高清攝像機(jī)獲取。

地標(biāo)的可用性在很大程度上會影響識別的精度，因此專門設(shè)計(jì)了兩種拓?fù)浣Y(jié)構(gòu)圖作為無人機(jī)降落地標(biāo)，如圖2所示，其由兩個大小不同的等邊三角形組成，最外面的三角形邊長42 cm，里面三角形邊長為24 cm，兩個三角形厚度都為6 cm，圖案是黑白兩色。

由于三角形具有方向性，所以該圖案可以指示無人機(jī)的方向，如圖2所示，右邊圖案還可以通過箭頭進(jìn)行識別方向，箭頭從三角形的中心開始，指向外圍三角形的頂點(diǎn)。該設(shè)計(jì)可以為無人機(jī)提供與地標(biāo)相關(guān)的偏航信息。當(dāng)圖像的分辨率不變，且圖像中地標(biāo)的大小或形狀隨無人機(jī)高度的變化而變化時(shí)，仍能識別出目標(biāo)。在實(shí)際應(yīng)用中，可以根據(jù)需要修改兩個等邊三角形的邊長和位置的關(guān)系。

2 ?基于視覺的降落點(diǎn)識別與定位

該系統(tǒng)利用OpenCV庫，利用機(jī)載廣角攝像機(jī)采集的圖像信息實(shí)現(xiàn)地標(biāo)檢測[7]。

2.1 ?圖像預(yù)處理

攝像機(jī)保持垂直向下拍攝，分辨率為640×480。在目標(biāo)檢測之前對采集到的圖像進(jìn)行預(yù)處理，以減少冗余信息。為了達(dá)到這個目的，地標(biāo)被放置在降落平臺上，相機(jī)獲取地標(biāo)的視頻流。對于每一幀，首先將圖像大小轉(zhuǎn)換為固定值。然后使用高斯函數(shù)對圖像進(jìn)行平滑和濾波處理。最后，在去除高斯噪聲后，將整個圖像進(jìn)行黑白二值化[8，9]。

2.2 ?動態(tài)閾值

本文針對圖像二值化過程，設(shè)計(jì)了一種由兩部分組成的動態(tài)閾值方法：在每次識別成功后對閾值進(jìn)行微調(diào)，并在連續(xù)幀中未檢測到目標(biāo)時(shí)重新搜索可能的閾值。全局閾值的初始值在執(zhí)行對象檢測之前設(shè)置，為目標(biāo)區(qū)域創(chuàng)建感興趣區(qū)域（ROI），在該區(qū)域中，地標(biāo)在前一幀中被成功檢測。如果當(dāng)前幀的局部閾值和全局閾值之間的差值在一定范圍內(nèi)，則使用局部閾值對下一幀進(jìn)行二值化。如果目標(biāo)在多個幀中連續(xù)丟失，則在該范圍內(nèi)以固定步長搜索閾值，如果經(jīng)過多次迭代搜索仍沒有找到目標(biāo)，則擴(kuò)展閾值的搜索范圍并減小搜索步長，如果在遍歷多次迭代后仍未找到正確的閾值，則認(rèn)為目標(biāo)已完全丟失。

2.3 ?目標(biāo)檢測

利用OpenCV庫函數(shù)對二值化圖像的所有輪廓進(jìn)行分層樹結(jié)構(gòu)檢索，根據(jù)輪廓數(shù)量、輪廓位置、輪廓面積和邊界拐點(diǎn)個數(shù)等指標(biāo)選擇正確的輪廓。本文設(shè)計(jì)的地標(biāo)不包含并排的子輪廓，因此可以采用層次識別算法對目標(biāo)進(jìn)行檢測。

目標(biāo)標(biāo)記由5個純形狀依次嵌套而成，因此檢測到的目標(biāo)輪廓總數(shù)必須小于5個。如果存在并列或重合等位置關(guān)系，則排除輪廓集，并判斷下一組，在某些情況下，并非所有輪廓都可以被找到。正確的等高線集應(yīng)滿足等高線數(shù)目和拐點(diǎn)數(shù)目的約束。本文根據(jù)拐點(diǎn)的數(shù)目對五個輪廓進(jìn)行編碼，分別是4、4、3、3、4。對應(yīng)于拐點(diǎn)數(shù)量的已識別輪廓的數(shù)量如表1所示。

采用Douglas-Peucker算法對閉合輪廓曲線進(jìn)行壓縮，將其分割成若干段，得到拐點(diǎn)。表1中等高線拐點(diǎn)序列編號的內(nèi)容，如“4433*”，是根據(jù)每個等高線的拐點(diǎn)編號排列的?！?”表示在檢測期間忽略最里面的輪廓，因?yàn)樵谀承┣闆r下該輪廓太小，無法準(zhǔn)確識別。如果結(jié)果與表1中的任何一個條件都不匹配，則判斷圖像區(qū)域中沒有地標(biāo)。對于表1所列的情況，優(yōu)先確定大多數(shù)輪廓。當(dāng)無人機(jī)非常接近地標(biāo)時(shí)，開始搜索最里面的輪廓。目標(biāo)檢測的整個過程如圖3所示。

2.4 ?相對位置和方位計(jì)算

圖像處理中地標(biāo)檢測后，提取圖像的有效特征點(diǎn)，計(jì)算相對位置和方位，實(shí)現(xiàn)無人機(jī)的自主降落。在這項(xiàng)研究中，采用線性插值的方法來近似求出相對高度和最大側(cè)邊長度之間的關(guān)系。在實(shí)驗(yàn)之前，收集兩組數(shù)據(jù)作為已知量。一組要求地標(biāo)中心與攝像機(jī)中心對齊，而另一組要求地標(biāo)中心和攝像機(jī)中心之間一定的偏移。多次執(zhí)行測量，并且記錄每次無人機(jī)的實(shí)際高度，以及兩個三角形邊長的最大像素側(cè)邊長度。完成位置和方位計(jì)算后，將數(shù)據(jù)送入無人機(jī)控制系統(tǒng)，完成跟蹤和降落任務(wù)。

3 ?實(shí)驗(yàn)結(jié)果

在固定的平臺上測試無人機(jī)自主降落算法的性能，降落階段采用視覺導(dǎo)航，負(fù)責(zé)引導(dǎo)無人機(jī)在距降落平臺高度3 m、直徑約6 m的錐形空間降落。降落采用175度廣角攝像機(jī)，以30幀/秒的速度拍攝640×480分辨率圖像。圖像處理和目標(biāo)檢測都是在樹莓派3B上進(jìn)行的。圖4表示使用本文提出的動態(tài)閾值方法獲得的原始圖像和二值圖像。

實(shí)驗(yàn)中，攝像機(jī)鏡頭保持垂直向下，無人機(jī)保持在平臺上方飛行。無人機(jī)從手機(jī)接收指令，執(zhí)行視覺搜索和懸停任務(wù)，然后執(zhí)行降落指令。無人機(jī)降落過程中的垂直速度曲線如圖5所示。

4 ?結(jié) ?論

本文設(shè)計(jì)了一種視覺導(dǎo)航方法來輔助無人機(jī)跟蹤目標(biāo)，實(shí)現(xiàn)自主降落。利用設(shè)計(jì)良好的拓?fù)淠Ｊ阶鳛橐曈X指標(biāo)，提出了一種在圖像處理中搜索閾值的方法，提高了目標(biāo)識別的效率。線性插值方法的應(yīng)用保障了相對高度的精確性。在相應(yīng)平臺上成功地進(jìn)行了實(shí)驗(yàn)，顯示了穩(wěn)定的跟蹤和降落過程，此系統(tǒng)達(dá)到了煤礦輸電線路巡檢無人機(jī)自主降落的要求。

參考文獻(xiàn)：

[1] 楊婷.電力巡檢四旋翼無人機(jī)自主著陸系統(tǒng)研究 [D].成都：電子科技大學(xué)，2019.

[2] FAN R，JIAO J，PAN J，et al. Real-Time Dense Stereo Embedded in A UAV for Road Inspection [C]//IEEE Conference on Computer Vision and Pattern Recognition Workshops，2019.

[3] 索文凱，胡文剛，張炎，等.無人機(jī)自主降落過程視覺定位方法研究 [J].激光技術(shù)，2019，43（5）：101-106.

[4] FAN R.Real-time computer stereo vision for automotive applications [D].Bristol：University of Bristol，2018.

[5] 徐煥太.基于雙目視覺的多旋翼無人機(jī)自主降落定位方法研究 [D].哈爾濱：哈爾濱理工大學(xué)，2018.

[6] FAN R，AI X，DAHNOUN N.Road Surface 3D Reconstruction Based on Dense Subpixel Disparity Map Estimation [J].IEEE Transactions on Image Processing，2018，27（6）：3025-3035.

[7] 屈小媚，劉韜，談文蓉.基于多無人機(jī)協(xié)作的多目標(biāo)無源定位算法 [J].中國科學(xué)：信息科學(xué)，2019，49（5）：570-584.

[8] 賈配洋，彭曉東，周武根.四旋翼無人機(jī)自主移動降落方法研究 [J].計(jì)算機(jī)科學(xué)，2017，44（S2）：520-523.

[9] 董素河.輸電線路智能無人機(jī)巡檢的研究及應(yīng)用 [J].石化技術(shù)，2019，26（8）：350-351.

作者簡介：張傳江（1969-），男，漢族，安徽淮北人，淮北礦業(yè)機(jī)電裝備處處長，高級工程師，本科，研究方向：礦山機(jī)電。