電力輸電線路無人機巡檢航線智能規(guī)劃方法

戴永東,王永強,高 超,蔡煥青,曹世鵬,范 僑

(1.國網(wǎng)江蘇省電力有限公司泰州供電分公司, 江蘇 泰州 225300;2.中國電力科學(xué)研究院有限公司, 北京 100089;3.眾芯漢創(chuàng)(北京)科技有限公司, 北京 100193)

0 引言

隨著無人機技術(shù)的快速發(fā)展,憑借著體積小、成本低的特點,在軍事領(lǐng)域和民用領(lǐng)域,無人機都展現(xiàn)出了巨大的發(fā)展?jié)摿?在電力輸電線路巡檢方面也有廣泛的應(yīng)用前景[1]。然而,在巡檢過程中,目前主要仍由地面工作人員根據(jù)搭載在無人機上的視覺攝像回傳的圖像、GPS等信息來控制無人機的飛行及拍攝,這種巡檢方式對操作人員有著極強的依賴性,且工作強度大、效率低[2]。自主任務(wù)是無人機輸電線路巡檢未來發(fā)展的必然趨勢,輸電線路智能航線規(guī)劃則是提高無人機自主飛行能力、保障飛行安全和提高巡檢效率的關(guān)鍵技術(shù)之一。

近年來,國內(nèi)外學(xué)者對無人機航跡規(guī)劃進行了深入研究,提出了許多可行算法。例如,Senthilnath等[3]提出了一種帶有元認(rèn)知學(xué)習(xí)的兩級分割框架,用安裝在無人機平臺上的RGB(red green blue)相機檢測電力線。Wu等[4]提出了一種新型的架空輸電線路參數(shù)重建方法,構(gòu)建了近似輸電線路反問題的框架,將問題轉(zhuǎn)化為非線性優(yōu)化問題。巫茜等[5]在斥力勢場函數(shù)中引入無人機與目標(biāo)點的相對距離,提出一種三維目標(biāo)分段法,確保無人機逃離局部極小值并消除局部震蕩路徑;王慶等[6]對傳統(tǒng)的蟻群算法在無人機航跡規(guī)劃中容易出現(xiàn)極值、收斂速度慢等問題,采用環(huán)境地圖進行坐標(biāo)變換來解決;陳寧蘭等[7]以固定翼無人機為研究對象,運用遺傳算法對巡檢線路規(guī)劃進行研究;周毅等[8]在遺傳算法中引入插入算子和刪除算子來提高遺傳算法的運算效率,解決無人機在局部路徑規(guī)劃中的問題;黃鄭等[9]提出基于蟻群和A*混合算法(ACO-A*)的電力桿塔巡檢三維航跡規(guī)劃方法降低巡檢能耗。但上述無人機路徑規(guī)劃方法都不能很好地解決動態(tài)環(huán)境中的無人機路徑規(guī)劃問題。例如,在無人機巡檢過程中易出現(xiàn)未知情況,需要無人機主動執(zhí)行避障任務(wù)[10],使用遺傳算法容易出現(xiàn)局部最優(yōu)的情況。為了提高無人機飛行過程中路徑規(guī)劃的實時性,一些研究的重點轉(zhuǎn)移到無人機在動態(tài)環(huán)境中的航線智能規(guī)劃和主動避障方面。周永濤等[11]提出一種基于深度強化學(xué)習(xí)的基站無人機路徑規(guī)劃方法。羅隆福等[12]提出一種融合無人機的動力學(xué)特性的路徑規(guī)劃算法來解決無人機在狹窄空間中規(guī)劃失敗的問題。

然而,上述方法沒有充分考慮無人機巡檢過程的動態(tài)性,不能有效地處理巡檢路徑節(jié)點之間的未知威脅源。本文中提出一種基于三維點云分割的主動目標(biāo)捕獲方法。采用VoxBlox原理[13],使用截斷符號距離函數(shù)(truncated signed distance function,TSDF)來重建障礙物表面[14],并通過融合的歐幾里德符號距離場快速規(guī)劃無人機航線以避開障礙物,從而快速到達(dá)目標(biāo)。

1 無人機輸電線路巡檢平臺

為提升無人機巡檢平臺的性能,使用改裝的DJI Matrice 300RTK四旋翼作為檢測平臺,如圖1所示。

圖1 DJI Matrice300無人機檢測平臺示意圖

使用的無人機攜帶先進的高清圖像傳輸系統(tǒng)DJI Lightbrige?？稍贕PS拒絕環(huán)境下工作的視覺定位系統(tǒng)DJI Guidance、穩(wěn)定器DJI Zenmuse X3、單目高清攝像機用于跟蹤和檢測。此外,安裝2個嵌入式處理器(NVIDIA TK1)和NVIDIA TX2用于實時對無人機進行航向智能規(guī)劃。帶有高性能圖形處理單元(GPU)的TX2是負(fù)責(zé)DTV和控制策略的主處理器。DJI Maniflod僅用于捕獲傳感器數(shù)據(jù)。在2個處理器上運行Robot操作系統(tǒng),構(gòu)建1個ROS網(wǎng)絡(luò)。無人機巡檢平臺主要參數(shù)見表1。

表1 無人機巡檢平臺主要參數(shù)

具體來說,無人機通過單目攝像機、RGB-D傳感器或激光雷達(dá)傳感器感知環(huán)境,獲得原始大規(guī)模點云數(shù)據(jù)。首先,為了對大規(guī)模使用點云數(shù)據(jù)所表示的對象語義進行分類,需要對點云進行語義分割。然后,利用TSDFs重建包含位置和語義信息的點云。接下來,從TSDFs生成歐幾里德符號距離場(ESDFs),以實現(xiàn)無人機周圍障礙物的感知和語義體素的認(rèn)知。最后,在進行體素化時,輸電線路上的障礙物或者設(shè)備拍攝與圖像噪聲等方面的影響會導(dǎo)致表達(dá)之后目標(biāo)對象的位置信息可能發(fā)生偏差。體素化產(chǎn)生的體數(shù)據(jù)集不僅包含模型的表面信息,而且能描述模型的內(nèi)部屬性。表示模型的空間體素跟表示圖像的二維像素比較相似,所以本文中使用二維CNN[15]方法來實現(xiàn)變焦相機對輸電線路巡檢目標(biāo)對象的精確捕獲和拍攝。無人機輸電線路巡檢平臺的系統(tǒng)架構(gòu)如圖2所示。

圖2 系統(tǒng)架構(gòu)

2 無人機自主巡檢路徑規(guī)劃

2.1 實時點云分割和TSDF重建

對于大規(guī)模點云分割,當(dāng)前的大多數(shù)算法都需要依賴昂貴的采樣技術(shù)或計算繁瑣的前后處理步驟。大量現(xiàn)有方法只能在小尺度點云上進行訓(xùn)練和操作。利用無人機的計算能力,本文中采用RandLA-Net[16]方法直接推斷大規(guī)模點云中每個點的語義。該方法的關(guān)鍵是使用隨機點采樣,而不是更復(fù)雜的點選擇方法。RandLA-Net一次可以處理100萬個點,比現(xiàn)有方法快200倍。分割后的傳輸線點云如圖3所示。使用不同顏色來表示不同語義屬性的點云。用TSDF作為隱式曲面表示,并將空間點云劃分為體素,每個體素包含到最近曲面的距離。本文中主要研究野外空曠環(huán)境下對無人機進行智能路徑規(guī)劃,使用無人機巡檢平臺進行輸電線路巡檢,障礙物主要是輸電線路通道中的樹木,因此還需要知道周圍障礙物表面的全局歐氏距離。Voxblox已被證明能夠從TSDFs快速動態(tài)構(gòu)建ESDFs,且可以降低計算成本,能夠提升快速碰撞檢查功能,這對于快速主動地探測和檢測輸電線路的巡檢目標(biāo)至關(guān)重要。如圖4所示,傳輸線的體素模型基于激光雷達(dá)傳感器數(shù)據(jù)構(gòu)建,該數(shù)據(jù)通過ESDFs的3D切片可視化。顏色表示到曲面邊界的距離。無人機不僅可以獲取周圍障礙物的位置信息,還可以實時檢測目標(biāo)的位置。

圖3 輸電線路的點云圖

圖4 傳輸線的體素模型示意圖

使用Inertial Explore1提供的組合慣性導(dǎo)航算法計算飛行軌跡,然后使用計算的軌跡和激光雷達(dá)數(shù)據(jù)校準(zhǔn)慣性導(dǎo)航系統(tǒng)(inertial navigation system,INS)和激光雷達(dá)之間的外部參數(shù),最后使用校準(zhǔn)的外部參數(shù)、軌跡數(shù)據(jù)和激光雷達(dá)數(shù)據(jù)融合完整的點云。對于外部參數(shù)校準(zhǔn),當(dāng)外部參數(shù)校準(zhǔn)準(zhǔn)確時,點云通常更“清晰”。具體地說,外部參數(shù)的初始值是基于物理安裝計算的,而點云是基于初始值進行融合的。對于點云中的每個點,找到最近的鄰居并計算距離。最后,計算所有距離之和,并將其作為損失函數(shù)以最小化,如式(1)所示。

(1)

其中：P是融合點云P=p1,p2,p3,…,pk,k是點數(shù);nearest(pi,P)主要用于在點云中查找最近點;dis(pi,pj)用于計算兩點之間的歐氏距離,并根據(jù)點的重要性對它們之間的距離進行加權(quán)。本文中,wi是激光雷達(dá)和點云pi之間距離的倒數(shù),即離激光雷達(dá)較近的點更重要。將這些點合并為體素還需要進一步對輸電塔的上絕緣子體素進行處理,分組分段絕緣子的體素,以便后續(xù)對輸電塔部分進行路徑規(guī)劃。設(shè)Ii(x,y,z)為絕緣子串中心點的坐標(biāo),部分放大點云圖見圖5。

圖5 部分放大點云圖

2.2 智能路徑規(guī)劃

輸電線路部件眾多,為了更好地對輸電塔巡檢線路進行智能規(guī)劃,選擇絕緣子作為參照目標(biāo)的主要原因在于：① 絕緣子在輸電塔的邊緣端,無人機在采集數(shù)據(jù)時較為方便,不會影響無人機的飛行安全;② 輸電通道上絕緣子部件較多,生成的點云數(shù)據(jù)較好,作為參照物進行路徑規(guī)劃時效率更高;③ 輸電塔的不同高度都有絕緣子部件,因此可同時完成對絕緣子和輸電塔架的巡檢任務(wù),然后通過點云分割和TSDF重建得到各目標(biāo)絕緣子的中心點坐標(biāo)。然而,由于點云的無序性,無人機在巡檢時無法準(zhǔn)確地判斷中心點絕緣子的空間位置,因此還需要確定每個絕緣子中心點的側(cè)面和方向。

無人機航線路徑規(guī)劃的目的是允許無人機根據(jù)目標(biāo)點Ii的坐標(biāo)來規(guī)劃航路點,并計算光學(xué)變焦攝像鏡頭的角度和焦距,以便巡檢過程中拍攝目標(biāo)盡可能位于視野中心。根據(jù)絕緣子Ii和塔架Ti之間的距離小于塔架半徑Tr,可以確定絕緣子屬于哪個塔架;根據(jù)高度來區(qū)分絕緣子所在的塔架各層。Ia、Ib、Ic和Id是根據(jù)圖6(a)所示高度判斷的同一層絕緣子,但不能確定絕緣子Ia、Ib、Ic和Id在哪一側(cè),可通過圖6(b)中的角度鑒別器進行區(qū)分。

圖6 無人機智能航線規(guī)劃算法示意圖

1) 隨機選擇一個絕緣子,假設(shè)是A;

2) 如果∠AOB<90°：那么絕緣子A和B在同一側(cè);否則,絕緣體A和B位于不同的側(cè)面。

將塔架上的絕緣子按同一層、同一側(cè)進行分類后,可以得到無人機在輸電線路巡檢時航拍的最優(yōu)航路點和拍照角度。如圖6(c)所示,無人機與鐵塔之間的最佳距離為10 m。C是連接到AB的絕緣子A和B的中心點Ia和Ib之間的中點。無人機的最佳拍攝點D是通過將輸電塔的中心O連接到中心C并將其延長10 m而獲得的。同一側(cè)和同一層可能有多個絕緣子。根據(jù)角度計算規(guī)則,可以通過式(2)、(3)計算每個絕緣子的最佳拍攝點,實現(xiàn)單個航路點的無人機航線規(guī)劃,繼而完成整個塔架的航路點規(guī)劃,如圖6(d)所示。

多級輸電線路的航線首先需要根據(jù)坐標(biāo)確定桿塔的相鄰關(guān)系,并按同層同側(cè)絕緣子進行分類。如圖7所示,當(dāng)線段P3P11和線段P3P12的正交投影相交時,線段兩側(cè)的絕緣子位于不同側(cè);相反,則線路段兩側(cè)的絕緣子位于同一側(cè)。完成分類后,很容易確定輸電塔之間的巡檢路線。

圖7 多塔輸電線航路智能規(guī)劃圖

(2)

(3)

2.3 輸電線巡檢目標(biāo)獲取

根據(jù)計劃軌跡,為無人機更換光學(xué)變焦鏡頭,進行模擬和實際飛行測試。經(jīng)過實驗測試發(fā)現(xiàn),自動路徑規(guī)劃的路點基本可以滿足精細(xì)檢測的要求,但以體素表示的絕緣體定位精度存在一定誤差。當(dāng)無人機的光學(xué)變焦倍數(shù)變大時,目標(biāo)可能會移出視野。故本文中加入機載目標(biāo)識別的方法,將目標(biāo)鎖定在視野中心,盡可能填滿畫面。

機載目標(biāo)識別系統(tǒng)由3個部分組成：一個帶光學(xué)變焦的攝像機、一個帶角度控制的萬向節(jié)和一個機載處理器。機載計算機使用Faster R-CNN作為目標(biāo)檢測網(wǎng)絡(luò),將目標(biāo)物體(如絕緣子)鎖定在視野內(nèi),通過縮放使目標(biāo)占據(jù)畫面的80%。云臺能自適應(yīng)旋轉(zhuǎn),使目標(biāo)看起來在視野的中心。圖8顯示了光學(xué)變焦吊艙的視野,w是圖像幀的寬度,h是圖像幀的高度,w′是識別的絕緣子的寬度,h′是識別的絕緣子的高度,B(x1,y1)是絕緣子的中心坐標(biāo),O(x0,y0)是圖像幀的中心坐標(biāo)。

圖8 目標(biāo)中心點偏移和幀計算視野圖

因此,可根據(jù)式(4)和(5)中的關(guān)系來實時鎖定檢測的目標(biāo)絕緣子。

(4)

(5)

3 實驗

為測試所提出的無人機智能巡檢方案,分別進行點云測繪精度實驗、點云分割性能實驗、無人機路徑規(guī)劃飛行效率實驗和飛行路徑中目標(biāo)拍攝精度實驗。實驗的主要目的是測試無人機通過點云自動規(guī)劃路徑并拍攝照片進行巡檢任務(wù)的可行性。

3.1 點云測繪精度實驗

掃描的點云坐標(biāo)是WGS84坐標(biāo)中的通用墨卡爾投影。在繪圖區(qū)域統(tǒng)一選擇43個精度檢查點,并使用SOUTH Galaxy 1 RTK收集每個檢查點WGS84坐標(biāo)中的通用墨卡爾投影。經(jīng)過實驗發(fā)現(xiàn),點云的絕對平均誤差為0.063 m,滿足電力線定位精度要求。測繪精度誤差見表2。

表2 測繪精度誤差

本文中無人機自動詳細(xì)檢查的位置誤差小于10 cm。通過將所提出方法與一些研究進行比較,評估位置精度。從表3可以看出,所提出方法的位置誤差小于10 cm,滿足輸電線路的自動巡檢要求,且優(yōu)于對比方案。

表3 位置精度實驗結(jié)果

3.2 點云分割性能實驗

收集2個不同城市共34 km的輸電線和114座輸電塔的數(shù)據(jù),用于點云分割實驗。數(shù)據(jù)集屬性如表4所示。訓(xùn)練集中有20.3 km的電力線和61座輸電塔,測試集中有13.7 km的輸電線和53座電力塔。根據(jù)輸電線的連接關(guān)系切割數(shù)據(jù)集。每個區(qū)塊包含相鄰的2個輸電塔,每個區(qū)塊進一步切割成具有8 192個點的小點云。每個小點云的數(shù)據(jù)量為10 m×10 m×10 m。

表4 數(shù)據(jù)集屬性

計算每個類別和整個測試集的召回率、準(zhǔn)確率和平均交并比值(mIoU),結(jié)果如表5所示。實驗結(jié)果為自動路徑規(guī)劃算法提供了數(shù)據(jù)支持。

表5 分段性能表

3.3 無人機路徑規(guī)劃飛行效率實驗

根據(jù)路徑規(guī)劃算法,在模擬器上對無人機的路徑規(guī)劃進行仿真驗證。如圖9(a)所示,無人機能夠?qū)崿F(xiàn)單輸電塔多目標(biāo)和多塔多目標(biāo)的路徑規(guī)劃,還可根據(jù)目標(biāo)點精確計算萬向節(jié)旋轉(zhuǎn)角度和視野角度。模擬機測試后,進行實際電力輸電線飛行巡檢測試實驗,如圖9(b)所示。

圖9 路徑規(guī)劃測試實驗圖

進行不同電壓級別和不同長度的分段實驗,與人工操作無人機巡檢進行比較。從自動巡檢線路實驗中選擇10條線路,比較人工手動飛行和自動巡檢的效率。由于巡檢任務(wù)可能具有偶然性,本文中選擇比較時間為1年。人工飛行和自動巡檢的時間見表6所示。

表6 人工飛行和自動巡檢的時間

從表6中可以看出,自動詳細(xì)檢查的效率提高57.98%～62.88%。結(jié)合無人機的機載目標(biāo)識別,本文中所提算法能在攝像機變焦過程中對目標(biāo)進行實時識別,并對框架進行動態(tài)調(diào)整。

3.4 巡檢目標(biāo)拍攝精度實驗

在實際照片中選擇10 000張包含絕緣子的航拍圖像,其中8 000張用于訓(xùn)練,2 000張用于測試。使用PyTorch1.12.0實現(xiàn)Faster R-CNN作為目標(biāo)檢測網(wǎng)絡(luò),使用ResNet提取輸入圖像的特征。在Fast R-CNN中,使用卷積層和池化層來提取特征。通過RoI池化層將不同大小的RoI(region of interest)映射到固定大小的特征圖上,用于后續(xù)的檢測任務(wù)。檢測網(wǎng)絡(luò)由全連接層和分類器(包括softmax分類器和邊界框回歸器)組成。全連接層將RoI特征映射到固定大小的特征向量上,然后通過分類器對RoI進行分類(確定物體類別)和邊界框回歸(確定物體位置和大小),將模型在4×2080 Ti服務(wù)器上進行訓(xùn)練。訓(xùn)練迭代了60個epoch。通過TensorRT加速,在機載電腦NVIDIA NX上實現(xiàn)了超過30幀的速度。

結(jié)合機載目標(biāo)識別,實現(xiàn)對目標(biāo)物體的實時識別和相機變焦過程中云臺的動態(tài)調(diào)整。 得到如圖10所示的散點圖,灰點表示手動控制無人機得到的照片質(zhì)量,綠點表示手動標(biāo)記目標(biāo)點后規(guī)劃軌跡得到的照片效果,藍(lán)點表示基于點云分割的自動路徑規(guī)劃,紅點代表所提出的具有機載目標(biāo)識別的全自動方法獲得的照片效果。散點圖顯示：本文方法具有最低的目標(biāo)偏差和最佳幀率,手動標(biāo)記點云的效果與自動分割生成的軌跡點的效果類似;手動遠(yuǎn)程控制的效果最差,且消耗了大量時間。

圖10 中心偏移率和幀率散點圖

4 結(jié)論

1) 通過先進的檢測平臺,在巡檢過程中主動拍攝輸電線路和周圍環(huán)境的實時情況,使無人機能在未知環(huán)境中主動尋找目標(biāo)并拍攝照片,成功避開周圍障礙物,實時規(guī)劃優(yōu)化路線。

2) 原生的三維點云數(shù)據(jù)在機上被迅速進行語義分割和體素化。為了捕捉目標(biāo)和收集數(shù)據(jù),利用TSDFs重建障礙物表面,并通過融合ESDFs避開障礙物,快速到達(dá)目標(biāo)。

3) 無人機實現(xiàn)了對電力線路檢測的全自動路徑規(guī)劃,準(zhǔn)確獲取了多種類型的精細(xì)化目標(biāo)照片。該系統(tǒng)能極大地節(jié)省人力和時間,保證相關(guān)人員的生命安全。本文系統(tǒng)已在實踐中應(yīng)用,節(jié)省了大量的人力。

針對巡檢過程中環(huán)境的動態(tài)變化性,實現(xiàn)輸電線路精準(zhǔn)巡檢。下一步將采集輸電線路周邊的邊緣設(shè)備數(shù)據(jù)實時反饋給無人機的機載系統(tǒng),提高巡檢線路過程的智能化水平。