基于網(wǎng)絡(luò)的無人機巡檢作業(yè)仿真培訓交互系統(tǒng)設(shè)計與開發(fā)

林厚飛 葉 靜 林權(quán)威

（國網(wǎng)浙江省電力有限公司平陽縣供電公司，浙江 溫州 325000）

0 引言

無人機巡檢作業(yè)作為一種新的巡檢方式，目前，在輸配電架空線路、變電站等電力行業(yè)領(lǐng)域得到了廣泛的應(yīng)用，其通過搭載不同的輔助設(shè)備可以完成如現(xiàn)場照片、溫度、三維激光點云等數(shù)據(jù)的收集。與人工巡檢相比有很多優(yōu)點。人工巡檢不僅勞動強度大，且巡視周期長，巡檢結(jié)果也無法及時反饋。而無人機巡檢不僅能降低人員的勞動強度，還能巡視到人工無法巡檢的位置，提高了巡檢的效率及準確性。當前，從事無人機巡檢作業(yè)工作，需要在上崗前進行大量的理論、實操培訓，并通過AOPA（中國航空器擁有者及駕駛員協(xié)會）或電力行業(yè)無人機巡檢作業(yè)培訓考核之后才能持證上崗。但取得證書后，在實際飛行過程中，依然有墜機、飛行故障等情況發(fā)生，故需開發(fā)一種與實際飛行效果相同的培訓軟件，用于學員在日常培訓中掌握無人機巡檢作業(yè)的相關(guān)規(guī)范以及無人機飛行技能、技巧。

沉浸式仿真技術(shù)是電力系統(tǒng)技能培訓的重要工具[1，2]，在線路巡線檢修、變電站操作、電力安全培訓應(yīng)用中發(fā)揮了重要作用。通過建立電力培訓仿真平臺，構(gòu)建電氣運行設(shè)備三維場景來模擬真實的現(xiàn)場作業(yè)環(huán)境，使受訓學員模擬近乎真實的操作體驗。文獻[1]采用3DMax技術(shù)搭建虛擬電力培訓平臺，并結(jié)合OpenGL讀取功能增強系統(tǒng)的可交互性；文獻[2]設(shè)計出一套沉浸式變電站仿真培訓系統(tǒng)，并在廣東省電力公司培訓實現(xiàn)應(yīng)用。

隨著我國電力系統(tǒng)向廣泛互聯(lián)、智能互動、靈活柔性、安全可控的新一代電力系統(tǒng)方向發(fā)展，智能可穿戴裝置在電力系統(tǒng)中的應(yīng)用大幅提升[3，4]，使用戶能與三維場景中的虛擬設(shè)備進行互動，受訓人員能夠在不受安全威脅的情況下，高效地完成各種作業(yè)流程的培訓任務(wù)，從而大大縮短培訓時間、減輕現(xiàn)場作業(yè)負擔、規(guī)范電力操作流程、提升現(xiàn)場作業(yè)效率。然而目前未見人機交互裝置在無人機巡檢作業(yè)培訓中的具體應(yīng)用。

本文以輸電線路無人機巡檢作業(yè)基礎(chǔ)知識、實際操作為基礎(chǔ)，采用網(wǎng)絡(luò)、數(shù)據(jù)庫、三維仿真、虛擬現(xiàn)實、人機互動等技術(shù)，闡述了基于網(wǎng)絡(luò)的無人機巡檢作業(yè)仿真培訓交互系統(tǒng)設(shè)計及開發(fā)方案。系統(tǒng)完成后能夠?qū)崿F(xiàn)個人及班組的輸電線路無人機巡檢作業(yè)項目的仿真培訓，強化互動性培訓過程，提升培訓的生動性、實踐性，為無人機巡檢作業(yè)培訓提供了一種新穎可靠的途徑。

1 基于網(wǎng)絡(luò)的輸電線路無人機巡檢作業(yè)仿真培訓交互系統(tǒng)設(shè)計方案

1.1 設(shè)計原則

（1）系統(tǒng)具備良好的可擴展性、實用性、可靠性、易用性以及安全性，便于投入使用后的學習、使用、維護以及升級等工作。

（2）系統(tǒng)盡可能地呈現(xiàn)出物理信息融合的特點，物理上實現(xiàn)視覺、聽覺、觸覺上的功能模擬，又有信息上的多類別、多層面的協(xié)調(diào)功能，提供海量在線作業(yè)標準、規(guī)程和示范信息。

（3）實現(xiàn)網(wǎng)絡(luò)互聯(lián)，充分利用培訓平臺和后臺反饋數(shù)據(jù)，形成學員互助共享的技術(shù)庫和素材庫，重點關(guān)注對學員用戶的持續(xù)跟蹤和交流專區(qū)的建立。

1.2 系統(tǒng)功能需求

系統(tǒng)功能構(gòu)架如圖1所示。

圖1 系統(tǒng)功能構(gòu)架

系統(tǒng)采用理論培訓與交互操作訓練相結(jié)合的方式實現(xiàn)大規(guī)模的輸電線路無人機巡檢作業(yè)集中式教學。理論培訓模塊涵蓋了無人機基礎(chǔ)訓練、精細化巡檢等項目作業(yè)流程、技術(shù)規(guī)程、作業(yè)指導(dǎo)書、工器具資料、項目資料等內(nèi)容；交互操作訓練模塊具備手勢交互、語音交互、虛擬融合顯示、空間定位、無線通信等功能；培訓管理功能模塊實現(xiàn)對整個系統(tǒng)運行的監(jiān)督和記錄，并對實時分析考核結(jié)果、反饋評價意見。

2 系統(tǒng)的構(gòu)建

2.1 網(wǎng)絡(luò)架構(gòu)

目前，提供共享文件服務(wù)的應(yīng)用大多基于C/S結(jié)構(gòu)[5]。C/S模式的服務(wù)器多采用集群式并發(fā)架構(gòu)，以充分保證服務(wù)器的效率和安全。這種方式對服務(wù)器的穩(wěn)定性要求高，服務(wù)的資源也受到限制[6]。本文系統(tǒng)將服務(wù)器集群按功能劃分為以下五種：（1）登錄服務(wù)器；（2）網(wǎng)關(guān)服務(wù)器；（3）數(shù)據(jù)庫服務(wù)器；（4）UDP服務(wù)器；（5）作業(yè)項目服務(wù)器。在具體實施中可能加入其他不同功能的服務(wù)器，共同組成服務(wù)器集群。為用戶提供豐富的培訓內(nèi)容，滿足無人機巡檢作業(yè)培訓需求。

由于無人機巡檢作業(yè)技能培訓本身的特殊性和專業(yè)性，本系統(tǒng)采用C/S模式與P2P模式相結(jié)合的網(wǎng)架結(jié)構(gòu)，通過P2P文件共享子系統(tǒng)，收集整理組內(nèi)所有用戶端的共享文件信息，供所有學員查詢使用。充分利用C/S模式的中心服務(wù)器來管理視頻、音頻、文本等培訓資料，同時利用P2P技術(shù)來開拓協(xié)同學習和互助學習等領(lǐng)域，用于學員之間的溝通交流互動。

如圖2所示，在本系統(tǒng)中，服務(wù)器和客戶端之間采用C/S模式，客戶端之間根據(jù)房間的不同劃分為多個小的P2P網(wǎng)絡(luò)?；诖?，客戶端之間實現(xiàn)了數(shù)據(jù)緩存的共享，從而減少對服務(wù)器的訪問，降低了系統(tǒng)阻塞的可能性。結(jié)構(gòu)示意圖如圖2所示。

圖2 C/S和P2P混合模式結(jié)構(gòu)示意圖

2.2 系統(tǒng)硬件平臺構(gòu)成

本系統(tǒng)開發(fā)了一套無人機巡檢作業(yè)仿真培訓系統(tǒng)硬件，用于增加學員培訓時的真實感和沉浸感，包含操控臺、虛擬現(xiàn)實眼鏡、人員定位模塊、飛控模塊、模擬遙控器等，給學員提供了交互式的學習、認知和培訓體驗。系統(tǒng)硬件平臺如圖3所示。

圖3 系統(tǒng)硬件平臺

硬件平臺構(gòu)成運行方式如下：將培訓管理數(shù)據(jù)庫存儲至系統(tǒng)主機，操控臺與系統(tǒng)主機連接，構(gòu)建與數(shù)據(jù)庫中無人機巡檢作業(yè)環(huán)境相匹配的虛擬模型投射于顯示屏上；受訓者佩戴虛擬現(xiàn)實眼鏡，并根據(jù)語音或文字指示使用模擬遙控器進行操作，飛控模塊解析模擬遙控器發(fā)送的相關(guān)指令，并將解析后的指令后傳遞給系統(tǒng)主機，顯示屏上實時顯示受訓者虛擬環(huán)境下的受訓畫面；人員定位模塊用于匹配虛擬環(huán)境下受訓人員的作業(yè)位置，保證受訓者在虛擬環(huán)境下處于正確位置，受訓者使用模擬遙控器發(fā)送相關(guān)指令，按照相關(guān)規(guī)程規(guī)范完成無人機巡檢作業(yè)的所有步驟。

2.3 系統(tǒng)軟件平臺構(gòu)成

2.3.1 軟件支撐平臺

本系統(tǒng)開發(fā)主要采用以下支撐軟件：3Dmax、Unity3D、VC++等。其中，3Dmax主要用于建立工器具和人物模型。Unity3D具有開發(fā)成本低、應(yīng)用程序穩(wěn)定、開發(fā)周期短的優(yōu)勢，主要用于三維虛擬現(xiàn)實開發(fā)。VC++是開發(fā)程序，具有穩(wěn)定性好、完全支持面向?qū)ο缶幊痰奶攸c，主要用于底層代碼的編寫。本文系統(tǒng)的開發(fā)環(huán)境如表1所示。

表1 軟件支撐平臺

為加快項目開發(fā)進度，在軟件開發(fā)過程中，采用循環(huán)開發(fā)和并行開發(fā)的模式。系統(tǒng)開發(fā)過程如圖4所示。

圖4 軟件開發(fā)過程

2.3.2 模型與場景設(shè)計

模型和場景設(shè)計主要應(yīng)用3DMax、Maya、Photoshop和Zbrush軟件。設(shè)計流程如下：（1）根據(jù)輸電線路無人機巡檢作業(yè)具體項目確定模型或場景的要求；（2）到無人機巡檢作業(yè)現(xiàn)場拍攝照片；（3）綜合現(xiàn)場照片和設(shè)備尺寸在3DMax或Maya中制作無人機、鐵塔等模型；（4）依據(jù)現(xiàn)場照片，通過Photoshop制作模型精細貼圖；（5）使用Zbrush制作精細化人物貼圖；（6）在3DMax中制作并輸出模型文件，將模型導(dǎo)出為系統(tǒng)開發(fā)需要的格式模型，作為最基本元素被讀入系統(tǒng)，根據(jù)系統(tǒng)開發(fā)需要，構(gòu)建與實際環(huán)境相符的輸電線路通道環(huán)境進行渲染完成用戶需求的三維場景。

三維場景搭建流程如圖5所示。主程序信息腳本和場景構(gòu)造腳本都是文本文件格式的自定義腳本文件，主程序信息腳本主要包括程序初始化信息；場景構(gòu)造腳本針對不同的需求具有不同的腳本文件，可根據(jù)用戶需要開發(fā)多個場景構(gòu)造腳本文件。

圖5 三維場景的搭建流程

2.3.3 基于Airsim+Pixhawk飛控的半實物仿真

研究基于AirSim的飛行模擬器，系統(tǒng)采用Airsim+Pixhawk飛控模擬無人機飛行的真實物理狀態(tài)，并采用真實的無人機遙控器進行控制，逼近真機的操作感，飛行操控涵蓋目前常用的四旋翼、六旋翼、八旋翼機型。

飛控模塊主要通過解析遙控器發(fā)送到程序中的通道數(shù)據(jù)，組成一套特定范圍內(nèi)的變量，通過變量來控制VR程序中無人機的各項飛行參數(shù)，再在參數(shù)基礎(chǔ)上使用特定的算法模擬無人機真實飛行姿態(tài)，從而實現(xiàn)對無人機飛行的控制。

（1）基于AirSim的飛行特性模擬

系統(tǒng)基于微軟開源的AirSim模擬器進行開發(fā)。通過AirSim創(chuàng)造一個高還原的逼真輸電線路通道虛擬環(huán)境，并模擬現(xiàn)實世界中陰影、反射等容易干擾的環(huán)境因素，讓無人機不同經(jīng)歷真實世界的風險就能進行訓練。AirSim半實物仿真實現(xiàn)過程如圖6所示。

圖6 Air Sim半實物仿真實現(xiàn)

（2）基于pixhawk的飛行姿態(tài)模擬

pixhawk是3DR、DIYDrones和瑞士PX4團體聯(lián)合開發(fā)的新一代產(chǎn)品，如圖7所示。Pixhawk是第三代飛行控制系統(tǒng)（第一代為APM，第二代為PX4），主控制器采用32為STM32F-427處理器，可外接不同的傳感器，如加速度計、GPS傳感器、陀螺儀、磁力計、氣壓計等，可擴展的I/O接口和各種專用接口，支持CAN總線、I2C總線、S.BUS總線和UART通信。micro SD存儲卡用于存儲數(shù)據(jù)日志。

圖7 Pixhawk構(gòu)成

Pixhawk主要由硬件和配套軟件構(gòu)成，整體架構(gòu)如圖7所示，硬件部分主要整合了PX4-FMU控制器和PX4-IO，軟件部分主要包括NuttX實時操作系統(tǒng)、PX4中間件和PX4飛行控制棧三部分。

2.3.4 數(shù)據(jù)庫的設(shè)計

本仿真培訓系統(tǒng)利用MySQL數(shù)據(jù)庫管理以下數(shù)據(jù)： 人 員 檔 案 信 息 （User_Info）、 考 試 題 目 庫（ExamQuestion_Info）、外部引用文件信息（EXEINFO）、模型數(shù)據(jù)庫等。各種模型、場景數(shù)據(jù)存儲在電腦硬盤中，在數(shù)據(jù)庫中記錄文件路徑，數(shù)據(jù)調(diào)用通過數(shù)據(jù)庫查詢數(shù)據(jù)文件路徑實現(xiàn)。

3 系統(tǒng)應(yīng)用案例

3.1 案例展示

系統(tǒng)界面是實現(xiàn)人機交互的重要窗口。學員在系統(tǒng)界面進行操作，并及時地把相關(guān)信息反饋給學員，引導(dǎo)學員完成相應(yīng)的學習任務(wù)。在系統(tǒng)界面中，功能按鈕包括：系統(tǒng)界面、基本訓練、天氣選擇、場景選擇、機型選擇、操作方式等（見圖8）。通過功能按鈕的操作，明確受訓人員接下來的受訓任務(wù)，如基礎(chǔ)飛行訓練、精細化巡檢訓練、應(yīng)急處置訓練的鞥。本系統(tǒng)主要實現(xiàn)無人機培訓訓練的演示與模擬飛行功能。重點涉及飛行環(huán)境的選取，不同方式的動畫演示以及相配套的文字和聲音的添加，不同視覺方位的切換，這些邏輯通過VRP的腳本編輯器和事件編輯器來完成。在腳本編輯器中，運用軟件自帶的腳本命令完成各種交互功能的實現(xiàn)。

3.1.1 基礎(chǔ)技能培訓

根據(jù)無人機基礎(chǔ)技能訓練內(nèi)容，設(shè)計基礎(chǔ)技能操作（見圖9），進階飛行技能操作并根據(jù)AOPA或電力行業(yè)無人機培訓取證要求，設(shè)計無人機基礎(chǔ)飛行技能培訓模塊，滿足學員由基礎(chǔ)飛行技能訓練、進階飛行技能訓練以及AOPA考試訓練的培訓需求，學員可在崗?fù)瓿蓪W習訓練，提升培訓效率的同時極大地降低因訓練失誤導(dǎo)致的炸機損失。詳情如下：

AOPA：具備無人機起飛、降落、懸停、360°自旋、8字飛行等AOPA飛行技能。

基礎(chǔ)操控：支持GPS飛行模式/姿態(tài)增穩(wěn)模式；支持起飛降落、靜止懸停、多高度懸停、水平移動、45°角懸停、90°側(cè)向懸停、對角懸停。

進階操控：支持GPS飛行模式/姿態(tài)增穩(wěn)模式；支持定向水平圓周飛行、機頭向外圓周飛行、短距自由飛、中遠距返航行、機頭定向8字飛行；支持第一人稱視角飛行；支持機頭向心圓周飛行。

圖8 軟件啟動界面

圖9 基礎(chǔ)飛行訓練界面

3．1．2 無人機巡檢作業(yè)

根據(jù)溫州電網(wǎng)線路特點將真實場景中的桿塔、絕緣子以及金具等器件按照比例及樣式布置等真實的在虛擬場景中建模。根據(jù)溫州典型地形特點，使用現(xiàn)有數(shù)據(jù)進行實景三維地形地貌還原，真實模仿溫州的氣候、植被和地形等細節(jié)。在場景選擇上包含在電力巡線過程中常見的直線、耐張、同塔多回等常見桿塔類型，根據(jù)溫州當?shù)貙嶋H情況進行數(shù)據(jù)采樣和建模。選擇具有代表性的500 kV輸電線路（5 km），對其進行三維場景及桿塔建模、及標準化巡線模式定制。

還原真實輸電線路巡線場景（見圖10），制作仿真度極高的應(yīng)用場景，包括500 kV的直線、耐張等常見鐵塔類型。深入實地調(diào)研，設(shè)計溫州輸電線路仿真巡視流程。這些巡線流程會被加入仿真培訓系統(tǒng)中，顯著提升培訓的實用性。

圖10 精細化巡檢界面

3．1．3 無人機應(yīng)急處置

在軟件功能模塊中選擇任務(wù)無人機故障體驗后進入場景，即可開始無人機故障體驗功能，目前故障體驗有三個方面：（1）信號干擾；（2）動力失效；（3）起降點不平。學員可以在進入場景后選擇相應(yīng)的故障來體驗不同的突發(fā)狀況?？梢酝ㄟ^特定按鍵來重新選擇需要體驗的故障或者恢復(fù)無人機故障。應(yīng)急處置界面如圖11所示。

圖11 應(yīng)急處置界面

3.2 交互操作與測試

實際的無人機巡檢作業(yè)仿真培訓交互系統(tǒng)布置如圖12所示，系統(tǒng)構(gòu)建了1臺操控臺、2臺顯示設(shè)備、1套虛擬現(xiàn)實眼鏡、1套無人機模擬遙控器以及網(wǎng)絡(luò)仿真訓練所需要的交互設(shè)備。學員可分別扮演班組中不同的作業(yè)人員，單人或共同完成作業(yè)項目，實現(xiàn)多用戶、跨區(qū)域的無人機巡檢作業(yè)仿真訓練。另外，視覺、聽覺、觸覺結(jié)合的三維立體培訓情境能全面提升無人機巡檢作業(yè)培訓的學習、認知及培訓效果。

圖12 仿真培訓交互系統(tǒng)布置

4 結(jié)論

本文設(shè)計的基于網(wǎng)絡(luò)的無人機巡檢作業(yè)仿真培訓交互平臺采用“理論學習—交互操作—反饋”的方式實現(xiàn)輸網(wǎng)無人機巡檢作業(yè)培訓教學，一是結(jié)合輸配電網(wǎng)無人機巡檢作業(yè)標準化作業(yè)方法完成課程學習，并進行網(wǎng)上測評；二是通過人機互動裝置打造立體化的仿真操作演練區(qū)，充分展示無人機巡檢作業(yè)仿真環(huán)境、操作流程和作業(yè)方法，供用戶發(fā)現(xiàn)操作流程中的薄弱環(huán)節(jié)并熟悉預(yù)警機制，掌握標準化輸配電線路運行檢修作業(yè)技能，使培訓效果達到最優(yōu)。實際應(yīng)用案例表明，本系統(tǒng)在在無人機巡檢作業(yè)培訓中具有較好的發(fā)展前景。