基于數(shù)字孿生的無人機巡航系統(tǒng)

方榮輝，楊淑群，蘭寧

（上海工程技術(shù)大學 電子電氣工程學院，上海 201600）

0 引言

隨著先進制造業(yè)的大力發(fā)展，將人工智能技術(shù)和云計算、大數(shù)據(jù)、物聯(lián)網(wǎng)等新一代信息技術(shù)與其深度融合的產(chǎn)物——智能制造，成為世界各國制造業(yè)發(fā)展的共同趨勢和戰(zhàn)略目標。與傳統(tǒng)制造相比，智能制造具備自律能力，搜集與理解環(huán)境信息和自身的信息，并進行分析判斷和規(guī)劃自身行為，不僅可以實現(xiàn)人機協(xié)同的目標，更能夠體現(xiàn)人在制造系統(tǒng)中的核心價值；采用虛擬現(xiàn)實技術(shù)，借助音像與傳感等裝置，展示現(xiàn)實生活中的制造過程與產(chǎn)品，具有自組織、自學習以及自維護等功能。因此，智能制造作為新型生產(chǎn)方式和制造技術(shù)，以物理生產(chǎn)系統(tǒng)及其對應的各層級數(shù)字孿生映射融合為基礎(chǔ)，建立起具有動態(tài)感知、實時分析、自主決策和精準執(zhí)行功能的智能工廠，可實現(xiàn)高效、優(yōu)質(zhì)、低耗、綠色、安全的制造與服務[1]。

其中大部件制造的快速崛起，使得各領(lǐng)域的大部件設備不斷地朝著高安全、長壽命、高可靠、經(jīng)濟性和環(huán)保性方向發(fā)展，促進了大部件結(jié)構(gòu)設計的不斷優(yōu)化、新材料的研究開發(fā)以及新制造工藝的應用。針對工業(yè)大部件的巡航，我國的研究尚處于起步階段，理論成果和實際應用并不充分，主要在依靠人工巡視的基礎(chǔ)上，根據(jù)標準和經(jīng)驗，使用無人機進行巡航拍攝，如圖1所示，但是仍無法做到數(shù)據(jù)的實時傳輸，對于工業(yè)大部件的全生命周期無法做到全程監(jiān)測管理，達不到真正意義上的智能化。

針對上述問題，本文以大飛機為例，利用數(shù)字孿生技術(shù)對無人機巡航的過程進行研究，以數(shù)字化的方式創(chuàng)建無人機實體的虛擬模型，并借助坐標數(shù)據(jù)模擬無人機在物理環(huán)境中的行為，建立人機協(xié)同交互的虛實反饋以及數(shù)據(jù)同步分析，在虛擬環(huán)境下實現(xiàn)操作無人機巡航的模擬，為工業(yè)大部件的批產(chǎn)提速提供保障。

1 數(shù)字孿生發(fā)展

數(shù)字孿生作為當前實現(xiàn)智能制造、工業(yè)互聯(lián)網(wǎng)、工業(yè)4.0、智慧城市以及CPS等先進理念的一種使能技術(shù)和方法，被企業(yè)、研究機構(gòu)和科研人員廣泛關(guān)注。其中，美國空軍研究實驗室結(jié)構(gòu)科學中心基于數(shù)字孿生對飛機結(jié)構(gòu)的壽命進行預測，將影響飛行的結(jié)構(gòu)偏差以及溫度計算模型與超高保真的飛機虛擬模型相結(jié)合[2]。美國國家航空航天局在飛機的健康管理中將物理環(huán)境系統(tǒng)與其建立的虛擬環(huán)境系統(tǒng)相結(jié)合，應用數(shù)字孿生對復雜系統(tǒng)進行故障預測與消除[3]。

同時，各領(lǐng)域的專家在自身的研究領(lǐng)域中引入數(shù)字孿生的概念，發(fā)表了大量與其相關(guān)的研究進展和成果。文獻[4]簡述了數(shù)字孿生技術(shù)作為智能制造的基本要素，在產(chǎn)品生命周期、生產(chǎn)生命周期中的應用，并總結(jié)分析其在智慧城市建設方面的主要應用特點。文獻[5]中介紹了人工智能等新技術(shù)如何與傳統(tǒng)的制造工業(yè)及其生產(chǎn)鏈進行融合，展開討論智能制造是制造業(yè)轉(zhuǎn)型升級的重要前提，而數(shù)字孿生又是智能制造的源動力，最后舉出歐美發(fā)達國家的幾個成功案例，提出利用智能技術(shù)解決制造問題的重要性。劉志峰等人基于數(shù)字孿生構(gòu)建零件的智能制造車間調(diào)度云平臺，實現(xiàn)工業(yè)零件實時運行狀態(tài)的監(jiān)控與診斷[6]。劉瀟翔等人利用數(shù)字孿生和數(shù)字紐帶構(gòu)建智慧設計仿真的航天控制系統(tǒng)，實現(xiàn)控制系統(tǒng)中物理實體和數(shù)字孿生體之間數(shù)據(jù)雙向交互[7]。董雷霆等人運用數(shù)字孿生技術(shù)，構(gòu)建虛擬飛機結(jié)構(gòu)模型，通過多源數(shù)據(jù)交互，反映并預測真實環(huán)境中飛機結(jié)構(gòu)實體在全生命周期內(nèi)的行為與性能[8]。

如今在各個領(lǐng)域中都能看到數(shù)字孿生的影子，通過搭建虛擬環(huán)境來清晰感知物理環(huán)境中的變化，該技術(shù)理念將持續(xù)影響著智能制造、人工智能和物聯(lián)網(wǎng)等領(lǐng)域的未來發(fā)展。

2 無人機巡航系統(tǒng)

本文提出的基于數(shù)字孿生的無人機巡航系統(tǒng)由物理模型、邏輯模型、仿真模型和數(shù)據(jù)模型相互耦合和演化而成，采用物理實體結(jié)構(gòu)模型、幾何模型和材料模型的多尺度、多層次集成，將物理世界中的物理實體在虛擬空間進行全要素重構(gòu)，實現(xiàn)虛擬空間無人機巡航場景的對象孿生、過程孿生和性能孿生，其架構(gòu)如圖1所示。

圖1 無人機數(shù)字孿生系統(tǒng)架構(gòu)

2.1 用戶域

第一層是使用數(shù)字孿生體的用戶域，操作人員可通過全景展示大屏等設備實時監(jiān)測無人機的飛行狀態(tài)。首先，在展示模型上選擇全景入口，并從服務器中獲取對應的全景素材以及無人機的運動數(shù)據(jù)，將全兩者組合起來，模擬仿真后再疊加；其次，將虛擬的數(shù)據(jù)信息應用到真實世界中，使得虛擬世界的無人機可以沿著真實世界的運動軌跡同步進行，并且通過全景展示大屏顯示出來，提高模型的真實性的同時，能夠很好地提高增強現(xiàn)實的用戶體驗增強藝術(shù)效果、質(zhì)感和立體感。

2.2 數(shù)字孿生體

第二層是與物理實體目標對象對應的數(shù)字孿生體。數(shù)字孿生體由場景信息系統(tǒng)與無人機數(shù)字孿生體構(gòu)成，通過數(shù)字孿生體的運轉(zhuǎn)和無人機真實的狀態(tài)信息，準確地與場景信息系統(tǒng)進行匹配，為控制人員提供無人機所處位置、姿態(tài)等巡航位置信息。其中，無人機數(shù)字孿生體由三維建模、控制系統(tǒng)兩部分構(gòu)成，如圖2所示，旨在通過構(gòu)建無人機巡航場景在虛擬空間中的數(shù)字孿生模型，實現(xiàn)數(shù)字孿生體與物理實體之間的信息交互與虛擬監(jiān)控。

圖2 無人機數(shù)字孿生體

2.2.1 三維建模模塊

無人機數(shù)字孿生體的三維建模模塊由高精度場景仿真系統(tǒng)和高精度大部件仿真系統(tǒng)兩部分構(gòu)成。

高精度場景仿真系統(tǒng)利用三維虛擬現(xiàn)實技術(shù)，以智能制造中無人機巡航的工業(yè)大部件為仿真目標，對無人機的巡航路線進行虛擬仿真，提供場景和主要設備、系統(tǒng)的三維模型及各個系統(tǒng)之間的連接關(guān)系。

高精度大部件仿真系統(tǒng)包含工業(yè)大部件以及無人機的三維建模。實現(xiàn)虛擬空間中工業(yè)大部件和無人機的模型構(gòu)建并定義兩者物理實體的幾何屬性、運動屬性和功能屬性。其中，工業(yè)大部件三維模型（以國產(chǎn)大飛機模型為例）如圖3所示，無人機三維模型如圖4所示。

圖3 工業(yè)大部件三維模型

圖4 無人機三維模型

2.2.2 控制系統(tǒng)模塊

控制系統(tǒng)是無人機數(shù)字孿生體的核心模塊，通過OPC UA、TCP/UDP、Web Service通信接口實現(xiàn)數(shù)據(jù)的實時采集、遠程通信和多源動態(tài)數(shù)據(jù)的實時更新，通過人機接口和數(shù)據(jù)庫接口，實現(xiàn)數(shù)字世界與物理世界的實時交互及同步反饋。其中，控制系統(tǒng)的核心功能由體驗位權(quán)限、數(shù)據(jù)及交互、參展體驗位三部分構(gòu)成。

體驗位權(quán)限分為主體驗權(quán)限位和副體驗權(quán)限位。其中，主體驗權(quán)限位可以控制無人機的起飛、返航、前進和后退等功能。

數(shù)據(jù)及交互部分實現(xiàn)數(shù)字世界和物理世界中無人機姿態(tài)及控制數(shù)據(jù)的一致性，在巡航過程中的數(shù)據(jù)將通過服務器實時傳輸，從而實現(xiàn)無人機的數(shù)字孿生。其中，無人機的巡航數(shù)據(jù)包含無人機的起始位置、巡航高度、上升速度、降落速度、返航點、工作的起始與終止時間以及無人機上搭載相機在巡航過程中的角度，最終以可視化圖表和可視化曲線的方式直觀呈現(xiàn)出來。

參展體驗位為參展人員提供虛擬現(xiàn)實器，可觀看實時捕捉的故障點及巡航數(shù)據(jù)。參展體驗分為巡航學習模式和巡航體驗模式。巡航學習模式包含無人機巡航視頻、專家資料庫介紹視頻以及巡航操作視頻；在巡航體驗模式中，無人機有固定的巡航路徑和時間規(guī)劃，可跟隨無人機觀察其巡航狀態(tài)。

2.3 控制實體

第三層是連接數(shù)字孿生體和物理實體的控制實體。無人機數(shù)字孿生系統(tǒng)基于配套控制服務器進行開發(fā)，構(gòu)成無人機控制實體，通過服務器進行數(shù)據(jù)傳輸實現(xiàn)物理世界與數(shù)字世界的同步運行，完成對無人機的控制與相關(guān)信息的通信。

2.4 現(xiàn)實物理域

第四層是與數(shù)字孿生體對應的物理實體目標對象所處的現(xiàn)實物理域。具備高精度巡航控制系統(tǒng)和云臺設計的無人機以及其搭載的用于巡航拍攝的高清數(shù)碼相機構(gòu)成無人機系統(tǒng)，即數(shù)字孿生系統(tǒng)架構(gòu)中的現(xiàn)實物理域，實現(xiàn)物理世界中無人機真實巡航信息和工業(yè)大部件真實狀態(tài)的采集。

3 案例應用

下面針對某國產(chǎn)大飛機的巡航流程，應用基于數(shù)字孿生的無人機巡航系統(tǒng)的案例。首先采用大疆M210無人機，搭載一體化云臺相機組成現(xiàn)實物理域；其次以數(shù)據(jù)庫為Mysql的服務器作為控制實體；之后利用Maya和Unity等開發(fā)工具進行虛擬仿真，構(gòu)建數(shù)字孿生體；最后，通過用戶域?qū)邮盏降膶崟r數(shù)據(jù)進行監(jiān)測。

3.1 物理世界的無人機巡航

在物理世界中，無人機將按照預設好的路線對大飛機進行巡航，共分為以下五個步驟。第一步，在制造車間建立坐標系，便于確定無人機巡航的位置信息。第二步，在無人機巡航前安裝雙目相機以及高清數(shù)碼相機，其中，雙目相機用以測量巡航的高度，高清數(shù)碼相機用于采集大飛機表面圖像。第三步，使用Onboard-SDK調(diào)整無人機云臺的角度，進而控制相機拍攝清晰的大飛機表面圖像。第四步，設定無人機巡航的路線及超參數(shù)。其中，超參數(shù)包括無人機巡航的高度、速度、起飛點以及返航點等。預設的無人機巡航路線如圖5所示，無人機按照O→A→B→C→B→D→E→D→F→G→F→A→O的路線進行飛行。第五步，無人機根據(jù)預設好的路線進行巡航，在巡航的過程中對大飛機進行拍攝并將數(shù)據(jù)實時傳輸回服務器。

圖5 無人機預設的巡航路線

3.2 數(shù)字世界的無人機巡航

本系統(tǒng)的運行軟件由建模工具AlgDesigner V3.0開發(fā)而成。該工具將整個實驗過程抽象為統(tǒng)一的虛擬實驗構(gòu)件、底層數(shù)學模型、邏輯機制等共性關(guān)鍵性技術(shù)，形成可擴展的虛擬實驗構(gòu)件庫，為虛擬實驗平臺提供后臺邏輯支撐運算，在前臺利用虛擬現(xiàn)實技術(shù)搭建可視化的實驗場景、實驗設備和實驗邏輯，達到支持演示、交互、計算、設計的一體化實驗環(huán)境，如圖6所示。

圖6 虛擬實驗環(huán)境

運行無人機巡航系統(tǒng)軟件，初始界面如圖7所示，左下角的數(shù)據(jù)控制框中有三種控制無人機巡航的方式。

圖7 軟件運行界面

第一種方式，自主設定無人機巡航的三維坐標值，輸入完畢之后點擊確認，數(shù)字世界無人機將飛行到相應的坐標位置，同時物理世界的無人機將飛行到相應位置；

第二種方式，利用系統(tǒng)軟件提供預設好的12個固定坐標點，分別為A點、B點、C點、E點、F點、G點、H點、I點、J點、K點、L點和M點，隨機選擇任一坐標點并確認，無人機將飛行到對應坐標位置；

第三種方式，通過系統(tǒng)軟件提前預設好的巡航方式，即圖5所示的無人機巡航路線，點擊進入飛行路線，物理世界和數(shù)字世界的無人機將同時根據(jù)預設好的巡航路線開始巡航。

4 結(jié)語

在大數(shù)據(jù)、云計算、人工智能等新一代信息技術(shù)的支撐下，數(shù)字孿生逐漸趨向成熟化。本文將數(shù)字孿生技術(shù)理念應用在無人機巡航工業(yè)大部件的過程中，不僅獲得無人機以及工業(yè)大部件的坐標數(shù)據(jù)，同時通過大量傳感器獲得實時數(shù)據(jù)。

目前數(shù)字孿生技術(shù)在有限場景中應用廣泛，但隨著技術(shù)的不斷演進，精密機械的不斷增加，數(shù)字孿生能夠發(fā)揮重要價值的應用場景將持續(xù)增多，其性價比也將不斷提高，從而激發(fā)企業(yè)去探索新的途徑來優(yōu)化設計、制造和服務。