張慶海,武鵬偉,趙正旭
(1.青島理工大學(xué) 機(jī)械與汽車(chē)工程學(xué)院,山東 青島 266520; 2.石家莊鐵道大學(xué) 信息科學(xué)與技術(shù)學(xué)院,河北 石家莊 050043)
以中國(guó)天眼為代表的大型射電望遠(yuǎn)鏡能夠幫助天文領(lǐng)域科研工作者進(jìn)行研究探索、實(shí)驗(yàn)論證,提高了我國(guó)相關(guān)學(xué)科的技術(shù)水平和自主創(chuàng)新能力。然而,由于體積龐大、精密性高,對(duì)中國(guó)天眼采用人工操控或半自動(dòng)化管控方式必將費(fèi)時(shí)費(fèi)力、不切實(shí)際;另一方面,由于大型射電望遠(yuǎn)鏡所處區(qū)域需要無(wú)線(xiàn)電靜默,并且管理人員人工作業(yè)范圍受限或不能隨意進(jìn)出,如何進(jìn)行實(shí)時(shí)監(jiān)管成為一個(gè)難題。然而,傳統(tǒng)的自動(dòng)化管控方法只通過(guò)儀表盤(pán)等方式展示,這種方式交互性差,缺少直觀(guān)的三維可視化效果。
針對(duì)以上問(wèn)題,近年來(lái)雖然眾多學(xué)者在大型射電望遠(yuǎn)鏡管控與維護(hù)方面進(jìn)行了大量研究和實(shí)踐,以尋求更加有效的方式監(jiān)管射電望遠(yuǎn)鏡,然而其所提方法普遍存在實(shí)時(shí)性低、可視化效果差、交互性不強(qiáng)等問(wèn)題,更無(wú)法進(jìn)行全生命周期監(jiān)管,達(dá)不到預(yù)期的效果。例如趙正旭等[1]針對(duì)阿雷西博望遠(yuǎn)鏡監(jiān)管中的不足,提出使用數(shù)字化建模和VR虛擬展示技術(shù)對(duì)中國(guó)天眼進(jìn)行數(shù)據(jù)存儲(chǔ)和保護(hù),但并未提出如何對(duì)其進(jìn)行管理和維護(hù);金曉飛[2]采用MATLAB和ANSYS軟件對(duì)中國(guó)天眼反射面、鋼絞線(xiàn)、鋼拉桿等設(shè)施進(jìn)行了數(shù)值模擬分析,設(shè)計(jì)開(kāi)發(fā)出中國(guó)天眼結(jié)構(gòu)健康監(jiān)測(cè)系統(tǒng),實(shí)現(xiàn)了對(duì)中國(guó)天眼的可視化監(jiān)測(cè),但是存在交互性弱、自動(dòng)化水平低等問(wèn)題;孫才紅等[3]使用傳感器等裝置對(duì)中國(guó)天眼饋源艙支撐系統(tǒng)進(jìn)行了數(shù)據(jù)采集、傳輸、存儲(chǔ)與分析評(píng)估,并結(jié)合專(zhuān)家經(jīng)驗(yàn)評(píng)估中國(guó)天眼的健康狀態(tài),但是存在實(shí)時(shí)性差、可視化程度低等問(wèn)題;吳碧羽等[4]為提高中國(guó)天眼的觀(guān)測(cè)效率和易用性,設(shè)計(jì)開(kāi)發(fā)了中國(guó)天眼觀(guān)測(cè)系統(tǒng),以管控觀(guān)測(cè)過(guò)程,但是仍然存在自動(dòng)化程度低等問(wèn)題;高占鳳[5]使用光纖、溫度傳感器等采集大型結(jié)構(gòu)的數(shù)據(jù),進(jìn)而采用基于虛擬儀器技術(shù)、以數(shù)據(jù)庫(kù)系統(tǒng)為核心的軟件平臺(tái)進(jìn)行健康診斷維護(hù),然而該方法不具備良好的交互性,無(wú)法實(shí)時(shí)可視化展示效果,在系統(tǒng)控制方面,這種方法是單向的,不具有對(duì)大型結(jié)構(gòu)設(shè)施的反向控制行為,自動(dòng)化效果較差。以上研究或者在交互性、實(shí)時(shí)可視化監(jiān)管等方面效率低下,不能實(shí)時(shí)反饋中國(guó)天眼這一大型射電望遠(yuǎn)鏡零部件結(jié)構(gòu)的健康信息和整體的運(yùn)行狀態(tài);或者系統(tǒng)的自動(dòng)化程度低,無(wú)法做到實(shí)時(shí)可視化與自動(dòng)化的有效統(tǒng)一。
數(shù)字孿生(digital twin)的出現(xiàn),為解決中國(guó)天眼這一大型射電望遠(yuǎn)鏡管理上交互性差、自動(dòng)化水平低、可視化不強(qiáng)等問(wèn)題提供了一種思路,其將物理實(shí)體和虛擬化的三維模型進(jìn)行有效映射,以實(shí)現(xiàn)對(duì)物理實(shí)體的全生命周期控制,達(dá)到監(jiān)管、診斷、預(yù)測(cè)的目的。目前,數(shù)字孿生技術(shù)的研究和應(yīng)用主要集中在產(chǎn)品的設(shè)計(jì)、制造、運(yùn)行以及后期的管理運(yùn)維等方面[6]。陶飛等[7]在對(duì)數(shù)字孿生技術(shù)進(jìn)行分析描述后,將其應(yīng)用到車(chē)間管理上,對(duì)未來(lái)車(chē)間管控提出了一種新的模式;范海東[8]分析了電廠(chǎng)體系結(jié)構(gòu),提出采用數(shù)字孿生技術(shù)對(duì)電廠(chǎng)進(jìn)行智能決策、控制與監(jiān)管;Oyekan等[9]采用計(jì)算機(jī)視覺(jué)技術(shù)對(duì)航空飛機(jī)的發(fā)動(dòng)機(jī)葉片進(jìn)行虛擬建模,采用數(shù)字孿生技術(shù)對(duì)飛機(jī)進(jìn)行管理和維護(hù);Brosinsky等[10]在傳統(tǒng)電力系統(tǒng)中加入數(shù)字孿生的理念,實(shí)現(xiàn)了電力系統(tǒng)的自動(dòng)化控制,并對(duì)應(yīng)急策略進(jìn)行評(píng)估,有效提高了電力系統(tǒng)的動(dòng)態(tài)監(jiān)控能力。
綜上所述,針對(duì)中國(guó)天眼這一大型射電望遠(yuǎn)鏡自動(dòng)化管理程度低、運(yùn)維實(shí)時(shí)性差、操控中交互性不強(qiáng)、可視化程度低等問(wèn)題,本文提出以智能感知為基本處理單元的數(shù)字孿生系統(tǒng)實(shí)時(shí)操控模型,實(shí)現(xiàn)對(duì)中國(guó)天眼的實(shí)時(shí)性監(jiān)管、交互控制,以及預(yù)測(cè)性維護(hù)、管理等功能。
數(shù)字孿生也稱(chēng)為數(shù)字雙胞胎、數(shù)字鏡像、數(shù)字孿生體,起源于2003年密歇根大學(xué)Dr. Michael Grieves教授[11]講授的PLM(product manufacturing information)課程,其提出的“與物理產(chǎn)品等價(jià)的虛擬數(shù)字化”概念被認(rèn)為是數(shù)字孿生技術(shù)的開(kāi)端。Dr. Michael Grieves教授在專(zhuān)著《Virtually Perfect:Driving Innovative and Lean Products through Product Lifecycle Management》[12]中引用了由John Vickers提出的數(shù)字孿生概念,并一直沿用至今。近年來(lái)興起了數(shù)字孿生技術(shù)的研究熱潮,世界著名的信息技術(shù)研究和分析公司Gartner連續(xù)幾年將數(shù)字孿生評(píng)為一項(xiàng)顛覆性技術(shù),專(zhuān)家學(xué)者已將該技術(shù)應(yīng)用到生產(chǎn)車(chē)間[7,13]、電力[14]、智慧城市[15]和航空[9,16]等領(lǐng)域。數(shù)字孿生技術(shù)經(jīng)典理論模型將數(shù)字孿生分為物理實(shí)體、虛擬實(shí)體以及二者之間的連接3個(gè)維度,構(gòu)建了“虛”與“實(shí)”之間的映射關(guān)系。陶飛等[17]在此基礎(chǔ)上增添了孿生數(shù)據(jù)和服務(wù)兩個(gè)維度,提出數(shù)字孿生五維理論模型,其中孿生數(shù)據(jù)融合了信息數(shù)據(jù)和物理數(shù)據(jù),滿(mǎn)足信息空間與物理空間的一致性;服務(wù)將不同的業(yè)務(wù)進(jìn)行封裝并以軟件的方式提供給用戶(hù)[17]。在信息物理系統(tǒng)CPS 5C理論模型[18]中,將信息物理系統(tǒng)(Cyber Physical System,CPS),體系架構(gòu)分為智能感知層(smart connection level)、數(shù)據(jù)信息轉(zhuǎn)換層(data-to-information conversion level)、網(wǎng)絡(luò)層(cyber level)、認(rèn)知層(cognition level)和配置層(configurationlevel)5部分。本文參考數(shù)字孿生五維模型[17]架構(gòu)和CPS 5C模型[18]中智能感知層的概念,提出基于大型射電望遠(yuǎn)鏡的數(shù)字孿生實(shí)時(shí)操控理論模型,并以中國(guó)天眼作為案例對(duì)該理論模型進(jìn)行分析:
FDT=(PF,VF,Ss,DD,SC,CN)。
(1)
式中:FDT為天眼理論模型;PF為物理天眼;VF為虛擬天眼;Ss為服務(wù);DD為孿生數(shù)據(jù);SC為智能感知;CN為連接。中國(guó)天眼數(shù)字孿生實(shí)時(shí)操控六維模型的各維度關(guān)系如圖1所示。
(1)物理天眼PF 是數(shù)字孿生系統(tǒng)六維模型中的基礎(chǔ)。按功能、結(jié)構(gòu)可將中國(guó)天眼劃分為部件級(jí)、單元級(jí)、系統(tǒng)級(jí)3個(gè)層次。以反射面系統(tǒng)為例,反射面系統(tǒng)由4 450個(gè)邊長(zhǎng)為11m左右的三角形面板組成,每一反射面板由上下兩層三角形背架支撐,并與2 225個(gè)下拉索和促動(dòng)器連接。促動(dòng)器伸縮將牽引反射面發(fā)生形變,使反射面系統(tǒng)在200 m直徑范圍內(nèi)由球面形變?yōu)閽佄锩妫瑥亩鴮⑼馓彰}沖信號(hào)聚焦到拋物面焦點(diǎn)饋源艙處。其中,單個(gè)反射面板、三角形背架以及下拉索、促動(dòng)器為整個(gè)反射面系統(tǒng)的部件級(jí),單元級(jí)則為上述4個(gè)部件級(jí)結(jié)合形成的聯(lián)動(dòng)單元,4 000多個(gè)聯(lián)動(dòng)單元組成整個(gè)反射面系統(tǒng)。除了反射面系統(tǒng)外,還有饋源艙系統(tǒng)、支撐塔系統(tǒng)、機(jī)電控制系統(tǒng)等,共同組成了整個(gè)中國(guó)天眼的物理實(shí)體PF。
(2)虛擬天眼VF 主要通過(guò)三維建模技術(shù)將物理天眼PF的屬性參數(shù)(尺寸、規(guī)格、材質(zhì)、位置、關(guān)聯(lián)、功能、結(jié)構(gòu)、建造時(shí)間、設(shè)計(jì)者、制造者、管理者等)與運(yùn)行參數(shù)(角度、位置、溫度、濕度、氣壓、風(fēng)速、風(fēng)向、降雨量、雨水酸堿度、光強(qiáng)、可見(jiàn)度、頻率、信號(hào)強(qiáng)度、觀(guān)測(cè)時(shí)間、方位、速度、姿態(tài)、運(yùn)行軌跡等)進(jìn)行實(shí)時(shí)映射,使VF在結(jié)構(gòu)特征、功能特征和運(yùn)行狀態(tài)上與PF保持一致。采用手動(dòng)建模和Python自動(dòng)化建模技術(shù)構(gòu)建VF虛擬模型;采用并行渲染算法、多層次細(xì)節(jié)(Levels of Detail,LOD)、即時(shí)遮擋剔除(Instant Occlusion Culling,IOC)等技術(shù)對(duì)虛擬模型進(jìn)行渲染和場(chǎng)景展示;采用多感官、多維度儀器設(shè)備進(jìn)行交互設(shè)計(jì),增加用戶(hù)的體驗(yàn)感和浸入感。
(3)服務(wù)Ss 指中國(guó)天眼數(shù)字孿生系統(tǒng)FDT提供給用戶(hù)的各種功能和服務(wù)的總和,用于保持系統(tǒng)內(nèi)部正常運(yùn)轉(zhuǎn)。根據(jù)面向?qū)ο蟮牟煌?,將Ss分為功能性服務(wù)(function service)和業(yè)務(wù)性服務(wù)(business service)。
功能性服務(wù)指將中國(guó)天眼數(shù)字孿生系統(tǒng)FDT中所有數(shù)據(jù)、結(jié)構(gòu)特征、三維模型、觀(guān)測(cè)任務(wù)、數(shù)據(jù)挖掘、行為預(yù)測(cè)、健康診斷、維護(hù)策略等進(jìn)行整合,以中間件的形式支撐業(yè)務(wù)性服務(wù)。功能性服務(wù)主要包括4方面:①面向?qū)\生數(shù)據(jù)的服務(wù),主要對(duì)脈沖信號(hào)接收裝置、傳感器、采集卡等采集得到的數(shù)據(jù)進(jìn)行清洗、融合、存儲(chǔ)和分析挖掘,總結(jié)出有用的經(jīng)驗(yàn),為中國(guó)天眼管控提供指導(dǎo);②面向虛擬天眼VF的服務(wù),主要對(duì)中國(guó)天眼進(jìn)行三維虛擬建模,對(duì)模型進(jìn)行仿真,并在時(shí)空上對(duì)虛擬模型進(jìn)行推演,預(yù)測(cè)中國(guó)天眼運(yùn)行的健康狀態(tài);③面向連接CN的服務(wù),主要在無(wú)線(xiàn)電靜默條件下進(jìn)行數(shù)據(jù)傳輸、加密、解密和接口服務(wù)等;④面向智能感知SC的服務(wù),主要對(duì)中國(guó)天眼的突發(fā)狀況進(jìn)行預(yù)警和緊急處理,分析處理觀(guān)測(cè)信號(hào)并對(duì)饋源艙位姿進(jìn)行智能控制,以及對(duì)部件級(jí)設(shè)備進(jìn)行健康診斷與維護(hù)。
業(yè)務(wù)性服務(wù)指以功能性服務(wù)為支撐,對(duì)FS進(jìn)行分析、組合、優(yōu)化、集成后提供給不同用戶(hù)(如參觀(guān)者、管理者、科研人員等)操作的應(yīng)用程序,并以不同形式進(jìn)行展現(xiàn)。使用者不需要考慮數(shù)字孿生背后的技術(shù),減少了學(xué)習(xí)時(shí)長(zhǎng),從而能夠輕松地與系統(tǒng)進(jìn)行交互操作。業(yè)務(wù)性服務(wù)主要包括:①面向參觀(guān)者的科普性服務(wù),包括介紹中國(guó)天眼的外觀(guān)、結(jié)構(gòu)功能,講解中國(guó)天眼的運(yùn)行機(jī)制,利用VR等技術(shù)使參觀(guān)者在虛擬環(huán)境中漫游等;②面向管理者的監(jiān)管服務(wù),包括天眼運(yùn)行的操作、維護(hù)、修理、健康診斷、仿真預(yù)測(cè)和決策等;③面向科研人員的觀(guān)測(cè)服務(wù),包括分析預(yù)測(cè)觀(guān)測(cè)時(shí)間和方位,分配觀(guān)測(cè)任務(wù),記錄、分析和處理脈沖星的觀(guān)測(cè)數(shù)據(jù)等。
(4)孿生數(shù)據(jù)DD 為數(shù)字孿生系統(tǒng)的基石,也是整個(gè)數(shù)字孿生系統(tǒng)的血脈,用于驅(qū)動(dòng)數(shù)字孿生系統(tǒng)正常運(yùn)行。孿生數(shù)據(jù)主要包括PF數(shù)據(jù)(Dp)、VF數(shù)據(jù)(Dv)、SC數(shù)據(jù)(Dc)、Ss數(shù)據(jù)(Ds),和融合數(shù)據(jù)(Dr),即
DD=(Dp,Dv,Dc,Ds,Dr)。
(2)
式中:Dp包括PF的尺寸、規(guī)格、材質(zhì)、位置、關(guān)聯(lián)、功能、結(jié)構(gòu)、建造時(shí)間、設(shè)計(jì)者、制造者、管理者等屬性數(shù)據(jù),以及能夠表征其運(yùn)行狀態(tài)和突發(fā)性故障的狀態(tài)過(guò)程數(shù)據(jù)。屬性數(shù)據(jù)主要通過(guò)設(shè)計(jì)圖紙、建造圖紙或?qū)嵉販y(cè)量等方式獲取,狀態(tài)過(guò)程數(shù)據(jù)通過(guò)信號(hào)收集裝置、傳感器、數(shù)據(jù)采集儀、采集卡等采集,并通過(guò)工業(yè)互聯(lián)網(wǎng)協(xié)議(如OLE for Process Control Unified Architecture、OPC UA、制造報(bào)文規(guī)范(Manufacturing Message Specification,MMS)等)傳輸。Dv為VF的相關(guān)數(shù)據(jù),包括幾何尺寸、位置、材質(zhì)、屬性、渲染貼圖、紋理、約束、關(guān)聯(lián)關(guān)系等模型數(shù)據(jù),以及對(duì)模型進(jìn)行仿真、評(píng)估、推演的預(yù)測(cè)性數(shù)據(jù)。Dc主要是智能感知的相關(guān)數(shù)據(jù),包括故障診斷、智能控制、決策命令和決策算法、健康狀態(tài)信息等數(shù)據(jù)。Ds是Ss的相關(guān)數(shù)據(jù),包括功能性服務(wù)數(shù)據(jù)(如建模仿真、清洗、融合的相關(guān)數(shù)據(jù))和業(yè)務(wù)性數(shù)據(jù)(如決策數(shù)據(jù)、觀(guān)測(cè)數(shù)據(jù)等)。Dr是對(duì)Dp,Dv,Dc,Ds進(jìn)行融合、處理、分類(lèi)、集成,并跨時(shí)空進(jìn)行數(shù)據(jù)關(guān)聯(lián)和數(shù)據(jù)挖掘得到的衍生數(shù)據(jù),用于實(shí)現(xiàn)數(shù)據(jù)增值。
(5)智能感知SC 為FDT預(yù)處理感知維,其對(duì)傳感器采集得到的數(shù)據(jù)進(jìn)行智能分析和處理,將部分決策權(quán)限從應(yīng)用層管理人員交付給數(shù)字孿生系統(tǒng)網(wǎng)絡(luò)邊緣設(shè)備進(jìn)行處理,不僅能夠減少由傳輸時(shí)延、人為反應(yīng)時(shí)差造成的災(zāi)難,還能夠減少應(yīng)用層的計(jì)算壓力,做到部分“去中心化”與智能化。在經(jīng)典的三維模型或者五維模型中,系統(tǒng)的決策權(quán)主要在管理人員或服務(wù)維計(jì)算機(jī)算法中,當(dāng)遇到緊急情況時(shí),由于信息傳輸上存在時(shí)延,管理人員或計(jì)算機(jī)算法程序不能及時(shí)有效地反應(yīng),造成意外損失。因此,在本系統(tǒng)理論模型中增添智能感知維來(lái)實(shí)時(shí)感知中國(guó)天眼的相關(guān)設(shè)備,并對(duì)突發(fā)狀況進(jìn)行智能決策和處理,如圖2所示。
中國(guó)天眼數(shù)字孿生系統(tǒng)的智能感知維包括以下方面:①對(duì)中國(guó)天眼的危險(xiǎn)緊急狀況進(jìn)行預(yù)警,并采取措施緊急避險(xiǎn);②分析處理觀(guān)測(cè)信號(hào),并對(duì)饋源艙位姿進(jìn)行智能控制;③對(duì)部件級(jí)設(shè)備進(jìn)行健康診斷與維護(hù)。當(dāng)使用傳感器、采集儀、采集卡等設(shè)備采集數(shù)據(jù)時(shí),在常態(tài)下,智能感知模塊對(duì)采集到的數(shù)據(jù)進(jìn)行清洗、融合后傳輸?shù)綄\生數(shù)據(jù)的服務(wù)器中進(jìn)行存儲(chǔ),并接收來(lái)自孿生數(shù)據(jù)的操作任務(wù)指令;如果發(fā)生緊急情況,造成數(shù)據(jù)異常(例如發(fā)生火災(zāi)導(dǎo)致煙霧報(bào)警、風(fēng)力傳感器數(shù)值異常、繩索拉力異常、卷?yè)P(yáng)機(jī)振動(dòng)異常等),智能感知層則針對(duì)突發(fā)情況采取緊急措施(如打開(kāi)滅火系統(tǒng)或?qū)υO(shè)備進(jìn)行斷電處理等),避免由于傳輸、決策時(shí)延處理不及時(shí)而造成危害,同時(shí)將緊急決策指令存儲(chǔ)到孿生數(shù)據(jù)的服務(wù)器中。
(6)連接CN 為實(shí)現(xiàn)FDT各部分相互連接、相互映射的紐帶,是中國(guó)天眼數(shù)字孿生系統(tǒng)的“經(jīng)脈”,其包括PF和VF的連接(CN_PV),PF和SC的連接(CN_PS),SC和DD的連接(CN_SD),DD和VF的連接(CN_DV),Ss和PF的連接(CN_SP),Ss和VF的連接(CN_SV),SC和Ss的連接(CN_SS),DD和Ss的連接(CN_DS)等,即
CN=(CN_PV,CN_PS,CN_SD,CN_DV,CN_SP,
CN_SS,CN_DS,CN_SV)。
(3)
式中:CN_PV通過(guò)獲取PF實(shí)時(shí)狀態(tài)數(shù)據(jù)驅(qū)動(dòng)中國(guó)天眼的孿生模型(VF);CN_PS通過(guò)傳感器、數(shù)據(jù)采集卡、采集儀等設(shè)備采集數(shù)據(jù),然后采用工業(yè)通信協(xié)議將采集得到的數(shù)據(jù)傳輸?shù)絊C;CN_SD通過(guò)有線(xiàn)、無(wú)線(xiàn)、藍(lán)牙、控制器局域網(wǎng)(Controller Area Network,CAN)總線(xiàn)等將SC收集并處理后的數(shù)據(jù)傳輸?shù)紻D;CN_DV通過(guò)數(shù)據(jù)庫(kù)接口將存儲(chǔ)在DD中的算法,仿真分析方法等傳輸?shù)綌?shù)字模型VF中;CN_SP通過(guò)接口技術(shù)、網(wǎng)絡(luò)通信技術(shù)、應(yīng)用端開(kāi)發(fā)技術(shù)將Ss與PF連接起來(lái),Ss為PF提供功能性服務(wù)和業(yè)務(wù)性服務(wù);CN_SS通過(guò)TCP/IP等網(wǎng)絡(luò)通信協(xié)議將采集到的數(shù)據(jù)、操作指令等傳輸?shù)絊s應(yīng)用程序中;CN_DS通過(guò)標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)軟件接口、服務(wù)器等實(shí)現(xiàn)Ss和DD之間的連接;CN_SV通過(guò)標(biāo)準(zhǔn)軟件接口實(shí)現(xiàn)VC模型驅(qū)動(dòng)。
中國(guó)天眼主體結(jié)構(gòu)包括主反射面系統(tǒng)、支撐塔系統(tǒng)、促動(dòng)器系統(tǒng)、饋源艙及其停靠系統(tǒng)等,其結(jié)構(gòu)復(fù)雜且部件數(shù)量龐大,僅反射面板的數(shù)量就達(dá)到4 450塊,中國(guó)天眼虛擬三維模型的體量如表1所示,如何對(duì)這一千萬(wàn)級(jí)體量的大型射電望遠(yuǎn)鏡模型進(jìn)行實(shí)時(shí)渲染成為本數(shù)字孿生系統(tǒng)的一大難題。
表1 中國(guó)天眼模型體量
針對(duì)中國(guó)天眼虛擬模型因超大體量而存在的渲染速度慢、模型刷新幀率低等問(wèn)題,本文采用并行渲染技術(shù),通過(guò)多通道、多顯卡、多處理器、多計(jì)算機(jī)實(shí)現(xiàn)虛擬天眼模型的實(shí)時(shí)渲染。并行渲染模塊采用服務(wù)器—客戶(hù)端模式,服務(wù)器主要負(fù)責(zé)整個(gè)并行渲染系統(tǒng)運(yùn)行資源的配置,通過(guò)實(shí)時(shí)計(jì)算資源的使用情況,對(duì)各個(gè)客戶(hù)端的資源進(jìn)行動(dòng)態(tài)分配。客戶(hù)端分為主控客戶(hù)端和從控客戶(hù)端,主控客戶(hù)端不僅在服務(wù)器控制下完成模型渲染任務(wù),還負(fù)責(zé)與用戶(hù)行交互,接收?qǐng)?zhí)行用戶(hù)的操作指令;從控客戶(hù)端的主要功能為接收服務(wù)器的配置對(duì)模型進(jìn)行渲染,以及接收主控客戶(hù)端操作指令執(zhí)行相應(yīng)的操作,其中服務(wù)器可以與主控客戶(hù)端在同一主機(jī)上運(yùn)行。在分配模型渲染任務(wù)上,采用sort-first算法[19-20]對(duì)模型進(jìn)行配置(如圖3),按照用戶(hù)提供的渲染節(jié)點(diǎn)數(shù)(主機(jī)數(shù))將渲染顯示圖像分為相應(yīng)數(shù)量的子區(qū)域。在渲染時(shí),首先判斷模型每一個(gè)部分的顯示區(qū)域,將該部分模型分配到與該區(qū)域相連的主機(jī)中進(jìn)行處理,然后將所有子區(qū)域進(jìn)行拼接,完成中國(guó)天眼整體模型的渲染。
圖3所示為兩個(gè)渲染節(jié)點(diǎn)對(duì)中國(guó)天眼進(jìn)行渲染的結(jié)構(gòu)示意圖。經(jīng)測(cè)驗(yàn),使用多節(jié)點(diǎn)并行渲染算法能夠降低單一節(jié)點(diǎn)的渲染計(jì)算量,增加渲染速度,降低內(nèi)存消耗(如圖4),而且隨著節(jié)點(diǎn)數(shù)的增多,各節(jié)點(diǎn)的平均渲染幀率明顯增加,CPU占比明顯降低,使用4臺(tái)主機(jī)節(jié)點(diǎn)進(jìn)行并行渲染基本滿(mǎn)足實(shí)驗(yàn)需求。
本文以中國(guó)天眼為應(yīng)用案例,按照數(shù)字孿生實(shí)時(shí)操控理論模型進(jìn)行系統(tǒng)構(gòu)建。其中虛擬三維建模主要由幾何建模、場(chǎng)景構(gòu)建、人機(jī)交互3部分組成。虛擬模型的幾何建模是基礎(chǔ),是實(shí)現(xiàn)物理實(shí)體虛擬化的第一步;場(chǎng)景構(gòu)建是通過(guò)添加紋理、貼圖、材質(zhì)、特效等方式進(jìn)一步完善虛擬場(chǎng)景,使三維場(chǎng)景更具真實(shí)感;人機(jī)交互主要通過(guò)應(yīng)用程序交互界面或交互設(shè)備(如VR眼鏡、手持設(shè)備等)與三維場(chǎng)景進(jìn)行互動(dòng),增加用戶(hù)的浸入感和體驗(yàn)感。
幾何建模中主流的三維建模軟件有3DMax,Blender等,本系統(tǒng)主要使用Blender軟件進(jìn)行建模。建模方法分為手動(dòng)建模和使用Python語(yǔ)言進(jìn)行自動(dòng)化1∶1建模(如天眼圈梁、三角形背架、饋源艙桁架等部分)。在進(jìn)行場(chǎng)景構(gòu)建時(shí),為增加模型的真實(shí)感并具有良好的交互體驗(yàn),應(yīng)考慮以下兩個(gè)方面:
(1)平衡中國(guó)天眼模型的體量、處理速度和真實(shí)度 模型進(jìn)行渲染處理時(shí),應(yīng)在真實(shí)度與處理速度之間尋找最佳平衡點(diǎn),利用并行渲染技術(shù)和LOD技術(shù)[21]等,根據(jù)物理模型節(jié)點(diǎn)在環(huán)境中所處的位置和重要性分配物體渲染資源,降低非重要物體細(xì)節(jié)度,來(lái)獲得高效率的渲染運(yùn)算,提高用戶(hù)體驗(yàn)。
(2)對(duì)渲染的模型進(jìn)行紋理貼圖和場(chǎng)景構(gòu)建 采用如KeyShot 3D渲染軟件、OpenGL、3DMax等對(duì)三維場(chǎng)景進(jìn)行貼圖,使模型更加逼真,具有真實(shí)場(chǎng)景的效果,以增加真實(shí)感與浸入感。
在人機(jī)交互方面,除了傳統(tǒng)的鼠標(biāo)、鍵盤(pán)、電腦屏幕和平板觸控等交互方式外,還應(yīng)結(jié)合新型感知技術(shù),如全息、增強(qiáng)現(xiàn)實(shí)(Augmented Reality, AR)、虛擬現(xiàn)實(shí)(Virtual Reality, VR)、觸覺(jué)手套、動(dòng)作捕捉設(shè)備等,來(lái)增加交互體驗(yàn)度。
從物理天眼采集到孿生數(shù)據(jù)后,將其實(shí)時(shí)映射到虛擬天眼中,是實(shí)現(xiàn)虛實(shí)映射的關(guān)鍵。孿生數(shù)據(jù)分為屬性數(shù)據(jù)和狀態(tài)過(guò)程數(shù)據(jù)。屬性數(shù)據(jù)的形式如圖5所示,中國(guó)天眼物理實(shí)體的相關(guān)數(shù)據(jù)經(jīng)收集、歸納、總結(jié)后,按照部件級(jí)、單元級(jí)、系統(tǒng)級(jí)進(jìn)行劃分,展示在相應(yīng)的虛擬模型中。圖5為饋源艙系統(tǒng)中Stewart連接桿單元的屬性數(shù)據(jù)。
狀態(tài)過(guò)程數(shù)據(jù)分為環(huán)境數(shù)據(jù)、運(yùn)行數(shù)據(jù)和觀(guān)測(cè)數(shù)據(jù)。其中環(huán)境數(shù)據(jù)包括溫度、濕度、氣壓、風(fēng)速、風(fēng)向、降雨量、光強(qiáng)、可見(jiàn)度等,通過(guò)將這些數(shù)據(jù)與天眼運(yùn)行數(shù)據(jù)結(jié)合進(jìn)行數(shù)據(jù)挖掘,不但能夠幫助中國(guó)天眼基地工作人員在不同的天氣狀況下進(jìn)行操作,而且能夠預(yù)防災(zāi)害天氣;運(yùn)行數(shù)據(jù)為中國(guó)天眼在執(zhí)行觀(guān)測(cè)任務(wù)時(shí)運(yùn)行所產(chǎn)生的數(shù)據(jù),包括饋源艙角度、位置、脈沖星信號(hào)頻率、信號(hào)強(qiáng)度、觀(guān)測(cè)時(shí)間、方向、姿態(tài)、速度、運(yùn)行軌跡、反射面變化過(guò)程、驅(qū)動(dòng)器控制運(yùn)行數(shù)據(jù)和管理人員執(zhí)行的操作指令等;觀(guān)測(cè)數(shù)據(jù)主要為饋源艙接收裝置接收的脈沖信號(hào)。使用單片機(jī)、嵌入式等設(shè)備讀取這些數(shù)據(jù),然后使用工業(yè)互聯(lián)網(wǎng)協(xié)議(OPC UA)傳輸?shù)綄\生數(shù)據(jù)單元進(jìn)行處理和存儲(chǔ)。
由于采集器在制造上存在誤差或受內(nèi)部電路干擾影響,采集到的數(shù)據(jù)會(huì)存在噪聲和誤差,不能直接用于驅(qū)動(dòng)中國(guó)天眼模型,需要對(duì)這些數(shù)據(jù)進(jìn)行清洗、融合、轉(zhuǎn)化。主要采用濾波算法進(jìn)行數(shù)據(jù)清洗,去除噪聲影響,轉(zhuǎn)化為可使用的數(shù)據(jù)形式。最后采用OpenGL,OSG,Unity等方法進(jìn)行交互設(shè)計(jì),實(shí)現(xiàn)數(shù)據(jù)對(duì)模型的實(shí)時(shí)驅(qū)動(dòng)。
智能感知處理層是數(shù)字孿生六維模型中的底層處理單元,其采用傳感器等對(duì)中國(guó)天眼進(jìn)行數(shù)據(jù)采集、分析與監(jiān)測(cè),實(shí)現(xiàn)對(duì)中國(guó)天眼物理實(shí)體的智能感知,主要包括:①對(duì)中國(guó)天眼突發(fā)狀況的緊急處理;②對(duì)觀(guān)測(cè)信號(hào)的分析處理以及對(duì)饋源艙位姿的智能控制;③對(duì)設(shè)備的健康診斷。智能感知擁有孿生系統(tǒng)緊急決策權(quán)限,能夠進(jìn)行智能決策,降低管理人員的工作量,減少對(duì)突發(fā)事件的反應(yīng)時(shí)間和處理時(shí)間,而且其采用分布式架構(gòu)對(duì)天眼實(shí)體進(jìn)行健康診斷,結(jié)合工業(yè)互聯(lián)網(wǎng)協(xié)議的兼容性?xún)?yōu)勢(shì)來(lái)降低孿生數(shù)據(jù)的計(jì)算負(fù)擔(dān)。
(1)緊急預(yù)警 智能感知層實(shí)時(shí)監(jiān)測(cè)傳感器數(shù)據(jù),感知異常數(shù)值或預(yù)測(cè)數(shù)據(jù)的變化趨勢(shì),進(jìn)而進(jìn)行風(fēng)險(xiǎn)規(guī)避與防范。對(duì)于中國(guó)天眼這一大型復(fù)雜設(shè)備,由于結(jié)構(gòu)龐大,機(jī)電設(shè)備復(fù)雜多樣,當(dāng)發(fā)生意外狀況時(shí),預(yù)警信息將傳輸?shù)椒?wù)層,由管理人員進(jìn)行決策處理,會(huì)喪失處理的最佳時(shí)機(jī),造成不必要的損失。而在數(shù)據(jù)采集基礎(chǔ)上添加上智能感知處理這一維度,能夠感知或預(yù)測(cè)危險(xiǎn)災(zāi)害,及時(shí)采取處理措施。中國(guó)天眼的緊急預(yù)警主要分為:①對(duì)自然災(zāi)害的緊急預(yù)警,例如可采用煙霧報(bào)警器、火災(zāi)感應(yīng)傳感器等裝置監(jiān)測(cè)火災(zāi),對(duì)可能或已經(jīng)出現(xiàn)的火災(zāi)進(jìn)行報(bào)警,并進(jìn)行緊急處理(如圖6),當(dāng)發(fā)生火災(zāi)時(shí),采用紅色指示燈預(yù)警,并采取緊急措施;②對(duì)機(jī)電設(shè)備的監(jiān)測(cè)預(yù)警,例如電線(xiàn)短路,設(shè)備運(yùn)轉(zhuǎn)異常、損壞等,使用工業(yè)互聯(lián)網(wǎng)連接的龐大的智能感知系統(tǒng)對(duì)這些機(jī)電設(shè)備進(jìn)行監(jiān)測(cè)。
(2)智能控制 主要調(diào)整饋源艙的位姿,以實(shí)現(xiàn)饋源艙對(duì)觀(guān)測(cè)信號(hào)方向、位置的智能跟隨??紤]到地球自轉(zhuǎn)的影響,對(duì)反射面系統(tǒng)形成的拋物面進(jìn)行自動(dòng)移位,并將饋源艙與拋物面相對(duì)應(yīng),自動(dòng)調(diào)節(jié)饋源艙的位姿,實(shí)現(xiàn)智能控制。其主要表現(xiàn)在以下方面:①根據(jù)觀(guān)測(cè)任務(wù)控制促動(dòng)器,帶動(dòng)反射面運(yùn)動(dòng),使反射面形成的拋物面跟隨脈沖信號(hào)移動(dòng);②控制卷?yè)P(yáng)機(jī)轉(zhuǎn)動(dòng)對(duì)輕型索進(jìn)行縮放,牽引饋源艙跟隨拋物面焦點(diǎn)位置的移動(dòng)而移動(dòng),自動(dòng)完成對(duì)饋源艙控制系統(tǒng)的一級(jí)粗略調(diào)整;③控制饋源艙內(nèi)部AB軸和Stewart并聯(lián)機(jī)構(gòu)對(duì)饋源艙下的平臺(tái)接收器進(jìn)行位姿預(yù)調(diào)整;④使用慣性測(cè)量單元(Inertial Measurement Unit,IMU)、全站儀和靶標(biāo)等設(shè)備自動(dòng)標(biāo)定饋源艙的位置。
(3)健康診斷 主要是對(duì)物理天眼各系統(tǒng)的部件級(jí)設(shè)備進(jìn)行狀態(tài)監(jiān)測(cè),分析其性能、結(jié)構(gòu)等狀況,并判斷其健康狀態(tài)。與緊急預(yù)警不同,緊急預(yù)警主要針對(duì)突發(fā)狀況,而健康診斷是通過(guò)長(zhǎng)時(shí)間監(jiān)測(cè)來(lái)判斷其狀態(tài)性能,或?qū)ζ涔δ艿耐暾赃M(jìn)行預(yù)測(cè),給出健康狀態(tài)評(píng)價(jià)。健康診斷的主要方法是通過(guò)分析傳感器信號(hào)的異常、信號(hào)偏差、信號(hào)的損失程度預(yù)測(cè)設(shè)備的疲勞程度和損壞程度,例如對(duì)輕型鋼索機(jī)構(gòu)、饋源艙、促動(dòng)器裝置、索網(wǎng)等裝置的監(jiān)測(cè)。使用振動(dòng)傳感器對(duì)饋源艙進(jìn)行監(jiān)測(cè),當(dāng)振動(dòng)信號(hào)出現(xiàn)異常時(shí)(如圖7),一方面,系統(tǒng)匯報(bào)這一異常信號(hào)后,由現(xiàn)場(chǎng)工作人員進(jìn)行排查;另一方面,系統(tǒng)記錄、保存、對(duì)比這一信號(hào),并進(jìn)行分析和挖掘,判斷設(shè)備的健康狀態(tài),然后給出信號(hào)異常產(chǎn)生的原因和維修策略,為后續(xù)射電望遠(yuǎn)鏡的設(shè)計(jì)與改造提出有效的建議。
為實(shí)現(xiàn)中國(guó)天眼全生命周期的監(jiān)管,根據(jù)第1章提出的數(shù)字孿生六維理論模型,以O(shè)PC UA工業(yè)互聯(lián)網(wǎng)協(xié)議為平臺(tái),本文采用Blender三維建模軟件對(duì)中國(guó)天眼進(jìn)行建模,使用Python/C++,Qt,OSG等對(duì)部分中國(guó)天眼結(jié)構(gòu)進(jìn)行設(shè)計(jì),并開(kāi)發(fā)了相應(yīng)的數(shù)字孿生系統(tǒng),該系統(tǒng)的整體架構(gòu)如圖8所示。整個(gè)系統(tǒng)包括應(yīng)用層、數(shù)據(jù)層、物理層、模型層、傳輸層5部分。
(1)應(yīng)用層 分為數(shù)據(jù)采集、操作運(yùn)行、數(shù)據(jù)通信和數(shù)據(jù)存儲(chǔ)。其中:
1)數(shù)據(jù)采集包括屬性數(shù)據(jù)采集(主要采用查看建造圖紙的方式)、狀態(tài)數(shù)據(jù)采集和天眼觀(guān)測(cè)脈沖信號(hào)數(shù)據(jù)收集。
2)操作運(yùn)行分為3部分:①反射面的調(diào)整,通過(guò)控制促動(dòng)器實(shí)現(xiàn)反射面的形變;②通過(guò)操作饋源艙的三級(jí)控制系統(tǒng)(輕型索驅(qū)動(dòng)饋源支撐為第一級(jí)控制系統(tǒng),通過(guò)控制卷?yè)P(yáng)機(jī)轉(zhuǎn)動(dòng),調(diào)整輕型索長(zhǎng)度,帶動(dòng)饋源倉(cāng)在球冠面上移動(dòng);AB軸為第二級(jí)控制系統(tǒng),通過(guò)控制AB軸轉(zhuǎn)動(dòng),使饋源艙在±15°范圍內(nèi)調(diào)整方向; Stewart并聯(lián)機(jī)構(gòu)為第三級(jí)控制系統(tǒng),通過(guò)控制Stewart并聯(lián)機(jī)構(gòu)對(duì)脈沖星信號(hào)接受裝置的姿態(tài)進(jìn)行微調(diào)),調(diào)整饋源艙姿態(tài)和位置;③天眼的機(jī)電設(shè)備操作,如傳感器控制、信號(hào)接收等。
3)數(shù)據(jù)通信主要包括OPC UA工業(yè)互聯(lián)網(wǎng)協(xié)議中的服務(wù)器端通信和客戶(hù)端通信,以及數(shù)據(jù)采集器之間的光纖通信和無(wú)線(xiàn)通信等。
4)數(shù)據(jù)存儲(chǔ)分為結(jié)構(gòu)性數(shù)據(jù)存儲(chǔ)和非結(jié)構(gòu)性數(shù)據(jù)存儲(chǔ),結(jié)構(gòu)性數(shù)據(jù)存儲(chǔ)為數(shù)據(jù)庫(kù)存儲(chǔ)(使用Redis數(shù)據(jù)庫(kù)存儲(chǔ)傳感器數(shù)據(jù)),非結(jié)構(gòu)性數(shù)據(jù)存儲(chǔ)主要使用服務(wù)器對(duì)工作日志、觀(guān)測(cè)信號(hào)圖像等文件進(jìn)行存儲(chǔ)。
(2)數(shù)據(jù)層 包括數(shù)據(jù)轉(zhuǎn)換,數(shù)據(jù)加密、解密,數(shù)據(jù)融合,數(shù)據(jù)清洗等。數(shù)據(jù)轉(zhuǎn)換指將傳感器采集到的數(shù)據(jù)轉(zhuǎn)化為系統(tǒng)能夠接收的數(shù)據(jù);由于中國(guó)天眼保密的要求,需要對(duì)數(shù)據(jù)進(jìn)行加密處理方可傳輸;數(shù)據(jù)融合指采用多傳感器進(jìn)行采集、融合,以增加操控的精準(zhǔn)性;數(shù)據(jù)清洗主要是剔除由傳感器、接收裝置所得數(shù)據(jù)和信號(hào)的噪聲與干擾,獲取有用數(shù)據(jù)。
(3)物理層 包括物理天眼設(shè)施、數(shù)據(jù)采集設(shè)備、OPC UA服務(wù)器等。
(4)模型層 包括饋源艙三維模型以及對(duì)三維模型的仿真預(yù)測(cè)等。
(5)傳輸層 傳輸孿生數(shù)據(jù),實(shí)現(xiàn)應(yīng)用層、物理層和模型層之間的驅(qū)動(dòng)、感知,將整個(gè)系統(tǒng)進(jìn)行關(guān)聯(lián)。
使用數(shù)據(jù)采集器采集得到的數(shù)據(jù)經(jīng)過(guò)剔除、清洗,轉(zhuǎn)換為數(shù)字孿生系統(tǒng)可用的數(shù)據(jù)后,對(duì)孿生模型進(jìn)行驅(qū)動(dòng)。數(shù)字孿生技術(shù)主要將虛擬模型與物理實(shí)體進(jìn)行實(shí)時(shí)映射,使虛擬模型與物理實(shí)體的運(yùn)動(dòng)狀態(tài)時(shí)刻保持一致,然后診斷和預(yù)測(cè)虛擬模型,實(shí)現(xiàn)對(duì)物理實(shí)體全生命周期的監(jiān)管。本系統(tǒng)使用IMU、激光實(shí)時(shí)獲取饋源艙位置和姿態(tài)的變化情況,并將這些數(shù)據(jù)進(jìn)行融合,驅(qū)動(dòng)虛擬模型同步運(yùn)作。如圖9所示,通過(guò)數(shù)據(jù)對(duì)模型的驅(qū)動(dòng),饋源艙的位置從1處變化到了2處。整個(gè)系統(tǒng)運(yùn)行流暢,其實(shí)時(shí)性能夠滿(mǎn)足需求,驗(yàn)證了中國(guó)天眼數(shù)字孿生系統(tǒng)模型的可行性。
本文提出針對(duì)中國(guó)天眼大型射電望遠(yuǎn)鏡數(shù)字孿生的實(shí)時(shí)操控六維模型,并針對(duì)中國(guó)天眼饋源艙系統(tǒng)進(jìn)行了實(shí)驗(yàn),通過(guò)數(shù)據(jù)采集處理、狀態(tài)顯示、孿生數(shù)據(jù)存儲(chǔ)和模型實(shí)時(shí)驅(qū)動(dòng)實(shí)現(xiàn)了對(duì)天眼饋源艙全生命周期的監(jiān)管,為中國(guó)天眼的實(shí)時(shí)管控提供了一種新思路。然而在實(shí)驗(yàn)部分,本文只開(kāi)發(fā)了中國(guó)天眼部分結(jié)構(gòu)的數(shù)字孿生系統(tǒng),并未完成整體天眼的管控一體化和預(yù)測(cè)維護(hù)。未來(lái)將圍繞整體天眼的數(shù)字孿生系統(tǒng)開(kāi)發(fā),以及結(jié)合機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘等技術(shù)對(duì)中國(guó)天眼進(jìn)行預(yù)測(cè)維護(hù)等展開(kāi)研究。
致謝
感謝青島理工大學(xué)李東年老師、王揚(yáng)同學(xué),以及復(fù)雜網(wǎng)絡(luò)與可視化研究所李昆昆、李明超兩位同學(xué)對(duì)本文的幫助和支持。本文在論文構(gòu)思以及后續(xù)相關(guān)工作中得到了李東年老師的指導(dǎo),在系統(tǒng)開(kāi)發(fā)過(guò)程中得到了王揚(yáng)、李昆昆、李明超3位同學(xué)的幫助,在此表示感謝!
計(jì)算機(jī)集成制造系統(tǒng)2021年2期