張帆, 李闖, 李昊, 劉毅
(1.中國礦業(yè)大學(北京) 機電與信息工程學院, 北京 100083;2.中國礦業(yè)大學(北京) 智慧礦山與機器人研究院, 北京 100083)
國際礦業(yè)形勢正在經(jīng)歷一場深刻的革命,建立綠色、安全、高效的現(xiàn)代化智能礦山開發(fā)與利用體系是未來發(fā)展方向。2020年3月,國家八部委聯(lián)合發(fā)布《關(guān)于加快煤礦智能化發(fā)展的指導(dǎo)意見》,加快了智能化煤礦技術(shù)演進步伐。因此,礦業(yè)新工科建設(shè)要主動應(yīng)對新一輪科技革命與產(chǎn)業(yè)變革的戰(zhàn)略行動,加強現(xiàn)代化智能礦山理論基礎(chǔ)研究,著力解決智能礦山領(lǐng)域具有戰(zhàn)略性、前沿性的關(guān)鍵技術(shù)難題。
在礦山可視化領(lǐng)域,虛擬現(xiàn)實(Virtual Reality,VR)/增強現(xiàn)實(Augmented Reality,AR)技術(shù)研究取得了一些階段性成果[1-2],但其三維重構(gòu)效果和數(shù)據(jù)驅(qū)動能力仍然較弱,尚未形成質(zhì)的飛躍,無法對復(fù)雜條件下礦山綜采工作面進行數(shù)據(jù)鏡像、智能控制、實時反饋和交互映射,實現(xiàn)裝備智能協(xié)同與實時監(jiān)控。因此,在智能礦山領(lǐng)域的研究中需要探索新技術(shù)、新方法,注重學科交叉融合,以適應(yīng)未來礦業(yè)開采技術(shù)革命,促進煤礦智能化技術(shù)發(fā)展。
隨著煤炭智能開采與VR技術(shù)進入深度融合階段,無人化精準開采、透明開采和流態(tài)化開采[3],以及全方位、全時空、智能化監(jiān)控研究已逐漸邁向前臺[4-5]。數(shù)字孿生作為新一代信息技術(shù)和國家新基建重點發(fā)展方向,直接面向人工智能(Artificial Intelligence,AI)國家戰(zhàn)略中解決先進制造、能源工業(yè)等任務(wù)需求,是當今計算機仿真和圖像處理領(lǐng)域中一個非?;钴S的研究方向,在智能制造、能源開發(fā)和利用領(lǐng)域得到了廣泛關(guān)注。德國西門子公司基于數(shù)字孿生思想構(gòu)建了生產(chǎn)過程流程的系統(tǒng)模型,通過模擬仿真分析生產(chǎn)過程的所有環(huán)節(jié),實現(xiàn)了產(chǎn)品設(shè)計、制造過程的虛擬化和數(shù)字化[6]。美國通用公司基于數(shù)字孿生體,采用工業(yè)物聯(lián)網(wǎng)和大數(shù)據(jù)等技術(shù)實現(xiàn)發(fā)動機實時監(jiān)控、故障診斷和性能預(yù)測[7-8]。葛世榮等[9]基于數(shù)據(jù)主線提出了數(shù)字孿生智能采煤工作面技術(shù)系統(tǒng)及其構(gòu)建。陶飛等[10-11]提出了數(shù)字孿生車間的實現(xiàn)模式,為智能制造領(lǐng)域信息物理系統(tǒng)的實現(xiàn)提供了理論參考。莊存波等[12]基于數(shù)字孿生思想,提出多系統(tǒng)耦合優(yōu)化控制思想及優(yōu)化方法。張帆等[13-14]針對數(shù)字開采在智能化無人開采中的應(yīng)用需求,提出了基于數(shù)字孿生的綜采工作面智能孿生數(shù)字體衍生及模型演化機理??梢灶A(yù)見,在新一輪信息技術(shù)革新中,礦山開采與數(shù)字孿生、AI、工業(yè)互聯(lián)網(wǎng)、5G、云計算和大數(shù)據(jù)等技術(shù)創(chuàng)新融合,將為煤礦智能化發(fā)展提供關(guān)鍵技術(shù)支撐,真正實現(xiàn)煤炭安全、綠色、高效和智能化開采[15-16],同時也將為探索可持續(xù)發(fā)展的智能礦山建設(shè)和新工科專業(yè)方向提供新的思路。
2003年,美國密歇根大學Michael Grieves教授提出了物理實體一致性虛擬數(shù)字化映射的概念[6],被認為是數(shù)字孿生的雛形。數(shù)字孿生體作為一個集成多物理、多尺度的概率仿真模型,基于當前物理模型、實時數(shù)據(jù)和歷史數(shù)據(jù)等來表征物理實體的狀態(tài)[7]。該概念在制造領(lǐng)域的使用最早可追溯到美國國家航空航天局(National Aeronautics and Space Administration,NASA)的阿波羅研究項目[11-12]。數(shù)字孿生技術(shù)的主要特征:① 虛擬數(shù)字化,建立一個與物理實體的結(jié)構(gòu)和性質(zhì)相同的虛擬數(shù)字孿生體。② 虛實交互,建立信息空間和物理空間的關(guān)聯(lián),實現(xiàn)數(shù)據(jù)和信息交互。③ 虛實融合,直觀地反映虛實融合和以虛控實的特征。從實現(xiàn)功能角度看,數(shù)字孿生是數(shù)字孿生體建模的技術(shù)、過程和方法,而數(shù)字孿生體則是實現(xiàn)數(shù)字孿生的對象、模型和數(shù)據(jù)。數(shù)字孿生通過數(shù)字化手段來構(gòu)建一個數(shù)字孿生體,通過對物理系統(tǒng)的精準描述與虛實聯(lián)動,實現(xiàn)對物理實體的仿真、分析與優(yōu)化。
近年來,數(shù)字孿生成為智能制造和智能控制領(lǐng)域的研究熱點,在理論研究和實際應(yīng)用方面快速發(fā)展,其主要原因如下:
(1) 計算機輔助設(shè)計(Computer Aided Design,CAD)、計算機輔助工程(Computer Aided Engineering,CAE)、計算機輔助制造(Computer Aided Manufacture,CAM)等技術(shù)和基于物理建模的數(shù)字化表達技術(shù)得到廣泛應(yīng)用,使得在產(chǎn)品全生命周期各階段采用數(shù)字化方式精確描述物理產(chǎn)品成為可能,在虛擬空間為數(shù)字孿生產(chǎn)品仿真設(shè)計及應(yīng)用提供了關(guān)鍵技術(shù)支撐。
(2) 云計算、邊緣計算和高性能計算等先進計算技術(shù)的快速發(fā)展,以及機器學習、深度學習等AI算法不斷涌現(xiàn),使動態(tài)數(shù)據(jù)實時采集、存儲和預(yù)測成為可能,為虛擬空間和物理空間的實時關(guān)聯(lián)與互動提供了重要技術(shù)支撐。
《工業(yè)互聯(lián)網(wǎng)體系架構(gòu)2.0》白皮書的發(fā)布,體現(xiàn)了數(shù)字孿生等新型信息技術(shù)對傳統(tǒng)行業(yè)的創(chuàng)新引領(lǐng)與變革作用[17]。在工業(yè)互聯(lián)網(wǎng)的功能實現(xiàn)中,數(shù)字孿生已經(jīng)成為關(guān)鍵支撐,通過數(shù)據(jù)采集、集成、分析和優(yōu)化來滿足業(yè)務(wù)需求,形成物理世界生產(chǎn)對象與數(shù)字空間業(yè)務(wù)應(yīng)用的虛實映射,最終支撐各類智能化應(yīng)用服務(wù)。目前,數(shù)字孿生技術(shù)已廣泛應(yīng)用于智能制造與生產(chǎn)系統(tǒng),在數(shù)字孿生車間、產(chǎn)品數(shù)字孿生體和數(shù)字孿生健康預(yù)測等領(lǐng)域取得了一系列研究成果[18-19]。隨著工業(yè)互聯(lián)網(wǎng)、大數(shù)據(jù)、5G和AI等新型技術(shù)的興起與廣泛應(yīng)用,數(shù)字孿生技術(shù)在未來能源工業(yè)和礦山開發(fā)與利用、礦山智能開采、無人化智能監(jiān)控、設(shè)備遠程故障診斷與健康預(yù)測等方面具有應(yīng)用潛力。
(1) 擬實化。數(shù)字孿生體是物理實體在虛擬空間的真實反映,通過VR的擬合化程度表征所仿真物理實體的數(shù)字孿生體逼真程度?;诙辔锢砑赡P偷姆抡娼Y(jié)果能精確地反映和鏡像物理場景的真實狀態(tài)和行為,在虛擬場景通過智能監(jiān)測和監(jiān)控實現(xiàn)系統(tǒng)的高仿真功能和性能,從而解決傳統(tǒng)VR技術(shù)在時序和幾何尺度等方面的技術(shù)瓶頸問題。
(2) 融合化。數(shù)字孿生與AI、工業(yè)互聯(lián)網(wǎng)、5G、云計算、大數(shù)據(jù)、VR、AR和混合現(xiàn)實(Mix Reality,MR)等技術(shù)融合是未來的發(fā)展趨勢。數(shù)字孿生作為數(shù)字孿生體的使能技術(shù),將通過多源數(shù)據(jù)與神經(jīng)網(wǎng)絡(luò)和機器學習等AI技術(shù)融合,實現(xiàn)數(shù)字孿生體模型和關(guān)鍵數(shù)據(jù)的忠實映射、交互反饋與協(xié)同控制。數(shù)字孿生與VR、AR、MR等融合將是智能礦山建模與VR技術(shù)未來發(fā)展的重要方向。
(3) 智能化。數(shù)字孿生作為仿真建模新模式,通過生產(chǎn)對象孿生與特征融合,實現(xiàn)模型的集成和決策支持,并利用機器學習、數(shù)據(jù)挖掘、邊緣計算和AI提升模型重構(gòu)能力。數(shù)字孿生通過物理實體的歷史數(shù)據(jù)與當前傳感數(shù)據(jù)的多源融合、訓練學習和迭代優(yōu)化,實現(xiàn)數(shù)字體的學習孿生,并利用多源數(shù)據(jù)融合與AI決策,最終實現(xiàn)自主孿生和智能化。
數(shù)字孿生技術(shù)的應(yīng)用可推進數(shù)字化礦山建設(shè)、管理數(shù)字化與智能化內(nèi)涵式發(fā)展。通過研究煤礦精準探測與數(shù)字礦山精確建模技術(shù),構(gòu)建礦山可視化物理模型、可驗證的仿真模型、可表示的邏輯模型、可計算的數(shù)據(jù)模型,實現(xiàn)物理礦山實體與數(shù)字礦山孿生體之間的虛實映射、實時交互。建立基于數(shù)字孿生與工業(yè)互聯(lián)網(wǎng)技術(shù)融合的數(shù)字孿生礦山信息平臺,充分利用5G通信網(wǎng)關(guān)技術(shù)、邊緣計算、高帶寬和低延時等優(yōu)勢,為礦山數(shù)字孿生智能開采工作面提供分布式計算和高速傳輸[15-16],為數(shù)字化礦山建設(shè)提供新思路和新途徑。
現(xiàn)代礦山開采技術(shù)與物聯(lián)網(wǎng)、云計算、大數(shù)據(jù)和AI等信息技術(shù)融合是實現(xiàn)智能礦山的必然發(fā)展趨勢。未來將形成具有感知分析、交互反饋、智能控制、智能決策等功能的智能系統(tǒng),實現(xiàn)物理礦山實體與數(shù)字礦山孿生體之間的虛實映射、實時交互,以及礦山無人化開采全息感知、全過程智能化運行、擬人化作業(yè)與虛擬場景展現(xiàn)。數(shù)字孿生技術(shù)可為礦山智能開采提供新方法。通過構(gòu)建礦山開采工作面物理實體的數(shù)字孿生模型,精確表征數(shù)字孿生模型的時空演化特性與映射重構(gòu)性能,實現(xiàn)礦山開采工作面生產(chǎn)過程遠程智能監(jiān)測、設(shè)備性能實時監(jiān)控和生產(chǎn)場景三維可視化,提升煤炭安全、綠色、高效和智能化開采水平。
礦山安全監(jiān)控由信息化、網(wǎng)絡(luò)化逐漸向智能化方向轉(zhuǎn)變和發(fā)展。建立基于工業(yè)互聯(lián)網(wǎng)平臺的數(shù)字孿生智能監(jiān)控系統(tǒng),通過數(shù)字孿生對生產(chǎn)場景實時監(jiān)控和虛擬映射,利用三維可視化平臺獲取井下綜采工作面實時運行數(shù)據(jù)和精確信息,解決礦山安全監(jiān)控系統(tǒng)存在的視頻數(shù)據(jù)分離、可視化效果較差等問題,對瓦斯超限、突水、頂板來壓等事故提前預(yù)警。通過數(shù)字孿生、數(shù)據(jù)融合、深度學習與迭代優(yōu)化,實現(xiàn)礦山綜采工作面的遠程可視化實時監(jiān)控,為智能監(jiān)控提供新的技術(shù)手段,從而提升智能監(jiān)控系統(tǒng)的監(jiān)控精度。
數(shù)字礦山全息感知、業(yè)務(wù)協(xié)同控制、智慧化運維服務(wù)體系是未來智能礦山的必經(jīng)之路。將數(shù)字孿生、物聯(lián)網(wǎng)、云計算、大數(shù)據(jù)和AI等技術(shù)融合應(yīng)用于智能礦山服務(wù)模式,將實現(xiàn)礦山智能開采、智能選礦、智能煤流、智能安監(jiān)和智能運維。通過礦山物聯(lián)網(wǎng)和大數(shù)據(jù)平臺,利用數(shù)字孿生技術(shù)實現(xiàn)礦山物理實體在虛擬場景的對象孿生、過程孿生和性能孿生,實現(xiàn)三維可視化智能運維新模式。利用礦山運維數(shù)據(jù)的多源融合、深度學習、迭代優(yōu)化和自主決策,可實現(xiàn)礦山運維服務(wù)全生命周期的智能化,以及礦山安全、應(yīng)急處置、綠色開采的智慧化管控[9]。
礦山數(shù)字孿生模型架構(gòu)如圖1所示,自下而上分別為礦山全要素物理實體層、礦山信息物理融合層、礦山數(shù)字孿生模型層、礦山孿生數(shù)據(jù)交互層、礦山智能應(yīng)用服務(wù)層,據(jù)此實現(xiàn)智能礦山的泛在感知、協(xié)同控制和智能決策與優(yōu)化。
圖1 礦山數(shù)字孿生模型架構(gòu)
(1) 礦山全要素物理實體層是礦山數(shù)字孿生模型體系結(jié)構(gòu)的最基礎(chǔ)層,為礦山數(shù)字孿生模型中的各層提供系統(tǒng)資源和物理支撐。不論是全要素信息物理系統(tǒng)(Cyber-Physical Systems,CPS)資源的交互融合,還是多維虛擬模型的仿真模擬、邏輯模型的驗證和數(shù)據(jù)模型的計算,均建立在礦山全要素物理實體基礎(chǔ)之上。
(2) 礦山信息物理融合層是礦山數(shù)字孿生模型的載體,CPS在礦山數(shù)字孿生模型體系中起橋梁紐帶作用,實現(xiàn)虛擬孿生體與物理實體之間的交互映射和同步反饋。CPS貫穿于智能礦山全生命周期各階段,為礦山物理要素的智能感知與互聯(lián)、數(shù)字孿生模型構(gòu)建、孿生數(shù)據(jù)融合交互與智能服務(wù)提供信息基礎(chǔ)和數(shù)據(jù)支撐。
(3) 礦山數(shù)字孿生模型層是實現(xiàn)智能礦山規(guī)劃設(shè)計、生產(chǎn)管理、運行維護和故障預(yù)測等各種功能最核心的組件,由物理模型、仿真模型、邏輯模型和數(shù)據(jù)模型相互耦合和演化集成,在礦山數(shù)據(jù)驅(qū)動下實現(xiàn)物理綜采工作面的對象孿生、過程孿生和性能孿生[4,8]。
(4) 礦山孿生數(shù)據(jù)交互層通過數(shù)據(jù)驅(qū)動實現(xiàn)礦山數(shù)字孿生模型信息交互與同步反饋。礦山孿生數(shù)據(jù)源于物理實體、虛擬模型和虛擬孿生體應(yīng)用服務(wù),礦山孿生數(shù)據(jù)交互層將物理實體、數(shù)字孿生模型和數(shù)字孿生體連接為一個有機的整體,使得信息與數(shù)據(jù)在各部分間相互耦合與交互反饋,實現(xiàn)雙向通信與服務(wù)交互。
(5) 礦山智能應(yīng)用服務(wù)層通過人機接口提取礦山數(shù)字孿生模型實時傳感數(shù)據(jù),經(jīng)多源異構(gòu)數(shù)據(jù)融合后通過OPC統(tǒng)一架構(gòu) (Unified Architecture, UA)、可擴展消息處理現(xiàn)場協(xié)議(Extensible Messaging and Presence Protocol,XMPP)、消息隊列遙測傳輸(Message Queuing Telemetry Transport, MQTT)協(xié)議等,利用機器學習和深度學習等AI算法實現(xiàn)物理綜采工作面與虛擬數(shù)字孿生工作面的實時交互與同步反饋[8];通過應(yīng)用云端協(xié)同技術(shù)、VR/AR/MR人機交互技術(shù)和工業(yè)應(yīng)用程序開發(fā)技術(shù),實現(xiàn)對數(shù)字孿生虛擬工作面的操作與智能遠程監(jiān)控[15-16]。
礦山模型設(shè)計是實現(xiàn)智能礦山建設(shè)的理論基礎(chǔ)和技術(shù)“硬核”。采用信息物理融合思想,通過建立數(shù)字孿生礦山場景、設(shè)備和作業(yè)流程等虛擬仿真模型,實現(xiàn)物理空間實際場景與所對應(yīng)的虛擬空間仿真場景虛實交互、數(shù)據(jù)同步,真正實現(xiàn)智能礦山模型構(gòu)建與設(shè)計優(yōu)化。
實現(xiàn)基于數(shù)字孿生的智能礦山模型構(gòu)建需要研究以下內(nèi)容:① 數(shù)字孿生工藝模型構(gòu)建,研究基于礦山多物理量與幾何量融合的物理實體數(shù)字孿生模型構(gòu)建理論與方法、礦山數(shù)據(jù)高精度實時獲取技術(shù)、礦山生產(chǎn)過程建模與仿真技術(shù)[18-19]。② 數(shù)字孿生模型的高精度表達及優(yōu)化方法,研究基于礦山大數(shù)據(jù)挖掘的知識建模、精確描述與圖像特征精確提取和優(yōu)化方法,以及基于神經(jīng)網(wǎng)絡(luò)、深度學習的自主優(yōu)化和決策方法[20-21]。
智能開采數(shù)字孿生體是建立在虛擬空間的反映物理實體真實性的數(shù)字模型,通過智能綜采裝備的對象孿生、過程孿生和性能孿生,實現(xiàn)對綜采裝備數(shù)字孿生體的性能評估。通過虛擬綜采工作面數(shù)字孿生體,綜合描述礦山綜采工作面的機械、電氣和液壓等設(shè)備和系統(tǒng),實現(xiàn)礦山綜采工作面物理設(shè)備全生命周期的映射,從而為綜采設(shè)備的性能仿真和健康預(yù)測提供決策支持。
實現(xiàn)智能開采數(shù)字孿生體需要研究以下內(nèi)容:① 礦山設(shè)備部件及系統(tǒng)集成描述,包括礦山機械、電氣、液壓等技術(shù)領(lǐng)域的綜采裝備、子系統(tǒng)與零部件的耦合仿真、精確描述方法。② 礦山虛實交互的動態(tài)數(shù)據(jù)實時更新與可視化呈現(xiàn),包括基于礦山綜采裝備物理模型、狀態(tài)參數(shù)、運行數(shù)據(jù)的實時更新與交互迭代。
礦山控制系統(tǒng)是智能礦山的大腦。利用先進傳感器技術(shù),實時采集設(shè)備狀態(tài)參數(shù)及煤巖識別、礦壓監(jiān)測、煤流監(jiān)測、過程定位等開采過程數(shù)據(jù);通過礦山數(shù)字孿生控制系統(tǒng)設(shè)計、數(shù)字孿生控制系統(tǒng)調(diào)優(yōu)、數(shù)字孿生控制系統(tǒng)決策,實現(xiàn)礦山控制系統(tǒng)功能的完整性校驗和控制算法迭代優(yōu)化、智能開采裝備控制系統(tǒng)的性能評估,以及對物理實體實時狀態(tài)和歷史狀態(tài)真實反饋與自主學習的自主決策控制。
實現(xiàn)基于數(shù)字孿生的礦山智能控制需要研究以下內(nèi)容:① 礦山數(shù)字孿生模型多源異構(gòu)數(shù)據(jù)、實時和歷史數(shù)據(jù),數(shù)字孿生模型與控制系統(tǒng)之間的數(shù)據(jù)驅(qū)動交互與狀態(tài)同步反饋。② 基于物理屬性和動力學特性的控制仿真,實現(xiàn)數(shù)字孿生模型在控制數(shù)據(jù)驅(qū)動下的行為過程仿真,提高礦山控制系統(tǒng)的自主決策性和準確性。
礦山設(shè)備故障與健康預(yù)測(Mine Equipments Fault and Health Prediction, MEFHP)是利用深度學習實現(xiàn)對礦山設(shè)備的質(zhì)量缺陷、運行故障識別及健康預(yù)測,并對礦山設(shè)備故障診斷及健康預(yù)測進行表征。數(shù)字孿生驅(qū)動的MEFHP是在孿生數(shù)據(jù)驅(qū)動下,基于礦山物理設(shè)備與虛擬設(shè)備的同步映射、實時交互及精準服務(wù),形成礦山設(shè)備健康管理新模式。
實現(xiàn)基于數(shù)字孿生的礦山設(shè)備故障預(yù)測需要研究以下內(nèi)容:① 基于數(shù)字孿生的礦山設(shè)備故障特征提取、故障過程建模及擾動因素分析等。② 基于MEFHP自學習、自優(yōu)化機制和虛擬驗證的MEFHP自主精準服務(wù)等。
人機交互協(xié)同是礦山智能開采中的典型應(yīng)用場景,通過人機交互可以實現(xiàn)遠程控制、實時監(jiān)測、精確定位與健康預(yù)測,提高礦山全息感知、可視化運維水平和智能生產(chǎn)效率?;跀?shù)字孿生的人機交互,構(gòu)建與礦山物理空間忠實映射的虛擬空間數(shù)字孿生體,通過基于AI的模式識別、手勢感知或語義理解等指令,實時更新虛擬場景的操作進程,實現(xiàn)人-機-環(huán)-控的智能協(xié)調(diào)與有機融合。
實現(xiàn)基于數(shù)字孿生的人機交互需要研究以下內(nèi)容:① 基于數(shù)字孿生與AI的三維圖像精確重構(gòu)和映射、智能孿生數(shù)字體的衍生與構(gòu)建、全息投影技術(shù)。② 基于5G邊緣計算與VR技術(shù)融合的多維度數(shù)據(jù)精確表征、高清圖像與精準模式識別技術(shù),以及邊緣計算和高速通信技術(shù)。
(1) 從智能礦山應(yīng)用及新工科建設(shè)需求出發(fā),分析了當前智能礦山研究和發(fā)展現(xiàn)狀,指出了數(shù)字孿生是未來智能礦山技術(shù)演進的必然趨勢。
(2) 提出了基于數(shù)字孿生+AI的智能礦山理論架構(gòu),構(gòu)建了礦山數(shù)字孿生模型。
(3) 從應(yīng)用實際需求出發(fā),探討了智能礦山模型構(gòu)建技術(shù)、智能開采數(shù)字孿生體技術(shù)、礦山智能控制技術(shù)、礦山設(shè)備故障預(yù)測、基于數(shù)字孿生的人機交互等關(guān)鍵技術(shù),以期為推動智能礦山理論和技術(shù)的研究與發(fā)展及礦業(yè)新工科建設(shè)提供參考。