基于VR 和數(shù)字孿生的煤礦井下巷道巡檢機器人設(shè)計

韓 龍，王順葵，陳廣炎，朱小葉，徐 滔，蔡嘉良

(黑龍江科技大學(xué) 電氣與控制工程學(xué)院，黑龍江 哈爾濱)

引言

煤礦井下重要設(shè)備需要定期進行巡檢和維護，但由于設(shè)備數(shù)量眾多、布局分散，目前多依賴于人工巡檢和維護，導(dǎo)致巡檢維護工作量大，成本高，且存在一定的安全隱患。2021 年12 月21 日，工業(yè)和信息化部、國家礦山安全監(jiān)察局等十五部門聯(lián)合印發(fā)《“十四五”機器人產(chǎn)業(yè)發(fā)展規(guī)劃》，提出面向采礦業(yè)，重點推進采掘、支護、鉆孔、巡檢、重載輔助運輸?shù)葯C器人重點產(chǎn)品的研制及應(yīng)用[1]。利用機器人取代煤礦井下工作人員巡查，具有不受時間和空間限制、效率高和勞動強度低等優(yōu)點，且有助于進一步消除煤礦井下監(jiān)控死角和安全盲區(qū)，從而實現(xiàn)煤礦無人化生產(chǎn)。國內(nèi)外許多企業(yè)和學(xué)者對煤礦巡檢機器人進行了大量的研究與應(yīng)用，2021 年3 月，陜煤集團黃陵礦業(yè)公司部署煤礦巡檢機器人群，該機器人群可以實現(xiàn)遠(yuǎn)程操控、智能巡檢，減輕了約180 位巡檢工人的工作量[2]。李忠奎等設(shè)計了煤礦軌道式巡檢機器人，該巡檢機器人具有電機和輥筒異常監(jiān)測、有害氣體檢測和熱成像監(jiān)控等功能，可實現(xiàn)無死角監(jiān)測[3]。石宏民設(shè)計了一種履帶式巷道巡檢機器人，搭載多種環(huán)境參數(shù)檢測傳感器、遠(yuǎn)紅外攝像頭、智能機械臂等，輔以智能識別算法和上位機操作系統(tǒng)，實現(xiàn)了對巷道全方位智能巡檢[4]。鞠晨等研制了適用于薄煤層工作面的巡檢機器人，實現(xiàn)了對工作面采場的多維度精準(zhǔn)感知、監(jiān)測，保障工作面智能精確感知和高效控制的無人化開采[5]。煤礦巡檢機器人大多實現(xiàn)對環(huán)境和監(jiān)測對象精準(zhǔn)監(jiān)測，但對機器人本體運行狀態(tài)可視化監(jiān)控研究很少，目前的可視化監(jiān)控技術(shù)已經(jīng)取得了一定成果，但機器人可視化效果不夠優(yōu)化，功能較為單一，人機交互性不夠好。

數(shù)字孿生技術(shù)能夠創(chuàng)建一個實時精準(zhǔn)的可視化虛擬監(jiān)控系統(tǒng)，有助于構(gòu)建更高層次的巡檢機器人遠(yuǎn)程操作系統(tǒng)，為上述問題的解決提供了新途徑。因此，筆者提出了基于VR 和數(shù)字孿生的煤礦井下巷道巡檢機器人，通過構(gòu)建巡檢機器人數(shù)字孿生體，來實現(xiàn)對機器人運行狀態(tài)進行遠(yuǎn)程監(jiān)控及完成巷道巡檢任務(wù)。

1 系統(tǒng)的總體設(shè)計方案

煤礦井下巷道巡檢機器人硬件結(jié)構(gòu)框圖如圖1所示。

圖1 煤礦井下巷道巡檢機器人的硬件結(jié)構(gòu)框圖

機器人采用履帶式車體，應(yīng)用ROS2 開發(fā)。機器人分為導(dǎo)航控制單元、監(jiān)測單元和數(shù)字虛擬軟件平臺三部分。導(dǎo)航控制單元實現(xiàn)激光雷達導(dǎo)航和機器人運動控制功能。激光雷達掃描礦下巷道全景，生成巷道二維柵格地圖，再生成全局代價地圖和局部代價地圖，輸出規(guī)劃地圖以實現(xiàn)煤礦井下復(fù)雜環(huán)境的智能導(dǎo)航。監(jiān)測單元對機器人的運行狀態(tài)、電池電量及巷道內(nèi)甲烷等氣體進行檢測與處理，應(yīng)用攝像頭獲取巷道場景圖像，同時利用YOLOv5 算法識別礦工是否佩戴安全帽和自救器；數(shù)字虛擬軟件平臺主要利用VR 設(shè)備來實現(xiàn)巡檢機器人數(shù)字孿生體的可視化同步控制。

2 VR 和數(shù)字孿生平臺建立

2.1 VR 建模與數(shù)據(jù)交互

在黑龍江科技大學(xué)模擬礦井巷道內(nèi)，按照規(guī)劃路徑進行拍攝，捕捉巷道路面和墻壁各個角度、不同深度和紋理等細(xì)節(jié)信息。同時也對巡檢機器人進行拍照與測量，獲得相應(yīng)信息。

將照片導(dǎo)入到圖像處理軟件進行后期處理獲得巷道和巡檢機器人的基礎(chǔ)數(shù)據(jù)，然后通過建模軟件Blender 依據(jù)數(shù)據(jù)手動構(gòu)建模擬礦井巷道和巡檢機器人的虛擬模型。模型完成后，通過USD 流程將模型導(dǎo)入到虛幻引擎軟件中。利用虛幻引擎軟件可以對模擬礦井巷道進行建模，應(yīng)用適當(dāng)?shù)募y理、光照和物理效果來增強虛擬巷道的真實感，在計算機中建立的模擬礦井巷道虛擬平臺如圖2 所示。完成對模擬礦井巷道的建模后，將虛幻引擎項目導(dǎo)出為可執(zhí)行文件存儲到VR 頭盔中。虛幻引擎通過Open XR 協(xié)議與VR 頭盔之間進行數(shù)據(jù)的實時傳輸和同步。虛幻引擎根據(jù)接收到的頭盔傳感器數(shù)據(jù)，實時渲染虛擬場景中的畫面。VR 頭盔配備了人機交互設(shè)備手柄，手柄通過無線通訊向計算機發(fā)送數(shù)據(jù)，這些數(shù)據(jù)用于控制虛擬現(xiàn)實平臺上數(shù)字巡檢機器人的運動，進而同步控制物理巡檢機器人的運動。

圖2 模擬礦井巷道虛擬平臺

2.2 數(shù)字孿生數(shù)據(jù)交互

數(shù)字孿生(Digital Twin，DT) 是以數(shù)字化方式創(chuàng)建物理實體的虛擬模型，通過虛實交互反饋、數(shù)據(jù)融合分析、決策迭代優(yōu)化等手段，為物理實體提供更加實時、高效、智能的運行或操作服務(wù)[6]。通過構(gòu)造煤礦井下巷道巡檢機器人的數(shù)字孿生體，不僅能高度逼真地反映機器人實體的特征、運行和性能，還能在虛擬巷道環(huán)境中實現(xiàn)對物理巡檢機器人的狀態(tài)監(jiān)控。

數(shù)字孿生煤礦井下巷道巡檢機器人是一個數(shù)據(jù)可視化、人機強交互三維鏡像，包括物理巡檢機器人、數(shù)字巡檢機器人和數(shù)據(jù)信息交互等3 個部分，其概念模型如圖3 所示。

圖3 煤礦井下巷道巡檢機器人的數(shù)字孿生概念模型

物理巡檢機器人通過5G 無線通訊模塊將數(shù)據(jù)發(fā)送到遠(yuǎn)端云服務(wù)器。同時，機器人的控制器也能接收云服務(wù)器發(fā)送過來的指令和數(shù)據(jù)。建立云服務(wù)器的數(shù)據(jù)庫，在云服務(wù)器上通過Python 腳本監(jiān)控物理巡檢機器人和虛擬平臺端的數(shù)字巡檢機器人，將收到的數(shù)據(jù)進行解析處理之后，存入相應(yīng)數(shù)據(jù)庫。通過另外一個Python 腳本監(jiān)控數(shù)據(jù)庫，只要相應(yīng)數(shù)據(jù)庫有更新，就立即將所更新的數(shù)據(jù)分發(fā)到物理巡檢機器人和數(shù)字巡檢機器人，以保證物理巡檢機器人和數(shù)字巡檢機器人的數(shù)據(jù)實時同步。物理巡檢機器人與數(shù)字巡檢機器人數(shù)據(jù)交互如圖4 所示。

圖4 巡檢機器人數(shù)字孿生數(shù)據(jù)交互

3 系統(tǒng)測試與分析

巡檢機器人在黑龍江科技大學(xué)模擬礦井巷道中進行測試，測試現(xiàn)場如圖5 所示。工作人員佩戴VR 設(shè)備對虛擬礦井巷道中的數(shù)字巡檢機器人進行運動控制，從而實現(xiàn)遠(yuǎn)程對物理巡檢機器人的同步控制。物理巡檢機器人也可通過激光雷達自主導(dǎo)航在巷道內(nèi)巡檢，巡檢過程中將巷道內(nèi)甲烷、氧氣、CO 氣體和圖像信息通過5G 模塊上傳到虛擬礦井巷道平臺軟件中，巡檢機器人的運動狀態(tài)和電池電量等信息顯示在虛擬平臺軟件界面上，便于工作人員監(jiān)控模擬礦井巷道及巡檢機器人狀況，虛擬平臺軟件如圖6 所示。

圖5 黑龍江科技大學(xué)模擬礦井測試現(xiàn)場

圖6 虛擬平臺軟件界面

物理巡檢機器人通過攝像頭捕捉礦工的安全帽和自救器圖像信息，通過YOLOv5 算法對礦工的安全帽和自救器進行目標(biāo)檢測，識別效果如圖7 所示。從圖7可以看出，安全帽識別準(zhǔn)確率在90%以上，自救器識別準(zhǔn)確率在80%以上。

圖7 安全帽和自救器識別效果

4 結(jié)論

本文利用VR 和數(shù)字孿生技術(shù)設(shè)計了煤礦井下巷道巡檢機器人，在建立的虛擬礦井巷道平臺實現(xiàn)了物理巡檢機器人與數(shù)字機器人的同步控制，同時可將實時檢測到的甲烷、氧氣、機器人的電量和運行狀態(tài)顯示在虛擬平臺上，增強了機器人巡檢可視化的效果，人機交互性好。巡檢機器人采用YOLOv5 算法對礦工的安全帽和自救器進行識別，檢測實時性好，檢測精度較高，可以高效監(jiān)控礦工的違規(guī)行為，有力推進煤礦安全管理工作。