一種工程機械遠程操控艙設(shè)計

摘 要：以工程機械遠程操控艙為設(shè)計對象，通過對遠程操控相關(guān)產(chǎn)品及場景的調(diào)研分析，得出普遍存在視頻顯示不直觀、同步性差、缺乏多維度反饋等共性核心問題。根據(jù)核心問題與客戶需求，進行產(chǎn)品定義并確定功能，包括可以提供現(xiàn)場環(huán)境及設(shè)備信息的視覺、體感和聲音反饋功能，適用于多種工程機械的遠程操控通用化功能，以及具備直覺化交互功能等。根據(jù)產(chǎn)品功能定義及用戶體驗要求，確定部件及其設(shè)計要求并開展各部件方案設(shè)計;通過各類技術(shù)與方法解決相應(yīng)技術(shù)難題，最后從軟硬件集成、造型、結(jié)構(gòu)與人機等方面對整體操控艙進行集成開發(fā)。

關(guān)鍵詞：工程機械;遠程操控;遠程操控艙

中圖分類號：TH122? ? 文獻標志碼：A? ? 文章編號：1671-0797（2024）13-0031-06

DOI：10.19514/j.cnki.cn32-1628/tm.2024.13.008

0? ? 引言

《中國制造2025》是國家實施制造強國的行動綱領(lǐng)，明確了“中國制造”要向“中國智造”轉(zhuǎn)型?！笆奈濉笔枪こ虣C械智能化發(fā)展的重要時間窗口，在完全無人化仍需要較長發(fā)展時間的前提下，遠程操控是智能化升級的另一個重要方向，也是無人化的必要補充。目前遠程操控在礦山作業(yè)、建筑工地、地下隧道建設(shè)、搶險救援這四個場景中的需求最為明確且迫切，分別有如下特點：

1）礦山作業(yè)：環(huán)境惡劣，挖掘機裝料、裝載機排石、平地機維護道路等作業(yè)無人化實現(xiàn)難度大，亟需遠程操控進行精細化作業(yè)，無人礦卡在緊急情況下必須遠程接管。八部委《關(guān)于加快煤礦智能化發(fā)展的指導(dǎo)意見》指出，露天煤礦2025年應(yīng)實現(xiàn)智能連續(xù)作業(yè)和無人化運輸;國家礦監(jiān)局《“十四五”礦山安全生產(chǎn)規(guī)劃》指出，應(yīng)加快推進非煤礦山控制智能化。

2）建筑工地：塔機高空作業(yè)人員頻繁上下不便且危險，塔機作業(yè)范圍大，施工場景復(fù)雜危險，無人化作業(yè)難以實現(xiàn)?！秶鴦?wù)院辦公廳關(guān)于促進建筑業(yè)持續(xù)健康發(fā)展的意見》（國辦發(fā)〔2017〕19號）以建筑工地智能施工為發(fā)展方向，促進建筑業(yè)持續(xù)健康成長。

3）地下隧道建設(shè)：地形復(fù)雜多樣的隧道作業(yè)，復(fù)雜險惡工況下無人化作業(yè)難以實現(xiàn)。

4）搶險救援：需操控設(shè)備在狹小地域中進行精細化作業(yè)，現(xiàn)場環(huán)境復(fù)雜，搶險設(shè)備難以進行無人作業(yè)，現(xiàn)場操控作業(yè)危險性高。

結(jié)合上述四個場景對所涉及產(chǎn)品的遠程操作狀況進行調(diào)研分析發(fā)現(xiàn)，遠程技術(shù)已經(jīng)大量商業(yè)化應(yīng)用，但普遍存在視頻顯示不直觀、同步性差、缺乏多維度反饋等共性問題，導(dǎo)致整體操作體驗不佳、效率低。而遠程操控艙作為操控端控制指令輸入、施工現(xiàn)場環(huán)境及設(shè)備信息接收—處理—輸出的載體，決定了整個遠程操控的用戶體驗。此外，現(xiàn)場端工程機械種類多、功能差異大，環(huán)境信息復(fù)雜多樣，導(dǎo)致遠程操控艙對應(yīng)操控及輸出硬件種類、數(shù)量多，因此需要設(shè)計一款通用化、多模態(tài)工程機械遠程操控艙，從而解決以上一系列問題。

1? ? 主體設(shè)計及要求

1.1? ? 主體設(shè)計

通用化、多模態(tài)的工程機械遠程操控艙應(yīng)適用于多種工程機械的遠程操控，可以提供現(xiàn)場環(huán)境及設(shè)備信息的視覺、體感和聲音反饋，并且具備直覺化的交互系統(tǒng)，易用性高。

要達到以上要求，整個操控艙需包括以下幾個部分：顯示系統(tǒng)、體感反饋系統(tǒng)、聲音反饋系統(tǒng)、通用操作系統(tǒng)以及主體集成平臺，如圖1所示。顯示系統(tǒng)包括主顯示器和可觸控的副顯示器，主顯示器設(shè)置于操控區(qū)前方，副顯示器設(shè)置于操控區(qū)內(nèi);體感反饋系統(tǒng)包括多自由度運動平臺，多自由度運動平臺上設(shè)置有座椅和操控區(qū);聲音反饋系統(tǒng)指設(shè)置于操控區(qū)周邊或操控區(qū)內(nèi)音箱;通用操作系統(tǒng)包括通用操控手柄與方向盤切換機構(gòu)、踏板切換機構(gòu);主體集成平臺包括操控艙底座、支架、扶手箱、機箱（內(nèi)部設(shè)有配電箱、服務(wù)器和交換機，用于連接并實現(xiàn)上述系統(tǒng)供電、數(shù)據(jù)接收處理及分配）。

1.2? ? 主要設(shè)計要求

顯示系統(tǒng)需顯示前后左右視角、機具視角、環(huán)視視角、行駛輔助信息、操作輔助信息等;體感反饋系統(tǒng)需反饋車身姿態(tài)、碰撞、加速、振動等實際車況;聲音反饋系統(tǒng)需要完整傳遞現(xiàn)場工況及車端聲音;通用操作系統(tǒng)應(yīng)可操控6種以上不同車型;主體集成平臺需可直接裝進集裝箱，且方便搬運。

2? ? 主要部件設(shè)計

2.1? ? 顯示系統(tǒng)設(shè)計

2.1.1? ? 主屏顯示系統(tǒng)設(shè)計

根據(jù)用戶觀察習(xí)慣，確定主視野顯示布局，視角上下角度應(yīng)達到70°，左右視角160°，進而提升顯示直觀性，最終形成多視野直觀化視頻顯示界面，由于單個相機拍攝的圖像視角范圍是有限的，為了實時進行寬視角的監(jiān)控，擴大監(jiān)控范圍，清晰顯示左右視角160°，需采用軟硬件相結(jié)合的拼接方式實現(xiàn)多屏拼接顯示。

2.1.1.1? ? 主屏界面拼接方案設(shè)計

主屏界面拼接方案是將多個相機拍攝的圖像進行拼接，組成一幅大視場角的柱面圖像，然后在曲面顯示器或VR眼鏡中進行顯示，理想情況下，如果多個相機是共光心的，則圖像的拼接只需要預(yù)先標定相機的相對旋轉(zhuǎn)，然后利用單應(yīng)矩陣（Homography）將不同圖像的像素進行變換，再進行圖像融合[1]，如圖2所示。

基于圖像拼接原理，通過柱面投影、柱面圖像非剛性對齊的方法，對多個相機圖像進行了圖像拼接工作，達到了1 080P像素，接縫誤差小于5個像素效果。在兼顧實時性、幀連續(xù)性和魯棒性的基礎(chǔ)上，實現(xiàn)了復(fù)雜場景內(nèi)容下高質(zhì)量主視野圖像的大視場角、低延遲顯示。

2.1.1.2? ? 主屏界面同步顯示方案設(shè)計

同步顯示方案是基于5G網(wǎng)+專線的網(wǎng)絡(luò)環(huán)境（50M帶寬），通過gstreamer+H.264的方法對圖像進行編解碼后傳輸[3]，時延達到150 ms以內(nèi)，解決了普遍存在的同步性差的問題，如圖3所示。在安全性方面，確定在實際測試中決策最大時延閾值，當(dāng)達到此閾值3 s后，車輛立即停止一切操作，控制端會發(fā)送心跳包給車端，當(dāng)車端3 s內(nèi)均收不到心跳包即判定為掉線，車輛立即停止一切操作。

2.1.1.3? ? 主屏界面交互設(shè)計

通過產(chǎn)品及用戶需求分析，梳理車端、感知、駕艙端信息23類，并按重要度排序，根據(jù)?？硕膳c費茨定律重點排布5類信息，根據(jù)用戶習(xí)慣重新布局，包括前后左右視角、機具視角、環(huán)視視角、行駛輔助信息、操作輔助信息等，解決遠程駕駛的視頻顯示不直觀、關(guān)鍵信息不清晰和缺乏UI交互設(shè)計的問題，從而降低用戶使用負荷，提高操作效率，提升產(chǎn)品認可度，如圖4所示。

2.1.2? ? 副屏顯示系統(tǒng)設(shè)計

副屏顯示系統(tǒng)可幫助機手完成輔助操作（開機登錄、車輛選擇、安全自檢、燈光開關(guān)、交互功能選擇、故障判斷），功能可以根據(jù)車輛需求進行個性化定制，圖形用戶界面的人機交互采用手指觸摸方式。副屏主界面顯示的區(qū)域包括：左側(cè)操作區(qū)、右側(cè)儀表顯示區(qū)、底部菜單欄、頂部信息欄。登錄界面頁面如圖5所示，用戶登錄時，確認所有內(nèi)容后方可登錄;參數(shù)查詢頁面是用戶查詢相關(guān)參數(shù)界面，地圖信息頁面包含現(xiàn)場地圖及該機主要行駛路線、實時位置，方便機手了解當(dāng)前位置及附近禁行區(qū)域，如圖6所示;故障信息頁面是機器具體故障信息查詢頁面，設(shè)置頁面是駕艙相關(guān)設(shè)置界面，如畫面亮度、聲音設(shè)置等，如圖7所示;關(guān)機頁面是操控艙系統(tǒng)關(guān)機界面。

整個系統(tǒng)圖形界面設(shè)計風(fēng)格統(tǒng)一美觀，信息內(nèi)容主次分明。各系統(tǒng)根據(jù)使用場景不同，使用對象、座艙環(huán)境、適用車型、駕駛模式等也不同，充分考慮了在滿足用戶工作需求及安全性的基礎(chǔ)上，用戶與系統(tǒng)交互的易用性、易識別性，符合不同光線環(huán)境下的識別性，能降低用戶認知負荷度，提高駕駛和工作效率。

2.2? ? 體感反饋平臺設(shè)計

體感反饋平臺是基于六自由度平臺的遠程操控體感反饋及柔化系統(tǒng)，解決了目前遠程操控艙普遍缺乏體感反饋，造成操作感知不佳、作業(yè)效率低下的問題，能提高遠程操控艙機手的操作精度和作業(yè)效率，增加操作安全性。

體感反饋平臺設(shè)計方案總體思路：基于六軸IMU傳感器，實時采集操控端機手位置的姿態(tài)和加速度信號后，解算成座椅6個方向的運動信號，進行濾波處理及柔化后，控制六軸運動平臺。

首先被操控的工程機械駕駛室座椅下方，安裝六軸慣性測量單元，實時采集操控位的姿態(tài)及加速度等隨時間變化的數(shù)據(jù);之后六軸慣性測量單元實時將采集的操控位姿態(tài)、加速度、時間等數(shù)據(jù)通過CAN網(wǎng)關(guān)轉(zhuǎn)換成UDP數(shù)據(jù)，經(jīng)過交換機、CPE傳輸?shù)讲倏嘏摱?之后通過操控艙端CPE、交換機進入操控艙端服務(wù)器;然后操控艙端服務(wù)器把采集到的數(shù)據(jù)進行格式轉(zhuǎn)換后傳輸?shù)搅杂啥绕脚_運動控制主站，運動控制主站通過運動學(xué)反解，計算出各個電缸的伸縮量、伸縮速度、加速度，通過電缸的驅(qū)動器控制6個電缸同時協(xié)調(diào)動作構(gòu)成平臺運動的瞬時姿態(tài)，從而在遠程操控艙端實時復(fù)現(xiàn)車端的駕駛位的姿態(tài)、振動、沖擊等體感;同時通過伺服電機編碼器實時監(jiān)測電機的力矩、速度、位置信息并發(fā)送到驅(qū)動器和運動控制器;系統(tǒng)可以實時監(jiān)測和調(diào)整電機的運動狀態(tài)，實施數(shù)字式閉環(huán)控制，從而實現(xiàn)精確的運動控制和響應(yīng)。此外，運動控制主站控制系統(tǒng)主要包括以下模塊：HMI模塊、軌跡規(guī)劃模塊、預(yù)處理模塊、位置伺服模塊、伺服驅(qū)動模塊、限位保護、故障檢測模塊、緊急制動、平臺復(fù)位模塊，從而確保功能實現(xiàn)。

體感平臺選型方案的主要限定條件：負載250 kg;電缸行程100 mm，以保證平臺較低高度;平臺最高高度<593 mm，滿足集裝箱內(nèi)使用（集裝箱2 352 mm×2 393 mm，集裝箱高-人身高=2 393-1 800=593 mm）。最大加速度0.5g，使人體能夠適應(yīng)沖擊;其他因素：由于人體對0.02 m/s2以上的加速度就能產(chǎn)生感知能力，體感平臺最大0.5g的振動加速度能夠使人體容易地感知車載端不同工況的振動，并且最大加速度小于人體不舒適值6.3 m/s2。可靠性要求：平臺系統(tǒng)一次連續(xù)工作時間≥48 h;使用壽命≥10 000 h;平均無故障時間MTBF≥2 200 h。最終確定尺寸1 850 mm×1 200 mm×560 mm，垂直升降±50 mm，加速度0.5g配置的六自由度平臺（表1），此方案高精度的控制效果，能真實反饋操控端的運動姿態(tài)及振動，同時可以根據(jù)不同機型的使用需求，在滿足操作舒適性的同時便于機手判斷設(shè)備工作狀態(tài)。

2.3? ? 聲音反饋系統(tǒng)設(shè)計

聲音反饋系統(tǒng)由聲音采集和聲音播放兩個部分組成，主要解決現(xiàn)場聲音工況反饋問題。設(shè)計方案是在車內(nèi)安裝收音麥克風(fēng)，可以過濾和分離音頻混合中的各個聲音源，靠聲音判斷車輛的狀態(tài)、擋位、油門、機具情況，以及艙內(nèi)安保系統(tǒng)報警聲、其他車輛鳴笛聲等。在操控艙前后左右安裝立體聲音響（隱藏式，8個聲位與采集端聲位對應(yīng)），將三維空間音頻與顯示視頻及體感反饋結(jié)合，最大程度上全方位還原機手的駕駛感受，便于機手在遠程操控艙做出準確判斷，如圖8所示。

2.4? ? 通用操作部件設(shè)計

經(jīng)詳細調(diào)研分析，工程機械產(chǎn)品共有5種操作模式，涉及方向盤、手柄以及3種踏板組合，所以需要開展通用手柄選配、手柄與方向盤切換機構(gòu)設(shè)計和踏板切換機構(gòu)設(shè)計。通用手柄選配方面，重點是要滿足最多操作功能的產(chǎn)品，經(jīng)調(diào)研分析最多操作功能的產(chǎn)品為平地機，其操作手柄需要28通道，按照就多原則最終選擇28通道的手柄為通用手柄，從而滿足不同工程機械的控制需求。

2.4.1? ? 手柄/方向盤切換機構(gòu)設(shè)計

根據(jù)通用化操作需求，為達到通用精細化控制效果，需滿足手柄/方向盤切換，實現(xiàn)通用化操作效果。設(shè)計方案是在左扶手箱增加手柄和方向盤（為方便切換，方向盤由中置大方向盤改為左置小方向盤）切換，滿足在相同的舒適位置可操作不同機型的需求。手柄與方向盤切換通過上下滑移實現(xiàn)切換，形式上相對取巧，結(jié)構(gòu)堆疊緊湊度高。空間優(yōu)化至500 mm×480 mm，采用兩套電機絲桿，切換時間7 s，實現(xiàn)了切換機構(gòu)的空間優(yōu)化和結(jié)構(gòu)簡化，如圖9所示。

2.4.2? ? 踏板切換機構(gòu)設(shè)計

踏板切換機構(gòu)選用3個一般電子踏板（升降切換）和1套挖機踏板（翻轉(zhuǎn)切換）。切換時間：3～5 s;箱體尺寸：606 mm×400 mm×300 mm;總重量<20 kg。狀態(tài)保護：踏板正常使用工況下，踏板的折疊不允許觸發(fā)。如圖10所示，整套機構(gòu)完整可靠，帶安裝結(jié)構(gòu)，與機體配合，簡單易裝;可替換性強;切換完畢，限位力2 000 N。

整體通用操作部件由通用手柄+手柄與方向盤切換機構(gòu)+踏板切換機構(gòu)三大模塊組成，通過三大模塊的設(shè)計實現(xiàn)了6類產(chǎn)品操作模式的通用操作。

2.5? ? 整體平臺集成設(shè)計

整體平臺集成設(shè)計是在已確定的顯示系統(tǒng)、體感反饋平臺、聲音反饋系統(tǒng)和通用操作部件的基礎(chǔ)上，開展軟硬件集成、造型、結(jié)構(gòu)與人機設(shè)計。根據(jù)可直接裝進集裝箱的布置要求，總長、寬、高控制在2 850 mm×2 000 mm×2 350 mm;基座下設(shè)計安裝滑輪方便移動，總重500～600 kg，一般叉車可搬運。根據(jù)人機標準要求對整體平臺進行了總體人機布置，確定了主屏距離人眼距離為900 mm，以滿足實車視野效果需求，并根據(jù)操作舒適區(qū)域及可及范圍，定義了通用駕艙人機布置。

此外，根據(jù)整機功能要求，對顯示界面、體感座椅和手柄進行安裝接口定制，以此為基礎(chǔ)，進行底座、扶手箱、屏幕支架和其他覆蓋件的結(jié)構(gòu)設(shè)計、制作與裝配，完成整體操控艙開發(fā)。

3? ? 總結(jié)

1）通過對遠程操控相關(guān)產(chǎn)品及場景的調(diào)研分析，得出視頻顯示不直觀、同步性差、缺乏多維度反饋等共性核心問題普遍存在。

2）根據(jù)核心問題與客戶需求，進行產(chǎn)品定義，確定產(chǎn)品功能包括可以提供現(xiàn)場環(huán)境及設(shè)備信息的視覺、體感和聲音反饋功能，適用于多種工程機械的遠程操控通用化功能，以及具備直覺化交互功能。

3）根據(jù)產(chǎn)品功能定義及用戶體驗要求，確定顯示系統(tǒng)、體感反饋系統(tǒng)、聲音反饋系統(tǒng)、通用操作系統(tǒng)、主體集成平臺等部件及其設(shè)計要求。

4）根據(jù)部件劃分與設(shè)計要求開展各部件方案設(shè)計，并通過各類技術(shù)與方法解決相應(yīng)技術(shù)難題。如通過柱面投影、柱面圖像非剛性對齊的方法解決圖像拼接的問題;通過gstreamer+H.264的方法解決圖像編解碼時延問題;根據(jù)希克定律與費茨定律解決人機交互布局問題等等。

5）最后從軟硬件集成、造型、結(jié)構(gòu)與人機等方面對整體操控艙進行集成開發(fā)。

[參考文獻]

[1] 楊艷偉.基于SIFT特征點的圖像拼接技術(shù)研究[D].西安：西安電子科技大學(xué)，2009.

[2] WANG M，SHAMIR A，YANG G Y，et al.BiggerSelfie：Selfie video expansion with hand-held camera[J].IEEE transactions on image processing，2018（12）：5854-5865.

[3] SZELISKI R，SHUM H Y.Creating full view panoramic image mosaics and environment maps[C]// Proceedings of the 24th annual conference on Computer graphics and interactive techniques，1997：251-258.

作者簡介：王明江（1984—），男，江蘇人，工程師，徐工研究總院工業(yè)設(shè)計所所長，研究方向：產(chǎn)品創(chuàng)新設(shè)計。