復(fù)雜情境下遠(yuǎn)程駕駛設(shè)備設(shè)計(jì)與研究

摘要：當(dāng)前遠(yuǎn)程駕駛技術(shù)已經(jīng)在自動(dòng)駕駛、農(nóng)機(jī)和工程機(jī)械等多方面展開(kāi)了應(yīng)用，但此類產(chǎn)品在如森林、礦區(qū)等非結(jié)構(gòu)化道路和救援救災(zāi)等復(fù)雜情境中無(wú)法發(fā)揮，主要在于人的作用未能有效體現(xiàn)。本研究通過(guò)設(shè)計(jì)一種視覺(jué)和姿態(tài)反饋實(shí)現(xiàn)人機(jī)共融的精準(zhǔn)操控遠(yuǎn)程駕駛設(shè)備，可以為森林巡檢、礦山探查、救援救災(zāi)等活動(dòng)提供有效幫助。

關(guān)鍵詞：復(fù)雜情境；遠(yuǎn)程駕駛；人機(jī)共融

中圖分類號(hào)：U462 文獻(xiàn)標(biāo)識(shí)碼：A

基金項(xiàng)目：2022 年度江西省教育廳科學(xué)技術(shù)研究項(xiàng)目《基于5G 遠(yuǎn)程駕駛技術(shù)的全地形救援小車設(shè)計(jì)與仿真》（項(xiàng)目編號(hào)：GJJ2207509）。

0 引言

當(dāng)前遠(yuǎn)程駕駛技術(shù)已經(jīng)得到了廣泛的應(yīng)用，如Waymo、百度Apollo 和文遠(yuǎn)知行等將遠(yuǎn)程駕駛技術(shù)用于自動(dòng)駕駛出租車上[1]，朱劍等研究了遠(yuǎn)程駕駛的環(huán)衛(wèi)車[2]。山東實(shí)景互動(dòng)網(wǎng)絡(luò)科技有限公司開(kāi)發(fā)的實(shí)暻飛車將遠(yuǎn)程駕駛技術(shù)用于旅游觀光及娛樂(lè)，王遠(yuǎn)淵等將遠(yuǎn)程駕駛技術(shù)與船舶進(jìn)行結(jié)合[3]。孫自昌采用遠(yuǎn)程駕駛無(wú)人機(jī)對(duì)高壓輸電線路檢查[4]。李曉騰對(duì)無(wú)人駕駛壓路機(jī)進(jìn)行了設(shè)計(jì)[5]。馮兵兵研發(fā)了一套農(nóng)機(jī)裝備遠(yuǎn)程駕駛控制系統(tǒng)[6]。姚壽文等對(duì)坦克車輛遠(yuǎn)程駕駛技術(shù)進(jìn)行了論述[7]。從應(yīng)用上來(lái)看，目前遠(yuǎn)程駕駛技術(shù)已經(jīng)在生活、娛樂(lè)、工業(yè)、農(nóng)業(yè)和軍事等方面落地。但目前研究都集中于遠(yuǎn)程駕駛設(shè)備功能和性能方面的提升，都忽略了人在遠(yuǎn)程駕駛中的重要作用。當(dāng)遇到非結(jié)構(gòu)化道路以及復(fù)雜情境時(shí)，現(xiàn)有遠(yuǎn)程駕駛設(shè)備不能實(shí)現(xiàn)精準(zhǔn)控制，往往出現(xiàn)翻車或不能通過(guò)等現(xiàn)象。將人的主動(dòng)性與遠(yuǎn)程駕駛進(jìn)行結(jié)合，利用人的反應(yīng)、知識(shí)和經(jīng)驗(yàn)?zāi)芰Φ确答伒杰囕v的運(yùn)動(dòng)上，可以提高遠(yuǎn)程駕駛的能力和適用性。

1 項(xiàng)目簡(jiǎn)介

項(xiàng)目所研究為一種基于5G 通信能適用于復(fù)雜情境的遠(yuǎn)程駕駛設(shè)備。復(fù)雜情境包括非結(jié)構(gòu)化地形以及復(fù)雜情形，為將遠(yuǎn)程駕駛設(shè)備用于此類場(chǎng)景中，需要人通過(guò)遠(yuǎn)程駕駛的方式，根據(jù)所接收到的車輛現(xiàn)場(chǎng)感知信息進(jìn)行精準(zhǔn)操控。操控者在面對(duì)復(fù)雜情境時(shí)能快速反應(yīng)，并做出相應(yīng)判斷和動(dòng)作。而且在非結(jié)構(gòu)化道路中，如狹窄、陡峭和涉水路段時(shí)，車輛通過(guò)性需要根據(jù)不同地形進(jìn)行調(diào)整，因此還需要設(shè)計(jì)具備全地形通過(guò)能力的車輛底盤(pán)，通過(guò)遠(yuǎn)程操控調(diào)節(jié)車輛底盤(pán)結(jié)構(gòu)，實(shí)現(xiàn)對(duì)現(xiàn)場(chǎng)地形的適應(yīng)。

本研究通過(guò)遠(yuǎn)程駕駛結(jié)合與5G 通信技術(shù)，可以有效實(shí)現(xiàn)遠(yuǎn)程遙控車輛，在高危和惡劣環(huán)境中，工作的安全和效率得到大幅度提高。將其應(yīng)用于巡查等方面，例如在果園、林區(qū)等相關(guān)區(qū)域，可以提高巡檢效率和降低災(zāi)害風(fēng)險(xiǎn)；將其應(yīng)用于礦山、油田等區(qū)域，可以在對(duì)盲炮等不確定風(fēng)險(xiǎn)進(jìn)行有效排除；將其應(yīng)用于救援救災(zāi)的前期探查中，可以快速判斷事故災(zāi)害的發(fā)生原因。本研究在為提高救援效率、降低人員風(fēng)險(xiǎn)和保障人民財(cái)產(chǎn)安全上起著重要作用。

2 項(xiàng)目方案

2.1 設(shè)計(jì)分析

當(dāng)前遠(yuǎn)程駕駛之所以不能適用于復(fù)雜情境中，一方面在于通訊延遲較高，車輛不能及時(shí)進(jìn)行反應(yīng)；另一方面在于人無(wú)法感知到車輛的運(yùn)動(dòng)狀態(tài)和周邊情境，某些情況下車輛的底盤(pán)結(jié)構(gòu)不能通過(guò)復(fù)雜地形。因此要實(shí)現(xiàn)人在遠(yuǎn)程駕駛中的精準(zhǔn)操控，必須將車輛的運(yùn)動(dòng)狀態(tài)和周邊環(huán)境實(shí)時(shí)準(zhǔn)確地反饋給駕駛員。本項(xiàng)目采用5G 遠(yuǎn)程通信和相關(guān)算法來(lái)降低通訊中的延遲，采用頭追頭顯形成主動(dòng)視覺(jué)提供駕駛員視角，采用六自由度運(yùn)動(dòng)平臺(tái)和姿態(tài)反饋技術(shù)提供體感反饋。

2.2 總體方案設(shè)計(jì)

該遠(yuǎn)程駕駛設(shè)備由遠(yuǎn)程控制系統(tǒng)和車載控制系統(tǒng)兩大模塊組成。遠(yuǎn)程控制系統(tǒng)包括轉(zhuǎn)向、加速和制動(dòng)等操作系統(tǒng)，以及視覺(jué)和運(yùn)動(dòng)反饋系統(tǒng)。操控人員可以通過(guò)視覺(jué)感知系統(tǒng)實(shí)時(shí)感知車輛周邊__遠(yuǎn)程駕駛設(shè)備的總體控制策略為：操控人員的操作下，遠(yuǎn)程駕駛控制系統(tǒng)通過(guò)5G 通信技術(shù)遠(yuǎn)程控制車輛端，其中包括小車的行駛功能和視角調(diào)節(jié)功能；車輛端將視景信息和運(yùn)動(dòng)姿態(tài)以及執(zhí)行情況反饋給遠(yuǎn)程駕駛控制系統(tǒng)。遠(yuǎn)程駕駛控制系統(tǒng)接收車輛傳遞的信號(hào)，并通過(guò)運(yùn)動(dòng)平臺(tái)和頭顯眼鏡復(fù)現(xiàn)車輛運(yùn)動(dòng)和視景情境，讓操控人員在遠(yuǎn)程駕駛控制端能夠根據(jù)車輛實(shí)際情況進(jìn)行精準(zhǔn)操控。

需要說(shuō)明的是，該項(xiàng)目目前處于階段性研究中，該遠(yuǎn)程駕駛設(shè)備在后期開(kāi)發(fā)中，還要對(duì)車輛底盤(pán)及控制系統(tǒng)進(jìn)行設(shè)計(jì)。這是為了使其在復(fù)雜的非結(jié)構(gòu)化地形具有良好通過(guò)性，從而讓遠(yuǎn)程駕駛更好適應(yīng)于復(fù)雜地形和場(chǎng)景。

2.3 方案技術(shù)實(shí)現(xiàn)方式

2.3.1 遠(yuǎn)程控制端組成

遠(yuǎn)程控制端主要包含遠(yuǎn)程駕駛艙、顯示系統(tǒng)和后臺(tái)服務(wù)器3個(gè)模塊，主要功能是將駕駛員的頭部動(dòng)作信息和駕駛操作信息轉(zhuǎn)換為相關(guān)信號(hào)發(fā)送給車載執(zhí)行端，實(shí)現(xiàn)對(duì)車輛的操控。另外車載端傳輸回的視頻信息顯示在顯示屏和頭顯系統(tǒng)中，傳回的車輛姿態(tài)信息通過(guò)伺服電動(dòng)缸進(jìn)行反饋。車輛的執(zhí)行信息通過(guò)方向盤(pán)、加速和制動(dòng)進(jìn)行反饋，駕駛員根據(jù)反饋的多種感知信息進(jìn)行精準(zhǔn)操作（圖2）。

顯示系統(tǒng)采用了三聯(lián)屏結(jié)構(gòu)，屏幕與后臺(tái)服務(wù)器的接口用以太網(wǎng)和公網(wǎng)進(jìn)行連接，從而展示服務(wù)器中運(yùn)行的遠(yuǎn)程駕駛車端視頻和車輛信息。

遠(yuǎn)程駕駛艙要實(shí)現(xiàn)轉(zhuǎn)向、加速、制動(dòng)和姿態(tài)反饋的功能。其主要零部件包括伺服電動(dòng)缸、方向盤(pán)、加速和制動(dòng)踏板以及信號(hào)采集系統(tǒng)。六自由度運(yùn)動(dòng)模擬器通過(guò)模擬位置、速度和加速度這3 個(gè)參數(shù)并進(jìn)行疊加，從而近似模擬出車輛的真實(shí)姿態(tài)。操控人員根據(jù)顯示系統(tǒng)上顯示的車端回傳視頻與艙內(nèi)車輛姿態(tài)體感對(duì)遠(yuǎn)端車輛進(jìn)行操作。

駕駛端的后臺(tái)服務(wù)器需要與遠(yuǎn)程駕駛艙、顯示系統(tǒng)基于以太網(wǎng)連接，并通過(guò)具有固定IP 地址的專線連接運(yùn)營(yíng)商核心網(wǎng)，與車端基于5G 數(shù)據(jù)通道進(jìn)行數(shù)據(jù)交互。

2.3.2 車載執(zhí)行端

車載執(zhí)行端主要包括車載視頻系統(tǒng)、車輛執(zhí)行系統(tǒng)和姿態(tài)傳感器。

2.3.2.1 車載視頻系統(tǒng)

車載視頻系統(tǒng)包括攝像頭、視頻處理系統(tǒng)。在車輛的頂部裝載有舵機(jī)云臺(tái)和攝像頭，以便提供更真實(shí)的主動(dòng)駕駛視野。舵機(jī)云臺(tái)可以全方位跟隨駕駛員的頭部運(yùn)動(dòng)進(jìn)行轉(zhuǎn)動(dòng)，攝像頭在舵機(jī)云臺(tái)上運(yùn)動(dòng)，為駕駛員提供操控視野并跟隨人的注意力形成聚焦，從而更良好地觀察行駛過(guò)程中路面和周圍環(huán)境情況。

攝像頭所觀察采集到的視頻圖像數(shù)據(jù)要及時(shí)傳遞到遠(yuǎn)程控制端，就需要在車載執(zhí)行端通過(guò)視頻處理系統(tǒng)對(duì)圖像進(jìn)行量化、采集、編碼和壓縮處理。視頻處理系統(tǒng)的硬件采用英偉達(dá)NX 控制器，處理后的信號(hào)通過(guò)5G 上傳到云端再傳入遠(yuǎn)程控制端。

2.3.2.2 車輛執(zhí)行系統(tǒng)

車輛執(zhí)行端上搭載的執(zhí)行器主要包括轉(zhuǎn)向、加速和制動(dòng)控制執(zhí)行器。轉(zhuǎn)向控制執(zhí)行器由轉(zhuǎn)向電機(jī)、方向盤(pán)、嚙合帶傳動(dòng)機(jī)構(gòu)和轉(zhuǎn)向電機(jī)控制器組成。車輛接收到轉(zhuǎn)向信號(hào)時(shí)，轉(zhuǎn)向控制器把方向盤(pán)轉(zhuǎn)動(dòng)的角度轉(zhuǎn)換為PWM 控制信號(hào)對(duì)轉(zhuǎn)向電機(jī)進(jìn)行控制。轉(zhuǎn)向電機(jī)帶動(dòng)帶輪及嚙合帶進(jìn)行轉(zhuǎn)動(dòng)，嚙合帶與方向盤(pán)下端固定連接的帶輪一起轉(zhuǎn)動(dòng)，從而實(shí)現(xiàn)轉(zhuǎn)向的控制。

車輛的加速由車輛執(zhí)行端的舵機(jī)驅(qū)動(dòng)踏板，踏板動(dòng)作帶動(dòng)傳感元件進(jìn)行移動(dòng)，所移動(dòng)的距離轉(zhuǎn)換為相應(yīng)的電壓信號(hào)，再經(jīng)過(guò)數(shù)據(jù)轉(zhuǎn)換計(jì)算為踏板的角度變化值。車輛的減速動(dòng)作是通過(guò)線控制動(dòng)的方式實(shí)行。當(dāng)制動(dòng)踏板踩下后，位置傳感器感知到踏板的位移，通過(guò)電信號(hào)發(fā)送給電動(dòng)泵，然后產(chǎn)生壓力對(duì)汽車進(jìn)行制動(dòng)。

2.3.2.3 姿態(tài)傳感器

車載端所采用WITJY901s 姿態(tài)傳感器，可以精準(zhǔn)地測(cè)量出車輛三維運(yùn)動(dòng)姿態(tài)，基于四元數(shù)傳感器數(shù)據(jù)算法進(jìn)行運(yùn)動(dòng)姿態(tài)解算，實(shí)時(shí)輸出零漂移三維姿態(tài)數(shù)據(jù)，再經(jīng)過(guò)5G 通信進(jìn)行傳輸，發(fā)送到服務(wù)器，經(jīng)六自由度運(yùn)動(dòng)平臺(tái)對(duì)姿態(tài)進(jìn)行復(fù)現(xiàn)。

2.3.3 通信技術(shù)

設(shè)備采用了Socket 套接字通信技術(shù)、PID 算法與USB 抓包技術(shù)結(jié)合。Socket 作為UNIX 的進(jìn)程通信機(jī)制，可以實(shí)現(xiàn)不同虛擬機(jī)或計(jì)算機(jī)之間的通信。UDP 協(xié)議沒(méi)有繁瑣的三次握手建立連接過(guò)程，在遠(yuǎn)程控制這種要求實(shí)時(shí)響應(yīng)的場(chǎng)景中有較好的傳輸效果。PID 算法可建立精確模型的確定性系統(tǒng)。USB 抓包技術(shù)首先將駕駛模擬器與電腦通過(guò)USB 接口連接，當(dāng)操作駕駛模擬器進(jìn)行相應(yīng)的駕駛動(dòng)作時(shí)，通過(guò)Bus Hound 軟件對(duì)駕駛模擬器輸出信號(hào)進(jìn)行抓取。通過(guò)上述技術(shù)的結(jié)合應(yīng)用，系統(tǒng)可以快速分析確定駕駛模擬器輸出數(shù)據(jù)的規(guī)律，實(shí)現(xiàn)了車端與駕駛端之間數(shù)據(jù)傳輸在200 ms 以內(nèi)，高清視頻傳輸在250 ms 左右。

2.3.4 主動(dòng)視覺(jué)的形成

主動(dòng)視覺(jué)主要由頭追和頭顯組成的頭顯系統(tǒng)提供。遠(yuǎn)端控制系統(tǒng)中駕駛員的頭部運(yùn)動(dòng)姿態(tài)經(jīng)過(guò)解碼計(jì)算，然后發(fā)送給車載執(zhí)行端的控制系統(tǒng)，各種控制信息通過(guò)模塊接受并解碼，轉(zhuǎn)換成PWM 信號(hào)輸出給舵機(jī)，從而控制舵機(jī)的轉(zhuǎn)向和俯仰，掛在舵機(jī)上的攝像頭隨地面遙控信號(hào)動(dòng)作。車輛上的攝像頭隨著地面控制人員的頭部運(yùn)動(dòng)而運(yùn)動(dòng)，再將攝像頭中傳來(lái)的圖像信息，進(jìn)行字符疊加，再通過(guò)5G 通訊技術(shù)及圖傳模塊傳送到遠(yuǎn)端控制系統(tǒng)接收。遠(yuǎn)端控制系統(tǒng)接收模塊的圖傳信息后，在操控人員所戴的頭顯系統(tǒng)中顯示圖像，實(shí)現(xiàn)感知并接收車輛運(yùn)動(dòng)時(shí)的駕駛員視覺(jué)（即主動(dòng)視覺(jué)）。駕駛員可以主動(dòng)觀察車輛周圍環(huán)境情況并聚焦目標(biāo)。

3 技術(shù)優(yōu)勢(shì)

通過(guò)以上技術(shù)方案，該項(xiàng)目遠(yuǎn)程駕駛設(shè)備采用先進(jìn)通信技術(shù)，可以有效減少數(shù)據(jù)傳輸過(guò)程中的延遲，從而實(shí)現(xiàn)各種運(yùn)動(dòng)的同步。在運(yùn)動(dòng)同步的基礎(chǔ)上，結(jié)合頭追頭顯技術(shù)形成的主動(dòng)真實(shí)視覺(jué)和運(yùn)動(dòng)平臺(tái)模擬的真實(shí)體感，將視覺(jué)和體感進(jìn)行交互，從而實(shí)現(xiàn)對(duì)車輛的遠(yuǎn)程精準(zhǔn)控制。這意味著在復(fù)雜道路環(huán)境中，可以將人的經(jīng)驗(yàn)、知識(shí)、能力以及主動(dòng)性，與車輛的控制良好結(jié)合，達(dá)到人機(jī)共融的效果。通過(guò)實(shí)踐驗(yàn)證，該設(shè)備可以解決各種復(fù)雜道路工況條件下，現(xiàn)有遠(yuǎn)程駕駛技術(shù)根本無(wú)法通過(guò)和控制的難題，從而為高危和惡劣環(huán)境中的巡檢偵察等用途提供有效解決方案。

4 結(jié)束語(yǔ)

市場(chǎng)上的設(shè)備目前都未有將姿態(tài)反饋技術(shù)和主動(dòng)視覺(jué)融入于遠(yuǎn)程駕駛中，應(yīng)用場(chǎng)景都是較為簡(jiǎn)單的操作和良好的道路工況，所控制車輛只能進(jìn)行簡(jiǎn)單的前進(jìn)后退等動(dòng)作。當(dāng)面對(duì)復(fù)雜情境時(shí)，駕駛員不能精確感知到車輛的狀態(tài)，也就無(wú)法通過(guò)復(fù)雜路況，容易出現(xiàn)翻車等意外。本遠(yuǎn)程駕駛設(shè)備通過(guò)采用主動(dòng)視覺(jué)和姿態(tài)反饋，實(shí)現(xiàn)遠(yuǎn)程駕駛的人機(jī)共融，滿足在非結(jié)構(gòu)化道路和復(fù)雜情境中的精準(zhǔn)控制，可以在森林、果園等的日常巡檢中、各類救援救災(zāi)的前期探測(cè)中、礦山的爆破等危險(xiǎn)情況的偵察中進(jìn)行良好的應(yīng)用。因此將遠(yuǎn)程駕駛技術(shù)用于復(fù)雜地形和情境，具備重大經(jīng)濟(jì)價(jià)值和社會(huì)價(jià)值。目前項(xiàng)目組的一套初期產(chǎn)品已在電子科技大學(xué)高等研究院進(jìn)行交付使用，得到了良好的反饋評(píng)價(jià)（圖3）。

【參考文獻(xiàn)】

[1] 葛雨明， 廖臻， 康陳， 等. 自動(dòng)駕駛出租車遠(yuǎn)程遙控駕駛研究[J]. 移動(dòng)通信，2022，46（04）：50-54.

[2] 朱劍， 陳海云， 趙江南， 等. 智能駕駛環(huán)衛(wèi)車5G 遠(yuǎn)程駕駛系統(tǒng)[J]. 汽車實(shí)用技術(shù)，2021，46（06）：52-57.

[3] 王遠(yuǎn)淵， 劉佳侖， 馬楓， 等. 智能船舶遠(yuǎn)程駕駛控制技術(shù)研究現(xiàn)狀與趨勢(shì)[J]. 中國(guó)艦船研究，2021，16（01）：18-31.

[4] 孫自昌. 基于遠(yuǎn)程無(wú)人駕駛飛機(jī)系統(tǒng)的高壓輸電線路巡檢故障研究[J].長(zhǎng)春工程學(xué)院學(xué)報(bào)（ 自然科學(xué)版），2020，21（03）：119-123+128.

[5] 李曉騰. 無(wú)人駕駛壓路機(jī)遠(yuǎn)程監(jiān)控系統(tǒng)與整車性能評(píng)價(jià)研究[D]. 天津：天津大學(xué)，2020.

[6] 馮兵兵. 農(nóng)機(jī)裝備遠(yuǎn)程駕駛控制系統(tǒng)設(shè)計(jì)與試驗(yàn)研究[D]. 合肥： 安徽農(nóng)業(yè)大學(xué)，2021.[7] 姚壽文， 丁佳， 王瑀， 等. 坦克車輛虛擬遠(yuǎn)程駕駛技術(shù)綜述[J]. 兵器裝備工程學(xué)報(bào)，2019，40（06）：104-108.

作者簡(jiǎn)介：

曾恩，碩士，工程師，研究方向?yàn)檫h(yuǎn)程駕駛車輛。