基于華為云ModelArts及HiLens自動駕駛實(shí)驗(yàn)平臺的設(shè)計(jì)

楚朋志 許博 肖雄子彥 趙偉明 薛萬坤

(上海交通大學(xué)學(xué)生創(chuàng)新中心,上海 200240)

0 引言

由于在提高安全、效率及能源節(jié)約等方面具有極大的潛力，自動駕駛車輛將成為未來交通愿景的一個(gè)重要組成部分。智能傳感器、先進(jìn)的數(shù)字地圖、無線通信技術(shù)以及電動車輛的進(jìn)步，使得自動駕駛車輛能夠在普通城市道路上進(jìn)行基本的自主行駛。

自動駕駛車輛主要利用攝像頭讓車輛具備感知環(huán)境的能力，攝像頭采集到實(shí)時(shí)視頻流之后，將其送入后端系統(tǒng)中完成對關(guān)鍵目標(biāo)(如行人、斑馬線、障礙物等)的識別。除攝像頭外，還需要融合其他傳感器(如激光雷達(dá))的信息，以輔助車輛控制。在車輛行進(jìn)過程中，還需要對車道線進(jìn)行識別，以實(shí)現(xiàn)精準(zhǔn)駕駛，用于識別目標(biāo)的感知系統(tǒng)可以通過傳統(tǒng)計(jì)算機(jī)視覺算法或者通過深度學(xué)習(xí)的目標(biāo)識別技術(shù)實(shí)現(xiàn)。傳統(tǒng)視覺算法對環(huán)境變化及噪音魯棒性較差，難以滿足無人駕駛系統(tǒng)在實(shí)際應(yīng)用中面臨的環(huán)境復(fù)雜多變的需求。深度學(xué)習(xí)在如何降低神經(jīng)網(wǎng)絡(luò)訓(xùn)練成本，提高網(wǎng)絡(luò)識別準(zhǔn)確率等方面具有一定挑戰(zhàn)，本文使用的ModelArts是華為云推出的一站式人工智能應(yīng)用、部署平臺，結(jié)合Hilens端側(cè)設(shè)備能夠直接將人工智能部署到硬件設(shè)備當(dāng)中。本文按照真實(shí)車輛5∶1比例縮放建立了自動駕駛實(shí)驗(yàn)平臺-自動駕駛小車，基于華為ModelArt、Hilens人工智能平臺實(shí)現(xiàn)了交通標(biāo)志的識別，并能夠完成上述自動駕駛功能。

1 系統(tǒng)總體設(shè)計(jì)

1.1 系統(tǒng)硬件架構(gòu)

系統(tǒng)主要由車架、車輪、鋰電池、電控系統(tǒng)組成。系統(tǒng)實(shí)物如圖1所示。

圖1 自動駕駛實(shí)驗(yàn)平臺

車架主要包括底盤、車殼、懸掛系統(tǒng)組成，底盤為4輪阿克曼轉(zhuǎn)向底盤。電控系統(tǒng)主要由控制器、傳感器、執(zhí)行機(jī)構(gòu)組成?？刂破饔芍骺刂破?、從控制器和AI推理設(shè)備Hilens Kit組成，主、從控制器通過RS232進(jìn)行通信，主控制器與Hilens Kit通過TCP進(jìn)行通信。其中主控制器為瑞芯微的RK3399高性能主板，基于ROS開發(fā)平臺實(shí)現(xiàn)自動駕駛功能，從控制器為基于Arduino的單片機(jī)控制系統(tǒng)，與AQMH3615NS驅(qū)動板一起控制底盤的運(yùn)動。Hilens Kit內(nèi)置昇騰310 AI芯片，16TOPS算力，16路1080P視頻分析能力并自帶1路高清攝像頭，完成紅綠燈、斑馬線、交通標(biāo)識檢測與識別。傳感器主要由激光雷達(dá)、超聲波雷達(dá)等組成，執(zhí)行機(jī)構(gòu)主要有控制底盤運(yùn)動的減速電機(jī)和伺服電機(jī)組成。系統(tǒng)主要組成及其關(guān)系如圖2所示。

圖2 全系統(tǒng)架構(gòu)

1.2 系統(tǒng)軟件架構(gòu)

軟件架構(gòu)基于ROS平臺開發(fā)，主要實(shí)現(xiàn)車輛傳感器信息融合與車輛行駛控制。傳感器信息主要包括攝像頭信息、激光雷達(dá)信息、交通標(biāo)志識別信息，如圖3所示，每種傳感器作為ROS中的一個(gè)節(jié)點(diǎn)，將自己的信息發(fā)布到ROS消息池中。其中攝像頭信息用來識別車道線、激光雷達(dá)用來識別障礙物、交通標(biāo)志信息作為小車行進(jìn)的主要控制變量。kinematicCtrl節(jié)點(diǎn)對各傳感器信息進(jìn)行融合處理，生成小車驅(qū)動信息發(fā)送到車輛底盤。

圖3 傳感器信息傳遞流程

2 交通標(biāo)識識別

交通標(biāo)志識別功能是車輛能夠完成自主行駛的關(guān)鍵，該功能使用華為ModelArts和Hilens端云協(xié)調(diào)開發(fā)。具體實(shí)現(xiàn)由數(shù)據(jù)準(zhǔn)備、模型訓(xùn)練、在線驗(yàn)證、端云協(xié)同開發(fā)、端側(cè)部署步驟組成。

2.1 數(shù)據(jù)準(zhǔn)備

首先要進(jìn)行圖像數(shù)據(jù)的采集，采用Hilens終端設(shè)備進(jìn)行真實(shí)圖像采集，首先在Hilens上部署一個(gè)圖像定時(shí)捕捉的技能，利用Hilens自帶攝像頭進(jìn)行，捕捉時(shí)保持Hilens固定位置，緩慢移動目標(biāo)車輛，或者保持目標(biāo)車輛固定，緩慢移動Hilens設(shè)備，這樣可以保證目標(biāo)數(shù)據(jù)的豐富性，能夠保證不同大小，不同角度的目標(biāo)。數(shù)據(jù)越多越豐富，算法所達(dá)到的效果就更好，這里至少保證每一類別的圖片數(shù)量為100張。

采集的數(shù)據(jù)存儲在華為云上，可以通過obs軟件將圖像數(shù)據(jù)打包下載到本地，進(jìn)行數(shù)據(jù)清洗，經(jīng)過人為篩選，剔除圖像模糊或者無目標(biāo)存在的圖片，這樣可以避免對精度帶來負(fù)面影響。同樣也需要對數(shù)據(jù)進(jìn)行增強(qiáng)，如對圖片數(shù)據(jù)進(jìn)行縮放、裁剪、變換等操作增加數(shù)據(jù)量，從而進(jìn)一步提升模型的訓(xùn)練精度，這里對上述圖片進(jìn)行幾何變換操作，實(shí)現(xiàn)數(shù)據(jù)量的翻倍，將數(shù)據(jù)增強(qiáng)后的圖片上傳到華為云上。

接下來進(jìn)行數(shù)據(jù)標(biāo)注，這里采用華為云上的ModelArts的標(biāo)注功能，ModelArts提供了基礎(chǔ)的通用標(biāo)注工具，如矩形框、多邊形、圓形、點(diǎn)、線等?？梢匀斯槊總€(gè)類別進(jìn)行少量的標(biāo)注，然后使用ModelArts提供的智能標(biāo)注功能進(jìn)行自動標(biāo)注，標(biāo)注完成后再進(jìn)行人工確認(rèn)，可以減少標(biāo)注的工作量。

2.2 模型訓(xùn)練

在模型訓(xùn)練環(huán)節(jié)，首先要選擇合適的算法，ModelArts平臺提供了多種預(yù)制算法可供選擇，對于目標(biāo)檢測人為，算法可以分為Anchor-based和Anchor-free兩種，常見的模型有SSD、RetinaNet、YOLO系列、EfficientDet等，其中YOLO系列以目標(biāo)檢測的速度快見長，能夠?qū)崟r(shí)處理流媒體視頻。因此這里選用YOLO系列算法，目前ModelArts對YOLO V3支持較好。使用預(yù)制算法，僅需提供數(shù)據(jù)即可自動訓(xùn)練。并且預(yù)制算法的性能和精度均經(jīng)過專業(yè)調(diào)優(yōu)，能夠給開發(fā)者提供很快的訓(xùn)練速度和很高的訓(xùn)練精度。

如果預(yù)制算法不能滿足開發(fā)者的需求，開發(fā)者可以基于開源的計(jì)算引擎或開發(fā)庫(如Tensorflow、Pytorch、MindSpore等)的接口開發(fā)算法。

在模型訓(xùn)練完成后，一般需要進(jìn)入模型評估和調(diào)優(yōu)階段，以盡快發(fā)現(xiàn)模型的不足并進(jìn)行優(yōu)化。ModelArts上使用模型評估功能是在得到首次訓(xùn)練的模型之后，將模型推理結(jié)果、原始圖像和真實(shí)標(biāo)簽送入模型評估模塊，從數(shù)據(jù)、模型兩個(gè)方面對模型的綜合能力進(jìn)行評估，并給出改進(jìn)模型能力的診斷建議。開發(fā)者據(jù)此可以快速調(diào)優(yōu)模型。如圖4所示，在ModelArts模型評估頁面中，會自動將錯(cuò)誤的預(yù)測結(jié)果展示出來，并給出錯(cuò)誤原因，并且將相同錯(cuò)誤類型的個(gè)數(shù)統(tǒng)計(jì)出來，繪制成餅圖。

圖4 模型評估結(jié)果

從圖中可以看出r2的精度值為0，類別的誤檢和漏檢比例都很高，回到數(shù)據(jù)集中發(fā)現(xiàn)r2數(shù)據(jù)量為其他類別的1/4，因此需要增強(qiáng)r2類別的數(shù)據(jù)來提高r2的目標(biāo)識別精度。

2.3 在線驗(yàn)證

模型訓(xùn)練好以后，可以通過在線部署的方式進(jìn)行驗(yàn)證，在線推理服務(wù)能夠同步地、實(shí)時(shí)地響應(yīng)客戶端請求，并將推理結(jié)果返回給客戶端。批量推理服務(wù)可以對輸入的一批數(shù)據(jù)進(jìn)行推理，并將結(jié)果輸出到約定的存儲空間中，在實(shí)踐操作中可以先對單張圖片進(jìn)行在線推理，如果結(jié)果符合預(yù)期，再進(jìn)行批量推理，從而驗(yàn)證模型的效果。

2.4 Hilens端-云協(xié)同開發(fā)

Hilens是面向端云協(xié)同人工智能應(yīng)用的一站式開發(fā)平臺?？梢灾苯訉odelArts平臺訓(xùn)練好的模型導(dǎo)入Hilens中進(jìn)行進(jìn)一步開發(fā)，然后發(fā)布為人工智能應(yīng)用，并推送到Hilens納管的端側(cè)設(shè)備。

Hilens上開發(fā)使用云上集成開發(fā)環(huán)境HilensStudio。Hilens Studio提供在線開發(fā)、調(diào)試、模擬運(yùn)行、部署和發(fā)布功能。

上述在ModelArts平臺上訓(xùn)練好的模型使用的是TensorFlow引擎，要在Hilens上使用需要進(jìn)行模型轉(zhuǎn)換。轉(zhuǎn)換為Ascend 310可運(yùn)行的模型格式。轉(zhuǎn)換過程在Hilens Studio中進(jìn)行。轉(zhuǎn)換后的模型文件屬性分別是在Studio中測試用的c76和在Hilens端側(cè)用的c3x。

在Studio中測試可以上傳測試視頻，Studio讀取視頻數(shù)據(jù)作為輸入，可以實(shí)時(shí)驗(yàn)證技能算法。

2.5 Hilens端側(cè)部署

在HilensStudio中技能開發(fā)完成后，可以直接部署到Hilens設(shè)備中，部署完成后可以在設(shè)備管理中開啟技能。開啟技能過程中或運(yùn)行過程中出現(xiàn)異常情況可以通過存儲在華為云上的日志文件進(jìn)行跟蹤處理。

Hilens端側(cè)設(shè)備通過局域網(wǎng)與車輛主控制器進(jìn)行數(shù)據(jù)通信，使用TCP協(xié)議收發(fā)數(shù)據(jù)，其中主控制器作為服務(wù)器端，Hilens設(shè)備作為客戶端，Hilens通過主控制器的IP地址發(fā)起連接請求，主控制器接受請求后雙方即進(jìn)行數(shù)據(jù)交互，數(shù)據(jù)內(nèi)容主要為檢測框的中心點(diǎn)坐標(biāo)和目標(biāo)類別信息。

3 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)中針對紅燈、綠燈、黃燈、斑馬線、限速標(biāo)志、解除限速標(biāo)志6種交通標(biāo)志進(jìn)行了實(shí)驗(yàn)，如圖5所示。共采集了2975張圖片，在ModelArts中進(jìn)行標(biāo)注，并使用YOLO V3算法進(jìn)行訓(xùn)練，最后將模型部署在HilensKit端側(cè)設(shè)備進(jìn)行推理。HilensKit支持HDMI視頻輸出，經(jīng)過無線投屏設(shè)備將實(shí)時(shí)畫面投影到外置顯示屏上，觀察識別結(jié)果，如圖6和圖7所示，小車能夠穩(wěn)定識別并框出標(biāo)志信息，給出置信值，并根據(jù)識別信息控制車輛自主行駛。

圖5 自采集交通標(biāo)志

圖6 交通標(biāo)志識別效果

4 結(jié)語

本文按照真實(shí)車輛5∶1比例縮放建立了自動駕駛車輛實(shí)驗(yàn)平臺，基于華為ModelArt、Hilens人工智能平臺實(shí)現(xiàn)了交通標(biāo)志的識別，并基于ROS平臺實(shí)現(xiàn)了傳感器信息融合與控制決策，完成自動駕駛功能。該小車作為比賽用車用于第二屆和第三屆華為云杯無人車挑戰(zhàn)賽，通過比賽驗(yàn)證了系統(tǒng)設(shè)計(jì)的可靠性與穩(wěn)定性。