深度學習和移動邊緣計算在自動駕駛的應用綜述

黃 磊, 鄭藝峰*, 張文杰

（1.閩南師范大學計算機學院,福建漳州363000；2.數(shù)據(jù)科學與智能應用福建省高校重點實驗室,福建 漳州363000）

隨著機器學習的發(fā)展，自動駕駛逐步走進人們的視野，近年來已在特定的環(huán)境得到應用.自動駕駛汽車也必須進化為智能終端，配備多類型車載傳感器如車載雷達、高清車載攝像機、定位傳感器等，再輔以最新的通信技術以及強大的獨立車載計算單元，與其他車輛和周圍環(huán)境的所有設備直接或間接連接，進行數(shù)據(jù)交互.然而，傳統(tǒng)自動駕駛汽車受連接車輛數(shù)量、道路環(huán)境、交通狀況等因素的影響，計算資源受限的自動駕駛車輛可能會受到計算密集型應用程序的約束，使得車輛難以確保所需的服務質量.與此同時，自動駕駛車輛由于通信資源受限，其通信水平容易受到移動性的影響，無法實時收到外界環(huán)境信息.

移動邊緣計算（Mobile Edge Computing，MEC）[1]和深度學習[2]的出現(xiàn)，有助于解決自動駕駛在計算和通信資源不足的問題，并提高自動駕駛汽車的智能性.以自動駕駛的核心技術——目標感知與檢測技術為例，傳統(tǒng)的自動駕駛依靠多種傳感器的冗余堆積和滿足車規(guī)級要求的芯片平臺，通過激光雷達等傳感器的暴力掃描方案，輔以適當?shù)膱D像處理算法，從而勾勒出周圍障礙物的范圍[3].此方法對車載傳感器的數(shù)量，以及自動駕駛汽車的計算資源均提出較高要求，計算資源不足引起的高延遲使得安全性面臨嚴峻的挑戰(zhàn).基于深度學習的方法可進行更精確的目標感知和檢測，并且這一過程可以卸載到邊緣服務器進行處理，減輕對車輛計算資源的需求，顯著縮短處理任務的時延.深度學習和MEC 在車聯(lián)網(wǎng)環(huán)境下的融合將為自動駕駛的發(fā)展帶來新的可能性.

對深度學習和移動邊緣計算在自動駕駛的應用進行了詳細的歸納和概括，包括自動駕駛中的目標檢測、路徑規(guī)劃、碰撞避免問題，討論了現(xiàn)有方法的優(yōu)勢和不足，并對現(xiàn)存工作亟待解決的問題和挑戰(zhàn)進行展望.

1 移動邊緣計算和深度學習

1.1 移動邊緣計算

現(xiàn)有自動駕駛的各流程業(yè)務中，幾乎所有的業(yè)務都對實時性、時延、能耗提出要求.隨著車聯(lián)網(wǎng)數(shù)據(jù)量的擴大，各業(yè)務對計算量、實時性也提出更為嚴苛的條件，傳統(tǒng)的將計算任務卸載到云端進行處理的方法已無法滿足車聯(lián)網(wǎng)系統(tǒng)中延遲敏感型應用的要求，采用終端層、邊緣層和云層的MEC 體系結構有助于解決車聯(lián)網(wǎng)的一系列問題[3].

終端層：終端層包括可供移動用戶穿戴的傳感器以及具有執(zhí)行能力的智能手機、智能手表等.初始數(shù)據(jù)處理通常在移動用戶的智能手機、手表上執(zhí)行，憑借終端設備提供的計算能力，可為終端移動用戶提供實時服務，并減少帶寬的消耗.但由于終端用戶設備的計算能力、存儲容量有限，一些計算密集型應用程序在移動用戶的智能設備上無法保證其服務質量.因此，該層終端設備可選擇將難以處理的任務上傳至邊緣服務器.

邊緣層：邊緣層位于移動用戶附近，介于傳感、智能終端等設備和云層之間.邊緣層包括能夠運行更復雜應用程序的設備，終端層在對傳感器數(shù)據(jù)進行處理、過濾和匯總.此外，大部分采用深度學習的圖像識別和視頻分析任務均在邊緣設備上進行管理.

云層：云層的服務器需具備強大的計算和存儲能力，云服務器可以滿足不同應用的資源和存儲需求，該層還支持多個MEC 服務器之間的交互，包括相互協(xié)作和數(shù)據(jù)交換.云服務器擁有海量資源，其部署在離終端設備較遠的地方，終端設備將感知并匯集的數(shù)據(jù)卸載至云服務器將面臨傳輸時延過高的挑戰(zhàn).

1.2 深度學習

與傳統(tǒng)機器學習方法相比，深度學習具有強大的信息提取和處理能力.將深度學習和強化學習的結合有助于進一步增強系統(tǒng)的決策能力，但也需要大量的計算資源[2].深度學習領域相關技術的不斷完善和突破則進一步拓展MEC 在各種場景下的應用，提高其性能、效率和管理水平.這一節(jié)主要介紹一些廣泛用于自動駕駛的典型的深度學習模型.

深度玻爾茲曼機：玻爾茲曼機是一種生成體系結構的模型，其模型使用許多隱藏層，同一層中的變量之間沒有物理連接.玻爾茲曼機具有學習內部復雜表示的能力，能為車聯(lián)網(wǎng)過程中的信號處理類型的應用提供很好的解決方案.此外，多個受限玻爾茲曼機層堆疊后可以形成一個由可見層和多個隱藏層組成的深度置信網(wǎng)絡，廣泛應用于車聯(lián)網(wǎng)中的故障和異常檢測[25].

深度強化學習：深度強化學習更側重于強化學習.與傳統(tǒng)的強化學習不同，深度強化學習具有較強的逼近值函數(shù)或直接策略的表示能力，其采用深度神經(jīng)網(wǎng)絡用以表示策略.深度強化學習算法可分為兩類:基于價值的模型和基于策略梯度的模型.利用深度學習對目標的感知和檢測，借助深度神經(jīng)網(wǎng)絡強大的表示能力，擬合價值函數(shù)或策略以解決一系列狀態(tài)行為空間問題，進而完成自動駕駛領域中一系列路徑選擇、車輛控制的決策[26].

深度森林：雖然上述的深度學習模型已在車聯(lián)網(wǎng)領域取得巨大的成功，但亦存在不足.深度神經(jīng)網(wǎng)絡要取得良好的效果則需要適當?shù)某瑓?shù)，如學習率、優(yōu)化器類型等，而數(shù)量龐大的超參數(shù)會對邊緣服務器的儲存能力提出更高的要求.因此，神經(jīng)網(wǎng)絡的訓練通常需要研究者花費大量的精力進行超參數(shù)的微調.周志華等提出深度森林gcForest[4]，對傳統(tǒng)基于樹的方法在廣度和深度上的一種集成，相比于神經(jīng)網(wǎng)絡更具解釋性.深度森林可有效處理不同規(guī)模的數(shù)據(jù)，具有更加穩(wěn)定和良好的學習性能.在與深度神經(jīng)網(wǎng)絡具有幾乎完全一樣的超參數(shù)設置下，深度森林在處理不同領域的不同數(shù)據(jù)時可獲得極好的性能.

2 深度學習在移動邊緣計算環(huán)境下車聯(lián)網(wǎng)中應用

自動駕駛是邊緣計算和深度學習相結合的典型應用之一.隨著科技的進步日新月異，城市的智慧交通系統(tǒng)從理想到現(xiàn)實并非遙不可及.眾所周知，自動駕駛技術是將傳感器、視頻處理、目標識別、雷達定位、道路決策等技術有效結合.現(xiàn)實中城市路況是實時變化的，位于行駛中的車輛的傳感器每時每刻都會接收到來自周圍環(huán)境的大量數(shù)據(jù).將深度學習和邊緣計算相結合，可大大減少數(shù)據(jù)在傳輸過程中產(chǎn)生的延時，從而提高車聯(lián)網(wǎng)系統(tǒng)的安全性.國內外的一些研究人員已經(jīng)對邊緣計算和深度學習緊密結合的自動駕駛領域進行過細致的研究[5-6].深度學習在MEC場景下的自動駕駛流程和架構圖，如圖1所示.本節(jié)將從目標感知、路徑規(guī)劃和碰撞檢測和避免等方面詳述近年來該領域的研究現(xiàn)狀.

圖1 深度學習在MEC場景下的自動駕駛流程和架構圖Fig.1 Deep learning process and architecture diagram of autonomous driving in the MEC scenario

2.1 目標感知與檢測

目標檢測是自動駕駛領域中最重要的研究問題之一.正如文獻[7]中所述，自動駕駛技術能實現(xiàn)自動駕駛的基礎在于智能車輛的對環(huán)境的理解能力，即對周圍目標的感知能力.不同的車載傳感將使用不同傳感器執(zhí)行相應的傳感任務，如道路檢測、車輛檢測和行人檢測等.不同檢測任務的結果將用于后續(xù)的路徑規(guī)劃、車輛控制等任務的實現(xiàn).

近年來，人們主要基于淺層學習對道路中的車輛檢測與計數(shù)、行人檢測等進行大量的研究.淺層學習一般依賴于手工提取特征.在文獻[8]中描述對車輛檢測的基本步驟，從選擇可能有汽車的地區(qū)開始，針對垂直和水平濾波方向提取兩組直方圖梯度特征.汽車和物體之間的區(qū)別主要通過互信息測量，標準化互相關，并將相關測量與支持向量機相結合等技術來完成.再通過將方向值與分類為汽車的點相聯(lián)系，屬于同一輛車的點被合并，從而完成對車輛的檢測.在自動行駛車輛的發(fā)展過程中，其搭載各式各樣新興的傳感器，亦對檢測的精確度以及實時性都提出較高要求.由于傳感數(shù)據(jù)巨大，智能車輛面臨著巨大的計算負擔，計算能力將成為阻礙車輛從高分辨率攝像機帶來的高系統(tǒng)精度中獲益的瓶頸.此時，將深度學習應用于目標檢測有助于提高檢測的準確率.然而，深度學習訓練過程則需要大量的計算和存儲資源，在云端服務器中執(zhí)行上述任務會導致高帶寬消耗、延遲和可靠性問題.隨著邊緣計算的發(fā)展，基于深度學習的目標檢測可以遷移到數(shù)據(jù)源附近，即遷移到終端設備或邊緣節(jié)點來完成.在終端層，車載雷達，高清車載相機等設備負責圖像視頻資源的采集，并使用終端的智能設備進行壓縮、預處理和圖像分割等操作，之后將需要計算的數(shù)據(jù)卸載至邊緣節(jié)點，通過減少卷積神經(jīng)網(wǎng)絡層中不必要的過濾器，可在保證分析性能的同時有效降低邊緣層的資源消耗，提高整體性能.接下來將對基于深度學習的目標檢測進行進一步闡述.

2.1.1 道路檢測

行駛中的車輛需要實時檢測車道線以確定前進的方向.文獻[9]提出的車道標記檢測算法，先去除構成車道標記背景的路面，再使用一組來自局部圖像的波形生成區(qū)域，實驗結果顯示其在白天的檢測錯誤率僅為0.63%,即使是夜間，錯誤率也僅為1.14%.但不足之處在于，該算法未能證明其在復雜場景也能保持低錯誤率.為測試在復雜場景的準確性，文獻[10]采用激光雷達和高速相機等多種傳感器的數(shù)據(jù)，并利用深度神經(jīng)網(wǎng)絡在三維空間中進行車道檢測，提出的方法在阻塞、分叉、合并和十字路口等復雜場景中展現(xiàn)良好的性能.文獻[11]提出一種以端到端方式訓練車道檢測器的方法，首先用深度網(wǎng)絡預測每條車道線的類似分段的權圖，再通過加權最小二乘為每條車道線返回最佳擬合曲線的參數(shù).較傳統(tǒng)的兩步法而言，其在70 幀的條件下的結果有明顯改進.針對道路的車道線和邊界模糊不清的問題，文獻[12]采用遞歸神經(jīng)元層進行結構化視覺檢測，可自動檢測車道邊界.但模型相對龐大，可能出現(xiàn)訓練時間過長的情況.為了進一步縮短訓練時間，文獻[13]提出的全卷積網(wǎng)絡算法，通過學習更多的道路邊界識別特征，將位置先驗視為一種特征圖直接添加到最終的特征圖中以提高檢測性能，與傳統(tǒng)模型相比，其收斂速度提高30%，能有效節(jié)約訓練時間.

2.1.2 車輛和環(huán)境檢測

為了避免事故的發(fā)生，自動駕駛汽車需要檢測和跟蹤道路上的其他車輛以及阻礙車輛行駛的可疑障礙物.在此項任務中，需要估計周圍車輛或障礙物的形狀、與本車的相對速度、相對三維位置等因素.文獻[14]介紹的車輛計數(shù)系統(tǒng)主要利用卷積神經(jīng)網(wǎng)絡在航拍圖像上回歸車輛空間密度圖，在使用慕尼黑和高空圖像研究數(shù)據(jù)集上的評估結果表明其具有較高的查準率和查全率.文獻[15]所提方法主要基于卷積神經(jīng)網(wǎng)絡，利用快速特征點提取車輛軌跡，獲得不同車輛的數(shù)量、行車方向、車輛類型、車號等數(shù)據(jù).與傳統(tǒng)的硬件監(jiān)測車輛流量的方法相比，其成本較低，穩(wěn)定性高，在移動邊緣計算的環(huán)境中無需對現(xiàn)有監(jiān)測設備進行大規(guī)模的施工或安裝.文獻[16]提出一種用于目標識別的相機和激光雷達的融合策略，通過將激光雷達3D 投影到一個2D 圖像平面，再采用上采樣策略生成高分辨率的2D 距離視圖，使用卷積神經(jīng)網(wǎng)絡進行三通道彩色圖像分類和深度圖像分類，將與被識別車輛和環(huán)境的實際距離納入感知系統(tǒng).高復雜度的算法在縮短系統(tǒng)響應時延的同時，也對邊緣服務器的算力和能耗提出新要求.文獻[17]使用尖峰神經(jīng)網(wǎng)絡，利用時間編碼對進行目標識別，其優(yōu)勢在于在對真實世界的環(huán)境進行目標識別時，能有效降低系統(tǒng)的能耗和延遲，但是識別精度仍有進一步上升的空間.如何在邊緣計算環(huán)境下利用深度學習的方法平衡識別精度、系統(tǒng)時延和能耗指標，將會是未來該領域研究的風向標.

2.1.3 行人檢測

相比于其他物體，行人的重要等級更高，因此有必要將普通待檢測目標與行人區(qū)分開來.自動駕駛汽車上通過視覺攝像頭，用于檢測、跟蹤和識別行人，避免與行人發(fā)生碰撞.文獻[18]提出的識別框架雖能獲得更高的行人檢測的精度，但不足之處在于處理時間明顯比高于其他模型.文獻[19]提出一種基于卷積神經(jīng)網(wǎng)絡和支持向量機的混合型本地多系統(tǒng)，將完整圖像劃分為多個局部的子區(qū)域，采用主成分析法對鑒別性的特征進行篩選，應用經(jīng)驗最小化和結構風險最小化方法導入多個支持向量機中，對行人檢測的平均準確率達到90%以上.文獻[20]則利用提出的部分上下文網(wǎng)絡通過身體部分語義信息和上下文信息對行人進行檢測，設計一種較強的互補行人檢測器，尤其對于遮擋的行人具有較低的誤碼率和較高的定位精度，從而提升無人駕駛汽車對行人的檢測效果，進而提高安全系數(shù).

2.2 路徑規(guī)劃

對于路徑規(guī)劃問題，傳統(tǒng)的路徑規(guī)劃算法主要包括快速探索隨機樹算法、粒子群優(yōu)化算法和A*算法等.傳統(tǒng)算法均采用單一到達點的設計，忽視隨時可能面臨的障礙，限制方法的可擴展性，例如突如其來的汽車和行人流等.此外，傳統(tǒng)的最短路徑算法亦無法適應道路網(wǎng)絡的動態(tài)性，對于動態(tài)圖的適用性未能經(jīng)過實踐的檢驗.將深度學習和MEC 應用到車聯(lián)網(wǎng)中，進行自動駕駛的路徑規(guī)劃有望給問題帶來全新解法.基于交通流預測的路徑規(guī)劃流程圖如圖2 所示.文獻[21]將深度學習模型應用到路線規(guī)劃中，綜合考慮路線長度、邊緣中心性、汽車自身速度等要求，將車輛成功到達率提高到90%，可以以較小的能耗適應動態(tài)圖.但不足之處在于僅能實現(xiàn)局部最優(yōu)選擇.文獻[22]提出一種利用深度學習技術從攝像機傳感器預測道路路線的方法，在包含惡劣天氣條件的大量全場景標記夜間道路圖像上，通過訓練多尺度卷積神經(jīng)網(wǎng)絡識別道路像素，并基于此提出一種將該方法應用于較長距離道路路線估計的框架，進而為增強現(xiàn)實導航的應用奠定基礎.該方法可提高檢測有無車道標志的道路的可靠性，從而提高道路路線估計和增強現(xiàn)實導航的魯棒性和可用性.對差分GPS和慣性測量單元獲取的大量高精度地面真實數(shù)據(jù)進行的評估表明，其在達到可觀性能的同時無需現(xiàn)有的車道標志.

圖2 基于交通流預測的路徑規(guī)劃流程圖Fig.2 Flow chart of route planning based on traffic flow prediction

MEC環(huán)境下的車聯(lián)網(wǎng)不僅要考慮自動駕駛汽車的自身移動，而且也需要考慮其他車輛和人的移動模式對路徑選擇的影響.藉由邊緣服務器的分布式特性，MEC會成為車輛流量分析和預測的理想方法.傳統(tǒng)的路徑規(guī)劃的路徑?jīng)Q策未綜合考慮交通流預測和交通信號控制等問題，深度學習和強化學習相結合則提供一種強大的學習工具.在邊緣側充分結合后，城市中每個角落的交通流量狀況和交通信號燈的情況都會被考慮其中，從而制定更為合理的路徑規(guī)劃策略.文獻[23]提出基于交通歷史狀況的多層感知器模型，在對預期出行時間的交通狀況進行預測后再進行路線規(guī)劃，系統(tǒng)使用的迪杰斯特拉算法將車速情況作為約束條件之一，進而得出最優(yōu)路徑.文獻[24]研究多任務學習反向傳播網(wǎng)絡在交通流建模和預測中的應用，其結果優(yōu)于其他諸如貝葉斯模型、多元非參數(shù)回歸模型的交通流預測精確度.文獻[25]則提出一種采用多任務學習的交通流預測深層架構，并在真實交通流數(shù)據(jù)集上展示了良好的效果.其底層的堆棧結構使用動態(tài)貝葉斯網(wǎng)絡進行無監(jiān)督特征學習，上層的回歸層用于監(jiān)督訓練，貝葉斯網(wǎng)絡被構造成玻爾茲曼機的堆棧，每個玻爾茲曼機中的訓練單元的激活被傳遞給堆棧中的下一個玻爾茲曼機.

2.3 碰撞檢測與避免

據(jù)世界衛(wèi)生組織于2018 年12 月發(fā)布的《2018 年全球道路安全狀況報告》所顯示，當年道路交通死亡人數(shù)已達到135萬人，超過六成的傷者是因沒有得到及時有效的醫(yī)治而導致死亡，道路交通傷害現(xiàn)在已經(jīng)成為5~29歲人群的頭號殺手.如何采取及時有效的事故檢測和事故避免機制將顯著改善這個亟待解決的問題.在深度學習和MEC 交融的車聯(lián)網(wǎng)中，系統(tǒng)會利用各種邊緣資源和車載通信，以幫助自動駕駛的車輛實時獲取、匯總和處理數(shù)據(jù)，旨在提高自動駕駛的安全性和效率.上一節(jié)研究表明，與自動駕駛汽車相關的重要物體雖可被基于深度學習的方法識別并跟蹤，但這還不足以輔助自動駕駛系統(tǒng)做出決定.在自動駕駛過程中，重要的決策和行動均由自動駕駛汽車碰撞避免系統(tǒng)進行決策.在移動邊緣計算和深度學習交融的車聯(lián)網(wǎng)系統(tǒng)中，二者的優(yōu)勢結合將進一步發(fā)揮碰撞避免系統(tǒng)對安全性的貢獻.應用于事故避免的交通事故風險地圖預測如圖3所示.

圖3 應用于事故避免的交通事故風險地圖預測Fig.3 Traffic accident risk map prediction applied to accident avoidance

文獻[27]提出的模型可學習基于深度神經(jīng)網(wǎng)絡的避碰策略，其使用來自噪聲感知測量的深度神經(jīng)網(wǎng)絡，所學習的策略亦能推廣到各種視覺傳感器檢測不到的情況.但其不足之處在于，通過訓練多層感知器作為避碰策略，其模型的準確率仍有很大的改進潛力.此外，并未證明其在遇到靜態(tài)障礙場景中的有效性，在一些特殊場景中可能表現(xiàn)不佳.文獻[28]提出一種檢測高速頭部碰撞和單車碰撞的方法，并配備碰撞傳感器和深度學習平臺，對交通碰撞檢測的準確率可達到96%,但由于訓練模型的樣本數(shù)量較少，其實驗的說服力有待進一步加強.文獻[29]則從攝像機必須固定作為切入點，設計基于車載攝像機的交通事故檢測，采用無監(jiān)督學習框架，通過預測未來交通參與者的位置來檢測異常.文獻[30]建立的交通事故風險預測模型的創(chuàng)新點在于，結合基于交通事故發(fā)生頻率的時空分布特征，提出交通事故發(fā)生的時空相關性，主要采用遞歸神經(jīng)網(wǎng)絡，可挖掘交通事故及其時空分布模式之間的深層聯(lián)系，對于交通事故預測系統(tǒng)具有一定的參考價值.但其不足之處在于，預測模型僅依靠交通事故數(shù)據(jù)，卻忽略其他一些可能影響事故發(fā)生的因素，如事故發(fā)生地區(qū)的人流量、道路特征、天氣狀況等.為此，文獻[31]將日本超過半年的交通事故數(shù)據(jù)和數(shù)百萬用戶的GPS 記錄作為訓練集，建立堆棧去噪自動編碼器的深度模型，提出利用人的流動性來預測交通事故風險.其實際意義在于，將邊緣計算和深度學習有效融合，可實時地對將要發(fā)生的交通情況進行風險評估，從而對交通事故風險進行預警，結合路線優(yōu)化問題，規(guī)劃一條無人駕駛汽車更加安全的路線.

3 問題與挑戰(zhàn)

盡管深度學習與邊緣計算的融合在自動駕駛中取得顯著的進步，但仍存在一些關鍵方面需進一步研究.

任務的實時性：自動駕駛的汽車強調計算任務的實時性，需要超低延遲交互和強大的計算.5G通信技術為降低傳輸時延帶來新的可能性，但對車載傳感器搜集的圖像和視頻數(shù)據(jù)及時進行分析，并將處理結果實時傳遞給自動駕駛系統(tǒng)等方面，雖然有了初步的可行性基礎，但在實際應用前還需進一步深入研究.

隱私保護：雖然移動邊緣計算的特性能保證數(shù)據(jù)能夠在邊緣側處理，從而減少在傳輸過程中被攻擊的幾率.其安全性在分布式深度學習的背景下進行普遍的研究，但仍有值得進一步完善的方面，例如：成員攻擊問題.成功地攻擊邊緣服務器的深度學習模型訓練過程，意味著可更容易地確定數(shù)據(jù)項屬于訪問該邊緣服務器的小部分用戶，造成用戶隱私的泄露.如今，隨著智能技術的發(fā)展，人們更關注個人隱私，未來的研究中對隱私保護將提出更高的要求.

車輛移動：自動駕駛車輛高度移動是MEC 和深度學習融合下的車聯(lián)網(wǎng)環(huán)境的一大特點.車輛的高移動性將給所處車聯(lián)網(wǎng)的無線鏈路穩(wěn)定性、計算和通信資源分配帶來新的困難.如何更為有效的搜集真實世界的車輛移動信息并進一步探索其規(guī)律是至關重要的.

4 總結

詳細闡述MEC 參考架構，介紹了諸如深度玻爾茲曼機、深度強化學習、深度森林等典型深度學習模型,然后從道路檢測、車輛和環(huán)境檢測、行人檢測三個方面對深度學習應用于自動駕駛目標檢測領域的文獻加以討論.更進一步，還對MEC 和深度學習在幫助自動駕駛汽車進行路徑規(guī)劃、碰撞檢測與避免的應用中的研究進行歸納與總結，并討論當前國內外學者的研究中尚存的問題與挑戰(zhàn).