• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    無(wú)人駕駛車輛行為決策系統(tǒng)研究*

    2018-08-28 11:45:04熊璐康宇宸張培志朱辰宇余卓平
    汽車技術(shù) 2018年8期
    關(guān)鍵詞:狀態(tài)機(jī)無(wú)人決策

    熊璐 康宇宸 張培志 朱辰宇 余卓平

    (同濟(jì)大學(xué),上海 201804)

    主題詞:無(wú)人駕駛車輛 行為決策算法 有限狀態(tài)機(jī) 學(xué)習(xí)算法

    1 無(wú)人車系統(tǒng)架構(gòu)

    無(wú)人駕駛車輛是可以自主行駛的車輛,其系統(tǒng)結(jié)構(gòu)核心在于“智能”,不僅具備加減速、轉(zhuǎn)向等常規(guī)的汽車功能,還集成了環(huán)境感知、行為決策、路徑規(guī)劃、車輛控制等系統(tǒng)功能,能夠綜合環(huán)境及自車信息,實(shí)現(xiàn)類似人類駕駛的行為。

    典型的無(wú)人駕駛車輛系統(tǒng)架構(gòu)如圖1所示,總體分為環(huán)境感知、決策規(guī)劃和運(yùn)動(dòng)控制三大部分。

    環(huán)境感知系統(tǒng)的主要目的是獲取并處理環(huán)境信息,利用多傳感器目標(biāo)檢測(cè)與融合等技術(shù),獲取周圍環(huán)境態(tài)勢(shì),為系統(tǒng)其他部分提供周圍環(huán)境的關(guān)鍵信息。感知層將處理后的信息發(fā)送給決策層。

    決策規(guī)劃系統(tǒng)綜合環(huán)境及自車信息,使無(wú)人車產(chǎn)生安全、合理的駕駛行為,指導(dǎo)運(yùn)動(dòng)控制系統(tǒng)對(duì)車輛進(jìn)行控制[1]。行為決策系統(tǒng)是狹義的決策系統(tǒng),其根據(jù)感知層輸出的信息合理決策出當(dāng)前車輛的行為,并根據(jù)不同的行為確定軌跡規(guī)劃的約束條件,指導(dǎo)軌跡規(guī)劃模塊規(guī)劃出合適的路徑、車速等信息,發(fā)送給控制層。

    圖1 典型無(wú)人駕駛車輛系統(tǒng)架構(gòu)

    運(yùn)動(dòng)控制系統(tǒng)接收決策規(guī)劃層的指令并控制車輛響應(yīng),保證控制精度,對(duì)目標(biāo)車速、路徑等進(jìn)行跟蹤[2]。

    2 無(wú)人車行為決策系統(tǒng)概述

    2.1 設(shè)計(jì)準(zhǔn)則

    無(wú)人車行為決策系統(tǒng)的目標(biāo)是使無(wú)人車像熟練的駕駛員一樣產(chǎn)生安全、合理的駕駛行為。其設(shè)計(jì)準(zhǔn)則可總結(jié)為:良好的系統(tǒng)實(shí)時(shí)性;安全性最高優(yōu)先級(jí)(車輛具備防碰撞、緊急避障、故障檢測(cè)等功能);合理的行車效率優(yōu)先級(jí);結(jié)合用戶需求的決策能力(用戶對(duì)全局路徑變更、安全和效率優(yōu)先級(jí)變更等);乘員舒適性(車輛轉(zhuǎn)向穩(wěn)定性、平順性等)。

    對(duì)于適用于城市道路和高速公路工況的行為決策系統(tǒng),設(shè)計(jì)準(zhǔn)則還包括[2]:右側(cè)車道通行優(yōu)先;保持車道優(yōu)先;速度限制;交通標(biāo)志及交通信號(hào)燈限制等。

    2.2 輸入與輸出

    無(wú)人車行為決策系統(tǒng)的上層是感知層,其上層輸入包括:

    a.局部環(huán)境信息,其基于相機(jī)、雷達(dá)等車載傳感器,通過(guò)多傳感器目標(biāo)檢測(cè)[3-4]與融合等技術(shù)[5],融合處理各傳感器數(shù)據(jù),獲取車輛周邊環(huán)境態(tài)勢(shì),輸出關(guān)鍵環(huán)境信息,交由決策系統(tǒng)處理。

    b.自車定位信息,其基于GPS/慣性導(dǎo)航系統(tǒng)、高精度地圖定位[6]、即時(shí)定位與地圖構(gòu)建(Simultaneous Localization And Mapping,SLAM)[7-8]等方法,主要功能是對(duì)車輛進(jìn)行高精度定位。

    c.地理地圖信息和任務(wù)信息,包括先驗(yàn)全局路徑、道路高精地圖、交通標(biāo)志信息等。

    廣義的決策系統(tǒng)的輸出是運(yùn)動(dòng)控制信息。本文討論狹義的行為決策系統(tǒng),其下層是運(yùn)動(dòng)規(guī)劃模塊,行為決策系統(tǒng)的輸出包括當(dāng)前車輛行為、車輛運(yùn)動(dòng)局部目標(biāo)點(diǎn)與目標(biāo)車速等。

    2.3 系統(tǒng)分類

    無(wú)人車行為決策系統(tǒng)主要有基于規(guī)則和基于學(xué)習(xí)算法兩大類。

    基于規(guī)則的行為決策,即將無(wú)人駕駛車輛的行為進(jìn)行劃分,根據(jù)行駛規(guī)則、知識(shí)、經(jīng)驗(yàn)、交通法規(guī)等建立行為規(guī)則庫(kù),根據(jù)不同的環(huán)境信息劃分車輛狀態(tài),按照規(guī)則邏輯確定車輛行為的方法。其代表方法為有限狀態(tài)機(jī)法[9-10],代表應(yīng)用有智能先鋒II[11]、紅旗CA7460、Boss[12]、Junior[13]、Odin[14]、Talos[15]、Bertha[16]等。

    基于學(xué)習(xí)算法的行為決策,即通過(guò)對(duì)環(huán)境樣本進(jìn)行自主學(xué)習(xí),由數(shù)據(jù)驅(qū)動(dòng)建立行為規(guī)則庫(kù),利用不同的學(xué)習(xí)方法與網(wǎng)絡(luò)結(jié)構(gòu),根據(jù)不同的環(huán)境信息直接進(jìn)行行為匹配,輸出決策行為的方法,以深度學(xué)習(xí)的相關(guān)方法及決策樹等各類機(jī)器學(xué)習(xí)方法[17-18]為代表。代表應(yīng)用有英偉達(dá)(NVIDIA)[19]、Intel[20]、Comma.ai[21]、Mobileye[22]、百度、Waymo、特斯拉等。

    3 基于規(guī)則的無(wú)人車行為決策系統(tǒng)

    3.1 有限狀態(tài)機(jī)法

    基于規(guī)則的行為決策方法中最具代表性的是有限狀態(tài)機(jī)法,其因邏輯清晰、實(shí)用性強(qiáng)等特點(diǎn)得到廣泛應(yīng)用。

    有限狀態(tài)機(jī)是一種離散輸入、輸出系統(tǒng)的數(shù)學(xué)模型。它由有限個(gè)狀態(tài)組成,當(dāng)前狀態(tài)接收事件,并產(chǎn)生相應(yīng)的動(dòng)作,引起狀態(tài)的轉(zhuǎn)移。狀態(tài)、事件、轉(zhuǎn)移、動(dòng)作是有限狀態(tài)機(jī)的四大要素[23-24]。

    有限狀態(tài)機(jī)的核心在于狀態(tài)分解。根據(jù)狀態(tài)分解的連接邏輯,將其分為串聯(lián)式、并聯(lián)式、混聯(lián)式3種體系架構(gòu)。

    串聯(lián)式結(jié)構(gòu)的有限狀態(tài)機(jī)系統(tǒng),其子狀態(tài)按照串聯(lián)結(jié)構(gòu)連接,狀態(tài)轉(zhuǎn)移大多為單向,不構(gòu)成環(huán)路。并聯(lián)式結(jié)構(gòu)中各子狀態(tài)輸入、輸出呈現(xiàn)多節(jié)點(diǎn)連接結(jié)構(gòu),根據(jù)不同輸入信息,可直接進(jìn)入不同子狀態(tài)進(jìn)行處理并提供輸出[25]。如果一個(gè)有限狀態(tài)機(jī)系統(tǒng)下的子狀態(tài)中既存在串聯(lián)遞階,又存在并聯(lián)連接,則稱這個(gè)系統(tǒng)具有混聯(lián)結(jié)構(gòu)。

    3.2 基于有限狀態(tài)機(jī)的行為決策系統(tǒng)

    有限狀態(tài)機(jī)法是經(jīng)典的決策方法,因其實(shí)用性與穩(wěn)定性在無(wú)人車決策系統(tǒng)中廣泛應(yīng)用,目前已比較成熟,美國(guó)國(guó)防高級(jí)研究計(jì)劃局(Defense Advanced Research Projects Agency,DARPA)城市挑戰(zhàn)賽中各隊(duì)使用的決策系統(tǒng)為其典型代表。

    3.2.1 串聯(lián)結(jié)構(gòu)

    麻省理工大學(xué)的Talos[15]無(wú)人車如圖2所示,其行為決策系統(tǒng)總體采用串聯(lián)結(jié)構(gòu)。該無(wú)人車以越野工況挑戰(zhàn)賽為任務(wù)目標(biāo),根據(jù)邏輯層級(jí)構(gòu)建決策系統(tǒng)。其系統(tǒng)分為定位與導(dǎo)航、障礙物檢測(cè)、車道線檢測(cè)、路標(biāo)識(shí)別、可行駛區(qū)域地圖構(gòu)建、運(yùn)動(dòng)規(guī)劃、運(yùn)動(dòng)控制等模塊,其中導(dǎo)航模塊負(fù)責(zé)制定決策任務(wù)。

    圖2 Talos無(wú)人車及其行為決策系統(tǒng)

    串聯(lián)式結(jié)構(gòu)的優(yōu)點(diǎn)是邏輯明確、規(guī)劃推理能力強(qiáng)、問(wèn)題求解精度高。其缺點(diǎn)在于對(duì)復(fù)雜問(wèn)題的適應(yīng)性差,某子狀態(tài)故障時(shí),會(huì)導(dǎo)致整個(gè)決策鏈的癱瘓。串聯(lián)結(jié)構(gòu)適用于某一工況的具體處理,擅長(zhǎng)任務(wù)的層級(jí)推理與細(xì)分解決。

    3.2.2 并聯(lián)結(jié)構(gòu)

    斯坦福大學(xué)與大眾公司研發(fā)的Junior無(wú)人車[13]行為決策系統(tǒng)結(jié)構(gòu)如圖3所示,其具備典型的并聯(lián)結(jié)構(gòu)。該系統(tǒng)分為初始化、前向行駛、停止標(biāo)志前等待、路口通過(guò)、U形彎等13個(gè)子狀態(tài),各個(gè)子狀態(tài)相互獨(dú)立。

    圖3 Junior無(wú)人車的行為決策系統(tǒng)

    圖4 Bertha無(wú)人車的行為決策系統(tǒng)

    Junior決策系統(tǒng)是并聯(lián)劃分子系統(tǒng)最多的系統(tǒng)之一,但在實(shí)際場(chǎng)景測(cè)試中,依然存在其有限狀態(tài)機(jī)沒(méi)有覆蓋的工況,且對(duì)真實(shí)場(chǎng)景的辨識(shí)準(zhǔn)確率較差。這說(shuō)明單純地應(yīng)用并聯(lián)式場(chǎng)景行為細(xì)分并不能提高場(chǎng)景遍歷的深度,相反容易降低場(chǎng)景辨識(shí)準(zhǔn)確率。

    梅賽德斯奔馳公司研發(fā)的Bertha無(wú)人車[16]行為決策系統(tǒng)如圖4所示。該系統(tǒng)分為路徑規(guī)劃、目標(biāo)分析、交通信號(hào)燈管理、放棄管理4個(gè)獨(dú)立并行的子狀態(tài)模塊。其中,放棄管理模塊通過(guò)換擋操縱桿信號(hào)進(jìn)行無(wú)人和有人駕駛的切換。

    國(guó)防科學(xué)技術(shù)大學(xué)研發(fā)的紅旗CA7460[2]行為決策系統(tǒng)如圖5所示,其具備典型的并聯(lián)結(jié)構(gòu)。該系統(tǒng)適用于高速公路工況,其決策系統(tǒng)劃分為自由追蹤行車道、自由追蹤超車道、由行車道換入超車道、由超車道換入行車道等模式。

    圖5 紅旗CA7460的行為決策系統(tǒng)

    紅旗CA7460對(duì)車輛行駛的安全性指標(biāo)和效率指標(biāo)進(jìn)行了衡量,根據(jù)交通狀況和安全性指標(biāo)選出滿足條件的候選行為,再根據(jù)效率指標(biāo)決策出最優(yōu)行為。

    卡爾斯魯厄工業(yè)大學(xué)的AnnieWAY無(wú)人車團(tuán)隊(duì)[26]建立了并行層次狀態(tài)機(jī),構(gòu)建決策系統(tǒng)應(yīng)對(duì)環(huán)境中出現(xiàn)的各類情況。布倫瑞克工業(yè)大學(xué)提出的移動(dòng)導(dǎo)航分布式體系結(jié)構(gòu),包含一系列駕駛行為(跟隨道路點(diǎn)、車道保持、避障、行駛在停車區(qū)等),通過(guò)投票機(jī)制決策駕駛行為并應(yīng)用于Caroline號(hào)無(wú)人車[27-28]上。

    并聯(lián)式結(jié)構(gòu)將每一種工況單獨(dú)劃分成模塊進(jìn)行處理,整個(gè)系統(tǒng)可快速、靈活地對(duì)輸入進(jìn)行響應(yīng)。但在復(fù)雜工況下,由于遍歷狀態(tài)較多導(dǎo)致的算法機(jī)構(gòu)龐大,以及狀態(tài)間的劃分與狀態(tài)沖突的解決是難點(diǎn)。并聯(lián)結(jié)構(gòu)適用于場(chǎng)景較復(fù)雜的工況。相較于串聯(lián)結(jié)構(gòu),并聯(lián)結(jié)構(gòu)的優(yōu)點(diǎn)是具備場(chǎng)景遍歷廣度優(yōu)勢(shì),易于實(shí)現(xiàn)復(fù)雜的功能組合,具有較好的模塊性與拓展性,缺點(diǎn)是系統(tǒng)不具備時(shí)序性,缺乏場(chǎng)景遍歷的深度,決策易忽略細(xì)微環(huán)境變化,狀態(tài)劃分灰色地帶難以處理,從而導(dǎo)致決策錯(cuò)誤。

    3.2.3 混聯(lián)結(jié)構(gòu)

    串、并聯(lián)結(jié)構(gòu)具備各自的局限性,混聯(lián)式結(jié)構(gòu)可較好地結(jié)合兩者優(yōu)點(diǎn),層級(jí)式混聯(lián)結(jié)構(gòu)是比較典型的方法。

    卡耐基梅隆大學(xué)與福特公司研發(fā)的Boss無(wú)人車[12]行為決策系統(tǒng)如圖6所示,其具備典型的層級(jí)式混聯(lián)結(jié)構(gòu)。系統(tǒng)頂層基于場(chǎng)景行為劃分,底層基于自車行為劃分。3個(gè)頂層行為及其底層行為分別為:車道保持(車道選擇、場(chǎng)景實(shí)時(shí)報(bào)告、距離保持器、行為發(fā)生器等)、路口處理(優(yōu)先級(jí)估計(jì)、轉(zhuǎn)移管理等)和指定位姿。

    圖6 Boss無(wú)人車的行為決策系統(tǒng)

    弗吉尼亞理工大學(xué)研發(fā)的Odin無(wú)人車[14]行為決策系統(tǒng)如圖7所示,該系統(tǒng)引入決策仲裁機(jī)制,其決策系統(tǒng)劃分為車道保持、超車、匯入交通流、U型彎、擁堵再規(guī)劃等模塊。每個(gè)子決策模塊輸出的結(jié)果均交由決策融合器進(jìn)行決策仲裁。各模塊具備不同優(yōu)先級(jí),優(yōu)先級(jí)低的模塊必須讓步于優(yōu)先級(jí)高的模塊。

    圖7 Odin無(wú)人車行為決策系統(tǒng)

    中國(guó)科學(xué)技術(shù)大學(xué)研發(fā)的智能駕駛Ⅱ號(hào)[11]行為決策系統(tǒng)如圖8所示,其具備典型的混聯(lián)結(jié)構(gòu)。該系統(tǒng)進(jìn)行了專家算法和機(jī)器學(xué)習(xí)算法的融合,頂層決策系統(tǒng)采用并聯(lián)式有限狀態(tài)機(jī),分為跟車巡航、十字路口、U形彎、自主泊車等模塊。底層采用學(xué)習(xí)算法(ID3決策樹法),用以得出車輛的具體目標(biāo)狀態(tài)及目標(biāo)動(dòng)作。

    圖8 智能駕駛Ⅱ號(hào)行為決策系統(tǒng)

    這種層級(jí)處理的思想還衍生出各種具體的應(yīng)用方法??的螤柎髮W(xué)的Skynet號(hào)無(wú)人車[29]通過(guò)結(jié)合交通規(guī)則和周圍環(huán)境,建立了3層規(guī)劃系統(tǒng),劃分駕駛行為、規(guī)劃策略與底層操作控制,實(shí)現(xiàn)對(duì)車輛行為的決策處理。清華大學(xué)的THMR-V無(wú)人車[30]采用分層式的體系結(jié)構(gòu),將系統(tǒng)分為協(xié)調(diào)級(jí)和執(zhí)行級(jí),通過(guò)協(xié)調(diào)級(jí)對(duì)環(huán)境和車輛狀態(tài)進(jìn)行局部規(guī)劃,最高時(shí)速可達(dá)百公里。佛羅里達(dá)大學(xué)的Knight Rider號(hào)無(wú)人車[31]包含人工智能模塊,建立了層次結(jié)構(gòu)駕駛員模型,將駕駛?cè)蝿?wù)分為戰(zhàn)略、戰(zhàn)術(shù)和操作層級(jí),通過(guò)戰(zhàn)略層設(shè)定次級(jí)目標(biāo)來(lái)生成序列最優(yōu)戰(zhàn)術(shù),并經(jīng)過(guò)操作層輸出控制信號(hào)。來(lái)自賓州大學(xué)的Little Ben號(hào)無(wú)人車研發(fā)團(tuán)隊(duì)[32]建立了簡(jiǎn)單的規(guī)則對(duì)比賽給定的任務(wù)文件進(jìn)行駕駛行為的劃分,結(jié)合路網(wǎng)信息確定車輛行為,以此作為車輛的上層決策系統(tǒng)。

    4 基于學(xué)習(xí)算法的無(wú)人車行為決策系統(tǒng)

    近年來(lái),人工智能技術(shù)迅猛發(fā)展,學(xué)習(xí)算法越來(lái)越多地運(yùn)用于無(wú)人駕駛車輛環(huán)境感知與決策系統(tǒng)[33]?;趯W(xué)習(xí)算法的無(wú)人車行為決策系統(tǒng)研究目前已取得顯著成果,根據(jù)原理不同主要可分為深度學(xué)習(xí)相關(guān)的決策方法[34-35]與基于決策樹等機(jī)器學(xué)習(xí)理論的決策方法。NVIDIA端到端卷積神經(jīng)網(wǎng)絡(luò)決策系統(tǒng)[19]與中國(guó)科學(xué)技術(shù)大學(xué)應(yīng)用的ID3決策樹法[11]是其典型案例。

    4.1 深度學(xué)習(xí)方法

    深度學(xué)習(xí)方法因其在建?,F(xiàn)實(shí)問(wèn)題上極強(qiáng)的靈活性,近年來(lái)被許多專家、學(xué)者應(yīng)用于無(wú)人車決策系統(tǒng)。NVIDIA研發(fā)的無(wú)人駕駛車輛系統(tǒng)架構(gòu)是一種典型架構(gòu),其采用端到端卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行決策處理,使決策系統(tǒng)大幅簡(jiǎn)化。系統(tǒng)直接輸入由相機(jī)獲得的各幀圖像,經(jīng)由神經(jīng)網(wǎng)絡(luò)決策后直接輸出車輛目標(biāo)轉(zhuǎn)向盤轉(zhuǎn)角。

    該系統(tǒng)使用NVIDIA DevBox作處理器,用Torch 7作為系統(tǒng)框架進(jìn)行訓(xùn)練,工作時(shí)每秒處理30幀數(shù)據(jù),其訓(xùn)練系統(tǒng)框架如圖9所示。圖像輸入到卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)計(jì)算轉(zhuǎn)向控制命令,將預(yù)測(cè)的轉(zhuǎn)向控制命令與理想的控制命令相比較,然后調(diào)整CNN模型的權(quán)值使得預(yù)測(cè)值盡可能接近理想值。權(quán)值調(diào)整由機(jī)器學(xué)習(xí)庫(kù)Torch 7的反向傳播算法完成。訓(xùn)練完成后,模型可以利用中心的單個(gè)攝像機(jī)數(shù)據(jù)生成轉(zhuǎn)向控制命令。

    圖9 NVIDIA無(wú)人車決策系統(tǒng)訓(xùn)練模型

    其深度學(xué)習(xí)系統(tǒng)網(wǎng)絡(luò)結(jié)構(gòu)如圖10a所示,共9層,包括1個(gè)歸一化層、5個(gè)卷積層和3個(gè)全連接層。輸入圖像被映射到Y(jié)UV顏色空間,然后傳入網(wǎng)絡(luò)。

    仿真結(jié)果表明,其神經(jīng)網(wǎng)絡(luò)能完整地學(xué)習(xí)保持車道駕駛的任務(wù),而不需要人工將任務(wù)分解為車道檢測(cè)、語(yǔ)義識(shí)別、路徑規(guī)劃和車輛控制等。CNN模型可以從稀疏的訓(xùn)練信號(hào)(只有轉(zhuǎn)向控制命令)中學(xué)到有意義的道路特征,100 h以內(nèi)的少量訓(xùn)練數(shù)據(jù)就足以完成在各種條件下操控車輛的訓(xùn)練。

    百度端到端系統(tǒng)實(shí)現(xiàn)了對(duì)車輛的縱向和橫向控制:縱向控制采用堆疊卷積長(zhǎng)短期記憶(Long Short Term Memory,LSTM)深度學(xué)習(xí)模型,提取幀序列圖像中的時(shí)空特征信息,實(shí)現(xiàn)特征到縱向控制指令的映射;橫向控制采用CNN深度學(xué)習(xí)模型,從單幅前視相機(jī)的圖像直接計(jì)算出橫向控制的曲率。模型主要關(guān)注視覺(jué)特征的提取、時(shí)序規(guī)律的發(fā)現(xiàn)、行為的映射等方面。

    圖10 NVIDIA與Mobileye決策架構(gòu)

    其中,縱向控制被看作時(shí)空序列預(yù)測(cè)問(wèn)題,輸入單元為最近5幀圖像(圖像采集頻率是每秒8幀),每幀圖像均縮放為80像素×80像素的RGB格式。LSTM模型的第1層有64個(gè)通道,其內(nèi)核大小為5像素×5像素,后續(xù)層擁有更多的通道和更小的內(nèi)核,最后一個(gè)卷積層為2個(gè)完全連通的層。輸出單元是線性單元,損失函數(shù)是MSE,優(yōu)化器是rmsprop。橫向控制由1個(gè)預(yù)處理層、5個(gè)卷積層和2個(gè)全連接層組成。輸入為320像素×320像素的RGB格式圖像。

    Intel[20]利用已有控制數(shù)據(jù)訓(xùn)練網(wǎng)絡(luò),完成端到端的自動(dòng)駕駛,如圖11所示。其在網(wǎng)絡(luò)中考慮了方向性的控制指令(直行、左轉(zhuǎn)、右轉(zhuǎn)),使得網(wǎng)絡(luò)可以在車道保持的同時(shí)完成轉(zhuǎn)彎等操作。圖11為2種不同的結(jié)合控制指令的結(jié)構(gòu):一種作為網(wǎng)絡(luò)的輸入,另一種將指令分為3個(gè)不同的輸出層,根據(jù)控制指令選擇不同的輸出。

    圖11 Intel決策網(wǎng)絡(luò)架構(gòu)

    Comma.ai[21]利用CNN,并且?guī)缀踔挥肅NN來(lái)構(gòu)造決策系統(tǒng)。該系統(tǒng)將圖像導(dǎo)入網(wǎng)絡(luò),通過(guò)網(wǎng)絡(luò)輸出命令調(diào)整轉(zhuǎn)向盤和車速,從而使車輛保持在車道內(nèi)。根據(jù)Comma.ai公布的數(shù)據(jù),該公司目前已經(jīng)累計(jì)行駛約1.35×106km,累計(jì)行駛時(shí)間為22000h,累計(jì)用戶1909人。

    美國(guó)伍斯特理工學(xué)院[36]提出了一種自動(dòng)駕駛汽車的端到端學(xué)習(xí)方法,能夠直接從前視攝像機(jī)拍攝的圖像幀中產(chǎn)生適當(dāng)?shù)霓D(zhuǎn)向盤轉(zhuǎn)角。主要使用卷積神經(jīng)網(wǎng)絡(luò)將特征級(jí)的圖像數(shù)據(jù)作為輸入,駕駛員的轉(zhuǎn)向盤轉(zhuǎn)角作為輸出進(jìn)行訓(xùn)練和學(xué)習(xí),使用Comma.ai公布的數(shù)據(jù)集進(jìn)行訓(xùn)練和評(píng)估。試驗(yàn)結(jié)果表明,該模型能夠?qū)崿F(xiàn)相對(duì)精確的轉(zhuǎn)向控制,很好地完成了車道保持動(dòng)作。

    Mobileye[22]把增強(qiáng)學(xué)習(xí)應(yīng)用在高級(jí)駕駛策略的學(xué)習(xí)上,感知及控制等模塊則被獨(dú)立出來(lái)處理,其系統(tǒng)結(jié)構(gòu)如圖10b所示。相對(duì)于端到端學(xué)習(xí)大大提高了決策過(guò)程的可解釋性和可操作性,很好地適配了傳統(tǒng)機(jī)器人學(xué)中感知-決策-控制的系統(tǒng)架構(gòu)。

    Drive.ai獲準(zhǔn)在美國(guó)加州公共道路上測(cè)試無(wú)人駕駛汽車,其在感知和決策上都使用深度學(xué)習(xí),但避免整體系統(tǒng)的端到端,而是將系統(tǒng)按模塊分解,再分別應(yīng)用深度學(xué)習(xí),同時(shí)結(jié)合規(guī)則、知識(shí)確保系統(tǒng)的安全性。

    Waymo通過(guò)模擬駕駛及道路測(cè)試獲取了大量的數(shù)據(jù)對(duì)其行為決策系統(tǒng)進(jìn)行訓(xùn)練。該系統(tǒng)不僅能對(duì)物體進(jìn)行探測(cè),還能對(duì)障礙物進(jìn)行語(yǔ)義理解。對(duì)不同道路參與者的行為方式建立準(zhǔn)確的模型,判斷它可能的行為方式以及對(duì)汽車自身的道路行為產(chǎn)生的影響,輸入到?jīng)Q策系統(tǒng),保證決策行為的安全性。

    卡耐基梅隆大學(xué)[37]提出了一種基于預(yù)測(cè)和代價(jià)函數(shù)算法(Prediction and Cost function-Based algorithm,PCB)的離線學(xué)習(xí)機(jī)制,用于模擬人類駕駛員的行為決策。其決策系統(tǒng)針對(duì)交通場(chǎng)景預(yù)測(cè)與評(píng)估問(wèn)題建立模型,使用學(xué)習(xí)算法,利用有限的訓(xùn)練數(shù)據(jù)進(jìn)行優(yōu)化。訓(xùn)練數(shù)據(jù)來(lái)源于人類駕駛員在實(shí)際道路的跟車場(chǎng)景,主要包含自車車速、前車車速以及兩車之間的距離等。在120 km的低速跟車測(cè)試中,PCB和人類跟車的車速差異僅為5%,能夠很好地完成跟車操作。

    國(guó)防科技大學(xué)的劉春明教授等人[38]構(gòu)建了14自由度的車輛模型,采用模型控制預(yù)測(cè)理論,利用基于增強(qiáng)學(xué)習(xí)理論的方法,基于仿真數(shù)據(jù)得到了無(wú)人車的決策模型。該方法利用多自由度車輛模型對(duì)車輛的實(shí)際動(dòng)力學(xué)特性進(jìn)行考量,有利于滿足車輛行駛穩(wěn)定與乘員舒適的要求。

    麻省理工大學(xué)[39]在仿真器中模擬單向7車道工況,利用定義好的深度強(qiáng)化學(xué)習(xí)(Deep Q-Learning,DQN)模型調(diào)整網(wǎng)絡(luò)結(jié)構(gòu),可在瀏覽器上進(jìn)行訓(xùn)練工作,完善決策系統(tǒng)。

    4.2 其他機(jī)器學(xué)習(xí)方法

    除基于學(xué)習(xí)的決策方法外,還有很多機(jī)器學(xué)習(xí)方法在決策系統(tǒng)中加以應(yīng)用。決策樹法為機(jī)器學(xué)習(xí)理論中一種具有代表性的方法,中國(guó)科技大學(xué)的智能駕駛Ⅱ號(hào)將其用于決策系統(tǒng)。其應(yīng)用的ID3決策樹法適用于多種具體工況,如路口、U形彎工況等,其先由頂層有限狀態(tài)機(jī)決策出具體場(chǎng)景,再進(jìn)入決策樹進(jìn)行相應(yīng)的計(jì)算。

    以十字路口工況為例,首先確定當(dāng)前工況的條件屬性(即系統(tǒng)輸入,如自車車速、干擾車車速等)和決策屬性(即系統(tǒng)輸出,如加速直行、停車讓行等)。選取若干樣本數(shù)據(jù)進(jìn)行基于灰關(guān)聯(lián)熵的條件屬性影響分析,獲得如圖12所示的基于ID3算法的行為決策樹。

    圖12 基于ID3算法的行為決策樹

    該行為決策樹即機(jī)器通過(guò)學(xué)習(xí)后自主獲得的行為規(guī)則庫(kù)的一種表現(xiàn)形式。無(wú)人車運(yùn)行時(shí),將駕駛環(huán)境信息轉(zhuǎn)化成條件屬性,交由決策樹進(jìn)行計(jì)算,最終得出決策指令,指導(dǎo)無(wú)人車的行為操作。

    ID3決策樹法具有知識(shí)自動(dòng)獲取、準(zhǔn)確表達(dá)、結(jié)構(gòu)清晰簡(jiǎn)明的優(yōu)點(diǎn),其缺點(diǎn)同樣明顯,即對(duì)于大量數(shù)據(jù)獲取的難度較大,數(shù)據(jù)可靠性不足,數(shù)據(jù)離散化處理后精度不足。

    德國(guó)寶馬和慕尼黑工業(yè)大學(xué)[40]提出了一種基于部分可觀測(cè)馬爾科夫決策過(guò)程(Partially Observable Markov Decision Processes,POMDP)的決策模型,主要解決動(dòng)態(tài)和不確定駕駛環(huán)境下的決策問(wèn)題,其不確定性主要來(lái)源于傳感器噪聲和交通參與者行駛意圖的不確定性。

    POMDP將其他車輛的駕駛意圖作為隱藏變量,建立貝葉斯概率模型,可求解出自車在規(guī)劃路徑上的最優(yōu)加速度。在復(fù)雜交叉路口的仿真測(cè)試下,能夠較好地根據(jù)其他車輛的駕駛行為調(diào)整自車的最優(yōu)加速度,保證安全性與行車效率。

    豐田公司的Urtasun等人[41]提出了一種基于概率的生成式模型,提取室外環(huán)境的語(yǔ)義信息作為輸入,并輸出行為決策。

    5 無(wú)人車行為決策系統(tǒng)發(fā)展趨勢(shì)

    5.1 現(xiàn)階段研究水平

    無(wú)人車行為決策系統(tǒng)研究水平的衡量標(biāo)準(zhǔn)主要體現(xiàn)在實(shí)車應(yīng)用性、實(shí)現(xiàn)功能的復(fù)雜程度、應(yīng)用場(chǎng)景的復(fù)雜程度、決策結(jié)果正確性與系統(tǒng)復(fù)雜性。

    實(shí)車應(yīng)用是對(duì)決策系統(tǒng)的基本要求?,F(xiàn)階段,有限狀態(tài)機(jī)法作為基于規(guī)則的代表方法,已經(jīng)較為成熟并廣泛應(yīng)用于國(guó)內(nèi)外諸多無(wú)人車上?;趯W(xué)習(xí)算法的決策算法,如深度學(xué)習(xí)相關(guān)方法、決策樹法、粗糙集理論等學(xué)習(xí)算法近年來(lái)發(fā)展迅速,亦具有很多相關(guān)應(yīng)用實(shí)例并取得很好效果。截至2017年11月,谷歌自動(dòng)駕駛汽車部門Waymo已在美國(guó)6個(gè)州開(kāi)展了自動(dòng)駕駛測(cè)試,宣稱其測(cè)試用無(wú)人車已行駛5.6×106km并完成了4×109km的模擬駕駛。特斯拉的量產(chǎn)車中安裝了Autopilot硬件系統(tǒng),可通過(guò)空中下載(Over-The-Air,OTA)技術(shù)進(jìn)行從L2到L4的升級(jí)。2017年上半年以來(lái),陸續(xù)開(kāi)啟了車道偏離警告、自動(dòng)轉(zhuǎn)向(Autosteer)、召喚(Summon)以及自動(dòng)車道變換等功能。

    在功能復(fù)雜程度上,現(xiàn)階段的有限狀態(tài)機(jī)決策技術(shù)除實(shí)現(xiàn)簡(jiǎn)單的循線行駛、車道保持、緊急避障等功能外,也可實(shí)現(xiàn)較為復(fù)雜的組合功能[42-43],如路口處理、自主泊車,乃至一定工況范圍內(nèi)的長(zhǎng)距離自主駕駛。狀態(tài)機(jī)方法可并行遍歷多個(gè)場(chǎng)景,且擅長(zhǎng)在特定場(chǎng)景內(nèi)對(duì)任務(wù)進(jìn)行拆分決策。而現(xiàn)階段學(xué)習(xí)算法的功能應(yīng)用依賴于訓(xùn)練集的豐富程度,一般在指定工況與任務(wù)下效果較好,多場(chǎng)景與多任務(wù)協(xié)調(diào)能力仍相對(duì)較差。如北京理工大學(xué)的BYD-Ray[44]應(yīng)用粗糙集理論主要解決換道決策的功能,智能駕駛Ⅱ號(hào)的1個(gè)決策樹只能解決1個(gè)功能下的決策任務(wù)。以谷歌為代表的端到端相關(guān)方法取得了較好效果,但其對(duì)于訓(xùn)練數(shù)據(jù)較為依賴,決策網(wǎng)絡(luò)可解釋性與可調(diào)整性較差。

    在應(yīng)用場(chǎng)景的復(fù)雜程度上,現(xiàn)階段的有限狀態(tài)機(jī)決策技術(shù)可以適應(yīng)復(fù)雜的綜合城市環(huán)境,其優(yōu)勢(shì)在于場(chǎng)景廣度的遍歷。Boss、Junior、Odin等在DARPA無(wú)人車挑戰(zhàn)賽中于6 h內(nèi)完成96 km的路測(cè),其場(chǎng)景完全還原了真實(shí)城市道路環(huán)境,需要車輛與其他車輛交互、避讓,同時(shí)遵守交通規(guī)則,具有很高的環(huán)境復(fù)雜度。而學(xué)習(xí)算法更加著重于場(chǎng)景深度的遍歷,對(duì)于同一場(chǎng)景下的各種細(xì)微變化更加應(yīng)變自如[45-46]。NVIDIA無(wú)人車?yán)糜?xùn)練后的CNN模型,可以使車輛在同一類場(chǎng)景下在面對(duì)不同道路材質(zhì)、車道線線型、各種天氣狀況等細(xì)微環(huán)境變化時(shí)做出正確反應(yīng)。Drive.ai共有4輛車在舊金山灣區(qū)進(jìn)行路測(cè),在夜路、雨天、有霧等復(fù)雜情況下也基本可以實(shí)現(xiàn)完全自動(dòng)駕駛。

    在決策結(jié)果的正確性上,學(xué)習(xí)算法與規(guī)則算法各有優(yōu)勢(shì),在實(shí)現(xiàn)較高的功能復(fù)雜度和適應(yīng)較高場(chǎng)景復(fù)雜度的基礎(chǔ)上,兩種算法均能夠保證決策系統(tǒng)的正確性,完成相應(yīng)的行駛?cè)蝿?wù)。但對(duì)于復(fù)雜工況,規(guī)則算法面臨狀態(tài)劃分界限確定問(wèn)題。學(xué)習(xí)算法需要遍歷程度高的數(shù)據(jù)作為支持。

    在系統(tǒng)復(fù)雜性上,基于學(xué)習(xí)的算法舍棄了規(guī)則算法的層級(jí)架構(gòu),更加簡(jiǎn)潔直接,大幅簡(jiǎn)化了決策系統(tǒng)結(jié)構(gòu)[47]。規(guī)則算法面臨復(fù)雜工況,不可避免因遍歷工況、完善邏輯而導(dǎo)致算法規(guī)模龐大冗雜。并且對(duì)于復(fù)雜工況下算法性能的提高問(wèn)題,規(guī)則算法因其邏輯結(jié)構(gòu)問(wèn)題,難以大幅提升,存在瓶頸。

    根據(jù)國(guó)際自動(dòng)機(jī)工程師學(xué)會(huì)(SAE)的自動(dòng)駕駛分級(jí),現(xiàn)階段基于專家和學(xué)習(xí)算法的無(wú)人車基本可達(dá)到L3級(jí)有條件自動(dòng)駕駛水平,部分可以達(dá)到L4級(jí)高度自動(dòng)駕駛水平。通用汽車于2018年1月發(fā)布了新一代無(wú)人駕駛汽車——Cruise AV,這是世界首輛無(wú)需駕駛員、轉(zhuǎn)向盤和踏板即可實(shí)現(xiàn)安全駕駛的可量產(chǎn)汽車,可以達(dá)到L4級(jí)別。百度于2015年12月完成了北京中關(guān)村軟件園的百度大廈至奧林匹克森林公園并原路返回的道路測(cè)試,全程均無(wú)人駕駛,最高車速達(dá)100 km/h。2018年2月的春節(jié)聯(lián)歡晚會(huì)中,百度Apollo無(wú)人車隊(duì)在港珠澳大橋上以無(wú)人駕駛模式完成了8字交叉跑等高難度駕駛動(dòng)作,標(biāo)志著我國(guó)無(wú)人駕駛技術(shù)亦取得了長(zhǎng)足進(jìn)步。

    5.2 技術(shù)難點(diǎn)

    基于規(guī)則和基于學(xué)習(xí)算法的行為決策技術(shù)各自具備較為鮮明的優(yōu)缺點(diǎn)。

    基于專家規(guī)則的行為決策系統(tǒng)的優(yōu)點(diǎn)是:算法邏輯清晰,可解釋性強(qiáng),穩(wěn)定性強(qiáng),便于建模;系統(tǒng)運(yùn)行對(duì)處理器性能要求不高;模型可調(diào)整性強(qiáng);可拓展性強(qiáng),通過(guò)狀態(tài)機(jī)的分層可以實(shí)現(xiàn)較為復(fù)雜的組合功能;在功能場(chǎng)景的廣度遍歷上存在優(yōu)勢(shì)。其缺點(diǎn)是:由于狀態(tài)切割劃分條件導(dǎo)致車輛行為不連貫;行為規(guī)則庫(kù)觸發(fā)條件易重疊從而造成系統(tǒng)失效;有限狀態(tài)機(jī)難以完全覆蓋車輛可能遇到的所有工況,通常會(huì)忽略可能導(dǎo)致決策錯(cuò)誤的環(huán)境細(xì)節(jié);場(chǎng)景深度遍歷不足導(dǎo)致系統(tǒng)決策正確率難以提升,對(duì)復(fù)雜工況處理及算法性能的提升存在瓶頸。

    基于學(xué)習(xí)算法的行為決策系統(tǒng)的優(yōu)點(diǎn)是具備場(chǎng)景遍歷深度的優(yōu)勢(shì),針對(duì)某一細(xì)分場(chǎng)景,通過(guò)大數(shù)據(jù)系統(tǒng)更容易覆蓋全部工況;利用網(wǎng)絡(luò)結(jié)構(gòu)可簡(jiǎn)化決策算法規(guī)模;部分機(jī)器具備自學(xué)習(xí)性能,機(jī)器能夠自行提煉環(huán)境特征和決策屬性,便于系統(tǒng)優(yōu)化迭代[48-49];不必遍歷各種工況,通過(guò)數(shù)據(jù)的訓(xùn)練完善模型,模型正確可率隨數(shù)據(jù)的完備得以提升。其缺點(diǎn)是:算法決策結(jié)果可解釋性差,模型修正難度大;學(xué)習(xí)算法不具備場(chǎng)景遍歷廣度優(yōu)勢(shì),不同場(chǎng)景所需采用的學(xué)習(xí)模型可能完全不同;機(jī)器學(xué)習(xí)需要大量試驗(yàn)數(shù)據(jù)作為學(xué)習(xí)樣本;決策效果依賴數(shù)據(jù)質(zhì)量,樣本不足、數(shù)據(jù)質(zhì)量差、網(wǎng)絡(luò)結(jié)構(gòu)不合理等會(huì)導(dǎo)致過(guò)學(xué)習(xí)、欠學(xué)習(xí)等問(wèn)題。

    根據(jù)上述決策系統(tǒng)的優(yōu)缺點(diǎn),提出現(xiàn)階段決策系統(tǒng)需要解決的具體技術(shù)難點(diǎn):

    a.基于有限狀態(tài)機(jī)決策模型的狀態(tài)劃分問(wèn)題。有限狀態(tài)機(jī)的狀態(tài)劃分需要依據(jù)明確的邊界條件。但實(shí)際駕駛過(guò)程中,駕駛行為間存在某些“灰色地帶”,即同一場(chǎng)景下可能有1個(gè)以上合理的行為選擇,使駕駛狀態(tài)存在沖突。對(duì)于決策系統(tǒng)而言,一方面要避免沖突狀態(tài)強(qiáng)行劃分而造成的無(wú)人車行為不連貫,另一方面也要能夠判斷處于“灰色地帶”的無(wú)人車不同行為的最優(yōu)性。通過(guò)在決策系統(tǒng)中引入其他決策理論,如DS證據(jù)理論(Demp?ster-Shafer Evidence Theory)等、決策仲裁機(jī)制、博弈論法、狀態(tài)機(jī)與學(xué)習(xí)算法結(jié)合等方法可幫助解決該問(wèn)題。

    b.基于有限狀態(tài)機(jī)決策模型的復(fù)雜場(chǎng)景遍歷問(wèn)題。有限狀態(tài)機(jī)需要人工設(shè)定規(guī)則庫(kù)以泛化無(wú)人車行駛狀態(tài),這種模式使得狀態(tài)機(jī)具有廣度遍歷優(yōu)勢(shì)。但隨著環(huán)境場(chǎng)景的增多與復(fù)雜,有限狀態(tài)機(jī)的規(guī)模也不斷龐大,使得算法臃腫;而同一場(chǎng)景的深度遍歷,即由于環(huán)境細(xì)節(jié)變化導(dǎo)致的決策結(jié)果變化,也很難通過(guò)狀態(tài)遍歷。對(duì)于有限狀態(tài)機(jī)決策系統(tǒng)而言,利用學(xué)習(xí)算法的優(yōu)點(diǎn),采用狀態(tài)機(jī)與學(xué)習(xí)算法結(jié)合的方法,結(jié)合學(xué)習(xí)算法深度遍歷的優(yōu)勢(shì),有利于有效解決該問(wèn)題。

    c.基于學(xué)習(xí)算法決策模型的正確性與穩(wěn)定性問(wèn)題。學(xué)習(xí)算法的訓(xùn)練結(jié)果與樣本數(shù)量、樣本質(zhì)量和網(wǎng)絡(luò)結(jié)構(gòu)有關(guān)。如果學(xué)習(xí)模型過(guò)于復(fù)雜,會(huì)造成無(wú)法區(qū)分?jǐn)?shù)據(jù)本質(zhì)和噪聲的情況,泛化能力減弱;反之,如果學(xué)習(xí)模型過(guò)于簡(jiǎn)單,或者樣本數(shù)量不足、對(duì)場(chǎng)景遍歷不足,則會(huì)導(dǎo)致規(guī)則提煉不精準(zhǔn),出現(xiàn)欠學(xué)習(xí)問(wèn)題。此外,學(xué)習(xí)算法模型邏輯解釋性較差,實(shí)際應(yīng)用中調(diào)整與修正不很方便。對(duì)于基于學(xué)習(xí)算法的決策系統(tǒng)而言,一方面要收集大量可靠、高質(zhì)量的試驗(yàn)數(shù)據(jù),另一方面要選擇合理的學(xué)習(xí)算法,配置合理的試驗(yàn)參數(shù),調(diào)整網(wǎng)絡(luò)結(jié)構(gòu),以提高訓(xùn)練結(jié)果的正確性與穩(wěn)定性。

    5.3 技術(shù)發(fā)展趨勢(shì)

    隨著計(jì)算機(jī)科學(xué)的迅猛發(fā)展,近年來(lái)掀起了機(jī)器學(xué)習(xí)技術(shù)的研究浪潮,學(xué)習(xí)算法越來(lái)越多地運(yùn)用于無(wú)人車行為決策系統(tǒng),計(jì)算機(jī)硬件平臺(tái)的發(fā)展也為深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練提供了強(qiáng)有力的支持。

    基于規(guī)則的決策方法相對(duì)較為成熟,其在場(chǎng)景遍歷廣度上具備優(yōu)勢(shì),邏輯可解釋性強(qiáng),易于根據(jù)場(chǎng)景分模塊設(shè)計(jì),國(guó)內(nèi)外均有很多應(yīng)用有限狀態(tài)機(jī)的決策系統(tǒng)實(shí)例。然而其系統(tǒng)結(jié)構(gòu)決定了其在場(chǎng)景遍歷深度、決策正確率上存在一定的瓶頸,難以處理復(fù)雜工況[50]。

    基于學(xué)習(xí)算法的決策系統(tǒng)因具有場(chǎng)景遍歷深度的優(yōu)勢(shì),將被越來(lái)越多地用作決策系統(tǒng)的底層,即針對(duì)某一細(xì)分場(chǎng)景,采用學(xué)習(xí)算法增強(qiáng)算法的場(chǎng)景遍歷深度,使其能夠在環(huán)境細(xì)微變化中仍然保證較高的決策精度。然而其算法可解釋性差、可調(diào)整性差、場(chǎng)景廣度遍歷不足等劣勢(shì)導(dǎo)致了僅采用學(xué)習(xí)算法的決策系統(tǒng)仍存在應(yīng)用局限,較難處理復(fù)雜的功能組合[51]。

    根據(jù)上述基于兩種算法的優(yōu)、劣勢(shì),現(xiàn)階段無(wú)人車決策系統(tǒng)的發(fā)展趨勢(shì)可歸納為:

    a.采用基于規(guī)則算法的行為決策算法仍會(huì)在決策系統(tǒng)中廣泛應(yīng)用,將作為決策系統(tǒng)的頂層架構(gòu)與某些具體問(wèn)題的細(xì)分解決方案,并將更多地采用混聯(lián)結(jié)構(gòu),發(fā)揮規(guī)則算法基于場(chǎng)景劃分模塊處理及針對(duì)具體問(wèn)題細(xì)分處理時(shí)邏輯清晰、調(diào)整性強(qiáng)的優(yōu)勢(shì),可同時(shí)兼顧場(chǎng)景遍歷的廣度與深度。采用該方法的研究重點(diǎn)將在于解決狀態(tài)劃分“灰色地帶”的合理決策問(wèn)題,以及行為規(guī)則庫(kù)觸發(fā)條件重疊等問(wèn)題。

    b.無(wú)人車決策系統(tǒng)將更多地采用規(guī)則算法與學(xué)習(xí)算法結(jié)合的方式。頂層采用有限狀態(tài)機(jī),根據(jù)場(chǎng)景進(jìn)行層級(jí)遍歷;底層采用學(xué)習(xí)算法,基于具體場(chǎng)景分模塊應(yīng)用,可發(fā)揮學(xué)習(xí)算法優(yōu)勢(shì),簡(jiǎn)化算法結(jié)構(gòu)、增強(qiáng)場(chǎng)景遍歷的深度,并可減小數(shù)據(jù)依賴量,保證決策結(jié)果的魯棒性與正確性。采用該方法的研究重點(diǎn)在于如何合理對(duì)接有限狀態(tài)機(jī)與學(xué)習(xí)算法模型,以及學(xué)習(xí)算法的過(guò)學(xué)習(xí)、欠學(xué)習(xí)等問(wèn)題。

    c.端到端方法將更多作為決策子模塊的解決方案,而非將決策系統(tǒng)作為一個(gè)整體進(jìn)行端到端處理。通過(guò)這種方式可發(fā)揮學(xué)習(xí)算法的優(yōu)勢(shì),將決策模塊拆解也可提高系統(tǒng)的可解釋性與可調(diào)節(jié)性。

    d.目前行為決策系統(tǒng)的設(shè)計(jì)準(zhǔn)則主要考量安全與效率,對(duì)車輛特性與乘員舒適性考慮較少。在保證安全與效率的基礎(chǔ)上,可通過(guò)加入對(duì)車輛動(dòng)力學(xué)特性的考量,篩取更合理的駕駛數(shù)據(jù)等方式,對(duì)行為決策系統(tǒng)進(jìn)行優(yōu)化。

    猜你喜歡
    狀態(tài)機(jī)無(wú)人決策
    為可持續(xù)決策提供依據(jù)
    基于有限狀態(tài)機(jī)的交會(huì)對(duì)接飛行任務(wù)規(guī)劃方法
    決策為什么失誤了
    無(wú)人戰(zhàn)士無(wú)人車
    反擊無(wú)人機(jī)
    詩(shī)到無(wú)人愛(ài)處工
    無(wú)人超市會(huì)流行起來(lái)嗎?
    FPGA設(shè)計(jì)中狀態(tài)機(jī)安全性研究
    基于反熔絲FPGA的有限狀態(tài)機(jī)加固設(shè)計(jì)
    基于VHDL的一個(gè)簡(jiǎn)單Mealy狀態(tài)機(jī)
    亚洲精华国产精华液的使用体验| 亚洲av成人精品一区久久| 人人妻人人看人人澡| 国产伦在线观看视频一区| 欧美不卡视频在线免费观看| 2022亚洲国产成人精品| 男人舔女人下体高潮全视频| 淫秽高清视频在线观看| 好男人在线观看高清免费视频| 日本黄色片子视频| 一级爰片在线观看| 国产成人精品福利久久| 国产精品久久久久久久电影| 亚洲国产精品sss在线观看| 最新中文字幕久久久久| 我要看日韩黄色一级片| 天堂中文最新版在线下载 | 日韩精品青青久久久久久| 国产不卡一卡二| 亚洲内射少妇av| av在线天堂中文字幕| 视频中文字幕在线观看| 日韩 亚洲 欧美在线| 亚洲国产成人一精品久久久| 又黄又爽又刺激的免费视频.| 成人欧美大片| 99re6热这里在线精品视频| 国内精品一区二区在线观看| 国产永久视频网站| 国产 亚洲一区二区三区 | 91aial.com中文字幕在线观看| 在线免费观看的www视频| 91久久精品国产一区二区三区| 色播亚洲综合网| 亚洲国产精品成人久久小说| 别揉我奶头 嗯啊视频| 精品国内亚洲2022精品成人| 九九在线视频观看精品| 国内少妇人妻偷人精品xxx网站| 少妇人妻一区二区三区视频| 国产av不卡久久| 国产精品人妻久久久影院| 日本猛色少妇xxxxx猛交久久| 免费观看无遮挡的男女| 久久精品国产亚洲网站| 又黄又爽又刺激的免费视频.| 十八禁网站网址无遮挡 | 国产亚洲5aaaaa淫片| 亚洲国产av新网站| 午夜亚洲福利在线播放| 乱系列少妇在线播放| 亚洲成人一二三区av| 精品国内亚洲2022精品成人| 亚洲精品aⅴ在线观看| 亚洲欧洲国产日韩| 亚洲国产欧美人成| 亚洲国产最新在线播放| 成年av动漫网址| 国产在线男女| 边亲边吃奶的免费视频| 亚洲美女视频黄频| 国产精品精品国产色婷婷| 日本一二三区视频观看| 国产久久久一区二区三区| 久久久久久久久中文| 成人亚洲欧美一区二区av| 亚洲精品乱码久久久久久按摩| 26uuu在线亚洲综合色| 国产视频首页在线观看| 麻豆乱淫一区二区| 天堂网av新在线| 免费无遮挡裸体视频| 亚洲精品日韩在线中文字幕| 精品久久久久久久久av| 禁无遮挡网站| 又黄又爽又刺激的免费视频.| 一级毛片aaaaaa免费看小| 黄色日韩在线| 国产伦精品一区二区三区视频9| 淫秽高清视频在线观看| 久久人人爽人人片av| 久久久久久久久久久丰满| 欧美日本视频| 国产成人精品久久久久久| 日本wwww免费看| 乱人视频在线观看| 三级毛片av免费| 国产高清三级在线| 成人亚洲欧美一区二区av| 欧美日韩精品成人综合77777| 久久精品综合一区二区三区| 在线免费十八禁| 在线观看人妻少妇| 精品国产露脸久久av麻豆 | av在线播放精品| 熟女人妻精品中文字幕| 免费观看精品视频网站| 国产高潮美女av| 免费av毛片视频| 69人妻影院| a级毛色黄片| 国产探花在线观看一区二区| 精品熟女少妇av免费看| 男女那种视频在线观看| 夜夜看夜夜爽夜夜摸| 国产欧美另类精品又又久久亚洲欧美| 久久午夜福利片| 成人鲁丝片一二三区免费| 内地一区二区视频在线| 国产免费又黄又爽又色| 欧美变态另类bdsm刘玥| 80岁老熟妇乱子伦牲交| 久久久久精品久久久久真实原创| 亚洲av成人精品一二三区| 26uuu在线亚洲综合色| 亚洲国产精品专区欧美| 国产精品av视频在线免费观看| 国产成年人精品一区二区| 男女国产视频网站| av免费在线看不卡| 久久国产乱子免费精品| 国产高潮美女av| 美女脱内裤让男人舔精品视频| 久久久久久九九精品二区国产| 日韩人妻高清精品专区| 国产 一区精品| 我的老师免费观看完整版| 精品人妻偷拍中文字幕| 我的老师免费观看完整版| 91aial.com中文字幕在线观看| 亚洲国产av新网站| av免费观看日本| 少妇丰满av| 久久久久久久久久黄片| 一级毛片 在线播放| 亚洲自拍偷在线| 国产一级毛片七仙女欲春2| 国产精品一区二区在线观看99 | 十八禁国产超污无遮挡网站| 久久精品国产亚洲网站| 亚洲欧美成人精品一区二区| 大话2 男鬼变身卡| 国产成人免费观看mmmm| 最近的中文字幕免费完整| 夜夜爽夜夜爽视频| 亚洲精品日韩在线中文字幕| 午夜激情久久久久久久| 午夜激情欧美在线| 免费人成在线观看视频色| 老司机影院毛片| 十八禁网站网址无遮挡 | 久久99热这里只频精品6学生| 99热这里只有精品一区| 免费观看av网站的网址| 视频中文字幕在线观看| 一级爰片在线观看| 亚洲成人中文字幕在线播放| 欧美xxxx黑人xx丫x性爽| 国产高清三级在线| 日韩欧美精品v在线| 一区二区三区四区激情视频| 夜夜爽夜夜爽视频| 男女下面进入的视频免费午夜| 成人无遮挡网站| 成人欧美大片| 日韩中字成人| 亚洲国产精品成人久久小说| 色综合色国产| 夫妻午夜视频| 国产在视频线在精品| 中文精品一卡2卡3卡4更新| 两个人视频免费观看高清| 国产在视频线在精品| 久久久亚洲精品成人影院| 久久精品综合一区二区三区| 国产乱人偷精品视频| 两个人的视频大全免费| 日日摸夜夜添夜夜爱| 蜜桃亚洲精品一区二区三区| 大香蕉久久网| 久久99热这里只有精品18| 天天躁日日操中文字幕| 中文字幕人妻熟人妻熟丝袜美| 久久亚洲国产成人精品v| 国产极品天堂在线| 日韩成人av中文字幕在线观看| 国产一级毛片在线| 三级男女做爰猛烈吃奶摸视频| 美女国产视频在线观看| 国产黄片视频在线免费观看| 久久人人爽人人片av| 岛国毛片在线播放| 爱豆传媒免费全集在线观看| 久久久久精品性色| 精品国内亚洲2022精品成人| 汤姆久久久久久久影院中文字幕 | 狂野欧美白嫩少妇大欣赏| 99久国产av精品| 成人亚洲欧美一区二区av| 97超视频在线观看视频| 在现免费观看毛片| 久久久精品免费免费高清| 日韩一本色道免费dvd| 少妇被粗大猛烈的视频| 简卡轻食公司| 特级一级黄色大片| www.色视频.com| 美女内射精品一级片tv| 精品久久久久久久久久久久久| 久久精品人妻少妇| 一区二区三区四区激情视频| 亚洲国产精品国产精品| 国产成人精品久久久久久| 亚洲内射少妇av| 亚洲精品第二区| 日日摸夜夜添夜夜添av毛片| 亚洲欧美成人综合另类久久久| 欧美成人一区二区免费高清观看| 日本一本二区三区精品| 国产精品综合久久久久久久免费| 久久午夜福利片| 边亲边吃奶的免费视频| 色综合站精品国产| 日本一本二区三区精品| 日本午夜av视频| 欧美成人a在线观看| 天堂影院成人在线观看| 91午夜精品亚洲一区二区三区| 嫩草影院精品99| 一级av片app| 网址你懂的国产日韩在线| 最近最新中文字幕免费大全7| 国产老妇伦熟女老妇高清| 国产又色又爽无遮挡免| 自拍偷自拍亚洲精品老妇| 天美传媒精品一区二区| 啦啦啦啦在线视频资源| 精品少妇黑人巨大在线播放| 国产亚洲91精品色在线| 午夜激情欧美在线| 国产精品1区2区在线观看.| 日韩三级伦理在线观看| 亚洲成人久久爱视频| 久久久久免费精品人妻一区二区| 国产成人免费观看mmmm| 久久久久性生活片| av专区在线播放| 亚洲怡红院男人天堂| 99久国产av精品国产电影| 国产激情偷乱视频一区二区| 久久精品久久久久久噜噜老黄| 丰满少妇做爰视频| 成年女人在线观看亚洲视频 | 日本与韩国留学比较| 两个人视频免费观看高清| 久久精品国产鲁丝片午夜精品| 成人毛片60女人毛片免费| 嫩草影院精品99| 九九爱精品视频在线观看| 亚洲欧美精品自产自拍| 视频中文字幕在线观看| 午夜精品一区二区三区免费看| 精品熟女少妇av免费看| 18禁在线播放成人免费| 免费黄频网站在线观看国产| 国内精品美女久久久久久| 91久久精品国产一区二区三区| 欧美日韩亚洲高清精品| 夜夜看夜夜爽夜夜摸| a级毛片免费高清观看在线播放| 一级av片app| 高清午夜精品一区二区三区| 亚洲av电影在线观看一区二区三区 | 在线观看av片永久免费下载| 视频中文字幕在线观看| 午夜精品一区二区三区免费看| 免费看a级黄色片| 美女内射精品一级片tv| 网址你懂的国产日韩在线| 一级二级三级毛片免费看| 亚洲在线自拍视频| 美女国产视频在线观看| 直男gayav资源| 亚洲精品日韩av片在线观看| 欧美丝袜亚洲另类| 久久精品国产亚洲av涩爱| xxx大片免费视频| 伊人久久国产一区二区| 日韩不卡一区二区三区视频在线| 中文字幕亚洲精品专区| 美女大奶头视频| 男人爽女人下面视频在线观看| 大陆偷拍与自拍| 久久综合国产亚洲精品| 大又大粗又爽又黄少妇毛片口| 亚洲综合色惰| 成年av动漫网址| 日韩欧美精品v在线| 午夜激情福利司机影院| 亚洲精品亚洲一区二区| 久久精品夜色国产| 久久热精品热| 欧美xxxx性猛交bbbb| 天堂中文最新版在线下载 | 狂野欧美激情性xxxx在线观看| 久久久久久久大尺度免费视频| 女人久久www免费人成看片| 九色成人免费人妻av| 国产亚洲精品久久久com| 国产成人一区二区在线| 国产亚洲91精品色在线| 久久精品国产亚洲av天美| 精品不卡国产一区二区三区| 毛片一级片免费看久久久久| 成年女人在线观看亚洲视频 | 亚洲av成人精品一二三区| 麻豆成人午夜福利视频| 日韩国内少妇激情av| 亚洲熟妇中文字幕五十中出| 九九爱精品视频在线观看| 22中文网久久字幕| 久久午夜福利片| 久久久欧美国产精品| 高清日韩中文字幕在线| 简卡轻食公司| 欧美区成人在线视频| 国产精品爽爽va在线观看网站| 中文字幕人妻熟人妻熟丝袜美| av在线观看视频网站免费| 亚洲国产最新在线播放| 少妇熟女aⅴ在线视频| 日韩欧美三级三区| 99热这里只有精品一区| 国产一级毛片七仙女欲春2| 欧美成人a在线观看| 免费av观看视频| 日日撸夜夜添| 久热久热在线精品观看| 成人毛片60女人毛片免费| 国精品久久久久久国模美| 成人欧美大片| 在线免费观看的www视频| 国产亚洲av嫩草精品影院| 久久久久久久久久成人| 色哟哟·www| 亚洲精品乱码久久久v下载方式| 午夜日本视频在线| 亚洲综合精品二区| 欧美激情久久久久久爽电影| 欧美性猛交╳xxx乱大交人| 99久久人妻综合| 寂寞人妻少妇视频99o| 观看美女的网站| 人人妻人人看人人澡| 97超视频在线观看视频| 欧美极品一区二区三区四区| 2021天堂中文幕一二区在线观| 高清欧美精品videossex| 不卡视频在线观看欧美| 国产成年人精品一区二区| 亚洲精品中文字幕在线视频 | 国产精品久久视频播放| a级一级毛片免费在线观看| 免费播放大片免费观看视频在线观看| 国产亚洲一区二区精品| 男女啪啪激烈高潮av片| 日本欧美国产在线视频| 欧美人与善性xxx| 淫秽高清视频在线观看| 成年女人在线观看亚洲视频 | 日韩精品有码人妻一区| 免费在线观看成人毛片| 一级毛片aaaaaa免费看小| 久久久成人免费电影| 成人鲁丝片一二三区免费| 亚洲欧美一区二区三区黑人 | 在线 av 中文字幕| 三级男女做爰猛烈吃奶摸视频| 一级毛片电影观看| 老师上课跳d突然被开到最大视频| 久久久久精品久久久久真实原创| 男人狂女人下面高潮的视频| 精品国产露脸久久av麻豆 | 熟女人妻精品中文字幕| 中文资源天堂在线| 国产 亚洲一区二区三区 | 久久久久久国产a免费观看| 成人鲁丝片一二三区免费| 亚洲欧美一区二区三区黑人 | 久久99蜜桃精品久久| 日韩亚洲欧美综合| av福利片在线观看| 久久精品久久精品一区二区三区| 欧美高清成人免费视频www| 国产欧美另类精品又又久久亚洲欧美| 伊人久久国产一区二区| 成人国产麻豆网| 久久精品国产亚洲网站| 我的老师免费观看完整版| 久久精品久久精品一区二区三区| 日韩欧美一区视频在线观看 | 亚洲欧美中文字幕日韩二区| 国产精品一区二区在线观看99 | 国产精品熟女久久久久浪| 国产成人freesex在线| 国产精品三级大全| 国产色爽女视频免费观看| 国内揄拍国产精品人妻在线| 国产精品伦人一区二区| 免费高清在线观看视频在线观看| 日韩 亚洲 欧美在线| 亚洲欧美一区二区三区黑人 | 少妇猛男粗大的猛烈进出视频 | 免费av观看视频| 欧美精品国产亚洲| 老师上课跳d突然被开到最大视频| 国产 一区精品| 久99久视频精品免费| 大陆偷拍与自拍| 嫩草影院新地址| 内射极品少妇av片p| 欧美性猛交╳xxx乱大交人| 国产伦精品一区二区三区四那| 亚洲精品乱久久久久久| 最近最新中文字幕大全电影3| 纵有疾风起免费观看全集完整版 | 国模一区二区三区四区视频| 成人综合一区亚洲| 国产精品久久久久久精品电影| 97精品久久久久久久久久精品| 人妻夜夜爽99麻豆av| 男插女下体视频免费在线播放| 免费看光身美女| 国国产精品蜜臀av免费| 国产大屁股一区二区在线视频| 国产午夜精品久久久久久一区二区三区| 国产在视频线精品| 伦理电影大哥的女人| 国产伦理片在线播放av一区| 精品少妇黑人巨大在线播放| 97人妻精品一区二区三区麻豆| 国产精品蜜桃在线观看| 看非洲黑人一级黄片| 亚洲图色成人| 国产成人精品婷婷| 日日摸夜夜添夜夜添av毛片| 久久韩国三级中文字幕| 亚洲国产高清在线一区二区三| 男人爽女人下面视频在线观看| 国产黄色免费在线视频| 午夜精品国产一区二区电影 | 日韩大片免费观看网站| 美女被艹到高潮喷水动态| 激情 狠狠 欧美| 成人高潮视频无遮挡免费网站| 成人无遮挡网站| 国产女主播在线喷水免费视频网站 | 大香蕉久久网| 毛片女人毛片| 人人妻人人澡欧美一区二区| 亚洲图色成人| 国产成人福利小说| 伊人久久精品亚洲午夜| 亚洲国产最新在线播放| 日韩欧美 国产精品| 秋霞在线观看毛片| 成人国产麻豆网| 天堂网av新在线| 我要看日韩黄色一级片| h日本视频在线播放| 国产精品嫩草影院av在线观看| 中文字幕av成人在线电影| 国产精品伦人一区二区| 美女黄网站色视频| 成人午夜精彩视频在线观看| 亚洲欧美日韩卡通动漫| 国产一级毛片七仙女欲春2| 免费在线观看成人毛片| 国产伦精品一区二区三区视频9| 欧美97在线视频| or卡值多少钱| 波野结衣二区三区在线| 成人av在线播放网站| 久久99精品国语久久久| 久久精品国产亚洲av天美| 国产av不卡久久| 伦精品一区二区三区| av国产久精品久网站免费入址| 国产精品一区二区性色av| 国产亚洲一区二区精品| 高清日韩中文字幕在线| 18+在线观看网站| 成人午夜高清在线视频| 国产精品一区二区性色av| 日本黄色片子视频| 国产精品一及| 国产又色又爽无遮挡免| 大片免费播放器 马上看| 成人毛片a级毛片在线播放| 又爽又黄无遮挡网站| 免费av毛片视频| 80岁老熟妇乱子伦牲交| 91精品伊人久久大香线蕉| 两个人的视频大全免费| 如何舔出高潮| 午夜激情久久久久久久| 日韩,欧美,国产一区二区三区| 高清欧美精品videossex| 国产精品国产三级专区第一集| 免费黄网站久久成人精品| 久久99热6这里只有精品| 日本wwww免费看| 午夜免费观看性视频| 啦啦啦中文免费视频观看日本| 国产精品久久久久久久电影| 天堂俺去俺来也www色官网 | 欧美极品一区二区三区四区| 国产av不卡久久| 天天一区二区日本电影三级| 免费观看的影片在线观看| 免费高清在线观看视频在线观看| 天堂影院成人在线观看| 青春草亚洲视频在线观看| 国产白丝娇喘喷水9色精品| 亚洲国产色片| 哪个播放器可以免费观看大片| 国产一区有黄有色的免费视频 | 99久久精品一区二区三区| 久久精品久久精品一区二区三区| 精品一区二区三区人妻视频| 晚上一个人看的免费电影| 欧美精品国产亚洲| 少妇熟女aⅴ在线视频| 老司机影院成人| 亚洲欧美日韩无卡精品| av在线老鸭窝| 久久综合国产亚洲精品| 午夜福利在线观看免费完整高清在| 国产乱来视频区| 精品一区二区免费观看| 人人妻人人看人人澡| 欧美xxxx黑人xx丫x性爽| 神马国产精品三级电影在线观看| 欧美成人午夜免费资源| a级毛片免费高清观看在线播放| 亚洲av二区三区四区| 午夜激情欧美在线| 日日撸夜夜添| 麻豆成人av视频| 国产亚洲精品久久久com| 美女大奶头视频| 精品一区二区三卡| 啦啦啦中文免费视频观看日本| 两个人的视频大全免费| 成年av动漫网址| 激情五月婷婷亚洲| 99视频精品全部免费 在线| 国产亚洲一区二区精品| av又黄又爽大尺度在线免费看| 亚洲欧美日韩东京热| 精品欧美国产一区二区三| 五月伊人婷婷丁香| 日韩一区二区视频免费看| 欧美成人a在线观看| 2022亚洲国产成人精品| 国产高清三级在线| 少妇裸体淫交视频免费看高清| 国产av码专区亚洲av| 国产视频内射| 97超视频在线观看视频| 少妇熟女aⅴ在线视频| 久99久视频精品免费| 精品一区二区免费观看| 91狼人影院| 在线 av 中文字幕| 日韩不卡一区二区三区视频在线| 亚洲精品一二三| 国产亚洲精品久久久com| 美女主播在线视频| 国产淫语在线视频| 大片免费播放器 马上看| 蜜臀久久99精品久久宅男| 免费黄频网站在线观看国产| 69人妻影院| 精品人妻偷拍中文字幕| 午夜久久久久精精品| 视频中文字幕在线观看| 男的添女的下面高潮视频| 精品亚洲乱码少妇综合久久| 国产综合精华液| 91久久精品电影网| 国产乱人偷精品视频| 综合色丁香网| 中文天堂在线官网| 精品久久久久久久久久久久久| 国产综合精华液| 欧美精品一区二区大全| 尤物成人国产欧美一区二区三区| 青青草视频在线视频观看| 寂寞人妻少妇视频99o| 欧美成人午夜免费资源| 深爱激情五月婷婷| 国产免费福利视频在线观看| 欧美高清性xxxxhd video| 舔av片在线| 我的老师免费观看完整版| 亚洲图色成人| 观看美女的网站| 中文字幕av成人在线电影| 久久久a久久爽久久v久久| 日日摸夜夜添夜夜爱| 亚洲精品久久久久久婷婷小说| 午夜精品一区二区三区免费看| 亚洲精品影视一区二区三区av| 亚洲精品久久久久久婷婷小说|