基于深度強(qiáng)化學(xué)習(xí)的車輛多目標(biāo)協(xié)同巡航?jīng)Q策控制系統(tǒng)設(shè)計(jì)

宋 倩，羅富貴，藍(lán)俊歡

(1.河池學(xué)院 大數(shù)據(jù)與計(jì)算機(jī)學(xué)院，廣西 河池 546300；2.河池市供電局，廣西 河池 546300)

0 引言

車輛多目標(biāo)協(xié)同巡航過程中存在多障礙物，影響車輛多目標(biāo)協(xié)同巡航?jīng)Q策的性能。車輛巡航避障在全方位控制方面存在一定的欠缺，為此車輛多目標(biāo)協(xié)同巡航?jīng)Q策控制成為當(dāng)前相關(guān)領(lǐng)域的重點(diǎn)研究課題。深度強(qiáng)化學(xué)習(xí)是一種極其接近人類思維方式的新型人工智能方法，將強(qiáng)化學(xué)習(xí)決策機(jī)制與深度學(xué)習(xí)感知思維完美結(jié)合起來，可以直接根據(jù)輸入圖像制定控制執(zhí)行指令[1]。該算法的應(yīng)用為解決復(fù)雜系統(tǒng)感知決策問題提供了全新的思路，既能夠根據(jù)預(yù)期回報(bào)結(jié)果對動(dòng)作價(jià)值函數(shù)做出評價(jià)，也可以通過既定策略將當(dāng)前執(zhí)行狀態(tài)映射為相應(yīng)的動(dòng)作指令，從而在得到準(zhǔn)確數(shù)值解的同時(shí)，制定與目標(biāo)對象相關(guān)的最優(yōu)策略執(zhí)行原則。相較于其他類型的應(yīng)用算法，深度強(qiáng)化學(xué)習(xí)行為打破了數(shù)據(jù)樣本之間的制約性關(guān)系，可以在推導(dǎo)完整信息學(xué)習(xí)規(guī)則的同時(shí)，定義多個(gè)獨(dú)立的神經(jīng)元結(jié)構(gòu)，不但解決了網(wǎng)絡(luò)環(huán)境中信息參量的不合理分配問題，還深化了學(xué)習(xí)主機(jī)的區(qū)域性主導(dǎo)地位，使得網(wǎng)絡(luò)設(shè)備能夠直接處理已存儲(chǔ)的數(shù)據(jù)樣本對象[2]。

文獻(xiàn)[3]提出自適應(yīng)巡航控制系統(tǒng)。巡航?jīng)Q策系統(tǒng)對于車輛目標(biāo)的管理主要包括軌跡規(guī)劃、全局路徑規(guī)劃與行為決策。車輛運(yùn)動(dòng)行為要求行進(jìn)軌跡必須具有平順性、連續(xù)性的特征，所以構(gòu)造連接始末位置的連續(xù)平滑軌跡是巡航?jīng)Q策系統(tǒng)的主要工作目標(biāo)。自適應(yīng)巡航控制系統(tǒng)借助卡爾曼濾波器及模型預(yù)測控制器原理，建立跟車動(dòng)力學(xué)模型，再通過求解向量松弛因子的方式，求解決策控制指令的最優(yōu)執(zhí)行結(jié)果。文獻(xiàn)[4]提出基于變采樣時(shí)間模型的巡航系統(tǒng)。根據(jù)車輛速度變化率條件，建立MPC控制器閉環(huán)，再聯(lián)合Carsim、Matlab、Simulink等多個(gè)執(zhí)行軟件，對決策指令與車輛巡航目標(biāo)之間的適配性進(jìn)行測試。

上述兩類系統(tǒng)的應(yīng)用，只能實(shí)現(xiàn)車輛在某一特定巡航方向上的精準(zhǔn)避障，在全方位控制方面存在一定的欠缺。為解決上述問題，針對基于深度強(qiáng)化學(xué)習(xí)的車輛多目標(biāo)協(xié)同巡航?jīng)Q策控制系統(tǒng)展開研究。

1 巡航?jīng)Q策控制系統(tǒng)的主要應(yīng)用結(jié)構(gòu)

車輛多目標(biāo)協(xié)同巡航?jīng)Q策控制系統(tǒng)的主要應(yīng)用結(jié)構(gòu)包括控制電路、處理器子模塊、多目標(biāo)解耦模塊，本章節(jié)將針對上述模塊結(jié)構(gòu)的設(shè)計(jì)方法展開深入研究。

1.1 主控制電路

巡航?jīng)Q策控制系統(tǒng)采用12 V直流電源提供傳感器所需的電量信號，因此需要ADC傳輸導(dǎo)線實(shí)現(xiàn)對電量信號的分配處理。STC12C5A60S2單片機(jī)自帶A/D轉(zhuǎn)換功能，可以在無外設(shè)AD模塊設(shè)備的情況下，調(diào)節(jié)巡航目標(biāo)傳感器、航速傳感器對于決策對象的捕獲及處理能力，由于A/D轉(zhuǎn)換功能可以實(shí)現(xiàn)模擬信號與數(shù)字信號的轉(zhuǎn)換，所以在系統(tǒng)運(yùn)行過程中，巡航目標(biāo)傳感器可以在IN4007設(shè)備的配合下[5-6]，確定K1、K2設(shè)備兩端負(fù)載電壓的具體數(shù)值，面對車輛巡航目標(biāo)時(shí)，K1設(shè)備負(fù)責(zé)檢測目標(biāo)節(jié)點(diǎn)的橫向坐標(biāo)，K2設(shè)備負(fù)責(zé)檢測目標(biāo)節(jié)點(diǎn)的縱向目標(biāo)。IN4007設(shè)備具備較強(qiáng)的電信號集合處理能力，可以根據(jù)車輛目標(biāo)的具體航速水平，完成對電量信號的按需分配。具體的主控制電路結(jié)構(gòu)如圖1所示。

圖1 主控制電路示意圖

航速傳感器在采集車輛目標(biāo)行進(jìn)速度的過程中，由于外界信號量大且雜亂，會(huì)導(dǎo)致航速傳感器采集到的信息出現(xiàn)細(xì)微振動(dòng)狀態(tài)，但由于STC12C5A60S2單片機(jī)所輸出數(shù)字信號的總量有限，能耗保證信號傳輸過程的穩(wěn)定性，這也是傳感器振幅能夠得到有效控制的主要原因。

1.2 處理器子單元模塊

1.2.1 ACC控制器

ACC控制器是主控制電路的下級負(fù)載結(jié)構(gòu)，如圖2所示，可以在傳感器、決策主機(jī)等多個(gè)應(yīng)用元件的配合下，制定多項(xiàng)執(zhí)行指令，并能夠根據(jù)固定目標(biāo)節(jié)點(diǎn)、運(yùn)動(dòng)目標(biāo)節(jié)點(diǎn)的實(shí)時(shí)排列狀態(tài)，來判斷系統(tǒng)主機(jī)的當(dāng)前執(zhí)行狀態(tài)是否能夠滿足協(xié)同處理車輛目標(biāo)節(jié)點(diǎn)的實(shí)際應(yīng)用需求[7]?？刂破髦饕考葾CC執(zhí)行設(shè)備、定向傳感器、動(dòng)向傳感器、7280S控制器、PLC決策主機(jī)五部分共同組成。其中，ACC執(zhí)行設(shè)備同時(shí)控制定向傳感器與動(dòng)向傳感器，可以在輸出車輛行進(jìn)指令的同時(shí)，標(biāo)記固定目標(biāo)節(jié)點(diǎn)、運(yùn)動(dòng)目標(biāo)節(jié)點(diǎn)所處的實(shí)時(shí)位置，并可以借助傳輸信道組織，將已生成的指令文本反饋至系統(tǒng)核心控制主機(jī)之中。7280S控制器、PLC決策主機(jī)是兩個(gè)相互關(guān)聯(lián)的控制器執(zhí)行結(jié)構(gòu)，負(fù)責(zé)制定循環(huán)控制指令與決策執(zhí)行指令，且為保證系統(tǒng)主機(jī)能夠?qū)囕v目標(biāo)進(jìn)行不間斷地監(jiān)測，這兩類設(shè)備元件可以在脫機(jī)狀態(tài)下保持長時(shí)間的穩(wěn)定運(yùn)行[8]。

圖2 ACC控制器結(jié)構(gòu)簡圖

由于ACC控制器元件對于指令文件的寄存能力有限，所以在決策控制系統(tǒng)快速運(yùn)行的過程中，有一部分信息樣本會(huì)被直接存儲(chǔ)至數(shù)據(jù)庫主機(jī)之中。

1.2.2 MPC軌跡跟蹤器

MPC軌跡跟蹤器控制指令的實(shí)現(xiàn)是以選定被控車輛目標(biāo)為基礎(chǔ)，生成最優(yōu)控制解與實(shí)際巡航軌跡。MPC調(diào)度主機(jī)通過全局規(guī)劃的方式，確定被控車輛目標(biāo)在既定巡航區(qū)域內(nèi)所處位置，再聯(lián)合深度強(qiáng)化學(xué)習(xí)算法應(yīng)用原則，求解與車輛巡航軌跡相關(guān)的運(yùn)動(dòng)學(xué)方程。對于系統(tǒng)主機(jī)而言，求解所得結(jié)果會(huì)以狀態(tài)量參數(shù)的方式輸入既定執(zhí)行模塊，以供ACC控制器、雙閉環(huán)控制器元件對其進(jìn)行直接調(diào)取與利用[9-10]。MPC軌跡跟蹤器的運(yùn)行原理如圖3所示。

圖3 MPC軌跡跟蹤器運(yùn)行原理

已被輸入的被控車輛目標(biāo)信息經(jīng)過系統(tǒng)主機(jī)的計(jì)算與處理之后，會(huì)形成完整的動(dòng)力學(xué)約束條件，隨著數(shù)據(jù)樣本的不斷傳輸，MPC調(diào)度主機(jī)中生成參考軌跡路線與動(dòng)力學(xué)參考模型，而這些信息參量都會(huì)為決策指令的生產(chǎn)提供數(shù)據(jù)樣本支持。最終執(zhí)行階段，MPC軌跡跟蹤器整合所得到的參考軌跡、決策指令與動(dòng)力學(xué)模型表達(dá)式，并聯(lián)合真實(shí)的車輛目標(biāo)對象節(jié)點(diǎn)信息，計(jì)算最優(yōu)解結(jié)果，從而使系統(tǒng)控制主機(jī)能夠掌握完整的車輛巡航軌跡路線。

1.2.3 雙閉環(huán)控制器

相較于其他處理器子單元模塊，雙閉環(huán)控制器的運(yùn)行模式較為復(fù)雜，由兩條完全獨(dú)立的巡航?jīng)Q策指令傳輸線路組成，能夠同時(shí)調(diào)度PI控制器、轉(zhuǎn)矩響應(yīng)器、同步補(bǔ)償器與PMSM控制器，既可以在制定決策控制指令的過程中，更改數(shù)據(jù)信息文本的傳輸方向，也可以在不改變信息傳輸方向的情況下，提取系統(tǒng)運(yùn)行所必需的關(guān)鍵數(shù)據(jù)樣本[11]。雙閉環(huán)控制思想的具體執(zhí)行原理如圖4所示。

圖4 雙閉環(huán)控制回路

PI控制器與轉(zhuǎn)矩響應(yīng)器之間的信息互傳：PI控制器作為巡航?jīng)Q策指令輸出端，可以直接控制下級轉(zhuǎn)矩響應(yīng)器，當(dāng)車輛目標(biāo)行駛至既定巡航區(qū)域內(nèi)，系統(tǒng)主機(jī)所生成的所有決策指令都會(huì)經(jīng)由轉(zhuǎn)矩響應(yīng)器設(shè)備，分發(fā)至其他應(yīng)用元件。

PMSM控制器與同步補(bǔ)償器之間的信息互傳：PMSM控制器作為巡航?jīng)Q策指令輸出端，不具備直接控制同步補(bǔ)償器元件的能力，但卻可以在運(yùn)行過程中，借助巡航?jīng)Q策指令干擾補(bǔ)償器設(shè)備的運(yùn)行狀態(tài)，但這種干擾行為的表現(xiàn)能力具有明顯時(shí)效性，一般來說，車輛目標(biāo)巡航軌跡在既定決策區(qū)域中的累積量越大，PMSM控制器對于同步補(bǔ)償器元件的干擾作用能力就越強(qiáng)[12]。

1.3 多目標(biāo)解耦模塊

為適應(yīng)雙閉環(huán)控制器的運(yùn)行需求，多目標(biāo)解耦模塊同時(shí)設(shè)置直軸解耦元件、曲軸解耦元件兩類執(zhí)行設(shè)備，能夠?qū)Q策控制主機(jī)輸出的車輛巡航信號進(jìn)行交叉分析，并從中選取數(shù)據(jù)樣本的重合部分，作為制定解耦信號所必需參考的信息參量。所謂多目標(biāo)解耦就是指決策控制主機(jī)在單位時(shí)間內(nèi)所能檢索到的車輛目標(biāo)對象并不唯一，由于這些目標(biāo)對象所描述的車輛運(yùn)動(dòng)狀態(tài)并不相同，所以處理器元件所表現(xiàn)出的執(zhí)行情況也并不相同[13-14]。一般來說，直軸解耦元件負(fù)責(zé)記錄直行運(yùn)動(dòng)區(qū)域內(nèi)的車輛巡航目標(biāo)節(jié)點(diǎn)，而曲軸解耦元件負(fù)責(zé)記錄轉(zhuǎn)彎運(yùn)動(dòng)區(qū)域內(nèi)的車輛巡航目標(biāo)節(jié)點(diǎn)，雖然巡航節(jié)點(diǎn)的標(biāo)記形式不同，但對于決策控制主機(jī)而言，這些標(biāo)記信息都可供目標(biāo)處理器設(shè)備的直接利用。多目標(biāo)解耦模塊的運(yùn)行原理如圖5所示。

如果直軸解耦信息、曲軸解耦信息存儲(chǔ)于相同的數(shù)據(jù)庫主機(jī)之中，則表示系統(tǒng)主機(jī)所選取車輛目標(biāo)屬于相同的巡航區(qū)域，車輛執(zhí)行往復(fù)巡航任務(wù)的可能性較大。

2 車輛位姿估計(jì)

為實(shí)現(xiàn)對車輛巡航目標(biāo)的精準(zhǔn)決策，還需借助深度強(qiáng)化學(xué)習(xí)模型，定義車輛目標(biāo)數(shù)據(jù)集，并聯(lián)合相關(guān)系數(shù)指標(biāo)，求解協(xié)同參數(shù)的實(shí)際取值范圍。

2.1 深度強(qiáng)化學(xué)習(xí)模型

深度強(qiáng)化學(xué)習(xí)模型是系統(tǒng)主機(jī)決策車輛巡航目標(biāo)所遵循的核心處理原則，可以在一級、二級協(xié)同節(jié)點(diǎn)的作用下，分析所選目標(biāo)對象的實(shí)時(shí)巡航狀態(tài)，從而使得系統(tǒng)主機(jī)能夠精準(zhǔn)定義決策控制指令。深度強(qiáng)化學(xué)習(xí)模型表現(xiàn)形式如圖6所示。

圖6 深度強(qiáng)化學(xué)習(xí)模型

圖6中，一級協(xié)同節(jié)點(diǎn)對于車輛目標(biāo)的提取具有不確定性，所以未進(jìn)行強(qiáng)化學(xué)習(xí)處理的數(shù)據(jù)信息樣本并不滿足制定決策控制指令的應(yīng)用需求[15-16]。二級協(xié)同節(jié)點(diǎn)負(fù)責(zé)對車輛目標(biāo)進(jìn)行整理，并可以按照核心處理器的運(yùn)行需求，對已采集到的數(shù)據(jù)信息樣本進(jìn)行強(qiáng)化學(xué)習(xí)，從而生成滿足決策控制需求的巡航對象信息。設(shè)δ表示一個(gè)無序的車輛目標(biāo)對象，qδ、wδ表示兩個(gè)不相等的協(xié)同處理系數(shù)，χ表示強(qiáng)化度指標(biāo)，α表示深度學(xué)習(xí)向量的初始取值，聯(lián)立上述物理量，可將深度強(qiáng)化學(xué)習(xí)模型表達(dá)式定義為：

(1)

在一個(gè)標(biāo)準(zhǔn)的巡航運(yùn)動(dòng)區(qū)域內(nèi)，深度強(qiáng)化學(xué)習(xí)模型對于車輛目標(biāo)對象的捕捉準(zhǔn)確度必須達(dá)到100%，且模型表達(dá)式不存在為空值的可能，所以參數(shù)δ的取值只能屬于[0，+∞)的數(shù)值區(qū)間。

2.2 車輛目標(biāo)數(shù)據(jù)集

車輛目標(biāo)數(shù)據(jù)集是包含所有車輛目標(biāo)協(xié)同巡航特征的樣本集合空間，對于深度強(qiáng)化學(xué)習(xí)模型而言，其在定義決策控制指令時(shí)所需應(yīng)用的數(shù)據(jù)樣本都必須來自該樣本集合，所以該集合對于樣本數(shù)據(jù)的完整性提出了明確要求[17-18]。在深度強(qiáng)化學(xué)習(xí)模型中，車輛目標(biāo)數(shù)據(jù)的單位累積量為ΔQ，隨著單位巡航時(shí)間的延長，ΔQ參數(shù)的實(shí)際取值也會(huì)不斷增大。q1，q2，…，qn表示n個(gè)可能出現(xiàn)的樣本學(xué)習(xí)參數(shù)，在滿足深度強(qiáng)化學(xué)習(xí)模型處理標(biāo)準(zhǔn)的情況下，可將學(xué)習(xí)參數(shù)求解結(jié)果表示為：

(2)

(3)

若目標(biāo)車輛處于靜止?fàn)顟B(tài)，且靜止節(jié)點(diǎn)處于單位巡航區(qū)域內(nèi)，則表示整個(gè)巡航區(qū)域內(nèi)只存在一個(gè)目標(biāo)決策節(jié)點(diǎn)，當(dāng)前情況下，深度強(qiáng)化學(xué)習(xí)模型規(guī)定車輛目標(biāo)數(shù)據(jù)集中n參數(shù)的取值等于自然數(shù)“1”。

2.3 協(xié)同參數(shù)

協(xié)同參數(shù)決定了深度強(qiáng)化學(xué)習(xí)模型對于車輛目標(biāo)對象的處理能力，系統(tǒng)主機(jī)制定巡航?jīng)Q策控制指令時(shí)，該項(xiàng)物理參數(shù)的取值越大，就表示單位車輛巡航區(qū)域的劃定范圍越大。系統(tǒng)主機(jī)對于車輛目標(biāo)協(xié)同巡航的要求就是指所選定目標(biāo)決策節(jié)點(diǎn)必須處于同一巡航區(qū)域之內(nèi)，對應(yīng)深度強(qiáng)化學(xué)習(xí)模型的約束要求，就是指所有目標(biāo)決策節(jié)點(diǎn)必須屬于同一個(gè)車輛目標(biāo)數(shù)據(jù)集合[19-20]。規(guī)定y1，y2，…，yn表示n個(gè)不同的車輛目標(biāo)節(jié)點(diǎn)對象，ymin表示所選取目標(biāo)節(jié)點(diǎn)對象的最小取值結(jié)果，ymax表示目標(biāo)節(jié)點(diǎn)對象的最大取值結(jié)果，為滿足深度強(qiáng)化學(xué)習(xí)模型對于車輛目標(biāo)的決策處理需求，要求目標(biāo)節(jié)點(diǎn)對象取值應(yīng)滿足式(4)：

(4)

設(shè)i表示單位巡航區(qū)域內(nèi)的車輛目標(biāo)分散度指標(biāo)，聯(lián)立式(4)，推導(dǎo)協(xié)同參數(shù)定義式為：

(5)

如果式(5)的計(jì)算結(jié)果小于零，則表示車輛運(yùn)動(dòng)方向與系統(tǒng)主機(jī)對于決策節(jié)點(diǎn)的規(guī)劃方向相反；如果式(5)的計(jì)算結(jié)果大于零，則表示車輛運(yùn)動(dòng)方向與系統(tǒng)主機(jī)對于決策節(jié)點(diǎn)的規(guī)劃方向相同；如果式(5)的計(jì)算結(jié)果等于零，則表示所選車輛目標(biāo)保持靜止?fàn)顟B(tài)。

3 巡航?jīng)Q策軌跡規(guī)劃

在深度強(qiáng)化學(xué)習(xí)模型的基礎(chǔ)上，根據(jù)車輛運(yùn)動(dòng)坐標(biāo)轉(zhuǎn)換原則，對選取決策目標(biāo)進(jìn)行量化分析，再參考所得計(jì)算結(jié)果，實(shí)現(xiàn)對巡航?jīng)Q策軌跡的規(guī)劃與控制。

3.1 坐標(biāo)轉(zhuǎn)換

由于車輛運(yùn)動(dòng)行為只存在于平面區(qū)域內(nèi)，所以對于巡航?jīng)Q策目標(biāo)的坐標(biāo)轉(zhuǎn)換處理也只需參考橫軸、縱軸兩個(gè)方向上的軌跡偏移量[21-22]。對于橫軸方向上的軌跡偏移量，需要參考X軸方向上的坐標(biāo)轉(zhuǎn)換結(jié)果，對于縱軸方向上的軌跡偏移量，則需要參考Y軸方向上的坐標(biāo)轉(zhuǎn)換結(jié)果。

X軸方向上的坐標(biāo)轉(zhuǎn)換定義式：

(6)

Y軸方向上的坐標(biāo)轉(zhuǎn)換定義式：

(7)

3.2 多目標(biāo)量化分析

多目標(biāo)量化分析就是根據(jù)車輛目標(biāo)標(biāo)記結(jié)果，制定巡航?jīng)Q策執(zhí)行指令的過程，對于系統(tǒng)控制主機(jī)而言，只有保證多目標(biāo)量化分析結(jié)果的唯一性，才能夠確保已定義車輛目標(biāo)處于同一巡航區(qū)域之中[23-24]。g表示巡航區(qū)域分配系數(shù)，l1表示所選巡航區(qū)域內(nèi)n個(gè)不重合的決策節(jié)點(diǎn)，f表示無誤差量化參數(shù)。在上述物理量的支持下，聯(lián)立式(6)、式(7)，推導(dǎo)多目標(biāo)量化分析表達(dá)式如式(8)：

(8)

在不考慮非精準(zhǔn)巡航避障問題的情況下，系統(tǒng)控制主機(jī)可以根據(jù)多目標(biāo)量化分析結(jié)果，制定車輛多目標(biāo)協(xié)同巡航?jīng)Q策指令，從而確保式(8)計(jì)算結(jié)果的合理性，是實(shí)現(xiàn)控制系統(tǒng)應(yīng)用的必要條件。

4 對比實(shí)驗(yàn)分析

4.1 實(shí)驗(yàn)說明

本文設(shè)計(jì)了基于深度強(qiáng)化學(xué)習(xí)的車輛多目標(biāo)協(xié)同巡航?jīng)Q策控制系統(tǒng)。

系統(tǒng)硬件通過調(diào)節(jié)ACC控制器、MPC軌跡跟蹤器、雙閉環(huán)控制器的實(shí)時(shí)連接狀態(tài)確定目標(biāo)車輛所處巡航位置，利用多目標(biāo)解耦模塊提供巡航?jīng)Q策控制系統(tǒng)硬件平臺。根據(jù)深度強(qiáng)化學(xué)習(xí)模型估計(jì)車輛巡航位姿，確定坐標(biāo)轉(zhuǎn)換原則，結(jié)合巡航?jīng)Q策控制系統(tǒng)硬件，實(shí)現(xiàn)基于深度強(qiáng)化學(xué)習(xí)的車輛多目標(biāo)協(xié)同巡航?jīng)Q策控制系統(tǒng)的設(shè)計(jì)。

為驗(yàn)證基于深度強(qiáng)化學(xué)習(xí)的車輛多目標(biāo)協(xié)同巡航?jīng)Q策控制系統(tǒng)的有效性，設(shè)計(jì)實(shí)驗(yàn)環(huán)節(jié)。行駛車輛在巡航區(qū)域內(nèi)只具備橫、縱兩個(gè)方向上的運(yùn)動(dòng)能力，所以本次實(shí)驗(yàn)需分別在這兩個(gè)方向上以及全方位控制方面，對所選控制系統(tǒng)的避障準(zhǔn)確度進(jìn)行驗(yàn)證。劃定長200 m、寬50 m的巡航區(qū)域作為實(shí)驗(yàn)環(huán)境，在中部區(qū)域選擇5個(gè)決策節(jié)點(diǎn)作為避障性能測試位置，相鄰節(jié)點(diǎn)之間的物理間隔為10 m。設(shè)置障礙物物體的長度和寬度為0.3 m*0.3 m，具體實(shí)驗(yàn)步驟如下：

1)當(dāng)目標(biāo)車輛運(yùn)動(dòng)至1、2、3、4、5號節(jié)點(diǎn)時(shí)，利用基于深度強(qiáng)化學(xué)習(xí)的車輛多目標(biāo)協(xié)同巡航?jīng)Q策控制系統(tǒng)，統(tǒng)計(jì)車輛實(shí)際運(yùn)動(dòng)位置與障礙物位置之間的間隔數(shù)據(jù)，所得結(jié)果為實(shí)驗(yàn)組數(shù)據(jù)；

2)利用自適應(yīng)巡航控制系統(tǒng)重復(fù)步驟1)，所得結(jié)果為對照a組數(shù)據(jù)；

3)利用基于變采樣時(shí)間模型的巡航系統(tǒng)再次重復(fù)步驟1)，所得結(jié)果為對照b組數(shù)據(jù)；

4)由于設(shè)置的障礙物物體的長度和寬度為0.3 m*0.3 m，當(dāng)障礙物與目標(biāo)車輛之間的距離小于0.3 m時(shí)，會(huì)產(chǎn)生碰撞的風(fēng)險(xiǎn)，而當(dāng)障礙物與目標(biāo)車輛之間的距離大于0.3 m，表示當(dāng)前情況下可以實(shí)現(xiàn)精準(zhǔn)避障；

5)將所得實(shí)驗(yàn)數(shù)值與最小避障距離對比，分析所選實(shí)驗(yàn)系統(tǒng)是否能夠提升車輛的巡航避障能力。

4.2 橫向避障實(shí)驗(yàn)

根據(jù)圖7設(shè)計(jì)巡航車輛的橫向避障實(shí)驗(yàn)，具體實(shí)驗(yàn)情況如圖8所示。

圖7 橫向避障實(shí)驗(yàn)原理

圖8 橫向避障實(shí)驗(yàn)結(jié)果

分析圖8可知，在橫向避障實(shí)驗(yàn)中，應(yīng)用實(shí)驗(yàn)組、對照a組控制系統(tǒng)可以實(shí)現(xiàn)巡航車輛的精準(zhǔn)避障，而應(yīng)用對照b組控制系統(tǒng)則無法實(shí)現(xiàn)精準(zhǔn)避障。

4.3 縱向避障實(shí)驗(yàn)

根據(jù)圖9設(shè)計(jì)巡航車輛的縱向避障實(shí)驗(yàn)，具體實(shí)驗(yàn)情況如圖10所示。

圖9 縱向避障實(shí)驗(yàn)原理

圖10 縱向避障實(shí)驗(yàn)結(jié)果

分析圖10可知，在縱向避障實(shí)驗(yàn)中，應(yīng)用實(shí)驗(yàn)組控制系統(tǒng)依然可以實(shí)現(xiàn)巡航車輛的精準(zhǔn)避障，而對照a組、對照b組控制系統(tǒng)都只能在個(gè)別目標(biāo)節(jié)點(diǎn)處實(shí)現(xiàn)巡航車輛的精準(zhǔn)避障。

4.4 全方位避障實(shí)驗(yàn)

根據(jù)圖11設(shè)計(jì)巡航車輛的全方位避障實(shí)驗(yàn)，具體實(shí)驗(yàn)情況如圖12所示。

圖12 全方位避障實(shí)驗(yàn)結(jié)果

分析圖12可知，在全方位避障實(shí)驗(yàn)中，應(yīng)用實(shí)驗(yàn)組可以實(shí)現(xiàn)巡航車輛的精準(zhǔn)避障，而應(yīng)用對照a組控制系統(tǒng)、對照b組控制系統(tǒng)則無法實(shí)現(xiàn)精準(zhǔn)避障。

4.5 數(shù)據(jù)統(tǒng)計(jì)

聯(lián)合圖8、圖10中的實(shí)驗(yàn)結(jié)果，求解障礙物與目標(biāo)車輛之間距離的平均值，具體計(jì)算結(jié)果如表1所示。

表1 間隔距離平均值

分析表1可知，整個(gè)實(shí)驗(yàn)過程中，實(shí)驗(yàn)組橫向、縱向及全方位間隔距離平均值均大于0.3 m，表示應(yīng)用該系統(tǒng)始終可以實(shí)現(xiàn)巡航車輛的精準(zhǔn)避障；對照a組橫向間隔距離平均值大于0.3 m、縱向及全方位間隔距離平均值小于0.3 m，表示應(yīng)用該系統(tǒng)僅可使實(shí)現(xiàn)巡航車輛的橫向精準(zhǔn)避障；對照b組橫向、縱向及全方位間隔距離平均值均小于0.3 m，表示應(yīng)用該系統(tǒng)不可以實(shí)現(xiàn)巡航車輛的精準(zhǔn)避障。

綜上可知本次實(shí)驗(yàn)結(jié)論為：

1)自適應(yīng)巡航控制系統(tǒng)、基于變采樣時(shí)間模型的巡航系統(tǒng)的應(yīng)用都無法保證障礙物與目標(biāo)車輛之間的距離一直大于0.3 m，故而這兩種系統(tǒng)在實(shí)現(xiàn)巡航車輛精準(zhǔn)避障方面的應(yīng)用能力相對有限。

2)基于深度強(qiáng)化學(xué)習(xí)的協(xié)調(diào)決策控制系統(tǒng)可以保證障礙物與目標(biāo)車輛之間的橫向、縱向距離均大于0.3 m，符合精準(zhǔn)避障的應(yīng)用需求，因此與其他類型的控制系統(tǒng)相比，該系統(tǒng)的應(yīng)用可以大幅提升車輛巡航避障能力，實(shí)現(xiàn)對運(yùn)動(dòng)目標(biāo)的精準(zhǔn)決策。

5 結(jié)束語

車輛多目標(biāo)協(xié)同巡航?jīng)Q策控制系統(tǒng)在深度強(qiáng)化學(xué)習(xí)算法的基礎(chǔ)上，聯(lián)合主控制電路、ACC控制器、雙閉環(huán)控制器、多目標(biāo)解耦模塊等多個(gè)硬件應(yīng)用結(jié)構(gòu)，對車輛運(yùn)動(dòng)行為進(jìn)行控制，又通過定義車輛目標(biāo)數(shù)據(jù)集合的方式，求解協(xié)同參數(shù)的取值范圍，從而實(shí)現(xiàn)對多目標(biāo)對象的量化分析。與自適應(yīng)巡航控制系統(tǒng)、基于變采樣時(shí)間模型的巡航系統(tǒng)相比，這種新型控制系統(tǒng)在橫、縱兩個(gè)方向上的避障準(zhǔn)確度都達(dá)到了100%，不但提升了行進(jìn)車輛的避障能力，還可以對運(yùn)動(dòng)目標(biāo)進(jìn)行精準(zhǔn)決策。未來相關(guān)研究單位可以在該控制系統(tǒng)的基礎(chǔ)上，提升巡航車輛對動(dòng)態(tài)障礙物的運(yùn)動(dòng)避障能力，從而在滿足協(xié)同巡航作用需求的同時(shí)，實(shí)現(xiàn)對目標(biāo)對象節(jié)點(diǎn)的精準(zhǔn)捕獲與處理。