基于啟發(fā)式強化學(xué)習(xí)的AGV路徑規(guī)劃

唐恒亮，唐滋芳，董晨剛，尹棋正，海秋茹

(北京物資學(xué)院信息學(xué)院，北京 101149)

隨著智能化與無人化科技的快速發(fā)展，自動引導(dǎo)小車(automated guided vehicle,AGV)在智能倉儲中的應(yīng)用愈加廣泛.AGV路徑規(guī)劃是指在最短時間、最短路徑和最小能耗的指標(biāo)下，為AGV規(guī)劃出一條從任務(wù)起點到任務(wù)終點的無障礙最優(yōu)路徑.目前，常用于AGV路徑規(guī)劃的算法有人工勢場法、A*算法、遺傳算法、蟻群算法、神經(jīng)網(wǎng)絡(luò)算法和強化學(xué)習(xí)算法等，這些算法都存在各自的優(yōu)勢，但在目前的復(fù)雜環(huán)境下也存在靈活性不高、收斂速度慢、易陷入局部最優(yōu)解等問題.為優(yōu)化這些問題，相關(guān)的學(xué)者一直在科研的道路上前赴后繼.

用于AGV路徑規(guī)劃的傳統(tǒng)算法主要有A*算法、Dijkstra算法、人工勢場法和模擬退火法等.趙曉等[1]結(jié)合跳點搜索算法改進A*算法，讓跳點替換Openlist和Closelist中的不必要節(jié)點，簡化了計算，縮短了尋徑時間；針對A*算法逐個檢查相鄰節(jié)點從而增加處理時間的問題，Guruji等[2]改進了A*算法，在碰撞階段和碰撞過程之前計算目標(biāo)函數(shù)，減少了處理時間.賀麗娜等[3]將Dijkstra算法和時間窗原理結(jié)合起來順序規(guī)劃每個AGV的路徑，能夠有效避免死鎖與碰撞.人工勢場法結(jié)構(gòu)簡單，但對周圍環(huán)境感知較弱，易陷入局部最優(yōu)解且目標(biāo)不可達.因此，Lazarowska[4]提出了離散化人工勢場算法，修改無沖突路徑以獲得更平滑和更短的路徑；Zhang[5]針對傳統(tǒng)人工勢場法，將智能體的運動方向作為控制變量，解決了路徑搖擺的問題.模擬退火算法存在收斂速度慢，全局搜索能力弱的問題.Issam等[6]結(jié)合模擬退火與禁忌搜索算法，加快了收斂速度且獲得了更精確的規(guī)劃路徑；鞏敦衛(wèi)等[7]在模擬退火算法的基礎(chǔ)上引入了脫障算子和一致尋優(yōu)算子，提高了全局搜索能力.傳統(tǒng)算法雖然能規(guī)劃出完整路徑，但全局搜索與學(xué)習(xí)能力確實不及智能算法.

用于AGV路徑規(guī)劃的智能算法主要有人工神經(jīng)網(wǎng)絡(luò)算法、遺傳算法、蟻群算法和粒子群算法等.人工神經(jīng)網(wǎng)絡(luò)算法能夠自學(xué)習(xí)、自組織、自適應(yīng)，靈活性很強.Singh等[8]設(shè)計了4層神經(jīng)網(wǎng)絡(luò)且通過反向傳播算法來訓(xùn)練網(wǎng)絡(luò)使得機器人在避開靜態(tài)障礙物方面取得明顯成效；Oscar等[9]為完善規(guī)劃路徑多項指標(biāo)，設(shè)計了多目標(biāo)遺傳算法(multiple objective genetic algorithms，MOGA)；王功亮等[10]在適應(yīng)度函數(shù)中添加轉(zhuǎn)彎角度控制因子，將路徑最短和轉(zhuǎn)彎角度作為適應(yīng)度函數(shù)的影響因子，并證明了改進結(jié)果的有效性.蟻群算法在路徑規(guī)劃中存在前期路徑有效性差且易陷入局部極小值的問題.Stutzle等[11]提出了最大最小螞蟻系統(tǒng)(max-min ant system,MMAS)，限制了路徑上信息素的最大和最小值，可在一定程度上避免陷入局部最優(yōu)解；楊洋等[12]提出了基于彈性時間窗和改進蟻群算法的多AGV避碰路徑優(yōu)化策略，改進了傳統(tǒng)蟻群算法的啟發(fā)式信息和信息素更新策略，提出了AGV任務(wù)優(yōu)先級排序并改進沖突解決策略.粒子群算法在路徑規(guī)劃中易陷入局部極小點，收斂速度慢.Tang等[13]提出一種隨機擾動自適應(yīng)粒子群算法，通過微小擾動幫助粒子跳出局部極小點；Li等[14]將路徑規(guī)劃問題轉(zhuǎn)化為考慮路徑長度、碰撞風(fēng)險程度和平滑度的多目標(biāo)優(yōu)化問題，在算法中引入自適應(yīng)機制來選擇最合適的搜索策略.智能搜索算法易陷入局部最小值且避障困難、學(xué)習(xí)效率低，在實際應(yīng)用中效果不及強化學(xué)習(xí)算法.

用于AGV路徑規(guī)劃的強化學(xué)習(xí)算法主要包括值函數(shù)法和直接策略搜索法[15].Q-learning算法是典型的、最受研究者青睞的基于值函數(shù)的強化學(xué)習(xí)算法，它使AGV具有自學(xué)習(xí)的能力[16]，但在動態(tài)連續(xù)環(huán)境中，由于數(shù)據(jù)量較大導(dǎo)致Q值表存儲空間不足，存在維數(shù)災(zāi)難問題，并且在沒有先驗知識的情況下，算法的學(xué)習(xí)效率較低.Zhang等[17]在訓(xùn)練網(wǎng)絡(luò)中引入貪婪搜索因子，彌補了沒有先驗知識的不足，提高了Q-learning算法的學(xué)習(xí)效率.Fakoor等[18]將模糊邏輯引入到強化學(xué)習(xí)算法中求解路徑規(guī)劃問題.于乃功等[19]提出了一種Q值表設(shè)計方法，并設(shè)計了適用于連續(xù)環(huán)境的R值和動作，實現(xiàn)了Q-learning算法的動態(tài)避障.張福海等[20]通過將障礙物與方位信息離散成有限個狀態(tài)，從而設(shè)計環(huán)境模型與狀態(tài)空間數(shù)目，同時使用連續(xù)報酬函數(shù)使算法的訓(xùn)練效率提高.為解決強化學(xué)習(xí)在路徑規(guī)劃中存在路徑平滑度差和收斂速度慢的問題，徐曉蘇等[21]提出在Q值初始化中加入人工勢場來加快收斂速度，同時在狀態(tài)集中增加方向因素使路徑更加平滑，但沒有涉及AGV如何處理障礙的問題.對此衛(wèi)玉梁等[22]用徑向基函數(shù)網(wǎng)絡(luò)(radial basis function,RBF)逼近Q-learning算法的動作值函數(shù)，實現(xiàn)了AGV在行駛環(huán)境中的路障規(guī)避.強化學(xué)習(xí)算法的全局搜索與學(xué)習(xí)能力比傳統(tǒng)算法與智能算法強，但也存在收斂速度慢、引導(dǎo)不足導(dǎo)致學(xué)習(xí)效率低等問題.

針對上述傳統(tǒng)算法、智能算法與強化學(xué)習(xí)算法在AGV路徑規(guī)劃中收斂速度慢、學(xué)習(xí)效率低等問題，本文基于強化學(xué)習(xí)中的多步Q-learning算法，即Q(λ)算法，引入了啟發(fā)式獎勵函數(shù)與動作選擇策略，以提升傳統(tǒng)強化學(xué)習(xí)算法學(xué)習(xí)效率和收斂速度.利用啟發(fā)式強化學(xué)習(xí)算法結(jié)合障礙地圖環(huán)境，使智能體在不需要任何先驗知識的前提下，通過訓(xùn)練不斷調(diào)整自身行為，從而實現(xiàn)高效的路徑規(guī)劃.

1 強化學(xué)習(xí)路徑規(guī)劃算法總體思路

首先，采用柵格法對地圖環(huán)境進行建模，用二維坐標(biāo)表示地圖中各個點的位置，并在地圖中設(shè)置障礙物.其次，分別利用傳統(tǒng)Q(λ)算法和改進的Q(λ)算法在地圖環(huán)境中進行訓(xùn)練學(xué)習(xí)，通過不斷試錯與行為調(diào)整后，得出各算法的訓(xùn)練模型.然后，根據(jù)模型，分別再用傳統(tǒng)的與改進的Q(λ)算法在相同的地圖環(huán)境中進行自主學(xué)習(xí)，得出最終的規(guī)劃路徑.重復(fù)實驗20次，同時記錄每個算法的探索次數(shù)、路徑總長度、路徑規(guī)劃完成時間以及路徑總轉(zhuǎn)角，以這些數(shù)據(jù)指標(biāo)來判斷改進后的Q(λ)算法是否比傳統(tǒng)的Q(λ)算法存在一定的優(yōu)勢.

改進的啟發(fā)式Q(λ)算法在路徑規(guī)劃時，先設(shè)置初始參數(shù)，通過啟發(fā)式獎勵函數(shù)實現(xiàn)對智能體每一步動作的持續(xù)性即時獎勵，讓智能體能夠在即時的持續(xù)獎勵中快速學(xué)習(xí)好的動作，提升算法收斂效率.其次，根據(jù)啟發(fā)式獎勵函數(shù)設(shè)計得到連續(xù)的Q值表后，針對ε-greedy探索策略，引入調(diào)和函數(shù)實現(xiàn)啟發(fā)式動作選擇策略，使得智能體能夠弱化無價值的行為，強化高收益的行為，智慧地選擇并執(zhí)行高回報的動作，從而減少不必要的探索行為，加快尋徑速度.本文強化學(xué)習(xí)路徑規(guī)劃問題的總體思路見圖1.

圖1 強化學(xué)習(xí)路徑規(guī)劃總體思路Fig.1 General idea of the reinforcement learning path planning

2 傳統(tǒng)Q(λ)算法

強化學(xué)習(xí)算法中，智能體經(jīng)過不斷的更新迭代，與周圍環(huán)境信息進行交互和作用，并依據(jù)環(huán)境信息進行自主的適應(yīng)和調(diào)整，實現(xiàn)最大化獎勵.獲得累積最大化獎勵所對應(yīng)的動作選擇策略構(gòu)成智能體的最佳動作策略集.在實際的強化學(xué)習(xí)進程中，因為環(huán)境給予的信息畢竟有限，所以智能體必須在利用已有經(jīng)驗和知識的基礎(chǔ)上，通過自身和環(huán)境的持續(xù)交互以及試錯來進行學(xué)習(xí)，傳統(tǒng)的強化學(xué)習(xí)框架如圖2所示.

圖2 強化學(xué)習(xí)基本框圖Fig.2 Basic diagram of reinforcement learning

2.1 算法簡介

由Watkins[23]提出的Q-learning算法實施步驟較為簡便，具有較強的擴展性和適應(yīng)性，同時不會受模型的干擾和影響，一直備受諸多學(xué)者的青睞.但在傳統(tǒng)的Q-learning算法中，由于其數(shù)據(jù)的傳輸過程會有所滯后，算法每一次更新迭代都要進行整個過程的備份，相對來說比較繁復(fù)，收斂速度慢.針對此問題，在參考時間差分[24](TD(λ))思想的基礎(chǔ)上，Q(λ)算法是在Q學(xué)習(xí)基礎(chǔ)上提出的多步Q學(xué)習(xí)算法.

Q(λ)算法的思想主要來源于TD(λ)算法，核心與TD(λ)算法相類似，在原先的Q(λ)算法中首次應(yīng)用了資格跡機制[25]，使系統(tǒng)會自動對智能體訪問的狀態(tài)進行標(biāo)識.Q(λ)算法在狀態(tài)s執(zhí)行動作a的價值函數(shù)迭代公式為

Q(s,a)=Q(s,a)+αδe(s,a)

(1)

式中：α為學(xué)習(xí)率；δ為Q值增量，即

(2)

式中：γ為折扣因子，一般取值為0.9；r為在不同情況下狀態(tài)s采取動作a對應(yīng)的獎勵，即

(3)

式中m、n為正數(shù).

(4)

式中：e(s,a)為資格跡；λ為學(xué)習(xí)步長.

最終輸出使價值函數(shù)最大化的最優(yōu)策略為

(5)

2.2 算法優(yōu)缺點

Q(λ)算法結(jié)合了Q-learning和TD(λ)回報思想，利用將來無限多步的信息更新當(dāng)前Q函數(shù)，并給出了基于資格跡的實現(xiàn)算法.Q(λ)算法主要依據(jù)狀態(tài)對應(yīng)的回報值選取相應(yīng)動作，該查詢二維表的方式存在以下不足：

1)Q(λ)算法要對狀態(tài)及動作的Q值和相應(yīng)的資格跡矩陣進行更新，當(dāng)狀態(tài)及動作空間規(guī)模很大時，計算量也很大，使得算法學(xué)習(xí)效率不高.

2)智能體在最初開始學(xué)習(xí)的過程中，對環(huán)境的認(rèn)知是一片空白，不清楚什么動作是最佳策略.這時，如果獎勵反饋是離散的，那么勢必會使智能體在很長一段時間里處于任意狀態(tài)，會浪費大量時間.

3 Q(λ)算法改進

針對Q(λ)算法存在學(xué)習(xí)效率不高、收斂速度慢、動作選擇不穩(wěn)定的問題，本文結(jié)合啟發(fā)式強化學(xué)習(xí)算法，做了如下2個改進：

1)設(shè)計啟發(fā)式獎勵函數(shù)，引入啟發(fā)因子D和E，根據(jù)不同狀態(tài)與目標(biāo)狀態(tài)距離遠(yuǎn)近設(shè)計不同獎勵值，為每一步動作計算生成不同獎勵，得到持續(xù)獎勵反饋，降低智能體的無效探索.

2)在傳統(tǒng)動作選擇策略的基礎(chǔ)上增設(shè)調(diào)和函數(shù)G(st)以強化引導(dǎo)智能體的動作選擇方式，使智能體更趨向于選擇優(yōu)質(zhì)行為，進而提高其學(xué)習(xí)效率.

3.1 啟發(fā)式獎勵函數(shù)設(shè)計

一般的求解路徑規(guī)劃問題的傳統(tǒng)強化學(xué)習(xí)方法，通常都會運用離散性獎勵函數(shù)進行計算和模擬，具體的學(xué)習(xí)方式為：使智能體不斷根據(jù)狀態(tài)選擇行為去執(zhí)行，監(jiān)測并掌握智能體相應(yīng)獲得的獎勵信息，再通過獎勵的反饋機制來對原有的行為進行改進和調(diào)整.由于智能體在最初開始學(xué)習(xí)的過程中，對環(huán)境的認(rèn)知是一片空白，不清楚什么動作是最佳策略，這時，如果獎勵函數(shù)是離散的，勢必會使智能體在很長一段時間里處于任意的盲目狀態(tài)，造成大量時間浪費.因此，應(yīng)借助合理的途徑和渠道把啟發(fā)式思想與智能體的學(xué)習(xí)相結(jié)合，提升強化學(xué)習(xí)的效率和質(zhì)量.針對這一問題，本文設(shè)計啟發(fā)式獎勵函數(shù)為智能體提供持續(xù)性的獎懲信息，使智能體能夠更加高效地學(xué)習(xí)知識和經(jīng)驗.

在進行AGV路徑規(guī)劃時，從起點到終點移動智能體會經(jīng)歷許多不同的狀態(tài)，這些狀態(tài)的評價應(yīng)該是不盡相同的.例如，通過一些先驗領(lǐng)域的知識可以知道，當(dāng)AGV所處的狀態(tài)越接近終點狀態(tài)，其獲得的獎勵值越大；反之，其獲得的獎勵值越小.因此，本文參考文獻[26-27]的獎勵參數(shù)設(shè)置并結(jié)合本文實驗設(shè)計模式，將幾種不同狀態(tài)下的獎勵情況定義為

(6)

同時，本文對地圖環(huán)境信息進行特征提取，計算任意的當(dāng)前狀態(tài)所在位置的坐標(biāo)與終點所在位置坐標(biāo)的歐氏距離，計算公式為

(7)

距離D刻畫了AGV當(dāng)前狀態(tài)與目標(biāo)狀態(tài)的差距大小，為獎勵函數(shù)引入了啟發(fā)因子.E代表了當(dāng)前狀態(tài)與地圖邊界及地圖中障礙物的歐氏距離總和，反映了當(dāng)前狀態(tài)與懲罰狀態(tài)的接近程度.D、E為獎勵函數(shù)R的啟發(fā)因子，啟發(fā)式獎勵函數(shù)R為

習(xí)近平總書記在中國共產(chǎn)黨第十九次全國代表大會報告中指出：“要建立現(xiàn)代金融體系”；“健全金融監(jiān)管體系，守住不發(fā)生系統(tǒng)性金融風(fēng)險的底線”。 “校園貸”作為現(xiàn)代金融體系中不可忽視的一部分，在現(xiàn)實中卻是一把雙刃劍。進入校園后，一方面為在校大學(xué)生提供了便利的同時，另一方面也不斷爆出各種負(fù)面新聞。根據(jù)媒體報道，因各種原因落入“校園貸”圈套的被騙學(xué)生已不在少數(shù)。及時發(fā)現(xiàn)高職院校“校園貸”中存在的問題，增強高職院校學(xué)生相關(guān)的法律觀念和意識，抵制不良“校園貸”，防患于未然，對于高等職業(yè)人才的培養(yǎng)具有很強的現(xiàn)實性和迫切性。

(8)

為保證不對已有的獎勵r產(chǎn)生較大的影響，不影響算法隨機探索的特性，通過反復(fù)實驗測試后，將c取值為0.6，d取值為0.4.

3.2 啟發(fā)式動作選擇策略

通常情況下，在同一環(huán)境的不斷交互過程中，智能體可以通過持續(xù)的學(xué)習(xí)結(jié)果來修正Q值表的相應(yīng)值，并查找、選擇最佳策略以獲取最大的回報函數(shù).從另一個方面來說，智能體還須進行不同的嘗試，探索開發(fā)新的路徑和方法，對具體的搜索范圍進行擴展，對陷入局部最優(yōu)的情況進行有效的規(guī)避和應(yīng)對.Q-learning算法大多采用ε-greedy探索策略來進行動作選擇.ε-greedy是在貪心策略前提下進行完善和改進的探索策略，其主要意圖是使智能體能夠依據(jù)一定的概率來選擇并執(zhí)行相應(yīng)的動作策略.當(dāng)智能體進行具體的動作策略選擇時，用概率ε選擇隨機動作策略，使智能體搜索到更多的狀態(tài)空間；利用概率1-ε選取使得獎勵函數(shù)取得最大值所對應(yīng)的動作策略，從而實現(xiàn)周邊環(huán)境信息和數(shù)據(jù)的最大化探索.具體的表達式為

(9)

式中p為(0，1)內(nèi)的任意一個隨機數(shù)，當(dāng)這個隨機數(shù)小于1-ε時，選擇狀態(tài)s對應(yīng)獎勵值最大的動作a，反之將隨機選擇下一個動作.

本文采用改進ε-greedy探索策略并結(jié)合啟發(fā)式思想來共同決定智能體在學(xué)習(xí)過程中的動作選擇策略，即在ε-greedy探索策略基礎(chǔ)上新增了調(diào)和函數(shù)G(st).調(diào)和函數(shù)的主要作用為：在智能體進行動作選擇的決策過程中，結(jié)合調(diào)和函數(shù)來分析動作策略，智能地調(diào)整每次決策對整體過程的影響，通過不斷的嘗試和實驗，強化好的決策，弱化壞的決策，減少不必要的探索和行為，加快整個算法的收斂速度.改進后的搜索策略的探索分布式為

(10)

式中：Q(st,at)代表了某一狀態(tài)st下的Q值；G(st)代表了該狀態(tài)下的調(diào)和函數(shù)，其形式為

(11)

式中：xi為當(dāng)前AGV所處位置狀態(tài)的橫坐標(biāo)；xi-1為前一個狀態(tài)下的AGV位置的橫坐標(biāo)；xend為AGV終點目標(biāo)的橫坐標(biāo)；η為一個較小的正常數(shù).本文實驗設(shè)計中，AGV運行的起點和終點的橫坐標(biāo)是不相同的，故利用式(11)可以較好地度量AGV從初始狀態(tài)到當(dāng)前狀態(tài)與終點狀態(tài)的橫坐標(biāo)的距離接近程度.當(dāng)G(st)的值為正數(shù)時，表明當(dāng)前所執(zhí)行的動作序列在橫坐標(biāo)方向上接近目標(biāo)狀態(tài)；當(dāng)G(st)的值為負(fù)數(shù)時，表明當(dāng)前的動作選擇在橫坐標(biāo)方向上遠(yuǎn)離目標(biāo)狀態(tài).

通過引入啟發(fā)因子D、E和調(diào)和函數(shù)G(st)，對傳統(tǒng)Q(λ)算法在獎勵函數(shù)設(shè)計與動作選擇策略兩方面分別進行改進，使得算法在整體學(xué)習(xí)效率上有了很大的提高，有效地減少了探索無效狀態(tài)的次數(shù)，也減少了探索低收益動作的次數(shù)，從而加速了算法的收斂過程.啟發(fā)式Q(λ)算法學(xué)習(xí)框架如圖3所示.

圖3 啟發(fā)式Q(λ)算法學(xué)習(xí)框架Fig.3 Learning frame of heuristic Q(λ)algorithm

改進后的Q(λ)算法流程如算法1所示.

算法1改進Q(λ)算法流程

1)將Q初始化為0，同時給定α、γ、λ、ε、m、n的初始值.

2)隨機選擇初始狀態(tài)s0.

3)根據(jù)啟發(fā)式動作選擇策略選擇當(dāng)前狀態(tài)st對應(yīng)的動作at，并由式(8)反饋得到這一動作的立即回報R(st).

4)結(jié)合式(1)～(3)，計算價值函數(shù)Q(st,at)，并從當(dāng)前狀態(tài)st過渡到下一個狀態(tài)st+1.

5)不斷重復(fù)執(zhí)行3)和4)，直到s狀態(tài)為終止?fàn)顟B(tài)或達到最大迭代次數(shù).

6)輸出最優(yōu)策略π(s).

4 仿真實驗

為了驗證啟發(fā)式強化學(xué)習(xí)算法相比于傳統(tǒng)強化學(xué)習(xí)算法在單AGV路徑規(guī)劃中具有一定的優(yōu)越性，本文結(jié)合傳統(tǒng)Q(λ)算法與改進的Q(λ)算法，基于MATLAB設(shè)計了AGV路徑規(guī)劃仿真實驗，以驗證本文提出的啟發(fā)式改進策略的有效性.

目前，對地圖環(huán)境建模的方法主要有可視圖法[28]、幾何法[29]和柵格法[30]等，其中柵格法應(yīng)用簡單，便于更新維護.實驗采用的AGV運行地圖環(huán)境為柵格化之后100 m×60 m的虛擬地圖，AGV的尺寸為1 m2，每次所能執(zhí)行的動作為上下左右每次移動一個單位長度，以柵格中心的坐標(biāo)state(i，j)作為其位置信息(i、j分別為柵格中心的橫、縱坐標(biāo))，見圖4.

圖4 柵格坐標(biāo)示意圖Fig.4 Diagram of grid coordinates

參考文獻[31-32]的相關(guān)實驗參數(shù)設(shè)置，本文所采用的強化學(xué)習(xí)算法中的相關(guān)參數(shù)設(shè)置如表1所示.

表1 Q(λ)算法初始參數(shù)設(shè)置Table 1 Initial parameters of Q(λ)algorithm

4.1 實驗結(jié)果

假設(shè)在柵格化的虛擬地圖中，AGV分別以state(5，95)、state(5，45)及state(5,5)作為起始點，終點狀態(tài)分別為state(95，5)、state(95，45)和state(95,95)，并且在地圖中設(shè)置3種障礙環(huán)境，命名為障礙1、障礙2和障礙3.首先，對傳統(tǒng)Q(λ)算法與啟發(fā)式Q(λ)算法在設(shè)有相同障礙的地圖環(huán)境中分別進行學(xué)習(xí)訓(xùn)練，得到離散性Q值表與連續(xù)性Q值表，圖5為在障礙1地圖環(huán)境中訓(xùn)練得到的Q值表；然后，根據(jù)訓(xùn)練所得的模型，利用2個算法分別在障礙1、障礙2和障礙3的地圖環(huán)境中進行20組全局路徑規(guī)劃實驗，具有代表性的規(guī)劃路徑結(jié)果見圖6～8，圖中紅色線表示障礙體.

圖5 2種算法的Q值表對比Fig.5 Comparison of Q table between two algorithms

圖6 障礙1環(huán)境下的2種算法路徑規(guī)劃結(jié)果對比Fig.6 Comparison of planned path between two algorithms in obstacle 1

圖7 障礙2環(huán)境下的2種算法路徑規(guī)劃結(jié)果對比Fig.7 Comparison of planned path between two algorithms in obstacle 2

圖8 障礙3環(huán)境下的2種算法路徑規(guī)劃結(jié)果對比Fig.8 Comparison of planned path between two algorithms in obstacle 3

傳統(tǒng)Q(λ)算法與啟發(fā)式Q(λ)算法分別在3種障礙環(huán)境中進行20組實驗，得到4個主要性能指標(biāo)數(shù)據(jù)均值，如表2所示.由表2可見，啟發(fā)式Q(λ)算法比傳統(tǒng)Q(λ)算法在探索次數(shù)、路徑規(guī)劃時間、路徑長度、路徑轉(zhuǎn)角方面分別提升20.53%、16.31%、30.77%、50.00%.

表2 傳統(tǒng)Q(λ)算法與啟發(fā)式Q(λ)算法實驗數(shù)據(jù)對比Table 2 Comparison of results between traditional Q(λ)algorithm and heuristic Q(λ)algorithm

此外，為進一步驗證本文啟發(fā)式強化學(xué)習(xí)算法的性能，結(jié)合本文實驗環(huán)境，將本文算法與基于成功率搜索[33]的Q(λ)算法在障礙1環(huán)境下進行路徑規(guī)劃實驗對比，此對比實驗結(jié)果作為考量本文算法可行性的一個參考.具有代表性的基于成功率搜索的Q(λ)算法路徑規(guī)劃結(jié)果見圖9.

圖9 障礙1環(huán)境中基于成功率搜索的Q(λ)算法AGV路線Fig.9 AGV path of Q(λ)algorithm based on success rate search in obstacle 1

通過在障礙1環(huán)境下進行20次反復(fù)實驗，得出基于成功率搜索的Q(λ)算法與啟發(fā)式Q(λ)算法的主要性能指標(biāo)均值，見表3.

表3 基于成功率搜索的Q(λ)算法與啟發(fā)式Q(λ)算法實驗數(shù)據(jù)對比Table 3 Comparison of results between Q(λ)algorithm based on success rate search and heuristic Q(λ)algorithm

4.2 實驗結(jié)果分析

通過分析實驗結(jié)果，可知：

1)通過設(shè)計啟發(fā)性的持續(xù)獎勵，使得AGV在每一個動作中都能獲得不同程度的反饋.由圖5(a)可知，離散性的獎勵分布使AGV在很多時刻都是盲目且無序的狀態(tài)，浪費了大量的尋徑時間，而圖5(b)中不同的持續(xù)獎勵值可使AGV能更準(zhǔn)確地判斷哪些動作是有價值的且能判斷每個動作的價值程度，便于提高AGV的學(xué)習(xí)效率.

2)結(jié)合圖6～8和表2可知，通過設(shè)計啟發(fā)式動作選擇策略，使得Q(λ)算法規(guī)劃出的AGV路徑更加簡短.相比于傳統(tǒng)Q(λ)算法，啟發(fā)式Q(λ)算法規(guī)劃的路徑長度減少了30.77%，路徑轉(zhuǎn)角減少了50%；結(jié)合圖6(b)、圖9與表3可知，與基于成功率搜索的Q(λ)算法相比，本文啟發(fā)式動作選擇策略在減少路徑轉(zhuǎn)角、簡化規(guī)劃路徑方面具有一定的優(yōu)勢.可見，本文改進后的算法在很大程度上節(jié)約了AGV的能耗.

3)通過表2分析可知，在相同的障礙地圖環(huán)境中，啟發(fā)式Q(λ)算法的探索次數(shù)更少，提升了20.53%，減少的探索次數(shù)說明改進后的Q(λ)算法收斂速度更快，有效探索的比率更高.此外，相比于傳統(tǒng)的Q(λ)算法，同等條件下，啟發(fā)式Q(λ)算法能夠節(jié)省16.31%的路徑規(guī)劃時間.假如將問題規(guī)模擴大，那么將會節(jié)約較大程度的時間成本.

5 結(jié)論

1)本文針對傳統(tǒng)強化學(xué)習(xí)算法存在學(xué)習(xí)效率低、收斂速度慢的問題，在傳統(tǒng)Q(λ)算法中引入啟發(fā)式思想，設(shè)計啟發(fā)式獎勵函數(shù)，實現(xiàn)對智能體連續(xù)性動作的實時獎勵反饋，從而優(yōu)化獎勵反饋機制，提升智能體學(xué)習(xí)能力與效率.

2)本文提出了基于ε-greedy探索策略和調(diào)和函數(shù)的啟發(fā)式動作選擇策略，使智能體能夠在一定程度中和不佳策略，強化其有效探索，明顯縮短智能體尋徑時間.

3)本文引入并融合啟發(fā)式思想以提升傳統(tǒng)強化學(xué)習(xí)算法的學(xué)習(xí)效率與收斂時間，后續(xù)可進一步探討多AGV動態(tài)障礙環(huán)境中啟發(fā)式強化學(xué)習(xí)方法的可行性.