基于雙深度Q網(wǎng)絡(luò)的智能決策系統(tǒng)研究

況立群，馮 利，韓 燮，賈炅昊，郭廣行

(1.中北大學(xué) 大數(shù)據(jù)學(xué)院，山西 太原 030051;2.北方自動控制技術(shù)研究所，山西 太原 030006;3.太原師范學(xué)院 地理科學(xué)學(xué)院，山西 太原 030006)

0 引 言

決策的主要任務(wù)是對諸多影響因素進(jìn)行綜合分析，進(jìn)而產(chǎn)生效益最好且所需付代價最小的可行方案。通常需要從多個角度來綜合考量，僅僅依靠人力決策將面臨著數(shù)據(jù)集龐大、模型設(shè)計復(fù)雜、預(yù)測準(zhǔn)確性差、受人為因素影響大等問題。智能決策算法可有效解決上述問題，其可靠性高，受個人經(jīng)驗和思維能力等主觀影響較小，面對龐大的數(shù)據(jù)計算問題通過計算機(jī)輔助決策也可迎刃而解。隨著計算機(jī)技術(shù)的發(fā)展和決策算法的逐漸成熟，智能決策算法被廣泛應(yīng)用于醫(yī)療、教育、交通以及軍事等各個領(lǐng)域，智能決策系統(tǒng)在諸多領(lǐng)域中發(fā)揮著越來越重要的作用。

傳統(tǒng)的智能決策算法一般采用動態(tài)規(guī)劃、決策樹、遺傳算法等理論方法，陳建凱提出了區(qū)間值屬性的單調(diào)決策樹算法，有效提高了單調(diào)分類問題的計算效率。王輝等人提出了一種基于動態(tài)規(guī)劃的改進(jìn)算法，提高了算法收斂速度和尋優(yōu)能力。但在智能決策領(lǐng)域這些借助人工經(jīng)驗的經(jīng)典算法智能化程度通常較低，而且遺傳算法對新空間的探索能力有限，容易出現(xiàn)“早熟”問題；動態(tài)規(guī)劃占據(jù)過多的空間，對計算機(jī)資源造成浪費；決策樹受主觀性影響較大，可能導(dǎo)致決策失誤。

目前智能決策領(lǐng)域更多采用強(qiáng)化學(xué)習(xí)來驅(qū)動智能體決策行為，可有效彌補(bǔ)傳統(tǒng)決策算法所面臨的不足。雷瑩等人開發(fā)出一種合作Markov決策系統(tǒng)，提出了一種尋找最優(yōu)策略對的學(xué)習(xí)算法，智能體可交替執(zhí)行行為，實現(xiàn)多智能體之間任務(wù)協(xié)同的決策演練。強(qiáng)化學(xué)習(xí)中的經(jīng)典算法Q-learning是一種離線策略的學(xué)習(xí)算法，根據(jù)策略所選取的動作與當(dāng)前環(huán)境相互交互，產(chǎn)生相應(yīng)的獎勵值以及下一步的狀態(tài)來不斷地更新Q表，得到更優(yōu)的Q函數(shù)，從而探索出更優(yōu)的應(yīng)對環(huán)境新態(tài)勢的決策方案。然而，在空間和時間多樣化、復(fù)雜化的決策任務(wù)中，任務(wù)狀態(tài)已經(jīng)龐大到無法通過Q表進(jìn)行存儲，導(dǎo)致維度災(zāi)難問題。

阿爾法圍棋是近幾年由Google DeepMind開發(fā)的基于深度強(qiáng)化學(xué)習(xí)的人工智能圍棋軟件，其通過與自身進(jìn)行上千萬次的博弈來提升棋藝，擊敗了人類頂級圍棋棋手，而且在對弈的過程中竟運用了許多創(chuàng)新招式。這為該文研究智能決策算法提供了新的思路，即研究基于深度強(qiáng)化學(xué)習(xí)算法的深度神經(jīng)網(wǎng)絡(luò)來解決維度災(zāi)難問題。該文通過虛擬的對抗演練系統(tǒng)對智能決策算法進(jìn)行驗證，智能體根據(jù)地圖數(shù)據(jù)、環(huán)境數(shù)據(jù)以及敵方的兵力布置等信息，利用雙深度Q網(wǎng)絡(luò)的深度強(qiáng)化學(xué)習(xí)算法與環(huán)境相互交互，不斷地試錯學(xué)習(xí)，在盡量躲避敵方火力覆蓋范圍的情況下，短時間確定敵軍目標(biāo)，并以最優(yōu)的策略壓制、殲滅敵軍，擊毀敵軍基地。該文應(yīng)用于智能決策算法領(lǐng)域，為實施智能決策系統(tǒng)提供典型案例。

1 雙深度Q網(wǎng)絡(luò)算法

1.1 深度Q網(wǎng)絡(luò)算法

強(qiáng)化學(xué)習(xí)中的經(jīng)典算法Q-Learning雖然可以求出最優(yōu)策略，但是無法解決維度災(zāi)難問題。該算法為了實現(xiàn)狀態(tài)動作函數(shù)的不斷迭代，將狀態(tài)動作函數(shù)的值儲存于內(nèi)存中，但是計算機(jī)的內(nèi)存空間又極其有限。假如在一個大小為50*50的地理場景中添加10個智能體，那么僅僅是智能體的位置就有約10種不同的情況，顯然大多數(shù)計算機(jī)都無法存儲如此巨大的狀態(tài)表。

深度Q網(wǎng)絡(luò)算法(deep Q network，DQN)是由Mnih等人將卷積神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)的強(qiáng)化學(xué)習(xí)中的Q學(xué)習(xí)算法相結(jié)合所提出的，使用神經(jīng)網(wǎng)絡(luò)來表示價值近似函數(shù)，將深度學(xué)習(xí)的概念融入強(qiáng)化學(xué)習(xí)中，采用價值近似函數(shù)去對狀態(tài)價值函數(shù)Q進(jìn)行近似估計，故而解決了Q-Learning算法的維度災(zāi)難問題。

1.1.1 DQN模型結(jié)構(gòu)

DQN的模型結(jié)構(gòu)如圖1所示。

圖1 DQN模型結(jié)構(gòu)

該模型運用的是Q-Learning的一種變種訓(xùn)練深度卷積神經(jīng)(CNN)，算法模型的輸入是初始狀態(tài)信息，將該輸入信息離散化后經(jīng)過CNN的非線性變換，最終在輸出層產(chǎn)生每個動作相應(yīng)的Q值。

1.1.2 目標(biāo)網(wǎng)絡(luò)

DQN采用近似表示值函數(shù)的優(yōu)化目標(biāo)，將值函數(shù)參數(shù)化表示為

Q

(

φ

(

S

),

A

,

ω

)，每次迭代的優(yōu)化目標(biāo)Q值為：

(1)

(2)

對式3中的參數(shù)

ω

求偏導(dǎo)，得到的損失函數(shù)梯度為：

(3)

DQN采用增加目標(biāo)網(wǎng)絡(luò)的方式降低了當(dāng)前Q值和目標(biāo)Q值的相關(guān)性，從而提高了算法穩(wěn)定性。DQN訓(xùn)練流程如圖2所示。

圖2 DQN訓(xùn)練流程

1.1.3 記憶回放機(jī)制

與Q-Learning算法相比較，DQN還具備一個較大的優(yōu)勢，DQN采用記憶回放機(jī)制訓(xùn)練狀態(tài)價值網(wǎng)絡(luò)，因為狀態(tài)之間的關(guān)聯(lián)性較大，經(jīng)驗回放可以打破樣本間彼此的關(guān)聯(lián)性，所以可以使神經(jīng)網(wǎng)絡(luò)的訓(xùn)練更加收斂和穩(wěn)定，可有效地提高學(xué)習(xí)效率。

1.2 雙深度Q網(wǎng)絡(luò)算法

由于DQN在進(jìn)行值函數(shù)優(yōu)化目標(biāo)時，動作選擇和策略評估都是基于目標(biāo)值網(wǎng)絡(luò)的參數(shù)，因此DQN算法在學(xué)習(xí)過程中常常會出現(xiàn)過高估計Q值的問題，即每次迭代選取的都是下一個狀態(tài)中最大Q值所對應(yīng)的動作。為了解決DQN算法在學(xué)習(xí)中估計值過高的問題，該文在DQN和雙Q-learning算法的基礎(chǔ)上提出一種雙深度Q網(wǎng)絡(luò)(double DQN，DDQN)算法，將動作選擇和策略評估分開進(jìn)行，使用當(dāng)前值網(wǎng)絡(luò)的參數(shù)來選擇最優(yōu)動作，使用目標(biāo)值網(wǎng)絡(luò)的參數(shù)來評估該最優(yōu)動作，以便估計出更加準(zhǔn)確的Q值，獲得更穩(wěn)定有效的策略。DDQN的優(yōu)化目標(biāo)Q值為：

(4)

該文設(shè)計的DDQN算法詳細(xì)描述如下：

(1)初始化Q網(wǎng)絡(luò)參數(shù)

ω

及目標(biāo)Q網(wǎng)絡(luò)Q的參數(shù)

ω

=

ω

，并初始化所有狀態(tài)和動作所對應(yīng)的價值Q。初始化經(jīng)驗回放單元D。(2)for

i

to

T

，進(jìn)行迭代。①初始化狀態(tài)序列中第一個狀態(tài)S，其特征向量為

φ

(

S

)。②將

φ

(

S

)作為Q網(wǎng)絡(luò)中的輸入，得到所有動作所對應(yīng)輸出的Q值，再通過∈-貪婪法選擇對應(yīng)的動作A。③在狀態(tài)S下選擇并執(zhí)行當(dāng)前動作A，得到下一個狀態(tài)的特征向量

φ

(

S

)以及獎勵R，判斷是否為終止?fàn)顟B(tài)is_end。④將五元組{

φ

(

S

)，A，R，

φ

(

S

)，is_end}存入經(jīng)驗回放單元D中。⑤令

S

=

S

。⑥從經(jīng)驗回放單元D中采集

m

個樣本，計算當(dāng)前目標(biāo)Q值

y

，其中

j

=1,2,…,

m

，則：

⑧當(dāng)

i

%

P

=1，則更新目標(biāo)Q網(wǎng)絡(luò)參數(shù)

ω

=

ω

。⑨判斷

S

是否為終止?fàn)顟B(tài)，若是終止?fàn)顟B(tài)則結(jié)束當(dāng)前輪迭代，否則轉(zhuǎn)到步驟②。

1.3 算法參數(shù)設(shè)置

1.3.1 記憶回放單元的相關(guān)參數(shù)設(shè)置

該研究著眼于任務(wù)的復(fù)雜度，將記憶回放單元的大小設(shè)置為1 000，每次訓(xùn)練神經(jīng)網(wǎng)絡(luò)所用到的回放記憶單元的狀態(tài)個數(shù)為50個。在每次獲取到動作所對應(yīng)的激勵值后，系統(tǒng)將執(zhí)行動作前的智能體狀態(tài)、執(zhí)行動作后的智能體狀態(tài)、動作和獎勵值插入記憶回放單元。若記憶回放單元已滿，則彈出當(dāng)前存儲的最早的狀態(tài)。每次訓(xùn)練神經(jīng)網(wǎng)絡(luò)時將隨機(jī)在記憶回放單元中抽取50條記錄以完成對神經(jīng)網(wǎng)絡(luò)的訓(xùn)練。

1.3.2 神經(jīng)網(wǎng)絡(luò)的初始化及更新

設(shè)隱藏層每層偏置

b

的值為0.01，連接每層網(wǎng)絡(luò)的矩陣為，該研究使用正態(tài)分布初始化神經(jīng)網(wǎng)絡(luò)的參數(shù)。隱藏層神經(jīng)網(wǎng)絡(luò)的深度和廣度過大或者過小會使擬合的效果飽和或負(fù)增長，該研究根據(jù)當(dāng)前任務(wù)的復(fù)雜度設(shè)置較為適中的神經(jīng)網(wǎng)絡(luò)大小，以便該神經(jīng)網(wǎng)絡(luò)在各種情況下都適用。后續(xù)實驗中由于大多數(shù)任務(wù)所經(jīng)歷的狀態(tài)數(shù)集中在10 000以內(nèi)，故將隱藏層的第一層廣度設(shè)置為2 500，之后每一層的廣度依次遞減，可有效節(jié)省計算時間和空間。

2 虛擬智能對抗演練系統(tǒng)

為了驗證雙深度Q網(wǎng)絡(luò)算法的有效性，設(shè)計了一套虛擬的智能對抗演練系統(tǒng)，己方作戰(zhàn)單位智能體根據(jù)地圖數(shù)據(jù)、環(huán)境數(shù)據(jù)以及兵力部署等信息，利用DDQN算法在作戰(zhàn)環(huán)境交互試錯中不斷訓(xùn)練學(xué)習(xí)，在盡量躲避敵方火力覆蓋范圍的情況下，短時間確定敵軍目標(biāo)，并以最優(yōu)的策略壓制、殲滅敵軍，擊毀敵軍基地。

2.1 系統(tǒng)總體架構(gòu)

由于執(zhí)行算法程序比較耗費計算機(jī)資源，采用客戶/服務(wù)器模式可有效節(jié)省硬件開銷，提高數(shù)據(jù)處理能力與算法執(zhí)行效率，系統(tǒng)總體架構(gòu)如圖3所示。

圖3 系統(tǒng)總體架構(gòu)

客戶端實現(xiàn)任務(wù)控制及決策推演結(jié)果折線圖的顯示?？蛻舳司庉嬋蝿?wù)指令，提交任務(wù)后系統(tǒng)會將任務(wù)表單信息序列化，使用HTTP協(xié)議發(fā)送給服務(wù)端。服務(wù)端則進(jìn)行數(shù)據(jù)反序列化，建立任務(wù)工作目錄，并新建一個進(jìn)程執(zhí)行算法程序。算法決策過程同步更新到任務(wù)的工作目錄下。客戶端每隔3秒從服務(wù)器獲取算法決策結(jié)果，以更新算法推演折線圖。算法決策結(jié)束后，Unity3D程序根據(jù)客戶端的態(tài)勢信息以及服務(wù)端任務(wù)工作目錄的決策數(shù)據(jù)對智能體訓(xùn)練結(jié)果進(jìn)行可視化。

客戶端任務(wù)錄入采用數(shù)據(jù)綁定的方式，將View層和Model層的數(shù)據(jù)相互綁定，Model層的數(shù)據(jù)隨著用戶的鍵入而改變，同時重載JavaFx框架下的UnaryOperator類以實現(xiàn)對用戶輸入內(nèi)容的限定，保證了系統(tǒng)的易用性與安全性。與此同時，系統(tǒng)采用動態(tài)創(chuàng)建控件的方式，以實現(xiàn)用戶可以根據(jù)需要動態(tài)地添加多個任務(wù)對象的信息。服務(wù)端在接收到客戶端傳來的反序列化后的任務(wù)數(shù)據(jù)后，會更新任務(wù)記錄表并創(chuàng)建以對應(yīng)ID命名的文件夾，并持久化存儲相關(guān)任務(wù)數(shù)據(jù)信息。

2.2 系統(tǒng)功能模塊

智能決策系統(tǒng)包括任務(wù)管理模塊、算法決策模塊和可視化演示模塊。任務(wù)管理模塊實現(xiàn)客戶端任務(wù)控制等功能；算法決策模塊實現(xiàn)服務(wù)端創(chuàng)建工作目錄、算法推演等功能，對輸入的任務(wù)環(huán)境信息進(jìn)行計算分析，最終訓(xùn)練得到一個具備高智能行為的智能體模型，并輸出當(dāng)前最優(yōu)決策序列；可視化演示模塊根據(jù)環(huán)境態(tài)勢信息數(shù)據(jù)以及當(dāng)前最優(yōu)決策序列實現(xiàn)對算法推演結(jié)果進(jìn)行可視化演示功能。系統(tǒng)功能模塊如圖4所示。

圖4 系統(tǒng)功能模塊

2.3 算法決策設(shè)計

采用DDQN算法對輸入的數(shù)據(jù)進(jìn)行處理后輸出決策數(shù)據(jù)，在算法完成一次迭代后，程序會更新迭代次數(shù)文件以支持客戶端顯示當(dāng)前迭代進(jìn)度，若當(dāng)前迭代結(jié)果為最優(yōu)解，則更新存儲算法推演結(jié)果的文件。系統(tǒng)決策訓(xùn)練的總體控制流程如圖5所示。

圖5 算法決策總控流程

其中單個智能體特訓(xùn)目的是在多智能體任務(wù)協(xié)同模型中，很難確保每個智能體均獲取到正向獎勵值的訓(xùn)練問題。系統(tǒng)每隔一定輪數(shù)便驅(qū)使單個智能體獨立完成攻擊任務(wù)，這樣便盡可能地使每一個智能體都可以獲得正向的激勵。

與此同時，智能體探索特訓(xùn)是指系統(tǒng)每隔一定輪數(shù)會以較高的隨機(jī)值訓(xùn)練智能體，以此使智能體探索更多未知的情況，從而迭代出更優(yōu)的解法。

2.4 獎勵函數(shù)設(shè)計

獎勵函數(shù)的設(shè)計將直接影響智能體訓(xùn)練的優(yōu)劣程度，設(shè)置合理的獎勵參數(shù)對于智能決策系統(tǒng)尤為重要。

在本系統(tǒng)的決策任務(wù)中，當(dāng)智能體對敵方基地實施攻擊并成功時，獎勵值為40 000，攻擊失敗獎勵值為-1 000；當(dāng)智能體對敵方作戰(zhàn)單位實施攻擊并攻擊成功時，獎勵值為500，攻擊失敗獎勵值為-100；智能體機(jī)動過程中，若發(fā)生碰撞獎勵值為-1 000；若所處位置為敵方作戰(zhàn)單位可攻擊范圍內(nèi)，獎勵值為-1 000；智能體更靠近敵方基地，獎勵值為100，否則獎勵值為0。

2.5 對抗邏輯設(shè)計

系統(tǒng)將每個智能體定義為一個獨立的訓(xùn)練對象，每個智能體具備單獨的神經(jīng)網(wǎng)絡(luò)，不同的智能體共用同一套環(huán)境以確保可以協(xié)同作戰(zhàn)。而敵方作戰(zhàn)單位則采用固定腳本方式來控制其行為，通過調(diào)整敵方作戰(zhàn)單位火力密度、抗毀傷能力、攻擊范圍以及地圖數(shù)據(jù)等方法改變戰(zhàn)場態(tài)勢，達(dá)到智能體在不同的任務(wù)態(tài)勢下進(jìn)行訓(xùn)練的目的。

2.6 輸入輸出設(shè)計

該系統(tǒng)輸入為地圖、智能體、敵方作戰(zhàn)單位等元素的初始狀態(tài)數(shù)據(jù)，每個智能體的狀態(tài)定義如表1所示。

表1 智能體狀態(tài)數(shù)組定義

輸出包括智能體動作數(shù)據(jù)文件及算法迭代結(jié)果文件。該系統(tǒng)中的動作分為智能體的移動和攻擊動作。移動包括上、下、左、右、左上、右上、左下、右下八個動作，由編號0-7表示。攻擊動作又分為兩種，其一是對基地的攻擊動作，其編號為8，其二是對敵方作戰(zhàn)單位的攻擊動作，編號從9開始，總個數(shù)為敵方作戰(zhàn)單位的數(shù)量，分別對應(yīng)智能體攻擊敵方各個作戰(zhàn)單位的動作。

算法完成一次迭代后會更新迭代次數(shù)文件以支持客戶端顯示當(dāng)前迭代進(jìn)度，若當(dāng)前迭代結(jié)果是最優(yōu)解，則更新當(dāng)前最優(yōu)步數(shù)的結(jié)果文件。

2.7 可視化演示設(shè)計

可視化演示程序根據(jù)任務(wù)管理客戶端傳來的數(shù)據(jù)對各個對象的屬性進(jìn)行初始化。若存在多個種類相同的對象，則調(diào)用Unity的Instantiate方法完成對象的復(fù)制與實例化。

智能體的移動采用Unity的Navigation尋路功能實現(xiàn)。Navigation尋路功能可以控制移動對象的轉(zhuǎn)向、移動速度等，將小尺度的移動細(xì)節(jié)利用Navigation處理可以降低代碼的復(fù)雜度，同時也會使演示動畫更加流暢自然。

3 實驗仿真結(jié)果

(1)任務(wù)信息。

通過客戶端界面新建任務(wù)，可編輯地圖初始信息。任務(wù)創(chuàng)建后點擊單個任務(wù)，客戶端會再次請求服務(wù)器，獲取該任務(wù)詳細(xì)信息，如圖6所示。

圖6 任務(wù)詳細(xì)信息界面

(2)算法推演結(jié)果。

客戶端每隔三秒會向服務(wù)器發(fā)送請求獲取對應(yīng)任務(wù)的演算情況，以刷新算法演算過程的迭代折線圖。DQN算法訓(xùn)練折線圖如圖7(a)所示。

圖7 DQN和DDQN算法訓(xùn)練折線圖

相同的環(huán)境態(tài)勢，更換DDQN算法重新對神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，DDQN算法訓(xùn)練折線圖如圖7(b)所示。

在初始態(tài)勢相同的情況下，分別使用DQN算法和DDQN算法對神經(jīng)網(wǎng)絡(luò)依次進(jìn)行訓(xùn)練，訓(xùn)練結(jié)束后，通過對兩個算法的訓(xùn)練折線圖進(jìn)行比較，可以觀察到DDQN算法訓(xùn)練迭代到200余次，步數(shù)穩(wěn)定在40步左右，相反，DQN算法訓(xùn)練結(jié)果步數(shù)上下浮動較大，訓(xùn)練結(jié)果不能夠有效收斂。實驗結(jié)果顯示，DDQN算法較DQN算法更穩(wěn)定有效，更適用于該研究。

(3)可視化演示。

算法演算結(jié)束后，執(zhí)行Unity程序?qū)ρ菟憬Y(jié)果進(jìn)行可視化，演示中第一人視角如圖8所示。

圖8 第一人稱視角

4 結(jié)束語

該文研究了基于強(qiáng)化學(xué)習(xí)的智能決策算法，并在虛擬智能對抗演練系統(tǒng)中進(jìn)行了驗證。驗證系統(tǒng)集成了客戶/服務(wù)端、可視化演示和深度強(qiáng)化學(xué)習(xí)算法，智能體通過訓(xùn)練學(xué)習(xí)能夠在短時間內(nèi)確定目標(biāo)，并以較快的時間壓制、殲滅目標(biāo)，同時避免在敵方火力覆蓋范圍內(nèi)行動，有效降低了智能體的毀傷程度。該文設(shè)計的DDQN決策算法有望在策略游戲、對抗演練、任務(wù)方案評估等領(lǐng)域發(fā)揮作用。

同時，該算法還有進(jìn)一步的完善空間，在多智能體任務(wù)協(xié)同中沒有將整個訓(xùn)練環(huán)境視為一個訓(xùn)練對象，而是將每個智能體定義為一個獨立的訓(xùn)練對象，使各個智能體共用同一個訓(xùn)練環(huán)境來達(dá)到任務(wù)協(xié)同的目的。這種方法雖然大幅提高了計算速度，但是會導(dǎo)致某些智能體訓(xùn)練不充分而使決策結(jié)果接近最優(yōu)值卻無法達(dá)到最優(yōu)值。此外，對于復(fù)雜的任務(wù)環(huán)境，需要考慮針對于不同決策目標(biāo)的諸多因素。