基于Q學(xué)習(xí)與貝葉斯博弈的物聯(lián)網(wǎng)安全

李 洋，劉天鶯，朱建明，王秀利

(中央財(cái)經(jīng)大學(xué) 信息學(xué)院，北京 100081)

0 引 言

在物聯(lián)網(wǎng)(internet of things，IoT)迅速得到發(fā)展和應(yīng)用的同時(shí)，其安全問(wèn)題也逐漸成為了關(guān)注重點(diǎn)。如果物聯(lián)網(wǎng)應(yīng)用收集的數(shù)據(jù)泄露，可能造成嚴(yán)重后果；同時(shí)，由于物聯(lián)網(wǎng)網(wǎng)絡(luò)中存在許多異構(gòu)網(wǎng)互相融合，結(jié)構(gòu)復(fù)雜，安全防護(hù)難以實(shí)施。在工業(yè)控制領(lǐng)域，震網(wǎng)病毒(Stuxnet)曾經(jīng)在世界各國(guó)的大型設(shè)施系統(tǒng)中產(chǎn)生了巨大危害。為了提高物聯(lián)網(wǎng)的安全性，過(guò)去的研究者提出了許多的安全方案，例如輕量級(jí)加密技術(shù)、云計(jì)算安全技術(shù)等。但是，這些技術(shù)都是基于某種具體的安全難題提出解決方案，沒(méi)有考慮到物聯(lián)網(wǎng)整體安全狀況的感知與評(píng)估。物聯(lián)網(wǎng)安全是一個(gè)整體，其分析也應(yīng)該具備綜合性，需要全面分析物聯(lián)網(wǎng)絡(luò)面臨的威脅程度及安全態(tài)勢(shì)。此外，在實(shí)施安全方案時(shí)，物聯(lián)網(wǎng)也與傳統(tǒng)網(wǎng)絡(luò)有所不同。許多設(shè)備受資源所限，只有密碼驗(yàn)證這類簡(jiǎn)單的措施，而無(wú)法配置大型安全分析系統(tǒng)，否則可能影響系統(tǒng)的正常運(yùn)行。因此，物聯(lián)網(wǎng)安全方案需要在能源消耗小的同時(shí)，幫助安全防御者在復(fù)雜動(dòng)態(tài)環(huán)境中做出最優(yōu)決策，評(píng)估整體安全態(tài)勢(shì)。

1 研究現(xiàn)狀

博弈論是研究對(duì)策的數(shù)學(xué)理論，在安全博弈中，攻擊方和防守方相互對(duì)抗，策略與收益相互依存，能夠同時(shí)考慮攻防雙方行動(dòng)對(duì)于安全的影響，而不是僅僅關(guān)注攻擊或防守某一方的行為，符合全面性、整體性要求，適合應(yīng)用于物聯(lián)網(wǎng)安全研究。He等[1]使用SCPN計(jì)算攻擊路徑，構(gòu)建動(dòng)態(tài)博弈模型對(duì)物聯(lián)網(wǎng)智能環(huán)境進(jìn)行態(tài)勢(shì)感知，并通過(guò)典型攻擊場(chǎng)景對(duì)模型進(jìn)行了驗(yàn)證。Kaur等[2]結(jié)合隨機(jī)Petri網(wǎng)和博弈論構(gòu)建隨機(jī)博弈網(wǎng)模型，使博弈方法適用于復(fù)雜的IoT網(wǎng)絡(luò)，管理員節(jié)點(diǎn)能夠在動(dòng)態(tài)、可擴(kuò)展環(huán)境下探測(cè)和阻止攻擊，做出合理的行動(dòng)計(jì)劃。上述文獻(xiàn)將博弈理論應(yīng)用于物聯(lián)網(wǎng)以及網(wǎng)絡(luò)安全的分析，能夠綜合考慮攻防雙方行為對(duì)于安全狀態(tài)的影響，但是缺乏對(duì)博弈過(guò)程的具體分析，無(wú)法使用博弈矩陣做出安全決策。

在應(yīng)用博弈矩陣進(jìn)行攻擊路徑預(yù)測(cè)和最優(yōu)防御策略選取方面，Huang等[3]結(jié)合演化博弈論和Markov決策過(guò)程，在多狀態(tài)情況下求解Markov演化博弈均衡，考慮到了決策者的非完全理性情況。Lei等[4]構(gòu)建了移動(dòng)目標(biāo)防御的Markov博弈模型，綜合量化防御收益和防御成本，提出最優(yōu)策略選擇算法。Wang等[5]動(dòng)態(tài)分析網(wǎng)絡(luò)攻防過(guò)程，通過(guò)貝葉斯博弈結(jié)果確定最優(yōu)純策略，相比混合策略可操作性更強(qiáng)。這些文獻(xiàn)可以應(yīng)用于非完全理性、安全狀態(tài)存在轉(zhuǎn)移等多種情況，但是主要從預(yù)測(cè)具體攻擊和防御行為出發(fā)，沒(méi)有對(duì)整體安全態(tài)勢(shì)的分析。

網(wǎng)絡(luò)安全態(tài)勢(shì)感知(network security situation awareness，NSSA)是一個(gè)對(duì)整體網(wǎng)絡(luò)安全狀態(tài)進(jìn)行感知的研究領(lǐng)域和研究方法，它通過(guò)將有關(guān)于網(wǎng)絡(luò)安全的各種信息融合，對(duì)安全態(tài)勢(shì)做出分析和判斷，為網(wǎng)絡(luò)管理者和參與者的決策提供幫助。Endsley提出態(tài)勢(shì)感知的概念[6]，許多學(xué)者在之后也從不同角度、不同方面分別闡述了NSSA的定義和內(nèi)涵，但大多都涉及到“安全”、“整體”與“輔助決策”等認(rèn)知。對(duì)物聯(lián)網(wǎng)的安全態(tài)勢(shì)進(jìn)行感知、分析與評(píng)價(jià)，能夠把握整體網(wǎng)絡(luò)安全狀態(tài)，預(yù)測(cè)未來(lái)發(fā)展趨勢(shì)，做出最有利于安全防御的決策。針對(duì)物聯(lián)網(wǎng)安全及安全態(tài)勢(shì)感知，Rapuzzi等[7]從霧計(jì)算角度構(gòu)建態(tài)勢(shì)感知方案，將安全分析從垂直框架轉(zhuǎn)換為適合分布式計(jì)算的水平結(jié)構(gòu)，能夠應(yīng)用于復(fù)雜的安全環(huán)境。Park等[8]提出了一種IoT設(shè)備風(fēng)險(xiǎn)評(píng)估框架，從信息泄露角度度量威脅和風(fēng)險(xiǎn)，通過(guò)感知環(huán)境與風(fēng)險(xiǎn)，預(yù)測(cè)未來(lái)安全形勢(shì)，做出合理決策。Chouhan等[9]介紹了IoT應(yīng)用的安全評(píng)估方法，在本地設(shè)備、數(shù)據(jù)傳輸和數(shù)據(jù)存儲(chǔ)等物聯(lián)網(wǎng)安全領(lǐng)域分別給出了增強(qiáng)安全保障能力的建議。上述文獻(xiàn)分析了網(wǎng)絡(luò)中存在的風(fēng)險(xiǎn)和威脅，從整個(gè)物聯(lián)網(wǎng)網(wǎng)絡(luò)的角度感知安全態(tài)勢(shì)，但是沒(méi)有考慮到物聯(lián)網(wǎng)中惡意攻擊者和防御者之間的相互影響。

本文將Q-Learning算法與靜態(tài)貝葉斯博弈相結(jié)合，分析物聯(lián)網(wǎng)安全狀況，在多狀態(tài)、不完全信息條件下進(jìn)行物聯(lián)網(wǎng)安全態(tài)勢(shì)感知。通過(guò)最優(yōu)防御策略求解，以及對(duì)整體網(wǎng)絡(luò)安全態(tài)勢(shì)的量化分析，更好地幫助管理者做出防御行動(dòng)，預(yù)測(cè)安全狀態(tài)趨勢(shì)，具有實(shí)際意義和應(yīng)用價(jià)值。

2 Q-Learning算法

在物聯(lián)網(wǎng)安全攻防博弈過(guò)程中，隨著攻擊者進(jìn)行攻擊，防御者采取措施防御，存在多個(gè)狀態(tài)之間的轉(zhuǎn)移和跳變，需要同時(shí)考慮到現(xiàn)在和未來(lái)的收益，才能做出更加符合長(zhǎng)遠(yuǎn)利益的防御決策，因此，可以將多狀態(tài)的隨機(jī)博弈理念引入攻防過(guò)程中。傳統(tǒng)的隨機(jī)博弈大多使用基于模型的Markov決策過(guò)程來(lái)進(jìn)行描述，但其中存在著狀態(tài)轉(zhuǎn)移概率難以確定的問(wèn)題。使用免模型的Q-Learning算法，不需要預(yù)先獲取狀態(tài)轉(zhuǎn)移概率，而是通過(guò)探索與環(huán)境交互，自主獲取未知的環(huán)境信息，應(yīng)用范圍更加廣泛。針對(duì)這些特點(diǎn)，本文構(gòu)建了結(jié)合Q-Learning算法的安全態(tài)勢(shì)感知模型，在環(huán)境未知的情況下通過(guò)探索更新?tīng)顟B(tài)與行為信息。作為一種免模型的強(qiáng)化學(xué)習(xí)算法，它基于馬爾科夫決策過(guò)程，通過(guò)學(xué)習(xí)動(dòng)作-值函數(shù)，可以在獨(dú)立于未來(lái)策略的情況下估計(jì)出最佳的動(dòng)作-值函數(shù)q*。其任務(wù)是在有限狀態(tài)和有限動(dòng)作集條件下進(jìn)行每一步的選擇，實(shí)現(xiàn)主體可控制的馬爾科夫過(guò)程。

2.1 馬爾科夫決策過(guò)程

在馬爾科夫決策過(guò)程中，用于選取最優(yōu)決策的Bellman方程的狀態(tài)-值函數(shù)需要滿足關(guān)系

(1)

(2)

2.2 Q-Learning方法

在Q-Learning方法中，求解最優(yōu)策略不需要了解和初始化狀態(tài)轉(zhuǎn)移概率。參與者與環(huán)境交互，在多個(gè)步驟的探索中不斷更新Q值，最終達(dá)到選取最優(yōu)策略的目的。一個(gè)步驟的Q-Learning可以定義為

Q(st,at)←Q(st,at)+

(3)

其中，Q(st,at)是當(dāng)前的Q值，α表示對(duì)Q值計(jì)算差距的學(xué)習(xí)率，γ是一個(gè)衰減值，表示未來(lái)收益對(duì)現(xiàn)在影響的程度。在每一個(gè)步驟中，主體處于某個(gè)狀態(tài)st，并可以根據(jù)st選擇對(duì)應(yīng)的at。每個(gè)狀態(tài)-動(dòng)作對(duì)(st,at)確定一個(gè)當(dāng)前收益Rt+1，作為當(dāng)前狀態(tài)下做出某個(gè)選擇的直接收益。同時(shí)，在整個(gè)狀態(tài)空間中，當(dāng)前狀態(tài)到下一個(gè)狀態(tài)的轉(zhuǎn)移也由動(dòng)作選擇情況決定，不同的動(dòng)作可能通往不同的下一步狀態(tài)。

由于安全博弈是雙方共同參與，在更新Q值的策略上，需要同時(shí)考慮到多個(gè)智能體的行為及其影響。針對(duì)攻擊方采取行動(dòng)at，防御方采取行動(dòng)dt，一個(gè)步驟的更新可以定義為

Q(st,at,dt)←Q(st,at,dt)+

(4)

3 基于Q-Learning與貝葉斯博弈的物聯(lián)網(wǎng)安全態(tài)勢(shì)感知模型

3.1 物聯(lián)網(wǎng)安全特點(diǎn)

物聯(lián)網(wǎng)安全及其態(tài)勢(shì)感知有許多與傳統(tǒng)網(wǎng)絡(luò)安全不同的特點(diǎn)。首先，物聯(lián)網(wǎng)多采用無(wú)線網(wǎng)絡(luò)的結(jié)構(gòu)，沒(méi)有中心節(jié)點(diǎn)來(lái)監(jiān)測(cè)網(wǎng)絡(luò)中傳輸?shù)臄?shù)據(jù)，因此需要分布式節(jié)點(diǎn)互相合作以保障安全，并且要考慮到眾多節(jié)點(diǎn)中惡意節(jié)點(diǎn)存在的可能性；其次，由于物聯(lián)網(wǎng)帶寬有限，如果采取傳統(tǒng)安全感知系統(tǒng)，其產(chǎn)生的大量信息流可能導(dǎo)致網(wǎng)絡(luò)堵塞，影響網(wǎng)絡(luò)系統(tǒng)的正常運(yùn)行，為此應(yīng)該盡可能減少安全感知所傳輸?shù)臄?shù)據(jù)流；同時(shí)，物聯(lián)網(wǎng)設(shè)備的計(jì)算能力、存儲(chǔ)資源都十分有限，安全感知和預(yù)測(cè)只能在資源受限的情況下進(jìn)行，需要對(duì)傳統(tǒng)安全模型進(jìn)行優(yōu)化。

傳統(tǒng)的網(wǎng)絡(luò)安全態(tài)勢(shì)感知與風(fēng)險(xiǎn)評(píng)估對(duì)大量數(shù)據(jù)流進(jìn)行分析，將之應(yīng)用于物聯(lián)網(wǎng)中，則會(huì)耗費(fèi)過(guò)量電力能源與計(jì)算存儲(chǔ)資源，難以長(zhǎng)期進(jìn)行態(tài)勢(shì)監(jiān)測(cè)，導(dǎo)致安全保障能力下降，缺乏對(duì)實(shí)時(shí)攻擊的響應(yīng)。此外，只從攻擊方或防守方單方面出發(fā)，無(wú)法準(zhǔn)確度量攻防雙方互相影響的因素，也沒(méi)有考慮到物聯(lián)網(wǎng)中節(jié)點(diǎn)之間的相互聯(lián)系。采用博弈論方法分析物聯(lián)網(wǎng)安全，可以在一定程度上解決這些問(wèn)題。

3.2 模型選取與定義

將博弈過(guò)程應(yīng)用于網(wǎng)絡(luò)安全分析可以采用靜態(tài)博弈模型或動(dòng)態(tài)博弈模型。在靜態(tài)博弈中，博弈只有單一階段，無(wú)法反映物聯(lián)網(wǎng)安全中多狀態(tài)之間的變化。在多個(gè)階段的博弈中，也假設(shè)參與者的策略和收益固定，不會(huì)隨著時(shí)間發(fā)生改變。這些模型無(wú)法適用于動(dòng)態(tài)的物聯(lián)網(wǎng)安全環(huán)境。在動(dòng)態(tài)環(huán)境中，存在著多個(gè)狀態(tài)，參與者在不同狀態(tài)下采取不同策略，策略的影響也是長(zhǎng)期的，因此運(yùn)用Q-Lear-ning算法來(lái)度量存在狀態(tài)轉(zhuǎn)移的動(dòng)態(tài)物聯(lián)網(wǎng)環(huán)境下攻防參與者的收益。在Q-Learning中，隨著一個(gè)步驟的Q值更新，主體需要完成以下任務(wù)：觀察當(dāng)前狀態(tài)st，選擇動(dòng)作at，確定下一個(gè)狀態(tài)st+1，得到當(dāng)前收益Rt+1，并根據(jù)學(xué)習(xí)率α和衰減值γ重新計(jì)算Q，獲得更新后的Q值。通過(guò)Q-Learning，環(huán)境中的主體不斷進(jìn)行探索和試錯(cuò)，獲得策略當(dāng)前和未來(lái)收益信息，考慮到多狀態(tài)之間的轉(zhuǎn)移和變化。

是否存在完全信息是構(gòu)建博弈模型，獲取最優(yōu)策略所需的一個(gè)前提條件，許多安全博弈模型基于完全信息假設(shè)，即對(duì)于所有參與者，都假設(shè)其提前掌握了有關(guān)于博弈的全部信息，例如攻擊方的攻擊能力強(qiáng)弱、攻擊成功率、攻擊資源多少；防御方的防御能力、防御成功率、能夠應(yīng)用于防御的資源如節(jié)點(diǎn)的電量剩余等。但是，在物聯(lián)網(wǎng)安全攻防過(guò)程中，攻防雙方很難獲取對(duì)方攻擊和防御能力強(qiáng)弱的完整信息，只能有一個(gè)大概的判斷，存在著信息不完全的情況。貝葉斯博弈描述了非完全信息條件下參與者之間的博弈過(guò)程，在靜態(tài)貝葉斯博弈中，參與者同時(shí)行動(dòng)，每個(gè)參與者可能有不同的類型，不同類型的參與者策略和收益也可以不同。與完全信息博弈相比，貝葉斯博弈將參與者從單一類型擴(kuò)展到n個(gè)類型，更加符合現(xiàn)實(shí)中參與人能力不同的情況。

因此，定義物聯(lián)網(wǎng)安全態(tài)勢(shì)感知模型為一個(gè)九元組(N,Θ,P,M,S,U,W,π*,NS)，其中：

(1)N=(NA,ND)，是博弈參與者，NA為物聯(lián)網(wǎng)中的攻擊方(惡意節(jié)點(diǎn))，ND為物聯(lián)網(wǎng)中的防御方(正常節(jié)點(diǎn))；

(3)P=(PA,PD)，是攻擊方和防御方在知道自己類型時(shí)對(duì)另一參與者類型的推斷集合；

(4)M=(MA,MD)=(a1,…,am;d1,…,dn)，是攻防雙方的動(dòng)作集合，參與者的類型不同，在該類型下的策略集合也可能不同，每個(gè)類型策略集合都是動(dòng)作集合的一個(gè)子集；

(5)S=(s1,…,sk)，是物聯(lián)網(wǎng)安全狀態(tài)空間，安全狀態(tài)之間存在轉(zhuǎn)移關(guān)系；

(6)U=(UA,UD)，是參與人的收益空間，參與人得到的收益與狀態(tài)、類型、采用策略和對(duì)方所選取的策略相關(guān)；

(7)W=(w,Aw,Dw)，是不同節(jié)點(diǎn)的重要程度及其分布狀況；

(9)NS=(NS1,…,NSk)，是不同狀態(tài)下安全態(tài)勢(shì)值的集合。

為了簡(jiǎn)化模型，在博弈過(guò)程中，將物聯(lián)網(wǎng)所有惡意節(jié)點(diǎn)共同視為一個(gè)攻擊者，采取一系列的策略攻擊網(wǎng)絡(luò)；將物聯(lián)網(wǎng)中所有正常節(jié)點(diǎn)共同視為一個(gè)防御者，采取一系列的防御策略維護(hù)網(wǎng)絡(luò)安全。

3.3 最優(yōu)防御策略選取

在不完全信息狀態(tài)下，求解靜態(tài)貝葉斯納什均衡能夠得到不同類型攻擊者和防御者的最優(yōu)策略。

由于任意有限博弈都存在混合策略納什均衡，模型中每個(gè)狀態(tài)中攻擊方和防御方都存在一個(gè)最佳混合策略，即混合策略貝葉斯納什均衡[14]。

給定

((NA,ND),(ΘA,ΘD),(MA,MD),(PA,PD),(UA,UD))

(5)

攻防雙方的混合策略為

(6)

其中，f表示策略選取的概率。

如果同時(shí)滿足

(7)

和

(8)

3.4 物聯(lián)網(wǎng)安全態(tài)勢(shì)評(píng)估

物聯(lián)網(wǎng)安全博弈是一個(gè)隨著攻防雙方行動(dòng)和整體網(wǎng)絡(luò)系統(tǒng)狀態(tài)轉(zhuǎn)移而不斷變化的過(guò)程，其安全態(tài)勢(shì)評(píng)估也需要考慮到惡意節(jié)點(diǎn)和正常節(jié)點(diǎn)分別采取的具體行動(dòng)，以及網(wǎng)絡(luò)當(dāng)前和未來(lái)狀態(tài)變化所產(chǎn)生的影響。貝葉斯均衡可以幫助攻擊者和防御者預(yù)測(cè)對(duì)方的策略，但在自己決策時(shí)，一次只能選取一個(gè)具體行動(dòng)。

(9)

(10)

在物聯(lián)網(wǎng)網(wǎng)絡(luò)中，惡意節(jié)點(diǎn)和正常節(jié)點(diǎn)的數(shù)量、節(jié)點(diǎn)重要程度等因素對(duì)整體網(wǎng)絡(luò)安全態(tài)勢(shì)有一定影響。設(shè)節(jié)點(diǎn)重要度由高到低為w={wH,wM,wL}，3種類型節(jié)點(diǎn)在惡意節(jié)點(diǎn)中的分布情況是AW={AH,AM,AL}，在正常節(jié)點(diǎn)中的分布情況是DW={DH,DM,DL}，則物聯(lián)網(wǎng)安全態(tài)勢(shì)值為

(11)

3.5 模型算法

求解最優(yōu)防御策略和網(wǎng)絡(luò)安全態(tài)勢(shì)的算法如下：

模型算法：

輸入：狀態(tài)集合S，動(dòng)作集合M，類型空間Θ，先驗(yàn)推斷P，收益空間U，節(jié)點(diǎn)狀態(tài)W

輸出：最優(yōu)防御策略π*，網(wǎng)絡(luò)安全態(tài)勢(shì)NS

Begin

(1)Forso∈S

(5) Repeat

(6) Until

(7)Solve

(9)Calculate

(10) Output

該算法將Q-Learning與貝葉斯博弈相結(jié)合，適用于物聯(lián)網(wǎng)安全多狀態(tài)、防御者和攻擊者擁有多個(gè)類型的情況，能夠根據(jù)網(wǎng)絡(luò)中正常節(jié)點(diǎn)和惡意節(jié)點(diǎn)的分布情況，確定最優(yōu)防御決策，并評(píng)估安全態(tài)勢(shì)值。與傳統(tǒng)方法相比，該算法同時(shí)將攻防雙方行動(dòng)作為安全影響因素，安全態(tài)勢(shì)評(píng)估更加準(zhǔn)確。

4 實(shí)驗(yàn)仿真

4.1 實(shí)驗(yàn)設(shè)置

構(gòu)建如圖1所示的IoT網(wǎng)絡(luò)，網(wǎng)絡(luò)中分布了1100個(gè)物聯(lián)網(wǎng)節(jié)點(diǎn)設(shè)備，設(shè)備通過(guò)路由器與網(wǎng)絡(luò)連接。其中有100個(gè)惡意節(jié)點(diǎn)，1000個(gè)正常節(jié)點(diǎn)，正常節(jié)點(diǎn)中有一個(gè)管理員節(jié)點(diǎn)。

圖1 模擬物聯(lián)網(wǎng)網(wǎng)絡(luò)

參考文獻(xiàn)[2]，攻防雙方的策略見(jiàn)表1。

表1 攻防策略

簡(jiǎn)化的網(wǎng)絡(luò)安全狀態(tài)共有7個(gè)，分別是：s0={normal operation}，s1={device Dos}，s2={device attacked}，s3={injects malicious data}，s4={device direct to malicious portal}，s5={device get malicious data}，s6={network shutdown}。狀態(tài)轉(zhuǎn)移關(guān)系如圖2所示。

圖2 狀態(tài)轉(zhuǎn)移關(guān)系

每個(gè)狀態(tài)的動(dòng)作見(jiàn)表2。

表2 狀態(tài)動(dòng)作

由于正常節(jié)點(diǎn)選擇的防御措施會(huì)根據(jù)網(wǎng)絡(luò)狀況和自身情況確定，將正常節(jié)點(diǎn)的防御分為兩種類型：高級(jí)防御和低級(jí)防御。假設(shè)惡意節(jié)點(diǎn)只有一種攻擊類型：高級(jí)攻擊，惡意節(jié)點(diǎn)對(duì)兩種防御類型的先驗(yàn)信念為(0.7, 0.3)。以(高級(jí)攻擊，高級(jí)防御)為例，其在狀態(tài)s0的收益矩陣見(jiàn)表3。

表3 狀態(tài)s0下(高級(jí)攻擊，高級(jí)防御)收益矩陣

4.2 結(jié)果分析

由于算法采用Q-Learning進(jìn)行狀態(tài)-動(dòng)作值的更新，計(jì)算策略選取收益不需要預(yù)先得到狀態(tài)間轉(zhuǎn)移概率，避免了可能產(chǎn)生的誤差，并且其運(yùn)行過(guò)程可以根據(jù)現(xiàn)實(shí)情況自主調(diào)整，當(dāng)物聯(lián)網(wǎng)安全狀況發(fā)生變化時(shí)，也可以再次通過(guò)探索得到新的環(huán)境信息。同時(shí)，貝葉斯博弈的引入使得攻防參與者能夠在信息不完全的情況下對(duì)另一參與者的行動(dòng)做出合理推測(cè)，不需要掌握完全信息，提高了算法的實(shí)用價(jià)值。

在最優(yōu)防御策略選取階段，根據(jù)本文算法，可以得到最優(yōu)防御策略為：πs0={(0,0.25,0.75),(0,1,0)}，πs1={(0,1),(0.91,0.09)}，πs2={(1,0),(1,0)}，πs3={(1,0),(1,0)}，πs4={(1,0),(1,0)}，πs5={(1,0),(1,0)}。由結(jié)果可知，在狀態(tài)初始，高級(jí)防御者和低級(jí)防御者都應(yīng)該偏向于選擇策略d3，隨著網(wǎng)絡(luò)攻擊的繼續(xù)進(jìn)行，不同類型的防御者出現(xiàn)了不同的最優(yōu)策略選擇。

在網(wǎng)絡(luò)安全態(tài)勢(shì)評(píng)估階段，基于攻防雙方各自采取的行為，以及對(duì)另一方行為策略的預(yù)測(cè)，得到攻擊者的安全威脅值以及防御者的安全收益值，綜合評(píng)估網(wǎng)絡(luò)安全態(tài)勢(shì)。如果攻防雙方在每個(gè)狀態(tài)都選擇一個(gè)最佳策略，物聯(lián)網(wǎng)網(wǎng)絡(luò)安全態(tài)勢(shì)變化如圖3所示。

圖3 網(wǎng)絡(luò)安全態(tài)勢(shì)變化

可以看出，隨著狀態(tài)改變，攻擊程度加強(qiáng)，網(wǎng)絡(luò)安全態(tài)勢(shì)值變小。同時(shí)，在網(wǎng)絡(luò)受到攻擊的開(kāi)始階段，高級(jí)防御和低級(jí)防御類型之間的差距較大，而到了攻擊后期，網(wǎng)絡(luò)面臨威脅十分嚴(yán)重，兩種類型的防御者安全狀況差距縮小，安全態(tài)勢(shì)都處于較低的數(shù)值。這說(shuō)明即使是防御能力強(qiáng)的防御方，也需要在攻擊開(kāi)始發(fā)生時(shí)就及時(shí)制止，防止網(wǎng)絡(luò)面對(duì)更加嚴(yán)重的威脅。

5 結(jié)束語(yǔ)

物聯(lián)網(wǎng)中存在著多個(gè)安全狀態(tài)，攻擊和防御節(jié)點(diǎn)也可能存在多種類型。針對(duì)物聯(lián)網(wǎng)安全攻防雙方相互影響、安全環(huán)境不斷變化等問(wèn)題，本文基于Q-Learning和貝葉斯博弈，提出了一種能夠應(yīng)用于不同安全狀態(tài)相互轉(zhuǎn)換,并且充分考慮到不同攻防類型和能力的物聯(lián)網(wǎng)安全最優(yōu)防御策略選取與態(tài)勢(shì)感知方法。實(shí)驗(yàn)驗(yàn)證，本文提出的方法是有效的，能夠合理且高效地實(shí)現(xiàn)最優(yōu)防御決策，進(jìn)行物聯(lián)網(wǎng)安全態(tài)勢(shì)感知。