無線傳感器網(wǎng)絡(luò)中基于MDP 的攻擊模型研究?

葉春果陳麗娜李 暉范 淵苗春雨?

(1.浙江郵電職業(yè)技術(shù)學(xué)院通信技術(shù)院，浙江 杭州 312000；2.浙江師范大學(xué)網(wǎng)絡(luò)應(yīng)用安全研究中心，浙江 金華 321004；3.西安電子科技大學(xué)網(wǎng)絡(luò)與信息安全學(xué)院，陜西 西安 710126)

無線傳感器網(wǎng)絡(luò)已被應(yīng)用于生產(chǎn)生活中的各個領(lǐng)域，如何保障無線傳感器網(wǎng)絡(luò)的安全已成為重點研究內(nèi)容之一[1]。 目前針對無線傳感器網(wǎng)絡(luò)的安全研究主要分為兩個方面:①基于無線傳感器網(wǎng)絡(luò)的通信協(xié)議的安全解決方案，這類安全解決方案僅包括一些數(shù)據(jù)加密和身份認(rèn)證等技術(shù)，無法應(yīng)對復(fù)雜攻擊[2]。 ②無線傳感器網(wǎng)絡(luò)的攻擊抵御，現(xiàn)有的無線傳感器網(wǎng)絡(luò)抵御機(jī)制通常是針對不同場景下的具體攻擊，例如協(xié)作頻譜感知[3]，802.15.4MAC 協(xié)議[4]，或者抵御機(jī)制[5]。 針對這類抵御機(jī)制，本文提出了兩個關(guān)鍵問題:臨時抵御問題和最優(yōu)抵御問題。

臨時抵御問題 現(xiàn)有的抵御機(jī)制通常是針對某種具體攻擊而設(shè)計的，因此隨著攻擊方式的變化，抵御機(jī)制將無法抵御各類不同的攻擊。 例如，在各類研究中一般只針對某種特定的攻擊，并設(shè)計一種針對該攻擊類型的抵御算法[6－7]。 但當(dāng)這種攻擊進(jìn)行微小的改變后會導(dǎo)致原本的抵御算法對變化后的攻擊失效。

最優(yōu)抵御問題 該類問題的攻擊方法和抵御方法往往難以被精確地建模，現(xiàn)有的大多數(shù)抵御方法是基于歷史數(shù)據(jù)分析而構(gòu)建的，因此無法準(zhǔn)確知道抵御方法對于某種特定攻擊是否能達(dá)到最佳抵御效果，同時也不知道抵御方法的抵御效果離最佳的抵御效果有多少差距。 該問題和臨時抵御問題相似:由于無法知道抵御機(jī)制對于某種攻擊的最佳抵御效果，導(dǎo)致抵御算法無法適應(yīng)攻擊方法的變化。

本文從攻擊者角度出發(fā)，提出一種基于MDP 的攻擊策略生成方法。 該方法使用馬爾科夫決策過程(MDP)對WSN 中的攻擊模式進(jìn)行建模。 同時，馬爾科夫決策過程還可以解決臨時抵御問題，即攻擊者還可以通過馬爾科夫決策過程來破解未知抵御方法。

1 相關(guān)工作

針對臨時抵御問題，大量研究都是基于某種特定的網(wǎng)絡(luò)攻擊而提出相應(yīng)的抵御方法。 如文獻(xiàn)[6，8－9]等都提供了抵御CCS 攻擊的相關(guān)方法，這類算法缺點在于攻擊者可以通過學(xué)習(xí)抵御算法的特點輕松破解它。

最優(yōu)抵御問題是無線傳感器網(wǎng)絡(luò)安全研究的重要課題之一，目前的研究往往通過仿真的方式來驗證抵御方法的抵御效果。 文獻(xiàn)[8]在一個分布式的網(wǎng)絡(luò)中評估隱性自適應(yīng)數(shù)據(jù)注入攻擊，通過仿真驗證其提出的抵御方法的效果。 Kailkhura[10]等人通過實驗評估了頻譜感知數(shù)據(jù)偽造(SSDF)攻擊下集中式CSS 方案的抵御性能。

馬爾科夫決策過程是一個基于離散時間最優(yōu)控制問題的成熟模型。 用于模擬智能體感知當(dāng)前的系統(tǒng)狀態(tài)，按一定策略對環(huán)境實施反饋，從而改變環(huán)境的狀態(tài)并得到獎勵。 MDP 有兩種計算方式，第一種通過動態(tài)編程的方式，這種方式需要對環(huán)境的切換過程有明確的了解；第二種方式不需要對環(huán)境轉(zhuǎn)化有明確的了解，而是通過機(jī)器學(xué)習(xí)的方式去認(rèn)知環(huán)境的改變[11－12]，在這種方式下，智能設(shè)備通過與環(huán)境的交互即可學(xué)習(xí)掌握學(xué)習(xí)對象的變化過程。 我們正是利用了它的這種能主動感知并學(xué)習(xí)抵御算法特征的能力來學(xué)習(xí)抵御方法，從生成更具有破壞力的攻擊策略。

2 MDP 框架

馬爾科夫決策過程常被用于解決動態(tài)系統(tǒng)的建模問題。 MDP 能夠智能的感知當(dāng)前的系統(tǒng)狀態(tài)，按一定策略對環(huán)境進(jìn)行反饋調(diào)節(jié)，從而改變環(huán)境的狀態(tài)并得到獎勵。 馬爾科夫決策過程包含5 個要素:(S，A，P，R，γ)。 定義如下:S表示環(huán)境狀態(tài)的集合；A表示動作的集合；Pa(sn，sn＋1)表示在時間n時，動作a使環(huán)境狀態(tài)從sn改變到sn＋1的概率；Ra(sn，sn＋1)表示在時間n時，動作a使環(huán)境狀態(tài)從sn改變到sn＋1能獲得預(yù)期獎勵；γ表示一個折扣因素。

MDPs 的關(guān)鍵特征符合馬爾科夫算法，即階段n時刻到達(dá)狀態(tài)s的概率僅僅取決于階段n－1 時刻的狀態(tài)。 MDP 可以是無限或者有限的，這取決于最終時間N是否是有限的。 為了評估策略的性能，我們首先定義一個策略π映射S→A，然后將使用策略后獲得的總預(yù)期獎勵作為策略性能的評估指標(biāo)。 當(dāng)某一策略得到最高累加獎勵時，則該策略為最優(yōu)策略，定義為π?。 當(dāng)MDP 可以獲得最優(yōu)策略時，則認(rèn)為該MDP 可解。

3 問題描述

3.1 問題設(shè)定

本文通過研究CSS 無線傳感器網(wǎng)絡(luò)中的SSDF攻擊來驗證MDP 框架的優(yōu)勢。 CSS 網(wǎng)絡(luò)中有兩個主要的干擾來源:節(jié)點通訊誤碼和惡意節(jié)點干擾。 如在頻譜感知數(shù)據(jù)篡改(SSDF)或拜占庭式攻擊的情況下，網(wǎng)絡(luò)中多個攻擊者向數(shù)據(jù)匯聚節(jié)點(FC)提供虛假數(shù)據(jù)，從而誤導(dǎo)FC 做出錯誤的決策，達(dá)到攻擊的目的[13]。 目前已提出了幾種抵御機(jī)制來應(yīng)對SSDF 攻擊，具體可以分為:硬融合，即中心節(jié)點FC 的決策依賴于部分節(jié)點的感知數(shù)據(jù)；軟融合，即在節(jié)點的感知信息中添加額外的信息協(xié)助FC 進(jìn)行決策。 硬融合的抵御方法有加權(quán)序列概率比測試(WSPRT)和EWSZOT[14]，軟融合的抵御機(jī)制有基于能級分布的統(tǒng)計檢驗法[5]。 即使目前已經(jīng)有一定的網(wǎng)絡(luò)安全技術(shù)，但該領(lǐng)域仍然存在許多挑戰(zhàn)[15]。

以無線傳感器網(wǎng)絡(luò)安全為基礎(chǔ)，我們構(gòu)建了無線傳感器網(wǎng)絡(luò)的模型。 假設(shè)無線傳感網(wǎng)絡(luò)中有M個傳感器節(jié)點，其中正常節(jié)點有Mn個，攻擊節(jié)點有Ma個，M＝Mn＋Ma。 該網(wǎng)絡(luò)以EWSZOT 方法作為網(wǎng)絡(luò)的抵御策略，其中二進(jìn)制變量ei表示每個節(jié)點向FC 發(fā)送的報文，當(dāng)e＝1 時表示信道繁忙，e＝0 表示信道空閑，i表示傳感器的編號。 在沒有干預(yù)的情況下，每個節(jié)點均有可能發(fā)生信道空閑或繁忙錯誤的情況，假設(shè)發(fā)生錯誤的概概為Qc，同時每個節(jié)點評估信道錯誤的概率都是獨立且固定的。 那么，每個ei遵循參數(shù)Qc伯努利分布，即當(dāng)e＝0 時，每個ei的錯誤概率Qc，當(dāng)e＝1，錯誤概率為1－Qc。 利用錯誤概率Qc。 定義FC 的決策錯誤總概率為qe，t，即當(dāng)FC 的信道空閑時，錯誤地認(rèn)為信道是繁忙的，反之亦然。 因此，攻擊節(jié)點需要將qe，t最大化，由于EWSZOT 是基于信譽(yù)的抵御方案，攻擊節(jié)點在攻擊的同時還會通過偽裝方式保持高信譽(yù)。 本文的目的是設(shè)計最佳的攻擊策略，使得被攻擊的節(jié)點能夠欺騙過EWSZOT 抵御方法。

3.2 EWSZOT 算法

每個節(jié)點權(quán)重值計算如式(4)所示，其中avg(rn)表示所有節(jié)點的平均信譽(yù)值，Δ表示計算誤差偏移系數(shù)。 從公式中可以看出，信譽(yù)較高的節(jié)點對HT的決策影響較大，參數(shù)Δ可以讓錯誤概率Qc引起的負(fù)信譽(yù)度也能參與到?jīng)Q策中。

整個節(jié)點信譽(yù)計算過程還取決于節(jié)點反饋的報文順序，EWSZOT 以信譽(yù)從高到底的順序與前Mm個傳感器節(jié)點進(jìn)行交互。 確保信譽(yù)最高的節(jié)點參與到?jīng)Q策中。 其EWSZOT 算法詳細(xì)過程如表1 所示。

表1 EWSZOT 算法實現(xiàn)

3.3 針對EWSZOT 的攻擊策略

本章節(jié)提出了一種攻擊策略生成技術(shù)。 首先我們定義兩種常見的攻擊策略。 ①虛擬攻擊策略:這種策略被廣泛使用，即攻擊節(jié)點始終執(zhí)行預(yù)定義策略進(jìn)行攻擊。 EWSZOT 算法能夠成功抵御三種攻擊:(a)報告信道始終繁忙；(b)始終空閑；(c)始終提供錯誤。 但是沒有給出針對這些攻擊的最優(yōu)解研究。 ②最佳攻擊策略:通過對抵御方法建模獲得最佳攻擊策略。 如本文利用MDP 學(xué)習(xí)EWSZOT 抵御方法，然后生成針對該抵御方法的攻擊策略。 通過求解MDP 問題，可在理論上得出最佳攻擊策略。

同時我們針對攻擊策略定義以下兩種攻擊場景:①標(biāo)準(zhǔn)SSDF 攻擊，定義為SA，該類型攻擊的惡意節(jié)點始終向FC 發(fā)送錯誤報文。 ②組合攻擊，定義為CA，包括標(biāo)準(zhǔn)SSDF 攻擊和針對通信鏈路的干擾攻擊。 例如FC 請求傳感器報文時，由于信道問題，導(dǎo)致傳感器節(jié)點報文無法準(zhǔn)時達(dá)到或者導(dǎo)致報文損壞。 同時，攻擊節(jié)點也可以阻斷通信鏈路，影響正常節(jié)點的報文。 當(dāng)FC 沒有收到傳感器節(jié)點i 的報文時，則認(rèn)為ei＝1。 在本文后續(xù)實驗中假設(shè)所有報文的損壞均是上述的干擾導(dǎo)致。

4 MDP 對EWSZOT 抵御方法建模

4.1 狀態(tài)定義

4.2 攻擊定義

在標(biāo)準(zhǔn)攻擊SA中，不存在干擾的場景，因此a＝aa，A的維度上限為2Mm。 同時，操作集合和狀態(tài)無關(guān)。

4.3 轉(zhuǎn)換概率定義

在給定狀態(tài)sn和行為集合a的情況下，定義轉(zhuǎn)換概率為Pa(sn，sn＋1)，即由于行為集合a，讓狀態(tài)sn轉(zhuǎn)換為狀態(tài)sn＋1的概率。 通過對HT的建模，可以觀察到狀態(tài)sn轉(zhuǎn)換為不同狀態(tài)sn＋1的概率。

本文通過樹結(jié)構(gòu)對HT 進(jìn)行建模。 樹的每個節(jié)點表示FC 從各個節(jié)點所能接收到的報文的所有排列組合。 由于從正常節(jié)點或者攻擊節(jié)點均能收到報文ei＝0 或者ei＝1，因此，每個父節(jié)點將會有四個子節(jié)點。 同時獲得的報文序列的最大長度和樹的最大深度均為Mm。 整個流程如圖1 所示。

圖1 HT 樹構(gòu)建過程

qv的更新流程如算法2 所示。 首先定義已經(jīng)調(diào)用的正常節(jié)點和攻擊節(jié)點的數(shù)量，分別表示為nn和na，該數(shù)據(jù)可以通過序列v來獲取。 當(dāng)獲取正常節(jié)點的報文后，使用q1，n和pn(r)更新qv。 如果沒有被干擾，則更新序列值為1n或者0n；如果存在干擾，則報文會更新為1n，然后更新干擾節(jié)點數(shù)量mn＋1j。 如果獲取攻擊節(jié)點的報文時，則使用q1，n和1－pn(r)更新qv；如果不攻擊時，則使用正常節(jié)點發(fā)生錯誤的概率來更新攻擊節(jié)點的概率，即p1，n代替p1，a。 最后使用式(3)更新Wn。 通過更新qv，可以得到獲取序列v的總概率。

表2 qv 更新算法流程

使用算法2 更新qv和Wn，檢查節(jié)點是否滿足式(2)的終止條件，如果滿足其中一個條件，則該節(jié)點成為樹的葉子節(jié)點，否則該節(jié)點被設(shè)定為父節(jié)點，重復(fù)上述過程。 最終，得到所有葉子節(jié)點的信息。

表3 基于MDP 的EWSZOT 算法HT 的構(gòu)建流程

通過算法3 對HT 進(jìn)行建模以得到Pa(sn，sn＋1)的準(zhǔn)確值，即對于動作a和狀態(tài)sn，得到轉(zhuǎn)換為狀態(tài)sn＋1的概率。

4.4 獎勵定義

4.5 EWSZOT 模型復(fù)雜度

本節(jié)評估MDP 模型的復(fù)雜度，假設(shè)需要評估一個策略，即獲取Vπ(S0)。 對于每次HT，都有k≤4Mm(Mj＋1)的可能性去轉(zhuǎn)換到新的狀態(tài)。 當(dāng)n∈[0，N－1]時，在每個狀態(tài)sn就需要執(zhí)行一次HT。 同時初始狀態(tài)S0都是相同的，因此去評估一個策略時，必須通過該策略構(gòu)建包含所有狀態(tài)的樹。 狀態(tài)樹的深度為N＋1，則在組合攻擊的的場景下，樹的最多狀態(tài)的限制條件如式(7)所示。 在標(biāo)準(zhǔn)攻擊的場景下如式(8)所示。

對于策略，有以下三條改進(jìn)措施:①在階段n執(zhí)行HT 之后，刪除qv＝0 的所有狀態(tài)sn＋1。 ②在階段n執(zhí)行HT 之后，進(jìn)行狀態(tài)聚合，將所有狀態(tài)相同的sn＋1進(jìn)行合并計算概率qv。 ③在階段n后，僅保留轉(zhuǎn)換概率qv最高的T個sn＋1。 通過固定每個階段的最大數(shù)量的狀態(tài)，來降低計算成本，但計算結(jié)果會引入錯誤。T值越大，產(chǎn)生的誤差越小，計算成本越高。

算法4 將上述3 個改進(jìn)的措施加入到具體的策略中。 當(dāng)e＝0 時，決策總誤差概率為qe，t＝qt，1＋qt，nd，當(dāng)e＝1 時，決策總誤差概率為qe，t＝qt，0。 算法4 理模擬了算法2 描述的EWSZOT 抵御方法。 最后通過將Mj設(shè)置為0，來獲得沒有受到攻擊下的EWSZOT 的性能。

組合攻擊場景下每個狀態(tài)的行為數(shù)量的界限為4Mm。 這意味著，對于每個狀態(tài)sn，將有4Mm種行為，這些行為轉(zhuǎn)化為sn＋1的最大數(shù)為k≤4Mm(Mj＋1)。 在這樣的場景下，狀態(tài)－行為集合的維度受式(9)條件限制。 對于標(biāo)準(zhǔn)攻擊場景下，行為個數(shù)的上限為2Mm，狀態(tài)－行為的集合的維度受式(10)條件限制。

表4 EWSZOT 算法建模過程

5 仿真實驗

本文利用MTALAB 平臺對算法4 進(jìn)行實驗分析，假設(shè)M＝10 個節(jié)點，T＝103，p＝2，Mm＝4 和Δ＝5.51，在Qc∈ [0，0.5]，N＝5 的情況下，測試攻擊節(jié)點個數(shù)Ma＝1 的影響，實驗結(jié)果均為100 次重復(fù)獨立實驗的平均結(jié)果。

其中攻擊策略主要包含虛擬攻擊策略和最優(yōu)攻擊策略。 虛擬攻擊策略在標(biāo)準(zhǔn)攻擊和組合攻擊場景下分為AFA 和JFA。 AFA 為標(biāo)準(zhǔn)攻擊場景下的虛擬策略，即攻擊節(jié)點始終向FC 提供錯誤的報文。FA 是一種組合攻擊場景下的虛擬策略，即攻擊節(jié)點始終向FC 提供錯誤的報文，同時干擾正常節(jié)點和FC 的通信。 前者是文獻(xiàn)[14]提出的攻擊模型，后者為新的攻擊方式，通過比較可以看出臨時抵御問題。

最優(yōu)攻擊策略使用動態(tài)編程的方式求解MDP，找出能夠?qū)WSZOT 抵御機(jī)制造成最大錯誤概率的最佳策略。

5.1 AFA 和JFA 攻擊時EWSZOT 的效果

如圖2 所示，可以看到算法4 得出理論結(jié)論和實際一致，JFA 在攻擊條件相同時，它比AFA 對FC的誤導(dǎo)能力更強(qiáng)，這說明抵御算法對JFA 的抵御效果越差。 通過干擾通信鏈路能夠大大降低EWSZOT的性能。 但是，這種場景只在e＝0 的場景下發(fā)生，在e＝1 時，攻擊實際改善了決策誤差，因為在EWSZOT 機(jī)制中會將干擾認(rèn)為信道正忙，所以幫助FC 做出準(zhǔn)確的決策。 當(dāng)信道空閑時，JFA 則會嚴(yán)重影響CSS。 為了克服JFA 造成的影響，F(xiàn)C 可以實施抗干擾的對策。 從這個現(xiàn)象可以看出，現(xiàn)有的抵御算法基本是臨時抵御，因此當(dāng)攻擊者的攻擊方式發(fā)生細(xì)微改變時，算法抵御的能力大大降低。

圖2 在標(biāo)準(zhǔn)攻擊和組合攻擊場景下不同策略間的比較

5.2 最優(yōu)攻擊策略下EWSZOT 的效果

從圖2 中可以看出，最優(yōu)策略會導(dǎo)致FC 的決策誤差最大。 當(dāng)e＝0，即存在干擾時，最優(yōu)策略會驗證降低EWSZOT 的抵御性能。 當(dāng)Qc≥0.2 時，AFA場景下的曲線接近于最優(yōu)策略，但當(dāng)存在干擾時，最優(yōu)策略則會超過JFA 的影響。 基于本文框架生成的攻擊策略對攻擊抵御算法的破壞成功率高達(dá)70%。 從圖中還可以看出，在頻譜感知錯誤概率較低時，最優(yōu)攻擊會明顯降低抵御的性能。 在e＝1時，攻擊策略之間的差異較小，但最優(yōu)策略相比于其他策略對抵御算法的破壞性更大。

當(dāng)e＝0 時，攻擊節(jié)點會嚴(yán)重影響抵御性能，圖2(c)表明通過干擾正常節(jié)點，攻擊成功率有了顯著的提高。 在這種場景下，對臨時抵御問題和最優(yōu)解問題進(jìn)行分析:由于AFA 不是針對EWSZOT 的最優(yōu)攻擊策略，所以AFA 對EWSZOT 抵御算法攻擊破壞性不是最大的。 然而最優(yōu)策略能夠更加智能的選擇何時提供虛假報告和何時提供真實報告會降低EWSZOT 的性能，可以盡可能尋找EWSZOT 抵御算法的弱點，從而使得EWSZOT 抵御算法失效。 實驗結(jié)果表明本文提出的MDP 攻擊框架能夠更好對攻擊抵御算法。

6 總結(jié)和展望

本文提出一種基于MDP 的攻擊策略生成方法，利用該方法生成的最優(yōu)攻擊策略能夠?qū)WSZOT抵御方法進(jìn)行破壞，從而使抵御方法失去對惡意攻擊的防御能力。 最終實驗結(jié)果驗證了本文提出的攻擊策略生成方法成功破壞EWSZOT 抵御方法的概率高于70%。 后續(xù)的工作我們希望基于MDP 攻擊策略生成方法，驗證對其他抵御方法的破壞效果。同時進(jìn)一步研究如何降低攻擊生成策略方法的復(fù)雜度，使它適用于軟硬件資源都受限的物聯(lián)網(wǎng)系統(tǒng)中。