機(jī)器學(xué)習(xí)在電力信息物理系統(tǒng)網(wǎng)絡(luò)安全中的應(yīng)用

彭 莎，孫銘陽，張鎮(zhèn)勇，2，鄧瑞龍，程 鵬

（1. 浙江大學(xué)控制科學(xué)與工程學(xué)院,浙江省 杭州市 310027；2. 貴州大學(xué)計算機(jī)科學(xué)與技術(shù)學(xué)院,貴州省 貴陽市 550025）

0 引言

隨著控制、通信和計算機(jī)等信息技術(shù)的發(fā)展,傳統(tǒng)電力系統(tǒng)廣泛引入了傳感、網(wǎng)絡(luò)和計算等技術(shù),逐步發(fā)展成為信息系統(tǒng)與物理系統(tǒng)深度融合并廣泛交互的信息物理系統(tǒng)（cyber-physical system,CPS）［1］。電力CPS 是關(guān)系國民經(jīng)濟(jì)和國家安全的重大關(guān)鍵基礎(chǔ)設(shè)施。隨著信息化程度的不斷深入,電力CPS的安全運(yùn)行面臨著各種潛在網(wǎng)絡(luò)攻擊的威脅［2］。為保障電力系統(tǒng)的安全穩(wěn)定運(yùn)行,面向電力CPS 網(wǎng)絡(luò)安全的研究受到了學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注。

近年來,機(jī)器學(xué)習(xí)技術(shù)在計算速度以及學(xué)習(xí)能力方面發(fā)展迅速,在計算機(jī)視覺、醫(yī)學(xué)診斷以及異常檢測等領(lǐng)域的應(yīng)用表現(xiàn)可圈可點(diǎn)［3-5］。各領(lǐng)域都在進(jìn)行技術(shù)革新,向智能化時代邁進(jìn)。在電力CPS 領(lǐng)域,各項(xiàng)信息技術(shù)的深度融合使得電力系統(tǒng)數(shù)據(jù)量顯著增長,為數(shù)據(jù)驅(qū)動的機(jī)器學(xué)習(xí)方法應(yīng)用提供了便利。將機(jī)器學(xué)習(xí)方法應(yīng)用于電力CPS 網(wǎng)絡(luò)安全領(lǐng)域,能夠有效提高數(shù)據(jù)解析度,克服電力系統(tǒng)的日益龐大以及網(wǎng)絡(luò)攻擊的復(fù)雜多變引入的無法準(zhǔn)確構(gòu)建模型的難題。同時,一些機(jī)器學(xué)習(xí)方法還能滿足電力系統(tǒng)的實(shí)時性需求［6］。

目前,已有大量文獻(xiàn)對機(jī)器學(xué)習(xí)在電力CPS 網(wǎng)絡(luò)安全領(lǐng)域的應(yīng)用進(jìn)行了探索［2,6-10］,但現(xiàn)有的電力CPS 領(lǐng)域的綜述文章并未對這一研究課題進(jìn)行歸納總結(jié)。一部分文章關(guān)注于機(jī)器學(xué)習(xí)相關(guān)技術(shù)在整個電力系統(tǒng)中的應(yīng)用,對網(wǎng)絡(luò)安全部分的探討不夠具體和深入［6-8］；另一部分文章對電力CPS 網(wǎng)絡(luò)安全中的關(guān)鍵技術(shù)進(jìn)行了調(diào)研,但缺少具體闡明機(jī)器學(xué)習(xí)技術(shù)在網(wǎng)絡(luò)安全各環(huán)節(jié)的應(yīng)用情況［2,9-10］。鑒于此,本文對機(jī)器學(xué)習(xí)在電力CPS 網(wǎng)絡(luò)安全中的應(yīng)用進(jìn)行了全面分類與總結(jié)。

本文首先對電力CPS 網(wǎng)絡(luò)安全進(jìn)行了概述,介紹了電力CPS 網(wǎng)絡(luò)安全要求以及面臨的挑戰(zhàn),接著簡要介紹了各類機(jī)器學(xué)習(xí)方法,并總結(jié)了機(jī)器學(xué)習(xí)方法應(yīng)用于電力CPS 網(wǎng)絡(luò)安全領(lǐng)域的契機(jī)與優(yōu)勢。然后,從攻防2 個角度分別出發(fā),具體闡述了電力CPS 網(wǎng)絡(luò)安全研究中面臨的問題,全面調(diào)研了機(jī)器學(xué)習(xí)應(yīng)用于電力CPS 網(wǎng)絡(luò)安全的現(xiàn)有文獻(xiàn)。其中,攻擊角度的應(yīng)用包括拓?fù)湫畔⑼茢?、攻擊資源優(yōu)化以及攻擊構(gòu)建,防御角度的應(yīng)用包括攻擊前的保護(hù)、攻擊時的檢測以及緩解。最后,對該研究領(lǐng)域存在的挑戰(zhàn)以及未來的研究方向進(jìn)行了分析與展望。

1 電力CPS 網(wǎng)絡(luò)安全

電力CPS 的物理系統(tǒng)與信息系統(tǒng)深度融合并廣泛交互,系統(tǒng)中各設(shè)備的相互作用由系統(tǒng)的動態(tài)特性以及協(xié)調(diào)系統(tǒng)運(yùn)行的規(guī)則決定。電力CPS 的具體結(jié)構(gòu)如圖1 所示。物理系統(tǒng)由與物理世界直接連接的一次設(shè)備組成,主要涉及發(fā)電、輸電、配電系統(tǒng)中的設(shè)備,包括光伏板、發(fā)電機(jī)、變壓器以及輸/配電路等。這些設(shè)備通過量測設(shè)備、執(zhí)行器以及信息系統(tǒng)進(jìn)行交互,控制電能的生產(chǎn)、傳輸和分配。信息系統(tǒng)由二次設(shè)備（信息通信單元）組成,包括路由器、交換機(jī)和集線器等通信網(wǎng)絡(luò)組件、控制系統(tǒng)主機(jī)等計算組件及數(shù)據(jù)庫等設(shè)備。這些設(shè)備使用公共通信協(xié)議在數(shù)字鏈路上互聯(lián)、共享、存儲并處理來自物理系統(tǒng)的數(shù)據(jù),執(zhí)行廣域監(jiān)測、控制和保護(hù)［1］。具體來說,物理系統(tǒng)的運(yùn)行情況由量測設(shè)備進(jìn)行采集,采集得到的實(shí)時量測數(shù)據(jù)通過通信網(wǎng)絡(luò)傳輸給控制中心,控制中心基于所接收的數(shù)據(jù)進(jìn)行計算,更新控制策略,控制器根據(jù)控制策略輸出適當(dāng)?shù)目刂浦噶畈鬏斀o執(zhí)行器,執(zhí)行器通過被控介質(zhì)控制物理系統(tǒng)的運(yùn)行。與直接對物理設(shè)備產(chǎn)生影響的物理安全問題不同,電力CPS 的網(wǎng)絡(luò)安全問題是指利用電力信息系統(tǒng)的安全漏洞,破壞數(shù)據(jù)的機(jī)密性、完整性和可用性,導(dǎo)致錯誤的規(guī)劃判斷、財產(chǎn)損失和用戶隱私泄露等,間接影響物理系統(tǒng)的安全問題［2］。隨著物理系統(tǒng)與信息系統(tǒng)的耦合逐漸深入,信息物理耦合交互過程更為復(fù)雜,電力CPS 的運(yùn)行過程對信息系統(tǒng)更具依賴性。然而,信息系統(tǒng)的通信環(huán)境較為開放,為電力CPS 增加了更多的攻擊面,使得電力CPS 面臨著越來越多網(wǎng)絡(luò)攻擊的威脅。因此,增強(qiáng)電力CPS 網(wǎng)絡(luò)安全至關(guān)重要。

圖1 電力CPS 結(jié)構(gòu)Fig.1 Framework of cyber-physical power system

電力CPS 網(wǎng)絡(luò)安全旨在確保電力系統(tǒng)的健壯性、安全性以及抵御攻擊的彈性,為此電力CPS 需要滿足以下3 點(diǎn)要求［11］。

要求1：攻擊檢測以及自愈。在信息系統(tǒng)運(yùn)行代碼維度方面,攻擊檢測是保障電力CPS 安全穩(wěn)定運(yùn)行的關(guān)鍵環(huán)節(jié)。電力CPS 需要及時掌握系統(tǒng)運(yùn)行狀態(tài)、預(yù)測運(yùn)行趨勢、快速檢測與識別攻擊導(dǎo)致的異常事件。此外,從物理系統(tǒng)設(shè)備維度出發(fā),需要保障電力基礎(chǔ)設(shè)施的可用性,因此,電力CPS 需要彈性運(yùn)行,具有自愈能力,檢測出攻擊后能夠自動干預(yù),快速隔離攻擊并及時自我修復(fù)［12］。

要求2：身份認(rèn)證以及訪問控制。在信息系統(tǒng)協(xié)議維度方面,電力CPS 需要提供可靠的身份認(rèn)證以及訪問控制等機(jī)制來防止未經(jīng)授權(quán)的訪問,以保證信息系統(tǒng)中的電子信息設(shè)備以及相關(guān)數(shù)據(jù)的安全。

要求3：安全的通信協(xié)議以及架構(gòu)。為確保信息系統(tǒng)網(wǎng)絡(luò)維度的安全,電力CPS 需要將防御策略集成到網(wǎng)絡(luò)協(xié)議和體系結(jié)構(gòu)中,使得電力CPS 能夠?qū)崿F(xiàn)安全高效的通信。

當(dāng)前,針對電力CPS 網(wǎng)絡(luò)安全的研究也圍繞上述3 點(diǎn)要求展開。由于要求2 和3 與電力系統(tǒng)物理特性關(guān)聯(lián)較弱,可以直接遷移或擴(kuò)展其他領(lǐng)域的相關(guān)方法或架構(gòu),例如針對要求2 的現(xiàn)有研究通常將信息安全和計算機(jī)安全領(lǐng)域的相關(guān)工作遷移到電力CPS 領(lǐng)域［13-14］；針對要求3 的網(wǎng)絡(luò)架構(gòu)開發(fā)設(shè)計大多也由現(xiàn)有的架構(gòu)改進(jìn)而來［15-16］。因此,電力CPS網(wǎng)絡(luò)安全相關(guān)研究大部分關(guān)注要求1。針對要求2和3 的研究大都致力于設(shè)計合適的加密機(jī)制和通信架構(gòu),較少應(yīng)用機(jī)器學(xué)習(xí)方法,所以本文主要關(guān)注要求1。針對要求1,傳統(tǒng)的機(jī)理建模方法利用電力系統(tǒng)的物理特性以實(shí)現(xiàn)攻擊檢測和自愈［17-19］。然而,隨著電力CPS 規(guī)模的日益龐大以及網(wǎng)絡(luò)攻擊種類的增加,機(jī)理建模方法面臨建模困難和計算復(fù)雜度高等挑戰(zhàn)。因此,學(xué)術(shù)界開始廣泛探索應(yīng)用機(jī)器學(xué)習(xí)方法以滿足該安全要求。

2 機(jī)器學(xué)習(xí)方法概述

機(jī)器學(xué)習(xí)是利用經(jīng)驗(yàn)來提升性能或做出準(zhǔn)確預(yù)測的計算方法［20］。其中,“經(jīng)驗(yàn)”通常以“數(shù)據(jù)”形式存在,每條數(shù)據(jù)由關(guān)于一個對象的多個特征組成,特征反映了該對象在某方面的表現(xiàn)或性質(zhì)。在機(jī)器學(xué)習(xí)中,數(shù)據(jù)的集合稱為數(shù)據(jù)集。一個完整的數(shù)據(jù)集通常被劃分為訓(xùn)練集與測試集,機(jī)器學(xué)習(xí)基于訓(xùn)練集訓(xùn)練模型,通過測試集評價模型效果?；谀Ｐ蛯π碌臄?shù)據(jù)進(jìn)行判斷的過程稱為預(yù)測,預(yù)測任務(wù)分為分類、回歸以及決策等。根據(jù)所需數(shù)據(jù)集類型的不同,可以將機(jī)器學(xué)習(xí)分為無監(jiān)督學(xué)習(xí)、監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)。

2.1 無監(jiān)督學(xué)習(xí)

無監(jiān)督學(xué)習(xí)所需數(shù)據(jù)集為未標(biāo)記數(shù)據(jù)集,其基于未標(biāo)記數(shù)據(jù)訓(xùn)練模型,試圖挖掘出這些數(shù)據(jù)中隱含的共同特征［21］。根據(jù)訓(xùn)練方式的不同,無監(jiān)督學(xué)習(xí)可分為不同的子類,常見子類包括降維與度量學(xué)習(xí)（例如主成分分析［22］、獨(dú)立成分分析［23］）、聚類（例如K均值聚類［24］、局部異常因子法［25］）和神經(jīng)網(wǎng)絡(luò)（例如自組織映射網(wǎng)絡(luò)［26］、自編碼器［27］）等。

2.2 監(jiān)督學(xué)習(xí)

監(jiān)督學(xué)習(xí)所需數(shù)據(jù)集為標(biāo)記數(shù)據(jù)集,其基于標(biāo)記數(shù)據(jù)訓(xùn)練模型,學(xué)習(xí)數(shù)據(jù)與對應(yīng)的標(biāo)記之間存在的特定關(guān)系［21］。監(jiān)督學(xué)習(xí)根據(jù)訓(xùn)練方式的不同可分為不同的子類,常見子類包括神經(jīng)網(wǎng)絡(luò)（例如前饋神經(jīng)網(wǎng)絡(luò)［28］、長短期記憶（long short-term memory,LSTM）人工神經(jīng)網(wǎng)絡(luò)［29］）、回歸（例如線性回歸［30］、邏輯回歸［31］）、決策樹［32］和貝葉斯方法［33］等。

2.3 半監(jiān)督學(xué)習(xí)

在半監(jiān)督學(xué)習(xí)所需數(shù)據(jù)集中,少量數(shù)據(jù)為標(biāo)記數(shù)據(jù),其余均為無標(biāo)記數(shù)據(jù),2 類數(shù)據(jù)一起訓(xùn)練得到模型［34］。半監(jiān)督學(xué)習(xí)假設(shè)未標(biāo)記數(shù)據(jù)與標(biāo)記數(shù)據(jù)從同樣的數(shù)據(jù)源獨(dú)立同分布采樣而來,該假設(shè)說明未標(biāo)記數(shù)據(jù)揭示的數(shù)據(jù)分布信息與標(biāo)記數(shù)據(jù)是相關(guān)聯(lián)的,所以可以在僅使用標(biāo)記數(shù)據(jù)的監(jiān)督學(xué)習(xí)中加入無標(biāo)記數(shù)據(jù)提升模型性能,由此產(chǎn)生了半監(jiān)督學(xué)習(xí)。典型的半監(jiān)督學(xué)習(xí)算法包括半監(jiān)督核均值漂移聚類［35］和半監(jiān)督支持向量機(jī)［36］等。

2.4 強(qiáng)化學(xué)習(xí)

強(qiáng)化學(xué)習(xí)所需數(shù)據(jù)通過與環(huán)境交互產(chǎn)生,智能體在環(huán)境中不斷嘗試和試驗(yàn)來獲取數(shù)據(jù)并優(yōu)化動作策略［37］。動作策略是狀態(tài)到動作的映射,最優(yōu)策略描述了在給定狀態(tài)下采取何種動作將獲得最大的長期累積回報。強(qiáng)化學(xué)習(xí)用于解決序列決策問題。傳統(tǒng)的強(qiáng)化學(xué)習(xí)方法,例如Q 學(xué)習(xí)［38］用表格的形式表示值函數(shù),只適用于狀態(tài)和動作空間較小的情況。為克服這一局限性,將深度神經(jīng)網(wǎng)絡(luò)強(qiáng)大的表達(dá)能力與強(qiáng)化學(xué)習(xí)的決策能力相結(jié)合的深度強(qiáng)化學(xué)習(xí)算法被廣泛研究應(yīng)用,例如異步優(yōu)勢行動者-評論家（asynchronous advantage actor-critic,A3C）算法［39］。

3 機(jī)器學(xué)習(xí)在電力CPS 中應(yīng)用的優(yōu)勢

隨著大數(shù)據(jù)時代的來臨,機(jī)器學(xué)習(xí)已被廣泛應(yīng)用于各個領(lǐng)域［3-5］。在電力CPS 領(lǐng)域,一方面,控制、通信和計算機(jī)等信息技術(shù)的深度融合使得與電力系統(tǒng)運(yùn)行相關(guān)的數(shù)據(jù)量呈指數(shù)趨勢增長［6,40］,為機(jī)器學(xué)習(xí)的應(yīng)用提供了數(shù)據(jù)基礎(chǔ)；另一方面,高性能計算正以遠(yuǎn)超摩爾定律的速度快速發(fā)展［41］,其高速處理數(shù)據(jù)和執(zhí)行復(fù)雜計算的能力為機(jī)器學(xué)習(xí)的應(yīng)用提供了硬件基礎(chǔ)。這2 個方面為機(jī)器學(xué)習(xí)在電力CPS 中的應(yīng)用創(chuàng)造了良好條件。

此外,相較于傳統(tǒng)的機(jī)理建模方法,機(jī)器學(xué)習(xí)方法具有模型構(gòu)建以及實(shí)時性需求2 個方面的優(yōu)勢。首先,隨著電力CPS 的規(guī)模日益擴(kuò)大、信息物理耦合的不斷深入以及大規(guī)?？稍偕茉吹慕尤?電力系統(tǒng)的模型構(gòu)建日漸復(fù)雜,且網(wǎng)絡(luò)攻擊的復(fù)雜多變也為機(jī)理模型的建立引入了新的難題,使得無法準(zhǔn)確構(gòu)建模型已成為機(jī)理建模方法在電力CPS 網(wǎng)絡(luò)安全領(lǐng)域的應(yīng)用瓶頸。機(jī)器學(xué)習(xí)方法將復(fù)雜的機(jī)理模型看作一個黑箱,通過擬合黑箱輸入與輸出間的映射關(guān)系實(shí)現(xiàn)數(shù)據(jù)驅(qū)動的求解方案,不僅擺脫了煩瑣的建模環(huán)節(jié)以及模型建立不準(zhǔn)確對電力CPS 網(wǎng)絡(luò)安全研究帶來的影響［6］,還能夠捕捉電力系統(tǒng)數(shù)據(jù)的時空相關(guān)性,實(shí)現(xiàn)基于數(shù)據(jù)維度的多方位網(wǎng)絡(luò)攻擊檢測。其次,電力CPS 網(wǎng)絡(luò)安全至關(guān)重要,需要及時對各類網(wǎng)絡(luò)攻擊進(jìn)行檢測、識別、緩解以及隔離等,以免造成整個系統(tǒng)的崩潰。因此,電力CPS網(wǎng)絡(luò)安全領(lǐng)域的應(yīng)用通常對實(shí)時性有著較高的要求。然而,實(shí)際的電力系統(tǒng)模型復(fù)雜龐大,網(wǎng)絡(luò)攻擊種類繁多,傳統(tǒng)的機(jī)理建模分析方法計算過程時間復(fù)雜度較高［42］。雖然由于應(yīng)用場景和所選擇算法的不同,并非所有機(jī)器學(xué)習(xí)方法都具有實(shí)時性優(yōu)勢,但在電力CPS 網(wǎng)絡(luò)安全領(lǐng)域,機(jī)器學(xué)習(xí)方法的應(yīng)用往往考慮了實(shí)時性需求。機(jī)器學(xué)習(xí)方法對物理模型依賴程度較低,通過數(shù)據(jù)擬合簡化電力CPS 問題［43-44］,一定程度上降低了計算復(fù)雜度,且部分機(jī)器學(xué)習(xí)方法的模型訓(xùn)練過程可以離線進(jìn)行,減輕了實(shí)時計算負(fù)擔(dān)［20］。因此,在電力CPS 網(wǎng)絡(luò)安全領(lǐng)域,機(jī)器學(xué)習(xí)方法在滿足實(shí)時性需求方面更有優(yōu)勢,優(yōu)勢的大小與具體場景和算法選擇有關(guān)。

綜上所述,電力CPS 的網(wǎng)絡(luò)安全問題研究存在諸多理論制約和技術(shù)瓶頸,需要探索應(yīng)用新的方法幫助其擺脫困境。在外在的條件支持以及內(nèi)在的問題需求的雙向驅(qū)動下,利用數(shù)據(jù)進(jìn)行快速預(yù)測的機(jī)器學(xué)習(xí)技術(shù)憑借其多方面的優(yōu)勢,在電力CPS 網(wǎng)絡(luò)安全領(lǐng)域逐漸嶄露頭角,已應(yīng)用于自動電壓控制［45］、頻 率 控 制［46］、數(shù) 據(jù) 采 集 與 監(jiān) 控（supervisory control and data acquisition,SCADA）系統(tǒng)［47-48］、廣域測 量 系 統(tǒng)（wide area measurement system,WAMS）［49-50］、狀 態(tài) 估 計［51-53］、高 級 量 測 體 系（advanced metering infrastructure,AMI）［54-55］以 及 電力市場［56-58］等方面。

4 機(jī)器學(xué)習(xí)在電力CPS 潛在攻擊威脅分析中的應(yīng)用

為確保電力CPS 網(wǎng)絡(luò)安全,提升攻擊檢測以及自愈能力,現(xiàn)有研究從攻、防2 個角度展開。攻擊角度研究的主要目的是分析電力CPS 面臨的潛在攻擊威脅,為防御設(shè)計提供指導(dǎo)。潛在攻擊威脅分析主要包括拓?fù)湫畔⑼茢?、最小化攻擊資源、攻擊資源優(yōu)化以及攻擊構(gòu)建等方面。目前,機(jī)器學(xué)習(xí)主要應(yīng)用于拓?fù)湫畔⑼茢?、攻擊資源優(yōu)化以及攻擊構(gòu)建3 個方面。

4.1 拓?fù)湫畔⑼茢?/h3>

針對電力CPS 的網(wǎng)絡(luò)攻擊手段繁多,例如拒絕服務(wù)攻擊、中間人攻擊、重放攻擊、旁路控制等［2］。實(shí)施這些攻擊不需要任何與電力系統(tǒng)相關(guān)的拓?fù)湟约熬€路參數(shù)等物理信息,難以對電力物理系統(tǒng)造成影響,攻擊效果有限。如果攻擊者掌握相關(guān)物理信息,便可根據(jù)這些信息設(shè)計出對電力系統(tǒng)更具破壞力的攻擊,例如虛假數(shù)據(jù)注入攻擊（false data injection attack,FDIA）［59］。當(dāng)前,針對電力CPS 的潛在攻擊威脅分析大都集中于此類需要相關(guān)物理信息的攻擊中。然而,這些信息通常被嚴(yán)格管理,攻擊者難以直接獲取。在電力CPS 中,信息系統(tǒng)環(huán)境較為開放,傳輸或存儲于信息系統(tǒng)中的電力系統(tǒng)日常運(yùn)行數(shù)據(jù)較為容易獲取。因此,當(dāng)前研究都以此為突破口,從較易獲取的量測數(shù)據(jù)中推導(dǎo)攻擊所需的電力系統(tǒng)拓?fù)湫畔ⅲ?0］。為易于推導(dǎo),該問題通常被表述為信號處理領(lǐng)域的盲源分離問題［61］。

機(jī)器學(xué)習(xí)方法能夠有效揭示數(shù)據(jù)間潛在的機(jī)理聯(lián)系,而不利用任何機(jī)理信息,為盲源分離問題提供可行解。無監(jiān)督學(xué)習(xí)中的降維與度量學(xué)習(xí)方法——獨(dú)立成分分析以及主成分分析,常用于解決盲源分離問題。部分僅需無標(biāo)記數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)方法也已被應(yīng)用于電力系統(tǒng)物理信息挖掘。另外,無監(jiān)督聚類方法可以識別出與當(dāng)前拓?fù)涓嚓P(guān)的量測數(shù)據(jù),幫助攻擊者更為準(zhǔn)確地進(jìn)行拓?fù)湫畔⑼茢唷?/p>

一些研究利用主成分分析或獨(dú)立成分分析推導(dǎo)攻擊所需的電力系統(tǒng)信息。文獻(xiàn)［62-64］使用主成分分析將量測數(shù)據(jù)投影到前n個主成分上,其中n為狀態(tài)變量的個數(shù),投影所得矩陣即為電力系統(tǒng)拓?fù)渚仃?。若攻擊者能推?dǎo)證明量測數(shù)據(jù)是若干個相互獨(dú)立的分量的線性組合,則使用獨(dú)立成分分析解混量測數(shù)據(jù)將更具合理性與準(zhǔn)確性,因?yàn)楠?dú)立成分分析假設(shè)源數(shù)據(jù)彼此獨(dú)立且不為高斯分布,目標(biāo)為最大化獨(dú)立性,而主成分分析對數(shù)據(jù)分布不做任何假設(shè)。線性獨(dú)立成分分析已被應(yīng)用于推導(dǎo)攻擊所需關(guān)鍵信息［56］。然而,上述研究存在諸多局限之處,首先,上述研究都是基于直流（direct current,DC）潮流模型,在交流（alternating current,AC）潮流模型下算法準(zhǔn)確性將大大降低；其次,基于矩陣分解的無監(jiān)督學(xué)習(xí)方法計算復(fù)雜度較高,不適用于大規(guī)模系統(tǒng)。為此,可以考慮將神經(jīng)網(wǎng)絡(luò)應(yīng)用于電力系統(tǒng)物理信息推導(dǎo),其強(qiáng)大的非線性特征提取能力可以較為準(zhǔn)確地提取出基于AC 潮流模型的系統(tǒng)物理信息,并且大多神經(jīng)網(wǎng)絡(luò)算法可采用離線訓(xùn)練,在線使用的方式,極大減輕了實(shí)時計算負(fù)擔(dān),可適用于大規(guī)模系統(tǒng)。文獻(xiàn)［65］利用此思路,引入自注意生成式對抗網(wǎng)絡(luò),基于攻擊區(qū)域的歷史量測數(shù)據(jù)以及攻擊區(qū)域與非攻擊區(qū)域之間的結(jié)線信息獲取電力系統(tǒng)相關(guān)物理信息。

然而,由于用于推斷的歷史量測數(shù)據(jù)往往與某個特定的拓?fù)湎嚓P(guān)聯(lián),因此上述方案僅在電力系統(tǒng)拓?fù)浜拖嚓P(guān)參數(shù)固定時有效,難以應(yīng)對通過主動改變電力系統(tǒng)參數(shù)值來防御FDIA 的移動目標(biāo)防御策略［66］。為對抗該防御策略,可以從歷史數(shù)據(jù)中挑選出與當(dāng)前拓?fù)涓嚓P(guān)的量測數(shù)據(jù)用于推斷。文獻(xiàn)［67］使用具有噪聲的基于密度的空間聚類（densitybased spatial clustering of applications with noise,DBSCAN）方法識別出與當(dāng)前拓?fù)涓嚓P(guān)的量測數(shù)據(jù),再通過獨(dú)立成分分析推導(dǎo)系統(tǒng)拓?fù)湫畔ⅰＨ欢?聚類和獨(dú)立成分分析過程所需計算時間較長,特別是聚類過程需要識別分類大規(guī)模系統(tǒng)的大范圍量測數(shù)據(jù)。因此,該研究方案在實(shí)時操作中存在瓶頸。

綜上所述,目前關(guān)于電力系統(tǒng)拓?fù)湫畔⑼茢嗟难芯枯^少,且在大規(guī)模復(fù)雜系統(tǒng)上的性能表現(xiàn)以及實(shí)時操作存在局限性。為此,電力CPS 研究者可以從算法選擇上探索該問題的解決方案。近年來,關(guān)于非線性盲源分離問題的研究發(fā)展迅速,基于貝葉斯集合學(xué)習(xí)、基于自組織映射以及基于核的非線性盲源分離算法等都實(shí)現(xiàn)了較好的應(yīng)用效果［68-70］。電力CPS 研究者可以根據(jù)電力系統(tǒng)量測數(shù)據(jù)的特點(diǎn),選擇合適的非線性盲源分離問題算法,探索更為高效準(zhǔn)確的實(shí)時拓?fù)湫畔⑼茢嗖呗浴?/p>

電力系統(tǒng)拓?fù)湫畔⑼茖?dǎo)研究表明,海量的電力CPS 量測數(shù)據(jù)蘊(yùn)含了許多關(guān)鍵信息,攻擊者可利用這些信息構(gòu)造出極具破壞力的攻擊。因此,量測數(shù)據(jù)的機(jī)密性對保障電力CPS 安全不可忽視。

4.2 攻擊資源優(yōu)化

攻擊者掌握的攻擊資源往往有限,如何優(yōu)化攻擊資源的使用仍需要探討。由于電力CPS 中各個設(shè)備的功能、拓?fù)湮恢靡约芭c其他設(shè)備的安全互相關(guān)性不同,因此攻擊不同設(shè)備對電力CPS 造成的影響有強(qiáng)弱之分［19］。為最大化攻擊造成的影響,攻擊者需要在攻擊實(shí)施前合理分配攻擊資源,確定攻擊目標(biāo)。電力CPS 的結(jié)構(gòu)與運(yùn)行方式較為復(fù)雜,如果僅利用傳統(tǒng)的機(jī)理建模方法,通過時域仿真手段計算每種攻擊目標(biāo)組合策略對電力系統(tǒng)造成的影響,計算量將十分龐大。另外,當(dāng)攻擊目標(biāo)的數(shù)量大于一時,攻擊者需要發(fā)起多次攻擊。一般來說,多次攻擊可分為連續(xù)攻擊和并發(fā)攻擊［71］。連續(xù)攻擊所需的并發(fā)資源相對較少,但其對電力系統(tǒng)造成的影響可能與并發(fā)攻擊相當(dāng)甚至更嚴(yán)重。然而,由于連續(xù)攻擊的攻擊序列組合數(shù)較多,因此計算量將更為龐大。通常,可以將連續(xù)攻擊的攻擊序列確定問題看作一個序列決策問題進(jìn)行求解。

相比傳統(tǒng)的機(jī)理建模方法,機(jī)器學(xué)習(xí)在模型構(gòu)建以及實(shí)時性需求方面更具優(yōu)勢,可以利用電力系統(tǒng)海量的數(shù)據(jù)進(jìn)行訓(xùn)練,快速獲取最優(yōu)攻擊策略,最大限度利用攻擊資源。不同機(jī)器方法依照其不同的特性,被應(yīng)用于攻擊資源優(yōu)化的不同方面,其中,無監(jiān)督學(xué)習(xí)主要用于攻擊目標(biāo)的選擇,其應(yīng)用優(yōu)勢在于能夠挖掘電力CPS 設(shè)備間的潛在聯(lián)系,對設(shè)備進(jìn)行預(yù)分類,加速目標(biāo)選擇過程；強(qiáng)化學(xué)習(xí)主要用于攻擊序列的設(shè)計,其應(yīng)用優(yōu)勢在于免去了煩瑣的電力CPS 建模過程,并能實(shí)現(xiàn)在線序列決策,滿足實(shí)時性需求。

無監(jiān)督學(xué)習(xí)中的聚類學(xué)習(xí)可以將數(shù)據(jù)分組為多個由具有相似特征的對象組成的子集。利用聚類方法,可將電力系統(tǒng)各元件按照其某些特征劃分為若干不相交的子集,用于攻擊目標(biāo)的選擇。如文獻(xiàn)［72］依照總線坐標(biāo),采用K均值聚類將電力系統(tǒng)各總線劃分為不同總線組,再選取每個總線組中功率最大的總線作為攻擊目標(biāo),其攻擊方式假設(shè)為攻擊者可以通過網(wǎng)絡(luò)入侵（例如釣魚攻擊、分布式拒絕服務(wù)攻擊以及蠻力攻擊等）致使線路切換。然而,聚類方法無法對連續(xù)攻擊問題的攻擊序列給出建議。

強(qiáng)化學(xué)習(xí)擅長解決順序決策問題,已應(yīng)用于設(shè)計電力CPS 連續(xù)攻擊策略。文獻(xiàn)［71］考慮電路切換攻擊,提出了一個電力系統(tǒng)攻防雙方零和博弈模型,并利用Q 學(xué)習(xí)求解最優(yōu)攻擊序列。目前,利用強(qiáng)化學(xué)習(xí)設(shè)計連續(xù)攻擊策略的研究僅在小規(guī)模系統(tǒng)上進(jìn)行了實(shí)驗(yàn)驗(yàn)證,大規(guī)模系統(tǒng)的狀態(tài)-動作空間較大,有效性難以考證。此外,在電力CPS 中,攻防雙方會根據(jù)當(dāng)前的系統(tǒng)狀態(tài)及時調(diào)整攻防策略,即雙方的策略在博弈過程中是動態(tài)的且具有耦合性,而當(dāng)前研究往往假設(shè)防守方的防守策略在每次博弈開始前已確定且整個博弈過程中不再改變,簡化了實(shí)際場景。

基于上述已有研究可知,當(dāng)前研究還存在對攻擊效果影響因素考慮不全,將攻防場景過于簡化等問題,導(dǎo)致當(dāng)前各研究方案的通用性及說服力較弱。為此,電力CPS 研究者需要在設(shè)計攻擊資源優(yōu)化方案時將更多因素納入考慮,例如文獻(xiàn)［72］僅依據(jù)坐標(biāo)對總線進(jìn)行聚類,而忽略了各總線的流量限制等其他物理特性。此外,當(dāng)前研究往往假設(shè)攻擊方式為線路切換攻擊,因?yàn)椴煌木€路所連接的節(jié)點(diǎn)重要性不同,所以攻擊不同的線路造成的級聯(lián)影響通常具有強(qiáng)弱之分,使得選擇攻擊線路以及確定攻擊順序尤為重要。而針對其他一些攻擊方式（例如通過網(wǎng)絡(luò)攻擊造成發(fā)電器或者變壓器異常）的攻擊資源優(yōu)化問題,目前尚缺乏基于機(jī)器學(xué)習(xí)的研究對此進(jìn)行探索。

針對攻擊資源優(yōu)化的研究對揭示電力CPS 的脆弱性,找出電力CPS 較薄弱的部分具有重要意義。電力系統(tǒng)操作人員可據(jù)此提前發(fā)現(xiàn)問題,采取適當(dāng)?shù)姆桨笇Υ嗳醪糠旨右员Ｗo(hù)。

4.3 攻擊構(gòu)建

當(dāng)前,基于機(jī)理建模方法構(gòu)建攻擊的方案通常是離線的,需要攻擊者較為準(zhǔn)確地提前評估攻擊的表現(xiàn)以及隱蔽性［59,73］。在線攻擊方法通過與環(huán)境實(shí)時交互,獲取環(huán)境的即時反饋,免去了對攻擊效果的預(yù)判。恰當(dāng)?shù)脑诰€攻擊方法能夠?qū)崟r調(diào)整攻擊策略,使得攻擊在實(shí)現(xiàn)攻擊效果的同時,又能滿足隱蔽性要求。

相較機(jī)理建模方法,一方面,機(jī)器學(xué)習(xí)方法不需要對電力系統(tǒng)機(jī)理建模,不要求攻擊者掌握任何電力系統(tǒng)拓?fù)鋮?shù)信息；另一方面,大部分機(jī)器學(xué)習(xí)方法能夠?qū)崿F(xiàn)快速在線預(yù)測。這兩方面的優(yōu)勢為機(jī)器學(xué)習(xí)方法應(yīng)用于電力CPS 在線攻擊方案的設(shè)計提供了可能。強(qiáng)化學(xué)習(xí)方法通過與環(huán)境交互來學(xué)習(xí)和優(yōu)化動作策略,已應(yīng)用于電力CPS 在線攻擊的構(gòu)建。

電力系統(tǒng)的狀態(tài)轉(zhuǎn)換過程可以看作一個馬爾可夫鏈,為強(qiáng)化學(xué)習(xí)的應(yīng)用提供了基礎(chǔ)。文獻(xiàn)［45］將FDIA 的構(gòu)建問題轉(zhuǎn)化為一個部分可觀察的馬爾可夫決策過程,并通過Q 學(xué)習(xí)求解。該研究將動作設(shè)定為對原始量測值調(diào)整的百分比,獎勵由目標(biāo)總線前后電壓變化差值確定。然而,目前基于強(qiáng)化學(xué)習(xí)的序列攻擊構(gòu)建方案停留于靜態(tài)攻擊策略求解層面,沒有考慮攻防雙方的動態(tài)博弈過程。

相比于離線攻擊構(gòu)建方案［59,73］,在線攻擊構(gòu)建方案的關(guān)鍵優(yōu)勢在于對動態(tài)環(huán)境的及時響應(yīng)。為此,電力CPS 研究者需要探索如何準(zhǔn)確刻畫電力系統(tǒng)環(huán)境的動態(tài)特性以及環(huán)境中各動態(tài)變量的耦合性,以提高在線攻擊構(gòu)建方案的性能表現(xiàn)。

探索攻擊構(gòu)建方案的本質(zhì)是加強(qiáng)并完善攻擊檢測方法等電力CPS 防御措施。電力系統(tǒng)操作人員可根據(jù)構(gòu)建攻擊的原理反向推導(dǎo),設(shè)計合適的防御方法。

目前,機(jī)器學(xué)習(xí)在電力CPS 潛在攻擊威脅分析中的應(yīng)用分類如圖2 所示。

圖2 機(jī)器學(xué)習(xí)在潛在攻擊分析中的應(yīng)用分類Fig.2 Classification of applications of machine learning in potential attack analysis

5 機(jī)器學(xué)習(xí)在電力CPS 安全防御中的應(yīng)用

防御角度可分為4 個部分：攻擊前的保護(hù)、攻擊時的檢測、攻擊時的緩解和攻擊后的恢復(fù)。目前,各研究工作主要集中于前3 個部分,即安全保護(hù)、攻擊檢測和攻擊緩解。

5.1 安全保護(hù)

電力CPS 網(wǎng)絡(luò)安全保護(hù)研究是指在電力CPS安全規(guī)劃階段,分析系統(tǒng)最重要以及面對網(wǎng)絡(luò)攻擊最脆弱的部分,以便對這些部分加強(qiáng)保護(hù)力度,防止網(wǎng)絡(luò)入侵。當(dāng)前,該部分研究主要集中于脆弱性分析問題。

脆弱性分析是指找出電力系統(tǒng)中最脆弱的節(jié)點(diǎn)。這些節(jié)點(diǎn)遭受網(wǎng)絡(luò)攻擊后將對電力CPS 產(chǎn)生較大的影響,因此需要防御者在攻擊發(fā)生前對這些節(jié)點(diǎn)進(jìn)行保護(hù),防患于未然。脆弱性分析研究等價于4.2 節(jié)中介紹的攻擊資源優(yōu)化研究,只是分別以防御者和攻擊者的角度對問題進(jìn)行剖析,因此這兩類問題使用的機(jī)理建模方法以及這些方法面臨的瓶頸也基本相同,即難以建立精確的系統(tǒng)模型以及計算復(fù)雜度過高。

為解決上述瓶頸問題,機(jī)器學(xué)習(xí)方法憑借其在模型構(gòu)建以及實(shí)時性需求方面的優(yōu)勢,已應(yīng)用于電力CPS 脆弱性分析領(lǐng)域。與機(jī)器學(xué)習(xí)方法在攻擊資源優(yōu)化問題上的應(yīng)用類似,無監(jiān)督學(xué)習(xí)中的聚類方法能夠挖掘出數(shù)據(jù)間的內(nèi)在關(guān)聯(lián),主要應(yīng)用于識別電力CPS 最脆弱的節(jié)點(diǎn)；強(qiáng)化學(xué)習(xí)作為一種序列決策工具,主要應(yīng)用于連續(xù)攻擊防御領(lǐng)域。

針對最脆弱節(jié)點(diǎn)的識別,文獻(xiàn)［74］提出了一個基于自組織映射神經(jīng)網(wǎng)絡(luò)的聚類方案。文獻(xiàn)［55］應(yīng)用K 均值聚類確定在不同程度的FDIA 下各節(jié)點(diǎn)的脆弱程度。相比K均值聚類方案,基于自組織映射神經(jīng)網(wǎng)絡(luò)的聚類方案對非線性關(guān)系的擬合能力更強(qiáng),更適合擁有復(fù)雜節(jié)點(diǎn)關(guān)系的電力CPS。

針對連續(xù)攻擊的防御研究,文獻(xiàn)［75］應(yīng)用強(qiáng)化學(xué)習(xí)識別導(dǎo)致大停電的關(guān)鍵節(jié)點(diǎn)序列。目前,該類研究的局限之處在于沒有考慮攻防雙方的動態(tài)博弈過程。

綜上所述,電力CPS 脆弱性分析研究與攻擊資源優(yōu)化研究面臨的不足之處類似,即對防御效果影響因素考慮不全、將攻防場景過于簡化等問題。為此,電力CPS 研究者在設(shè)計防御方案時需要考慮更多可變因素,例如節(jié)點(diǎn)間的相關(guān)性、攻擊者的攻擊行為變化等,使防御策略更具實(shí)用性。

5.2 攻擊檢測

攻擊檢測是保障電力CPS 安全穩(wěn)定運(yùn)行的重要一環(huán),及時準(zhǔn)確的檢測方案能將攻擊帶來的影響最小化。面對復(fù)雜化的電力物理系統(tǒng)以及多元化的電力信息系統(tǒng),基于機(jī)理建模的檢測方法存在諸多理論制約和技術(shù)瓶頸。第一,電力CPS 網(wǎng)絡(luò)龐大且結(jié)構(gòu)復(fù)雜,針對電力CPS 的網(wǎng)絡(luò)攻擊種類繁多,機(jī)理建模方法難以準(zhǔn)確構(gòu)建系統(tǒng)故障與攻擊特征之間的關(guān)聯(lián)關(guān)系；第二,當(dāng)電力系統(tǒng)安全穩(wěn)定運(yùn)行時,相鄰時刻的運(yùn)行數(shù)據(jù)一般變化較小,因此運(yùn)行數(shù)據(jù)在時間尺度上發(fā)生突變意味著該時刻發(fā)生攻擊的可能性較高,而多數(shù)機(jī)理建模方法無法在時間尺度上構(gòu)建量測數(shù)據(jù)的相關(guān)性,一定程度上影響了檢測準(zhǔn)確率；第三,攻擊檢測算法的實(shí)時性至關(guān)重要,然而機(jī)理建模方法的檢測過程較為耗時,難以滿足實(shí)時安全的要求。

機(jī)器學(xué)習(xí)方法克服了上述難題,其免去了煩瑣的建模步驟,利用海量數(shù)據(jù)揭示電力CPS 各尺度上的關(guān)聯(lián)關(guān)系,在線進(jìn)行攻擊檢測［76］。

目前,應(yīng)用機(jī)器學(xué)習(xí)檢測電力CPS 網(wǎng)絡(luò)攻擊的文獻(xiàn)主要關(guān)注一些常見的以及對電力系統(tǒng)影響較大的網(wǎng)絡(luò)攻擊,其具體可分為四大類：異常檢測、FDIA 檢測、斷路攻擊檢測和竊電檢測。此外,還有一些研究關(guān)注電力CPS 中其他網(wǎng)絡(luò)攻擊的檢測問題。

5.2.1 異常檢測

異常檢測用于檢測量測數(shù)據(jù)中的離群點(diǎn),并不針對某一類特定的網(wǎng)絡(luò)攻擊。無監(jiān)督學(xué)習(xí)和監(jiān)督學(xué)習(xí)作為各領(lǐng)域常用的異常檢測方法,已被廣泛應(yīng)用于電力CPS 網(wǎng)絡(luò)安全領(lǐng)域。此外,強(qiáng)化學(xué)習(xí)方法也已被應(yīng)用于該領(lǐng)域。

文獻(xiàn)［77］和文獻(xiàn)［78］分別采用局部異常因子法以及獨(dú)立森林算法檢測同步相量測量單元（phasor measurement unit,PMU）數(shù)據(jù)是否遭受攻擊。文獻(xiàn)［79］應(yīng)用主成分分析方法得到PMU 數(shù)據(jù)的核心子空間,通過判斷核心子空間是否發(fā)生改變進(jìn)行攻擊檢測。上述檢測方案均假設(shè)訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)的分布相同,若數(shù)據(jù)分布改變,則模型需要重新訓(xùn)練。然而電力CPS 環(huán)境是動態(tài)的,其物理層和網(wǎng)絡(luò)層均面臨持續(xù)的變化,導(dǎo)致數(shù)據(jù)分布發(fā)生改變。電力CPS 攻擊檢測任務(wù)相關(guān)性較強(qiáng),遷移學(xué)習(xí)方法可將已訓(xùn)練好的檢測模型的相關(guān)參數(shù)遷移到新的檢測模型中。文獻(xiàn)［80］提出了一個基于深度神經(jīng)網(wǎng)絡(luò)的遷移學(xué)習(xí)框架,用于攻擊檢測。

相比無監(jiān)督學(xué)習(xí)方法,監(jiān)督學(xué)習(xí)方法擁有數(shù)據(jù)標(biāo)記作為指導(dǎo),可更準(zhǔn)確地識別各種攻擊。檢測結(jié)果的可解釋性對電力CPS 較為重要,因此一些文獻(xiàn)采用具有較高可解釋性的基于規(guī)則的機(jī)器學(xué)習(xí)方法檢測攻擊［81］。然而規(guī)則的生成耗時耗力,為克服這一缺陷,有研究采用兼顧可解釋性與消耗時間的決策樹進(jìn)行實(shí)時網(wǎng)絡(luò)攻擊檢測［49］。神經(jīng)網(wǎng)絡(luò)的可解釋性雖然欠佳,但具有較強(qiáng)的非線性特征提取能力,已被廣泛應(yīng)用于電力CPS 異常檢測領(lǐng)域［82-84］。集成學(xué)習(xí)由多個弱分類器構(gòu)成一個強(qiáng)分類器,以期在某些情況下提高檢測性能,極端梯度提升［85］以及自適應(yīng)增強(qiáng)［86］等集成學(xué)習(xí)算法已應(yīng)用于電力CPS 網(wǎng)絡(luò)攻擊檢測。

攻擊檢測問題也可設(shè)計為馬爾可夫決策問題并利用強(qiáng)化學(xué)習(xí)求解。文獻(xiàn)［87］將如何在誤報率最小的情況下最快檢測到電力CPS 網(wǎng)絡(luò)攻擊的問題設(shè)計為馬爾可夫決策問題,并基于強(qiáng)化學(xué)習(xí)求解。相比其他機(jī)器學(xué)習(xí)方法,強(qiáng)化學(xué)習(xí)方法關(guān)注于每一步動作所能得到的長期累計回報,通過合理設(shè)置獎勵函數(shù)可實(shí)現(xiàn)誤報率與檢測速度間的平衡。

5.2.2 FDIA 檢測

遭受FDIA 的數(shù)據(jù)仍遵循物理定律,可以繞過傳統(tǒng)的壞數(shù)據(jù)檢測方法。監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)以及強(qiáng)化學(xué)習(xí)方法已應(yīng)用于FDIA 檢測研究。

監(jiān)督學(xué)習(xí)方法是最早應(yīng)用于FDIA 檢測的機(jī)器學(xué)習(xí)方法。早期主要應(yīng)用了一些淺層、相對簡單的監(jiān)督學(xué)習(xí)算法檢測FDIA,主要包括K最近鄰分類［88-89］、支持向量機(jī)［57,88-89］、稀疏邏輯回歸［88］、感知機(jī)［89］、自適應(yīng)增強(qiáng)算法［89］、多核學(xué)習(xí)［89］以及貝葉斯推理［90］等。這些方法各具優(yōu)勢,其中K最近鄰分類和支持向量機(jī)分別在小規(guī)模系統(tǒng)和大規(guī)模系統(tǒng)中表現(xiàn)更佳,稀疏邏輯回歸在稀疏系統(tǒng)中的表現(xiàn)優(yōu)于前兩者,感知機(jī)對系統(tǒng)大小敏感性較低,自適應(yīng)增強(qiáng)算法和多核學(xué)習(xí)對系統(tǒng)大小和數(shù)據(jù)稀疏性的變化更具魯棒性,貝葉斯推理方法的可解釋性較高。隨著計算能力以及系統(tǒng)運(yùn)行數(shù)據(jù)量的攀升,基于深度神經(jīng)網(wǎng)絡(luò)的攻擊檢測方案開始嶄露頭角,深度置信網(wǎng)絡(luò)（deep belief network,DBN）［58］、深 度 前 饋 神 經(jīng) 網(wǎng)絡(luò)［91］、循 環(huán) 神 經(jīng) 網(wǎng) 絡(luò)（recurrent neural network,RNN）［51］、卷 積 神 經(jīng) 網(wǎng) 絡(luò)（convolutional neural network,CNN）［52］等算法已應(yīng)用于FDIA 檢測,由于深度學(xué)習(xí)方法具有強(qiáng)大的非線性特征提取能力,RNN 還能捕獲連續(xù)系統(tǒng)狀態(tài)下數(shù)據(jù)的時間相關(guān)性,深度神經(jīng)網(wǎng)絡(luò)的檢測性能普遍優(yōu)于前述淺層機(jī)器學(xué)習(xí)算法,但同時也犧牲了可解釋性。另外,還有一些文獻(xiàn)使用集成學(xué)習(xí)算法檢測FDIA,例如文獻(xiàn)［92］分別集成了決策樹、樸素貝葉斯、邏輯回歸、神經(jīng)網(wǎng)絡(luò)以及支持向量機(jī)等多種分類器,并將它們的性能與單一分類器的性能進(jìn)行了對比分析。

監(jiān)督學(xué)習(xí)需要大量的標(biāo)記數(shù)據(jù),但與電力CPS安全相關(guān)的標(biāo)記數(shù)據(jù)往往難以獲得。半監(jiān)督學(xué)習(xí)利用少量的標(biāo)記數(shù)據(jù)和大量的無標(biāo)記數(shù)據(jù)進(jìn)行學(xué)習(xí)。文獻(xiàn)［89］利用半監(jiān)督支持向量機(jī)檢測FDIA,是半監(jiān)督學(xué)習(xí)方法在此領(lǐng)域的首次應(yīng)用。深度學(xué)習(xí)算法也可以采用半監(jiān)督的方式進(jìn)行訓(xùn)練,并已有研究將其應(yīng)用于FDIA 檢測領(lǐng)域［53］,該研究結(jié)合自編碼器與生成對抗網(wǎng)絡(luò),將自編碼器的編碼部分作為生成對抗網(wǎng)絡(luò)的產(chǎn)生器。

與電力CPS 網(wǎng)絡(luò)安全相關(guān)的標(biāo)記數(shù)據(jù)往往較少,因此許多研究應(yīng)用無監(jiān)督學(xué)習(xí)方法檢測FDIA。主成分分析可以恢復(fù)由低秩分量和稀疏分量疊加而成的矩陣中的每個分量［93］。電力系統(tǒng)狀態(tài)在短時間內(nèi)變化較小,實(shí)際量測值矩陣通常是低秩的；而攻擊矩陣由于攻擊者傾向于以最小的代價發(fā)起攻擊且一些量測數(shù)據(jù)可能受到保護(hù),往往是稀疏的。因此,可以采用主成分分析恢復(fù)觀測矩陣中的每個分量,以檢測FDIA［47］。然而該方法的計算復(fù)雜度較高,難以實(shí)際應(yīng)用。相較而言,聚類方法的時間復(fù)雜度更低,常用于異常分離,文獻(xiàn)［94］和文獻(xiàn)［48］分別使用模糊C 均值聚類以及局部異常因子法進(jìn)行攻擊檢測。擅于提取非線性表達(dá)的自編碼器也可通過比較輸入與輸出間的重構(gòu)誤差的方式檢測FDIA［95］。

文獻(xiàn)［96］將FDIA 檢測問題描述為局部可觀馬爾可夫決策過程,并采用深度強(qiáng)化學(xué)習(xí)技術(shù)求解。與傳統(tǒng)的強(qiáng)化學(xué)習(xí)方案相比,深度強(qiáng)化學(xué)習(xí)方案利用深度神經(jīng)網(wǎng)絡(luò)擬合未知狀態(tài),更適用于狀態(tài)-動作空間較大的電力CPS 環(huán)境。

5.2.3 斷路攻擊檢測

傳統(tǒng)的機(jī)理建模方法已能較為準(zhǔn)確地檢測斷路攻擊,然而隨著電力系統(tǒng)的規(guī)模日益增大,計算量較大的機(jī)理建模方法難以滿足實(shí)時檢測的要求,因此一些研究開始探索基于機(jī)器學(xué)習(xí)的檢測方法。目前該類研究較少,且僅有監(jiān)督學(xué)習(xí)的方法應(yīng)用于該領(lǐng)域。

文獻(xiàn)［97］和文獻(xiàn)［98］分別使用支持向量機(jī)和線性回歸檢測斷路攻擊。文獻(xiàn)［99］研究并比較了支持向量機(jī)、樸素貝葉斯和K 最近鄰分類算法用于檢測斷路攻擊的性能表現(xiàn),實(shí)驗(yàn)結(jié)果表明基于樸素貝葉斯的檢測方案性能最佳。然而上述研究［97-99］只能檢測單條線路中斷,文獻(xiàn)［50］克服了這一局限性,結(jié)合貝葉斯推理以及前饋神經(jīng)網(wǎng)絡(luò)的思想,可實(shí)時檢測多條線路中斷。

5.2.4 竊電檢測

異常檢測、FDIA 檢測以及斷路攻擊檢測的數(shù)據(jù)集通常來自遠(yuǎn)程終端單元（remote terminal unit,RTU）或PMU,而竊電檢測的數(shù)據(jù)集通常來自提供用戶用電數(shù)據(jù)的電表。一般情況下,竊電不會導(dǎo)致電力系統(tǒng)的不安全或不穩(wěn)定,但會給電力公司造成一定的經(jīng)濟(jì)損失。目前監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)均已應(yīng)用于竊電檢測研究。

通常,普通用戶的數(shù)量遠(yuǎn)超竊電用戶,使得訓(xùn)練數(shù)據(jù)集不平衡。支持向量機(jī)可通過為正、反例分配不同的權(quán)值處理不平衡數(shù)據(jù)集,已應(yīng)用于竊電檢測［100］。文獻(xiàn)［101］采用可處理不平衡數(shù)據(jù)集的隨機(jī)欠采樣自適應(yīng)增強(qiáng)集成學(xué)習(xí)方法檢測竊電。電表數(shù)據(jù)蘊(yùn)含的信息較多,神經(jīng)網(wǎng)絡(luò)可準(zhǔn)確、高效地學(xué)習(xí)自變量和因變量之間復(fù)雜的非線性關(guān)系,在竊電檢測領(lǐng)域應(yīng)用十分廣泛,多層前饋神經(jīng)網(wǎng)絡(luò)［54］、卷積神經(jīng)網(wǎng)絡(luò)［102］、LSTM 網(wǎng)絡(luò)［103］均有所應(yīng)用。其中,卷積神經(jīng)網(wǎng)絡(luò)主要用于提取一天內(nèi)不同時刻的電表數(shù)據(jù)與用戶是否竊電的關(guān)系；而LSTM 網(wǎng)絡(luò)擅長學(xué)習(xí)數(shù)據(jù)間的時間特性,被用于學(xué)習(xí)用電數(shù)據(jù)的長期依賴性。為同時捕獲順序數(shù)據(jù)的長短期特征,一些研究將LSTM 網(wǎng)絡(luò)與卷積神經(jīng)網(wǎng)絡(luò)的思想相結(jié)合用于竊電檢測［104］。

對于某個給定用戶,竊電樣本有時很少甚至不存在,因此一些研究利用無監(jiān)督學(xué)習(xí)方法進(jìn)行竊電檢測。文獻(xiàn)［105］使用規(guī)則歸納創(chuàng)建基于各類用戶特征的竊電檢測模型,但規(guī)則生成過程極具挑戰(zhàn)性且十分耗時。為克服此缺陷,一些研究使用聚類方法檢測竊電［106-108］。

雖然竊電樣本較少,但半監(jiān)督學(xué)習(xí)方法可最大限度利用這些樣本。基于自編碼器的半監(jiān)督學(xué)習(xí)模型已被應(yīng)用于竊電檢測［109］。

5.2.5 其他攻擊檢測

電力CPS 網(wǎng)絡(luò)攻擊種類繁多,一些文獻(xiàn)對其他網(wǎng)絡(luò)攻擊檢測進(jìn)行了研究。例如,基于支持向量機(jī)的分布式入侵檢測系統(tǒng)被用于檢測電力通信系統(tǒng)網(wǎng)絡(luò)層的攻擊［110］。監(jiān)督學(xué)習(xí)方法被應(yīng)用于電力CPS時間同步攻擊［111］的檢測［46］。部分文獻(xiàn)利用機(jī)器學(xué)習(xí)算法檢測數(shù)據(jù)源標(biāo)識混合攻擊,例如多粒度級聯(lián)森林算法［112］和前饋神經(jīng)網(wǎng)絡(luò)算法［113］等。極限學(xué)習(xí)機(jī)技術(shù)被用于識別網(wǎng)絡(luò)入侵中被破壞的儀表［114］。樸素貝葉斯分類器被用于檢測針對負(fù)荷預(yù)測數(shù)據(jù)的網(wǎng)絡(luò)攻擊［115］。

上述各類針對不同攻擊的機(jī)器學(xué)習(xí)檢測算法優(yōu)缺點(diǎn)各異,需要根據(jù)實(shí)際應(yīng)用背景與應(yīng)用需求選擇合適的算法。例如,各類無監(jiān)督學(xué)習(xí)算法免去了成本較高的人工類別標(biāo)注過程,但檢測精度往往低于監(jiān)督學(xué)習(xí)算法；半監(jiān)督學(xué)習(xí)算法能將少量的標(biāo)注樣本利用起來以提高檢測精度；強(qiáng)化學(xué)習(xí)算法適用于求解序列決策問題,但將其應(yīng)用于攻擊檢測領(lǐng)域需要將檢測問題重新定義為序列決策問題,過程較為復(fù)雜且難以帶來檢測性能的提高。在攻擊檢測算法的具體選擇上,也需要考慮各機(jī)器學(xué)習(xí)算法的特性,例如,樸素貝葉斯算法有較強(qiáng)的數(shù)學(xué)基礎(chǔ),可解釋性強(qiáng)、對數(shù)據(jù)缺失不敏感,但其需要計算先驗(yàn)概率且對輸入樣本的表達(dá)形式較敏感；K最近鄰算法檢測準(zhǔn)確度高且能提取非線性特征,但其計算量較大且不適用于樣本集不平衡的情況；支持向量機(jī)算法可處理不平衡樣本集且檢測準(zhǔn)確率較高,但其對缺失數(shù)據(jù)較敏感且核函數(shù)的選取較難；神經(jīng)網(wǎng)絡(luò)可充分?jǐn)M合復(fù)雜的非線性關(guān)系,檢測準(zhǔn)確度高,但其需要大量的模型參數(shù)且可解釋性較差等。此外,各類攻擊檢測問題在實(shí)際應(yīng)用中面臨著可用樣本數(shù)量較少、樣本集不均衡、檢測準(zhǔn)確率與模型泛化能力難以兼顧以及模型可解釋性較差等難題。因此,電力CPS 研究者需要根據(jù)實(shí)際應(yīng)用背景下的難點(diǎn)所在以及關(guān)于模型檢測精度、檢測速度、泛化能力、可解釋性等方面的應(yīng)用需求,綜合考慮各機(jī)器學(xué)習(xí)算法的優(yōu)缺點(diǎn),以挑選出合適的機(jī)器學(xué)習(xí)算法。

5.3 攻擊緩解

目前,利用機(jī)理建模方法或機(jī)器學(xué)習(xí)方法緩解針對電力CPS 網(wǎng)絡(luò)攻擊的研究相對較少。現(xiàn)有研究利用博弈論［116］或語義分析［117］的方法以緩解攻擊對電力系統(tǒng)帶來的影響,但這些方法面臨著模型構(gòu)建困難以及計算資源消耗較多等局限性。近年來,部分研究將機(jī)器學(xué)習(xí)方法應(yīng)用于攻擊緩解領(lǐng)域,這些研究主要集中于攻擊緩解中的數(shù)據(jù)恢復(fù)部分。

攻擊向量移除指移除被攻擊量測值中的攻擊注入部分,將量測數(shù)據(jù)恢復(fù)到未攻擊狀態(tài),以減輕數(shù)據(jù)完整性攻擊對電力CPS 的影響。對于該問題,機(jī)理建模方法無法挖掘數(shù)據(jù)間的深層聯(lián)系以及時間關(guān)聯(lián)性,難以實(shí)現(xiàn)電力數(shù)據(jù)恢復(fù)。

機(jī)器學(xué)習(xí)方法擁有強(qiáng)大的數(shù)據(jù)挖掘能力,使恢復(fù)被攻擊數(shù)據(jù)成為可能。目前無監(jiān)督學(xué)習(xí)和監(jiān)督學(xué)習(xí)方法已應(yīng)用于該問題。

矩陣分解是數(shù)據(jù)恢復(fù)領(lǐng)域的常用方法［118］。為移除攻擊向量,可采用無監(jiān)督的矩陣分解技術(shù),例如魯棒主成分分析［93］,恢復(fù)低秩量測值矩陣和稀疏攻擊矩陣疊加而成的觀測矩陣中的各分量,從而得到實(shí)際量測矩陣［47］。但基于矩陣分解的方法計算復(fù)雜較高,且矩陣稀疏度會影響恢復(fù)精度。一些無監(jiān)督神經(jīng)網(wǎng)絡(luò)算法,例如降噪自動編碼器［119］以及生成對抗網(wǎng)絡(luò)［120］可重建受FDIA 影響的量測值,以消除攻擊所致的偏差。然而上述方法均會使未受攻擊的量測部分被替換。

一些研究將監(jiān)督學(xué)習(xí)方法應(yīng)用于攻擊向量移除中。文獻(xiàn)［121］采用貝葉斯?fàn)顟B(tài)估計實(shí)時去除不可靠的量測值,并使用多層前饋神經(jīng)網(wǎng)絡(luò)降低貝葉斯估計的計算復(fù)雜度。然而,貝葉斯技術(shù)需要系統(tǒng)先驗(yàn)知識,對高度動態(tài)化的電力CPS 適應(yīng)能力較差。卷積神經(jīng)網(wǎng)絡(luò)在圖像去噪任務(wù)中具有較高的有效性［122］。為此,文獻(xiàn)［123］應(yīng)用卷積神經(jīng)網(wǎng)絡(luò)剔除被攻擊的量測值,然而該方法也會使未受攻擊的量測部分被替換。

當(dāng)前,移除攻擊向量的研究主要面臨的難題是如何保證量測數(shù)據(jù)中未被攻擊部分的完整性,求解該難題的前提在于準(zhǔn)確定位量測數(shù)據(jù)中被攻擊的部分。隨后,需要最大限度保護(hù)未被攻擊部分在攻擊向量移除過程中不被改動,以使恢復(fù)得到的量測數(shù)據(jù)更接近原始量測數(shù)據(jù)。

目前,機(jī)器學(xué)習(xí)在電力CPS 安全防御中的應(yīng)用分類如圖3 所示。

圖3 機(jī)器學(xué)習(xí)在安全防御中的應(yīng)用分類Fig.3 Classification of applications of machine learning in defense

6 展望

與較為健壯的電力一次系統(tǒng)相比,電力CPS 網(wǎng)絡(luò)安全較薄弱,研究起步較晚。目前,該領(lǐng)域仍面臨著許多挑戰(zhàn),包括但不局限于如下4 個方面：

1）最小化攻擊資源：攻擊者在發(fā)動攻擊前,需要考慮攻擊實(shí)施成功的可能性,確定發(fā)動攻擊所需的最小攻擊資源。例如,文獻(xiàn)［124］表明在CPS 中,若超過一半的傳感設(shè)備被攻擊,則CPS 操作者將不能精確恢復(fù)系統(tǒng)狀態(tài),而在電力CPS 網(wǎng)絡(luò)安全領(lǐng)域,對于某種網(wǎng)絡(luò)攻擊,攻擊者需要多少攻擊資源才能達(dá)到攻擊目的的研究仍為欠缺。最小攻擊資源的確定是攻擊資源、攻擊效果以及攻擊隱蔽性三者的權(quán)衡問題,將該問題表述為優(yōu)化問題求解可作為研究思路之一。

2）網(wǎng)絡(luò)安全評估：網(wǎng)絡(luò)安全評估指估計不同種類網(wǎng)絡(luò)攻擊對電力CPS 造成的影響,將這些攻擊按影響大小排序,以便設(shè)計防御措施。網(wǎng)絡(luò)安全評估問題與穩(wěn)定評估問題相似,不同的是,穩(wěn)定評估根據(jù)系統(tǒng)當(dāng)前運(yùn)行狀態(tài)對重要故障進(jìn)行篩選,并據(jù)此對當(dāng)前狀態(tài)做N?k故障分析,分析不同故障對當(dāng)前運(yùn)行狀態(tài)的影響程度。而網(wǎng)絡(luò)安全評估用于分析不同網(wǎng)絡(luò)攻擊對當(dāng)前運(yùn)行狀態(tài)的影響,不考慮攻擊造成的故障種類。當(dāng)前,已有許多研究關(guān)注穩(wěn)定評估問題［125］,而對網(wǎng)絡(luò)安全評估的研究工作仍較匱乏。針對電力CPS 的網(wǎng)絡(luò)攻擊種類繁多,該問題的難點(diǎn)之一在于如何使評估方案具有通用性或可遷移性。由于針對電力CPS 的網(wǎng)絡(luò)攻擊相關(guān)性較強(qiáng),因此可以考慮利用遷移學(xué)習(xí)方法將針對某種網(wǎng)絡(luò)攻擊的評估方案遷移到針對新的網(wǎng)絡(luò)攻擊的評估方案中。目前,遷移學(xué)習(xí)在電力CPS 網(wǎng)絡(luò)攻擊檢測中已取得較好的表現(xiàn)［80］。

3）防御資源規(guī)劃：不同的網(wǎng)絡(luò)攻擊具有不同的特征（例如頻率、可發(fā)現(xiàn)性以及再現(xiàn)性等）,對電力CPS 整體安全性的影響有強(qiáng)弱之分。由于防守方的防御資源往往有限,無法針對所有網(wǎng)絡(luò)攻擊實(shí)施保護(hù)措施,因此,需要根據(jù)網(wǎng)絡(luò)攻擊的影響程度及其相應(yīng)的特征合理部署防御資源,建立電力CPS 網(wǎng)絡(luò)安全首道防線。防御資源規(guī)劃是防御成本與防御性能之間的權(quán)衡問題。該問題建立在已明確各網(wǎng)絡(luò)攻擊對電力CPS 的影響的基礎(chǔ)上,由影響強(qiáng)弱判斷電力CPS 對各網(wǎng)絡(luò)攻擊的容忍度,并以此為基準(zhǔn)分配防御資源。電力CPS 各設(shè)備間存在物理連接或通信關(guān)系,因此,網(wǎng)絡(luò)安全具有整體、全面、協(xié)同的特點(diǎn),在分配防御資源時,需要考慮合并針對不同網(wǎng)絡(luò)攻擊的防御策略產(chǎn)生的并發(fā)影響。該問題的解決方案之一是利用多智能體強(qiáng)化學(xué)習(xí)［126］,使每個智能體維護(hù)一個關(guān)于不同網(wǎng)絡(luò)攻擊的防御策略和一個局部值函數(shù),所有智能體的總目標(biāo)是使電力CPS 更為安全。目前,在微電網(wǎng)領(lǐng)域,多智能體強(qiáng)化學(xué)習(xí)算法已有較多應(yīng)用［127］。

4）恢復(fù)策略評估：電力CPS 網(wǎng)絡(luò)攻擊防御由攻擊前的保護(hù)、攻擊時的檢測、攻擊時的緩解和攻擊后的恢復(fù)4 個部分組成。然而現(xiàn)存文獻(xiàn)大多關(guān)注前3 個部分。電力CPS 與國家安全以及國民經(jīng)濟(jì)發(fā)展息息相關(guān),快速消除攻擊影響,及時恢復(fù)電力系統(tǒng)的安全平穩(wěn)運(yùn)行,以保障電力可用性尤為重要。根據(jù)攻擊發(fā)生的時間段以及電力使用場景的不同,需要采取不同的防御措施,以達(dá)到恢復(fù)成本與恢復(fù)所需時長的平衡,例如,城市商圈白天斷電相比學(xué)校區(qū)域夜晚斷電要求更短的恢復(fù)時長。文獻(xiàn)［128］利用深度強(qiáng)化學(xué)習(xí)方法確定因網(wǎng)絡(luò)攻擊而跳閘的輸電線路的最佳合閘時間,該研究為機(jī)器學(xué)習(xí)在恢復(fù)策略設(shè)計中的應(yīng)用提供了范例,更多的應(yīng)用尚待挖掘探索。

7 結(jié)語

本文首先介紹了電力CPS 網(wǎng)絡(luò)安全的要求及挑戰(zhàn),然后從數(shù)據(jù)基礎(chǔ)及硬件基礎(chǔ)、模型構(gòu)建及實(shí)時性需求角度分別分析了機(jī)器學(xué)習(xí)應(yīng)用于電力CPS網(wǎng)絡(luò)安全領(lǐng)域的契機(jī)與優(yōu)勢,接著從攻防兩個角度闡述了電力CPS 網(wǎng)絡(luò)安全面臨的難點(diǎn)問題并歸納了機(jī)器學(xué)習(xí)在各問題上的應(yīng)用,最后分析展望了該領(lǐng)域存在的挑戰(zhàn)以及未來的研究方向。

機(jī)器學(xué)習(xí)方法具有強(qiáng)大的線性及非線性關(guān)系擬合能力,對于電力CPS 網(wǎng)絡(luò)安全面臨的各類挑戰(zhàn)均有應(yīng)用的可能。例如對于最小化攻擊資源問題,可根據(jù)電力系統(tǒng)當(dāng)前的狀態(tài)、預(yù)期達(dá)到的攻擊效果以及要求的攻擊隱蔽性,端到端輸出最小需要的攻擊資源,也可利用機(jī)器學(xué)習(xí)加速該優(yōu)化問題的求解速度,以達(dá)到實(shí)時性要求。由此可見,電力CPS 網(wǎng)絡(luò)安全領(lǐng)域還有許多亟待解決的問題,機(jī)器學(xué)習(xí)在該領(lǐng)域的應(yīng)用尚待進(jìn)一步探索。