• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    多源數(shù)據(jù)融合的物聯(lián)網(wǎng)安全知識推理方法

    2022-12-15 13:19:02張書欽白光耀張敏智
    計算機研究與發(fā)展 2022年12期
    關鍵詞:攻擊者漏洞本體

    張書欽 白光耀 李 紅 張敏智

    1(中原工學院計算機學院 鄭州 450007)2(物聯(lián)網(wǎng)信息安全技術北京市重點實驗室(中國科學院信息工程研究所) 北京 100093)(zhangsq@zut.edu.cn)

    物聯(lián)網(wǎng)(Internet of things, IoT)領域的發(fā)展改變了傳統(tǒng)的工業(yè)形態(tài),方便了人們的生活,海量物聯(lián)網(wǎng)設備的使用和新型物聯(lián)網(wǎng)技術的普及促使物聯(lián)網(wǎng)應用擴展到更廣泛的領域,如工控物聯(lián)網(wǎng)、醫(yī)療領域、智能城市、智能電網(wǎng)等[1],但潛在的物聯(lián)網(wǎng)安全問題也在逐步浮現(xiàn).伴隨信息化與工業(yè)化的深度融合,采礦、電力、化工等領域的工業(yè)控制網(wǎng)絡與政府、軍事、金融等系統(tǒng)的網(wǎng)絡從相對獨立且完全與外網(wǎng)隔離,逐漸發(fā)展為網(wǎng)絡化連接和信息化管理并向互聯(lián)網(wǎng)開放.傳統(tǒng)的內(nèi)網(wǎng)外網(wǎng)界限逐漸模糊,引入了無處不在的網(wǎng)絡安全風險.物聯(lián)網(wǎng)背景下的工控設備與網(wǎng)絡技術相融合,消除了工業(yè)環(huán)境的內(nèi)外部安全邊界[2].工控網(wǎng)絡設備不僅面臨傳輸鏈路上的軟硬件安全、網(wǎng)絡防護邊界模糊等安全風險,還面臨云平臺服務虛擬化中的跳板入侵、違規(guī)接入、數(shù)據(jù)丟失、竊聽和篡改等新型安全風險.

    同時,物聯(lián)網(wǎng)供應鏈的安全威脅也隨著供應鏈復雜程度的提高而不斷出現(xiàn).物聯(lián)網(wǎng)供應鏈涉及執(zhí)行各種任務的不同子系統(tǒng),包括內(nèi)部開發(fā)、信息傳遞、中間組件以及產(chǎn)品或服務制造的全過程;并涉及多個參與者例如生產(chǎn)者、系統(tǒng)集成商、服務商、供貨商、銷售商等.物聯(lián)網(wǎng)供應鏈安全涵蓋了第三方供貨商、制造商和服務商之間各種軟硬件產(chǎn)品和信息安全外包,包括在物聯(lián)網(wǎng)環(huán)境與物聯(lián)網(wǎng)設備上搭載的運營技術和信息技術.隨著物聯(lián)網(wǎng)供應鏈的復雜程度不斷提高,物聯(lián)網(wǎng)供應鏈的風險控制能力逐漸降低,任何組件或服務出現(xiàn)漏洞或數(shù)據(jù)泄露都會破壞業(yè)務的連貫性,帶來難以控制的安全風險.

    如上所述,物聯(lián)網(wǎng)安全面臨著復雜且多變的威脅,遭受的入侵和攻擊變得越來越智能化與多樣化.在大量物聯(lián)網(wǎng)設備接入互聯(lián)網(wǎng)的過程中,異構信息的交互和網(wǎng)絡結構的快速變化使攻擊面進一步擴大,不斷產(chǎn)生新的弱點和威脅[3].同時在物聯(lián)網(wǎng)供應鏈中,一個上下游供應鏈環(huán)境中的漏洞可以從源節(jié)點級聯(lián)到整個網(wǎng)絡系統(tǒng)的多個目標節(jié)點,所以對物聯(lián)網(wǎng)供應鏈整體網(wǎng)絡安全威脅情報屬性的關注非常重要.在面對物聯(lián)網(wǎng)環(huán)境中的新型威脅時,傳統(tǒng)的安全入侵檢測和響應技術無法適應物聯(lián)網(wǎng)安全領域面臨的攻擊,安全信息及事件管理(security information and event management, SIEM)和安全操作中心(security operation center, SOC)[4]也存在很大的局限性,迫切需要一種有效的方法智能地響應安全入侵.針對物聯(lián)網(wǎng)的威脅事件,可以采用多種智能推理技術來實現(xiàn),例如基于本體的推理技術和語義網(wǎng)技術,以及基于智能訪問控制模型、文本挖掘和自然語言處理(natural language processing, NLP)的惡意代碼檢測技術.但是由于物聯(lián)網(wǎng)的異構性和復雜性,對物聯(lián)網(wǎng)系統(tǒng)進行全局的安全狀態(tài)檢測和威脅事件感知非常困難.針對整個物聯(lián)網(wǎng)系統(tǒng)與供應鏈系統(tǒng)的安全管理與威脅分析具有挑戰(zhàn)性,本文提出了一種物聯(lián)網(wǎng)安全多源知識推理方法,通過分析物聯(lián)網(wǎng)安全公開知識庫的特點,構建了一個本體模型以描述物聯(lián)網(wǎng)與供應鏈安全威脅要素、進行知識整合以解決多源知識的語義異質(zhì)性問題、并利用推理規(guī)則進行威脅分析.該方法可以感知物聯(lián)網(wǎng)環(huán)境內(nèi)的安全狀況、自動化推理可采用的緩解措施、并豐富物聯(lián)網(wǎng)供應鏈與威脅情報之間的上下文語義信息,以提高威脅響應能力.

    本文工作的主要貢獻有3個方面:

    1) 分析物聯(lián)網(wǎng)安全公開知識庫的特點,將物聯(lián)網(wǎng)多源知識與威脅情報整合并構建關系映射鏈接圖模型,對物聯(lián)網(wǎng)安全威脅要素評估提供支持.

    2) 提出了一個物聯(lián)網(wǎng)供應鏈風險分析本體模型以描述威脅信息對象間的關聯(lián)性、拓展目前網(wǎng)絡安全領域本體建模的知識域范圍、解決多源安全知識的語義異質(zhì)性問題,可提供更廣泛的安全狀況感知.

    3) 提出了一種基于本體的物聯(lián)網(wǎng)安全多源知識推理方法,該方法能夠感知物聯(lián)網(wǎng)系統(tǒng)內(nèi)的高脆弱性組件、對物聯(lián)網(wǎng)供應鏈與威脅情報之間的上下文語義信息進行補全,并自動化響應威脅入侵.

    1 相關工作

    目前圍繞漏洞和潛在的威脅已經(jīng)存在大量的基礎研究,網(wǎng)絡安全專家可以通過使用公共的結構化描述語言和公開的信息安全知識庫來制定防御的策略、技巧和操作.Syed等人[5]搭建了一個統(tǒng)一網(wǎng)絡安全模型UCO,集合了來自不同網(wǎng)絡安全系統(tǒng)的異構數(shù)據(jù)和知識模式與常用的網(wǎng)絡安全標準,并用于信息共享交換和網(wǎng)絡態(tài)勢感知.Kiesling等人[6]通過集成網(wǎng)絡安全領域的標準詞匯表與可用于更新知識圖譜的ETL工作流,構建了一個動態(tài)的網(wǎng)絡安全知識圖譜,并通過接口提供集成訪問服務.田建偉等人[7]利用圖論對能源互聯(lián)網(wǎng)網(wǎng)絡結構進行建模,提出LR-NodeRank節(jié)點加權方法來評估融合網(wǎng)絡的安全狀況,并且基于威脅圖的安全狀況改進方法計算需要加固的網(wǎng)絡邊界.黃克振等人[8]利用區(qū)塊鏈的去中心化和匿名性,保護威脅情報中的身份信息,并利用區(qū)塊鏈的回溯能力構建完整攻擊鏈.但以上研究均未正式描述物聯(lián)網(wǎng)安全領域核心概念之間的關系,對威脅分析的研究尚未提高到語義級別,無法定義推理規(guī)則.本文整合了安全領域異構多源知識庫并以圖結構統(tǒng)一表示數(shù)據(jù),通過來自不同知識源的上下文語義信息為后續(xù)的知識推理工作提供支持.

    網(wǎng)絡供應鏈(cyber supply chain, CSC)安全是用于控制和增強供應鏈系統(tǒng)以確保業(yè)務連續(xù)性、保護產(chǎn)品安全和提供信息保障的機制.Sun等人[9]分析了電力系統(tǒng)網(wǎng)絡安全風險并設計了增強電力物聯(lián)網(wǎng)安全的解決方案,以增強智能電網(wǎng)環(huán)境下的CSC安全性.Kieras等人[10]提出了一個I-SCRAM框架,用于分析物聯(lián)網(wǎng)系統(tǒng)中供應鏈安全風險,并基于此模型提出了量化供應鏈風險的指標.Yeboah-Ofori等人[11]應用威脅情報分析和機器學習技術,基于已有的威脅情報屬性分析來預測威脅,并識別已存在的CSC漏洞,最終為網(wǎng)絡供應鏈安全威脅提供適當?shù)目刂拼胧?Benthall[12]將漏洞數(shù)據(jù)與開源項目OpenSSL的開放版本控制數(shù)據(jù)相關聯(lián),應用AML(Alhazmi-Malaiya logistic)模型將融合數(shù)據(jù)用于軟件供應鏈風險發(fā)現(xiàn).Nakano等人[13]提出了一個供應鏈可信度框架,用于驗證供應鏈中的組織是否符合預定義的要求,并以擬議的框架為基礎設計了新方法來提高性能與可用性.但目前的工作均圍繞供應鏈漏洞與上下游供應鏈弱點展開,對CSC安全威脅參與者攻擊過程與戰(zhàn)術意圖的研究仍然缺乏.本文在物聯(lián)網(wǎng)安全知識整合過程中融入了供應鏈信息,并與攻擊者的戰(zhàn)術、技術與活動等知識相關聯(lián),豐富了供應鏈安全的上下文語義信息并為物聯(lián)網(wǎng)供應鏈威脅分析研究提供了新機制.

    本體被用于刻畫信息對象、進行領域知識共享和重用,目前研究者對網(wǎng)絡威脅情報(cyber threat intelligence, CTI)的分析與本體建模已經(jīng)取得一定進展.司成等人[14]以漏洞屬性、漏洞對象等元素出發(fā),結合網(wǎng)絡安全態(tài)勢要素的特點,提出了一種基于本體的網(wǎng)絡安全態(tài)勢要素知識庫模型,用于整合和利用網(wǎng)絡安全態(tài)勢知識.李濤等人[15]提出了一種通用的網(wǎng)絡安全參數(shù)分類架構,根據(jù)類型的繼承關系擴展了主機域中的漏洞本體.Jia等人[16]以基于規(guī)則和機器學習相結合的信息提取方式來獲取與網(wǎng)絡安全相關的實體,提出了構建網(wǎng)絡安全知識圖譜的實用方法,并基于五元組模型來推理新規(guī)則.Rastogi等人[17]設計了惡意軟件本體MALOnt,支持惡意軟件威脅情報結構化信息提取,并以MALOnt為基礎構建了惡意軟件知識圖譜從知識圖譜中推理隱含的關系.Mozzaquatro等人[18]將網(wǎng)絡安全知識以及相應的預防措施集成到運行時安全監(jiān)視和啟動工具可以訪問的本體IoTSec中[19],使安全系統(tǒng)自動檢測對IoT網(wǎng)絡的威脅并動態(tài)地提出合適的保護服務.Choi等人[20]對電力系統(tǒng)漏洞與安全上下文本體進行建模,并以智能電表為示例創(chuàng)建了電力物聯(lián)網(wǎng)中的攻擊場景,實現(xiàn)了可以有效運行的安全機制.但目前將攻擊者的戰(zhàn)術意圖、攻擊技術與攻擊過程與漏洞和弱點相結合的研究仍處于初級階段,網(wǎng)絡安全領域多是以漏洞、弱點與攻擊模式為重心進行研究,很難進行復合攻擊預測和威脅分析與其后續(xù)工作.本文提出的本體模型拓展了目前網(wǎng)絡安全領域本體建模的知識域范圍,提供更廣泛的安全狀況感知以提高威脅響應能力.

    2 物聯(lián)網(wǎng)安全多源知識整合

    目前,海量的安全信息碎片化分散在互聯(lián)網(wǎng)上,其中安全組織MITRE所維護的公共知識庫逐漸發(fā)展成為網(wǎng)絡安全領域的行業(yè)標準.通過一整套信息安全描述標準和規(guī)范,物聯(lián)網(wǎng)安全研究成果可以通過格式化的語言進行表達,并實現(xiàn)情報共享.安全領域知名公共知識庫包括通用漏洞披露(common vulnerabilities and exposures, CVE)、國家漏洞數(shù)據(jù)庫(national vulnerability database, NVD)、通用弱點枚舉(common weakness enumeration, CWE)、通用攻擊模式枚舉和分類(common attack pattern enumeration and classification, CAPEC)、通用平臺枚舉(common platform enumeration, CPE)和ATT&CK(adversarial tactics, techniques, and common knowledge)矩陣.本文的威脅情報來自開放威脅交換平臺(open threat exchange, OTX)的信息共享.

    2.1 安全知識與威脅情報數(shù)據(jù)來源

    CVE披露了已暴露的漏洞,數(shù)據(jù)庫中的每個漏洞都有一個由MITRE定義的標識號和相關描述.NVD提供與安全相關的軟件漏洞,相關產(chǎn)品配置和影響指標的有關信息.NVD建立在CVE列表上并與CVE列表完全同步,NVD為CVE列表中的條目提供了增強的信息,例如結構化信息、根據(jù)通用漏洞評分系統(tǒng)(common vulnerability scoring system, CVSS)給出的嚴重性得分和影響等級等.CVSS是評估漏洞嚴重性的行業(yè)公共標準,大多數(shù)漏洞嚴重性研究與商業(yè)漏洞管理平臺都基于CVSS進行評估.CAPEC提供了攻擊模式分類的匯總,關注的是攻擊者對網(wǎng)絡空間脆弱性的利用方式,了解到攻擊模式對于威脅分析與防御至關重要.相關弱點信息則由CWE知識庫匯總.OTX是全球權威的開放威脅信息共享和分析網(wǎng)絡.OTX可以提供威脅摘要、入侵指標(indicators of compromise, IoC)、惡意軟件家族等有價值的信息,最重要的是,OTX平臺對每條開放威脅情報相關聯(lián)的ATT&CK技術知識進行了枚舉,OTX平臺為本文將CTI與整合后的物聯(lián)網(wǎng)安全知識相映射提供了可行的路徑.

    2.2 ATT&CK矩陣

    ATT&CK矩陣由MITRE在2013年首次提出[21].通過匯總分析真實的觀察數(shù)據(jù)與高級持續(xù)性威脅(advanced persistent threat, APT)組織活動,ATT&CK逐漸發(fā)展成為針對攻擊者行為描述的通用語言和攻擊鏈全生命周期的行為分析模型.ATT&CK抽象地描述了由順序網(wǎng)絡攻擊戰(zhàn)術組成的框架,并且每種攻擊戰(zhàn)術涵蓋了大量攻擊技術.從攻擊檢測和威脅分析的角度分析,只有明確攻擊戰(zhàn)術和技術,才能進一步推測攻擊所關聯(lián)的上下文信息.ATT&CK旨在持續(xù)構建并豐富攻擊者的戰(zhàn)術意圖和技術模式,幫助安全研究者掌握技術全景,以支持對安全入侵的評估和自動化響應.

    目前將ATT&CK矩陣應用于威脅分析的可行性引起了研究者的極大興趣.在安全情報研究領域,漏洞情報研究發(fā)展較早,漏洞情報多是從軟件、硬件、操作系統(tǒng)、協(xié)議的脆弱性等角度入手,發(fā)展較為成熟[21],而威脅情報主要收集與攻擊者或攻擊行為相關的外部因素,通過整合威脅信息并提供威脅信息的共享,達到對威脅的及時管控[22].在物聯(lián)網(wǎng)安全領域,由于物聯(lián)網(wǎng)本身的內(nèi)在復雜性,物聯(lián)網(wǎng)設備與系統(tǒng)之間發(fā)生的異構信息交換進一步加劇了物聯(lián)網(wǎng)的結構復雜性,圍繞漏洞情報的研究在物聯(lián)網(wǎng)的復雜環(huán)境中存在很大的局限性[23],所以目前研究者希望通過分析和理解攻擊者目標與系統(tǒng)性風險的角度進行物聯(lián)網(wǎng)環(huán)境下的威脅分析.ATT&CK矩陣能夠串聯(lián)起威脅事件和觀測數(shù)據(jù),從而打通對威脅事件的理解鏈路.

    2.3 多源知識關系映射

    Fig. 1 Schematic of relational mapping linkages圖1 關系映射鏈接示意圖

    本文以CAPEC所關注的攻擊模式(attack pattern)為橋梁,將攻擊者所使用的手段,即戰(zhàn)術(tactic)和技術(technique)與攻擊目標存在的弱點(weakness)關聯(lián)在一起,由于CWE中的弱點可以鏈接到CVE中的漏洞(vulnerability),并且該條目可以鏈接CPE庫中已知受影響的平臺(platform).從OTX平臺獲取的CTI信息則通過與技術建立映射,完成與所有安全知識的鏈接.通過這種端到端的鏈接方法,安全研究者可以在網(wǎng)絡空間中選擇某種特定的應用、硬件平臺或操作系統(tǒng),查看它會受到哪些策略或技術的影響,從而對物聯(lián)網(wǎng)環(huán)境中潛在的威脅進行分析.圖1描繪了根據(jù)所選的知識源映射出的關系鏈接.

    以映射出的關系鏈接為基礎,本文結合了各知識庫的源數(shù)據(jù)與結構特征,使用圖結構統(tǒng)一表示數(shù)據(jù),每一層表示不同的來源,圖的節(jié)點來自知識源的條目,保留了知識源之間的內(nèi)部和外部鏈接并以圖的邊來表示.原知識庫中的關系鏈接不是雙向的,但在整合為統(tǒng)一的圖結構數(shù)據(jù)時,可以進行雙向遍歷,從而很容易的從任意一個節(jié)點去追溯不同知識源之間的關系.總的來說,ATT&CK提供了攻擊者對易受攻擊的系統(tǒng)所施加的戰(zhàn)術和技術,CWE,CVE,CPE提供了被攻擊者利用的弱點和漏洞在物聯(lián)網(wǎng)中的位置,CAPEC將潛在的攻擊行為與可能成為攻擊目標的弱點聯(lián)系起來.

    OTX在時刻匯總最新披露的威脅事件的同時將威脅事件條目自動導入并豐富已構建的物聯(lián)網(wǎng)安全圖結構知識庫,完成對CTI的動態(tài)更新.本文以ATT&CK中的技術條目T1083為例,展示將相關CTI條目映射至ATT&CK的情況,如圖2所示.

    2.4 異構數(shù)據(jù)整合與關系鏈接示例

    本文使用不同來源的數(shù)據(jù)完成多源知識的映射與整合.這些數(shù)據(jù)在各自的網(wǎng)站上提供可供下載的異構格式,如JSON,XML,CSV,這些網(wǎng)絡安全知識定期更新,以反映現(xiàn)實網(wǎng)絡安全領域的變化.不同知識源之間雖然缺乏語義層面的關系描述,但是這些知識在設計之初就考慮到了互相之間的聯(lián)系,源數(shù)據(jù)中預留了公共標識符可以鏈接來自特定來源的數(shù)據(jù).圖3展示了一個示例,CAPEC-497在源數(shù)據(jù)中引用了ATT&CK中的文件和目錄發(fā)現(xiàn)(File and Directory Discovery)技術,基于Taxomy_Mappings公共標識符,可以在CAPEC與ATT&CK存在關聯(lián)的相關條目之間直接創(chuàng)建關系鏈接.

    本文構建的物聯(lián)網(wǎng)安全統(tǒng)一圖結構知識存儲在Neo4j圖數(shù)據(jù)庫中,與來自OTX的相關CTI條目信息集成,并記錄各知識源與匯總的威脅事件條目統(tǒng)計信息,表1提供了當前各元素的匯總統(tǒng)計信息.

    Fig. 3 Graph structure data integration and relational sources圖3 圖結構數(shù)據(jù)整合與關系來源

    Table 1 Statistics of Each Element for Unified Graph Structure Dataset

    3 基于本體的物聯(lián)網(wǎng)安全多源知識推理

    物聯(lián)網(wǎng)環(huán)境中針對異構網(wǎng)絡的攻擊最為突出[24].第2節(jié)的方法打通了對威脅事件的理解鏈路,并提供物聯(lián)網(wǎng)安全狀況整體視圖,但針對實際物聯(lián)網(wǎng)環(huán)境與供應鏈系統(tǒng)的安全管理與威脅分析仍是一個挑戰(zhàn).本文提出了一種基于語義本體和規(guī)則邏輯的物聯(lián)網(wǎng)安全多源知識推理方法.本體通過對特定領域知識的形式化描述,在解決物聯(lián)網(wǎng)供應鏈安全與CTI之間的語義異質(zhì)性問題中發(fā)揮了重要作用[25-26].

    本文分析了物聯(lián)網(wǎng)安全領域多個知識源,提出了物聯(lián)網(wǎng)供應鏈風險分析本體(risk analysis of IoT supply chain ontology, RIoTSCO).受到多個本體[5,19,27]的啟發(fā),本文抽取了部分概念并調(diào)整了大量細節(jié),使本體更適合本文的知識源.首先,圍繞ATT&CK矩陣設計了與戰(zhàn)術和技術相關的類.同時在對物聯(lián)網(wǎng)威脅事件發(fā)生的場景部分進行建模時,擬議的本體模型考慮了上下游供應鏈安全所必須的概念,這些類關聯(lián)的知識源在所參考本體中均是沒有涉及的.其次,使用OWL語言類來構建統(tǒng)一的形式化描述,概念被實現(xiàn)為類(Class),關系被實現(xiàn)為屬性(Properties).OWL的表達能力僅限于描述邏輯,不能表達不確定的知識,例如事件在時間和空間上的變化以及語義關系.最后,為了增強模型的推理能力,本文后半部分使用基于語義Web規(guī)則語言設計推理規(guī)則來補全本體的描述能力.

    3.1 RIoTSCO本體的類和屬性分析

    本文提出的RIoTSCO本體包括6個頂級類:平臺(Platform)、漏洞(Vulnerability)、弱點(Weakness)、攻擊模式(AttackPattern)、活動(Campaign)和事件(Event),使用一種基于描述邏輯的本體語言(OWL DL)來表示模型中的類,頂級類之間的關系如圖4所示.表2給出了RIoTSCO本體中頂級類與其子類,本節(jié)以RIoTSCO本體的頂級類為基礎,介紹模型子域的各種本體描述.

    Fig. 4 Relationship between top classes of RIoTSCO圖4 RIoTSCO的頂級類之間的關系

    Table 2 Top Classes and Their Subclasses of RIoTSCO Ontology表2 RIoTSCO本體頂級類與其子類

    1) 平臺的本體描述.平臺類描述了威脅事件發(fā)生的場景信息,包含了可能受到漏洞影響的軟件、硬件與操作系統(tǒng),同時包含了產(chǎn)品的供應鏈信息.狀態(tài)(Status)是平臺類的子類,用于描述受影響平臺的脆弱性.使用描述邏輯對產(chǎn)品Cohu 3960HD進行描述:

    Cohu 3960HD?Platform∩

    ?hasPlatformType.PT(Hardware∪)∩

    ?hasSupplyChain.SC(?Outbound_Chain∩

    ?Inbound_Chain)∩

    ?hasStatus.Status(Normal_Vulnerable∪

    Serious_Vulnerable∪Critical_Vulnerable)∩

    ?hasVendor.String∩?hasVersion.Version.

    2) 漏洞的本體描述.漏洞指攻擊者可利用的軟件、硬件或系統(tǒng)中的缺陷或錯誤.本文的本體模型中,CVSS評分標準提供了一個定量模型來描述漏洞的特征和影響,同時用來評估漏洞的嚴重程度.以漏洞條目CVE-2017-8860為例,此漏洞會使平臺通過目錄列表進行信息泄露,使得敏感信息被暴露給未經(jīng)授權的攻擊者.以CVE-2017-8860為漏洞的一個實例進行描述:

    Vulnerability(CVE-2017-8860)∩

    ?hasSeverity.Severity(Critical)∩

    ?hasAttackVector.AV(Network)∩

    ?hasAttackComplexity.AC(Low)∩

    ?hasPrivilegesRequired.PR(Low)∩

    ?hasUserInteraction.UI(None)∩

    ?hasScope.S(Unchanged)∩

    ?hasConfidentiality.C(High)∩

    ?hasIntegrity.I(None)∩

    ?hasAvailability.A(None)∩

    ?exploitedBy.AttackPattern

    (File Discovery).

    3) 弱點的本體描述.對弱點域進行建模過程中,模式類(Modes_Of_Introduction)描述物聯(lián)網(wǎng)環(huán)境中如何以及何時引入此弱點的相關信息,其子類階段類(Phase)標識了產(chǎn)品生命周期中可能發(fā)生引入的點,注釋類(Note)提供了與特定引入階段有關的典型場景.CWE根據(jù)弱點之間的關系將其抽象為10個類別,本文的弱點類型類(Weakness_Type)采用此類分類方法.以將敏感信息暴露給未經(jīng)授權的行動者(Exposure of Sensitive Information to an Unauthorized Actor)為例,存在此弱點時,產(chǎn)品有可能向未明確授權訪問該信息的活動者公開敏感信息,其描述為:

    Exposure of Sensitive Information to an Unauthorized

    Actor?WeaknessType(Improper Control of a

    Resource Through its Lifetime)?Weakness∩

    ?hasCWE_ID.CWE_ID(CWE-200)∩

    ?hasApplicablePlatform.String∩

    ?hasModesOfIntroduction.MOI(Phase∩Note)∩

    ?hasWeaknessMitigation.String∩

    ?hasLikelihoodOfExploit.LOE(High).

    4) 攻擊模式的本體描述.CAPEC根據(jù)攻擊者利用漏洞時采用的機制對攻擊模式進行分類,將攻擊模式抽象為9個類別,本文本體模型中的攻擊機制類(Attack_Mechanism)采用此分類方法,包含了與CAPEC給出的分類方式一一對應的9個子類.以文件發(fā)現(xiàn)(File Discovery)為例,此攻擊模式利用產(chǎn)品存在暴露敏感信息相關的弱點,攻擊者可以通過探索活動來確定是否存在通用密鑰文件,并為可能發(fā)生的破壞性攻擊行為做鋪墊,其描述為:

    File Discovery?Attack_Mechanism(Collect

    and Analyze Information)?AttackPattern∩

    ?hasCAPEC_ID.CAPEC_ID(CAPEC-497)∩

    ?hasAttackLikelihood.AL(High)∩

    ?hasConsequence.C(?Scope∩?Impact)∩

    ?hasAttackPatternMitigation.String∩

    ?hasPrerequisite.String∩

    ?hasTaxonomyMappings.TM(File and

    Directory Discovery).

    5) 活動的本體描述.與一次攻擊相比,活動是針對某個特定目標在一段時間內(nèi)所采取的一組惡意活動或攻擊的集合,活動類描述了一段時間內(nèi)針對一組特定目標發(fā)生的一組惡意活動或攻擊,活動可以通過其所使用的戰(zhàn)術、技術、所使用的惡意軟件、執(zhí)行惡意活動的團體和防御此活動的緩解措施來表示.在ATT&CK框架中,每個攻擊戰(zhàn)術包含了多個攻擊技術,且每個攻擊技術由多個子技術組成,本文的本體建模參考了其結構.以File and Directory Discovery為例,攻擊者在主機或網(wǎng)絡共享的特定位置搜索文件系統(tǒng)內(nèi)的信息,以支持諸如感染目標或嘗試特定操作之類的后續(xù)行為,其描述為:

    Technique(File and Directory Discovery)?

    Campaign∩

    ?belongToTactic.Tactic(Discovery)∩

    ?hasMitigation.String∩

    ?hasMapped.AttackPattern(Directory

    Indexing∩File Discovery)∩

    ?hasSoftware.Software(Tool∩Malware)∩

    ?hasThreatGroup.Group.

    6) 事件的本體描述.本文的事件指的是威脅交換平臺中分享的開放威脅信息.事件類是對開放威脅信息共享中的威脅指標、威脅事件行動方案、威脅參與者、惡意軟件家族等信息的描述.以一個威脅事件“Sunburst:Supply chain attack targets SolarWinds users”為例,一場破壞SolarWinds Orion軟件更新機制的供應鏈攻擊已經(jīng)感染了100多個客戶的2 000多臺設備.本次事件披露了24個相關的IOC指標,使用描述邏輯對其描述為:

    Sunburst:Supply Chain Attack Targets SolarWinds

    Users?Event∩

    ?hasMalwareFamily.MF(CobaltStrike-S0154∩Backdoor.Sunburst∩Backdoor.SuperNova∩Backdoor.Teardrop)∩

    ?hasIndicatorOfCompromise.IOC

    (IndicatorType)∩

    ?hasCourseOfAction.String∩

    ?hasThreatActor.TA(Role∩Sector).

    3.2 推理規(guī)則設計

    推理規(guī)則既服務于本體模型定義,又服務于領域?qū)嵗龜?shù)據(jù)描述.推理規(guī)則在補充本體描述語言的語義描述能力的同時,又可用于描述領域?qū)<姨峁┑膯l(fā)式經(jīng)驗知識.記RIoT-security為物聯(lián)網(wǎng)安全領域推理規(guī)則集,KBIoT-security為物聯(lián)網(wǎng)安全領域知識庫,則推理規(guī)則集定義為:

    RIoT-security={R1,R2,…,Rn|R∈KBIoT-security},n≥0.

    R1表示某條推理規(guī)則.只有當特定陳述(state-ment)集合都為真時,推理規(guī)則才會為本體模型添加新的知識.例如,使用推理規(guī)則描述某個攻擊團體時,當收集到的某次活動的信息滿足某個攻擊團體已被披露的戰(zhàn)術或技術特征時,可以基于規(guī)則建立攻擊團體與本次活動之間的語義關系.W3C推薦的語義推理規(guī)則描述語言為SWRL(Semantic Web Rule Language)[28],故本文選擇SWRL來處理本體模型的直接和間接關系,以增強OWL的描述能力.SWRL與OWL建立在相同的描述邏輯基礎上,同時在解決本體中多層次、復雜的相互關系推理與數(shù)據(jù)值推理時有更強大的表達能力.在編寫規(guī)則時,SWRL可以直接使用本體中描述的關系和詞匯,每個SWRL規(guī)則都是本體中的一種OWL公理,這些新規(guī)則還可以與本體中存在的現(xiàn)有公理進行交互.SWRL規(guī)則的形式為:

    A1,A2,…,Am→B1,B2,…,Bn.

    箭頭兩邊的逗號表示連詞,描述復雜邏輯關系時可以寫為合取式與析取式.A1,A2,…,Am→B1,B2,…,Bn的形式可以表示為C(x),P(x,y)或者(x,y),其中C是一個OWL描述、P是OWL屬性、x和y可以是OWL實例或者OWL數(shù)據(jù)值.推理規(guī)則能夠從已知的知識中發(fā)現(xiàn)新的關系.為便于討論物聯(lián)網(wǎng)安全領域推理規(guī)則的推理能力,本文記ClassIoT-security為物聯(lián)網(wǎng)安全領域類的集合,PropertyIoT-security為物聯(lián)網(wǎng)安全領域?qū)ο髮傩约?,?/p>

    ClassIoT-security={Class1,Class2,…,Classn},n≥0,
    PropertyIoT-security=
    {Property1,Property2,…,Propertyn},n≥0.

    記EntityIoT-security為物聯(lián)網(wǎng)安全領域?qū)嵗?,且?/p>

    EntityIoT-security={Entity1,Entity2,…,Entityn|
    Entityi∈ClassIoT-security},n≥0.

    圖5根據(jù)推理規(guī)則可以得到新的關系:

    Fig. 5 Examples of inference rule and graphical representation圖5 推理規(guī)則示例與圖形化表示

    給定圖5推理規(guī)則,對象屬性hasProperty1(?c1,?c2),hasProperty2(?c2,?c3),hasProperty3(?c3,?c4)提供了類Class1(?c1),Class2(?c2),Class3(?c3),Class4(?c4)之間的關系鏈接,這種關系鏈接可以從對象屬性hasProperty4(?c1,?c4)與現(xiàn)有知識中推理出隱式事實.

    知識推理能夠在物聯(lián)網(wǎng)場景下發(fā)現(xiàn)資產(chǎn)、漏洞、安全機制和威脅之間的隱式關系.本文設計物聯(lián)網(wǎng)環(huán)境安全狀態(tài)推理規(guī)則R1與緩解措施推理規(guī)則R2推理物聯(lián)網(wǎng)環(huán)境中的安全狀態(tài),并利用多源知識自動化推理系統(tǒng)中可采用的緩解措施.推理規(guī)則R1描述為:

    [

    R1:rule_severity

    Platform(?p)∧hasVulnerability(?p,?v)∧Vulnera-bility(?v)∧hasSeverity(?v,?se)∧Severity(?se)∧Status(?st)∧affect(?se,?st)→hasStatus(?p,?st)

    ].

    物聯(lián)網(wǎng)環(huán)境安全狀態(tài)推理規(guī)則語義為:物聯(lián)網(wǎng)環(huán)境中存在受漏洞影響的平臺,當漏洞的嚴重程度為“高”或“危急”時,系統(tǒng)將自動標記出受特定漏洞影響的平臺為高脆弱性,并對安全分析人員評估物聯(lián)網(wǎng)環(huán)境所受威脅的嚴重性提供支持.在上述推理規(guī)則的基礎上,推理機通過推理規(guī)則R2實現(xiàn)對高脆弱性平臺自動化關聯(lián)緩解措施.

    緩解措施推理規(guī)則語義為:當已知物聯(lián)網(wǎng)環(huán)境中的高脆弱性位置時,通過平臺中漏洞可能受到的攻擊模式映射至技術,利用已知的威脅事件對與特定技術相關聯(lián)的惡意行為與戰(zhàn)術進行分析,從系統(tǒng)中自動化提取與之相關的緩解措施.推理規(guī)則R2描述為:

    [

    R2:rule_mitigation

    Platform(?p)∧hasStatus(?p,?st)∧

    Status(?st)∧hasVulnerability(?p,?v)∧

    Vulnerability(?v)∧Att-ackPattern(?a)∧

    target(?a,?v)∧mapping(?a,?t)∧

    Technique(?t)∧Mitigation(?m)→

    useMitigation(?p,?m)

    ].

    SWRL無法進行OWL查詢,本文使用SQWRL(Semantic Query-Enhanced Web Rule Language)對已集成的本體模型進行知識提取.SQWRL是SWRL的擴展,并且可以與SWRL結合使用,將已有規(guī)則轉化為模式匹配機制,對OWL類、OWL屬性、OWL實例和OWL數(shù)據(jù)值等推理出的隱式知識進行查詢和檢索.推理機可以分離出受到特定威脅的物聯(lián)網(wǎng)節(jié)點.物聯(lián)網(wǎng)環(huán)境內(nèi)存在的弱點和可能受到的威脅是隨機的,且數(shù)量龐大,但部分威脅的目標是特定的,且威脅活動的特征是明顯的[29].在感知物聯(lián)網(wǎng)環(huán)境內(nèi)的脆弱性分布后,結合CTI的上下文信息將高危節(jié)點分離出來并針對特定威脅優(yōu)先進行處理,將大大減少時間和空間的消耗,提高對威脅入侵的響應速度.如分離高危節(jié)點推理規(guī)則R3所示,推理機可查詢物聯(lián)網(wǎng)環(huán)境內(nèi)是否存在Exposure of Sensitive Information to an Unauthorized Actor弱點,并且將有可能被攻擊者使用File Discovery技術對物聯(lián)網(wǎng)環(huán)境完成File and Directory Discovery并最終達成環(huán)境探索戰(zhàn)術目標的高危節(jié)點分離出來.此外,當在物聯(lián)網(wǎng)環(huán)境中更新組件時,只需在數(shù)據(jù)層增加相應的實例,RIoTSCO本體和推理規(guī)則就可以輕松推理當前環(huán)境的網(wǎng)絡安全態(tài)勢.推理規(guī)則R3描述為:

    [

    R3:rule_critical_vulnerable_platforms

    Platform(?p)∧hasVulnerability(?p,?v)∧

    Vulnera-bility(?v)∧hasStatus(?p,

    CriticalVulnerable)∧hasWeakness(?p,

    Exposure of Sensitive Informa-tion to an

    Unauthorized Actor)∧target(File and

    Directory Discovery,?p)∧AttackPattern

    (?a)∧exploitedBy(?v,?a)∧mapping

    (?a,File Discovery)→sqwl:select(?p,?v)

    ].

    RIotSCO模型結合推理機,可以挖掘威脅事件與已有的物聯(lián)網(wǎng)供應鏈安全知識之間的隱式關系,從而補充威脅情報與物聯(lián)網(wǎng)供應鏈之間的上下文語義信息.本文設計供應鏈攻擊目標推理規(guī)則R4,其描述為:

    [

    R4:rule_supply_chain_attack_goal

    Supplier(?s)∧Platform(?p)∧hasStatus

    (?p,?st)∧Status(?st)∧hasVulnerability

    (?p,?v)∧Vulnerabi-lity(?v)∧

    AttackPattern(?a)∧target(?a,?v)∧

    mapping(?a,?t)∧Technique(?t)∧

    Malware(?m)∧attributed_to(?e,?t)∧

    use(?e,?m)∧Event(?e)→goal(?e,?s)

    ].

    推理規(guī)則R4語義為:通過分析威脅事件情報信息中的惡意軟件枚舉,利用已有的惡意軟件家族知識關聯(lián)攻擊者使用的相關技術,并在物聯(lián)網(wǎng)安全多源知識庫中逐步映射至受影響的組件相關知識,推理出特定威脅事件的所有攻擊目標與其廠家,從而輔助供應鏈安全研究者繪制威脅事件所能波及到的上下游供應鏈情報全貌.

    4 示例與評估

    在本節(jié)中,我們演示幾種情況以進一步說明所提出方法的可行性和有效性.針對物聯(lián)網(wǎng)安全多源知識庫的融合與建模,本節(jié)首先給出一個鏈接示例,以展示整合后的圖結構數(shù)據(jù)提供上下文關聯(lián)語義信息的能力;然后展示推理規(guī)則在物聯(lián)網(wǎng)安全多源知識推理方法中的具體用法:物聯(lián)網(wǎng)中的各種軟硬件對應于本體模型中的實例和物聯(lián)網(wǎng)環(huán)境的安全狀態(tài)同時在本體中反映.本文將物聯(lián)網(wǎng)環(huán)境中的特定實例映射在本體模型中,并通過設計推理規(guī)則展示模型對物聯(lián)網(wǎng)環(huán)境進行威脅評估的能力.

    4.1 鏈接示例與可行性分析

    本文將多個信息安全知識庫進行了整合,構建了一個將多源知識庫相互連接的圖結構統(tǒng)一鏈接集.為了展示這一方法的可行性與主要優(yōu)點,本節(jié)以一個鏈接查詢?yōu)槭纠?,即從“Cohu 3960HD視頻監(jiān)控設備”到“發(fā)現(xiàn)戰(zhàn)術”.鏈接中的條目列舉為:

    1) 戰(zhàn)術(TA0007)發(fā)現(xiàn).發(fā)現(xiàn)戰(zhàn)術包括攻擊者可能用來獲取特定系統(tǒng)和內(nèi)部網(wǎng)絡信息的技術,攻擊者通過多種技術試圖找出你的環(huán)境.發(fā)現(xiàn)戰(zhàn)術描述攻擊者在決定如何行動之前觀察環(huán)境并確定自己的滲透方向,也表示攻擊者在探索他們可以控制的內(nèi)容以及入侵切入點周圍的環(huán)境.

    2) 技術(T1083)文件和目錄發(fā)現(xiàn).攻擊者可能會枚舉文件和目錄,或者可能會在主機或網(wǎng)絡共享的特定位置搜索文件系統(tǒng)內(nèi)的某些信息.攻擊者可以在探索期間使用來自文件和目錄發(fā)現(xiàn)的信息來確定后續(xù)威脅入侵,包括攻擊者是否完全感染目標或嘗試特定操作.

    3) 攻擊模式(CAPEC-497)文件發(fā)現(xiàn).攻擊者利用身份驗證中的弱點來創(chuàng)建并模擬不同實體的訪問令牌(或等效令牌),然后將進程或線程與該模擬令牌相關聯(lián).當利用令牌來驗證身份并基于該身份采取措施時,攻擊者可以使用此操作.

    4) 弱點(CWE-200)將敏感信息暴露給未經(jīng)授權的行動者.此弱點會導致該產(chǎn)品向未明確授權訪問該信息的用戶公開敏感信息,并導致信息泄露.

    5) 漏洞條目.CVE-2017-8860.

    6) 受影響的平臺與CPE條目.“cpe:2.3:h:cohu-hd:3960hd:-:*:*:*:*:*:*:*”,根據(jù)CPE條目中的第4段和第5段,可知受影響的平臺為“固件版本為3960HD的CohuHD品牌視頻監(jiān)控設備”.

    從攻擊者視角,以戰(zhàn)術為出發(fā)點對鏈接進行簡要說明,假設攻擊者的目標是試圖找出防御者的環(huán)境信息,即通過主機或網(wǎng)絡共享的特定位置搜索文件系統(tǒng)內(nèi)的某些信息,從而發(fā)現(xiàn)目標系統(tǒng)或網(wǎng)絡的配置和安全參數(shù),并為下一步更具破壞性的入侵鋪平道路.攻擊者可以利用固件版本為3960HD的CohuHD視頻監(jiān)控設備的漏洞,通過信息泄露的弱點來獲得密鑰文件、網(wǎng)絡信息或安全參數(shù),為后續(xù)破壞行動或竊取信息提供參考.

    Fig. 6 Query example for CVE-2017-8860圖6 CVE-2017-8860的查詢示例

    反之,從防御者視角以受影響的平臺為出發(fā)點對此鏈接的敘述為,如果擁有固件版本為3960HD的CohuHD視頻監(jiān)控設備,則網(wǎng)絡管理者需要保持警惕,防止攻擊者通過信息泄露的弱點窺探信息,最終獲得密鑰文件或安全參數(shù)文件.網(wǎng)絡管理者可以利用文件保護機制使這些設備只能被授權方訪問.同時網(wǎng)絡管理者可以在系統(tǒng)內(nèi)繪制信任邊界,不要讓敏感信息超出信任邊界,減小攻擊者與信任邊界內(nèi)交互的可能性,降低被攻擊者發(fā)現(xiàn)敏感信息的概率,以緩解此類威脅.

    如鏈接示例所示,使用此方法整合多源知識庫,給定鏈接集中的任何節(jié)點條目,本文給出的方法均可用于查詢來自于不同知識源的上下文關聯(lián)信息.本文根據(jù)固件版本為3960HD的CohuHD視頻監(jiān)控設備和漏洞CVE-2017-8860為基礎給出一個查詢示例,自漏洞條目CVE-2017-8860與弱點條目CWE-200關聯(lián)之后,遍歷出的攻擊模式、技術和戰(zhàn)術如圖6所示,且鏈接示例也在其中.本文給出的上下文關聯(lián)信息包含多個已經(jīng)公開且相互關聯(lián)的信息安全公共資源,通過此方法將多源知識整合為統(tǒng)一的圖結構知識,可以改善CTI的分析能力和可理解性.

    4.2 物聯(lián)網(wǎng)供應鏈安全多源知識推理規(guī)則

    本節(jié)構造一個物聯(lián)網(wǎng)測試示例場景,如圖7所示,物聯(lián)網(wǎng)環(huán)境有一個視頻監(jiān)控設備協(xié)作組且均已聯(lián)網(wǎng),其中存在多個??低曇曨l監(jiān)控設備并與Linksys無線網(wǎng)橋連接.網(wǎng)絡中部署了Tenda AC15路由器和一個Red Hat Linux 7環(huán)境,管理者使用Ivms-4200網(wǎng)絡視頻監(jiān)控軟件對視頻監(jiān)控設備協(xié)作組進行控制.所有組件在RIoTSCO本體中實例化.物聯(lián)網(wǎng)環(huán)境中存在的已知漏洞、CVSS評分與漏洞嚴重程度如表3所示.

    Fig. 7 IoT context example圖7 物聯(lián)網(wǎng)場景示例

    Table 3 Vulnerability, CVSS Score and Severity表3 漏洞、CVSS評分與嚴重程度

    使用Pellet通用規(guī)則推理機描述擬議的推理規(guī)則集,并在RIoTSCO本體模型中集成.模型基于物聯(lián)網(wǎng)安全領域知識庫和推理規(guī)則集中的條件模式進行推理.以DS-2CD2032-I為例可以看出,根據(jù)規(guī)則推理出了新的隱式事實,DS-2CD2032-I的Status被劃分為CriticalVulnerable,即脆弱性程度為危急,并通過對象屬性useMitigation與緩解措施相關聯(lián),具體推理結果如圖8所示:

    Fig. 8 Results of security status and mitigation reasoning圖8 安全狀態(tài)與緩解措施推理結果

    推理機通過供應鏈攻擊目標推理規(guī)則枚舉特定CTI條目所關聯(lián)的受攻擊目標的廠家,從而推理威脅事件所能波及到的上下游供應鏈情報全貌.以CTI條目Supply Chain Attacks from a Managed Detection and Response Perspective為例,根據(jù)規(guī)則推理出了新的隱式事實,推理機通過對象屬性goal將CTI條目與物聯(lián)網(wǎng)環(huán)境中可能受此類威脅事件影響的廠家相關聯(lián),具體推理結果如圖9所示:

    Fig. 9 Results of supply chain attack goal reasoning圖9 供應鏈攻擊目標推理結果

    圖8、圖9驗證了本文給出的方法在異構物聯(lián)網(wǎng)環(huán)境中結合供應鏈感知并自動化處理威脅的能力,如果系統(tǒng)中具有可被某些攻擊模式、戰(zhàn)術或技術所利用的漏洞,RIoTSCO本體將通過預設的推理規(guī)則感知系統(tǒng)脆弱性高的位置,根據(jù)已構建的多源知識庫自動化推理可采用的緩解措施,分離存在特定威脅的物聯(lián)網(wǎng)節(jié)點,為安全管理者感知物聯(lián)網(wǎng)供應鏈全局的安全態(tài)勢并部署適當?shù)陌踩鉀Q方案.最關鍵的是應根據(jù)實際的物聯(lián)網(wǎng)環(huán)境來設計推理規(guī)則,并且需要對復雜的物聯(lián)網(wǎng)環(huán)境特點進行總結和分析.

    本文提出的本體模型拓展了目前網(wǎng)絡安全領域本體建模的知識域范圍,表4比較了RIoTSCO本體和其他本體模型所涉及到的知識域范圍.

    Table 4 Knowledge Domain Scopes of Several Related Cybersecurity Ontology Models

    本文提出的RIoTSCO本體集中了防御方所關注的安全知識與攻擊者的戰(zhàn)術、技術和攻擊模式知識,提供了對物聯(lián)網(wǎng)環(huán)境安全態(tài)勢更廣泛的感知,同時RIoTSCO本體的可擴展性足以適應不斷變化的物聯(lián)網(wǎng)環(huán)境,用戶可以針對所觀測物聯(lián)網(wǎng)環(huán)境的特點去定義相關規(guī)則,以滿足模型對實際物聯(lián)網(wǎng)環(huán)境的適應性,同時增強本體模型的推理能力.

    5 結束語

    本文對網(wǎng)絡安全領域公開知識庫進行整合和分析,將漏洞、防御性弱點、受影響的資源與戰(zhàn)術意圖、攻擊技術和攻擊模式等多源異構知識整合成一個統(tǒng)一的關系映射鏈接圖知識庫,豐富網(wǎng)絡安全知識庫的上下文語義信息,改善CTI的可分析性和可理解性,提升物聯(lián)網(wǎng)安全威脅要素評估能力.此外,本文提出了可以在整合后的圖知識庫支持下使用的知識推理方法,利用本體的表達能力建立物聯(lián)網(wǎng)與供應鏈安全知識之間的語義關系,以解決多源知識的語義異質(zhì)性問題.定義了針對實際物聯(lián)網(wǎng)環(huán)境的推理規(guī)則,能夠感知物聯(lián)網(wǎng)環(huán)境內(nèi)的高脆弱性組件并自動化推理緩解措施,使其在復雜異構環(huán)境下響應威脅入侵,并描繪受威脅事件影響的上下游供應鏈情報全貌.

    作者貢獻聲明:張書欽提出了方法詳細思路,負責研究方案的實施并指導初稿撰寫與修訂;白光耀負責算法處理與模型構建,完成數(shù)據(jù)分析與實驗,并參與論文的撰寫與修訂;李紅指導研究方案設計,并指導論文修訂;張敏智參與方案可行性討論與數(shù)據(jù)處理.

    猜你喜歡
    攻擊者漏洞本體
    Abstracts and Key Words
    哲學分析(2023年4期)2023-12-21 05:30:27
    漏洞
    基于微分博弈的追逃問題最優(yōu)策略設計
    自動化學報(2021年8期)2021-09-28 07:20:18
    對姜夔自度曲音樂本體的現(xiàn)代解讀
    中國音樂學(2020年4期)2020-12-25 02:58:06
    正面迎接批判
    愛你(2018年16期)2018-06-21 03:28:44
    三明:“兩票制”堵住加價漏洞
    漏洞在哪兒
    兒童時代(2016年6期)2016-09-14 04:54:43
    《我應該感到自豪才對》的本體性教學內(nèi)容及啟示
    文學教育(2016年27期)2016-02-28 02:35:15
    高鐵急救應補齊三漏洞
    有限次重復博弈下的網(wǎng)絡攻擊行為研究
    女警被强在线播放| 熟女少妇亚洲综合色aaa.| 一边摸一边抽搐一进一小说| 嫩草影院精品99| 在线永久观看黄色视频| 久久国产精品男人的天堂亚洲| 999久久久精品免费观看国产| 9191精品国产免费久久| 无限看片的www在线观看| 99精品久久久久人妻精品| 视频在线观看一区二区三区| 午夜亚洲福利在线播放| 女性生殖器流出的白浆| 在线免费观看的www视频| 神马国产精品三级电影在线观看 | 大型黄色视频在线免费观看| 曰老女人黄片| 不卡av一区二区三区| 成人亚洲精品av一区二区| 两人在一起打扑克的视频| 日本一区二区免费在线视频| 在线观看免费日韩欧美大片| 免费观看人在逋| av在线天堂中文字幕| 女性生殖器流出的白浆| 啦啦啦 在线观看视频| 国产私拍福利视频在线观看| 在线观看免费视频网站a站| 天天躁狠狠躁夜夜躁狠狠躁| 日本五十路高清| 午夜免费成人在线视频| 久久人人97超碰香蕉20202| 黄网站色视频无遮挡免费观看| 757午夜福利合集在线观看| 日韩大尺度精品在线看网址 | 巨乳人妻的诱惑在线观看| 每晚都被弄得嗷嗷叫到高潮| 女同久久另类99精品国产91| 女性被躁到高潮视频| 亚洲一区二区三区不卡视频| 天堂影院成人在线观看| 成人亚洲精品av一区二区| 狂野欧美激情性xxxx| 精品欧美一区二区三区在线| 国产区一区二久久| 最新在线观看一区二区三区| 女人精品久久久久毛片| 99香蕉大伊视频| 午夜福利视频1000在线观看 | 欧美绝顶高潮抽搐喷水| 黄片播放在线免费| 亚洲第一电影网av| 成人18禁高潮啪啪吃奶动态图| 亚洲男人的天堂狠狠| 久久久久国产一级毛片高清牌| 法律面前人人平等表现在哪些方面| 女人精品久久久久毛片| 精品熟女少妇八av免费久了| 很黄的视频免费| 夜夜夜夜夜久久久久| 国产精品亚洲av一区麻豆| 操出白浆在线播放| 十八禁人妻一区二区| av超薄肉色丝袜交足视频| 老鸭窝网址在线观看| 叶爱在线成人免费视频播放| 嫩草影院精品99| 亚洲无线在线观看| 国产精品九九99| 亚洲精品美女久久av网站| 免费高清视频大片| 中文字幕人妻丝袜一区二区| 黄色视频不卡| 一二三四社区在线视频社区8| 久久精品影院6| 亚洲精品美女久久久久99蜜臀| 天堂动漫精品| 变态另类丝袜制服| 淫秽高清视频在线观看| 久久精品影院6| 亚洲av日韩精品久久久久久密| 成人亚洲精品一区在线观看| 琪琪午夜伦伦电影理论片6080| 欧美激情极品国产一区二区三区| 国产成人精品在线电影| 亚洲性夜色夜夜综合| 制服丝袜大香蕉在线| 国产成人精品无人区| 久久天躁狠狠躁夜夜2o2o| 中亚洲国语对白在线视频| 日日干狠狠操夜夜爽| 69av精品久久久久久| 免费观看人在逋| 啪啪无遮挡十八禁网站| 免费人成视频x8x8入口观看| 在线观看日韩欧美| 午夜老司机福利片| 免费在线观看亚洲国产| 大码成人一级视频| 亚洲天堂国产精品一区在线| 国产精品野战在线观看| 亚洲国产日韩欧美精品在线观看 | 久久午夜亚洲精品久久| а√天堂www在线а√下载| av超薄肉色丝袜交足视频| 一本久久中文字幕| 成年人黄色毛片网站| 精品熟女少妇八av免费久了| 亚洲人成伊人成综合网2020| 成人国语在线视频| 法律面前人人平等表现在哪些方面| 制服人妻中文乱码| 国产精品野战在线观看| 亚洲专区字幕在线| 亚洲av五月六月丁香网| 妹子高潮喷水视频| 亚洲专区中文字幕在线| 婷婷精品国产亚洲av在线| 一级a爱片免费观看的视频| 一区二区日韩欧美中文字幕| 午夜福利一区二区在线看| 一二三四社区在线视频社区8| 国产三级黄色录像| 俄罗斯特黄特色一大片| 日韩欧美免费精品| av网站免费在线观看视频| 一区在线观看完整版| e午夜精品久久久久久久| www.精华液| 99久久99久久久精品蜜桃| 777久久人妻少妇嫩草av网站| 精品一区二区三区视频在线观看免费| 欧美+亚洲+日韩+国产| 欧美av亚洲av综合av国产av| 国产精品久久久人人做人人爽| 国产av一区二区精品久久| 99在线人妻在线中文字幕| 黑丝袜美女国产一区| 国产伦人伦偷精品视频| 大型av网站在线播放| 久久九九热精品免费| 欧美黄色淫秽网站| 最近最新中文字幕大全电影3 | 高清毛片免费观看视频网站| 精品熟女少妇八av免费久了| 97超级碰碰碰精品色视频在线观看| √禁漫天堂资源中文www| 国产成人免费无遮挡视频| 亚洲一区二区三区不卡视频| 免费无遮挡裸体视频| 亚洲成人久久性| 婷婷精品国产亚洲av在线| 无遮挡黄片免费观看| 在线观看一区二区三区| 深夜精品福利| 女性生殖器流出的白浆| 国产亚洲精品久久久久5区| 欧美日韩乱码在线| 一本久久中文字幕| 欧美色欧美亚洲另类二区 | 国产三级在线视频| 久久中文看片网| 欧美日韩中文字幕国产精品一区二区三区 | 日韩国内少妇激情av| 欧美成人午夜精品| 久久欧美精品欧美久久欧美| 国产免费av片在线观看野外av| 亚洲精品粉嫩美女一区| 国产精品久久久久久人妻精品电影| 给我免费播放毛片高清在线观看| 免费不卡黄色视频| 黄色丝袜av网址大全| 黑人操中国人逼视频| 亚洲成人免费电影在线观看| 国产男靠女视频免费网站| 啦啦啦免费观看视频1| 亚洲av美国av| 欧美激情高清一区二区三区| 99riav亚洲国产免费| x7x7x7水蜜桃| 9色porny在线观看| 欧美乱码精品一区二区三区| 国产精品一区二区精品视频观看| www.自偷自拍.com| 1024香蕉在线观看| 欧美日韩亚洲综合一区二区三区_| 一个人观看的视频www高清免费观看 | 看片在线看免费视频| 午夜福利影视在线免费观看| 一级a爱视频在线免费观看| www.自偷自拍.com| 少妇被粗大的猛进出69影院| 国产精品日韩av在线免费观看 | 国产伦一二天堂av在线观看| 国产伦一二天堂av在线观看| 精品国产超薄肉色丝袜足j| 91成人精品电影| 国产精品久久久久久精品电影 | 亚洲激情在线av| 精品国产乱码久久久久久男人| 久久国产精品男人的天堂亚洲| 美女高潮喷水抽搐中文字幕| 制服丝袜大香蕉在线| 青草久久国产| 老司机午夜福利在线观看视频| 最新美女视频免费是黄的| 久久精品亚洲熟妇少妇任你| 国产一级毛片七仙女欲春2 | 免费在线观看影片大全网站| 人人妻人人澡欧美一区二区 | 老司机午夜福利在线观看视频| 日本在线视频免费播放| 看黄色毛片网站| 亚洲av片天天在线观看| 国产精品亚洲美女久久久| 亚洲精品中文字幕在线视频| 波多野结衣高清无吗| 午夜a级毛片| videosex国产| 亚洲五月婷婷丁香| 自拍欧美九色日韩亚洲蝌蚪91| 50天的宝宝边吃奶边哭怎么回事| 国产精品亚洲美女久久久| 国产一级毛片七仙女欲春2 | 午夜福利欧美成人| 精品久久久久久久毛片微露脸| 两个人视频免费观看高清| 午夜精品在线福利| 亚洲精品国产一区二区精华液| 脱女人内裤的视频| 少妇熟女aⅴ在线视频| 麻豆久久精品国产亚洲av| 一a级毛片在线观看| 久久久国产精品麻豆| 免费看十八禁软件| 大码成人一级视频| 啦啦啦韩国在线观看视频| 国产精品1区2区在线观看.| 此物有八面人人有两片| 亚洲av美国av| 一个人观看的视频www高清免费观看 | 日韩国内少妇激情av| 不卡一级毛片| 丁香欧美五月| 女生性感内裤真人,穿戴方法视频| 亚洲五月天丁香| e午夜精品久久久久久久| 99精品在免费线老司机午夜| 9热在线视频观看99| 久久久国产欧美日韩av| 天天添夜夜摸| 国产极品粉嫩免费观看在线| 伦理电影免费视频| 99国产精品一区二区三区| 黑人巨大精品欧美一区二区蜜桃| 男女床上黄色一级片免费看| 如日韩欧美国产精品一区二区三区| 女人精品久久久久毛片| 50天的宝宝边吃奶边哭怎么回事| 黄网站色视频无遮挡免费观看| 一a级毛片在线观看| 国产精品av久久久久免费| 日本一区二区免费在线视频| 高潮久久久久久久久久久不卡| 国产精品98久久久久久宅男小说| 亚洲自拍偷在线| 日本免费a在线| 亚洲人成伊人成综合网2020| 国产日韩一区二区三区精品不卡| 变态另类成人亚洲欧美熟女 | 三级毛片av免费| 免费一级毛片在线播放高清视频 | 大香蕉久久成人网| 亚洲精品国产一区二区精华液| 黑人操中国人逼视频| 免费在线观看影片大全网站| 免费在线观看完整版高清| av网站免费在线观看视频| 亚洲欧美精品综合久久99| 中文字幕高清在线视频| 黄色 视频免费看| 国产欧美日韩精品亚洲av| 亚洲人成电影免费在线| 亚洲色图综合在线观看| 午夜福利高清视频| 老汉色av国产亚洲站长工具| 制服诱惑二区| 午夜免费鲁丝| 久久精品91蜜桃| 免费av毛片视频| 这个男人来自地球电影免费观看| 法律面前人人平等表现在哪些方面| 好看av亚洲va欧美ⅴa在| 亚洲国产精品sss在线观看| 国内毛片毛片毛片毛片毛片| 久久这里只有精品19| 久久 成人 亚洲| 不卡一级毛片| 亚洲中文av在线| 99香蕉大伊视频| 免费观看精品视频网站| 欧美日韩黄片免| 亚洲国产看品久久| 一进一出抽搐gif免费好疼| 成年女人毛片免费观看观看9| 国产午夜精品久久久久久| 无限看片的www在线观看| 黑丝袜美女国产一区| 亚洲精品美女久久av网站| 啪啪无遮挡十八禁网站| 两性夫妻黄色片| 法律面前人人平等表现在哪些方面| 亚洲自偷自拍图片 自拍| 婷婷精品国产亚洲av在线| 精品国产乱码久久久久久男人| 欧美黄色淫秽网站| 亚洲最大成人中文| 国产在线观看jvid| 夜夜爽天天搞| 国产成人啪精品午夜网站| 亚洲一区中文字幕在线| 亚洲国产看品久久| 少妇裸体淫交视频免费看高清 | 脱女人内裤的视频| 少妇粗大呻吟视频| 国产一区二区在线av高清观看| av福利片在线| 色综合婷婷激情| 99国产极品粉嫩在线观看| 19禁男女啪啪无遮挡网站| x7x7x7水蜜桃| 亚洲av成人一区二区三| 国产一区在线观看成人免费| 国产高清有码在线观看视频 | 国产精品亚洲一级av第二区| 深夜精品福利| 女警被强在线播放| 熟妇人妻久久中文字幕3abv| 国产成人系列免费观看| 久久人妻熟女aⅴ| 99久久综合精品五月天人人| 黄色成人免费大全| 欧美激情 高清一区二区三区| tocl精华| 热re99久久国产66热| 搡老岳熟女国产| 欧美在线一区亚洲| www.精华液| 每晚都被弄得嗷嗷叫到高潮| 90打野战视频偷拍视频| 中文字幕色久视频| 亚洲色图av天堂| 亚洲av美国av| 操出白浆在线播放| 在线观看舔阴道视频| 亚洲片人在线观看| 丝袜人妻中文字幕| 啦啦啦观看免费观看视频高清 | 亚洲人成电影免费在线| 欧美日本视频| 97人妻精品一区二区三区麻豆 | 久久天堂一区二区三区四区| 69精品国产乱码久久久| 久久久久久久久中文| 97人妻精品一区二区三区麻豆 | 国产91精品成人一区二区三区| 国产av又大| 9191精品国产免费久久| 亚洲国产毛片av蜜桃av| 母亲3免费完整高清在线观看| 久久人妻av系列| 韩国精品一区二区三区| 亚洲欧美一区二区三区黑人| 高清在线国产一区| 免费在线观看影片大全网站| 国产亚洲欧美在线一区二区| 人妻久久中文字幕网| 一边摸一边做爽爽视频免费| 他把我摸到了高潮在线观看| 99国产精品一区二区蜜桃av| 最新美女视频免费是黄的| 老熟妇仑乱视频hdxx| 亚洲七黄色美女视频| 久久午夜综合久久蜜桃| 午夜视频精品福利| 日韩视频一区二区在线观看| 亚洲av电影不卡..在线观看| av免费在线观看网站| 一二三四社区在线视频社区8| 真人一进一出gif抽搐免费| 成人欧美大片| 涩涩av久久男人的天堂| av网站免费在线观看视频| 日韩大尺度精品在线看网址 | 久久九九热精品免费| 亚洲国产欧美网| 国产不卡一卡二| 制服诱惑二区| 欧美乱码精品一区二区三区| 久久国产精品男人的天堂亚洲| 黄片大片在线免费观看| 亚洲国产欧美网| 91麻豆精品激情在线观看国产| 亚洲一卡2卡3卡4卡5卡精品中文| 日韩国内少妇激情av| 亚洲第一青青草原| 99久久精品国产亚洲精品| 国产精品一区二区精品视频观看| 亚洲av成人av| 日本vs欧美在线观看视频| 97人妻天天添夜夜摸| 国产91精品成人一区二区三区| 精品一区二区三区四区五区乱码| 女性被躁到高潮视频| 88av欧美| 大码成人一级视频| 一区二区三区激情视频| 亚洲九九香蕉| 正在播放国产对白刺激| 免费在线观看影片大全网站| 国产高清有码在线观看视频 | 亚洲精品国产区一区二| 极品教师在线免费播放| 午夜成年电影在线免费观看| 18禁观看日本| 久久精品成人免费网站| 欧美日本视频| 99热只有精品国产| 三级毛片av免费| 国产精品一区二区精品视频观看| 19禁男女啪啪无遮挡网站| 校园春色视频在线观看| 身体一侧抽搐| 男女之事视频高清在线观看| 制服人妻中文乱码| 免费看a级黄色片| 成人手机av| 国产伦一二天堂av在线观看| 欧美黑人欧美精品刺激| 热99re8久久精品国产| 久久久久国产一级毛片高清牌| 精品国产超薄肉色丝袜足j| 国产亚洲精品久久久久5区| 精品一区二区三区av网在线观看| 亚洲国产精品999在线| 69精品国产乱码久久久| 亚洲av五月六月丁香网| 女性生殖器流出的白浆| 天堂影院成人在线观看| 久久久国产欧美日韩av| 欧美成狂野欧美在线观看| 国产伦一二天堂av在线观看| 久久中文看片网| 大码成人一级视频| 午夜视频精品福利| 电影成人av| 色综合婷婷激情| 美女高潮喷水抽搐中文字幕| 亚洲成国产人片在线观看| 成人av一区二区三区在线看| av视频在线观看入口| 免费在线观看日本一区| 亚洲片人在线观看| 国内精品久久久久久久电影| 亚洲电影在线观看av| 亚洲欧美一区二区三区黑人| 啦啦啦韩国在线观看视频| 久久婷婷人人爽人人干人人爱 | 12—13女人毛片做爰片一| 搡老妇女老女人老熟妇| 欧美最黄视频在线播放免费| 日韩欧美一区视频在线观看| 非洲黑人性xxxx精品又粗又长| 在线观看66精品国产| 久久中文字幕一级| 亚洲情色 制服丝袜| 国产在线观看jvid| 国产极品粉嫩免费观看在线| 亚洲欧美日韩另类电影网站| 一夜夜www| 啦啦啦韩国在线观看视频| 一区福利在线观看| 国产成人一区二区三区免费视频网站| 国产精品99久久99久久久不卡| 日韩视频一区二区在线观看| 亚洲欧洲精品一区二区精品久久久| 丁香欧美五月| 日韩有码中文字幕| 日韩中文字幕欧美一区二区| 18禁美女被吸乳视频| 淫妇啪啪啪对白视频| 亚洲片人在线观看| 免费不卡黄色视频| 丝袜在线中文字幕| 亚洲国产欧美一区二区综合| 国产熟女xx| 国产午夜精品久久久久久| 级片在线观看| 日韩 欧美 亚洲 中文字幕| 日本vs欧美在线观看视频| 亚洲电影在线观看av| 国产成人精品久久二区二区91| 欧美乱码精品一区二区三区| 欧美日本中文国产一区发布| 91大片在线观看| 免费少妇av软件| 亚洲欧美激情综合另类| 亚洲国产欧美日韩在线播放| a级毛片在线看网站| 欧美国产精品va在线观看不卡| 叶爱在线成人免费视频播放| 免费观看精品视频网站| 丰满的人妻完整版| 欧美另类亚洲清纯唯美| 美女大奶头视频| 在线av久久热| 亚洲欧美日韩无卡精品| 两性夫妻黄色片| 成人永久免费在线观看视频| 亚洲熟妇熟女久久| 国产高清videossex| 午夜a级毛片| 成年女人毛片免费观看观看9| 男人舔女人的私密视频| 给我免费播放毛片高清在线观看| 国产精品98久久久久久宅男小说| 性色av乱码一区二区三区2| 丝袜美足系列| 亚洲av成人av| 级片在线观看| 欧美在线黄色| 18禁黄网站禁片午夜丰满| 国产一区二区三区视频了| 国产精品 国内视频| 国产精品国产高清国产av| 国产伦人伦偷精品视频| 99久久99久久久精品蜜桃| 久久久水蜜桃国产精品网| 亚洲天堂国产精品一区在线| 男女做爰动态图高潮gif福利片 | 91九色精品人成在线观看| videosex国产| 中文字幕高清在线视频| 国产三级黄色录像| 窝窝影院91人妻| 亚洲熟妇中文字幕五十中出| 黄色a级毛片大全视频| 亚洲成av片中文字幕在线观看| 久久影院123| 黄色女人牲交| 欧美国产日韩亚洲一区| 午夜福利一区二区在线看| 国产激情久久老熟女| 国产xxxxx性猛交| 自拍欧美九色日韩亚洲蝌蚪91| 美女免费视频网站| 久久精品国产99精品国产亚洲性色 | 一区二区三区激情视频| 黄片大片在线免费观看| 亚洲欧美激情在线| 桃红色精品国产亚洲av| 一边摸一边做爽爽视频免费| 成人手机av| 999精品在线视频| 精品熟女少妇八av免费久了| 黄色 视频免费看| 欧美日韩福利视频一区二区| 国产欧美日韩一区二区三区在线| 日韩有码中文字幕| 久久久久久人人人人人| 无人区码免费观看不卡| 自线自在国产av| 最新在线观看一区二区三区| 欧美av亚洲av综合av国产av| 亚洲第一欧美日韩一区二区三区| 巨乳人妻的诱惑在线观看| 亚洲avbb在线观看| 国产精品久久久人人做人人爽| 91大片在线观看| 91精品三级在线观看| 亚洲 欧美一区二区三区| 美女高潮到喷水免费观看| 色综合婷婷激情| 91av网站免费观看| 亚洲最大成人中文| 亚洲精华国产精华精| 亚洲三区欧美一区| 久9热在线精品视频| 自线自在国产av| 女人被狂操c到高潮| 日韩 欧美 亚洲 中文字幕| 色尼玛亚洲综合影院| 黄片小视频在线播放| 人人澡人人妻人| 成人亚洲精品一区在线观看| 亚洲av片天天在线观看| 极品教师在线免费播放| 在线十欧美十亚洲十日本专区| 18禁美女被吸乳视频| 欧美日韩精品网址| 午夜免费激情av| 亚洲成人久久性| x7x7x7水蜜桃| 啦啦啦免费观看视频1| 校园春色视频在线观看| 午夜福利成人在线免费观看| 丰满的人妻完整版| 中文字幕久久专区| 国产亚洲欧美在线一区二区| 韩国av一区二区三区四区| 精品免费久久久久久久清纯| 欧美不卡视频在线免费观看 | 12—13女人毛片做爰片一| 久久这里只有精品19| 国产精品久久久av美女十八|