• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于攻擊場(chǎng)景的安全測(cè)試生成方法

    2011-06-05 09:50:09李曉紅馮志勇AARONMarback
    關(guān)鍵詞:測(cè)試用例攻擊者威脅

    何 可,李曉紅,馮志勇,AARON Marback

    基于攻擊場(chǎng)景的安全測(cè)試生成方法

    何 可1,李曉紅1,馮志勇1,AARON Marback2

    (1. 天津大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,天津 300072;2. 美國(guó)北達(dá)科他州立大學(xué)計(jì)算機(jī)科學(xué)系,法戈58108)

    為了更加有效地開(kāi)發(fā)安全可信的軟件,需要在軟件開(kāi)發(fā)生命周期中盡早考慮安全問(wèn)題.為了解決這一問(wèn)題,提出了一種基于設(shè)計(jì)級(jí)別的攻擊場(chǎng)景生成安全測(cè)試的方法,該方法包括建模并驗(yàn)證攻擊場(chǎng)景,用攻擊場(chǎng)景生成安全測(cè)試序列,基于輸入語(yǔ)法生成測(cè)試輸入數(shù)據(jù),生成模型級(jí)別的安全測(cè)試用例,將模型級(jí)別的安全測(cè)試用例轉(zhuǎn)化為可執(zhí)行的安全測(cè)試用例.設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)實(shí)驗(yàn),驗(yàn)證了所提出方法的可行性和有效性.

    軟件安全;攻擊場(chǎng)景;安全測(cè)試序列;安全測(cè)試生成;可信軟件

    隨著互聯(lián)網(wǎng)的普及,軟件安全性已經(jīng)成為一個(gè)嚴(yán)重的問(wèn)題.人們普遍認(rèn)識(shí)到應(yīng)該在軟件開(kāi)發(fā)生命周期中盡早考慮安全問(wèn)題[1].安全性已經(jīng)成為軟件系統(tǒng)的一個(gè)重要可信性質(zhì)[2].設(shè)計(jì)級(jí)別的安全問(wèn)題難以解決使得安全設(shè)計(jì)(如設(shè)計(jì)階段的威脅建模)成為安全軟件開(kāi)發(fā)成功的關(guān)鍵[1].Li與He[3]提出了一種統(tǒng)一威脅模型,在設(shè)計(jì)階段能夠有效地分析與評(píng)估軟件可能面臨的威脅,改進(jìn)軟件設(shè)計(jì)的安全性.但是,軟件實(shí)現(xiàn)可能違背設(shè)計(jì)引入安全漏洞,安全設(shè)計(jì)并不能確保軟件實(shí)現(xiàn)的安全性.使用安全設(shè)計(jì)的產(chǎn)物(如統(tǒng)一威脅模型)測(cè)試軟件實(shí)現(xiàn)的安全性成為必要.

    軟件安全測(cè)試通過(guò)運(yùn)行安全測(cè)試用例發(fā)現(xiàn)系統(tǒng)中的安全漏洞,是一種確保系統(tǒng)安全性的有效方法[4].從安全設(shè)計(jì)的產(chǎn)物生成安全測(cè)試用例需要解決2個(gè)關(guān)鍵問(wèn)題.

    (1)從設(shè)計(jì)產(chǎn)物生成模型級(jí)別的安全測(cè)試用例.攻擊通常是由攻擊者的惡意行為和故意選擇的無(wú)效輸入所造成.軟件結(jié)構(gòu)和輸入空間的復(fù)雜性使得測(cè)試一個(gè)軟件的所有無(wú)效輸入極其困難.因此,自動(dòng)或者半自動(dòng)的安全測(cè)試成為關(guān)鍵.

    (2)生成可執(zhí)行的安全測(cè)試用例.由于軟件設(shè)計(jì)先于實(shí)現(xiàn),從設(shè)計(jì)級(jí)別的產(chǎn)物生成的安全測(cè)試用例不是直接可執(zhí)行的.將設(shè)計(jì)級(jí)別的安全測(cè)試用例轉(zhuǎn)化為實(shí)現(xiàn)級(jí)別的可執(zhí)行的安全測(cè)試用例時(shí),需要解決將模型級(jí)別的元素(如事件)映射到實(shí)現(xiàn)級(jí)別的結(jié)構(gòu)(如面向?qū)ο蟪绦蛑械姆椒?,以及為安全測(cè)試參數(shù)提供輸入等問(wèn)題.

    為了解決上述問(wèn)題,本文提出了一種基于攻擊場(chǎng)景的安全測(cè)試生成方法,使用設(shè)計(jì)級(jí)別的攻擊場(chǎng)景模型生成可執(zhí)行的安全測(cè)試用例,設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)實(shí)驗(yàn)驗(yàn)證了該方法的可行性和有效性.

    1 相關(guān)工作

    軟件工程領(lǐng)域的研究人員已經(jīng)提出了多種基于場(chǎng)景的測(cè)試方法.Ryser與Glinz[5]提出了一種基于場(chǎng)景的軟件驗(yàn)證與測(cè)試方法.Thomas等[6]提出了一種使用場(chǎng)景和狀態(tài)機(jī)的目標(biāo)驅(qū)動(dòng)測(cè)試方法.Tsai等[7]提出了一個(gè)基于場(chǎng)景的面向?qū)ο鬁y(cè)試框架用于快速測(cè)試.但是,上述方法都不支持開(kāi)發(fā)與安全測(cè)試相關(guān)的場(chǎng)景和測(cè)試用例.Mouratidis和Giorgini[8]提出了一種基于場(chǎng)景的安全測(cè)試方法(M&G方法),用于信息系統(tǒng)設(shè)計(jì)階段的安全測(cè)試.本文提出的方法與M&G方法存在3點(diǎn)不同:①M(fèi)&G方法采用Tropos方法作為基礎(chǔ),而本文采用擴(kuò)展活動(dòng)圖和統(tǒng)一威脅模型作為基礎(chǔ),UML活動(dòng)圖和威脅樹(shù)分別是擴(kuò)展活動(dòng)圖和統(tǒng)一威脅模型的基礎(chǔ),廣泛應(yīng)用于軟件功能建模和威脅建模[1];②本文引入信任邊界和攻擊路徑的概念,使得設(shè)計(jì)人員能夠更好地理解攻擊者可能從何處以及采用何種方法滲透系統(tǒng)以實(shí)現(xiàn)威脅;③M&G方法沒(méi)有提供生成可執(zhí)行的安全測(cè)試用例的方法,而本文提出了一種從攻擊場(chǎng)景生成可執(zhí)行的安全測(cè)試用例的方法,并通過(guò)實(shí)驗(yàn)驗(yàn)證了該方法的可行性和有效性.

    威脅建模[1]已經(jīng)成為一種有價(jià)值的安全軟件開(kāi)發(fā)實(shí)踐.威脅建模過(guò)程簡(jiǎn)潔抽象地描述了攻擊者滲透系統(tǒng)實(shí)現(xiàn)威脅的方法,可以用于各種抽象級(jí)別或者不同的軟件開(kāi)發(fā)階段,例如需求分析、設(shè)計(jì)、實(shí)現(xiàn),甚至測(cè)試階段.Wang等[9]提出了一種威脅模型驅(qū)動(dòng)的安全測(cè)試方法,用于發(fā)現(xiàn)運(yùn)行時(shí)的威脅行為.該研究用UML順序圖建模違背安全策略的威脅,再?gòu)脑O(shè)計(jì)級(jí)別的威脅模型中提取威脅蹤跡集合.其中,每條威脅蹤跡是系統(tǒng)運(yùn)行期間不應(yīng)該發(fā)生的一個(gè)事件序列,否則便是一個(gè)威脅.與此工作不同,本文的工作基于攻擊場(chǎng)景,用擴(kuò)展活動(dòng)圖建模系統(tǒng)功能,用統(tǒng)一威脅模型建模系統(tǒng)可能面臨的威脅,并從攻擊場(chǎng)景生成可執(zhí)行的安全測(cè)試用例.

    陳小峰[10]提出了一種用于可信平臺(tái)模塊的形式化分析與測(cè)試方法,以可信平臺(tái)模塊的密碼子系統(tǒng)為例,用Z語(yǔ)言給出了該子系統(tǒng)的形式化規(guī)格說(shuō)明,并且基于該規(guī)格說(shuō)明給出了擴(kuò)展有限狀態(tài)機(jī)模型.最后將該有限狀態(tài)機(jī)模型應(yīng)用于測(cè)試用例的自動(dòng)生成.與此工作不同,本文的工作是基于設(shè)計(jì)階段的攻擊場(chǎng)景模型來(lái)生成可執(zhí)行的安全測(cè)試用例.

    2 攻擊場(chǎng)景

    基于攻擊場(chǎng)景的安全測(cè)試生成方法中,建模設(shè)計(jì)級(jí)別的攻擊場(chǎng)景需要對(duì)系統(tǒng)的功能和可能面臨的威脅建模[11].其中,威脅被認(rèn)為是由數(shù)據(jù)跨越不同信任等級(jí)時(shí)所作的錯(cuò)誤假設(shè)造成的.為此,擴(kuò)展UML活動(dòng)圖,引入新的建模元素——信任邊界,基于擴(kuò)展的UML活動(dòng)圖建模系統(tǒng)功能,并采用統(tǒng)一威脅模型建模系統(tǒng)可能面臨的威脅.

    定義1信任等級(jí)、信任邊界和擴(kuò)展活動(dòng)圖(extended activity diagram).信任等級(jí)是系統(tǒng)某一部分所達(dá)到的信任程度,記為T(mén)L,TL∈{low, medium,high,unknown}.信任邊界是不同信任等級(jí)的物理或虛擬邊界,記為T(mén)B.稱帶有信任邊界擴(kuò)展的活動(dòng)圖為擴(kuò)展活動(dòng)圖,記為EAD.

    定義2 AND節(jié)點(diǎn)和OR節(jié)點(diǎn)[12].AND節(jié)點(diǎn)是指父節(jié)點(diǎn)的所有子節(jié)點(diǎn)之間存在AND邏輯關(guān)系,即當(dāng)且僅當(dāng)實(shí)現(xiàn)所有子節(jié)點(diǎn)時(shí),才能實(shí)現(xiàn)父節(jié)點(diǎn).其中,實(shí)現(xiàn)子節(jié)點(diǎn)的默認(rèn)順序?yàn)閺淖蟮接遥甇R節(jié)點(diǎn)是指父節(jié)點(diǎn)的所有子節(jié)點(diǎn)之間存在OR邏輯關(guān)系,即當(dāng)且僅當(dāng)實(shí)現(xiàn)任一子節(jié)點(diǎn)時(shí),就能實(shí)現(xiàn)父節(jié)點(diǎn).

    定義3 統(tǒng)一威脅模型(unified threat model).統(tǒng)一威脅模型是一個(gè)表示、分析與評(píng)估系統(tǒng)可能面臨的威脅的模型,記為UTM,UTM=(Tr,Al,H),其中

    (1)Tr是具有一個(gè)或多個(gè)AND/OR節(jié)點(diǎn)的統(tǒng)一威脅樹(shù),Tr=(N,E,At).N為一個(gè)非空有限AND/OR節(jié)點(diǎn)的集合.節(jié)點(diǎn)分為3種:根節(jié)點(diǎn)、中間節(jié)點(diǎn)和葉節(jié)點(diǎn).根節(jié)點(diǎn)Nroot_node表示攻擊要實(shí)現(xiàn)的最終威脅目標(biāo),代表達(dá)到最終攻擊目標(biāo)的攻擊方式,可以分解為若干個(gè)子目標(biāo).中間節(jié)點(diǎn)Nintermediate_nodes表示為實(shí)現(xiàn)父節(jié)點(diǎn)目標(biāo)而分解出的若干個(gè)子目標(biāo),代表達(dá)到最終威脅目標(biāo)的中間級(jí)攻擊方式,可以分解為若干個(gè)低一級(jí)的子目標(biāo).葉節(jié)點(diǎn)Nleaf_nodes表示具體目標(biāo),代表達(dá)到最終威脅目標(biāo)的具體攻擊方式,不再分解.這3種子集.如果節(jié)點(diǎn)N1∈N,N2∈N,且存在一條由N1指向N2的有向邊,則稱N1為前提目標(biāo),N2為后繼目標(biāo).At為統(tǒng)一威脅模型的屬性集合,包括實(shí)現(xiàn)威脅的前置條件和后置條件等等.

    (2)Al為分析與評(píng)估系統(tǒng)可能面臨的威脅的算法集合.

    (3)H為安全事件的歷史統(tǒng)計(jì)信息集合.

    統(tǒng)一威脅模型是擴(kuò)展的威脅樹(shù)模型,威脅樹(shù)模型常應(yīng)用于威脅建模過(guò)程[1].建模統(tǒng)一威脅模型時(shí),統(tǒng)一威脅樹(shù)的根節(jié)點(diǎn)分解為若干個(gè)中間節(jié)點(diǎn),而中間節(jié)點(diǎn)進(jìn)一步分解,直到葉節(jié)點(diǎn).這是一個(gè)逐步求精的過(guò)程,最終,根節(jié)點(diǎn)由葉節(jié)點(diǎn)集合所構(gòu)成的若干個(gè)序組實(shí)現(xiàn).一個(gè)序組表示一種攻擊者實(shí)現(xiàn)威脅的潛在方法,稱為攻擊路徑,由分解過(guò)程中節(jié)點(diǎn)之間的AND/OR邏輯關(guān)系決定.

    定義4攻擊路徑(attack path).攻擊路徑是實(shí)現(xiàn)統(tǒng)一威脅樹(shù)Tr根節(jié)點(diǎn)所需要的若干個(gè)相關(guān)葉節(jié)點(diǎn)構(gòu)是Tr的一個(gè)最小割集.其中,割集Cu滿足條件:①是Tr的葉節(jié)點(diǎn)構(gòu)成的一個(gè)n元序組,1n≤≤時(shí),能夠?qū)崿F(xiàn)Tr的根節(jié)點(diǎn).最小割集Cumin滿足條件:①是一個(gè)割集;②若去掉該割集的任一葉節(jié)點(diǎn)就不再成為割集.

    場(chǎng)景已經(jīng)廣泛應(yīng)用于計(jì)算機(jī)科學(xué)研究的多個(gè)領(lǐng)域[6-8].攻擊場(chǎng)景由擴(kuò)展活動(dòng)圖、統(tǒng)一威脅模型和攻擊連接構(gòu)成.攻擊場(chǎng)景架起了系統(tǒng)功能設(shè)計(jì)和安全分析之間的橋梁,縮小了二者之間的差距.

    定義5攻擊場(chǎng)景(attack scenario).攻擊場(chǎng)景描述了系統(tǒng)的功能、參與者、可能面臨的威脅,攻擊者及其意圖和目標(biāo),表示了攻擊者滲透系統(tǒng)實(shí)現(xiàn)威脅的方法及其與系統(tǒng)功能之間的關(guān)聯(lián),記為ASc,ASc= (EAD,UTM,ALink).其中,EAD表示了系統(tǒng)功能,EAD中的泳道和對(duì)象節(jié)點(diǎn)分別表示了參與者和攻擊目標(biāo).UTM表示了系統(tǒng)可能面臨的威脅,UTM中的攻擊路徑表示了攻擊者滲透系統(tǒng)實(shí)現(xiàn)威脅的方法.攻擊連接(ALink)表示了具體攻擊方式和攻擊目標(biāo)之間的關(guān)聯(lián).

    3 基于攻擊場(chǎng)景的安全測(cè)試生成方法

    基于攻擊場(chǎng)景的安全測(cè)試生成方法致力于識(shí)別攻擊者的意圖和目標(biāo),并從攻擊場(chǎng)景生成安全測(cè)試用例以測(cè)試系統(tǒng)的安全性.該方法包括6個(gè)步驟:①用擴(kuò)展活動(dòng)圖建模系統(tǒng)功能,用統(tǒng)一威脅模型建模系統(tǒng)可能面臨的威脅,建模攻擊場(chǎng)景;②驗(yàn)證攻擊場(chǎng)景;③從攻擊場(chǎng)景生成安全測(cè)試序列;④基于語(yǔ)法生成安全測(cè)試輸入;⑤將安全測(cè)試輸入整合到安全測(cè)試序列中,生成模型級(jí)別的安全測(cè)試用例;⑥結(jié)合領(lǐng)域知識(shí)和實(shí)現(xiàn)知識(shí)將模型級(jí)別的安全測(cè)試用例轉(zhuǎn)化為可執(zhí)行的安全測(cè)試用例.圖1表示了各個(gè)步驟之間的關(guān)系.首先,構(gòu)建并驗(yàn)證攻擊場(chǎng)景.然后,生成安全測(cè)試序列和安全測(cè)試輸入,并將安全測(cè)試輸入整合到安全測(cè)試序列中構(gòu)成模型級(jí)別的安全測(cè)試用例.最后,基于領(lǐng)域知識(shí)和實(shí)現(xiàn)知識(shí),將模型級(jí)別的安全測(cè)試用例轉(zhuǎn)化為實(shí)現(xiàn)級(jí)別的可執(zhí)行的安全測(cè)試用例.為了系統(tǒng)地闡明所提出的安全測(cè)試用例生成方法,以實(shí)驗(yàn)中為被測(cè)的基于Web的電子商務(wù)系統(tǒng)osCommerce建模的一個(gè)SQL注入攻擊場(chǎng)景(圖2)為例進(jìn)行說(shuō)明.值得指出的是,雖然本文的實(shí)驗(yàn)是針對(duì)一個(gè)基于Web的電子商務(wù)系統(tǒng),但是本文所提出的方法具有一定的普適性,能夠用于建模各種類型Web系統(tǒng)(如基于Web的電子政務(wù)系統(tǒng)、網(wǎng)上銀行系統(tǒng)、內(nèi)容管理系統(tǒng)、遠(yuǎn)程教育系統(tǒng)等)的攻擊場(chǎng)景,并基于攻擊場(chǎng)景生成安全測(cè)試用例.因?yàn)楸疚慕5墓魣?chǎng)景(如SQL注入、URL跳躍、目錄遍歷、跨站點(diǎn)腳本、信息泄露等攻擊場(chǎng)景)不僅存在于基于Web的電子商務(wù)系統(tǒng)中,也存在于其他類型的Web系統(tǒng)中[13].

    圖1 基于攻擊場(chǎng)景的安全測(cè)試生成方法的流程Fig.1 Process of the attack scenario based approach to security test generation

    圖2 osCommerce系統(tǒng)的SQL注入攻擊聲景Fig.2 Attack scenario of SQL injection in osCommerce system

    3.1 攻擊場(chǎng)景建模與驗(yàn)證

    分析攻擊者的意圖和目標(biāo)所獲得的信息使開(kāi)發(fā)人員能夠理解攻擊者可能從何處滲透系統(tǒng),以及攻擊者如何滲透系統(tǒng).這些信息為建模攻擊場(chǎng)景奠定了基礎(chǔ).攻擊場(chǎng)景建模包括3個(gè)步驟:①用擴(kuò)展活動(dòng)圖建模系統(tǒng)功能;②用統(tǒng)一威脅模型建模系統(tǒng)可能面臨的威脅;③用攻擊連接關(guān)聯(lián)統(tǒng)一威脅模型中的具體攻擊方式和擴(kuò)展活動(dòng)圖中的攻擊目標(biāo).用擴(kuò)展活動(dòng)圖建模系統(tǒng)功能的過(guò)程中,引入的信任邊界建模元素指出了系統(tǒng)功能模型中數(shù)據(jù)跨越不同信任等級(jí)的地方,經(jīng)過(guò)這些地方的數(shù)據(jù)常成為攻擊目標(biāo).信任邊界確定了攻擊者的潛在攻擊目標(biāo)以及從何處滲透系統(tǒng).如圖2所示的SQL注入攻擊場(chǎng)景中,osCommerce系統(tǒng)為用戶提供了瀏覽網(wǎng)上商店,選擇商品,向購(gòu)物車(chē)中添加商品,移除商品,更新購(gòu)物車(chē),結(jié)賬等功能.當(dāng)用戶選擇了商品,將相關(guān)信息由客戶端提交到服務(wù)器端時(shí),該信息跨越了互聯(lián)網(wǎng)終端(信任等級(jí)為低)和osCommerce網(wǎng)上商店(信任等級(jí)為中)之間的信任邊界,但是缺乏足夠的保護(hù)措施,導(dǎo)致攻擊者可以進(jìn)行SQL注入攻擊.

    用統(tǒng)一威脅模型建模系統(tǒng)可能面臨的威脅的過(guò)程中,攻擊路徑表示了攻擊者滲透系統(tǒng)的方法.實(shí)驗(yàn)中,對(duì)osCommerce系統(tǒng)建模了7個(gè)攻擊場(chǎng)景,在此詳述其中5個(gè)攻擊場(chǎng)景的統(tǒng)一威脅模型.圖2所示的SQL注入攻擊場(chǎng)景中,統(tǒng)一威脅模型有3條攻擊路徑.osCommerce系統(tǒng)中,變量$option和$value是從shoppingCart類中的$this→contents獲得,而$this→contents是由shopping_cart.php文件中的$cart→get_products()函數(shù)調(diào)用獲得.這些變量的值是從會(huì)話數(shù)據(jù)中取得,但是系統(tǒng)對(duì)會(huì)話數(shù)據(jù)沒(méi)有進(jìn)行恰當(dāng)?shù)霓D(zhuǎn)義處理,攻擊者將一個(gè)商品添加到購(gòu)物車(chē)時(shí)可以通過(guò)id[]數(shù)組控制會(huì)話數(shù)據(jù).攻擊者向id[]數(shù)組中注入SQL腳本可以獲得用戶的信用卡信息、個(gè)人信息或登錄信息.

    圖3為URL跳躍攻擊場(chǎng)景的統(tǒng)一威脅模型,有3條攻擊路徑.在用戶結(jié)賬的流程中,缺乏保護(hù)措施確認(rèn)用戶的請(qǐng)求流程頁(yè)面與規(guī)定的結(jié)賬流程頁(yè)面是否一致,導(dǎo)致攻擊者能夠使用URL跳躍攻擊跳過(guò)支付信息頁(yè)面、配送信息頁(yè)面或二者都跳過(guò).

    圖3 URL跳躍攻擊場(chǎng)景的統(tǒng)一威脅模型Fig.3 Unified threat model of URL jumping

    圖4為目錄遍歷攻擊場(chǎng)景的統(tǒng)一威脅模型,有2條攻擊路徑.由于osCommerce系統(tǒng)沒(méi)有驗(yàn)證請(qǐng)求file_manage.php頁(yè)面和admin目錄的變量,導(dǎo)致攻擊者能夠以假的URL執(zhí)行目錄遍歷命令,下載保密文件(例如Linux系統(tǒng)中存儲(chǔ)用戶名和密碼的文件).

    圖4 目錄遍歷攻擊場(chǎng)景的統(tǒng)一威脅模型Fig.4 Unified threat model of directory traversal

    圖5為跨站點(diǎn)腳本攻擊場(chǎng)景的統(tǒng)一威脅模型,有4條攻擊路徑.osCommerce系統(tǒng)的多個(gè)php文件中傳遞給“page”參數(shù)的輸入,以及admin目錄下geo_zones.php文件中傳遞給“zpage”參數(shù)的輸入都沒(méi)有經(jīng)過(guò)恰當(dāng)?shù)膬艋幚砭头祷亟o用戶.這導(dǎo)致攻擊者能夠利用這些受影響的php文件執(zhí)行任意HTML代碼和腳本代碼.攻擊者能夠通過(guò)發(fā)送隱藏圖片、表單、浮動(dòng)DIV或IFrame腳本獲取用戶的會(huì)話ID.

    圖5 跨站點(diǎn)腳本攻擊場(chǎng)景的統(tǒng)一威脅模型Fig.5 Unified threat model of cross site scipt

    圖6為信息泄露攻擊場(chǎng)景的統(tǒng)一威脅模型,有2條攻擊路徑.osCommerce系統(tǒng)對(duì)用戶登錄時(shí)嘗試用戶名和密碼的次數(shù)缺乏限制,使得攻擊者能夠通過(guò)多次嘗試獲取用戶名和密碼,并登錄系統(tǒng)更改用戶賬戶信息.攻擊者能夠通過(guò)字典攻擊或暴力破解的方式獲得用戶名和密碼.

    圖6 信息泄露攻擊場(chǎng)景的統(tǒng)一威脅模型Fig.6 Unified threat model of information disclosure

    軟件審查是一種有效的驗(yàn)證方法[11],因此采用這種方法驗(yàn)證攻擊場(chǎng)景.驗(yàn)證過(guò)程包括2個(gè)步驟:①識(shí)別并解決擴(kuò)展活動(dòng)圖和統(tǒng)一威脅模型語(yǔ)法中可能存在的不一致問(wèn)題;②識(shí)別并解決攻擊場(chǎng)景之間可能存在的不一致性問(wèn)題.使用軟件審查方法進(jìn)行驗(yàn)證后得到的攻擊場(chǎng)景稱為有效攻擊場(chǎng)景.

    3.2 安全測(cè)試序列生成

    建模并驗(yàn)證攻擊場(chǎng)景后需要從攻擊場(chǎng)景生成安全測(cè)試序列.安全測(cè)試序列是以攻擊路徑為模板生成的,因?yàn)楣袈窂奖磉_(dá)了攻擊者滲透系統(tǒng)的潛在攻擊方法.以下是基于攻擊場(chǎng)景生成安全測(cè)試序列的算法.該算法采用遞歸設(shè)計(jì)從攻擊場(chǎng)景生成安全測(cè)試序列.其中,Nroot_node、Nleaf_nodes、NOR和NAND分別是根節(jié)點(diǎn)、葉節(jié)點(diǎn)、OR節(jié)點(diǎn)和AND節(jié)點(diǎn);nroot_node是Nroot_node的子節(jié)點(diǎn)個(gè)數(shù);Bi是父節(jié)點(diǎn)Nroot_node的第i個(gè)子節(jié)點(diǎn);ni是Bi的子節(jié)點(diǎn)個(gè)數(shù).Bi.Pa是到達(dá)節(jié)點(diǎn)Bi的攻擊路徑集合.

    算法:generateSecurityTestSeqence (Nroot_node,nroot_node)

    從攻擊場(chǎng)景生成可執(zhí)行的安全測(cè)試用例時(shí)可以應(yīng)用不同的測(cè)試覆蓋準(zhǔn)則,包括:①葉節(jié)點(diǎn)覆蓋:統(tǒng)一威脅模型中每一個(gè)葉節(jié)點(diǎn)至少被一個(gè)安全測(cè)試用例覆蓋;②攻擊路徑覆蓋:統(tǒng)一威脅模型中的每一條攻擊路徑至少被一個(gè)安全測(cè)試用例覆蓋.在攻擊場(chǎng)景中,攻擊路徑是依據(jù)統(tǒng)一威脅模型節(jié)點(diǎn)之間的AND/OR邏輯關(guān)系生成的,包含了節(jié)點(diǎn)的有序排列情況(AND邏輯關(guān)系),一個(gè)葉節(jié)點(diǎn)可能在多條攻擊路徑中出現(xiàn),故葉節(jié)點(diǎn)覆蓋準(zhǔn)則是攻擊路徑覆蓋準(zhǔn)則的子集合,因此選擇攻擊路徑覆蓋準(zhǔn)則.

    應(yīng)用安全測(cè)試序列生成算法,圖2所示SQL注入攻擊場(chǎng)景生成3個(gè)安全測(cè)試序列:①用戶瀏覽osCommerce網(wǎng)上商店→選擇商品→編輯商品信息→注入獲取用戶信用卡信息的SQL腳本→將商品加入到購(gòu)物車(chē);②用戶瀏覽osCommerce網(wǎng)上商店→選擇商品→編輯商品信息→注入獲取用戶個(gè)人信息的SQL腳本→將商品加入到購(gòu)物車(chē);③用戶瀏覽osCommerce網(wǎng)上商店→選擇商品→編輯商品信息→注入獲取用戶登錄信息的SQL腳本→將商品加入到購(gòu)物車(chē).

    安全測(cè)試序列是從設(shè)計(jì)級(jí)別的攻擊場(chǎng)景生成,需要將它轉(zhuǎn)化為可執(zhí)行的安全測(cè)試用例.攻擊場(chǎng)景中可能存在一些攻擊方式(即事件)難以轉(zhuǎn)化為可執(zhí)行的安全測(cè)試用例(如社會(huì)化攻擊、硬件篡改等)或者可以與其他的攻擊方式進(jìn)行合并.為了解決這一問(wèn)題,開(kāi)發(fā)安全測(cè)試用例的人員需要對(duì)安全測(cè)試序列中必要和可行的事件進(jìn)行綁定以生成可執(zhí)行的安全測(cè)試用例.以SQL注入攻擊場(chǎng)景為例,用戶瀏覽osCommerce網(wǎng)上商店事件不是必要的操作,可以直接通過(guò)傳遞商品id參數(shù)(http://example.com/product_ info.php?products_id=2)完成打開(kāi)osCommerce網(wǎng)上商店和選擇商品的操作.編輯商品信息事件與對(duì)id[]數(shù)組進(jìn)行SQL注入事件的測(cè)試代碼是合并在一起的,這種情況下不需要將其轉(zhuǎn)化為單獨(dú)的可執(zhí)行的測(cè)試代碼片段.

    攻擊操作還需要關(guān)聯(lián)參數(shù).因?yàn)橐粋€(gè)安全測(cè)試序列可能包含多個(gè)事件,而每個(gè)事件可能有多個(gè)參數(shù).跟蹤全部事件的所有參數(shù)并維護(hù)參數(shù)的順序成為一個(gè)難點(diǎn).為了解決這一難點(diǎn),首先在統(tǒng)一威脅模型的葉節(jié)點(diǎn)中為事件指定參數(shù),這些參數(shù)最終會(huì)導(dǎo)出到生成的安全測(cè)試序列中;然后,生成安全測(cè)試序列后,遍歷序列中的事件為參數(shù)創(chuàng)建一個(gè)參數(shù)列表;該參數(shù)列表隨后以注釋語(yǔ)句的形式生成到最終的可執(zhí)行安全測(cè)試代碼的頂端,提醒安全測(cè)試用例的開(kāi)發(fā)人員注意參數(shù)的正確個(gè)數(shù).在SQL注入攻擊場(chǎng)景中,選擇一個(gè)商品的事件有2個(gè)參數(shù)(product_id和options_id) .

    3.3 基于語(yǔ)法的安全測(cè)試輸入生成

    獲得安全測(cè)試序列和參數(shù)以后,需要為安全測(cè)試用例提供實(shí)際輸入.采用基于語(yǔ)法的測(cè)試方法,這是一種基于語(yǔ)法的輸入數(shù)據(jù)驅(qū)動(dòng)測(cè)試方法[3].

    SQL注入攻擊場(chǎng)景的示例中,需要參數(shù)product_id,該參數(shù)所滿足的最簡(jiǎn)單語(yǔ)法是正則表達(dá)式*a.其中,a是任一可打印的ASCII字符,這個(gè)集合的勢(shì)是無(wú)窮大,因此不實(shí)用.可以限制字符串長(zhǎng)度來(lái)減少輸入數(shù)據(jù)總量.這種情況下一個(gè)長(zhǎng)度為L(zhǎng)的字符串的輸入數(shù)據(jù)總量為95L(95為可打印的ASCII字符數(shù)).可見(jiàn)指定長(zhǎng)度約束后的輸入數(shù)據(jù)總量還是過(guò)于龐大.為了減少輸入數(shù)據(jù)總量,采用等價(jià)劃分和邊界值分析的方法對(duì)輸入數(shù)據(jù)進(jìn)行分組.通常情況下,輸入數(shù)據(jù)劃分為以下4類.

    (1)有效輸入:這些輸入滿足設(shè)計(jì)需求并且使得系統(tǒng)功能正常運(yùn)行.

    (2)被處理過(guò)的無(wú)效輸入:這些輸入是無(wú)效的,但是系統(tǒng)設(shè)計(jì)了一些錯(cuò)誤處理機(jī)制進(jìn)行處理.

    (3)未被處理過(guò)的無(wú)效輸入,但沒(méi)有導(dǎo)致安全威脅:這些輸入是有意義的,但不是本文的研究重點(diǎn).

    (4)未被處理過(guò)的無(wú)效輸入,但導(dǎo)致安全威脅:這些數(shù)據(jù)可能導(dǎo)致系統(tǒng)漏洞,是本文安全測(cè)試輸入生成部分的重點(diǎn)研究?jī)?nèi)容.

    為了進(jìn)行邊界值分析,必須檢查被測(cè)系統(tǒng)osCommerce的設(shè)計(jì)文檔以發(fā)現(xiàn)等價(jià)劃分的邊界.在SQL注入攻擊場(chǎng)景的示例中,通過(guò)檢查設(shè)計(jì)文檔發(fā)現(xiàn)product_id的賦值為32位的整數(shù)值.使用數(shù)據(jù)庫(kù)存儲(chǔ)常用的有效或無(wú)效字符串.例如,SQL注入腳本字符串和跨站點(diǎn)腳本字符串.?dāng)?shù)據(jù)庫(kù)還能提供功能以組合某些互相依賴的參數(shù).例如,在數(shù)據(jù)庫(kù)中為product_id參數(shù)創(chuàng)建一個(gè)可被osCommerce系統(tǒng)接受的賦值表.一些product_id參數(shù)(如顯卡)有一些相應(yīng)的options_id參數(shù)選擇(如一個(gè)顯卡可以選擇配備128 MB顯存或者256 MB顯存) .在數(shù)據(jù)庫(kù)的表中,配備不同容量顯存(128 MB的options_id=0,256 MB的options_id=1)的顯卡(product_id=2)所對(duì)應(yīng)的可被接受賦值是{(2,0),(2,1)}.為了觀察安全測(cè)試用例中獨(dú)立的參數(shù)對(duì)系統(tǒng)安全性造成的影響,對(duì)安全測(cè)試序列中事件的獨(dú)立參數(shù)至少生成一個(gè)可執(zhí)行的安全測(cè)試用例.

    3.4 實(shí) 現(xiàn)

    為了支持基于攻擊場(chǎng)景的安全測(cè)試生成方法,用Java語(yǔ)言開(kāi)發(fā)了一個(gè)原型工具.該工具包括以下3種模塊:①攻擊場(chǎng)景建模與安全測(cè)試序列生成模塊,該模塊提供圖形化的攻擊場(chǎng)景建模功能,并從攻擊場(chǎng)景生成安全測(cè)試序列;②安全測(cè)試用例賦值模塊,該模塊允許用戶為安全測(cè)試序列中事件的參數(shù)賦值;③可執(zhí)行的安全測(cè)試用例生成模塊,該模塊將模型級(jí)別的安全測(cè)試用例轉(zhuǎn)化為可執(zhí)行的安全測(cè)試用例.

    可執(zhí)行的安全測(cè)試用例包括:安全測(cè)試用例ID、前置條件、后置條件、安全測(cè)試參數(shù)和安全測(cè)試代碼.其中安全測(cè)試用例ID、前置條件、后置條件、安全測(cè)試參數(shù)都是以注釋的形式置于安全測(cè)試代碼的頂端.實(shí)驗(yàn)中,用Selenium IDE的Firefox擴(kuò)展和Selenium Remote Control測(cè)試環(huán)境來(lái)運(yùn)行大部分安全測(cè)試用例.對(duì)于一些過(guò)于復(fù)雜而不能用Selenium運(yùn)行的安全測(cè)試用例,則借助Perl語(yǔ)言的WWW:: Mechanize和LWP包.所有可執(zhí)行的安全測(cè)試用例都用Perl語(yǔ)言編寫(xiě).

    以SQL注入攻擊場(chǎng)景的第1個(gè)安全測(cè)試序列為例.需要安全測(cè)試用例執(zhí)行:①選擇一個(gè)商品;②注入獲取用戶信用卡信息的SQL腳本;③將商品加入到購(gòu)物車(chē).需要注意的是,如前文所述,該安全測(cè)試用例中并不包含用戶瀏覽osCommerce網(wǎng)上商店和編輯商品信息這2個(gè)事件.為了完成這個(gè)安全測(cè)試用例,需要為安全測(cè)試序列中的每一個(gè)事件開(kāi)發(fā)相應(yīng)的測(cè)試代碼,然后將代碼組合成一個(gè)完整的安全測(cè)試用例,并為其提供輸入.下文為SQL注入攻擊場(chǎng)景中第1個(gè)安全測(cè)試序列對(duì)應(yīng)的一個(gè)可執(zhí)行的安全測(cè)試用例.該安全測(cè)試用例需要用戶選擇一個(gè)商品(product_id)并確定其相應(yīng)的選項(xiàng)(options_id).這些輸入數(shù)據(jù)可以從測(cè)試數(shù)據(jù)庫(kù)中相應(yīng)表的字段中獲取.使用設(shè)計(jì)文檔和測(cè)試數(shù)據(jù)庫(kù)提供所需要的安全測(cè)試輸入.

    需要特別指出的是,生成可執(zhí)行的安全測(cè)試用例時(shí)需要考慮盡量減小安全測(cè)試的破壞性.例如,在信息泄露攻擊場(chǎng)景中,生成的可執(zhí)行的安全測(cè)試用例只需要確認(rèn)攻擊者的攻擊方法能夠成功破解用戶登錄信息即可,而不需要執(zhí)行修改用戶賬戶信息的事件,這樣能夠減小安全測(cè)試對(duì)被測(cè)系統(tǒng)的破壞性.

    4 實(shí) 驗(yàn)

    為了驗(yàn)證基于攻擊場(chǎng)景的安全測(cè)試生成方法的可行性和有效性,設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)實(shí)驗(yàn),使用該方法對(duì)osCommerce系統(tǒng)進(jìn)行安全測(cè)試.

    4.1 實(shí)驗(yàn)設(shè)計(jì)與環(huán)境

    實(shí)驗(yàn)使用的被測(cè)系統(tǒng)osCommerce是一個(gè)基于Web的網(wǎng)上購(gòu)物系統(tǒng),用PHP語(yǔ)言編寫(xiě)并使用MySQL數(shù)據(jù)庫(kù)存儲(chǔ)后臺(tái)數(shù)據(jù).osCommerce系統(tǒng)是一個(gè)開(kāi)源平臺(tái),是大多數(shù)愿意自己部署網(wǎng)上購(gòu)物系統(tǒng)的零售商的一個(gè)主要選擇.實(shí)驗(yàn)一共建模了7個(gè)攻擊場(chǎng)景:①SQL注入攻擊場(chǎng)景;②URL跳躍攻擊場(chǎng)景;③目錄遍歷攻擊場(chǎng)景;④跨站點(diǎn)腳本攻擊場(chǎng)景;⑤信息泄露攻擊場(chǎng)景;⑥數(shù)據(jù)篡改攻擊場(chǎng)景;⑦登錄信息篡改攻擊場(chǎng)景.在第3節(jié)詳細(xì)描述了前5個(gè)攻擊場(chǎng)景的統(tǒng)一威脅模型.使用開(kāi)發(fā)的工具生成了41個(gè)安全測(cè)試序列和1 532個(gè)帶有輸入的可執(zhí)行的安全測(cè)試用例.

    實(shí)驗(yàn)是在同一臺(tái)主機(jī)的2臺(tái)虛擬機(jī)(其中一臺(tái)為客戶端機(jī)器,一臺(tái)為服務(wù)器)上進(jìn)行.客戶端機(jī)器的操作系統(tǒng)為Ubuntu 8.10,服務(wù)器端操作系統(tǒng)為openSUSE 11.1.服務(wù)器運(yùn)行Apache作為HTTP服務(wù)器以及MySQL作為后端數(shù)據(jù)庫(kù).值得注意的是網(wǎng)絡(luò)連接速度對(duì)運(yùn)行安全測(cè)試的時(shí)間有直接影響,在同一臺(tái)主機(jī)的2臺(tái)虛擬機(jī)上進(jìn)行實(shí)驗(yàn)可以提供一個(gè)接近最優(yōu)的網(wǎng)絡(luò)連接速度.

    4.2 實(shí)驗(yàn)結(jié)果與討論

    實(shí)驗(yàn)?zāi)康氖球?yàn)證生成的安全測(cè)試用例是否能夠發(fā)現(xiàn)系統(tǒng)中存在的威脅.表1展示了實(shí)驗(yàn)中安全測(cè)試用例的運(yùn)行結(jié)果.第1項(xiàng)為攻擊場(chǎng)景,第2項(xiàng)為每個(gè)攻擊場(chǎng)景生成的安全測(cè)試序列數(shù)目,第3項(xiàng)為每個(gè)攻擊場(chǎng)景生成的可執(zhí)行的安全測(cè)試用例數(shù)目,第4項(xiàng)為發(fā)現(xiàn)系統(tǒng)中存在威脅的安全測(cè)試用例數(shù)目.其中,前5個(gè)攻擊場(chǎng)景是由系統(tǒng)中存在的威脅建模而成,實(shí)驗(yàn)結(jié)果表明這5個(gè)攻擊場(chǎng)景生成的每個(gè)安全測(cè)試用例都發(fā)現(xiàn)了系統(tǒng)中存在的威脅,表明通過(guò)安全測(cè)試發(fā)現(xiàn)了系統(tǒng)中存在的威脅.后2個(gè)攻擊場(chǎng)景是從osCommerce系統(tǒng)設(shè)計(jì)已經(jīng)恰當(dāng)處理過(guò)的威脅建模而成,實(shí)驗(yàn)結(jié)果表明這2個(gè)攻擊場(chǎng)景生成的安全測(cè)試用例都沒(méi)有發(fā)現(xiàn)系統(tǒng)中可能存在的威脅,說(shuō)明系統(tǒng)設(shè)計(jì)能夠防范這2個(gè)攻擊場(chǎng)景中的攻擊方法.運(yùn)行全部1,532個(gè)安全測(cè)試用例耗時(shí)1,562.64,s,平均每個(gè)安全測(cè)試用例運(yùn)行耗時(shí)1.02,s.這驗(yàn)證了基于攻擊場(chǎng)景的安全測(cè)試生成方法的可行性和有效性.

    表1 實(shí)驗(yàn)結(jié)果Tab.1 Experiment results

    實(shí)驗(yàn)結(jié)果表明,基于攻擊場(chǎng)景的安全測(cè)試生成方法是一種有效的技術(shù),能夠開(kāi)發(fā)安全測(cè)試用例用于發(fā)現(xiàn)系統(tǒng)中可能存在的威脅.通過(guò)這種方法,能夠識(shí)別攻擊者的攻擊目標(biāo),這些目標(biāo)正是安全測(cè)試的目標(biāo),需要測(cè)試攻擊者是否能夠?qū)崿F(xiàn)這些攻擊目標(biāo);還能夠識(shí)別攻擊者如何實(shí)現(xiàn)攻擊目標(biāo),一種實(shí)現(xiàn)攻擊目標(biāo)的方法就形成一條攻擊路徑,而攻擊路徑則成為生成安全測(cè)試序列的模板.

    盡管實(shí)驗(yàn)結(jié)果理想,但是實(shí)驗(yàn)仍然存在以下不足.

    (1)如何建模攻擊場(chǎng)景.一方面,由于缺乏實(shí)驗(yàn)對(duì)象osCommerce系統(tǒng)的全面的設(shè)計(jì)文檔,進(jìn)行實(shí)驗(yàn)時(shí)從系統(tǒng)中存在的威脅建模攻擊場(chǎng)景而非完全依靠設(shè)計(jì)文檔.另一方面,所提出的方法需要開(kāi)發(fā)人員建模攻擊場(chǎng)景并輔助開(kāi)發(fā)安全測(cè)試用例,該方法的有效性可能直接受到開(kāi)發(fā)人員建模攻擊場(chǎng)景與開(kāi)發(fā)安全測(cè)試用例能力的影響.

    (2)實(shí)驗(yàn)對(duì)象缺乏多樣性.通過(guò)對(duì)一個(gè)大型、易部署的Web應(yīng)用程序osCommerce進(jìn)行真實(shí)的安全測(cè)試來(lái)減少這一不足.

    5 結(jié) 語(yǔ)

    本文提出了一種基于攻擊場(chǎng)景的安全測(cè)試生成方法以測(cè)試軟件的安全性,設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)實(shí)驗(yàn)驗(yàn)證了該方法的可行性與有效性.主要貢獻(xiàn)在于:①能夠使用攻擊場(chǎng)景識(shí)別攻擊者的攻擊目標(biāo);②能夠從攻擊場(chǎng)景中生成可執(zhí)行的安全測(cè)試用例,并通過(guò)運(yùn)行安全測(cè)試用例,發(fā)現(xiàn)系統(tǒng)的安全漏洞以確保軟件安全性;③能夠確認(rèn)系統(tǒng)設(shè)計(jì)成功防范某些攻擊方法,即這些攻擊方法想要實(shí)現(xiàn)的威脅在系統(tǒng)設(shè)計(jì)階段已經(jīng)被恰當(dāng)考慮和處理過(guò)了,從而確保軟件系統(tǒng)的安全性.

    [1] Michael H,David L. Writing Secure Code[M]. 2nd ed.Redmond,Washington,WA:Microsoft Press,2003.

    [2] 陳火旺,王 戟,董 威. 高可信軟件工程技術(shù)[J]. 電子學(xué)報(bào),2003,31(12A):1933-1938.

    Chen Huowang,Wang Ji,Dong Wei. High confidence software engineering technologies[J]. Acta Electronica Sinica,2003,31(12A):1933-1938(in Chinese).

    [3] Li X,He K. A unified threat model for assessing threat in web applications[C]// Proceedings of the 2nd International Conference on Information Security and Assurance. Busan,Korea,2008:142-145.

    [4] Chris W,Lucas N,Dino D Z,et al. The Art of Software Security Testing:Identifying Software Security Flaws (Symantec Press)[M]. Boston,MA:Addison-Wesley Professional,2006.

    [5] Ryser J,Glinz M. A scenario-based approach to validating and testing software systems using statecharts[C]// Proceedings of 12th International Conference on Software and Systems Engineering and Their Applications. Paris,F(xiàn)rance,1999.

    [6] Thomas A A,Debra J R,Thomas A S. Scenarios,state machines and purpose-driven testing[C]// Proceedings of the Fourth International Workshop on Scenarios and State Machines:Model,Algorithms and Tools. St. Louis,USA,2005:1-5.

    [7] Tsai W T,Saimi A,Yu L,et al. Scenario-based objectoriented testing framework[C]//Proceedings of Third International Conference on Quality Software.Dallas,USA,2003:410-417.

    [8] Mouratidis H,Giorgini P. Security attack testing(SAT)-testing the security of information systems at design time [J]. Information Systems,2007,32(8):1166-1183.

    [9] Wang L,Wong W,Xu D. A threat model driven approach for security testing[C]// The 3rd International Workshop on Software Engineering for Secure Systems. Minneapolis,2007.

    [10] 陳小峰. 可信平臺(tái)模塊的形式化分析與測(cè)試[J]. 計(jì)算機(jī)學(xué)報(bào),2009,32(4):646-653.

    Chen Xiaofeng. The formal analysis and testing of trusted platform module[J]. Chinese Journal of Computers,2009,32(4):646-653(in Chinese).

    [11] Aurum A,Petersson H,Wohlin C. State-of-the-art:Software inspections after 25 years[J]. Software Testing,Verification and Reliability,2002,12(3):133-154.

    [12] Russell S,Norvig P. Artifical Intelligence:A Modern Approach[M]. 2nd ed. Upper Saddle River,NJ:Prentice Hall,2002.

    [13] Whittaker J A,Thompson H. How to Break Software Security:Effective Techniques for Security Testing[M]. City of Westminster,London:Pearson,2003.

    Attack Scenario Based Approach to Security Test Generation

    HE Ke1,LI Xiao-hong1,F(xiàn)ENG Zhi-yong1,AARON Marback2
    (1. School of Computer Science and Technology,Tianjin University,Tianjin 300072,China;2. Department of Computer Science,North Dakota State University,F(xiàn)argo 58108,ND,USA)

    In order to build secure and trusted software in a cost-effective way,it is necessary to consider security problems as early as possible in the software development life cycle. To solve this problem,an approach to security test generation based on design level attack scenario was presented. This approach consists of modeling and validating attack scenario,generating security test sequences from attack scenario,generating security test input based on input syntax,generating model level security test cases,and converting model security test cases into executable security test cases. An experiment has been conducted to validate the feasibility and effectiveness of the presented approach.

    software security;attack scenario;security test sequence;security test generation;trusted software

    TP309

    A

    0493-2137(2011)04-0344-09

    2010-01-22;

    2010-07-02.

    國(guó)家高技術(shù)研究發(fā)展計(jì)劃(863計(jì)劃)資助項(xiàng)目(2007AA01Z130);國(guó)家自然科學(xué)基金資助項(xiàng)目(90718023).

    何 可(1981— ),男,博士研究生,kehe@tju.edu.cn.

    馮志勇,zyfeng@tju.edu.cn.

    猜你喜歡
    測(cè)試用例攻擊者威脅
    基于微分博弈的追逃問(wèn)題最優(yōu)策略設(shè)計(jì)
    基于SmartUnit的安全通信系統(tǒng)單元測(cè)試用例自動(dòng)生成
    人類的威脅
    受到威脅的生命
    基于混合遺傳算法的回歸測(cè)試用例集最小化研究
    正面迎接批判
    愛(ài)你(2018年16期)2018-06-21 03:28:44
    面對(duì)孩子的“威脅”,我們要會(huì)說(shuō)“不”
    家教世界(2017年11期)2018-01-03 01:28:49
    Why Does Sleeping in Just Make Us More Tired?
    有限次重復(fù)博弈下的網(wǎng)絡(luò)攻擊行為研究
    基于依賴結(jié)構(gòu)的測(cè)試用例優(yōu)先級(jí)技術(shù)
    国语对白做爰xxxⅹ性视频网站| 又黄又爽又刺激的免费视频.| 国产精品人妻久久久久久| 色综合色国产| 少妇丰满av| 18禁在线播放成人免费| 啦啦啦啦在线视频资源| 波多野结衣巨乳人妻| 熟女电影av网| 国产欧美另类精品又又久久亚洲欧美| 久久午夜福利片| 狠狠精品人妻久久久久久综合| 中文资源天堂在线| 国产一区二区三区av在线| 久久ye,这里只有精品| 男人爽女人下面视频在线观看| 中文字幕人妻熟人妻熟丝袜美| 国产成人freesex在线| 自拍偷自拍亚洲精品老妇| 丰满乱子伦码专区| 韩国av在线不卡| 日韩欧美一区视频在线观看 | 80岁老熟妇乱子伦牲交| 男人舔奶头视频| 国产成人福利小说| 下体分泌物呈黄色| 久久这里有精品视频免费| 亚洲av日韩在线播放| 99久久中文字幕三级久久日本| 国产精品久久久久久av不卡| 日本三级黄在线观看| 日韩,欧美,国产一区二区三区| 久久99精品国语久久久| 亚洲av一区综合| 国产视频内射| 成人高潮视频无遮挡免费网站| 街头女战士在线观看网站| 一级a做视频免费观看| 99久国产av精品国产电影| 国产 一区 欧美 日韩| 黄色日韩在线| 精品一区二区免费观看| 大片免费播放器 马上看| 国产爽快片一区二区三区| 亚洲最大成人中文| 亚洲欧美成人综合另类久久久| 亚洲,一卡二卡三卡| 国产v大片淫在线免费观看| 特级一级黄色大片| 少妇人妻 视频| 91久久精品国产一区二区成人| 亚洲精品456在线播放app| 搞女人的毛片| 亚洲怡红院男人天堂| 女人十人毛片免费观看3o分钟| 晚上一个人看的免费电影| 一个人看视频在线观看www免费| 国产精品偷伦视频观看了| av在线天堂中文字幕| 在线免费观看不下载黄p国产| 日韩一区二区视频免费看| 午夜福利网站1000一区二区三区| 国产av不卡久久| 日本欧美国产在线视频| 国产日韩欧美亚洲二区| 免费av不卡在线播放| 久久久久久伊人网av| 亚洲欧美清纯卡通| 天堂网av新在线| 国产精品一区二区性色av| 大片电影免费在线观看免费| 99热全是精品| 十八禁网站网址无遮挡 | 中文字幕av成人在线电影| av一本久久久久| 亚洲欧美日韩另类电影网站 | 99久久九九国产精品国产免费| 黄片wwwwww| 91久久精品国产一区二区成人| 美女xxoo啪啪120秒动态图| 蜜臀久久99精品久久宅男| www.av在线官网国产| 黄色配什么色好看| 国产成人一区二区在线| 特级一级黄色大片| 国产精品不卡视频一区二区| 97超碰精品成人国产| 中文资源天堂在线| 国产一区二区三区综合在线观看 | 又爽又黄无遮挡网站| 看黄色毛片网站| 欧美最新免费一区二区三区| 草草在线视频免费看| 性色avwww在线观看| 丝袜喷水一区| 边亲边吃奶的免费视频| 日本爱情动作片www.在线观看| 18禁动态无遮挡网站| 少妇高潮的动态图| 在线观看三级黄色| 国产69精品久久久久777片| 伊人久久精品亚洲午夜| 一本—道久久a久久精品蜜桃钙片 精品乱码久久久久久99久播 | 日日摸夜夜添夜夜添av毛片| 男女下面进入的视频免费午夜| 嫩草影院入口| 美女被艹到高潮喷水动态| 亚洲精品乱码久久久久久按摩| 亚洲av电影在线观看一区二区三区 | 在线播放无遮挡| 亚洲自拍偷在线| 亚洲色图综合在线观看| 久久久久久久亚洲中文字幕| 免费高清在线观看视频在线观看| 国产精品久久久久久av不卡| 日韩一区二区视频免费看| 蜜臀久久99精品久久宅男| 啦啦啦中文免费视频观看日本| 欧美成人精品欧美一级黄| 国产白丝娇喘喷水9色精品| 日本wwww免费看| 一区二区三区乱码不卡18| 在线观看一区二区三区激情| 亚洲精品日韩在线中文字幕| 毛片一级片免费看久久久久| 精品久久久久久久人妻蜜臀av| 国产精品成人在线| 亚洲国产最新在线播放| 免费看不卡的av| av免费观看日本| 亚洲精品影视一区二区三区av| 亚洲不卡免费看| av.在线天堂| 一级a做视频免费观看| 色视频www国产| 少妇高潮的动态图| 欧美国产精品一级二级三级 | 国产 精品1| 欧美日本视频| 我的女老师完整版在线观看| 中文乱码字字幕精品一区二区三区| 小蜜桃在线观看免费完整版高清| 国产精品av视频在线免费观看| 最近手机中文字幕大全| 亚洲性久久影院| 国内揄拍国产精品人妻在线| 亚洲va在线va天堂va国产| 日韩电影二区| 国内揄拍国产精品人妻在线| 老司机影院成人| 欧美老熟妇乱子伦牲交| 视频区图区小说| 亚洲四区av| 欧美高清成人免费视频www| 亚洲精品日韩av片在线观看| 久久久色成人| 九草在线视频观看| 男女边吃奶边做爰视频| 亚洲精品乱码久久久v下载方式| 欧美xxⅹ黑人| av在线播放精品| 最近最新中文字幕大全电影3| 男女边摸边吃奶| 免费观看性生交大片5| 亚洲av在线观看美女高潮| 我的老师免费观看完整版| 我要看日韩黄色一级片| 国产久久久一区二区三区| 两个人的视频大全免费| 久久韩国三级中文字幕| 小蜜桃在线观看免费完整版高清| 一级毛片 在线播放| 在线免费观看不下载黄p国产| 黄色配什么色好看| av一本久久久久| 中文字幕免费在线视频6| 免费观看av网站的网址| 啦啦啦中文免费视频观看日本| 国产精品麻豆人妻色哟哟久久| 亚洲精品乱码久久久久久按摩| 亚洲aⅴ乱码一区二区在线播放| 国产日韩欧美在线精品| av在线观看视频网站免费| av卡一久久| 亚洲三级黄色毛片| 精品久久久久久电影网| 性色av一级| 欧美区成人在线视频| 欧美少妇被猛烈插入视频| 99热这里只有精品一区| 汤姆久久久久久久影院中文字幕| 好男人视频免费观看在线| 成人欧美大片| 亚洲怡红院男人天堂| 狂野欧美白嫩少妇大欣赏| 亚洲色图av天堂| 夫妻午夜视频| 国产综合懂色| 久久精品久久久久久噜噜老黄| 热99国产精品久久久久久7| 国产毛片在线视频| 久久久成人免费电影| 少妇人妻精品综合一区二区| 欧美日韩一区二区视频在线观看视频在线 | 国产黄色视频一区二区在线观看| 国产成人精品福利久久| 一级二级三级毛片免费看| 亚洲av在线观看美女高潮| 亚洲精品视频女| 综合色丁香网| 成人一区二区视频在线观看| 美女主播在线视频| 久久人人爽人人片av| 久久女婷五月综合色啪小说 | 在线观看一区二区三区激情| av国产免费在线观看| 五月天丁香电影| 欧美老熟妇乱子伦牲交| 中文精品一卡2卡3卡4更新| 婷婷色av中文字幕| 日韩人妻高清精品专区| 久久国内精品自在自线图片| h日本视频在线播放| 精品久久久久久久久av| 老女人水多毛片| 自拍偷自拍亚洲精品老妇| 高清欧美精品videossex| 日韩成人伦理影院| 国产av不卡久久| 久久久久久久国产电影| 黄片无遮挡物在线观看| 国产片特级美女逼逼视频| 国产毛片a区久久久久| 国产黄a三级三级三级人| 亚洲人成网站在线播| 国产乱人视频| 插阴视频在线观看视频| 白带黄色成豆腐渣| 国产综合精华液| 国产免费又黄又爽又色| 99热网站在线观看| 免费黄网站久久成人精品| 男女边摸边吃奶| 插阴视频在线观看视频| 人人妻人人澡人人爽人人夜夜| 国产精品爽爽va在线观看网站| 在线观看人妻少妇| 精品久久久久久电影网| 中文字幕亚洲精品专区| 日韩欧美精品v在线| 在线免费十八禁| .国产精品久久| av在线天堂中文字幕| 夜夜爽夜夜爽视频| 日韩制服骚丝袜av| 亚洲精品国产av蜜桃| 中文字幕av成人在线电影| 性色avwww在线观看| 精品少妇黑人巨大在线播放| 我要看日韩黄色一级片| 国产在线男女| 色哟哟·www| 精品亚洲乱码少妇综合久久| 看非洲黑人一级黄片| 狂野欧美激情性bbbbbb| 夜夜看夜夜爽夜夜摸| av在线播放精品| 国产又色又爽无遮挡免| 一级a做视频免费观看| 又爽又黄a免费视频| 少妇人妻一区二区三区视频| 韩国av在线不卡| 国内精品美女久久久久久| 丝袜美腿在线中文| 国产成人freesex在线| 综合色av麻豆| a级一级毛片免费在线观看| 日韩大片免费观看网站| 伊人久久国产一区二区| 少妇人妻 视频| 婷婷色av中文字幕| 中文欧美无线码| 欧美xxxx性猛交bbbb| 午夜福利在线观看免费完整高清在| 欧美激情在线99| 国产精品人妻久久久久久| 大码成人一级视频| 男女那种视频在线观看| 亚洲av.av天堂| 欧美日韩亚洲高清精品| 国产精品成人在线| 成年免费大片在线观看| 蜜臀久久99精品久久宅男| 麻豆成人午夜福利视频| 人妻夜夜爽99麻豆av| 欧美xxxx黑人xx丫x性爽| 日韩国内少妇激情av| 久久久久久国产a免费观看| 国产亚洲av片在线观看秒播厂| 婷婷色综合大香蕉| 国产精品蜜桃在线观看| 国产黄频视频在线观看| 99热这里只有是精品在线观看| 边亲边吃奶的免费视频| 观看美女的网站| 亚洲天堂国产精品一区在线| 在线播放无遮挡| 亚洲av成人精品一区久久| 亚洲av中文av极速乱| 久久久久久久精品精品| 国产一区有黄有色的免费视频| 国产精品福利在线免费观看| 国产成人免费无遮挡视频| 午夜精品一区二区三区免费看| 91aial.com中文字幕在线观看| 欧美xxxx黑人xx丫x性爽| 久久久精品免费免费高清| 久久久久精品久久久久真实原创| 毛片女人毛片| 欧美人与善性xxx| 亚洲伊人久久精品综合| 下体分泌物呈黄色| 日本熟妇午夜| 免费电影在线观看免费观看| 久久人人爽人人片av| 全区人妻精品视频| 2018国产大陆天天弄谢| 国产一级毛片在线| 黄色日韩在线| 一级毛片电影观看| 午夜精品国产一区二区电影 | 97人妻精品一区二区三区麻豆| 久久精品久久精品一区二区三区| 免费黄网站久久成人精品| 亚洲欧美精品自产自拍| 日韩强制内射视频| 日本三级黄在线观看| 国产高潮美女av| 最近中文字幕高清免费大全6| 观看免费一级毛片| 男女边摸边吃奶| 男男h啪啪无遮挡| 欧美97在线视频| 欧美日韩视频精品一区| 午夜福利视频1000在线观看| 亚洲精品一二三| 久久久久久伊人网av| 久久人人爽人人片av| 老司机影院毛片| 国产高清国产精品国产三级 | 看免费成人av毛片| 国产成人免费无遮挡视频| 免费大片黄手机在线观看| 色视频在线一区二区三区| 日日摸夜夜添夜夜添av毛片| 午夜亚洲福利在线播放| 人妻制服诱惑在线中文字幕| 国产成人免费无遮挡视频| 岛国毛片在线播放| 精品久久久久久久末码| 肉色欧美久久久久久久蜜桃 | 男人舔奶头视频| 久久久久国产精品人妻一区二区| 2022亚洲国产成人精品| 亚洲精品中文字幕在线视频 | 岛国毛片在线播放| 亚洲高清免费不卡视频| 日本免费在线观看一区| 色婷婷久久久亚洲欧美| 日韩一本色道免费dvd| 在线免费十八禁| 国产高潮美女av| 久久久久网色| 男人舔奶头视频| 99热全是精品| 日本色播在线视频| 蜜桃久久精品国产亚洲av| 国产精品国产三级专区第一集| 水蜜桃什么品种好| 亚洲精品亚洲一区二区| 性色av一级| 国产精品无大码| 午夜激情福利司机影院| 日韩欧美精品v在线| 干丝袜人妻中文字幕| 一区二区三区精品91| 免费在线观看成人毛片| 亚洲自拍偷在线| 超碰97精品在线观看| 久久99蜜桃精品久久| 建设人人有责人人尽责人人享有的 | 成人亚洲欧美一区二区av| 大片免费播放器 马上看| 看十八女毛片水多多多| 能在线免费看毛片的网站| 大陆偷拍与自拍| 亚洲高清免费不卡视频| 色综合色国产| 97热精品久久久久久| 老司机影院毛片| 成人无遮挡网站| 精品国产露脸久久av麻豆| 插阴视频在线观看视频| 日韩欧美 国产精品| 最近的中文字幕免费完整| 午夜福利在线在线| 成人二区视频| 成人国产麻豆网| 中文字幕人妻熟人妻熟丝袜美| 亚洲精品色激情综合| 日韩视频在线欧美| 夫妻午夜视频| 内射极品少妇av片p| 黄色怎么调成土黄色| 大香蕉久久网| 18禁裸乳无遮挡免费网站照片| 精品国产露脸久久av麻豆| 禁无遮挡网站| 大话2 男鬼变身卡| 亚洲精品成人av观看孕妇| 亚洲自拍偷在线| 中文字幕免费在线视频6| 99热网站在线观看| 一级毛片aaaaaa免费看小| 久久久久久久午夜电影| 欧美人与善性xxx| 69av精品久久久久久| 国产男女超爽视频在线观看| 老司机影院成人| 日韩av在线免费看完整版不卡| 国产乱来视频区| 国产精品无大码| 国产爽快片一区二区三区| 一级毛片 在线播放| 男人添女人高潮全过程视频| 在线观看国产h片| 久久鲁丝午夜福利片| 在线观看免费高清a一片| 色网站视频免费| 亚洲四区av| 亚洲精品乱码久久久久久按摩| 干丝袜人妻中文字幕| 成人国产麻豆网| 又黄又爽又刺激的免费视频.| 精品久久国产蜜桃| 一个人看视频在线观看www免费| 一个人观看的视频www高清免费观看| 在线天堂最新版资源| 精品一区二区三区视频在线| 国产黄频视频在线观看| 久久精品国产亚洲av天美| 国产欧美另类精品又又久久亚洲欧美| 午夜免费男女啪啪视频观看| 国精品久久久久久国模美| 成年版毛片免费区| 99久国产av精品国产电影| 男人舔奶头视频| 晚上一个人看的免费电影| 亚洲国产精品专区欧美| 午夜免费观看性视频| 偷拍熟女少妇极品色| 精品酒店卫生间| 国产亚洲精品久久久com| 午夜福利高清视频| 晚上一个人看的免费电影| 七月丁香在线播放| 久久久精品免费免费高清| 精品少妇久久久久久888优播| 老司机影院毛片| 亚洲国产精品成人久久小说| 国产精品福利在线免费观看| 亚洲av不卡在线观看| 日本wwww免费看| 日韩电影二区| 免费观看性生交大片5| 欧美xxxx黑人xx丫x性爽| 一个人看视频在线观看www免费| 色播亚洲综合网| 亚洲电影在线观看av| 免费黄色在线免费观看| 欧美日韩精品成人综合77777| 国产亚洲av片在线观看秒播厂| 国国产精品蜜臀av免费| 国产成人精品福利久久| 成年人午夜在线观看视频| 国产黄频视频在线观看| av在线app专区| 一级a做视频免费观看| 国产成人freesex在线| 最近手机中文字幕大全| 国产精品国产三级专区第一集| 蜜桃久久精品国产亚洲av| 啦啦啦在线观看免费高清www| 久久久欧美国产精品| 日本av手机在线免费观看| 人体艺术视频欧美日本| 免费在线观看成人毛片| 亚洲伊人久久精品综合| 国产精品国产av在线观看| 久久97久久精品| 国产成人精品久久久久久| 在线免费观看不下载黄p国产| 99热国产这里只有精品6| 久久精品国产亚洲av天美| 午夜激情久久久久久久| 亚洲欧美日韩东京热| 毛片女人毛片| 欧美日韩视频精品一区| 一级爰片在线观看| 欧美日韩视频高清一区二区三区二| 久久女婷五月综合色啪小说 | 国产高清不卡午夜福利| 狂野欧美激情性bbbbbb| 国产精品av视频在线免费观看| 黄色欧美视频在线观看| 精品少妇久久久久久888优播| 亚洲电影在线观看av| 久久99热6这里只有精品| 七月丁香在线播放| 中国美白少妇内射xxxbb| 国产免费一区二区三区四区乱码| 亚洲精品日韩在线中文字幕| 亚洲精品一区蜜桃| 久久久久久久午夜电影| 岛国毛片在线播放| 男人爽女人下面视频在线观看| av免费观看日本| 黄色欧美视频在线观看| 亚洲色图综合在线观看| 交换朋友夫妻互换小说| 亚洲人成网站在线播| 一级片'在线观看视频| 国产探花极品一区二区| 禁无遮挡网站| 成人黄色视频免费在线看| 午夜精品一区二区三区免费看| 校园人妻丝袜中文字幕| 大话2 男鬼变身卡| 美女视频免费永久观看网站| 久久久国产一区二区| 99re6热这里在线精品视频| 国产免费一区二区三区四区乱码| 久久久午夜欧美精品| 九九爱精品视频在线观看| 久久精品综合一区二区三区| www.av在线官网国产| 丝袜脚勾引网站| 亚洲欧洲国产日韩| 少妇的逼水好多| 欧美成人一区二区免费高清观看| 久久久午夜欧美精品| 乱码一卡2卡4卡精品| 国产精品女同一区二区软件| 亚洲欧美一区二区三区黑人 | 人妻系列 视频| 成人国产av品久久久| 午夜免费鲁丝| 三级经典国产精品| 亚洲成人久久爱视频| 精品国产三级普通话版| 国产午夜精品一二区理论片| 欧美日韩国产mv在线观看视频 | 天美传媒精品一区二区| 1000部很黄的大片| 蜜桃久久精品国产亚洲av| 综合色av麻豆| 亚洲国产高清在线一区二区三| 国产精品伦人一区二区| 2018国产大陆天天弄谢| 亚洲经典国产精华液单| 少妇熟女欧美另类| 丰满人妻一区二区三区视频av| 精品少妇黑人巨大在线播放| 简卡轻食公司| av卡一久久| 日产精品乱码卡一卡2卡三| 久久久a久久爽久久v久久| 嫩草影院新地址| 日韩欧美 国产精品| 亚洲图色成人| 久久人人爽av亚洲精品天堂 | 97在线视频观看| 白带黄色成豆腐渣| 国产精品国产三级国产专区5o| 18禁裸乳无遮挡动漫免费视频 | 国模一区二区三区四区视频| 国产午夜精品久久久久久一区二区三区| 尤物成人国产欧美一区二区三区| 国产精品精品国产色婷婷| 国产免费福利视频在线观看| 成年av动漫网址| 青春草亚洲视频在线观看| 亚洲成人av在线免费| 天堂俺去俺来也www色官网| 亚洲国产欧美在线一区| 国产黄片美女视频| 色视频www国产| 日韩av免费高清视频| 波野结衣二区三区在线| 三级国产精品片| 亚洲av福利一区| 久久女婷五月综合色啪小说 | 久久精品人妻少妇| 久久精品久久久久久久性| 日韩av免费高清视频| 黄色日韩在线| 男人狂女人下面高潮的视频| 麻豆国产97在线/欧美| 九九在线视频观看精品| 免费看日本二区| 亚洲欧洲日产国产| 国产精品久久久久久久电影| 国产欧美日韩一区二区三区在线 | av福利片在线观看| 一级av片app|