黑盒測(cè)試充分性分析

于慧媛 楊 光 王勇利

(解放軍 91404部隊(duì) 河北秦皇島 066001)

黑盒測(cè)試充分性分析

于慧媛 楊 光 王勇利

(解放軍 91404部隊(duì) 河北秦皇島 066001)

黑盒測(cè)試 軟件測(cè)試 充分性

伴隨著計(jì)算機(jī)軟件在信息社會(huì)中的廣泛應(yīng)用,軟件質(zhì)量問題逐漸成為人們關(guān)注的焦點(diǎn),高質(zhì)量與高可靠性是軟件謀求質(zhì)量的要求,而軟件測(cè)試則是這兩項(xiàng)要求的重要保障。軟件測(cè)試已經(jīng)形成了完整的、系統(tǒng)的測(cè)試方法,并且有眾多的手工和自動(dòng)化測(cè)試工具支持這些方法。從測(cè)試是否針對(duì)軟件系統(tǒng)內(nèi)部結(jié)構(gòu)和具體實(shí)現(xiàn)算法的角度來看,可分為白盒測(cè)試和黑盒測(cè)試。其中,軟件測(cè)試的充分性直接影響著軟件的質(zhì)量。在白盒測(cè)試情況下,軟件的測(cè)試充分性可通過語句覆蓋、判定覆蓋、條件覆蓋、判定/條件覆蓋和路徑覆蓋等方法進(jìn)行度量,但在黑盒情況下,這些基于程序的覆蓋度量方法不再實(shí)用,為此提出了基于程序外部特性的測(cè)試充分性,即基于功能覆蓋的軟件測(cè)試充分性概念,然而對(duì)于一個(gè)較復(fù)雜的指揮流程型軟件,僅僅滿足功能覆蓋的軟件測(cè)試充分性是不夠的,還應(yīng)增加強(qiáng)度、性能及安全性擴(kuò)充測(cè)試,綜合全面的測(cè)試才能夠使黑盒測(cè)試得到充分測(cè)試,使軟件質(zhì)量得以保障。

1 白盒測(cè)試及其主要方法

白盒測(cè)試也稱結(jié)構(gòu)測(cè)試或邏輯驅(qū)動(dòng)測(cè)試,它是知道產(chǎn)品內(nèi)部工作過程,可通過測(cè)試來檢測(cè)產(chǎn)品內(nèi)部動(dòng)作是否按照規(guī)格說明書的規(guī)定正常進(jìn)行,按照程序內(nèi)部的結(jié)構(gòu)測(cè)試程序,檢驗(yàn)程序中的每條通路是否都有能按預(yù)定要求正確工作,而不顧它的功能,白盒測(cè)試的主要方法有邏輯驅(qū)動(dòng)、基路測(cè)試等,主要用于軟件驗(yàn)證?！鞍缀小狈ㄈ媪私獬绦騼?nèi)部邏輯結(jié)構(gòu)、對(duì)所有邏輯路徑進(jìn)行測(cè)試?！鞍缀小狈ㄊ歉F舉路徑測(cè)試。在使用這一方案時(shí),測(cè)試者必須檢查程序的內(nèi)部結(jié)構(gòu),從檢查程序的邏輯著手,得出測(cè)試數(shù)據(jù)。貫穿程序的獨(dú)立路徑數(shù)是天文數(shù)字。在白盒測(cè)試情況下,軟件的測(cè)試充分性可通過語句覆蓋、判定覆蓋、條件覆蓋、判定/條件覆蓋和路徑覆蓋等方法進(jìn)行度量。

2 黑盒測(cè)試及其主要方法

黑盒測(cè)試也稱功能測(cè)試或數(shù)據(jù)驅(qū)動(dòng)測(cè)試,它是在已知產(chǎn)品所應(yīng)具有的功能,通過測(cè)試來檢測(cè)每個(gè)功能是否都能正常使用,在測(cè)試時(shí),把程序看作一個(gè)不能打開的黑盆子,在完全不考慮程序內(nèi)部結(jié)構(gòu)和內(nèi)部特性的情況下,測(cè)試者在程序接口進(jìn)行測(cè)試,它只檢查程序功能是否按照需求規(guī)格說明書的規(guī)定正常使用,程序是否能適當(dāng)?shù)亟邮蛰斎霐?shù)鋸而產(chǎn)生正確的輸出信息,并且保持外部信息(如數(shù)據(jù)庫(kù)或文件)的完整性。黑盒測(cè)試方法主要有等價(jià)類劃分、邊值分析、因果圖、錯(cuò)誤推測(cè)等,主要用于軟件確認(rèn)測(cè)試。因此,黑盒測(cè)試是從用戶觀點(diǎn)出發(fā)的測(cè)試,已知產(chǎn)品所應(yīng)具有的功能,通過測(cè)試來檢測(cè)每個(gè)功能是否都能正常使用,目的是發(fā)現(xiàn)軟件需求或者設(shè)計(jì)規(guī)格說明中的錯(cuò)誤。“黑盒”法著眼于程序外部結(jié)構(gòu)、不考慮內(nèi)部邏輯結(jié)構(gòu)、針對(duì)軟件界面和軟件功能進(jìn)行測(cè)試?！昂诤小狈ㄊ歉F舉輸入測(cè)試,只有把所有可能的輸入都作為測(cè)試情況使用,才能以這種方法查出程序中所有的錯(cuò)誤。實(shí)際上測(cè)試情況有無窮多個(gè),人們不僅要測(cè)試所有合法的輸入,而且還要對(duì)那些不合法但是可能的輸入進(jìn)行測(cè)試。相比較白盒測(cè)試,黑盒測(cè)試則不能采取窮舉路徑的方法,這既不現(xiàn)實(shí)也不科學(xué)。首先分析一下,軟件最常出現(xiàn)的錯(cuò)誤類項(xiàng):①用戶對(duì)軟件目標(biāo)級(jí)特性不明確;②編程人員對(duì)需求規(guī)格說明理解不正確;③編程人員對(duì)程序控制流程理解存在偏差;④編程人員的不良編程習(xí)慣導(dǎo)致編碼有錯(cuò)或按鍵錯(cuò)等。這些錯(cuò)誤有些往往通過黑盒測(cè)試是無法發(fā)現(xiàn)的,在借助自動(dòng)化工具的同時(shí),采用功能覆蓋,及擴(kuò)充性測(cè)試是滿足軟件測(cè)試充分性的有效途徑。

3 基于功能覆蓋的充分性測(cè)試

在依據(jù)程序外部特性的情況下,尤其是嵌入式或復(fù)雜指揮流程軟件系統(tǒng)情況下,如何保證軟件測(cè)試的充分性是黑盒測(cè)試的一個(gè)難題。根據(jù)軟件需求規(guī)格說明中明確規(guī)定的軟件系統(tǒng)功能,明確軟件系統(tǒng)完成功能的準(zhǔn)則,是軟件測(cè)試充分性的保障,并具有指導(dǎo)作用,其作用為,①明確軟件測(cè)試輸入集的類型劃分;②明確軟件測(cè)試輸出集結(jié)果及出處;③明確軟件測(cè)試環(huán)境搭建的要求;④明確軟件測(cè)試問題的屬性。任何一個(gè)軟件系統(tǒng)首先必須驗(yàn)證它能夠正確運(yùn)行,其次還必須確認(rèn)系統(tǒng)正確地滿足了用戶的需求,這需要黑盒測(cè)試。在黑盒測(cè)試中,最重要的是要考核軟件系統(tǒng)能否按照軟件需求規(guī)格說明等文檔完成其功能。在不同的測(cè)試級(jí)別中,功能測(cè)試的要求與工具也不盡相同。我們這里以第三方測(cè)試為例,軟件測(cè)試的功能要求通常為:①按照相關(guān)文檔完成設(shè)計(jì)功能;②對(duì)控制流程的正確性、合理性等進(jìn)行驗(yàn)證。根據(jù)不同的測(cè)試目的,不同的機(jī)構(gòu)或相同的測(cè)試機(jī)構(gòu)都可能出現(xiàn)不同的測(cè)試方法,可能是測(cè)試不同區(qū)域或是對(duì)同一區(qū)域的不同層次的測(cè)試。如果僅根據(jù)這兩項(xiàng)要求進(jìn)行功能覆蓋性測(cè)試,則無法充分地考核軟件的質(zhì)量,經(jīng)常出現(xiàn)的問題是:①由于測(cè)試環(huán)境硬件的約束,黑盒測(cè)試的輸入集無法達(dá)到充分性測(cè)試的要求:如復(fù)雜環(huán)境下,但由于硬件裝備的限制,無法達(dá)到或界定復(fù)雜環(huán)境,則對(duì)于該條件下完成的功能,就存在測(cè)試不充分性。②由于軟件需求規(guī)格說明中軟件功能的不明確,導(dǎo)致軟件功能存在模糊性,致使軟件測(cè)試出現(xiàn)丟、漏等功能用例的設(shè)計(jì)與執(zhí)行。③由于軟件需求規(guī)格說明中沒有對(duì)非法輸入集的功能限制要求,所以根據(jù)功能覆蓋測(cè)試,則軟件系統(tǒng)的安全性則受到威脅,軟件質(zhì)量也得不到保障。④對(duì)于復(fù)雜指揮流程型軟件而言,其每一層軟件系統(tǒng)都會(huì)依據(jù)各自模塊需求規(guī)格說明進(jìn)行設(shè)計(jì),其功能覆蓋測(cè)試需要其它模塊及裝備的配合,若想做到充分性測(cè)試,其輸入集則是非常龐大的,對(duì)于受時(shí)間、經(jīng)費(fèi)、人力、物力等都方面因素限制的軟件測(cè)試,則是無法做到的,這就降低了軟件測(cè)試覆蓋的充分性。雖然基于功能覆蓋的充分性測(cè)試是非常重要的,但對(duì)于軟件質(zhì)量的保證是不充分的,這就需要在功能覆蓋的充分性測(cè)試的基礎(chǔ)上,結(jié)合強(qiáng)度、性能及安全性等擴(kuò)充性測(cè)試。

4 基于強(qiáng)度、性能及安全性等擴(kuò)充性測(cè)試

計(jì)算機(jī)軟件是基于計(jì)算機(jī)系統(tǒng)的一個(gè)重要組成部分,軟件開發(fā)完畢后應(yīng)與系統(tǒng)中其它成分集成在一起,此時(shí)需要進(jìn)行一系列系統(tǒng)集成和確認(rèn)測(cè)試。系統(tǒng)測(cè)試應(yīng)該由若干個(gè)不同測(cè)試組成,目的是充分運(yùn)行系統(tǒng),驗(yàn)證系統(tǒng)各部件是否都能政黨工作并完成所賦予的任務(wù)。下面簡(jiǎn)單討論在黑盒測(cè)試中,為了使軟件測(cè)試充,在基于功能覆蓋的充分性測(cè)試基礎(chǔ)上,結(jié)合強(qiáng)度、性能及安全性的測(cè)試,提高軟件測(cè)試的覆蓋度與充分性。

4.1 強(qiáng)度測(cè)試 在黑盒測(cè)試情況下,基于程序外部特性,強(qiáng)度測(cè)試是考核軟件質(zhì)量的有效手段之一,強(qiáng)度測(cè)試是要檢查在系統(tǒng)運(yùn)行環(huán)境不正常乃至發(fā)生故障的情況下,系統(tǒng)可以運(yùn)行到何種程度的測(cè)試。例如:⑴把輸入數(shù)據(jù)速率提高一個(gè)數(shù)量級(jí),確定輸入功能將如何響應(yīng);⑵設(shè)計(jì)需要占用最大存儲(chǔ)量或其它資源的測(cè)試用例進(jìn)行測(cè)試;⑶設(shè)計(jì)出在虛擬存儲(chǔ)管理機(jī)制中引起"顛簸"的測(cè)試用例進(jìn)行測(cè)試;⑷設(shè)計(jì)出會(huì)對(duì)磁盤常駐內(nèi)存的數(shù)據(jù)過度訪問的測(cè)試用例進(jìn)行測(cè)試。強(qiáng)度測(cè)試的重點(diǎn)就在于由針對(duì)性的進(jìn)行軟件功能的考核,例如:①分布式系統(tǒng)的軟件配置項(xiàng)負(fù)載測(cè)試:對(duì)分布式系統(tǒng)的軟件配置項(xiàng),通過模擬用戶活動(dòng)的方式測(cè)試其對(duì)于用戶請(qǐng)求的響應(yīng)時(shí)間,請(qǐng)求執(zhí)行時(shí)間、負(fù)載能力等要素,實(shí)現(xiàn)某些真實(shí)操作環(huán)境下難以實(shí)現(xiàn)的并發(fā)操作。②性能的強(qiáng)度測(cè)試:在提供要求處理的信息量超過設(shè)計(jì)允許的最大值、數(shù)據(jù)傳輸能力的飽和、存儲(chǔ)范圍 (如緩沖區(qū)、表格區(qū)和臨時(shí)信息區(qū))超過額定大小的能力情況下,進(jìn)行計(jì)算傳輸數(shù)據(jù)功能是否正常。③降級(jí)能力強(qiáng)度測(cè)試:在有可能硬件失效而在設(shè)計(jì)上又允許降級(jí)運(yùn)行的系統(tǒng),對(duì)每種可能的降級(jí)方式都加以驗(yàn)證。在降級(jí)的測(cè)試環(huán)境下,驗(yàn)證軟件對(duì)硬件失效處理的正確性,包括回到正常運(yùn)行方式的能力。④長(zhǎng)時(shí)間連續(xù)運(yùn)行測(cè)試:強(qiáng)度測(cè)試的時(shí)間長(zhǎng)度,根據(jù)軟件的安全關(guān)鍵程度和系統(tǒng)的使命要求而定,不同的軟件系統(tǒng)其工作時(shí)間的要求不同,往往一些存儲(chǔ)空間不足或分系統(tǒng)之間不協(xié)調(diào)的問題就會(huì)暴露出來。

4.2 性能測(cè)試 性能測(cè)試是要檢查系統(tǒng)是否滿足在需求說明書中規(guī)定的性能。這種測(cè)試常常與強(qiáng)度測(cè)試結(jié)合進(jìn)行,需要事先對(duì)被測(cè)軟件提出性能指標(biāo),如傳輸連接的最長(zhǎng)時(shí)限、傳輸?shù)腻e(cuò)誤率、計(jì)算的精度、記錄的精度、響應(yīng)的時(shí)限和恢復(fù)時(shí)限等。特別是對(duì)于實(shí)時(shí)系統(tǒng)或嵌入式系統(tǒng)。性能測(cè)試有時(shí)與強(qiáng)度測(cè)試相結(jié)合,經(jīng)常需要其他軟硬件的配套支持。對(duì)于實(shí)時(shí)和嵌入式系統(tǒng),軟件部分即使?jié)M足功能要求,也未必能夠滿足性能要求,雖然從單元測(cè)試起,每一測(cè)試步驟都包含性能測(cè)試,但只有當(dāng)系統(tǒng)真正集成之后,在真實(shí)環(huán)境中才能全面、可靠地測(cè)試運(yùn)行性能系統(tǒng)性能測(cè)試是為了完成這一任務(wù),基于流程的測(cè)試雖然可以覆蓋到每個(gè)單元的功能,但是對(duì)于計(jì)算判斷類的小單元,則未必測(cè)試完成。在實(shí)施黑盒測(cè)試時(shí)又分為客戶端的測(cè)試和服務(wù)器端的性能測(cè)試?？蛻舳说臏y(cè)試主要關(guān)注應(yīng)用的業(yè)務(wù)邏輯,用戶界面,功能測(cè)試等;服務(wù)器端的測(cè)試主要關(guān)注服務(wù)器的性能,衡量系統(tǒng)的響應(yīng)時(shí)間、事務(wù)處理速度和其他時(shí)間敏感的需求。在應(yīng)用系統(tǒng)最終被交付之前保證這兩方面的測(cè)試沒有缺陷。

4.3 安全性測(cè)試 無論進(jìn)行哪種或哪一級(jí)別的軟件測(cè)試,都需要從軟件的整體去考慮軟件系統(tǒng)在應(yīng)用過程中的安全性問題,安全性測(cè)試檢查系統(tǒng)對(duì)非法侵入的防范能力。安全性測(cè)試期間,測(cè)試人員假扮非法入侵者,采用各種辦法試圖突破防線。例如,①想方設(shè)法截取或破譯口令;②專門定做軟件破壞系統(tǒng)的保護(hù)機(jī)制;③故意導(dǎo)致系統(tǒng)失敗,企圖趁恢復(fù)之機(jī)非法進(jìn)入;④試圖通過瀏覽非保密數(shù)據(jù),推導(dǎo)所需信息等等。理論上講,只要有足夠的時(shí)間和資源,沒有不可進(jìn)入的系統(tǒng)。因此系統(tǒng)安全設(shè)計(jì)的準(zhǔn)則是,使非法侵入的代價(jià)超過被保護(hù)信息的價(jià)值。此時(shí)非法侵入者已無利可圖。對(duì)于復(fù)雜指揮流程型軟件而言,軟件的復(fù)雜程度越高,所潛在的安全隱患則越高,不同的編程人員對(duì)于安全防范的編程方式及策略略有不同,針對(duì)不同的安全防護(hù)模式,要有針對(duì)性地補(bǔ)充測(cè)試。在軟件設(shè)計(jì)開發(fā)過程中,往往用戶在軟件需求規(guī)格說明中對(duì)于非法越界或高強(qiáng)度等操作沒有明確說明,這時(shí)編程人員的經(jīng)驗(yàn)則直接影響著軟件安全性能,及軟件所應(yīng)具備的安全防護(hù)功能。如果,依據(jù)軟件需求規(guī)格說明中沒有明確針對(duì)安全使用的說明及要求,則按照功能覆蓋的充分性測(cè)試會(huì)遺漏掉軟件系統(tǒng)中的部分程序。增加安全性測(cè)試有助于黑盒充分性測(cè)試。

本文針對(duì)黑盒測(cè)試中軟件測(cè)試覆蓋度充分性進(jìn)行了分析,根據(jù)實(shí)際操作應(yīng)用,總結(jié)并提出了針對(duì)復(fù)雜指揮流程型軟件的高度充分性測(cè)試。對(duì)于黑盒測(cè)試的充分性,不同級(jí)別的軟件在采取“功能 +性能 +安全”的測(cè)試策略時(shí),還應(yīng)增加其它類型的擴(kuò)展性測(cè)試方法。

[1] 虞 翊,吳芳美.黑箱條件下的軟件測(cè)試充分性與揭錯(cuò)能力分析[J].計(jì)算機(jī)工程,2001,(6):75

[2] 阿蒙工作室.軟件測(cè)試綜合資料庫(kù) http://www.vchome.net 2003年9月5日

[3] 李春霞.黑盒測(cè)試方法探析[J].甘肅高師學(xué)報(bào),2009,14(2):31

(2010-05-13 收稿)(陳 遷 編輯)

T P311.1

A

1008-6633(2010)04-503-03