一種多維度的軟件系統(tǒng)可靠性測試方法研究

覃文闖, 鄭麗娜, 胡一鳴, 馬文斌

(國家應(yīng)用軟件產(chǎn)品質(zhì)量監(jiān)督檢驗(yàn)中心，北京 100193）

0 引言

對于軟件可靠性不同的標(biāo)準(zhǔn)有著不同的定義，從國內(nèi)標(biāo)準(zhǔn)和國外標(biāo)準(zhǔn)兩個(gè)方面看：

IEEE對軟件可靠性做出了如下的定義[1]：

（1）規(guī)定的條件下，在規(guī)定的時(shí)間內(nèi)，軟件不引起系統(tǒng)失效的概率；

（2）在規(guī)定的時(shí)間周期內(nèi)，在所述條件下軟件執(zhí)行所要求功能的能力。

我國GB/T 16260.1-2006 《軟件工程產(chǎn)品質(zhì)量第1部分：質(zhì)量模型》對可靠性的定義[2]：在指定的使用條件下，軟件產(chǎn)品維持規(guī)定的性能級別的能力。該標(biāo)準(zhǔn)并解釋軟件不會損耗和老化。軟件可靠性取決于軟件產(chǎn)品的使用方式和所選擇的程序選項(xiàng)，與時(shí)間無關(guān)，可靠性的定義已經(jīng)被擴(kuò)展為“維持所規(guī)定的性能級別的能力”，而不是“完成所需功能”。

上述兩種說法的側(cè)重點(diǎn)略有不同，IEEE強(qiáng)調(diào)的是概論和能力，偏重功能，而國標(biāo)強(qiáng)調(diào)的是能力，偏向于性能。雖然側(cè)重點(diǎn)不一樣，但是可以看出計(jì)算機(jī)軟件系統(tǒng)是指由系統(tǒng)軟件、支撐軟件、應(yīng)用軟件以及相關(guān)硬件組成的計(jì)算機(jī)軟件系統(tǒng)。作為一個(gè)綜合的整體系統(tǒng)，其可靠性依賴因素不僅僅是其軟件本身，還涉及多方面的因素，包括人員、技術(shù)、管理等?？煽啃缘脑u價(jià)不局限于功能性，應(yīng)該擴(kuò)展到性能方面。

本文立足于分析影響軟件系統(tǒng)特定使用環(huán)境下的可靠性的脆弱點(diǎn)，提出從軟件本身和外部使用環(huán)境所涉及的高可用技術(shù)和管理制度等多方面設(shè)計(jì)軟件可靠性測試操作剖面，并結(jié)合性能測試進(jìn)行可靠性的驗(yàn)證測試。

1 軟件可靠性測試操作用例設(shè)計(jì)的考慮因素

1.1 軟件內(nèi)部可靠性影響因素

通常軟件內(nèi)部可靠性問題是軟件本身所固有的，與外部因素?zé)o關(guān)，只與軟件本身的使用選項(xiàng)有關(guān)。例如一個(gè)有溢出錯(cuò)誤的軟件，不論軟件的備份機(jī)制如何完備，當(dāng)溢出錯(cuò)誤的輸入滿足時(shí)，軟件輸出必將溢出。在嚴(yán)格遵循軟件工程原理的基礎(chǔ)上，為了保證和提高軟件的可靠性，通常在軟件設(shè)計(jì)過程中采用避錯(cuò)設(shè)計(jì) 、 查錯(cuò)設(shè)計(jì) 、改錯(cuò)設(shè)計(jì)和容錯(cuò)設(shè)計(jì)等軟件可靠性設(shè)計(jì)方法，所以從內(nèi)部可靠性影響因素來說，軟件可靠性測試用例應(yīng)考慮如下設(shè)計(jì)以提高有效性和正確性。

（1）避錯(cuò)設(shè)計(jì)

軟件可靠性設(shè)計(jì)的首要方法體現(xiàn)在預(yù)防為主的思想。軟件產(chǎn)品在設(shè)計(jì)過程中的避錯(cuò)設(shè)計(jì)目的是使軟件不發(fā)生錯(cuò)誤或少發(fā)生錯(cuò)誤。原則是控制和減少程序的復(fù)雜性。下列方法可以在避錯(cuò)程序設(shè)計(jì)中參考，如參數(shù)化、公共數(shù)據(jù)和變量、非授權(quán)存取限制、無意指令跳轉(zhuǎn)處理、程序檢測點(diǎn)設(shè)置、尋址模式選用、數(shù)據(jù)區(qū)隔離、安全關(guān)鍵信息要求、信息存儲要求、算法選擇要求。

下列的結(jié)構(gòu)和技術(shù)容易引起系統(tǒng)的缺陷，設(shè)計(jì)測試用例時(shí)優(yōu)先考慮如下操作和結(jié)構(gòu)類型：浮點(diǎn)數(shù)、指針、動態(tài)內(nèi)存分配、并行、遞歸、中斷、繼承、別名、默認(rèn)輸入的處理。

（2）查錯(cuò)設(shè)計(jì)

軟件查錯(cuò)設(shè)計(jì)是通過賦予程序自校驗(yàn)功能，使程序在運(yùn)行中能自動發(fā)現(xiàn)錯(cuò)誤的設(shè)計(jì)方法。包含被動式錯(cuò)誤檢測和主動錯(cuò)誤檢測。前者即在程序的若干部位設(shè)置檢測點(diǎn)，等待錯(cuò)誤出現(xiàn)時(shí)觸發(fā)告警；后者能自動對程序狀態(tài)進(jìn)行檢查。

對于查錯(cuò)設(shè)計(jì)的驗(yàn)證，測試用例優(yōu)先考慮如下操作進(jìn)行設(shè)計(jì)：按照已知的數(shù)據(jù)極限值檢查數(shù)據(jù)邊界的輸入輸出；按照變量間恒定關(guān)系檢驗(yàn)變量的輸入和結(jié)果輸出；檢查所有多值數(shù)據(jù)的有效性；對冗余的輸入數(shù)據(jù)進(jìn)行一致性檢驗(yàn)；循環(huán)等待次數(shù)控制。

（3）改錯(cuò)設(shè)計(jì)

改錯(cuò)設(shè)計(jì)通過賦予程序自我改正錯(cuò)誤的能力，減少錯(cuò)誤危害程度。故障隔離技術(shù)是改錯(cuò)設(shè)計(jì)的常用方法。改錯(cuò)設(shè)計(jì)的關(guān)鍵前提是準(zhǔn)確地定位軟件錯(cuò)誤原因和錯(cuò)誤的代碼，減少軟件錯(cuò)誤造成的損害，將損害限制在可以接受的范圍內(nèi)。

對于改錯(cuò)設(shè)計(jì)的驗(yàn)證，可靠性測試用例可以參考如下方法：用戶的應(yīng)用程序或數(shù)據(jù)訪問受控，其他用戶不能輕易修改；應(yīng)用程序引用或修改操作系統(tǒng)的編碼或操作系統(tǒng)內(nèi)部的數(shù)據(jù)應(yīng)受控；操作系統(tǒng)的錯(cuò)誤不應(yīng)引起應(yīng)用程序和數(shù)據(jù)的變更；應(yīng)用程序不能終止操作系統(tǒng)工作；應(yīng)用程序不能觸發(fā)操作系統(tǒng)修改其他程序或數(shù)據(jù)。

（4）容錯(cuò)設(shè)計(jì)

軟件容錯(cuò)是程序在錯(cuò)誤已被觸發(fā)的情況下，系統(tǒng)仍然具有正常運(yùn)行能力。常用的容錯(cuò)設(shè)計(jì)有時(shí)間冗余、結(jié)構(gòu)冗余和信息冗余。

時(shí)間冗余是以消耗時(shí)間開銷為代價(jià)獲取軟件系統(tǒng)高可靠性的一種手段，如指令重復(fù)執(zhí)行和程序重復(fù)執(zhí)行。對于重復(fù)執(zhí)行不成功時(shí)，通常發(fā)出中斷，轉(zhuǎn)入錯(cuò)誤處理程序，或?qū)Τ绦蛑貜?fù)技術(shù)計(jì)算、重新組合系統(tǒng)、放棄程序處理。

信息冗余是為檢測或糾正信息在運(yùn)算或傳輸中的錯(cuò)誤外加的一部分信息。如奇偶校驗(yàn)碼或者類似MD5的完整性校驗(yàn)來確保數(shù)據(jù)完整和正確；信息之間應(yīng)保持足夠的安全Hamming 距離；安全關(guān)鍵信息的決策判斷不得依賴于全“1”或全“0”的輸入。

1.2 軟件外部可靠性影響因素

計(jì)算機(jī)軟件系統(tǒng)是指由操作系統(tǒng)軟件、數(shù)據(jù)庫軟件、應(yīng)用軟件等基礎(chǔ)支撐軟件以及相關(guān)硬件組成的計(jì)算機(jī)軟件系統(tǒng)。軟件作為一個(gè)系統(tǒng)使用時(shí)，系統(tǒng)不僅僅是軟件本身，還包含軟件系統(tǒng)運(yùn)行的外圍載體，如操作系統(tǒng)、網(wǎng)絡(luò)、服務(wù)器等。作為一個(gè)綜合的整體系統(tǒng)，其可靠性依賴因素不僅僅是其軟件本身，還涉及多方面的因素，包括人員、技術(shù)、管理等。針對軟件可靠性的外部影響因素，本文從兩個(gè)方面進(jìn)行闡述，一是高可用技術(shù)保障，一是軟件系統(tǒng)管理制度保障。軟件外部可靠性測試用例設(shè)計(jì)可以結(jié)合上述兩方面的具體情況進(jìn)行設(shè)計(jì)。

（1）高可用技術(shù)

常用高可用技術(shù)主要有如下幾種分類，不同的高可用技術(shù)對系統(tǒng)可靠性的貢獻(xiàn)是不一樣的。

① 高可用技術(shù)。高可用是系統(tǒng)高可靠的基礎(chǔ)，主要有如下幾種實(shí)現(xiàn)方式：冗余技術(shù)、集群技術(shù)、遠(yuǎn)程集群技術(shù)、多路技術(shù)和虛擬機(jī)技術(shù)。

② 數(shù)據(jù)備份技術(shù)。數(shù)據(jù)備份是系統(tǒng)高可靠的必要條件。數(shù)據(jù)備份從策略上來說有3種：全備份、增量備份和差異備份?；旧隙际腔谌缦录夹g(shù)實(shí)現(xiàn)：Host-Based備份、LAN-Based備份、LAN-Free備份和Server-Less備份。

新課程強(qiáng)調(diào)培養(yǎng)學(xué)生發(fā)現(xiàn)問題和解決問題的能力,強(qiáng)調(diào)數(shù)學(xué)要促進(jìn)學(xué)生的思維發(fā)展就應(yīng)當(dāng)培養(yǎng)學(xué)生的問題意識,只有成功地使學(xué)生產(chǎn)生問題的教學(xué),才能真正調(diào)動學(xué)生的學(xué)習(xí)積極性.然而在現(xiàn)行的數(shù)學(xué)教學(xué)中,部分老師還是很少為學(xué)生提供發(fā)現(xiàn)問題、提出問題的平臺,仍停留在傳統(tǒng)意義上的“老師問學(xué)生答”的“解決問題”基本模式上,因此學(xué)生沒有時(shí)間發(fā)現(xiàn)問題,也不可能自主發(fā)現(xiàn)問題,更談不上提出問題和解決問題了.由此可見，在初高中數(shù)學(xué)教學(xué)中培養(yǎng)學(xué)生發(fā)現(xiàn)問題的能力是使學(xué)生獲得數(shù)學(xué)核心素養(yǎng)的重要途徑,應(yīng)該成為數(shù)學(xué)教師教學(xué)設(shè)計(jì)的出發(fā)點(diǎn)和教學(xué)行為轉(zhuǎn)變的方向.

數(shù)據(jù)復(fù)制技術(shù)是確保數(shù)據(jù)備份的前提。主要的備份技術(shù)有如下幾種：基于復(fù)制軟件復(fù)制、基于存儲陣列復(fù)制、基于服務(wù)器復(fù)制、基于SAN復(fù)制和Server-Less備份。

持續(xù)數(shù)據(jù)保護(hù)技術(shù)通過捕獲或跟蹤數(shù)據(jù)的變化，并將變化異地存儲在生產(chǎn)數(shù)據(jù)之外，保證數(shù)據(jù)可以恢復(fù)到任意時(shí)間點(diǎn)。主要有如下幾種類型：基于應(yīng)用的持續(xù)數(shù)據(jù)保護(hù)、基于文件的持續(xù)數(shù)據(jù)保護(hù)和基于數(shù)據(jù)塊的持續(xù)數(shù)據(jù)保護(hù)。

（2）系統(tǒng)服務(wù)保證類因素

對于應(yīng)用級的保護(hù)，為保護(hù)系統(tǒng)連續(xù)正常的運(yùn)行，避免系統(tǒng)受到未授權(quán)的修改、破壞而導(dǎo)致系統(tǒng)不可用，參考國標(biāo)GB/T 22239-2008中的相關(guān)部分內(nèi)容,可靠性測試中系統(tǒng)服務(wù)保證類的測試用例可以參考表1所列幾個(gè)方面。

（3）系統(tǒng)災(zāi)難恢復(fù)管理體系

對于更高一級的系統(tǒng)級保護(hù)，可以參考GB/T 20988—2007《信息安全技術(shù)信息系統(tǒng)災(zāi)難恢復(fù)規(guī)范》。做為系統(tǒng)級的可靠性保證，容災(zāi)系統(tǒng)的建設(shè)必不可少。對于不同的容災(zāi)級別要求，該規(guī)范作出了明確的指導(dǎo)。而評估一個(gè)容災(zāi)系統(tǒng)的建設(shè)通?？梢詮谋?所示7個(gè)方面進(jìn)行評價(jià)?？煽啃詼y試用例設(shè)計(jì)可以借鑒參考表2。

2 傳統(tǒng)軟件可靠性測試方法

軟件可靠性測試方法主要有兩種： 基于運(yùn)行剖面的可靠性測試和基于使用模型的統(tǒng)計(jì)測試。前者是AT&T貝爾實(shí)驗(yàn)室的MUSA J D在1993年提出的[3]，后者是由MILLS H D[4]和WHITTAKER J A[5]提出。這兩種方法構(gòu)造的測試模型從不同的角度來模擬軟件真實(shí)的運(yùn)行環(huán)境。

這兩種方法所用的術(shù)語雖有微小的差別，但它們的基本思想都是基于統(tǒng)計(jì)學(xué)的基本原理，即根據(jù)軟件實(shí)際使用情況的統(tǒng)計(jì)規(guī)律的描述對軟件進(jìn)行隨機(jī)測試。統(tǒng)計(jì)測試進(jìn)行的前提條件就是生成如實(shí)反映系統(tǒng)使用情況的使用模型。以往使用模型的建立主要是通過預(yù)測和估計(jì)得出，不能如實(shí)地反映系統(tǒng)的真實(shí)情況。

傳統(tǒng)的軟件可靠性測試方法借鑒了硬件的可靠性測試方法，更多是偏重功能實(shí)現(xiàn)的角度去測試。而軟件不同于硬件，軟件的可靠性測試除了依賴上述傳統(tǒng)的可靠性測試方法外，應(yīng)該結(jié)合軟件的性能測試進(jìn)行可靠性測試，這樣的可靠性測試結(jié)果更為全面，更具參考性。

表1 《GB/T22239 2008信息安全技術(shù) 信息系統(tǒng)安全等級保護(hù)基本要求》服務(wù)保證類關(guān)注要素

表2 GB/T 20988—2007《信息安全技術(shù) 信息系統(tǒng)災(zāi)難恢復(fù)規(guī)范》容災(zāi)系統(tǒng)建設(shè)各要素的要求

圖1 大壓力下系統(tǒng)吞吐率與可靠性測試操作剖面關(guān)系圖

3 結(jié)合性能測試驗(yàn)證軟件可靠性

本文提出了一種可靠性的測試建議作為傳統(tǒng)可靠性測試的補(bǔ)充，即建議在系統(tǒng)性能負(fù)載較重的情況下結(jié)合傳統(tǒng)的可靠性測試方法進(jìn)行可靠性測試。

3.1 測試方法介紹

同樣以傳統(tǒng)的基于操作剖面可靠性測試為例介紹測試方法：

（1）構(gòu)造測試操作剖面。操作剖面的構(gòu)造要素來自于第1節(jié)本文作者從軟件內(nèi)部和軟件外部兩個(gè)方面總結(jié)的可靠性影響因素。綜合上述的梳理分析，計(jì)算機(jī)軟件系統(tǒng)作為一個(gè)整體，其可靠性測試剖面應(yīng)參考內(nèi)部和外部兩方面的影響因素，涉及到技術(shù)、人員和管理多個(gè)方面。

（2）模擬軟件系統(tǒng)真實(shí)使用場景下的性能負(fù)載，此性能負(fù)載作為執(zhí)行操作剖面的背景數(shù)據(jù)。

（3）執(zhí)行測試剖面操作，結(jié)合性能測試評價(jià)軟件系統(tǒng)的可靠性。

3.2 案例介紹

如圖1所示，在本案例中依次對軟件系統(tǒng)執(zhí)行了包括“數(shù)據(jù)RAC故障”、“接入進(jìn)程失效”、“路由進(jìn)程失效”、“接入節(jié)點(diǎn)失效”、“路由節(jié)點(diǎn)故障”、“交易服務(wù)器故障”、“額度服務(wù)器故障”和“主限號服務(wù)器故障”8個(gè)可靠性測試操作剖面。結(jié)合性能測試的10 000用戶在線測試，可以清晰看出相關(guān)測試剖面對軟件可靠性的影響大小。

4 結(jié)論

本文從軟件的內(nèi)部可靠性設(shè)計(jì)，結(jié)合軟件系統(tǒng)外圍運(yùn)行載體的高可用技術(shù)和容災(zāi)恢復(fù)管理要素多方面，從技術(shù)、人員和管理方面提出可靠性測試用例的考慮因素。分析了傳統(tǒng)軟件可靠性測試方法來源硬件可靠性測試模式的局限性。結(jié)合實(shí)際情況，對傳統(tǒng)測試方法進(jìn)行補(bǔ)充建議，提出了結(jié)合性能測試和多維度測試剖面進(jìn)行可靠性測試，并舉例簡要闡述了方法和優(yōu)點(diǎn)。

[1] 黃錫滋．軟件可靠性、安全性與質(zhì)量保證[M]．北京：電子工業(yè)出版社，2002．

[2] GB-T 16260.1-2006. 軟件工程 產(chǎn)品質(zhì)量 第1部分：質(zhì)量模型[S]．

[3] MUSA J D．Operational profiles in software—reliability engineering [J]．IEEE Software，1993，10(2)：14-32．

[4] MILLS H D，DYER M, LINGER R C. Cleanroom software engineering [J]．IEEE Software，1987,4(2)：19-24．

[5] WHITTAKER J A， POORE J H．Statistical testing for clcanroom software engineering [J]. IEEE， 1992(11)：31-39．