淺析基于計數(shù)抽樣理論的軟件測試用例評審過程

劉夢飛

摘要：對軟件測試用例實(shí)施同行評審不僅保證了軟件測試用例的質(zhì)量，也在一定程度上保證了整個軟件測試過程的質(zhì)量水平。然而面對成百上千的測試用例，如何能夠快速有效的完成同行評審是目前工作中面臨的一個實(shí)際問題。本文基于GB-T 2828.2提出了一套針對軟件測試用例同行評審的流程，通過將計數(shù)抽樣理論應(yīng)用于軟件測試用例同行評審中，降低評審工作量，提高評審效率。

關(guān)鍵詞：測試用例；軟件測試；同行評審；計數(shù)抽樣理論

中圖分類號：TP311 文獻(xiàn)標(biāo)識碼：A 文章編號：1009-3044（2015）22-0138-02

軟件測試是軟件生命周期中的重要階段，測試的效果直接影響到軟件產(chǎn)品的質(zhì)量[1]。軟件測試過程中會產(chǎn)生一系列測試文檔，例如測試策劃階段產(chǎn)生的測試需求規(guī)格說明、測試計劃文檔，測試設(shè)計階段產(chǎn)生的測試說明文檔，測試執(zhí)行階段產(chǎn)生的測試記錄、測試問題報告、測試報告等文檔。其中，工作量最大、也最為重要的工作就是設(shè)計測試用例、編寫測試說明文檔。而對測試過程的質(zhì)量控制通常是通過同行評審的方式實(shí)現(xiàn)，同行專家會對測試項(xiàng)、測試用例進(jìn)行審查。在“檢測和校準(zhǔn)實(shí)驗(yàn)室能力認(rèn)可準(zhǔn)則在軟件檢測領(lǐng)域的應(yīng)用說明（CNAS-CL45）”中要求：由熟悉軟件檢測過程以及軟件測試的標(biāo)準(zhǔn)、規(guī)范、規(guī)程，軟件質(zhì)量評價和軟件測試質(zhì)量評價的人員，負(fù)責(zé)對軟件測試人員測試工作實(shí)施質(zhì)量監(jiān)督，審核軟件測試過程和形成的軟件測試工作產(chǎn)品是否符合相應(yīng)的標(biāo)準(zhǔn)、規(guī)范[2]。

然而，對于某些功能較多、性能精度等要求較高的軟件，測試用例的數(shù)量可能有成百上千條，實(shí)際評審過程中對所有測試用例進(jìn)行全數(shù)檢驗(yàn)是不現(xiàn)實(shí)的，也是沒有必要的。通常，針對測試用例的同行評審在執(zhí)行過程中對于每種測試類型隨機(jī)抽取至少20%的用例進(jìn)行正確性、合理性的評價。但是很多文獻(xiàn)通過理論證明，采用百分比抽樣檢驗(yàn)存在著“大批量嚴(yán)，小批量寬”的弊端[3]，且國際中已普遍淘汰百分比抽樣檢驗(yàn)。

GB-T 2828.2是一個按極限質(zhì)量LQ檢索的計數(shù)驗(yàn)收抽樣檢驗(yàn)系統(tǒng)，適用于孤立批檢驗(yàn)[4]。本文嘗試將計數(shù)抽樣理論應(yīng)用到軟件測試用例同行評審中，基于GB-T 2828.2和本組織實(shí)際情況提出了一套針對軟件測試用例同行評審的流程。通過采用GB-T 2828.2計數(shù)抽樣方法克服了傳統(tǒng)百分比抽樣法的不合理性，在降低抽樣的樣品數(shù)量的同時保證了通過評審的測試用例達(dá)到規(guī)定的“極限質(zhì)量”，提高了測試用例同行評審的工作效率。

1 計數(shù)抽樣的實(shí)施過程

GB-T 2828.2提供了兩種檢驗(yàn)?zāi)Ｊ?，其中模式A適用于“當(dāng)生產(chǎn)方和使用方都把批作為孤立檢驗(yàn)”的情況，即要求硬件的檢驗(yàn)批是按類型生產(chǎn)的一個批。本組織測試過程的實(shí)際情況是，對于某配置項(xiàng)軟件測試項(xiàng)目，一般只任命一名測試人員為負(fù)責(zé)人，測試過程涉及到的所有文檔均由該人員編寫，且各測試用例之間無連續(xù)性，因此基本上可將全部用例視為一個檢驗(yàn)批，并可參考模式A的抽樣方案。

本文提出的計數(shù)抽樣程序如圖1所示。首先確定檢驗(yàn)批量、再確定極限質(zhì)量比，接著抽取檢驗(yàn)樣品并進(jìn)行評審與判定。后文將對具體流程進(jìn)行詳細(xì)介紹。

2 批量N的確定

在計數(shù)抽樣檢驗(yàn)中定義“為判定質(zhì)量而一次提交檢驗(yàn)的一批產(chǎn)品為交驗(yàn)批，批中所含單位產(chǎn)品的數(shù)量稱為交驗(yàn)批量N”。根據(jù)本組織的實(shí)際情況，由于某一軟件配置項(xiàng)的全部測試用例均由同一測試人員編寫完成，可基本視作生產(chǎn)條件相同、質(zhì)量穩(wěn)定，因此全部測試用例的數(shù)量即為批量N。

3 極限質(zhì)量LQ的確定

極限質(zhì)量是指對一個被認(rèn)為處于孤立狀態(tài)的批，為了抽樣檢驗(yàn)限制在某一個低接收概率時的質(zhì)量水平，極限質(zhì)量的規(guī)定方法與AQL相似，只不過極限質(zhì)量是批不可容許的質(zhì)量水平。在數(shù)值上，極限質(zhì)量LQ表示為每百單位信息點(diǎn)鐘的不合格百分?jǐn)?shù)[5]，理論上最小值是0%，最大值是100%，數(shù)值越高表示使用方對質(zhì)量的要求越松。

對軟件測試用例進(jìn)行計數(shù)抽樣檢驗(yàn)，首先就需要定義一個合理的極限質(zhì)量。在本組織實(shí)際工作中，項(xiàng)目等級通常根據(jù)重要程度被分為A、B、C三類，其中A類項(xiàng)目是最為重要的項(xiàng)目。因此，本文建議在一般情況下，可以根據(jù)項(xiàng)目的重要等級定義極限質(zhì)量，對于重要等級較高的項(xiàng)目，可將其極限質(zhì)量LQ定義在一個較低的數(shù)值，從而保證該項(xiàng)目全部測試用例的“整體水平”。例如 A類項(xiàng)目可將極限質(zhì)量定義在0.5%，B、C類項(xiàng)目的極限質(zhì)量值可高于A類項(xiàng)目。不同的組織可根據(jù)自身的實(shí)際情況自行定義極限質(zhì)量LQ。值得注意的是，極限質(zhì)量LQ必須在同行評審實(shí)施前定義，且一經(jīng)定義，在對該批軟件測試用例審核過程中不應(yīng)改變。

4 抽取檢驗(yàn)樣品

根據(jù)組織定義的批量和極限質(zhì)量可參照GB-T 2828.2 4.5章節(jié)的規(guī)定查找所使用的抽樣方案，用指定的批量和極限質(zhì)量作為檢索值，可在GB-T 2828.2 4.2章節(jié)中檢索出樣本量（n）和接收數(shù)（Ac），其中n代表抽取的樣品總數(shù)，Ac代表當(dāng)作出批合格判定時樣品中所允許的最大不合格數(shù)。

對于抽樣方案的選擇可視項(xiàng)目的類型、規(guī)模來確定。軟件測試用例的同行評審一般是現(xiàn)場抽樣審核，抽樣方案大致可分為隨機(jī)抽樣與非隨機(jī)抽樣兩種。其中隨機(jī)抽樣方法包括簡單隨機(jī)抽樣、系統(tǒng)抽樣、分層抽樣、整群抽樣、分階段抽樣等，非隨機(jī)抽樣包括偶遇抽樣、判斷抽樣、雪球抽樣等[6]。在實(shí)際應(yīng)用中可根據(jù)軟件測試用例的不同類型實(shí)施不同的抽樣方案。關(guān)于抽樣方式的可參考GB/T 10111等文獻(xiàn)，本文不作論述。

5 樣品評審與判定

對抽取出的測試用例按照組織的評審規(guī)范逐條進(jìn)行同行評審，并統(tǒng)計出不合格數(shù)。不合格數(shù)指在同行評審過程中發(fā)現(xiàn)的問題個數(shù)。根據(jù)以往的項(xiàng)目經(jīng)驗(yàn)，對軟件測試用例的同行評審發(fā)現(xiàn)的問題通常分為致命、嚴(yán)重、一般、輕微四個等級，以上提及的問題個數(shù)主要指一般或輕微問題的個數(shù)。

當(dāng)同行專家判定的不合格數(shù)小于等于接收數(shù)（Ac）時，將測試用例返回至相應(yīng)測試人員修改，修改完成后，由專門核查人員確認(rèn)問題閉環(huán)后通過。

當(dāng)同行專家判定的不合格數(shù)大于接收數(shù)（Ac）時或發(fā)現(xiàn)了致命和嚴(yán)重的問題，則直接判定本批軟件測試用例不通過，待測試人員修改后且核查人員確認(rèn)已發(fā)現(xiàn)的問題閉環(huán)后進(jìn)行復(fù)審。復(fù)審的基本流程與上文描述的一致，此處建議，復(fù)審抽取的樣品應(yīng)不包含初次抽樣的樣本，以保證抽樣質(zhì)量。

當(dāng)檢驗(yàn)批的軟件測試用例通過同行評審后，同行專家可以不必審查其他的測試用例，這樣，在保證項(xiàng)目全部軟件測試用例整體水平的同時也極大降低了評審工作量。

6 總結(jié)

本文將GB-T 2828.2中定義的計數(shù)抽樣理論嘗試應(yīng)用于軟件測試用例同行評審，并提出了一套評審流程，希望通過本文的研究能夠在保證評審質(zhì)量的同時，降低評審工作量，提高工作效率。根據(jù)不同類型的測試用例制定不同的抽樣方、以及根據(jù)實(shí)踐情況改進(jìn)評審流程都將是本文未來的研究方向。

參考文獻(xiàn)：

[1] 肖豐佳 李立新. 軟件測試技術(shù)研究[J]. 工業(yè)控制計算機(jī)， 2015，25（1）.

[2] CNAS-CL45：2013檢測和校準(zhǔn)實(shí)驗(yàn)室能力認(rèn)可準(zhǔn)則在軟件檢測領(lǐng)域的應(yīng)用說明[S]. 中國合格評定國家認(rèn)可委員會.

[3] 梁國明. 再談百分比抽樣檢驗(yàn)的不科學(xué)性[J].兵工標(biāo)準(zhǔn)化，2000（1）.

[4] GB-T 2828.4-2008 計數(shù)抽樣檢驗(yàn)程序 第2部分： 按極限質(zhì)量（LQ）檢索的孤立批檢驗(yàn)抽樣方案[S]. 中華人民共和國國家標(biāo)準(zhǔn).

[5] 汪亮. 綜合布線工程驗(yàn)收測試抽樣方案的新思路[J].布線全攻略， 2005（105）.

[6] 蘇玉明.管理體系審核的抽樣方案討論[J].水利技術(shù)監(jiān)督，2005（4）.

[7] GB/T 10111-2008 隨機(jī)數(shù)的產(chǎn)生及其在產(chǎn)品質(zhì)量抽樣檢驗(yàn)中的應(yīng)用程序[S]. 中華人民共和國國家標(biāo)準(zhǔn).