基于多維度覆蓋率的嵌入式軟件測(cè)試分析方法

葉勇健,譚 超

(廈門華天涉外職業(yè)技術(shù)學(xué)院,福建 廈門 361102)

軟件程序規(guī)模與復(fù)雜程度的增長增加了軟件應(yīng)用的不確定性。為有效保證軟件質(zhì)量，軟件測(cè)試逐漸成為軟件研發(fā)中成本最高的項(xiàng)目[1]。軟件測(cè)試能力、測(cè)試效率及測(cè)試特點(diǎn)的動(dòng)態(tài)跟蹤與定量分析，以及軟件測(cè)試的持續(xù)優(yōu)化成為目前軟件研發(fā)中最為迫切需要解決的問題[2]。目前軟件測(cè)試的研究側(cè)重于如何開展測(cè)試過程組織、具體測(cè)試方法等，測(cè)試評(píng)價(jià)主要圍繞軟件缺陷報(bào)告、缺陷跟蹤與測(cè)試進(jìn)度評(píng)價(jià)等方面，缺少對(duì)軟件的動(dòng)態(tài)跟蹤及在線評(píng)價(jià)[3]。導(dǎo)致軟件測(cè)試中經(jīng)常出現(xiàn)測(cè)試過程按照測(cè)試計(jì)劃開展，但由于測(cè)試用例較大導(dǎo)致測(cè)試執(zhí)行有效性缺失的問題，很難在測(cè)試過程中發(fā)現(xiàn)測(cè)試軟件薄弱點(diǎn)[4]。根據(jù)這一問題，提出基于多維度覆蓋率的嵌入式軟件測(cè)試分析方法。多維度覆蓋率的度量方法主要以各種覆蓋率分別統(tǒng)計(jì)，充分度量測(cè)試軟件，滿足測(cè)試充分性原則的同時(shí)，綜合利用多維度測(cè)試覆蓋率動(dòng)態(tài)變化特征，對(duì)測(cè)試方法與測(cè)試用例效果及薄弱點(diǎn)進(jìn)行動(dòng)態(tài)跟蹤[5]。多維度覆蓋指標(biāo)以分支覆蓋、條件覆蓋、語句覆蓋及c-use覆蓋等十余種測(cè)試覆蓋度量為指標(biāo)，根據(jù)測(cè)試覆蓋的不同，從多角度反映軟件測(cè)試條件[6]。利用多維度覆蓋率做出軟件測(cè)試，試圖從多方面闡述軟件應(yīng)用情況。

1 基于多維度覆蓋率的嵌入式軟件測(cè)試分析方法

1.1 軟件測(cè)試多維度覆蓋率

軟件測(cè)試覆蓋率作為度量軟件測(cè)試程度的主要手段，其計(jì)算公式為

(1)

式中：item為測(cè)試因子實(shí)例數(shù)。

根據(jù)式(1)，若要對(duì)item覆蓋情況進(jìn)行計(jì)算，為從不同角度度量軟件測(cè)試的充分程度，提出多維度測(cè)試覆蓋指標(biāo)，用以表示度量測(cè)試充分程度[7]。

根據(jù)覆蓋率指標(biāo)，提取其特征屬性與度量參數(shù)，設(shè)覆蓋率維度為m，則有m種測(cè)試覆蓋率[8]。由于測(cè)試成本與時(shí)間的限制，軟件測(cè)試通常無法達(dá)到全覆蓋率，根據(jù)軟件安全關(guān)鍵等級(jí)、測(cè)試覆蓋率難易程度、測(cè)試階段以及開發(fā)方法等[9]，在軟件測(cè)試中,當(dāng)執(zhí)行完第nitem個(gè)測(cè)試用例后，為表現(xiàn)實(shí)際測(cè)試覆蓋率所達(dá)到的期望值，當(dāng)前滿意度可表示為

Satj(m)=(Cj(m)/Cj)×100%.

(2)

式中：Cj為軟件測(cè)試覆蓋率；Cj(m)為當(dāng)前測(cè)試覆蓋率Cj的當(dāng)前值，且j=1,…，m。

由于會(huì)出現(xiàn)實(shí)測(cè)覆蓋率超過覆蓋值的情況，即Satj(m)≥1[10]，規(guī)定

if Satj(m)≥1，

then Satj(m)=1，

即0≤Satj(m)≤1.

(3)

因此，得到測(cè)試綜合覆蓋率定義為

Csyn=f(nitem，t，C，w，Type，θ，Sat).

(4)

式中：C為多維度測(cè)試覆蓋率參數(shù)；w為多維度測(cè)試覆蓋率優(yōu)先級(jí)因子；Type為測(cè)試覆蓋率類型；θ為所有軟件模塊關(guān)鍵性測(cè)試影響因子；Sat為所有維度測(cè)試覆蓋率滿意度參數(shù)。

通過計(jì)算結(jié)果與實(shí)際相關(guān)數(shù)據(jù)，判斷軟件測(cè)試多維度覆蓋率[11]。

1.2 軟件測(cè)試動(dòng)態(tài)評(píng)價(jià)

根據(jù)對(duì)軟件測(cè)試多維度覆蓋率的分析，定量描述軟件系統(tǒng)測(cè)試可靠程度[12]。設(shè)定軟件測(cè)試時(shí)在t=0時(shí)能夠正常運(yùn)行，那么在測(cè)試時(shí)間[t，0]時(shí)軟件測(cè)試不發(fā)生失效概率，即軟件測(cè)試可靠性[13]。設(shè)軟件測(cè)試目標(biāo)時(shí)刻為t，如果軟件測(cè)試過程中失效時(shí)刻為a，則分析得到軟件測(cè)試可靠度為

C(t)=M(a≥t).

(5)

式中：C(t)為軟件測(cè)試可靠度。

測(cè)試中軟件間隔時(shí)間小于等于目標(biāo)時(shí)刻概率，則其失效概率為

P(t)=1-C(t).

(6)

在失效概率影響下，軟件在測(cè)試時(shí)間內(nèi)隨機(jī)執(zhí)行k個(gè)測(cè)試用例，得到測(cè)試覆蓋率平均增長率為

(7)

根據(jù)式(7)，計(jì)算出測(cè)試覆蓋率的平均增長率，并對(duì)連續(xù)執(zhí)行k個(gè)測(cè)試用例期間發(fā)現(xiàn)和排出的軟件缺陷增長量作出排序，分析軟件測(cè)試性能[14-15]。

2 對(duì)比實(shí)驗(yàn)

2.1 實(shí)驗(yàn)準(zhǔn)備

在對(duì)比實(shí)驗(yàn)環(huán)境中運(yùn)行基于多維度覆蓋率的嵌入式軟件測(cè)試分析方法，分析該測(cè)試方法的實(shí)際使用性能。為更好分析實(shí)驗(yàn)效果，在同一實(shí)驗(yàn)環(huán)境下將同樣運(yùn)行目前較為常用的基于目標(biāo)碼的嵌入式軟件測(cè)試分析方法，通過對(duì)比兩種實(shí)驗(yàn)方法的不同分析其結(jié)果。實(shí)驗(yàn)中(run-time sytem)系統(tǒng)在計(jì)算機(jī)程序中執(zhí)行，提供實(shí)驗(yàn)所需運(yùn)行機(jī)制及實(shí)驗(yàn)資源。實(shí)驗(yàn)采用VisualC++6.0作為運(yùn)行環(huán)境，Intel公司MCS-51系列CPU8051軟件進(jìn)行仿真，虛擬機(jī)運(yùn)行在X86CPU操作系統(tǒng)下。運(yùn)行時(shí)，使用虛擬機(jī)為上層應(yīng)用程序提供1個(gè)運(yùn)行環(huán)境，由處理器自身執(zhí)行程序命令。軟件測(cè)試需要相關(guān)數(shù)據(jù)，以便針對(duì)具體連鎖軟件測(cè)試時(shí)能夠?qū)崿F(xiàn)調(diào)用相關(guān)信息。軟件測(cè)試數(shù)據(jù)配置主要分為被測(cè)場(chǎng)相關(guān)數(shù)據(jù)與測(cè)試接口相關(guān)數(shù)據(jù)，涉及數(shù)據(jù)主要包括信號(hào)機(jī)靜態(tài)數(shù)據(jù)、區(qū)段靜態(tài)數(shù)據(jù)以及進(jìn)路表數(shù)據(jù)，詳細(xì)數(shù)據(jù)如表1—3所示。

表1 信號(hào)機(jī)靜態(tài)數(shù)據(jù)

數(shù)據(jù)庫記錄原始測(cè)試數(shù)據(jù)案例、進(jìn)路數(shù)據(jù)以及測(cè)試結(jié)果，根據(jù)測(cè)試序列生成解析測(cè)試結(jié)果，判定查詢及記錄存儲(chǔ)與分析結(jié)果。測(cè)試僅針對(duì)軟件進(jìn)行，不依賴硬件采集設(shè)備信息，被測(cè)軟件依據(jù)的接收信息來源于仿真平臺(tái)生成序列關(guān)鍵點(diǎn)。實(shí)驗(yàn)中設(shè)置進(jìn)路不能正常建立測(cè)試，存在多條路徑，形成并聯(lián)約束條件，根據(jù)遷移函數(shù)逐個(gè)設(shè)置信號(hào)機(jī)錯(cuò)誤、道岔錯(cuò)誤及區(qū)段錯(cuò)誤，依據(jù)進(jìn)路編號(hào)設(shè)置異常，逐步測(cè)試直到測(cè)試完成。

表2 區(qū)段靜態(tài)數(shù)據(jù)

表3 道岔靜態(tài)數(shù)據(jù)

2.2 實(shí)驗(yàn)結(jié)果分析

結(jié)合實(shí)驗(yàn)自動(dòng)執(zhí)行數(shù)據(jù)，將起始數(shù)據(jù)作為軟件初始狀態(tài)，結(jié)束狀態(tài)作為軟件終止?fàn)顟B(tài)，將測(cè)試軟件的150個(gè)測(cè)試用例作為實(shí)例，按執(zhí)行順序執(zhí)行50個(gè)測(cè)試用例后，對(duì)比多次測(cè)試結(jié)果。對(duì)兩種方法進(jìn)行驗(yàn)證，分析測(cè)試軟件全功能，其結(jié)果如圖1所示。

圖1 軟件測(cè)試缺陷率分析結(jié)果對(duì)比

根據(jù)圖1可以看出，在隨機(jī)執(zhí)行多次測(cè)試用例后，分析兩組方法測(cè)試特點(diǎn)。相比于目標(biāo)碼的嵌入式軟件測(cè)試分析方法，基于多維度覆蓋率的嵌入式軟件測(cè)試分析方法的測(cè)試結(jié)果對(duì)覆蓋率增長效果顯示更為明顯，按照最優(yōu)排序，即按照測(cè)試軟件語句覆蓋率大小排序，得到最理想的分析結(jié)果。

3 結(jié)束語

軟件測(cè)試中，為了能夠定量評(píng)價(jià)軟件測(cè)試效果，及時(shí)發(fā)現(xiàn)軟件測(cè)試中的薄弱點(diǎn)，需要對(duì)其進(jìn)行測(cè)試分析，以保證軟件測(cè)試的有效性。利用多維度測(cè)試覆蓋率概念，在軟件測(cè)試中基于多種覆蓋指標(biāo)度對(duì)軟件測(cè)試可靠性與質(zhì)量作出分析評(píng)價(jià)，進(jìn)一步綜合分析軟件測(cè)試性能。