軍用軟件測(cè)試工作量的動(dòng)態(tài)估計(jì)方法研究

宋亞魁 張 剛 王 瑞（中國(guó)航天系統(tǒng)科學(xué)與工程研究院，北京 100048）

軍用軟件測(cè)試工作量的動(dòng)態(tài)估計(jì)方法研究

宋亞魁 張 剛 王 瑞（中國(guó)航天系統(tǒng)科學(xué)與工程研究院，北京 100048）

軍用軟件測(cè)試通常作為一個(gè)獨(dú)立的項(xiàng)目進(jìn)行管理。對(duì)軟件測(cè)試項(xiàng)目進(jìn)行合理、準(zhǔn)確的工作量估計(jì)是保證測(cè)試工作順利完成的重要前提。為解決目前軟件測(cè)試項(xiàng)目工作量估計(jì)準(zhǔn)確率較低的問(wèn)題，采用一種動(dòng)態(tài)的估計(jì)方法，將工作量估計(jì)貫穿于軟件測(cè)試項(xiàng)目的整個(gè)生命周期，實(shí)現(xiàn)了工作量估計(jì)方法的持續(xù)改進(jìn)。實(shí)驗(yàn)結(jié)果表明，該動(dòng)態(tài)估計(jì)方法能夠有效地提高估計(jì)精度。

軍用軟件，軟件測(cè)試，工作量估計(jì)，生命周期，動(dòng)態(tài)估計(jì)

引 言

在軍用軟件的整個(gè)生命周期中，軟件測(cè)試已作為一項(xiàng)強(qiáng)制性要求被納入到其研制生產(chǎn)過(guò)程當(dāng)中。要保證軍用軟件的測(cè)試質(zhì)量，就必須確保軟件測(cè)試過(guò)程的獨(dú)立性。目前，軍用軟件測(cè)試工作通常由獨(dú)立的軟件評(píng)測(cè)中心負(fù)責(zé)完成，軍用軟件測(cè)試通常作為一個(gè)獨(dú)立的項(xiàng)目進(jìn)行管理。對(duì)軍用軟件測(cè)試項(xiàng)目進(jìn)行合理、準(zhǔn)確的工作量估計(jì)，是保證軍用軟件測(cè)試工作順利完成的重要前提之一。目前，研究人員已提出了一些估計(jì)軟件測(cè)試工作量的方法，但這些方法大都從軟件工作量估算模型轉(zhuǎn)化而來(lái)，估算結(jié)果的準(zhǔn)確率都非常低。

考慮到獨(dú)立的軟件測(cè)試項(xiàng)目與軟件開(kāi)發(fā)項(xiàng)目一樣，具有本身的生命周期，所以，軍用軟件測(cè)試工作量估計(jì)應(yīng)該是一個(gè)隨著測(cè)試項(xiàng)目進(jìn)行而不斷改進(jìn)的過(guò)程，而且，該過(guò)程應(yīng)貫穿于軍用軟件測(cè)試項(xiàng)目的整個(gè)生命周期，這就要求對(duì)軍用軟件測(cè)試項(xiàng)目的工作量進(jìn)行動(dòng)態(tài)估計(jì)。

1 估計(jì)方法概述

考慮到項(xiàng)目信息是隨著項(xiàng)目的推進(jìn)而不斷豐富和細(xì)化的，所以，在具體的軍用軟件測(cè)試項(xiàng)目管理當(dāng)中，工作量估計(jì)應(yīng)該是一個(gè)持續(xù)改進(jìn)、優(yōu)化的過(guò)程。如圖1所示，可以將工作量估計(jì)分為3個(gè)階段：

一是初始階段，確定當(dāng)前項(xiàng)目的測(cè)試類(lèi)型和測(cè)試范圍，在歷史數(shù)據(jù)庫(kù)中選擇同類(lèi)項(xiàng)目數(shù)據(jù)進(jìn)行估計(jì)模型的定制，并使用定制的模型，估算當(dāng)前軟件測(cè)試項(xiàng)目的工作量。

二是在軟件測(cè)試項(xiàng)目執(zhí)行過(guò)程中，跟蹤項(xiàng)目進(jìn)度，當(dāng)實(shí)際進(jìn)度與計(jì)劃進(jìn)度偏差較大時(shí)，及時(shí)調(diào)整項(xiàng)目過(guò)程或重新估計(jì)工作量。

圖1 軟件工作量估算過(guò)程框架

三是項(xiàng)目結(jié)束后，對(duì)工作量估算方法與估計(jì)結(jié)果進(jìn)行評(píng)價(jià)，并將測(cè)試項(xiàng)目的過(guò)程數(shù)據(jù)匯總到歷史數(shù)據(jù)庫(kù)中，以提高未來(lái)工作量估算工作的準(zhǔn)確性。

2 初始工作量估計(jì)

目前，研究人員已經(jīng)開(kāi)發(fā)出了一些軟件測(cè)試工作量估算模型，但由于通用模型參數(shù)的設(shè)置與各軟件測(cè)試項(xiàng)目的實(shí)際情況不符等原因，這些模型的估算準(zhǔn)確率通常都不高。所以，本文采用基于經(jīng)驗(yàn)的回歸分析法來(lái)估算軍用軟件測(cè)試工作量。工作量影響因子相關(guān)會(huì)使回歸分析算法的結(jié)果不穩(wěn)定，為解決這一問(wèn)題，本文引入主成分分析方法來(lái)提取特征值，提出了一種基于主成分分析的回歸分析法，并采用該方法進(jìn)行軍用軟件測(cè)試工作量的估計(jì)。

2.1 基于主成分分析的回歸估算模型的建立

大量實(shí)踐經(jīng)驗(yàn)表明，傳統(tǒng)的主成分分析法僅在處理樣本矩陣呈現(xiàn)線性結(jié)構(gòu)的問(wèn)題時(shí)才具有良好的效果，而對(duì)于軍用軟件測(cè)試工作量估計(jì)問(wèn)題，工作量影響因子通常都是非線性結(jié)構(gòu)的，這一點(diǎn)在COCOMO模型的表達(dá)式中得到了明顯的體現(xiàn)。所以，要將主成分分析方法引用到軍用軟件測(cè)試工作量估計(jì)當(dāng)中，就必須對(duì)主成分分析方法的過(guò)程進(jìn)行擴(kuò)展改進(jìn)，使其適用于非線性結(jié)構(gòu)的樣本數(shù)據(jù)。本文在應(yīng)用主成分分析方法之前，先將原樣本數(shù)據(jù)取對(duì)數(shù)，這樣原樣本空間數(shù)據(jù)的數(shù)乘關(guān)系就轉(zhuǎn)化成了線性關(guān)系。

改進(jìn)后的主成分分析方法的一般步驟為：（1）確定原始數(shù)據(jù)集

其中，第j個(gè)因子X(jué)j=（x1jx2jx3j… xnj）T。

（2）求樣本相關(guān)矩陣

對(duì)X進(jìn)行對(duì)數(shù)化處理，將對(duì)數(shù)化數(shù)據(jù)陣記為Y=（yij）n×p，其中yij=lg（xij）。

再將對(duì)數(shù)化后的樣本數(shù)據(jù)采用相關(guān)系數(shù)法來(lái)構(gòu)建樣本相關(guān)矩陣。

記相關(guān)矩陣為R=（rij）n×p，則：

顯然，R為對(duì)稱(chēng)矩陣，且對(duì)角線上元素全為1。

（3）求相關(guān)矩陣的特征值和特征向量

然后，求解齊次線性方程組（R-λI）L=0，可以得到λ1、λ2、…、λp對(duì)應(yīng)的特征向量L1、L2、…、Lp，其中，Lj=（l1jl2j… lpj）T。

（4）計(jì)算各主成分的貢獻(xiàn)率。記第j個(gè)主成分的貢獻(xiàn)率為bj，則：

（5）計(jì)算累計(jì)貢獻(xiàn)率，前k個(gè)主成分的累計(jì)貢獻(xiàn)率為：

（6）建立主成分

首先提取主成分，按照累計(jì)貢獻(xiàn)率wk＞95%的準(zhǔn)則，確定提取前k個(gè)主成分。然后，計(jì)算主成分，第j個(gè)主成分為：Zj=YLj=l1jY1+l2jY2+…+lpjYp，其中，Y1、Y2、…、Yp為對(duì)數(shù)化指標(biāo)變量，Yj=（y1jy2j… ypj）T。

所以有：

可以用新的主成分因子樣本值Z=（zij）n×k來(lái)代替原樣本值X進(jìn)行統(tǒng)計(jì)分析。而Z中因子是不相關(guān)的。

考慮到主成分分析方法中的貢獻(xiàn)率實(shí)際上實(shí)現(xiàn)了對(duì)各個(gè)主成分權(quán)重的客觀賦值表現(xiàn)，所以，在經(jīng)過(guò)拓展的主成分分析完成后，可以對(duì)各主成分進(jìn)行加權(quán)平均，得到綜合了各個(gè)影響因子的綜合評(píng)價(jià)指標(biāo)：

然后，分析綜合評(píng)價(jià)指標(biāo)與工作量之間的相關(guān)性，建立綜合評(píng)價(jià)指標(biāo)與工作量之間的非線性或線性回歸模型。本文采用的回歸模型為：

然后根據(jù)歷史數(shù)據(jù)進(jìn)行回歸分析，確定系數(shù)a0、a1、a2、a3的值。

2.2 初始階段工作量估算

完成主成分分析和回歸分析后，就可以利用分析的結(jié)果來(lái)估算軍用軟件測(cè)試新項(xiàng)目的工作量了。

估算軍用軟件測(cè)試新項(xiàng)目的工作量的一般過(guò)程如下：

（1）提取項(xiàng)目的影響因子為：α=（α1α2… αp）；

（2）將影響因子對(duì)數(shù)化：β=（lgα1lgα2… lgαp）；

（3）提取主成分：ω=βL=[ω1ω2…ωk]，其中ωj=βLi；

（4）綜合評(píng)價(jià)指標(biāo)為：（5）計(jì)算工作量的對(duì)數(shù)估算值：

（6）計(jì)算工作量的估算值：E=10m。

2.3 初始工作量估計(jì)實(shí)例驗(yàn)證

表1給出了16個(gè)已完成的同類(lèi)功能軟件測(cè)試項(xiàng)目在初始階段的工作量影響因子信息及最后實(shí)際的首輪軟件測(cè)試工作量信息。

對(duì)于以上樣本前15組數(shù)據(jù)中的因子矩陣，采用拓展的主成分分析方法提取主成分，并計(jì)算綜合評(píng)價(jià)值，然后將其與實(shí)際工作量擬合，工作量對(duì)數(shù)與綜合評(píng)估值擬合曲線如圖2所示，結(jié)果如表2所示。

表2 模型匯總和參數(shù)估計(jì)值

由R2=0.999可以看出，擬合結(jié)果非常好，工作量與綜合評(píng)估指標(biāo)滿(mǎn)足：lg（E）=15.305Q-48.327Q2+54.778Q3。

計(jì)算第16組數(shù)據(jù)的綜合評(píng)估值為0.2891，代入上式中可得到估計(jì)的工作量為51.19人日，而實(shí)際工作量為48人日。計(jì)算相對(duì)誤差為6.64%，這個(gè)結(jié)果對(duì)于初始階段來(lái)說(shuō)估計(jì)效果較好。

表1 軟件測(cè)試項(xiàng)目初始影響因子和工作量信息

圖2 工作量對(duì)數(shù)與綜合評(píng)估值擬合曲線

3 執(zhí)行中的工作量估計(jì)

考慮到項(xiàng)目計(jì)劃的制定都是以事先估計(jì)的工作量為依據(jù)，所以，對(duì)軟件測(cè)試工作量的估計(jì)不僅僅是對(duì)未來(lái)工作量的簡(jiǎn)單預(yù)測(cè)，更是以此獲得項(xiàng)目管理的目標(biāo)。制定目標(biāo)后，項(xiàng)目組就應(yīng)該嚴(yán)格按照項(xiàng)目計(jì)劃執(zhí)行項(xiàng)目過(guò)程，盡量使整個(gè)軟件測(cè)試項(xiàng)目最終按照計(jì)劃完成。這就需要對(duì)項(xiàng)目執(zhí)行過(guò)程中的工作量完成情況進(jìn)行監(jiān)控。

3.1 項(xiàng)目中的進(jìn)度監(jiān)控

在項(xiàng)目執(zhí)行過(guò)程中，要定期對(duì)軍用軟件測(cè)試項(xiàng)目的實(shí)際進(jìn)度信息進(jìn)行采集，并與計(jì)劃情況進(jìn)行對(duì)比。當(dāng)兩者偏差不是特別大，并處于可控范圍內(nèi)時(shí)，可以針對(duì)誤差產(chǎn)生原因進(jìn)行分析，并及時(shí)對(duì)項(xiàng)目實(shí)施過(guò)程進(jìn)行調(diào)整，以使實(shí)際進(jìn)度與計(jì)劃相符；而當(dāng)偏差值太大，超過(guò)了軟件測(cè)試項(xiàng)目的重大偏差標(biāo)準(zhǔn)時(shí)，微調(diào)手段已經(jīng)無(wú)效，說(shuō)明實(shí)際的軟件測(cè)試執(zhí)行進(jìn)度與計(jì)劃安排不符，測(cè)試任務(wù)不可能在計(jì)劃安排的時(shí)間附近完成，也就是說(shuō)初始制定的計(jì)劃不合理，這時(shí)候就需要對(duì)軟件測(cè)試項(xiàng)目的工作量進(jìn)行重新估計(jì)，制定新的項(xiàng)目計(jì)劃，以適應(yīng)實(shí)際的項(xiàng)目進(jìn)度。

本文將工作量估計(jì)作為貫穿于軟件測(cè)試項(xiàng)目整個(gè)生命周期的動(dòng)態(tài)過(guò)程進(jìn)行管理。完成整體項(xiàng)目的工作量估計(jì)并制定項(xiàng)目計(jì)劃后，在項(xiàng)目實(shí)施過(guò)程中通過(guò)實(shí)時(shí)監(jiān)控和人為干預(yù)等手段，使軟件測(cè)試工作進(jìn)度盡量按照制定的項(xiàng)目計(jì)劃來(lái)完成（只有在發(fā)生重大偏差時(shí)，才需要重新估計(jì)工作量和制定新計(jì)劃）。這樣，可以達(dá)到盡可能降低軟件測(cè)試項(xiàng)目延誤率的目標(biāo)，從某種意義上來(lái)說(shuō)，也提高了軟件測(cè)試項(xiàng)目工作量估計(jì)的準(zhǔn)確度。

3.2 動(dòng)態(tài)工作量估算方法應(yīng)用實(shí)例

如圖3所示，是采用動(dòng)態(tài)工作量估計(jì)方法跟蹤一個(gè)軟件測(cè)試新項(xiàng)目的進(jìn)程所得到的結(jié)果。

從圖中可以看出，項(xiàng)目前2周為需求分析階段，實(shí)際進(jìn)度比計(jì)劃進(jìn)度稍快；第3周后，工作進(jìn)展變慢，使得計(jì)劃值與實(shí)際值達(dá)到一致，這主要是因?yàn)橛美O(shè)計(jì)和執(zhí)行的第1周測(cè)試人員對(duì)實(shí)際系統(tǒng)還不夠熟悉；之后雖然隨著測(cè)試的進(jìn)行，工作效率有所提高，但是實(shí)際進(jìn)度還是逐漸落后于計(jì)劃值；尤其到第10周左右，項(xiàng)目進(jìn)展開(kāi)始變緩，到第11周時(shí)實(shí)際進(jìn)度與計(jì)劃進(jìn)度的偏差達(dá)到最大值，這主要是因?yàn)轫?xiàng)目進(jìn)行到后期，已經(jīng)完成的測(cè)試中發(fā)現(xiàn)的問(wèn)題需要與軟件開(kāi)發(fā)方進(jìn)行確認(rèn)，并且需要集中解決項(xiàng)目中的復(fù)雜用例和前期由于缺少數(shù)據(jù)等原因暫時(shí)無(wú)法執(zhí)行的用例。據(jù)項(xiàng)目組中經(jīng)驗(yàn)豐富的軟件測(cè)試項(xiàng)目負(fù)責(zé)人估計(jì)，如果按部就班地按照測(cè)試流程走下來(lái)，該項(xiàng)目會(huì)超期將近3周才能完成，如圖中虛線所示。這時(shí)候就需要項(xiàng)目組采取一定的措施，使得這個(gè)偏差值逐步減少。

圖3 某軟件測(cè)試新項(xiàng)目工作量監(jiān)控圖

所以，從第12周開(kāi)始，留下經(jīng)驗(yàn)豐富的項(xiàng)目組成員負(fù)責(zé)與開(kāi)發(fā)方溝通并完成剩下的復(fù)雜用例測(cè)試，分出一部分項(xiàng)目組成員開(kāi)始編寫(xiě)測(cè)試總結(jié)和報(bào)告，這樣就大大加快了項(xiàng)目進(jìn)度，使實(shí)際進(jìn)度與計(jì)劃值偏差持續(xù)縮小，最終測(cè)試項(xiàng)目實(shí)際進(jìn)度比計(jì)劃值僅落后1周，如圖3中實(shí)線所示，相應(yīng)的工作量估計(jì)相對(duì)誤差僅為6%左右。

4 結(jié)項(xiàng)后的工作量分析

項(xiàng)目計(jì)劃是項(xiàng)目監(jiān)控的比較基準(zhǔn)，為了避免項(xiàng)目計(jì)劃的頻繁變更，在項(xiàng)目初始階段就要盡量準(zhǔn)確地估計(jì)工作量，而初始階段對(duì)工作量的估計(jì)準(zhǔn)確性，取決于歷史項(xiàng)目經(jīng)驗(yàn)和估計(jì)方法選擇的合理性。而這些經(jīng)驗(yàn)的積累依賴(lài)于每次項(xiàng)目結(jié)束后對(duì)估計(jì)方法的評(píng)價(jià)總結(jié)。

項(xiàng)目結(jié)束后，該項(xiàng)目的實(shí)際工作量數(shù)據(jù)成為已知，因此，可以將實(shí)際工作量數(shù)據(jù)與計(jì)劃工作量數(shù)據(jù)進(jìn)行比較，對(duì)工作量估計(jì)方法與估計(jì)結(jié)果進(jìn)行評(píng)價(jià)，找出工作量估計(jì)中偏差出現(xiàn)的原因，并制定相應(yīng)的改進(jìn)方法，將本次項(xiàng)目的相關(guān)數(shù)據(jù)反饋給企業(yè)建立數(shù)據(jù)庫(kù)，以持續(xù)改進(jìn)工作量估計(jì)方法，最終達(dá)到提高工作量估計(jì)精度的目的。這是對(duì)項(xiàng)目工作量進(jìn)行動(dòng)態(tài)管理的必要措施。

例如，在驗(yàn)證實(shí)例中，到項(xiàng)目后期，工作人員發(fā)現(xiàn)，開(kāi)發(fā)方的研發(fā)水平及測(cè)試數(shù)據(jù)準(zhǔn)備的充分性等因素也會(huì)影響軟件測(cè)試項(xiàng)目的工作量，而且，這些因素在項(xiàng)目初期也是可以進(jìn)行初步評(píng)估量化的。因此，可以在歷史數(shù)據(jù)庫(kù)中補(bǔ)充歷史項(xiàng)目的這些因素信息，以在之后估算同類(lèi)項(xiàng)目的工作量時(shí)考慮這些附加因素的影響。

另外，在項(xiàng)目實(shí)施過(guò)程中還發(fā)現(xiàn)，項(xiàng)目復(fù)雜程度對(duì)工作量的影響相對(duì)于其它因子更為顯著，所以，在對(duì)該因子量化處理時(shí)可以對(duì)權(quán)重值進(jìn)行適當(dāng)調(diào)整。具體如何調(diào)整還有待進(jìn)一步研究。

5 結(jié)束語(yǔ)

軍用軟件測(cè)試通常作為一個(gè)獨(dú)立的項(xiàng)目來(lái)進(jìn)行管理，具有完整的生命周期，因此，對(duì)軍用軟件測(cè)試項(xiàng)目工作量的估計(jì)應(yīng)該是一個(gè)動(dòng)態(tài)過(guò)程，只有通過(guò)持續(xù)的改進(jìn)才能提高工作量估計(jì)的準(zhǔn)確性，才能保證項(xiàng)目按計(jì)劃完成。

本文針對(duì)軍用軟件測(cè)試項(xiàng)目執(zhí)行前、執(zhí)行中和執(zhí)行后3個(gè)階段來(lái)闡述工作量的動(dòng)態(tài)估計(jì)方法，將工作量估計(jì)貫穿于項(xiàng)目的始終，可以減少軍用軟件測(cè)試項(xiàng)目的延誤率，進(jìn)而提高軍用軟件測(cè)試項(xiàng)目的工作量估計(jì)精度。

研究發(fā)現(xiàn)，實(shí)現(xiàn)工作量估計(jì)的動(dòng)態(tài)管理，不僅需要在初始估計(jì)時(shí)使用正確的、符合項(xiàng)目實(shí)際情況的估計(jì)方法，在項(xiàng)目實(shí)施過(guò)程中也要以偏差為依據(jù)，對(duì)工作量進(jìn)行實(shí)時(shí)監(jiān)控。在項(xiàng)目實(shí)施完成后，還要對(duì)工作量估計(jì)方法與估計(jì)結(jié)果進(jìn)行評(píng)價(jià)，并將本次項(xiàng)目的相關(guān)數(shù)據(jù)納入歷史項(xiàng)目數(shù)據(jù)庫(kù)中，以持續(xù)改進(jìn)工作量估計(jì)方法。

另外，隨著軟件行業(yè)的蓬勃發(fā)展，為了提高競(jìng)爭(zhēng)力，民用軟件行業(yè)對(duì)軟件質(zhì)量的要求也越來(lái)越高，軟件測(cè)試也逐漸從軟件開(kāi)發(fā)項(xiàng)目中獨(dú)立出來(lái)。所以，本文提出的軍用軟件測(cè)試項(xiàng)目的工作量估計(jì)方法，在民用軟件行業(yè)也具有廣闊的應(yīng)用前景。

1 江震. 軟件項(xiàng)目工作量估算的規(guī)模不經(jīng)濟(jì)[J]. 中國(guó)科技信息, 2008, (19): 109～111

2 William E. Lewis Gunasekaran Veerapillai. 軟件測(cè)試與持續(xù)質(zhì)量改進(jìn)（第2版）[M]. 陳紹英, 張河濤, 劉建華, 等譯. 北京: 人民郵電出版社, 2008

3 李希燦, 邢文潔. 多目標(biāo)系統(tǒng)多維模糊決策理論模型[J]. 山東農(nóng)業(yè)人學(xué)學(xué)報(bào), 2001, (3): 336～340

4 CAPES J. Applied software measurement: global analysis of productivity and quality[J]. McGraw Hill, 2008, (3): 120～125

5 劉杰生. 軟件成本估算方法與技術(shù)現(xiàn)狀探討[J]. 艦船電子工程, 2000, 20(4): 13～16

6 SINHAL A, VERMA B. A novel fuzzy based approach for effort estimation in software development[J]. ACM SIGSOFT Software Engineering Notes, 2013, 38(5): 1～6

7 CAIVANO D, LANCBILE F, VISAGGIO G. Software renewal process comprehension using dynamic effort estimation [C]. //Pros of IEEE International Conference on Software Maintenance. [S. 1.]: IEEE Press, 2001: 209～218

8 楊光宇, 曾東方, 羅平. 考慮短板效應(yīng)的一種度量模型及其在軟件可信性中的應(yīng)用[J]. 計(jì)算機(jī)應(yīng)用研究, 2012, 29(1): 165～167

Study on Dynamic Estimation Method of Military Software Testing Work

Song Yakui Zhang Gang Wang Rui
(China Academy of Aerospace Systems Science and Engineering, Beijing 100048)

Military software testing has often been managed as a separate project. The reasonable and accurate estimation of effort for software testing project is an important premise for the completion of software testing work. To solve the problem of low accuracy in the current effort estimation methods, the dynamic estimation method has been proposed. The dynamic estimation method will be carried out throughout the entire life cycle of the software testing project and can improve the estimation method continuously. The results of experiments show that the estimation method can improve the estimation precision effectively.

Military Software, Software testing, Effort estimation, Life cycle, Dynamic estimation

1009-8119（2015）10（1）-0054-04