一種跨項(xiàng)目缺陷預(yù)測(cè)的源項(xiàng)目訓(xùn)練數(shù)據(jù)選擇方法

蓋金晶,鄭 尚,于化龍,高 尚

(江蘇科技大學(xué)計(jì)算機(jī)學(xué)院,江蘇 鎮(zhèn)江 212100)

在軟件開發(fā)的過程中,需求分析、軟件設(shè)計(jì)以及開發(fā)人員的編碼實(shí)現(xiàn),每個(gè)過程都有可能由于開發(fā)人員的經(jīng)驗(yàn)不足而出現(xiàn)軟件缺陷. 這些軟件缺陷可能會(huì)引起意想不到的問題,嚴(yán)重的情況下會(huì)給公司造成不可挽回的損失. 在軟件開發(fā)的過程中不可避免會(huì)出現(xiàn)軟件缺陷,而越早發(fā)現(xiàn)缺陷并且越早修復(fù)它們,則付出的代價(jià)越小. 若軟件發(fā)布后,修復(fù)缺陷的成本將大大增加. 我們希望在軟件開發(fā)初期就能夠有效地檢測(cè)出缺陷.

跨項(xiàng)目軟件缺陷預(yù)測(cè)(cross project defect prediction,簡(jiǎn)稱CPDP)旨在軟件開發(fā)初期通過其他項(xiàng)目的歷史數(shù)據(jù),來構(gòu)建軟件缺陷預(yù)測(cè)模型,再在當(dāng)前項(xiàng)目上進(jìn)行預(yù)測(cè),從而得到可能存在的潛在缺陷.

近年來,越來越多的研究者開始關(guān)注跨項(xiàng)目軟件缺陷預(yù)測(cè). 主要圍繞同構(gòu)跨項(xiàng)目缺陷預(yù)測(cè)(homogeneous cross-project defect learning)和異構(gòu)跨項(xiàng)目缺陷預(yù)測(cè)(heterogeneous cross-project defect prediction)兩方面. 其中,同構(gòu)是指所有源項(xiàng)目和目標(biāo)項(xiàng)目具有相同的度量元,而異構(gòu)是指源項(xiàng)目與目標(biāo)項(xiàng)目具有不同的度量元,根據(jù)具體情況,源項(xiàng)目之間也可能具有不同的度量元. 而本文則是針對(duì)同構(gòu)跨項(xiàng)目缺陷預(yù)測(cè)開展研究.

Jureczko和Madeyski[1]從代碼所有權(quán)(code ownership)角度,考慮了3種不同類型(工業(yè)界、開源界、學(xué)術(shù)界)的項(xiàng)目,對(duì)CPDP的可行性進(jìn)行了分析. 他們的研究結(jié)果表明,跨項(xiàng)目進(jìn)行軟件缺陷預(yù)測(cè)的結(jié)果并不理想.

Turhan[2]為了深層次分析研究造成CPDP性能不理想的原因,引入了數(shù)據(jù)集漂移(dataset shift)的概念. 他們通過對(duì)數(shù)據(jù)集漂移類型進(jìn)行分析,推薦了兩類解決方法:基于實(shí)例的方法和基于分布的方法. Zimmermann等[3]基于項(xiàng)目的上下文因素進(jìn)行分析,共提出了40種不同的項(xiàng)目上下文因素來計(jì)算項(xiàng)目間的相似性. 他們的研究為源項(xiàng)目的選擇提供了指引.

由于大量不相關(guān)的跨項(xiàng)目數(shù)據(jù)往往使建立高性能的預(yù)測(cè)模型變得困難. 為了克服這一挑戰(zhàn),許多研究人員專注于篩選與CPDP任務(wù)無關(guān)的源實(shí)例或特性.

Turhan等[4]提出了Burak過濾法,他們通過計(jì)算訓(xùn)練集與目標(biāo)項(xiàng)目中實(shí)例的歐式距離,選出最近的K個(gè)實(shí)例添加到訓(xùn)練集中. 他們的實(shí)驗(yàn)結(jié)果表明,Burak過濾法能有效地提高CPDP模型的性能. He等[5]提出了一種兩階段的篩選方法TDS.第一階段他們根據(jù)目標(biāo)項(xiàng)目度量元的分布特征取值,通過歐式距離篩選出前K個(gè)候選源項(xiàng)目;第二階段從前K個(gè)候選源項(xiàng)目中通過Burak過濾法或Peters過濾法[6]選出與目標(biāo)項(xiàng)目最為接近的實(shí)例. 李勇等[7]隨后提出了相似的兩階段篩選方法,他們根據(jù)余弦距離選出與目標(biāo)項(xiàng)目最為相關(guān)的前K個(gè)候選源項(xiàng)目,隨后借助Peters過濾法進(jìn)一步選出相關(guān)實(shí)例.

除了上述基于實(shí)例選擇的研究成果,國內(nèi)外學(xué)者也對(duì)基于分布的跨項(xiàng)目缺陷預(yù)測(cè)開展了相關(guān)研究. Nam等[8]提出一種遷移學(xué)習(xí)方法,遷移學(xué)習(xí)通過調(diào)整源項(xiàng)目,使得源項(xiàng)目與目標(biāo)項(xiàng)目的特征相似. 并且他們進(jìn)一步拓展TCA,得到TCA+來提升跨項(xiàng)目缺陷預(yù)測(cè)性能.

Zhao等[9]提出了NN過濾器,他們通過刪除那些不在目標(biāo)項(xiàng)目數(shù)據(jù)的最近鄰居中出現(xiàn)的源項(xiàng)目實(shí)例,這樣使得源項(xiàng)目和目標(biāo)項(xiàng)目在分布上更加相似. Ma等[10]提出了一種名為transfer naive Bayes(TNB)的方法,該方法首先通過data gravitation(DG)方法[11]對(duì)源實(shí)例進(jìn)行權(quán)重調(diào)整,以削弱不相關(guān)源數(shù)據(jù)的影響,然后對(duì)這些權(quán)重調(diào)整后的源數(shù)據(jù)構(gòu)建樸素Bayes分類器.

最近,一些研究表明,在目標(biāo)項(xiàng)目中添加一定比例的標(biāo)記數(shù)據(jù),可能有助于提高CPDP的性能. Chen等[12]提出了一種新的方法(DTB),它在目標(biāo)項(xiàng)目中使用少量的標(biāo)記數(shù)據(jù),同樣使用DG方法初始化源項(xiàng)目數(shù)據(jù)的權(quán)值,然后利用TrAdaboost[13]建立預(yù)測(cè)模型,利用目標(biāo)項(xiàng)目中有限數(shù)量的標(biāo)簽數(shù)據(jù)對(duì)源數(shù)據(jù)進(jìn)行重估.

上述跨項(xiàng)目缺陷預(yù)測(cè)方法雖已經(jīng)取得了一定的成果,但是仍有改進(jìn)的空間. 具體來說,即基于相似性選取的方法仍不精確,同時(shí)盲目使用大量的訓(xùn)練數(shù)據(jù)所訓(xùn)練出的預(yù)測(cè)模型容易導(dǎo)致較高的誤報(bào)率,因此,本文在一對(duì)一同構(gòu)跨項(xiàng)目缺陷預(yù)測(cè)領(lǐng)域做了相應(yīng)的改進(jìn)工作:

(1)從數(shù)據(jù)分布的角度,利用JS散度測(cè)算找到與目標(biāo)項(xiàng)目最相似的源項(xiàng)目,提升源項(xiàng)目選取的準(zhǔn)確度;

(2)提出相對(duì)密度,對(duì)選定的源項(xiàng)目進(jìn)行數(shù)據(jù)選擇,提高預(yù)測(cè)模型的精度;

(3)通過實(shí)驗(yàn)驗(yàn)證,本文方法對(duì)不同項(xiàng)目的訓(xùn)練集和分類器的選擇,皆表現(xiàn)出較好的性能.

1 相關(guān)概念

1.1 JS散度

JS散度也稱JS距離,是KL散度的一種變形. Kullback-Leibler divergence(KL散度[14])又稱為相對(duì)熵,信息散度,信息增益. KL散度是兩個(gè)概率分布P和Q差別的非對(duì)稱性的度量.典型情況下,P表示數(shù)據(jù)的真實(shí)分布,Q表示數(shù)據(jù)的理論分布、模型分布、或P的近似分布.那么離散變量KL散度見式(1):

(1)

由于KL散度不具有對(duì)稱性,即KL(P||Q)≠KL(Q||P),為了解決這個(gè)問題,有人提出了Jensen-Shannon divergence(JS散度)[15]作為相似度度量的指標(biāo).現(xiàn)有兩個(gè)概率分布P和Q,其JS散度公式如式(2):

(2)

在計(jì)算JS散度的過程中使用了蒙特卡洛[16]方法(Monte Carlo),蒙特卡洛法是一種用來模擬隨機(jī)現(xiàn)象的數(shù)學(xué)方法,這種方法在模擬中能直接反映過程中的隨機(jī)性.如公式(3)所示:

(3)

不同于KL散度,JS散度的值域范圍是[0,1],相同為0,相反則為1. 相比較于KL,對(duì)相似度的判別更準(zhǔn)確了. 同時(shí)其對(duì)稱性能讓散度度量更準(zhǔn)確. 因此,本研究擬利用JS散度去衡量任意兩個(gè)項(xiàng)目的相似性,即JS散度越接近,兩個(gè)項(xiàng)目的分布也就越相似.

1.2 相對(duì)密度

經(jīng)過JS散度選定與目標(biāo)項(xiàng)目分布最為相似的源項(xiàng)目需要對(duì)其訓(xùn)練數(shù)據(jù)選擇,以便構(gòu)建預(yù)測(cè)模型. 一般來說,若能精確地測(cè)出每一個(gè)訓(xùn)練樣本的概率密度,從噪聲點(diǎn)和離群點(diǎn)中區(qū)分出具有重要信息的樣本則變得比較容易. 但是,在高維特征空間中,獲得精確的概率密度是極為困難的,要獲取相對(duì)精確的概率密度也是十分耗時(shí)的. 因此,本文采用了一種避免概率密度測(cè)量的方法,即精確提取任意兩個(gè)訓(xùn)練樣本的概率密度的比例關(guān)系,我們稱這種反映比例關(guān)系的信息為相對(duì)密度.

為了計(jì)算相對(duì)密度,本文使用了與基于K最近鄰概率密度估計(jì)法(K-nearest neighbors-based probability density estimation,KNN-PDE[17])相似的策略. 作為一種非參數(shù)概率密度估計(jì)方法,KNN-PDE通過測(cè)量每個(gè)訓(xùn)練實(shí)例的K最近鄰距離來估計(jì)多維連續(xù)空間中的概率密度分布. 當(dāng)訓(xùn)練實(shí)例的數(shù)量達(dá)到無窮大時(shí),從KNN-PDE獲得的結(jié)果可以近似收斂到實(shí)際概率密度分布. 因此,本文提出的相對(duì)密度策略也采用了K最近鄰距離估計(jì)相對(duì)密度.

圖1 研究框架Fig.1 Research framework

(4)

顯然,在相對(duì)密度方法中,K值的選擇是十分重要的.若K值太小,則很難將低樣本從普通樣本中區(qū)分出來;若K值太大,則那些重要樣本與低樣本的區(qū)別便會(huì)變得模糊不清,而這些微小的差距將更難獲取.因此,需要給參數(shù)K選擇合適的值.

2 研究方法

文章以源項(xiàng)目數(shù)據(jù)選擇為研究對(duì)象,從項(xiàng)目分布的相似性角度出發(fā),首先利用JS散度進(jìn)行源項(xiàng)目選擇,其次提出相對(duì)密度進(jìn)行訓(xùn)練數(shù)據(jù)選擇,最后采用CPDP中常見的分類器對(duì)數(shù)據(jù)進(jìn)行訓(xùn)練,并將模型用于目標(biāo)項(xiàng)目的預(yù)測(cè). 具體的研究框架和方法描述分別見圖1和表1.

2.1 數(shù)據(jù)標(biāo)準(zhǔn)化

本文使用Z-Score標(biāo)準(zhǔn)化方法來處理數(shù)據(jù). Z-Score標(biāo)準(zhǔn)化方法是常見的數(shù)據(jù)處理方法,通過將不同量級(jí)的數(shù)據(jù)轉(zhuǎn)化為同一量級(jí)Z-Score分值進(jìn)行比較.

表1 研究方法Table 1 Research method

該方法計(jì)算出原始數(shù)據(jù)的均值μ和標(biāo)準(zhǔn)差σ,對(duì)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理. Z-Score標(biāo)準(zhǔn)化方法的公式可表示如式(5):

(5)

2.2 基于JS散度的源項(xiàng)目確定

本文在對(duì)候選源項(xiàng)目集使用Z-Score標(biāo)準(zhǔn)化處理之后,將進(jìn)行JS散度的計(jì)算,進(jìn)而完成源項(xiàng)目的確定.

根據(jù)前文描述,JS散度能夠度量?jī)蓚€(gè)項(xiàng)目數(shù)據(jù)分布的相似度,且JS越小證明分布越接近. 因此,本節(jié)工作主要是計(jì)算所有源項(xiàng)目與目標(biāo)項(xiàng)目的JS散度,并選取與目標(biāo)項(xiàng)目最接近的源項(xiàng)目.

具體流程如表2所示. 首先,將候選源項(xiàng)目集和目標(biāo)項(xiàng)目分別擬合混合高斯(Gaussian mixture model,GMM)[18]模型. 高斯混合模型可以看作是由K個(gè)單高斯模型組合而成的模型,這K個(gè)子模型是混合模型的隱變量(hidden variable). 一般來說,一個(gè)混合模型可以使用任何概率分布,這里使用高斯混合模型是因?yàn)楦咚狗植季邆浜芎玫臄?shù)學(xué)性質(zhì)以及良好的計(jì)算性能. 其次通過蒙特卡洛公式,計(jì)算候選項(xiàng)目集和目標(biāo)項(xiàng)目的JS散度,其中JS(Si,T)表示為當(dāng)前第i個(gè)候選項(xiàng)目與目標(biāo)項(xiàng)目計(jì)算得出的JS散度值;并通過比較所得JS散度的大小,選取出與目標(biāo)項(xiàng)目JS散度最小的源項(xiàng)目,即確定其為訓(xùn)練項(xiàng)目.

表2 源項(xiàng)目挑選流程Table 2 Source project selection

2.3 基于相對(duì)密度的源項(xiàng)目數(shù)據(jù)選擇

挑選后的源項(xiàng)目仍包含少量的噪聲或離群點(diǎn)樣本,如若盲目選擇將影響預(yù)測(cè)的效果. 為了篩選合適的訓(xùn)練數(shù)據(jù),本文通過相對(duì)密度反映類別中每個(gè)實(shí)例的重要性,并有選擇地截取數(shù)據(jù),提高訓(xùn)練模型的精度. 具體的方法流程如表3所示.

首先,根據(jù)2.2選取的源項(xiàng)目,統(tǒng)計(jì)其所有樣本數(shù)量,記為N;其次,計(jì)算每個(gè)樣本與第K個(gè)最近鄰的距離,獲得相對(duì)密度;最后,根據(jù)相對(duì)密度進(jìn)行重要性排序,同時(shí)設(shè)定閾值p(percent)選擇合適數(shù)量的樣本作為訓(xùn)練集. 由表3可以看出,參數(shù)K和p的設(shè)定將決定模型訓(xùn)練的質(zhì)量,文中將在后續(xù)章節(jié)討論兩個(gè)參數(shù)的選擇.

表3 源項(xiàng)目的訓(xùn)練數(shù)據(jù)選擇Table 3 Training data selection of the source project

2.4 構(gòu)建跨項(xiàng)目軟件缺陷預(yù)測(cè)模型

為了證明我們方法的適應(yīng)性,我們分別采取CPDP中常用的分類器邏輯回歸(LR)、貝葉斯(NB)、支持向量機(jī)(SVM)、K近鄰(KNN)訓(xùn)練預(yù)測(cè)模型,并用于目標(biāo)項(xiàng)目加以驗(yàn)證,對(duì)得到的CPDP性能進(jìn)行對(duì)比分析.

3 實(shí)驗(yàn)驗(yàn)證

3.1 數(shù)據(jù)集與評(píng)價(jià)指標(biāo)

3.1.1 數(shù)據(jù)集

文中的數(shù)據(jù)集是來自Jureczko和Madeyski[19]收集的PROMISE庫中的開源項(xiàng)目,其已經(jīng)被廣泛應(yīng)用于跨項(xiàng)目缺陷預(yù)測(cè)研究. 表4展示了數(shù)據(jù)集的基本信息,包括項(xiàng)目名稱、項(xiàng)目版本、實(shí)例數(shù)量和缺陷率.

表4 PROMISE數(shù)據(jù)集Table 4 PROMISE data sets

3.1.2 評(píng)價(jià)指標(biāo)

在軟件缺陷預(yù)測(cè)中,合理的評(píng)價(jià)指標(biāo)能更好地評(píng)估預(yù)測(cè)結(jié)果,下文將介紹軟件缺陷預(yù)測(cè)中的基本的評(píng)價(jià)指標(biāo).

軟件缺陷可以看做是二分類問題,若將有缺陷的模塊設(shè)置為正例,無缺陷模塊為反例,則每個(gè)實(shí)例的分類過程中可能會(huì)出現(xiàn)以下4種情況:實(shí)際為有缺陷類被正確分類為有缺陷類,即真正例(true positive,TP);實(shí)際為無缺陷類被錯(cuò)誤分類為有缺陷類,即假正例(false positive,FP);實(shí)際為無缺陷類被正確分類為無缺陷類,即真反例(true negative,TN);實(shí)際為有缺陷類被錯(cuò)誤分類為無缺陷類,即假反例(false negative,FN). 在人工智能中,混淆矩陣是表示精度評(píng)價(jià)的一種標(biāo)準(zhǔn)格式,用n行n列的矩陣形式表示,如表5所示.

表5 混淆矩陣Table 5 Confusion matrix

根據(jù)上述描述,文章將采用F-measure作為本研究的評(píng)價(jià)指標(biāo),具體描述如下:

Precision:正確分類為正樣本的實(shí)例數(shù)目與分類為正樣本的實(shí)例數(shù)目的比率.

(6)

Recall:正確分類為正樣本的實(shí)例數(shù)目與所有正樣本實(shí)例數(shù)目的比率.

(7)

F-measure:對(duì)精確度和召回率的綜合衡量.f值越高,表現(xiàn)越好.

(8)

3.2 實(shí)驗(yàn)設(shè)置與實(shí)驗(yàn)結(jié)果

本文為了確認(rèn)本方法是否優(yōu)于其他方法,我們?cè)赑ROMISE數(shù)據(jù)集上與主流的跨項(xiàng)目缺陷預(yù)測(cè)方法以及設(shè)定的基線方法進(jìn)行了對(duì)比.

首先,對(duì)8種方法進(jìn)行簡(jiǎn)述,如下所示:

(1)DTB[12]方法:在目標(biāo)項(xiàng)目中使用少量的標(biāo)記數(shù)據(jù),用來提高CPDP的效果.

(2)TrAdaboost[13]方法:構(gòu)建預(yù)測(cè)模型,利用目標(biāo)項(xiàng)目中有限數(shù)量的標(biāo)簽數(shù)據(jù)對(duì)源數(shù)據(jù)進(jìn)行重估.

(3)TNB[10]方法:通過data gravitation(DG)方法對(duì)源數(shù)據(jù)進(jìn)行權(quán)重調(diào)整,然后用權(quán)重調(diào)整后的源數(shù)據(jù)構(gòu)建樸素貝葉斯分類器.

(4)TCA+[8]方法:轉(zhuǎn)移成分分析方法,僅使用跨項(xiàng)目數(shù)據(jù)進(jìn)行預(yù)測(cè).

(5)NN filter[9]方法:通過刪除非目標(biāo)項(xiàng)目最近鄰的源項(xiàng)目數(shù)據(jù)來對(duì)源項(xiàng)目數(shù)據(jù)進(jìn)行篩選.

(6)KMM[20]方法:是KMM-MCW中的主要步驟,使用MMD最小化來對(duì)齊分布,降低域間差異,跳過概率密度估計(jì),直接根據(jù)樣本估計(jì)權(quán)重.

(7)KMM-MCW[21]方法:多分量權(quán)重(MCWs)學(xué)習(xí)模型來分析源項(xiàng)目中多個(gè)分量從而不斷優(yōu)化.

(8)基線方法:不做任何數(shù)據(jù)選擇,直接對(duì)使用源項(xiàng)目訓(xùn)練模型進(jìn)行目標(biāo)項(xiàng)目預(yù)測(cè).

表6 各類方法的F-measure結(jié)果比較Table 6 F-measure comparison of various methods

除對(duì)比方法實(shí)驗(yàn)之外,本文為驗(yàn)證所提方法能夠提高不同分類器構(gòu)建的模型性能,在邏輯回歸(LR)、貝葉斯(NB)、支持向量機(jī)(SVM)、K-近鄰(KNN)這幾種CPDP中常見分類器上也做了對(duì)比的實(shí)驗(yàn),具體結(jié)果如表7所示.

表7 不同分類器下本方法獲得的F-measure結(jié)果比較Table 7 F-measure comparison under different classifiers

根據(jù)表6結(jié)果可以發(fā)現(xiàn),與其他方法相比,本文方法最終選取的訓(xùn)練數(shù)據(jù)在大多數(shù)項(xiàng)目上取得較高的F-measure,且整體結(jié)果的均值高于其他方法. 實(shí)驗(yàn)結(jié)果表明,本文方法能夠在最大程度地利用源項(xiàng)目情況下,根據(jù)JS散度和相對(duì)密度選擇合適的訓(xùn)練集構(gòu)建預(yù)測(cè)模型,且獲得較優(yōu)的性能.

從表7可以發(fā)現(xiàn),不同分類器結(jié)合本文方法在整體結(jié)果的均值都有了提升,且在大多數(shù)項(xiàng)目提高預(yù)測(cè)性能. 實(shí)驗(yàn)結(jié)果表明,本文方法能夠適應(yīng)于CPDP中常用的分類器,并提高模型性能.

4 參數(shù)討論

圖2展示了不同項(xiàng)目的K和p組合,相應(yīng)的F-measure分布情況. 由圖2可知,我們能夠根據(jù)最優(yōu)的F-measure找到合適的參數(shù)組合.

圖2 不同K和p組合的F-measureFig.2 F-measure under different K and p

圖3 xerces不同分類器的F-measureFig.3 F-measure of xerces under different classifiers

如圖3所示,文章進(jìn)一步討論了K和p在相同數(shù)據(jù)集上的不同分類器下F-measure的值變化情況. 以xerces為例,圖中結(jié)果表明,當(dāng)F-measure值達(dá)到最高時(shí),不同分類器在當(dāng)前數(shù)據(jù)集上的K和p的組合基本保持一致,這說明經(jīng)過本文方法所選擇的訓(xùn)練數(shù)據(jù)已經(jīng)達(dá)到最優(yōu),且能夠適應(yīng)CPDP中各類常用的分類器.

5 結(jié)論

本文圍繞一對(duì)一的同構(gòu)跨項(xiàng)目缺陷預(yù)測(cè)展開研究,主要針對(duì)源項(xiàng)目訓(xùn)練數(shù)據(jù)選擇的問題,提出基于JS散度和相對(duì)密度的跨項(xiàng)目缺陷預(yù)測(cè)方法. 該方法首先利用JS(Jensen-Shannon divergence)散度選擇與目標(biāo)項(xiàng)目最相似的源項(xiàng)目;其次,提出基于相對(duì)密度的源項(xiàng)目數(shù)據(jù)選擇方法;最后,采用CPDP中常見的分類器構(gòu)建預(yù)測(cè)模型,并用于目標(biāo)項(xiàng)目進(jìn)行驗(yàn)證. 實(shí)驗(yàn)結(jié)果表明,在最大程度利用源項(xiàng)目的情況下,本方法不僅能夠提高缺陷預(yù)測(cè)模型的性能,同時(shí)對(duì)不同分類器表現(xiàn)出較高的適應(yīng)性.

后續(xù)工作中,我們將進(jìn)一步在更多的軟件缺陷數(shù)據(jù)集上驗(yàn)證方法的有效性,并對(duì)方法進(jìn)行擴(kuò)展,使其應(yīng)用于多對(duì)一跨項(xiàng)目缺陷預(yù)測(cè).