基于統(tǒng)計(jì)抽樣和模糊支持向量機(jī)的缺陷分派研究

王存?zhèn)?/p>

（四川大學(xué)計(jì)算機(jī)學(xué)院，成都 610065）

基于統(tǒng)計(jì)抽樣和模糊支持向量機(jī)的缺陷分派研究

王存?zhèn)?/p>

（四川大學(xué)計(jì)算機(jī)學(xué)院，成都 610065）

傳統(tǒng)軟件缺陷分派往往將其轉(zhuǎn)化為分類(lèi)問(wèn)題，從歷史數(shù)據(jù)和機(jī)器學(xué)習(xí)算法的使用兩方面解決。然而，軟件缺陷報(bào)告數(shù)據(jù)經(jīng)常是非均衡的，且數(shù)據(jù)中蘊(yùn)含著模糊的信息，使傳統(tǒng)的分類(lèi)方法達(dá)不到好的預(yù)測(cè)效果。提出基于統(tǒng)計(jì)抽樣的方法，克服缺陷報(bào)告數(shù)據(jù)存在的非均衡性，采用模糊支持向量機(jī)處理數(shù)據(jù)中所蘊(yùn)含的模糊信息。實(shí)驗(yàn)表明，采用統(tǒng)計(jì)抽樣和模糊支持向量機(jī)，確實(shí)對(duì)缺陷分派是有效的，與以往的方法相比，提高缺陷分派的準(zhǔn)確率。

軟件缺陷分派；機(jī)器學(xué)習(xí)；統(tǒng)計(jì)抽樣；模糊支持向量機(jī)

0 引言

隨著軟件規(guī)模的不斷增大，軟件開(kāi)發(fā)和版本的更新伴致使大量缺陷被發(fā)現(xiàn)和提交。在軟件項(xiàng)目中，新的缺陷被提交以后，往往需要通過(guò)人工分派的方式進(jìn)行處理，即由相關(guān)人員閱讀完缺陷報(bào)告之后，根據(jù)經(jīng)驗(yàn)選定合適的缺陷修復(fù)者對(duì)缺陷進(jìn)行修復(fù)。但新的缺陷分派給合適的開(kāi)發(fā)人員去修復(fù)，將耗費(fèi)大量的人力和時(shí)間。

對(duì)軟件缺陷分派，即利用缺陷跟蹤系統(tǒng)中已解決缺陷的信息，幫助新提交的缺陷報(bào)告進(jìn)行有效地分派，來(lái)幫助系統(tǒng)開(kāi)發(fā)與維護(hù)人員節(jié)省更多的時(shí)間用于缺陷的修復(fù)。及時(shí)修復(fù)軟件中發(fā)現(xiàn)的缺陷來(lái)維護(hù)系統(tǒng)的正確性，是保證軟件質(zhì)量和保持開(kāi)發(fā)進(jìn)度的重要基礎(chǔ)。因此，利用現(xiàn)有的缺陷跟蹤系統(tǒng)的數(shù)據(jù)所包含的有用信息，結(jié)合信息處理，數(shù)據(jù)挖掘等領(lǐng)域的技術(shù)，對(duì)新提交的軟件缺陷報(bào)告實(shí)施自動(dòng)分派便成了需要關(guān)注和解決的問(wèn)題。一般地，在對(duì)缺陷報(bào)告進(jìn)行分派時(shí)，經(jīng)常將每一個(gè)缺陷報(bào)告看成一個(gè)文檔，從中提取相關(guān)缺陷描述信息，使用向量空間模型進(jìn)行表征，進(jìn)而將缺陷分派問(wèn)題轉(zhuǎn)換為文本分類(lèi)問(wèn)題來(lái)解決，再使用機(jī)器學(xué)習(xí)算法作為分類(lèi)器來(lái)達(dá)到分派修復(fù)者的目的[1]。

然而，以往的缺陷分派方法多數(shù)基于傳統(tǒng)分類(lèi)模型，它們常常是在數(shù)據(jù)集中各類(lèi)樣本數(shù)目基本均衡的前提下構(gòu)建的，注重提高整體分類(lèi)效果，卻不考慮類(lèi)別的分布狀況，所得的最終分類(lèi)模型傾向于將小類(lèi)歸于大類(lèi)，以此獲得最小的誤差分類(lèi)率[2]。若直接將其應(yīng)用到缺陷分派問(wèn)題中，則會(huì)因該問(wèn)題的特殊性而無(wú)法達(dá)到預(yù)期的效果。

缺陷分派有其自身的特點(diǎn)，缺陷報(bào)告中文本描述信息較短、類(lèi)別（即缺陷報(bào)告對(duì)應(yīng)的缺陷的修復(fù)者）較多、每個(gè)修復(fù)者修復(fù)缺陷數(shù)目大小分布不均勻[3]等導(dǎo)致了所處理的數(shù)據(jù)集的非均衡性，帶來(lái)了數(shù)據(jù)中信息的不確定性和模糊性，使得無(wú)法直接有效地將傳統(tǒng)分類(lèi)模型應(yīng)用于缺陷分派。

針對(duì)存在的問(wèn)題，本文開(kāi)展了以下工作：采用統(tǒng)計(jì)抽樣的方法在缺陷報(bào)告數(shù)據(jù)的預(yù)處理階段解決其非均衡性，使得數(shù)據(jù)集均衡化，然后使用模糊支持向量機(jī)替換常用的分類(lèi)算法支持向量機(jī)來(lái)改善缺陷分派的準(zhǔn)確率。

1 軟件缺陷報(bào)告與軟件缺陷分派

大型的軟件系統(tǒng)開(kāi)發(fā)一般均有專(zhuān)門(mén)的缺陷跟蹤系統(tǒng)。它可以用來(lái)幫助開(kāi)發(fā)者和質(zhì)量維護(hù)人員記錄軟件缺陷，為產(chǎn)品的開(kāi)發(fā)和質(zhì)量維護(hù)提供數(shù)據(jù)支持，有效保證軟件質(zhì)量。

缺陷報(bào)告是缺陷跟蹤系統(tǒng)中用來(lái)描述某個(gè)軟件缺陷的相關(guān)文檔。作為缺陷跟蹤系統(tǒng)中主要的數(shù)據(jù)信息，軟件缺陷報(bào)告通過(guò)多個(gè)屬性刻畫(huà)了缺陷的各維度信息。不同的缺陷跟蹤系統(tǒng)對(duì)缺陷報(bào)告的刻畫(huà)略有不同。以Eclipse的缺陷跟蹤系統(tǒng)Bugzilla中缺陷報(bào)告為例，它的缺陷報(bào)告中包含有缺陷報(bào)告編號(hào)、缺陷出現(xiàn)的平臺(tái)、對(duì)應(yīng)的軟件版本、缺陷狀態(tài)（即修復(fù)情況）、缺陷嚴(yán)重程度、被分派給誰(shuí)來(lái)修復(fù)以及詳細(xì)描述該缺陷的Description信息等。同時(shí)，缺陷報(bào)告中有一個(gè)相應(yīng)的活動(dòng)日志來(lái)保存缺陷報(bào)告信息的修改記錄。由于軟件缺陷分派問(wèn)題一般都轉(zhuǎn)換為一個(gè)文本分類(lèi)問(wèn)題來(lái)處理，所以軟件缺陷報(bào)告中缺陷的詳細(xì)描述信息Description字段將會(huì)成為解決問(wèn)題的主要數(shù)據(jù)來(lái)源[1]，其他屬性將成為缺陷分派的輔助信息。

軟件缺陷分派是利用已經(jīng)修復(fù)的缺陷報(bào)告的歷史信息，通過(guò)將這些歷史數(shù)據(jù)和新提交的缺陷報(bào)告進(jìn)行對(duì)比的方法，將新提交的缺陷報(bào)告分派給合適的修復(fù)人員的過(guò)程。

一般地，將軟件缺陷分派問(wèn)題作為一個(gè)分類(lèi)問(wèn)題處理，即利用已有缺陷報(bào)告的描述信息，已修復(fù)者作為每一個(gè)缺陷報(bào)告的標(biāo)簽，訓(xùn)練分類(lèi)器，對(duì)新進(jìn)的缺陷報(bào)告進(jìn)行分類(lèi)，盡可能地推薦出最合適的缺陷修復(fù)人員[4]。

但缺陷分派問(wèn)題作為一個(gè)具體的應(yīng)用，不能將其看成一個(gè)普通的分類(lèi)問(wèn)題。缺陷報(bào)告數(shù)據(jù)中類(lèi)別較多，每個(gè)修復(fù)者修復(fù)的缺陷數(shù)目分布很不均勻，導(dǎo)致了所提取數(shù)據(jù)集存在嚴(yán)重的非均衡性，以往方法中將小類(lèi)別數(shù)據(jù)直接剔除導(dǎo)致了數(shù)據(jù)信息的缺失。軟件缺陷報(bào)告文本描述信息雜亂，完全是用戶(hù)或者開(kāi)發(fā)者按照個(gè)人的習(xí)慣書(shū)寫(xiě)，使數(shù)據(jù)中蘊(yùn)含更多模糊性信息，為缺陷的準(zhǔn)確分派帶來(lái)了困難。因此，直接使用傳統(tǒng)的機(jī)器學(xué)習(xí)算法作為分類(lèi)器自然無(wú)法得到理想的結(jié)果。

2 基于統(tǒng)計(jì)抽樣和模糊支持向量機(jī)的軟件缺陷分派

對(duì)數(shù)據(jù)集進(jìn)行統(tǒng)計(jì)抽樣是用來(lái)解決非均衡分類(lèi)問(wèn)題主要的解決方法之一。它通過(guò)在數(shù)據(jù)預(yù)處理階段，將相應(yīng)的訓(xùn)練數(shù)據(jù)類(lèi)分布均衡化來(lái)建立模型，以此進(jìn)行分類(lèi)。目前，非均衡數(shù)據(jù)分類(lèi)的相關(guān)方法從數(shù)據(jù)層面采用的策略大致分為過(guò)抽樣、欠抽樣兩種方法[6]。

過(guò)抽樣，是抽樣處理不平衡數(shù)據(jù)最常用的方法。它是通過(guò)改變訓(xùn)練數(shù)據(jù)的分布來(lái)消除或減小數(shù)據(jù)的不平衡。過(guò)抽樣方法通過(guò)增加少數(shù)類(lèi)樣本來(lái)提高其分類(lèi)性能，最簡(jiǎn)單的辦法是復(fù)制少數(shù)類(lèi)樣本，缺點(diǎn)是引入了額外的訓(xùn)練數(shù)據(jù)，會(huì)延長(zhǎng)構(gòu)建分類(lèi)器所需要時(shí)間，沒(méi)有給少數(shù)類(lèi)增加任何新的信息。為克服這些問(wèn)題，有些改進(jìn)算法被提出，如SMOTE[8]等。

欠抽樣，該方法通過(guò)減少多數(shù)類(lèi)樣本來(lái)提高少數(shù)類(lèi)的分類(lèi)性能。最簡(jiǎn)單的方法是通過(guò)隨機(jī)地去掉一些多數(shù)類(lèi)樣本來(lái)減少多數(shù)類(lèi)的規(guī)模。

本文采用的統(tǒng)計(jì)抽樣方法便是SMOTE方法。SMOTE方法作為一種改進(jìn)的過(guò)抽樣算法，全名為Synthetic Minority Over-sampling Technique，主要思想是在距離較近的少數(shù)類(lèi)樣本之間插入一個(gè)人工合成的少數(shù)類(lèi)樣本，以此增加少數(shù)類(lèi)樣本數(shù)量，均衡化數(shù)據(jù)集。

傳統(tǒng)的支持向量機(jī)[9]（Support Vector Machine,SVM）只能解決訓(xùn)練集是普通集合的情形，而在實(shí)際應(yīng)用中，訓(xùn)練集中的元素普遍存在模糊性。在SVM中引入模糊隸屬度，可使SVM推廣到具有模糊成員訓(xùn)練集的SVM，即模糊支持向量機(jī)（Fuzzy Support Vector Ma-chine，F(xiàn)SVM）。模糊支持向量機(jī)的提出是針對(duì)支持向量機(jī)對(duì)訓(xùn)練樣本內(nèi)的噪音和孤立點(diǎn)的敏感性，在支持向量機(jī)中引入模糊參數(shù)，從而減弱噪音及孤立點(diǎn)對(duì)分類(lèi)的影響。

設(shè)訓(xùn)練集為S={（x1，y1，s1），（x2，y2，s2），…，（xl，yl，sl）}，其中，xj∈Rn，yj∈{-1，1}，σ≤sj≤1，σ為大于0的實(shí)數(shù)；sj為訓(xùn)練點(diǎn)（xj，yj，sj）的輸出yj=1（正類(lèi)）或yj=-1（負(fù)類(lèi)）的模糊隸屬度（j=1，2，…，l）。顯然，F(xiàn)SVM與傳統(tǒng)SVM最大的差異就在于模糊隸屬度sj的存在。由于模糊隸屬度sj是訓(xùn)練點(diǎn)（xj，yj，sj）隸屬于某一類(lèi)的程度，而參數(shù)ξj（j=1，2，…，l）是對(duì)錯(cuò)分程度的度量，因此sjξj成為衡量對(duì)重要性不同的變量錯(cuò)分程度的度量。對(duì)于線(xiàn)性問(wèn)題，求最優(yōu)分類(lèi)超平面問(wèn)題轉(zhuǎn)化為求解如下二次規(guī)劃問(wèn)題：

這里將模糊支持向量機(jī)從二分類(lèi)問(wèn)題擴(kuò)展到多分類(lèi)問(wèn)題中[8]。

據(jù)上文所說(shuō)，缺陷分派問(wèn)題相較于一般的分類(lèi)問(wèn)題有其獨(dú)有的特點(diǎn)。通過(guò)對(duì)缺陷報(bào)告進(jìn)行數(shù)據(jù)提取得到的數(shù)據(jù)集往往存在嚴(yán)重的非均衡性。通過(guò)對(duì)數(shù)據(jù)集統(tǒng)計(jì)抽樣，可以重構(gòu)分類(lèi)模型所需的數(shù)據(jù)集，克服原數(shù)據(jù)集的非均衡問(wèn)題，以使之后建立的分類(lèi)模型擁有更好的分類(lèi)性能。在數(shù)據(jù)集均衡化之后，選用模糊支持向量機(jī)算法作為分類(lèi)算法構(gòu)建分類(lèi)器，發(fā)揮其處理數(shù)據(jù)中所蘊(yùn)含不確定和模糊信息的優(yōu)勢(shì)，使得缺陷分派精度得到改善。

總的來(lái)說(shuō)，基于統(tǒng)計(jì)抽樣和模糊支持向量機(jī)的缺陷分派方法從缺陷分派問(wèn)題的數(shù)據(jù)預(yù)處理和使用的分類(lèi)方法兩方面來(lái)解決該問(wèn)題。實(shí)驗(yàn)設(shè)計(jì)框架如下。

3 實(shí)驗(yàn)及結(jié)果分析

圖1

實(shí)驗(yàn)選取了Eclipse的缺陷跟蹤系統(tǒng)Bugzilla中 9000個(gè)缺陷報(bào)告。然后根據(jù)以下幾條規(guī)則對(duì)缺陷報(bào)告進(jìn)行篩選：若缺陷報(bào)告處于“解決”狀態(tài)，是被Assignee當(dāng)中的開(kāi)發(fā)者修復(fù)的，那么Assignee就是最后的修復(fù)者；若是一個(gè)重復(fù)的缺陷報(bào)告，修復(fù)者就是起初被重復(fù)的那個(gè)缺陷報(bào)告的修復(fù)者；若缺陷報(bào)告的“解決狀態(tài)”是“無(wú)法重現(xiàn)”或者是“無(wú)法修復(fù)”，那么這些缺陷報(bào)告則為沒(méi)有修復(fù)標(biāo)簽的數(shù)據(jù)，剔除[10]。

經(jīng)過(guò)篩選剔除后，還剩7746個(gè)缺陷報(bào)告。提取每個(gè)缺陷報(bào)告中Description中信息作為文本，修復(fù)缺陷的人作為文本的類(lèi)別標(biāo)簽，然后用TF-IDF（Term Fre-quency-Inverse Document）構(gòu)建向量空間模型，將每個(gè)缺陷報(bào)告表示成單詞空間上的向量[11]，如此便將缺陷報(bào)告表征為一個(gè)可以建立分類(lèi)模型的特征空間。然后，使用SMOTE方法進(jìn)行統(tǒng)計(jì)抽樣，以使特征空間數(shù)據(jù)均衡化。采用10折交叉驗(yàn)證（即將數(shù)據(jù)集分成10份，每次取9份做訓(xùn)練集，剩下的一份作為測(cè)試集）取平均值的方法進(jìn)行模型的訓(xùn)練及測(cè)試驗(yàn)證，避免抽樣偏差影響實(shí)驗(yàn)結(jié)果[11]。度量結(jié)果的準(zhǔn)確率定義為：

為了驗(yàn)證采用抽樣方法SMOTE和模糊支持向量機(jī)對(duì)缺陷分派方法的有效性，這里在不同的特征維度[12]50、100、150、200、300、400、500、700維下做了兩組實(shí)驗(yàn)。圖2為對(duì)訓(xùn)練集使用抽樣方法進(jìn)行數(shù)據(jù)均衡化和未使用抽樣方法，最終采用支持向量機(jī)訓(xùn)練模型[13]所得結(jié)果。圖3為對(duì)訓(xùn)練集使用抽樣方法SMOTE后，分別采用支持向量機(jī)和模糊支持向量機(jī)訓(xùn)練模型所得結(jié)果。

實(shí)驗(yàn)結(jié)果表明，在使用傳統(tǒng)的支持向量機(jī)訓(xùn)練分類(lèi)模型之前，對(duì)訓(xùn)練集進(jìn)行抽樣使數(shù)據(jù)集均衡化確實(shí)顯著地提高了缺陷分派的準(zhǔn)確率。同時(shí)，當(dāng)對(duì)訓(xùn)練數(shù)據(jù)集進(jìn)行SMOTE抽樣后，再使用模糊支持向量機(jī)[14]作為分類(lèi)算法構(gòu)建分類(lèi)器，確實(shí)相較一般支持向量機(jī)提高了缺陷分派的準(zhǔn)確率。這是因?yàn)椋闃臃椒ㄔ跀?shù)據(jù)預(yù)處理階段的使用，改善了數(shù)據(jù)集中存在的非均衡性，模糊支持向量機(jī)算法也通過(guò)發(fā)揮其處理數(shù)據(jù)中不確定的、模糊的信息進(jìn)一步提高了缺陷分派的準(zhǔn)確率。這里，僅是通過(guò)分類(lèi)器給出了一個(gè)修復(fù)缺陷的開(kāi)發(fā)者，若給出一個(gè)可能的修復(fù)者列表，將可以大幅度提高分派的準(zhǔn)確率[11]。

圖2 支持向量機(jī)缺陷分派率

圖3 支持向量機(jī)和模糊支持向量機(jī)缺陷分派

4 結(jié)語(yǔ)

本文提出了基于統(tǒng)計(jì)抽樣和模糊支持向量機(jī)組合的軟件缺陷分派方法，從數(shù)據(jù)預(yù)處理和使用的分類(lèi)器算法兩方面來(lái)解決問(wèn)題。將抽樣方法應(yīng)用到缺陷分派的數(shù)據(jù)預(yù)處理階段，來(lái)克服缺陷數(shù)據(jù)的非均衡性，有效地提高了缺陷分派的準(zhǔn)確率。其次，在構(gòu)建分類(lèi)器時(shí)采用模糊支持向量機(jī)來(lái)發(fā)揮其處理模糊信息的優(yōu)勢(shì)。實(shí)驗(yàn)表明，基于統(tǒng)計(jì)抽樣和模糊支持向量機(jī)的軟件缺陷分派方法，確實(shí)是可行并且有效的，與傳統(tǒng)方法相比，進(jìn)一步提高了缺陷分派的準(zhǔn)確率，有助于缺陷報(bào)告更加有效地分派給合適的修復(fù)者。

[1]Cubranic D，Murphy G C.Automatic Bug Triage Using Text Categorization[C].Proc.of the 16th International Conference on Software Engineering and Knowledge Engineering.Edinburgh，UK:2004

[2]Weiss，G.M.，McCarthy，K，Zabar，B.Cost-Sensitive Learning vs.Sampling:Which is Best for Handing Unbalanced Classes with Unequal Error Costs[C].Int Conf.on Data Mining，2007:35-41

[3]Anvik J，Hiew L，Murphy G C.Who Should Fix This Bug[C].Proc.of the 28th International Conf.on Software Engineering.Shanghai，China:2006

[4]J.Anvik.Automating Bug Report Assignment.In Proceedings of the 28th International Conference on Software Engineering，Pages 937-940.ACM，2006

[5]J.Xuan，H.Jiang.Z.Ren，J.Yan，Z.Luo.Automatic Bug Triage Using Semi-Supervised Text Classification

[6]Nathalie Japkowicz.Learning from Imbalanced Data Sets:a Comparison of Various Strategies[C].AAAI Workshop on Learning from Imbalanced Data Sets，2000:10-15

[7]C.Weiss，R.Premraj，T.Zimmermann，and A.Zeller.How Long Will It Take to Fix This Bug.Mining Software Repositories，2007. ICSE Workshops MSR07.Fourth International Workshop on，May 2007

[8]F.Sebastiani.Machine Learning in Automated Text Categorization.ACM Computing surveys（CSUR），34（1）:1 47，2002

[9]Hui Han，Wen-Yuan Wang，Bing-Huan Mao.Borderline-SMOTE:A New Over-Sampling Method in Imbalanced Data Sets Learning [J].Lecture Notes in Computer Science，2005，3644:878-887

[10]J.T.Y.Kwok.Automated Text Categorization Using Support Vector Machine.In Proceedings of the International Conference on Neural Information Processing，1998

[11]J.K.Anvik.Assisting Bug Report Triage Through Recommendation.PhD thesis，University of British Columbia，2007

[12]Steve R.Gunn.Support Vector Machines for Classification and Regression.Technical Report，University of Southampton，F(xiàn)aculty of Engineering，Science and Mathematics;School of Electronics and Computer Science，1998

[13]Fabrizio Sebastiani.Machine Learning in Automated Text Categorization.ACM Computing Surveys，34（1）:1-47，2002

[14]K.Shima，M.Todoriki，and A.Suzuki.SVM-Based Feature Selection of Latent Ssemantic Features.Pattern Recognition Letters，2004，25（9）:1051-1057

Research on Software Bug Triage Based on Statistical Sampling and Fuzzy Support Vector Machine

WANG Cun-wei

（College of Computer Science，Sichuan University，Chengdu 610065）

Traditional software bug triage will often be treated as a classification problem to solve it by the processing of historical data and the use of machine learning algorithms.However,software bug report data is often unbalanced and contains fuzzy information,so that traditional classification methods can’t achieve a good effect.Comes up with statistical sampling methods to solve unbalance data and uses fuzzy support vector machine(FSVM)to deal with fuzzy information.Finally,the experimental results show that software bug triage is effective by adopting statistical sampling and FSVM.Compared with the previous methods,it really improves the accuracy of bug triage.

Software Bug Triage;Machine Learning;Statistical Sampling;Fuzzy Support Vector Machine

1007-1423（2016）08-0046-05

10.3969/j.issn.1007-1423.2016.08.009

王存?zhèn)ィ?989-），男，山西大同人，在讀碩士研究生，研究方向?yàn)榻?jīng)驗(yàn)軟件工程

2016-03-01

2016-03-10