Stack Overflow的缺陷代碼特征分析與相似缺陷檢測

標簽)部分、停用詞、數(shù)字、標點符號和其他非字母字符等部分，提取缺陷報告中剩余的部分；

3)使用 Snowball詞干分析器提取詞匯的詞干部分(例如，“effective”和“effects”提取的詞干為“effect”)，通過這個方法可以提取到詞匯的詞干部分，將相似的詞匯統(tǒng)一為相同的形式.

在上述 3 個步驟之后，為了進一步提高分析的準確率，根據(jù)各個詞干出現(xiàn)的次數(shù)對所有的詞干項進行排序，研究主要選取出現(xiàn)次數(shù)較高的詞干，而出現(xiàn)次數(shù)較低的詞干不具有代表意義.因此本文將出現(xiàn)次數(shù)小于 10 次的詞干丟棄，不作分析.

3.3 缺陷報告聚類分析

缺陷報告的聚類分析主要是對數(shù)據(jù)集通過LDA主題模型分析[13-15]，然后將不同的缺陷報告分組到不同的主題中去，以此完成缺陷報告聚類分析.在 LDA 中，主題的數(shù)量 K 的選擇是非常重要的，K值的大小決定了LDA主題模型提取主題的情況，對最終主題提取結(jié)果具有一定的影響.因此，通過分析文獻[16]的方法，采用等梯度漸進搜索的方式，通過梯度漸進搜索獲得K的最優(yōu)值.

算法 1.等梯度LDA搜索最佳主題

輸入：主題數(shù)量的搜索范圍[Mintopic，Maxtopic]；

梯度數(shù)組g；

缺陷報告數(shù)據(jù)集M

輸出：最佳主題數(shù)量kbest、主題topic

算法描述：

1.初始趟數(shù)i=0，根據(jù)i的取值從g中選擇對應(yīng)梯度gi，按gi從搜索范圍[Mintopic，Maxtopic]內(nèi)選擇一個等差數(shù)列k，等差數(shù)列的值為主題數(shù)量；

2.將M以及k中的每一項ki作為主題數(shù)量傳入到LDA模型中進行訓(xùn)練，計算Ccoh，并選取Ccoh最高的主題數(shù)ktop；

3.以ktop為中心、gi為半徑，形成新的搜索范圍[min(Mintopic，ky-gi)，max(Maxtopic，ky+gi)]，搜索的趟數(shù)加1；

4.重復(fù)步驟1-3，直到g遍歷完；

5.輸出Ccoh最高的主題數(shù)即為最佳主題數(shù)kbest；

6.將M以及最佳主題的數(shù)kbest傳入LDA模型中進行訓(xùn)練；

7.輸出主題topic；

算法1給出了利用LDA搜索最佳主題數(shù)量并的到最佳主題的過程.將搜索范圍設(shè)為[1，10]的整數(shù)，即設(shè)置最佳主題的數(shù)量至少為1個，而至多為10個.此外，g是由一些整數(shù)按照從大到小的順序排列組成.例如以2為梯度進行選擇，所選的主題數(shù)數(shù)列為[1，3，5，7，9]，通過一致性系數(shù)Ccoh的結(jié)果得到最佳主題數(shù)n為7，結(jié)果如圖3所示.Ccoh計算使用gensim包中的CoherenceModel實現(xiàn).Ccoh的大小決定了聚類的效果，對于后續(xù)的工作有重要的影響.當主題數(shù)量對應(yīng)的一致性系數(shù)較高時，則說明在LDA主題模型中設(shè)置此主題數(shù)量可達到較好的結(jié)果.通過上述 LDA 的主題數(shù)漸進搜索的過程，可以為數(shù)據(jù)集所有缺陷報告找到適當數(shù)量的主題.

圖3 最佳主題數(shù)搜素算法過程中一致性系數(shù)的分布Fig.3 Distribution of coherence coefficient in process of optimal topic number search algorithm

本文通過根據(jù)算法1搜索得到最佳主題，將缺陷報告分配到對應(yīng)的主題中.通過對缺陷報告的聚類分析，發(fā)現(xiàn)有5類主題中包含了大量的缺陷報告，共占缺陷報告總數(shù)的85%.本文決定對于出現(xiàn)頻率較高的這5類主題進行研究.

圖4 各類缺陷所占的比例Fig.4 Proportion of various defects

根據(jù)每一個主題以及該主題相關(guān)的關(guān)鍵詞，考慮到可讀性和理解效果對于主題名稱進行人工的歸納，本文把5類主題定義為：由數(shù)據(jù)操作造成的軟件缺陷、由控制邏輯造成的軟件缺陷、由計算過程造成的軟件缺陷、由數(shù)據(jù)庫造成的軟件缺陷、由調(diào)用過程造成的軟件缺陷，每一個主題名對應(yīng)一類缺陷.如圖4所示，給出了聚類分析的結(jié)果——各類缺陷所占比例.

4 缺陷類型以及缺陷代碼特征分析

4.1 缺陷類型分析

本文對于上述分析中得到的5類出現(xiàn)頻率較高的缺陷，結(jié)合造成缺陷的原因以及對于數(shù)據(jù)集中對應(yīng)的代碼段進行分析.首先，分別對于Stack overflow中5類出現(xiàn)頻率較高的缺陷的數(shù)據(jù)，通過人工進行隨機抽樣分析，抽取的比例均為該類缺陷報告總數(shù)量60%，如表1所示，為用于分析的各類缺陷的數(shù)量.其次，對于各個類型下缺陷報告中的代碼信息進行研究，以此列舉出各類缺陷中可能出現(xiàn)的缺陷模式.如表2所示，給出了經(jīng)過分析與研究得到的每一項缺陷類型以及類型的描述以及缺陷情況的列舉.

表1 用于分析的各類缺陷的數(shù)量Table 1 Number of various types of defects used for analysis

表2 缺陷類型以及描述Table 2 Defect type and description

4.2 缺陷代碼特征分析

本文需要對于不同缺陷類別下代碼特征進行分析，由于篇幅，這里主要給出出現(xiàn)頻率最高的缺陷—數(shù)據(jù)操作造成的軟件缺陷進行研究.通過對缺陷代碼數(shù)據(jù)集進行分析并參考大量相關(guān)文獻，針對數(shù)據(jù)操作缺陷類別下的幾種不同的缺陷代碼情況，通過分析造成此種情況下軟件缺陷的原因，對影響代碼缺陷的特征進行了研究.針對數(shù)據(jù)操作缺陷的不同缺陷代碼情況分別給出需要關(guān)注的缺陷代碼特征，如表3所示，給出數(shù)據(jù)操作缺陷的幾種情況以及特征和提取方法.

5 特征相似度的缺陷檢測模型實證

為了進行全面的實驗研究，使用在Stack Overflow上名為“Posts.xml”的公開數(shù)據(jù)集.該數(shù)據(jù)集包含從2008年7月-2018年9月的41782536個帖子.每個帖子均包括標題，正文和相關(guān)信息描述.為了進行特征相似度的缺陷檢測模型，將得到的數(shù)據(jù)按6：4分成兩部分，一部分缺陷報告的數(shù)據(jù)用于建立缺陷檢測模型；另一部分缺陷報告的數(shù)據(jù)用于缺陷檢測模型的驗證.

表3 數(shù)據(jù)操作缺陷不同情況的特征Table 3 Characteristics of different conditions of data manipulation defects

本文主要針對數(shù)據(jù)操作缺陷構(gòu)建缺陷檢測模型.數(shù)據(jù)操作缺陷共包含3個缺陷子類：D1(Java空指針異常)、D2(Java數(shù)據(jù)類型轉(zhuǎn)換異常)、D3(數(shù)組下標越界異常)；對于每一缺陷子類都有相應(yīng)的缺陷特征，例如：D1共有4個缺陷特征分別為聲明類的對象但未實例化、聲明類的對象但指向空值、字符串變量未初始化或初始化為null、接口類型的對象沒有用具體的類初始化，分別用T11、T12、T13、T14表示，對應(yīng)的缺陷特征向量分別為D11、D12、D13、D14.本文通過統(tǒng)計缺陷報告中各個缺陷特征出現(xiàn)的頻率設(shè)定每個缺陷特征的權(quán)重.根據(jù)公式(1)計算每個缺陷特征的權(quán)重wkp.

為了評估本文提出的基于特征相似度的缺陷檢測模型的有效性，本文從用于驗證的40%的缺陷報告數(shù)據(jù)集中選取了屬于數(shù)據(jù)操作缺陷的缺陷報告，并把這些缺陷報告根據(jù)其特征歸到數(shù)據(jù)操作缺陷中的D1、D2、D3共3個子類.如表4所示，給出了用于驗證的數(shù)據(jù)操作缺陷子類的數(shù)量.

本文使用Java開發(fā)語言開發(fā)完成了基于特征相似度的缺陷檢測模型的開發(fā)程序.檢測程序在windows平臺上執(zhí)行，其中內(nèi)存為12GB、CPU為4×3.2GHz、硬盤容量為500GB，該程序?qū)⒈?中的待驗證的各類缺陷數(shù)據(jù)作為輸入，使用本文提出的基于特征相似度的缺陷檢測模型，循壞3次分別檢測D1、D2、D3情況下相似度的值超過0.60時的缺陷，輸出檢測到的缺陷的數(shù)量.其中相似缺陷檢測算法的執(zhí)行時間為1908ms，內(nèi)存消耗為40.3MB.最后人工審查檢出缺陷的代碼，計算準確率.如表5所示，為相似缺陷檢測情況統(tǒng)計.

表4 數(shù)據(jù)操作缺陷子類的數(shù)量Table 4 Number of data manipulation defect subclasses

表5 相似缺陷檢測情況統(tǒng)計Table 5 Similar defect detection statistics

從表5可以看出，本文提出的基于特征相似度的缺陷檢測模型可以較準確地檢測出不同類相似缺陷，尤其是對于數(shù)據(jù)操作缺陷子類D1，有較高的準確率.但是對于不同的缺陷子類可以檢出缺陷的準確率不同，存在一定的誤差.本文考慮造成準確率有高有低的原因和提取得到的缺陷特征關(guān)系較大，缺陷特征提取算法還可以進一步完善.

6 小 結(jié)

本文基于Stack Overflow中大量數(shù)據(jù)的分析提出了缺陷代碼特征分析的相似缺陷檢測模型.首先通過聚類分析將Stack Overflow中缺陷報告分到不同的缺陷類別中，然后對于數(shù)據(jù)操作缺陷的的幾種情況給出相應(yīng)的缺陷代碼特征以及特征提取的方法，并且對于每一個缺陷代碼特征，根據(jù)缺陷代碼數(shù)據(jù)集計算其權(quán)重，最后，根據(jù)每種缺陷情況下每個缺陷代碼特征的權(quán)重構(gòu)建特征相似度的缺陷檢測模型.

實驗結(jié)果表明，本文提出的基于缺陷代碼特征分析的相似缺陷檢測方法可以檢測到大部分相似缺陷.本文提出的方法對于開發(fā)人員在代碼審查和測試等軟件質(zhì)量保證活動中的任務(wù)安排與資源分配有重要作用.但是本文提出的方法在對于每一種缺陷情況的缺陷代碼特征的提取尚沒能給出自動化方法，如果利用機器學(xué)習(xí)的方法對于缺陷代碼特征分析并構(gòu)建檢測模型，對于診斷新代碼中是否存在相似軟件缺陷更有價值.