• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于半監(jiān)督學(xué)習(xí)方法的軟件故障定位研究

    2016-01-19 03:31:20
    關(guān)鍵詞:訓(xùn)練樣本

    ?

    基于半監(jiān)督學(xué)習(xí)方法的軟件故障定位研究

    鄭煒,吳瀟雪,譚鑫,彭耀鵬,楊帥

    (西北工業(yè)大學(xué)軟件與微電子學(xué)院,陜西西安710072)

    摘要:故障定位是軟件工程中最為耗時(shí)和昂貴的活動(dòng)之一,為降低軟件故障定位的成本及提高故障定位的效率,機(jī)器學(xué)習(xí)方法被廣泛應(yīng)用于自動(dòng)化軟件故障定位中。傳統(tǒng)的監(jiān)督學(xué)習(xí)方法需要獲取大量標(biāo)記樣本,這在實(shí)際項(xiàng)目中相當(dāng)困難,且費(fèi)用高昂。針對(duì)這一問(wèn)題,提出采用半監(jiān)督學(xué)習(xí)方法進(jìn)行軟件故障定位的思想,故障定位基于語(yǔ)句級(jí)別,通過(guò)應(yīng)用程序中可執(zhí)行語(yǔ)句與測(cè)試用例執(zhí)行之間動(dòng)態(tài)屬性、以及傳統(tǒng)軟件故障定位中較有效的若干靜態(tài)屬性實(shí)現(xiàn)協(xié)同訓(xùn)練目的,得到訓(xùn)練良好的分類器,然后用該分類器對(duì)程序其余語(yǔ)句進(jìn)行分類,從而得到故障語(yǔ)句。文章最后在Siemens Suite數(shù)據(jù)集中對(duì)算法進(jìn)行驗(yàn)證,通過(guò)與傳統(tǒng)監(jiān)督學(xué)習(xí)算法進(jìn)行對(duì)比,證明半監(jiān)督學(xué)習(xí)算法在軟件故障定位中的有效性。

    關(guān)鍵詞:軟件故障定位;半監(jiān)督學(xué)習(xí);協(xié)同訓(xùn)練算法;訓(xùn)練樣本

    軟件故障定位是軟件調(diào)試過(guò)程中最為耗時(shí)和合耗資源的活動(dòng)之一。為了減輕程序員手工排查程序語(yǔ)句的工作量,提高代碼調(diào)試效率和可靠性,研究人員提出了一系列自動(dòng)化的故障定位方法。機(jī)器學(xué)習(xí)方法被廣泛采用?;诒O(jiān)督學(xué)習(xí)方法應(yīng)用較廣,且可靠性高。但是存在一個(gè)重要問(wèn)題,就是大量標(biāo)記樣本的獲取,因?yàn)樵趯?shí)際項(xiàng)目中大量標(biāo)記樣本的獲取極其困難且代價(jià)高昂[1]。

    針對(duì)標(biāo)記樣本獲取困難這一問(wèn)題,本文提出基于半監(jiān)督學(xué)習(xí)的軟件故障定位方法,應(yīng)用Zhou等人給出的一種命名為Co-Trade的協(xié)同訓(xùn)練風(fēng)范的半監(jiān)督學(xué)習(xí)算法[2],同時(shí)使用軟件靜態(tài)屬性和動(dòng)態(tài)屬性進(jìn)行協(xié)同訓(xùn)練分類,從而實(shí)現(xiàn)軟件故障定位。本文采用的軟件故障定位模型基于語(yǔ)句級(jí)別。

    1 基于機(jī)器學(xué)習(xí)的軟件故障定位

    機(jī)器學(xué)習(xí)算法是一類從數(shù)據(jù)中自動(dòng)分析獲得規(guī)律,并利用規(guī)律對(duì)未知數(shù)據(jù)進(jìn)行預(yù)測(cè)的算法,已廣泛應(yīng)用于各個(gè)領(lǐng)域。在軟件故障定位中,也已經(jīng)取得一定研究成果。

    1.1基于監(jiān)督學(xué)習(xí)軟件故障定位

    監(jiān)督學(xué)習(xí)是學(xué)習(xí)器通過(guò)對(duì)有標(biāo)記的訓(xùn)練樣本進(jìn)行學(xué)習(xí),建立模型用于預(yù)測(cè)未知示例樣本的標(biāo)記。

    Wong等人[4-5]先后提出基于BP神經(jīng)網(wǎng)絡(luò)和RBF神經(jīng)網(wǎng)絡(luò)的軟件故障定位模型,在這2個(gè)模型中,每個(gè)測(cè)試用例的覆蓋信息(覆蓋了哪些語(yǔ)句)和相應(yīng)執(zhí)行結(jié)果(成功或失敗)構(gòu)建成一張二維表,用于訓(xùn)練BP/RBF神經(jīng)網(wǎng)絡(luò)。然后用這種學(xué)習(xí)了測(cè)試用例與語(yǔ)句之間覆蓋關(guān)系的神經(jīng)網(wǎng)絡(luò)模型對(duì)虛擬測(cè)試用例(每個(gè)測(cè)試用例只覆蓋一條語(yǔ)句)進(jìn)行預(yù)測(cè),從而得到每條語(yǔ)句包含bug的可能性。

    Briand等[6]采用C4.5決策樹從測(cè)試用例輸入輸出中識(shí)別出導(dǎo)致測(cè)試失敗的條件,認(rèn)為相同條件下執(zhí)行失敗的測(cè)試用例由相同原因?qū)е拢虼藢?duì)失敗測(cè)試用例覆蓋的語(yǔ)句進(jìn)行歸類和排名,從而達(dá)到對(duì)Tarantula語(yǔ)句可疑度排名的改進(jìn)。

    然而,大量實(shí)驗(yàn)結(jié)果和文獻(xiàn)數(shù)據(jù)表明數(shù)據(jù)的質(zhì)量和比例是訓(xùn)練良好的分類器進(jìn)行故障定位的2個(gè)重要因素。但是,準(zhǔn)確可靠的軟件質(zhì)量標(biāo)簽只有經(jīng)過(guò)詳盡、完整的軟件測(cè)試和對(duì)錯(cuò)誤的精確定位才能得到,并且源代碼中錯(cuò)誤語(yǔ)句的比例要比正確語(yǔ)句的比例低得多,此過(guò)程耗時(shí)較長(zhǎng)且成本較高。因而,這些都限制了基于監(jiān)督學(xué)習(xí)軟件故障定位算法的發(fā)展和實(shí)際項(xiàng)目應(yīng)用。但是,如果放棄這些標(biāo)記樣本,僅僅使用無(wú)標(biāo)簽的樣本數(shù)據(jù)進(jìn)行無(wú)監(jiān)督學(xué)習(xí)又會(huì)使得標(biāo)記的樣本數(shù)據(jù)失去價(jià)值,且非監(jiān)督學(xué)習(xí)效果并不理想。因此,怎樣更好地利用這2種數(shù)據(jù)成為一個(gè)很受關(guān)注的難題。為了解決這一困難,人們提出了半監(jiān)督學(xué)習(xí)方法,該方法能夠同時(shí)利用好這2種樣本,達(dá)到更好的分類結(jié)果。

    1.2半監(jiān)督學(xué)習(xí)技術(shù)在軟件故障定位中的應(yīng)用

    半監(jiān)督學(xué)習(xí)的基本設(shè)置是給定一個(gè)來(lái)自某未知分布的有標(biāo)記示例集以L = { (x1,y1),(x2,y2),…,(x| L|,y| L|) }及一個(gè)未標(biāo)記示例集U = { x1,x2,…,x| U|,期望函數(shù)f∶X→Y可以準(zhǔn)確的對(duì)示例x預(yù)測(cè)其標(biāo)記y。這里xi,x'j∈X均為d維向量,yi∈Y為示例xi的標(biāo)記,| L |和| U|分別為L(zhǎng)和U的大小,即它們所包含的示例數(shù)。

    在軟件故障定位中,目前尚未有基于半監(jiān)督學(xué)習(xí)進(jìn)行軟件故障定位的研究成果。本文通過(guò)對(duì)軟件故障定位技術(shù)及特點(diǎn)的分析,以及半監(jiān)督學(xué)習(xí)算法進(jìn)行學(xué)習(xí)研究,結(jié)合實(shí)際項(xiàng)目標(biāo)記樣本獲取困難且成本高昂的實(shí)際情況,提出采用一種協(xié)同風(fēng)范的半監(jiān)督學(xué)習(xí)算法——Co-Trade進(jìn)行軟件故障定位。

    2 基于Co-Trade算法故障定位模型

    本文采用的軟件故障定位模型中,故障定位基于語(yǔ)句級(jí)別,我們將程序中的語(yǔ)句作為樣本。假設(shè)程序P由語(yǔ)句集S構(gòu)成,對(duì)于S中的任意一條語(yǔ)句s,其分類結(jié)果有2種可能性: True或者False,我們用結(jié)果True表示該語(yǔ)句不包含任何故障,用False表示語(yǔ)句包含故障,從而確定出故障存在的位置。

    2.1Co-Trade算法優(yōu)點(diǎn)

    Co-Training算法在文本處理方面具有絕對(duì)優(yōu)勢(shì),在對(duì)經(jīng)典半監(jiān)督學(xué)習(xí)算法進(jìn)行分別學(xué)習(xí)和對(duì)比后,我們選擇Co-Training作為基礎(chǔ)。Co-Trade算法是Goldman和Zhou[2]在Co-Training算法基礎(chǔ)上提出的一種基于切割邊緣權(quán)重統(tǒng)計(jì)的數(shù)據(jù)編輯技術(shù)進(jìn)行優(yōu)化的算法。該算法在測(cè)試標(biāo)記的準(zhǔn)確性、確定標(biāo)記的可信度以及確定下一迭代的新標(biāo)記數(shù)據(jù)方面進(jìn)行了改進(jìn)。在測(cè)試標(biāo)記的準(zhǔn)確性上,Co-Trade算法中采用了多次交叉十倍驗(yàn)證的方法;在確定標(biāo)記的可信度方面,使用基于切割邊緣權(quán)重統(tǒng)計(jì)的數(shù)據(jù)編輯技術(shù)。因此其分類可信度比Co-Training算法要高。

    2.2Co-Trade算法描述

    Co-Trade算法是Co-Training算法基礎(chǔ)上加入了可信度計(jì)算,從而達(dá)到訓(xùn)練處高可信度分類器的效果。因此,我們首先在算法1中對(duì)標(biāo)準(zhǔn)協(xié)同訓(xùn)練算法Co-Training進(jìn)行描述。Co-Training要求數(shù)據(jù)集有2個(gè)充分冗余視圖,即滿足如下條件的數(shù)據(jù)集:①每個(gè)數(shù)據(jù)集都足以描述該問(wèn)題;②每個(gè)屬性都條件獨(dú)立于第二個(gè)數(shù)據(jù)集。標(biāo)準(zhǔn)的協(xié)同算法在2個(gè)視圖上利用有標(biāo)記示例分別訓(xùn)練出一個(gè)分類器。然后,在協(xié)同訓(xùn)練過(guò)程沖,每一個(gè)分類器從無(wú)標(biāo)記示例中挑選出若干可信度較高的示例進(jìn)行標(biāo)記,并把標(biāo)記后的示例進(jìn)行更新。不斷迭代進(jìn)行,直到達(dá)到特定條件。

    算法1 Co-Training算法

    輸入:

    標(biāo)記數(shù)據(jù)集合L

    無(wú)標(biāo)記數(shù)據(jù)集合U

    算法步驟:

    Step1建立無(wú)標(biāo)記數(shù)據(jù)池U',用來(lái)存放U中隨機(jī)抽取的無(wú)標(biāo)記數(shù)據(jù);

    Step2循環(huán)K輪;

    Step2.1利用L與x1視圖訓(xùn)練出分類器h1;

    Step2.2利用L與x2視圖訓(xùn)練出分類器h2;

    Step2.3利用h1從U'中標(biāo)記出p個(gè)正類和n個(gè)負(fù)類示例;

    Step2.4利用h2從U'中標(biāo)記出p個(gè)正類和n個(gè)負(fù)類示例;

    Step2.5將這些新標(biāo)記數(shù)據(jù)加入L;

    Step2.6從U中隨機(jī)抽取2p + 2n個(gè)無(wú)標(biāo)記示例至U。

    Step3退出循環(huán)。

    輸出:經(jīng)過(guò)訓(xùn)練的分類器h1和h2。

    Co-Trade算法的改進(jìn)核心是加入了樣本可信度計(jì)算,從而選擇可信度較高的樣本對(duì)分類器進(jìn)行訓(xùn)練,最終得到置信度較高的分類器。算法2是對(duì)可信度計(jì)算方法的具體描述。

    算法2樣本標(biāo)記可信度計(jì)算

    假定有一個(gè)圖G:圖的每一個(gè)頂點(diǎn)代表一個(gè)標(biāo)記示例(zp,yp)。

    Step1判斷G中任意2個(gè)頂點(diǎn)zp和zq,若zp屬于zq的最近K個(gè)鄰居。若是,則進(jìn)入Step2,否則進(jìn)入Step3;

    Step2在zp和zq間建立一條邊

    Step5計(jì)算Jp=wpqIpq,其中Cp是點(diǎn)zq的最K鄰近集合;

    Step6由大數(shù)定律推得(zp,fq)的可信度為: CFz(zp,yq) = 1-Φ()。

    在確定下一迭代的新標(biāo)記數(shù)據(jù)方面,Co-Trade依舊考慮了新標(biāo)記數(shù)據(jù)的噪聲問(wèn)題。若視圖1確定的新標(biāo)記數(shù)據(jù)為(u'1),那么加入視圖2訓(xùn)練器的噪聲率為:

    最終由Angluin&Laird噪音學(xué)習(xí)理論可以得到Co-Trade每次迭代錯(cuò)誤率的準(zhǔn)確值為:

    最終我們只要求得使錯(cuò)誤率最小的新標(biāo)記數(shù)據(jù)集合,并把它加入另一個(gè)分類器的下一輪訓(xùn)練數(shù)據(jù)集合中即可。Co-Trade算法可以支持樸素貝葉斯NB、支持向量機(jī)SVM以及決策樹CART 3種分類器。

    2.3故障定位特征選擇

    Jones等人[7]認(rèn)為程序語(yǔ)句存在故障的可能性與它被失敗用例執(zhí)行的次數(shù)正相關(guān),提出了用顏色可視化表示語(yǔ)句存在故障的可疑程度,并實(shí)現(xiàn)了可視化故障定位工具Tarantula。

    基于Tarantula啟發(fā),對(duì)于每條可執(zhí)行語(yǔ)句,我們給出覆蓋該語(yǔ)句的測(cè)試用例執(zhí)行成功比率和語(yǔ)句的測(cè)試用例覆蓋率2個(gè)動(dòng)態(tài)屬性,分別用Ssr,Scr表示;同時(shí),我們選擇5個(gè)在軟件故障預(yù)測(cè)中常用的靜態(tài)屬性協(xié)同進(jìn)行故障定位,分別為:

    1)語(yǔ)句所包含操作符個(gè)數(shù): Soc;

    2)函數(shù)復(fù)雜度: Fcmt;

    3)語(yǔ)句行數(shù): Flc;

    4)最大深度: Fmd;

    5)內(nèi)部函數(shù)調(diào)用次數(shù): Ffc。

    2.4評(píng)價(jià)指標(biāo)

    本文算法應(yīng)用中,將正確程序語(yǔ)句稱為正樣本,錯(cuò)誤語(yǔ)句稱為負(fù)樣本,測(cè)試程序集中所有可招待語(yǔ)句最終都會(huì)得到一個(gè)分類結(jié)果,即為正或者為負(fù)。因此,可以采用機(jī)器學(xué)習(xí)分類中的2個(gè)衡量指標(biāo)對(duì)故障預(yù)測(cè)性能進(jìn)行評(píng)價(jià),即分類準(zhǔn)確率和查全率:

    式中,tp表示分類結(jié)果為正且預(yù)期結(jié)果也為正(True Positive) ; tn表示實(shí)際分類結(jié)果為負(fù)且預(yù)期結(jié)果也為負(fù)(True Negtive) ; fp表示實(shí)際分類結(jié)果為正而預(yù)期結(jié)果為負(fù)的(False Positive) ; fn表示實(shí)際分類結(jié)果為負(fù)且預(yù)期結(jié)果亦為負(fù)的(False Negtive)。

    3 實(shí)驗(yàn)及結(jié)果分析

    3.1Siemens Suite實(shí)驗(yàn)數(shù)據(jù)集

    本文采用Siemens Suite作為算法評(píng)價(jià)數(shù)據(jù)集。Siemens Suite是一組開源的用于評(píng)測(cè)軟件故障定位方法和工具的數(shù)據(jù)集,自從2003年被引入用于評(píng)價(jià)NNQ法的有效性后,被廣泛采用以評(píng)估錯(cuò)誤定位技術(shù)的有效性。本次實(shí)驗(yàn)中我們選擇了其中3個(gè)程序,具體信息如表1所示:

    表1 Siemens Suite數(shù)據(jù)集信息

    3.2實(shí)驗(yàn)?zāi)P驮O(shè)計(jì)

    我們將所選擇的3個(gè)程序在matlab中分別在監(jiān)督學(xué)習(xí)算法和Co-Trade算法中進(jìn)行實(shí)驗(yàn),獲得各自分類準(zhǔn)確率和錯(cuò)誤定位準(zhǔn)確率。

    1)數(shù)據(jù)處理

    由于實(shí)際項(xiàng)目中的正確樣本和錯(cuò)誤樣本比例較高,Siemens Suite也不例外,即數(shù)據(jù)挖掘中的數(shù)據(jù)傾斜較嚴(yán)重,這會(huì)嚴(yán)重影響分類器訓(xùn)練效果,因此,本次實(shí)驗(yàn)中我們采取規(guī)避的方法,對(duì)實(shí)驗(yàn)數(shù)據(jù)進(jìn)行預(yù)處理,所有錯(cuò)誤語(yǔ)句全部保留,而正確語(yǔ)句按照正負(fù)比例5: 1隨機(jī)選擇其中一部分納入實(shí)驗(yàn)。

    2)樣本分配

    用L-data表示標(biāo)記樣本,U-data表示未標(biāo)記樣本,T-data表示測(cè)試樣本;為了達(dá)到半監(jiān)督學(xué)習(xí)效果,在CoTrade算法應(yīng)用中,未標(biāo)記樣本的數(shù)量我們按照L-data∶U-data<1∶7的規(guī)則進(jìn)行未標(biāo)記樣本數(shù)量控制;而測(cè)試樣本與標(biāo)記樣本的比率按照L-data∶T-data<1∶2規(guī)則控制。

    3)屬性劃分

    協(xié)同訓(xùn)練中,需要同時(shí)訓(xùn)練兩個(gè)分類器,我們將動(dòng)態(tài)屬性分為一組,靜態(tài)屬性分為另外一組。Tcas實(shí)驗(yàn)數(shù)據(jù)的標(biāo)記樣本如表2、表3所示:

    表2 Tcas標(biāo)記樣本動(dòng)態(tài)屬性矩陣

    表3 Tcas標(biāo)記樣本靜態(tài)屬性矩陣

    3.3實(shí)驗(yàn)結(jié)果分析

    實(shí)驗(yàn)中,對(duì)同一組數(shù)據(jù)集,我們?cè)贑o-Trade算法和相應(yīng)監(jiān)督學(xué)習(xí)分類算法中所采用的標(biāo)記樣本和測(cè)試樣本相同,3組程序所獲得的試驗(yàn)結(jié)果如表4所示:

    表4 實(shí)驗(yàn)結(jié)果數(shù)據(jù)

    根據(jù)在Siemens Suite數(shù)據(jù)集中的實(shí)驗(yàn)結(jié)果,我們可以得到如下結(jié)論:

    1)在標(biāo)記樣本數(shù)量相同情況下,采用相同分類器,Co-Trade算法的分類準(zhǔn)確率整體高于監(jiān)督學(xué)習(xí)算法;

    2)在故障查全率指標(biāo)中,Co-Trade算法在schedule和tcas中均可以達(dá)到100%,沒(méi)有錯(cuò)誤語(yǔ)句的遺漏;在tot-info中,也達(dá)到90.91%,故障查全率非常穩(wěn)定。而監(jiān)督學(xué)習(xí)算法,由于標(biāo)記樣本數(shù)量較少,其預(yù)測(cè)準(zhǔn)確率和故障查全率平均水平都比較低,穩(wěn)定性也比較差。

    3) SVM分類器在本次實(shí)驗(yàn)監(jiān)督學(xué)習(xí)過(guò)程中,由于標(biāo)記樣本數(shù)量過(guò)少,無(wú)法達(dá)到訓(xùn)練分類器效果,因此沒(méi)有得到監(jiān)督學(xué)習(xí)實(shí)驗(yàn)數(shù)據(jù)。

    4)在同一組實(shí)驗(yàn)中,Co-Trade算法采用決策樹分類器(CART)效果最優(yōu),樸素貝葉斯(NB)其次,支持向量機(jī)表現(xiàn)最差。

    4 結(jié)論

    本文將半監(jiān)督學(xué)習(xí)方法應(yīng)用于軟件故障定位中,為軟件故障定位給出了一種新思路。實(shí)驗(yàn)表明,在標(biāo)記樣本數(shù)量較少的情況下,使用Co-Trade算法進(jìn)行軟件故障定位的準(zhǔn)確率和故障查全率都高于傳統(tǒng)監(jiān)督學(xué)習(xí)方法,且錯(cuò)誤遺漏情況極少。

    我們的后期工作將主要集中在兩個(gè)方面: 1)研究半監(jiān)督學(xué)習(xí)領(lǐng)域解決數(shù)據(jù)傾斜的算法,找到解決軟件故障定位中正負(fù)樣本嚴(yán)重不平衡問(wèn)題的有效方法; 2)將半監(jiān)督學(xué)習(xí)算法應(yīng)用于更多數(shù)據(jù)集以及不同領(lǐng)域?qū)嶋H項(xiàng)目(如電子商務(wù)系統(tǒng),Web服務(wù)等)的軟件故障定位中,驗(yàn)證其適用范圍和有效性。

    參考文獻(xiàn):

    [1]Binkley D.Source Code Analysis: a Road Map[C]∥Proceedings of Future of Software Engineering,Minneapolis,USA,2007: 104-119

    [2]Zhang M L,Zhou Z H.CoTrade: Confident Co-Training with Data Editing[J].IEEE Trans on Systems,Man,and Cybernetics,Part B: Cybernetics,2011,41(6) : 1612-1626

    [3]Ali S,Andrews J H,Dhandapani T,et al.Evaluating the Accuracy of Fault Localization Techniques[C]∥Proceedings of the 2009 IEEE/ACM International Conference on Automated Software Engineering,2009: 76-87

    [4]Wong W E,Debroy V,Golden R,et al.Effective Software Fault Localization Using an RBF Neural Network[J].IEEE Trans on Reliability,2012,61(1) : 149-169

    [5]Wong W E,Qi Y.BP Neural Network-Based Effective Fault Localization[J].International Journal of Software Engineering and Knowl6edge Engineering,2009,19(4) : 573-597

    [6]Briand L C,Labiche Y,Liu X.Using Machine Learning to Support Debugging with Tarantula[C]∥The 18th IEEE International Symposium on Software Reliability,2007: 137-146

    [7]Jones J A,Harrold M J,Stasko J.Visualization of Test Information to Assist Fault Localization[C]∥Proceedings of the 24th International Conference on Software Engineering,2002: 467-477

    Software Fault Localization Using Semi-Supervised Learning

    Zheng Wei,Wu Xiaoxue,Tan Xin,Peng Yaopeng,Yang Shuai

    (Department of Software and Microelectronic Engineering,Northwestern Polytechnical University,Xi'an 710072,China)

    Abstract:In order to improve the efficiency of software fault localization,supervised learning methods are widely used in automatic software fault localization.But these methods mostly ignore a very important fact: in order to train a good performance of the classifier through supervised learning method,there must be a large number of labeled samples.While in the actual project,to obtain a large number of labeled samples is quite difficult; even if it can be done,the cost is very high.In order to solve this problem,we propose a semi supervised learning algorithm for software fault location.We adopt a high-creditability and collaborative style of semi supervised learning algorithm named Co-Trade,which uses the dynamic attributes between the programs' executable statements and test case execution as well as some effective static attributes of traditional software fault localization to achieve the purpose of cooperative training.Finally,selecting the Siemens Suite as the test data,we prove the validity of Co-Trade algorithm in software fault localization by comparing it with the traditional supervised learning methods.

    Key words:backpropagation algorithms,classification (of information),classifiers,cost reduction,decision trees,errors,fault detection,MATLAB,software engineering,software testing,support vector machines; Co-Trade,dynamic attributes between the programs' executable statements and test case execution,semi-supervised learning,software fault localization,training data

    作者簡(jiǎn)介:鄭煒(1975—),西北工業(yè)大學(xué)副教授,主要從事軟件工程、軟件測(cè)試的研究。

    收稿日期:2014-10-28

    文章編號(hào):1000-2758(2015) 02-0332-05

    文獻(xiàn)標(biāo)志碼:A

    中圖分類號(hào):TP311.5

    猜你喜歡
    訓(xùn)練樣本
    基于英語(yǔ)翻譯應(yīng)用視角下的計(jì)算機(jī)智能校對(duì)系統(tǒng)開發(fā)研究
    人工智能
    基于小波神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)流量預(yù)測(cè)研究
    寬帶光譜成像系統(tǒng)最優(yōu)訓(xùn)練樣本選擇方法研究
    融合原始樣本和虛擬樣本的人臉識(shí)別算法
    基于稀疏重構(gòu)的機(jī)載雷達(dá)訓(xùn)練樣本挑選方法
    支持向量機(jī)在預(yù)測(cè)配煤灰熔點(diǎn)中的應(yīng)用
    基于數(shù)據(jù)挖掘的圍絕經(jīng)期綜合征中醫(yī)證候分類算法分析
    訓(xùn)練樣本對(duì)遙感影像分類精度影響研究
    訓(xùn)練樣本數(shù)量選擇和總體分類精度的關(guān)系研究
    中文字幕人妻丝袜一区二区 | 人妻 亚洲 视频| 久久 成人 亚洲| 久久ye,这里只有精品| 在线观看免费日韩欧美大片| 久久国产精品大桥未久av| 欧美激情 高清一区二区三区| 亚洲av综合色区一区| 两个人看的免费小视频| 欧美日韩亚洲国产一区二区在线观看 | 男女免费视频国产| 妹子高潮喷水视频| 国产亚洲一区二区精品| 五月天丁香电影| 好男人视频免费观看在线| 夫妻午夜视频| 亚洲综合色惰| 久久久久久伊人网av| av又黄又爽大尺度在线免费看| 成人黄色视频免费在线看| 美女主播在线视频| 婷婷色麻豆天堂久久| 99香蕉大伊视频| 最新中文字幕久久久久| 日日撸夜夜添| 久久久久久伊人网av| 成人国产麻豆网| 一区在线观看完整版| 寂寞人妻少妇视频99o| 九草在线视频观看| 黑丝袜美女国产一区| 成人毛片a级毛片在线播放| 天堂中文最新版在线下载| 国产精品.久久久| 成年人免费黄色播放视频| 日本黄色日本黄色录像| 在线天堂中文资源库| 亚洲国产日韩一区二区| 久久精品人人爽人人爽视色| 国产毛片在线视频| 国产成人精品一,二区| 一区二区三区激情视频| 亚洲av综合色区一区| 最近2019中文字幕mv第一页| 两个人看的免费小视频| 成人国语在线视频| 亚洲熟女精品中文字幕| 中文欧美无线码| 欧美日韩一级在线毛片| 国产97色在线日韩免费| 午夜av观看不卡| 丝袜人妻中文字幕| 香蕉国产在线看| 久久精品aⅴ一区二区三区四区 | 老女人水多毛片| 久久国产精品男人的天堂亚洲| 免费黄频网站在线观看国产| 亚洲国产看品久久| 纯流量卡能插随身wifi吗| 国产日韩欧美视频二区| 99久久精品国产国产毛片| 9191精品国产免费久久| 日韩欧美精品免费久久| 久久97久久精品| 亚洲伊人久久精品综合| 电影成人av| 国产成人精品福利久久| 丝瓜视频免费看黄片| 三上悠亚av全集在线观看| 免费观看性生交大片5| 黄色怎么调成土黄色| 日日爽夜夜爽网站| 亚洲欧美清纯卡通| 校园人妻丝袜中文字幕| 丰满乱子伦码专区| 国产精品免费大片| 中国三级夫妇交换| 色婷婷av一区二区三区视频| 免费观看a级毛片全部| 中文欧美无线码| 久久这里只有精品19| 又粗又硬又长又爽又黄的视频| 免费av中文字幕在线| av国产精品久久久久影院| 国产精品久久久久成人av| 精品国产超薄肉色丝袜足j| 香蕉精品网在线| 精品人妻一区二区三区麻豆| 久久精品熟女亚洲av麻豆精品| 妹子高潮喷水视频| 亚洲精品久久久久久婷婷小说| 国产免费福利视频在线观看| 中文天堂在线官网| 91国产中文字幕| 大码成人一级视频| 天堂8中文在线网| 日韩免费高清中文字幕av| 日韩欧美精品免费久久| 2021少妇久久久久久久久久久| 热99国产精品久久久久久7| 国产精品免费视频内射| 亚洲欧美日韩另类电影网站| 蜜桃国产av成人99| 久久久久久久国产电影| 久久精品国产亚洲av天美| 三上悠亚av全集在线观看| 午夜精品国产一区二区电影| 免费黄色在线免费观看| 一级毛片我不卡| 亚洲精品日本国产第一区| 国产精品99久久99久久久不卡 | 高清av免费在线| 亚洲国产精品一区三区| 日日爽夜夜爽网站| 亚洲四区av| 午夜激情av网站| 久久久久国产精品人妻一区二区| 欧美日韩国产mv在线观看视频| 人人妻人人添人人爽欧美一区卜| 97在线视频观看| 中文字幕色久视频| 久久久精品国产亚洲av高清涩受| 香蕉国产在线看| 又大又黄又爽视频免费| 搡女人真爽免费视频火全软件| av在线观看视频网站免费| 亚洲人成电影观看| 男女边摸边吃奶| 哪个播放器可以免费观看大片| 欧美亚洲 丝袜 人妻 在线| 青草久久国产| 69精品国产乱码久久久| 亚洲国产av影院在线观看| 啦啦啦在线观看免费高清www| 中国三级夫妇交换| 国产成人91sexporn| 久久这里只有精品19| 久久久国产一区二区| 久久影院123| 黄片播放在线免费| av电影中文网址| 在现免费观看毛片| 97精品久久久久久久久久精品| 水蜜桃什么品种好| 韩国高清视频一区二区三区| 久久久久精品性色| 亚洲欧美日韩另类电影网站| 少妇熟女欧美另类| 国产精品久久久久久精品电影小说| 免费日韩欧美在线观看| 搡老乐熟女国产| av天堂久久9| 国精品久久久久久国模美| 亚洲婷婷狠狠爱综合网| 国产精品熟女久久久久浪| 在线免费观看不下载黄p国产| 精品少妇一区二区三区视频日本电影 | 如何舔出高潮| 飞空精品影院首页| 国产深夜福利视频在线观看| 国产亚洲av片在线观看秒播厂| 美女中出高潮动态图| 日韩在线高清观看一区二区三区| 91精品三级在线观看| 国产精品二区激情视频| 国产成人精品福利久久| 天天躁狠狠躁夜夜躁狠狠躁| 在线免费观看不下载黄p国产| 日韩欧美精品免费久久| 一级毛片电影观看| 亚洲欧洲国产日韩| 高清av免费在线| 久久韩国三级中文字幕| 香蕉精品网在线| 欧美激情 高清一区二区三区| 汤姆久久久久久久影院中文字幕| 2018国产大陆天天弄谢| 热re99久久国产66热| 欧美成人午夜免费资源| 美女脱内裤让男人舔精品视频| 亚洲av男天堂| 丝袜美足系列| 免费黄频网站在线观看国产| 亚洲av日韩在线播放| 桃花免费在线播放| av卡一久久| 女人被躁到高潮嗷嗷叫费观| 亚洲成av片中文字幕在线观看 | 只有这里有精品99| 精品一区在线观看国产| 亚洲欧美日韩另类电影网站| 精品人妻在线不人妻| 女性生殖器流出的白浆| 欧美日韩成人在线一区二区| 一级毛片电影观看| 狂野欧美激情性bbbbbb| 啦啦啦啦在线视频资源| 久久亚洲国产成人精品v| 18+在线观看网站| 久久精品国产a三级三级三级| 久久精品国产a三级三级三级| 一级黄片播放器| 在线观看人妻少妇| 日韩一区二区视频免费看| 久久亚洲国产成人精品v| 叶爱在线成人免费视频播放| 婷婷色麻豆天堂久久| 日韩三级伦理在线观看| 国产成人av激情在线播放| 啦啦啦视频在线资源免费观看| 一区二区三区乱码不卡18| 人妻系列 视频| 国产野战对白在线观看| 一本一本久久a久久精品综合妖精 国产伦在线观看视频一区 | 丝袜美腿诱惑在线| 黄片无遮挡物在线观看| 亚洲av.av天堂| 国产高清国产精品国产三级| 精品第一国产精品| 久久久久久免费高清国产稀缺| 制服诱惑二区| 69精品国产乱码久久久| 一级毛片 在线播放| 亚洲内射少妇av| 久久99热这里只频精品6学生| 咕卡用的链子| 少妇人妻精品综合一区二区| 男人爽女人下面视频在线观看| 三级国产精品片| 伊人久久大香线蕉亚洲五| 亚洲精品久久成人aⅴ小说| 女人久久www免费人成看片| 91午夜精品亚洲一区二区三区| 极品人妻少妇av视频| 中文字幕最新亚洲高清| 色婷婷久久久亚洲欧美| 超碰97精品在线观看| 亚洲美女搞黄在线观看| 亚洲伊人色综图| 久久久久精品人妻al黑| 精品国产乱码久久久久久男人| 人成视频在线观看免费观看| 免费观看a级毛片全部| 国产男女内射视频| 欧美国产精品va在线观看不卡| 欧美97在线视频| 国产成人精品久久二区二区91 | 亚洲三区欧美一区| 老女人水多毛片| 久久毛片免费看一区二区三区| 美女脱内裤让男人舔精品视频| 哪个播放器可以免费观看大片| 国产综合精华液| 亚洲精品第二区| 在线观看免费视频网站a站| 欧美日韩一区二区视频在线观看视频在线| 五月伊人婷婷丁香| 亚洲精品国产色婷婷电影| 色婷婷久久久亚洲欧美| 欧美亚洲日本最大视频资源| 男人添女人高潮全过程视频| 亚洲成色77777| 91午夜精品亚洲一区二区三区| 精品久久久久久电影网| 中文字幕av电影在线播放| 天堂俺去俺来也www色官网| 久久久久久久亚洲中文字幕| 久久久欧美国产精品| 久久狼人影院| 成人亚洲欧美一区二区av| 看十八女毛片水多多多| 日本免费在线观看一区| 欧美激情高清一区二区三区 | 满18在线观看网站| 亚洲欧美一区二区三区黑人 | 亚洲精品日韩在线中文字幕| 久久国产精品大桥未久av| 性高湖久久久久久久久免费观看| 国产淫语在线视频| 极品少妇高潮喷水抽搐| 女人被躁到高潮嗷嗷叫费观| 久久久久久免费高清国产稀缺| 国产亚洲一区二区精品| 秋霞在线观看毛片| a 毛片基地| 国产精品久久久久久精品电影小说| 日本欧美国产在线视频| av不卡在线播放| 最近手机中文字幕大全| 日日爽夜夜爽网站| 国产日韩一区二区三区精品不卡| 哪个播放器可以免费观看大片| 亚洲第一区二区三区不卡| 久久久久国产网址| kizo精华| 国产日韩欧美在线精品| 黑丝袜美女国产一区| 欧美日韩一区二区视频在线观看视频在线| 电影成人av| 免费在线观看黄色视频的| 久久久久视频综合| 校园人妻丝袜中文字幕| 国产精品嫩草影院av在线观看| 999精品在线视频| 亚洲三级黄色毛片| 看十八女毛片水多多多| 亚洲人成电影观看| 精品久久久久久电影网| av一本久久久久| 国产在视频线精品| 中文字幕制服av| 两个人免费观看高清视频| 亚洲经典国产精华液单| 亚洲av国产av综合av卡| 人人妻人人澡人人看| 天美传媒精品一区二区| 国产精品久久久久久精品电影小说| 波多野结衣av一区二区av| 波野结衣二区三区在线| 欧美人与性动交α欧美精品济南到 | 高清黄色对白视频在线免费看| 精品午夜福利在线看| 色婷婷久久久亚洲欧美| 亚洲欧美日韩另类电影网站| 亚洲国产精品国产精品| 国产成人一区二区在线| 男的添女的下面高潮视频| 亚洲国产欧美在线一区| 我要看黄色一级片免费的| 涩涩av久久男人的天堂| 黑丝袜美女国产一区| 亚洲色图 男人天堂 中文字幕| 欧美少妇被猛烈插入视频| 黄色视频在线播放观看不卡| 巨乳人妻的诱惑在线观看| 国产成人精品久久久久久| 成人国产av品久久久| 久久久久精品性色| 老女人水多毛片| 老司机影院毛片| 日本vs欧美在线观看视频| 久久青草综合色| 久久久久久人人人人人| 赤兔流量卡办理| 永久网站在线| 国产97色在线日韩免费| 爱豆传媒免费全集在线观看| 99九九在线精品视频| 一本大道久久a久久精品| 国产日韩欧美亚洲二区| 少妇精品久久久久久久| 老司机影院毛片| 亚洲一码二码三码区别大吗| 人人妻人人澡人人看| 精品国产乱码久久久久久小说| 看非洲黑人一级黄片| 一级毛片黄色毛片免费观看视频| 高清视频免费观看一区二区| 午夜影院在线不卡| 一级爰片在线观看| 91成人精品电影| 精品亚洲成a人片在线观看| 久久久国产欧美日韩av| 91成人精品电影| 久久婷婷青草| 亚洲,欧美精品.| 不卡视频在线观看欧美| 熟女电影av网| 亚洲av欧美aⅴ国产| 中文欧美无线码| 免费播放大片免费观看视频在线观看| 桃花免费在线播放| 久久久久视频综合| 国产精品久久久久久av不卡| 不卡av一区二区三区| 亚洲精品一区蜜桃| 国产在线视频一区二区| 久久免费观看电影| 又粗又硬又长又爽又黄的视频| 好男人视频免费观看在线| 亚洲国产欧美日韩在线播放| 亚洲国产精品999| av在线观看视频网站免费| 夫妻午夜视频| 黄色视频在线播放观看不卡| 男人添女人高潮全过程视频| 男女免费视频国产| 久久久久视频综合| 热99国产精品久久久久久7| 欧美精品高潮呻吟av久久| 日韩熟女老妇一区二区性免费视频| 亚洲美女黄色视频免费看| 欧美精品av麻豆av| 亚洲欧美一区二区三区国产| 男女无遮挡免费网站观看| 免费观看在线日韩| 欧美精品国产亚洲| 国产成人aa在线观看| 欧美激情 高清一区二区三区| 制服诱惑二区| 久久97久久精品| 亚洲少妇的诱惑av| 在线看a的网站| 一级毛片电影观看| 女的被弄到高潮叫床怎么办| 人妻一区二区av| 欧美亚洲 丝袜 人妻 在线| 高清av免费在线| 欧美 亚洲 国产 日韩一| av在线老鸭窝| 午夜日本视频在线| xxxhd国产人妻xxx| 亚洲美女搞黄在线观看| 午夜福利在线观看免费完整高清在| 桃花免费在线播放| 午夜激情av网站| 十八禁网站网址无遮挡| 国产精品亚洲av一区麻豆 | 天美传媒精品一区二区| videos熟女内射| 成人毛片a级毛片在线播放| 人人澡人人妻人| 男女午夜视频在线观看| 电影成人av| xxxhd国产人妻xxx| 亚洲第一av免费看| 亚洲精品日韩在线中文字幕| 一区二区三区四区激情视频| 久久久a久久爽久久v久久| 天天躁夜夜躁狠狠久久av| 亚洲精品国产一区二区精华液| 又黄又粗又硬又大视频| 亚洲,欧美精品.| 最新的欧美精品一区二区| 成人影院久久| 99热全是精品| kizo精华| 亚洲欧美成人综合另类久久久| 精品少妇久久久久久888优播| 午夜福利视频在线观看免费| 久久久久久久久久人人人人人人| 26uuu在线亚洲综合色| 亚洲精品av麻豆狂野| 晚上一个人看的免费电影| 香蕉丝袜av| 国产激情久久老熟女| 亚洲四区av| www.精华液| 又黄又粗又硬又大视频| 成人午夜精彩视频在线观看| 亚洲色图 男人天堂 中文字幕| 欧美日韩国产mv在线观看视频| 男人添女人高潮全过程视频| 性高湖久久久久久久久免费观看| 成人国产av品久久久| 亚洲精品第二区| 99国产精品免费福利视频| 免费播放大片免费观看视频在线观看| 国产精品免费大片| 啦啦啦啦在线视频资源| 久久亚洲国产成人精品v| 日产精品乱码卡一卡2卡三| 亚洲,一卡二卡三卡| 欧美在线黄色| 亚洲精品视频女| 亚洲精品国产一区二区精华液| a 毛片基地| 亚洲精品一二三| 国产极品天堂在线| 国产1区2区3区精品| 国产av一区二区精品久久| 精品一区二区免费观看| 九色亚洲精品在线播放| 久久女婷五月综合色啪小说| 国产精品三级大全| 欧美 日韩 精品 国产| 亚洲第一区二区三区不卡| 国产精品女同一区二区软件| 久久久a久久爽久久v久久| 制服诱惑二区| 国产老妇伦熟女老妇高清| 亚洲,欧美,日韩| 女人精品久久久久毛片| 丰满饥渴人妻一区二区三| 精品国产乱码久久久久久男人| 美女xxoo啪啪120秒动态图| 免费黄频网站在线观看国产| 日本av免费视频播放| www日本在线高清视频| 大香蕉久久网| 一级毛片电影观看| 丁香六月天网| 青草久久国产| 一级a爱视频在线免费观看| 美女脱内裤让男人舔精品视频| 亚洲国产精品一区三区| 美女午夜性视频免费| 人人妻人人澡人人看| 日韩中文字幕欧美一区二区 | av免费在线看不卡| 丝袜脚勾引网站| 国产精品av久久久久免费| 2018国产大陆天天弄谢| 日韩中文字幕欧美一区二区 | 中文字幕最新亚洲高清| 老汉色∧v一级毛片| 成人亚洲欧美一区二区av| 国产亚洲欧美精品永久| 久久久精品区二区三区| 国产熟女欧美一区二区| 国产精品 欧美亚洲| 中文字幕制服av| 日韩欧美一区视频在线观看| 日韩一卡2卡3卡4卡2021年| 婷婷色av中文字幕| 美女大奶头黄色视频| 中文字幕精品免费在线观看视频| 国产在线免费精品| √禁漫天堂资源中文www| 男女午夜视频在线观看| 欧美精品人与动牲交sv欧美| 大片免费播放器 马上看| 18禁国产床啪视频网站| 亚洲av福利一区| 亚洲少妇的诱惑av| 免费播放大片免费观看视频在线观看| 久久人人爽人人片av| 日本-黄色视频高清免费观看| 午夜福利视频精品| 亚洲第一青青草原| www.精华液| 天天躁狠狠躁夜夜躁狠狠躁| 看非洲黑人一级黄片| 久久精品夜色国产| 黄频高清免费视频| 在线观看免费高清a一片| 蜜桃在线观看..| 亚洲综合色网址| 精品亚洲成国产av| 波多野结衣一区麻豆| 黄色视频在线播放观看不卡| 一级毛片黄色毛片免费观看视频| 久久97久久精品| 国产伦理片在线播放av一区| 熟女少妇亚洲综合色aaa.| 精品人妻一区二区三区麻豆| 日韩中字成人| 国产爽快片一区二区三区| 久久久久精品久久久久真实原创| 久久久久久免费高清国产稀缺| 26uuu在线亚洲综合色| 三上悠亚av全集在线观看| 亚洲av成人精品一二三区| 女人被躁到高潮嗷嗷叫费观| 成人国产麻豆网| 香蕉精品网在线| 久久精品亚洲av国产电影网| 侵犯人妻中文字幕一二三四区| 制服丝袜香蕉在线| av电影中文网址| 亚洲人成77777在线视频| 日日摸夜夜添夜夜爱| 国产在线免费精品| av国产久精品久网站免费入址| 美女脱内裤让男人舔精品视频| 婷婷色综合www| 午夜福利网站1000一区二区三区| 九色亚洲精品在线播放| 一级,二级,三级黄色视频| 欧美日韩精品网址| 亚洲精品aⅴ在线观看| 春色校园在线视频观看| 国产男女超爽视频在线观看| av在线播放精品| 中文字幕人妻丝袜一区二区 | 国产欧美日韩综合在线一区二区| 国产精品国产三级国产专区5o| 久久精品国产亚洲av高清一级| 亚洲精品国产av成人精品| 国产av精品麻豆| av卡一久久| 人人妻人人澡人人爽人人夜夜| 亚洲婷婷狠狠爱综合网| 人人妻人人澡人人爽人人夜夜| 国产免费视频播放在线视频| 久久鲁丝午夜福利片| 久久99热这里只频精品6学生| 伦精品一区二区三区| 色视频在线一区二区三区| 亚洲久久久国产精品| 午夜免费鲁丝| 看免费成人av毛片| 啦啦啦视频在线资源免费观看| 看十八女毛片水多多多| 精品少妇内射三级| 色94色欧美一区二区| 9191精品国产免费久久| 午夜福利在线免费观看网站| 精品少妇内射三级| 成人亚洲精品一区在线观看| av电影中文网址| 天天操日日干夜夜撸| 午夜激情av网站| 国产精品国产三级专区第一集| 最近2019中文字幕mv第一页| 男女啪啪激烈高潮av片| 国产精品99久久99久久久不卡 | 国产在线免费精品| 国产免费视频播放在线视频| 成人免费观看视频高清| 午夜福利视频精品| 黑丝袜美女国产一区| 婷婷色综合www| 免费女性裸体啪啪无遮挡网站| 欧美国产精品va在线观看不卡|