• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于頻譜增強的軟件多故障定位

    2023-08-30 06:59:16周世健鄔凱勝
    計算機測量與控制 2023年8期
    關(guān)鍵詞:測試用例語句頻譜

    陳 琪,周世健,樊 鑫,2,鄔凱勝,2,肖 鵬,2

    (1.南昌航空大學 軟件學院,南昌 330038;2.南昌航空大學 軟件測評中心,南昌 330038)

    0 引言

    軟件正成為低成本實現(xiàn)各種系統(tǒng)中復雜功能的首選技術(shù),日常生活的許多方面都依賴于軟件的正確操作,因此保證軟件的質(zhì)量和及時的維護在每個開發(fā)過程中都起著至關(guān)重要的作用。測試指的是檢查軟件的正確性和它是否符合給定的規(guī)范的實踐狀態(tài)。雖然測試用例自動生成工具愈漸成熟,仍然存在部分由開發(fā)人員手工制作的測試用例,在暴露錯誤行為方面測試是有效的,但識別失敗背后的根本原因仍然主要是一種手動活動,需要大量的時間和成本。

    各種故障定位方法用來幫助開發(fā)人員定位故障的根本原因,例如,基于頻譜的故障定位[1-6],基于切片的故障定位[7-8],基于機器學習的故障定位[9-10],和基于突變的故障定位[11-14]。其中,基于頻譜的故障定位技術(shù)是研究最廣泛的故障定位技術(shù)之一。盡管SBFL是一種特別輕量級的方法,但與其他方法相比,它已被證明具有競爭力,且具備與語言無關(guān)、易于使用,并且在測試執(zhí)行時間相對開銷較低的特性。

    理想的故障定位技術(shù)總是將故障程序?qū)嶓w排在前列。然而在實踐中,盡管已經(jīng)提出了各種SBFL技術(shù),如Jaccard/Ochiai[2],Op2[4]和Tarantula[1],沒有一種技術(shù)可以總是表現(xiàn)最好的,開發(fā)人員通常必須在找到真正的錯誤之前檢查各種非故障實體(即程序頻譜中的一個維度)。利用失敗和成功的測試用例提供的證據(jù),根據(jù)被測實體參與錯誤行為的懷疑程度進行分析和排序。直觀地說,一個實體在測試用例失敗時使用得越多,它就越可疑,即它就越有可能與這種不正確性的原因有關(guān)。類似地,成功的測試用例所使用的實體越多,它就越被認為不可疑。

    現(xiàn)有的SBFL技術(shù)的一個局限性是,它們不能完全捕獲每個已執(zhí)行的測試用例的結(jié)果與所涉及的程序單元之間的本地關(guān)系。例如,SBFL技術(shù),如Dstar[15],會假設(shè)兩個失敗的測試用例對在兩個測試用例中執(zhí)行的一個程序單元的懷疑性貢獻相同,而不管在測試用例中涉及的程序?qū)嶓w的數(shù)量不同。在實踐中,一個失敗的測試用例可能比其他用例更有價值,因為它只涉及幾個程序?qū)嶓w。其次,在許多現(xiàn)有的SBFL技術(shù)中,存在一個被忽略的事實,即程序?qū)嶓w可能以不同的方式協(xié)作貢獻每個測試用例的結(jié)果。

    我們的關(guān)鍵見解是,存在一種更豐富的頻譜增強形式,考慮了如何增強失敗的測試用例中的頻譜分析,可以提供更有效的故障定位。詳細來說,存在兩個測試和,它們都是失敗的測試,其中覆蓋了100個程序?qū)嶓w,而只覆蓋了10個程序。根據(jù)我們的直覺,在故障定位方面比較有幫助,因為有一個更小的搜索空間來定位故障(s)。由于每一個執(zhí)行失敗的測試用例都必然執(zhí)行了錯誤語句,即錯誤語句必然被覆蓋,那么[16]已經(jīng)證實了在單故障情況下,將所有執(zhí)行失敗的測試用例的覆蓋情況取交集,則會縮小故障語句的覆蓋范圍,從而提高查找效率。經(jīng)過頻譜增強后的測試用例作為新的增強版測試用例來對程序進行驗證。傳統(tǒng)的SBFL技術(shù)忽略了這些有用的信息,并認為和在SBFL上做出了相同的貢獻,例如,和執(zhí)行的程序?qū)嶓w將被作為相同的處理,而不管測試所覆蓋的實體數(shù)量。

    為了克服現(xiàn)有的SBFL技術(shù)的局限性,我們通過明確地考慮失敗測試用例的貢獻,更有效地增強了現(xiàn)有的程序頻譜?;谝陨弦娊?,我們提出了基于頻譜增強的軟件多故障定位方法(SBFL(E),spectrum-based fault localization(enhanced)),充分利用了執(zhí)行失敗測試用例的程序語句覆蓋情況,縮減了運行時的執(zhí)行失敗測試用例數(shù)量,對基于頻譜的故障定位方法進行改良,并將單故障擴展到多故障實驗,極大提高了軟件故障定位的效率和有效性。

    1 軟件故障定位

    1.1 基于頻譜的故障定位

    SBFL使用程序頻譜和測試結(jié)果來定位軟件故障。程序頻譜是測試用例的覆蓋信息和執(zhí)行結(jié)果的集合。一個程序的頻譜,通常以一個矩陣的形式出現(xiàn),它描述了該程序的動態(tài)行為。測試結(jié)果將記錄測試用例是否失敗或通過。通過較多失敗測試用例的實體,通過較少成功測試用例的實體就越可疑[17-18]。相反,實體通過越少的失敗測試用例,通過越多成功的測試用例,實體的可疑度值就越低。程序譜中所涉及的實體類型可以是語句、分支、函數(shù)、謂詞等,本文以語句作為實體。

    SBFL的主要思想是與故障相關(guān)的執(zhí)行信息更有可能是導致程序失效的原因,這些信息往往包含在失敗的測試用例,而更少發(fā)生在成功的測試用例當中。如圖1所示,SBFL分析了實體與測試用例通過或失敗之間的動態(tài)相關(guān)性,這個相關(guān)性近似于一個實體導致程序失效的可能性。頻譜信息矩陣由M個測試用例和每個測試用例中的N條語句構(gòu)成,最后得到測試結(jié)果向量R。對于一個語句X_MN,其值是二進制的(0/1),“1”表示相應的語句被測試用例執(zhí)行,“0”表示相應的語句沒有被測試用例執(zhí)行。在結(jié)果向量R中,其值也是二進制的,“0”表示測試用例的結(jié)果為通過,“1”表示測試用例的結(jié)果為失敗。

    圖1 SBFL覆蓋信息矩陣圖

    程序執(zhí)行信息從圖1中提取,表示為四元組(Nef,Nep,Nnf,Nnp),其中Nef代表語句被執(zhí)行的失敗測試用例數(shù),Nep代表語句被執(zhí)行的通過測試用例數(shù),Nnf代表語句未被執(zhí)行的失敗測試用例數(shù),Nnp代表語句未被執(zhí)行的通過測試用例數(shù)。根據(jù)以上4個參數(shù),程序中各單元元素的可疑值可以通過表1中的可疑值計算公式來計算,這里只列出了部分但常用的公式。如果一個語句的Nef值相對較高,而Nep值較低,則該語句的可疑分值較高。

    表1 SBFL可疑度值計算公式

    1.2 單故障與多故障定位

    單故障程序指的是在程序中只存在唯一確定的一處故障,導致整個程序的失效;多故障程序則指錯誤數(shù)目不定,存在兩處或兩處以上的故障影響導致程序失效。盡管各種故障定位技術(shù)已經(jīng)被提出,但它們在多故障程序中的應用仍然有限。多故障定位(MFL,multiple fault localization)是指在一個有故障的軟件程序中識別多重故障(一個以上的故障)的定位行為。與單故障定位(SFL,single fault localization)假設(shè)軟件系統(tǒng)中只包含一個故障的傳統(tǒng)做法相比,這種方法更加復雜、繁瑣,而且成本高。工作流程對比如圖2所示。

    圖2 單故障與多故障定位

    單故障程序中所有失敗的測試用例均指向相同的故障,因此測試用例的數(shù)量與質(zhì)量則顯得尤為關(guān)鍵,成為優(yōu)化故障定位方式的突破口。在多故障環(huán)境下,除了受到測試用例的影響,更令人棘手的是故障干擾的問題。

    這些相互作用可能表現(xiàn)為導致測試用例失敗,而通常情況下,由于任何單一故障的存在都不會失敗。另外,一個測試通常由于一個故障而失敗的測試用例,在增加了另一個故障后,該測試用例可能不再失敗,因為它干擾了第一個故障的導致程序失效的作用。當然也存在多個故障于同一個程序中,但不會以通過檢查測試用例可以觀察到故障的方式相互干擾。在這種情況下。程序中每個故障的影響似乎是獨立于其他故障。本文則對故障干擾不做出假設(shè),專注于提升測試用例尤其是失敗的測試用例,使用傳統(tǒng)的定位技術(shù)同時定位多個故障是困難的,因為它們依賴于失敗的測試執(zhí)行來識別錯誤的語句。

    綜合來看,單故障與多故障定位的差異除了存在于需要定位的故障數(shù)目的不同,也不免對測試用例的統(tǒng)計處理以及失敗測試用例的質(zhì)量造成消極影響。當故障之間的干擾導致程序包含多個故障時,現(xiàn)有故障定位技術(shù)的有效性會降低。程序中的故障越多,開發(fā)人員就定位故障的復雜性就越高,從而大大增加故障定位的難度與開銷成本。

    2 動機實例

    SBFL是基于程序執(zhí)行的統(tǒng)計數(shù)據(jù)設(shè)計的,其中包括測試覆蓋率和測試結(jié)果。執(zhí)行統(tǒng)計數(shù)據(jù)可以被視為SBFL分析的信息源,其中決定了SBFL的準確性的關(guān)鍵在于測試用例的性質(zhì)。冗余的測試用例大大增加了開發(fā)人員的時間成本與故障定位的精確性,一個含故障程序?qū)嵗绫?所示。

    表2 多故障實例

    在現(xiàn)有的研究方法中,我們考慮了一個有缺陷的程序來評估我們技術(shù)的效率。Zakari等人[19]用一個例子來解釋3種方法:一次調(diào)試方法、并行調(diào)試方法和多次調(diào)試方法。在本文中,我們采用了同樣的例子程序來展示我們的方法的工作過程。余曉菲等人[16]已經(jīng)證實了頻譜增強在單故障程序中的有效性,因此表2實例僅對多故障程序進行詳細分析。在表2中,我們顯示了示例程序。原始的程序測試套件T由10個測試用例(T0,T1,T2,T3,T4,T5,T6,T7,T8,T9)和13條程序語句組成,其中語句5和語句10都是錯誤的。標有“●”的語句執(zhí)行標志著該語句在該測試運行中被測試用例執(zhí)行,否則為空。測試用例(T6,T7,T8,T9)是失敗的測試用例,而(T0,T1,T2,T3,T4,T5)是通過的測試用例。在這個例子中,每個語句的可疑性是用Tarantula系數(shù)計算的,這是SBFL中常用的故障定位技術(shù)之一。

    對于單次故障的調(diào)試很簡單,根據(jù)語句的可疑度得分,開發(fā)人員通過使用Tarantula,檢查4條語句就能清楚地識別出有故障的語句10(可疑度值為0.57)。然而,在多故障情況下,在語句10中發(fā)現(xiàn)的故障必須被修復,并且程序必須被重新測試以發(fā)現(xiàn)第二個故障語句5(可疑度值為0.23)。在多故障調(diào)試過程中,開發(fā)人員在找到語句10中的第一個故障后不會停止,而是繼續(xù)搜索下一個故障,直到找到所有故障或預先指定的搜索上限。設(shè)置上限的方法(即開發(fā)人

    員在進入下一個迭代之前可以搜索可疑語句排名列表的70%或60%)已被現(xiàn)有研究采用[20-21]。在我們的研究中,我們沒有設(shè)置搜索上限,而是在找到所有故障之前停止搜索。

    采取多故障場景下頻譜增強的方法,實例為雙故障程序,覆蓋第一個故障語句5的失敗測試用例僅為T8,因此頻譜增強后的測試用例Ta保留T8的覆蓋信息并剔除原有T8。失敗測試用例T6和T7覆蓋了第二個故障語句10,且覆蓋信息高度重合,對二者進行測試用例精簡,采取邏輯與運算得到測試用例Tb,并將T6和T7從測試用例集中去除。頻譜增強后可用測試用例為T0~T5以及T9~Tb,再進行SBFL可疑度值計算。

    表2清楚地顯示,Tarantula計算的錯誤語句的等級為4和11。在采用頻譜增強的方法進行優(yōu)化后,我們的技術(shù)分別給有問題的語句分配了等級2和等級11。這表明,我們的研究方法比其他現(xiàn)有的方法更有效地優(yōu)化了可疑性分數(shù),并且能夠定位那些使程序失效的語句。

    3 基于頻譜增強的軟件故障定位

    對基于頻譜的故障定位方法而言,故障定位的效果和效率都高度依賴于測試用例,所以測試用例的選取以及使用測試用例的多少都對實驗有至關(guān)重要的影響。針對測試用例的研究,本文引入頻譜增強方法,充分利用了執(zhí)行失敗測試用例的程序語句覆蓋信息,精簡了運行時的執(zhí)行失敗測試用例數(shù)量,從而提升了測試用例的質(zhì)量以及軟件故障定位的效率。

    由于語句執(zhí)行的覆蓋信息都為二進制表示方法,因此將所有失敗測試用例的覆蓋信息做邏輯與運算,則能夠精簡頻譜信息,從而縮小查找故障語句的范圍,并且通過頻譜增強后的測試用例一定會覆蓋存在故障的語句。我們將與運算操作取得的覆蓋信息這個操作稱為頻譜增強。再使用增強過的頻譜信息進行SBFL可疑度值計算,最后根據(jù)優(yōu)化后的可疑度排名列表進行更高效的故障定位。整體流程如圖3所示。

    圖3 SBFL(E)流程圖

    單故障場景下,頻譜增強后得到唯一的失敗測試用例。程序運行時,唯一的故障語句必然被所有失敗測試用例所覆蓋,否則測試用例通過,運行結(jié)果正確,程序成功執(zhí)行。而多故障場景中,并不是所有的故障語句都被每一個失敗測試用例所覆蓋,我們采取根據(jù)多故障數(shù)量k進行頻譜增強的方式,最后得到k個頻譜增強后的失敗測試用例。

    將失敗測試用例集設(shè)為T,T={T1,T2,…,Ti,…,Tm},其中Ti為第i個失敗測試用例的執(zhí)行情況,具體失敗測試用例的覆蓋信息設(shè)為集合t,t={ti1,ti2,…,tij,…,tin},其中i為執(zhí)行失敗測試用例編號,j為語句行號,n為總語句數(shù),ti為第i個執(zhí)行失敗測試用例的執(zhí)行情況,tij為第i個執(zhí)行失敗測試用例的第j條語句的覆蓋情況,覆蓋情況取值為0或1,0為未被覆蓋語句,1為被覆蓋語句b。頻譜增強E={e1,e2,…,el,…,en},其中:

    (1)

    以表2中多故障程序Mid為例,執(zhí)行失敗測試用例數(shù)為4,語句總數(shù)為13,故障,有4個失敗執(zhí)行覆蓋t6,t7,t8和t9,其中以t6為例,t6={1,1,1,0,0,0,0,1,1,1,0,0,1}。利用頻譜增強的定義,通過頻譜增強方法可以得到該例子中E1={e1,e2,…,el,…,en}。

    4 實驗結(jié)果與分析

    為驗證本文方法的有效性,實驗比較了SBFL(未經(jīng)過頻譜增強)和SBFL(E)(經(jīng)過頻譜增強)的故障定位性能。實驗運行環(huán)境為Windows10和Ubuntu系統(tǒng),2.60 GHz Intel(R)i5四核處理器,16 GB 物理內(nèi)存。

    4.1 實驗數(shù)據(jù)集

    我們采取基準程序進行了5個案例研究,其中3個程序是西門子(Siemens)程序套件的一部分,其余兩個程序來自Defects4j,數(shù)據(jù)集的詳細信息在表3中列出?;谌斯す收系奈鏖T子程序選取了Tcas,Totinfo和Printtokens2;基于真實故障的Defects4j程序選取了Apache Common Lang和JFree Chart。這些C語言(Siemens)和JAVA(Defects4j)程序被廣泛用于軟件測試和故障定位的實驗中,也用于我們之前的研究工作當中。

    表3 數(shù)據(jù)集

    所有基準程序的單故障版本可以分別從SIR(software-artifact infrastructure repository)和Defects4j資源庫下載。在多故障版本中,故障是手動播種到原始程序中的。由于大多數(shù)程序都是單故障,我們將單故障版本結(jié)合起來,建立多故障版本。Rui[22]和Zakari[19]也創(chuàng)建了包含2、3、4和5個故障的多故障版本,以產(chǎn)生Siemens-M案例研究。

    4.2 評價指標

    在本文中,我們采用EXAM和Top-N用于評估我們提出的SBFL(E)方法的性能的指標,并將其與其他故障定位技術(shù)的有效性進行比較。

    根據(jù)Wong等人提出的評價標準[23],我們的研究采用EXAM作為評價指標,其定義為發(fā)現(xiàn)程序中所有故障時需要檢查的代碼行數(shù)占程序總代碼行數(shù)的百分比。具體公式為:

    (2)

    Top-N用于評估故障元素的絕對排名,它通過檢查排名列表的前n個位置來計算成功定位的故障總數(shù)。N越小,故障定位技術(shù)就越有效。值得注意的是,程序員在實踐中會更多地關(guān)注最可疑的元素,他們不是一個一個地檢查排名列表中的語句,而是在排名列表中的不同位置之間表現(xiàn)出某種形式的跳躍,直到關(guān)于故障原因的假設(shè)得到確認[25]。此外,排名靠前的位置很少被程序員跳過,所以Top-1對于評估故障定位技術(shù)的有效性和準確性極為關(guān)鍵。

    4.3 結(jié)果分析

    基于上述提出的方法,本節(jié)對實驗進行了詳細描述和分析。我們建立了一個名為SBFL(E)的故障定位技術(shù),它通過頻譜增強來優(yōu)化SBFL,為了評估我們方法的有效性,我們采用了4個常用的SBFL技術(shù)作為基準。

    在我們的實驗研究中,我們執(zhí)行了5個基準程序,包括3個西門子套件和兩個Defects4j實用程序,每個程序中都包含一個故障。圖4顯示了Dstar,Jaccard,Ochiai和Tarantula對3個西門子程序(Tcas,Totinfo和Printtokens2)的推廣技術(shù)的比較;Defects4j數(shù)據(jù)集中Chart和Lang的整體表現(xiàn)也可以在圖5中見證。在每張圖中,橫軸表示EXAM分數(shù)的百分比,而縱軸表示能檢測到存在故障版本的百分比。

    圖4 單故障西門子程序EXAM指數(shù)

    圖5 單故障Defects4j程序EXAM指數(shù)

    從圖4和圖5的結(jié)果分析中,我們發(fā)現(xiàn)由頻譜增強的技術(shù)在尋找單一故障方面比現(xiàn)有的技術(shù)表現(xiàn)得更好,尤其是Ochiai(E)方法EXAM在分數(shù)為15%~20%時表現(xiàn)突出,它能夠定位90%以上的故障版本。Jaccard(E)和Dstar(E)也在圖5中的相同范圍內(nèi)保持了類似的趨勢,能夠定位大約95%的故障版本。

    我們在單故障程序中手動添加了一個故障,從而得到雙故障程序。我們執(zhí)行每個有兩個故障的基準程序,計算了EXAMF和EXAML值,以評估我們技術(shù)的準確性,如圖6和7所示。并介紹了4種技術(shù)對西門子程序的EXAMF和EXAML的比較。同樣,對于Defects4j程序,4種技術(shù)的比較見圖8和9。從結(jié)果分析中,我們可以看到,所提出的技術(shù)SBFL(E)在大多數(shù)情況下都優(yōu)于傳統(tǒng)SBFL。由于確保頻譜增強技術(shù)確實在多故障程序中起到了優(yōu)化作用,我們在每個西門子和Defects4j基準程序中手動添加到3個故障,準備了三故障程序來進行進一步實驗研究。圖10~12分別給出了4種技術(shù)對西門子程序的EXAMF,EXAMM,以及EXAML值的比較。對于Defects4j程序,類似的比較如圖9所示。綜合來看,我們提出的技術(shù)比現(xiàn)有的SBFL技術(shù)表現(xiàn)得更好。

    圖6 雙故障西門子程序EXAMF和EXAML指數(shù)

    圖8 三故障西門子程序EXAMF、EXAMM和EXAML指數(shù)

    圖9 三故障Defects4j程序EXAMF、EXAMM和EXAML指數(shù)

    為了評估他們對頂級可疑元素的表現(xiàn),使用了Top-n作為測量指標。95%的審查都是從排序列表中的第1個可疑元素開始的,這意味著首位很少被程序員跳過。因此,如何提高故障定位的準確性,特別是Top-1可疑元素,對故障定位的實用性至關(guān)重要。如表4所示,SBFL(E)技術(shù)通過檢查單故障程序中的Top-1、Top-3和Top-5可疑語句,分別成功定位了數(shù)量更多的故障。表4突出了西門子程序的性能,每一種技術(shù)都得到了不同程度的改善,其他采用頻譜增強技術(shù)在Top-1上比傳統(tǒng)技術(shù)可以多定位到約20%以上的故障,在Top-3和Top-5上都有同比增長。同樣,表4也顯示了Defects4j中同樣的8種技術(shù)進行比較,所有的SBFL技術(shù)的效率都因為頻譜增強所提升。最明顯的變化是Dstar(E)在重要的Top-1上,故障定位數(shù)量從49增加到61。

    表4 單故障程序中Top-N指數(shù)名稱

    在多故障程序中,Top-N在SBFL和SBFL(E)技術(shù)之間展示了不同程度的增長。如表5所示,在雙故障的西門子程序中,Dstar(E)通過檢查前1、3和5條可疑語句,可以分別定位24、53和66個故障(約占所有故障的20.3%、44.9%和55.9%)。Dstar(E)和Tarantula(E)保持著類似的趨勢,且表現(xiàn)比Ochiai(E)好。如表5所示,在3個故障的西門子程序中,Dstar(E)通過檢查前1、3和5條可疑語句,分別可以定位36、67和88個故障(約占所有故障的19.6%、36.4%和47.8%)。Jaccard(E),Ochiai(E)和Tarantula(E)的存在相同的趨勢,且差異較小。如表5和6所示,在多故障Defects4j程序中的優(yōu)勢更為顯著,SBFL(E)在Top-1,Top-3以及Top-5中都保持較好的性能,盡管在少數(shù)情況下,與傳統(tǒng)的SBFL技術(shù)相比,它未能定位更多的故障。

    表6 三故障程序中Top-N指數(shù)名稱

    5 結(jié)束語

    故障定位是困難且代價高的,這就是為什么我們在過去20年中看到了各種故障定位技術(shù)被提出。多故障定位正在成為軟件測試研究領(lǐng)域中最關(guān)鍵的問題之一。在實踐中,我們發(fā)現(xiàn)在傳統(tǒng)的SBFL中冗余的失敗測試用例會給故障定位效率帶來消極影響,這阻礙了程序員在調(diào)試故障時的效率和生產(chǎn)力。此外,我們注意到使用頻譜增強的邏輯與運算可以有效精簡失敗測試用例的頻譜信息,優(yōu)化可疑度值以提高故障元素的等級。

    在本文中,我們提出了基于頻譜增強的多故障定位方法。首先,使用頻譜增強的方法精簡失敗的測試用例,再利用SBFL的統(tǒng)計公式對新的頻譜信息進行評估,并根據(jù)其可疑度對潛在的故障語句進行排序。最后,被SBFL(E)排在前N位的語句根據(jù)其新的分數(shù)排序。所提出的故障定位方法緩解了SBFL的缺點,提高了故障定位的準確性。通過使用5個開源基準程序的案例研究來評估我們框架的性能。為了顯示我們提出的技術(shù)的效率,將我們的工作與4個密切相關(guān)的故障定位技術(shù),即Dstar、Jaccard、Ochiai和Tarantula進行了比較。實驗結(jié)果表明,與典型的SBFL定位方法相比,基于頻譜增強的方法可以顯著減少代碼檢查的范圍,尤其是在高性能范圍內(nèi)(即EXAM5%和Top-1),明顯提高了故障定位的性能。

    但是在這個領(lǐng)域還有很大的發(fā)展空間,也有一些問題需要解決。存在程序中如果失敗測試用例過少的問題,而測試用例質(zhì)量及其數(shù)量對結(jié)果有很重要的影響;以及頻譜增強的思想能否運用到其他故障定位方法當中。后期研究人員還需要努力減少其負面影響,甚至解決這些問題。雖然本實驗選擇的基準程序在故障定位領(lǐng)域具有代表性,具有說服力,但在今后的工作中,我們將把重點放在更真實的工程程序上??偟膩碚f,隨著研究界對SFL研究的極大興趣,以及最近該領(lǐng)域出版物的一致性,我們希望在未來幾年會有更多具體的解決方案來解決多故障問題。

    猜你喜歡
    測試用例語句頻譜
    一種用于深空探測的Chirp變換頻譜分析儀設(shè)計與實現(xiàn)
    基于SmartUnit的安全通信系統(tǒng)單元測試用例自動生成
    重點:語句銜接
    一種基于稀疏度估計的自適應壓縮頻譜感知算法
    基于混合遺傳算法的回歸測試用例集最小化研究
    精彩語句
    認知無線電頻譜感知技術(shù)綜述
    基于依賴結(jié)構(gòu)的測試用例優(yōu)先級技術(shù)
    如何搞定語句銜接題
    語文知識(2014年4期)2014-02-28 21:59:52
    一種基于功率限制下的認知無線電的頻譜感知模型
    最新在线观看一区二区三区| 精品一区二区三区视频在线观看免费| 99热精品在线国产| 高清毛片免费看| 最近2019中文字幕mv第一页| 久久午夜福利片| 久久久久久国产a免费观看| 久久99热这里只有精品18| 日韩精品青青久久久久久| 在线天堂最新版资源| 特级一级黄色大片| 成人欧美大片| 久久人妻av系列| 国产在视频线在精品| 亚洲美女搞黄在线观看 | 欧美日本视频| 两个人的视频大全免费| 国产蜜桃级精品一区二区三区| 日韩强制内射视频| 能在线免费观看的黄片| 真实男女啪啪啪动态图| 国产毛片a区久久久久| 一区二区三区高清视频在线| 身体一侧抽搐| 亚洲精品成人久久久久久| 黑人高潮一二区| 男女之事视频高清在线观看| 俺也久久电影网| 美女内射精品一级片tv| 蜜桃亚洲精品一区二区三区| 天堂av国产一区二区熟女人妻| 伊人久久精品亚洲午夜| 欧美又色又爽又黄视频| 免费高清视频大片| 亚洲精品久久国产高清桃花| 校园春色视频在线观看| 在线国产一区二区在线| 12—13女人毛片做爰片一| 国产一区二区在线观看日韩| 淫秽高清视频在线观看| 成人性生交大片免费视频hd| 国产 一区 欧美 日韩| 熟妇人妻久久中文字幕3abv| 亚洲激情五月婷婷啪啪| 国产国拍精品亚洲av在线观看| 久久综合国产亚洲精品| 一级黄片播放器| av在线老鸭窝| 婷婷精品国产亚洲av| av天堂在线播放| 黑人高潮一二区| 天天躁日日操中文字幕| 蜜桃亚洲精品一区二区三区| 久久亚洲国产成人精品v| 免费观看在线日韩| 搡女人真爽免费视频火全软件 | 听说在线观看完整版免费高清| 男插女下体视频免费在线播放| 韩国av在线不卡| 午夜精品一区二区三区免费看| 久久久久国产网址| 日本免费一区二区三区高清不卡| 亚洲自偷自拍三级| 六月丁香七月| 亚洲av电影不卡..在线观看| 亚洲性久久影院| 身体一侧抽搐| 精品午夜福利在线看| 69av精品久久久久久| 美女 人体艺术 gogo| 国产精品一区二区免费欧美| 亚洲精华国产精华液的使用体验 | 精品久久久久久久久亚洲| 国产探花极品一区二区| 成人特级黄色片久久久久久久| 国产一区二区三区av在线 | 热99在线观看视频| 亚洲av熟女| 非洲黑人性xxxx精品又粗又长| 一卡2卡三卡四卡精品乱码亚洲| 国产精品人妻久久久久久| 黄色日韩在线| 男人舔奶头视频| 97超视频在线观看视频| 日韩欧美精品免费久久| 色尼玛亚洲综合影院| 国产精品人妻久久久久久| 1000部很黄的大片| 久久久久久伊人网av| 亚洲av一区综合| 一本一本综合久久| 亚洲av成人精品一区久久| 成年版毛片免费区| 午夜a级毛片| 99九九线精品视频在线观看视频| 国产精品一二三区在线看| 99精品在免费线老司机午夜| 亚洲成人久久性| 91麻豆精品激情在线观看国产| 亚洲欧美日韩卡通动漫| 毛片女人毛片| 国产中年淑女户外野战色| 校园春色视频在线观看| 啦啦啦观看免费观看视频高清| 国产av麻豆久久久久久久| 一级毛片aaaaaa免费看小| 中国美白少妇内射xxxbb| 亚洲不卡免费看| 午夜福利成人在线免费观看| а√天堂www在线а√下载| 女生性感内裤真人,穿戴方法视频| 亚洲第一区二区三区不卡| 桃色一区二区三区在线观看| 99热这里只有是精品在线观看| 性欧美人与动物交配| 成人亚洲精品av一区二区| 精品久久久久久久久久久久久| 乱码一卡2卡4卡精品| 久久人妻av系列| 波多野结衣巨乳人妻| 国产精品99久久久久久久久| 亚洲精品一卡2卡三卡4卡5卡| 免费在线观看影片大全网站| av中文乱码字幕在线| 3wmmmm亚洲av在线观看| 国产成年人精品一区二区| 深爱激情五月婷婷| 99riav亚洲国产免费| 日韩亚洲欧美综合| 99久国产av精品| 国产成人a区在线观看| 久久久久久久久久成人| 在线观看免费视频日本深夜| 日韩精品青青久久久久久| 少妇丰满av| 精品久久国产蜜桃| 性插视频无遮挡在线免费观看| 一进一出抽搐动态| 亚洲图色成人| 国产精品电影一区二区三区| 网址你懂的国产日韩在线| 97碰自拍视频| 高清日韩中文字幕在线| 18禁在线播放成人免费| 国产精华一区二区三区| 欧美中文日本在线观看视频| 精品久久久噜噜| 成人永久免费在线观看视频| 不卡一级毛片| av国产免费在线观看| 国产国拍精品亚洲av在线观看| 日日干狠狠操夜夜爽| 午夜爱爱视频在线播放| 高清毛片免费看| 小蜜桃在线观看免费完整版高清| 久久久久国产精品人妻aⅴ院| 国产爱豆传媒在线观看| 久久精品国产亚洲av香蕉五月| 国产一区二区激情短视频| 久久天躁狠狠躁夜夜2o2o| 99在线人妻在线中文字幕| 国产黄a三级三级三级人| 亚洲高清免费不卡视频| 欧美色欧美亚洲另类二区| 在线播放国产精品三级| 尾随美女入室| 麻豆久久精品国产亚洲av| 久久精品国产自在天天线| 丰满乱子伦码专区| 高清毛片免费观看视频网站| 久久草成人影院| 精品久久久久久久人妻蜜臀av| 在线观看66精品国产| 无遮挡黄片免费观看| 久久精品影院6| 18禁在线无遮挡免费观看视频 | 长腿黑丝高跟| 最好的美女福利视频网| 91麻豆精品激情在线观看国产| 免费观看人在逋| 国产美女午夜福利| 国产又黄又爽又无遮挡在线| 伊人久久精品亚洲午夜| 男女啪啪激烈高潮av片| 亚洲av美国av| 噜噜噜噜噜久久久久久91| 久久午夜亚洲精品久久| 亚洲久久久久久中文字幕| 国产亚洲精品综合一区在线观看| 国产午夜福利久久久久久| 欧美日韩精品成人综合77777| 一级毛片电影观看 | 国产视频一区二区在线看| 97人妻精品一区二区三区麻豆| 久久久精品94久久精品| 午夜精品在线福利| 中文字幕人妻熟人妻熟丝袜美| 久久精品国产亚洲av涩爱 | 久久精品夜夜夜夜夜久久蜜豆| 国产一区二区三区在线臀色熟女| 精品一区二区三区视频在线| 国产av一区在线观看免费| 久久鲁丝午夜福利片| 99国产极品粉嫩在线观看| 欧美精品国产亚洲| 插阴视频在线观看视频| 亚洲不卡免费看| 国产乱人视频| 国产 一区 欧美 日韩| 成人高潮视频无遮挡免费网站| 国产av在哪里看| 97在线视频观看| 欧美色视频一区免费| 精品久久久久久久久久久久久| 亚洲,欧美,日韩| 男人舔奶头视频| АⅤ资源中文在线天堂| 给我免费播放毛片高清在线观看| 在线播放国产精品三级| 成人高潮视频无遮挡免费网站| 蜜臀久久99精品久久宅男| АⅤ资源中文在线天堂| 天天躁日日操中文字幕| 欧美成人免费av一区二区三区| av在线亚洲专区| 久久久午夜欧美精品| 国产av不卡久久| 久久九九热精品免费| 日韩欧美国产在线观看| 一级黄色大片毛片| 热99在线观看视频| 岛国在线免费视频观看| 性欧美人与动物交配| 国产精品亚洲美女久久久| 此物有八面人人有两片| 国产欧美日韩精品亚洲av| 久久国内精品自在自线图片| 在线播放国产精品三级| 变态另类成人亚洲欧美熟女| 久久99热这里只有精品18| а√天堂www在线а√下载| 麻豆av噜噜一区二区三区| 久久久久久久久中文| 在线观看av片永久免费下载| 国产成年人精品一区二区| 国产成人影院久久av| 直男gayav资源| 婷婷亚洲欧美| 一a级毛片在线观看| 嫩草影院新地址| 国产精品伦人一区二区| 免费看光身美女| 村上凉子中文字幕在线| 国产黄色小视频在线观看| 成人鲁丝片一二三区免费| 免费av观看视频| 91午夜精品亚洲一区二区三区| 亚洲内射少妇av| 99在线视频只有这里精品首页| 成人综合一区亚洲| 成人毛片a级毛片在线播放| 国产av不卡久久| 欧美色视频一区免费| 精品国内亚洲2022精品成人| 亚洲成人久久性| 色哟哟·www| 亚洲成人久久爱视频| 日韩大尺度精品在线看网址| av在线蜜桃| 国产伦在线观看视频一区| 蜜臀久久99精品久久宅男| 国产精品爽爽va在线观看网站| 在线免费观看不下载黄p国产| 久久久欧美国产精品| 国产av在哪里看| 免费观看人在逋| 免费看日本二区| 一个人看的www免费观看视频| 少妇被粗大猛烈的视频| 亚洲欧美日韩卡通动漫| 久久精品国产亚洲av天美| 国产精品国产高清国产av| 日本 av在线| 日韩欧美精品免费久久| 国产在视频线在精品| 女同久久另类99精品国产91| 97超视频在线观看视频| 成人av在线播放网站| 午夜日韩欧美国产| av天堂在线播放| 日韩成人av中文字幕在线观看 | 1000部很黄的大片| 亚洲无线在线观看| 免费黄网站久久成人精品| 亚洲中文字幕日韩| av在线天堂中文字幕| 日本三级黄在线观看| 午夜福利高清视频| 女人十人毛片免费观看3o分钟| 亚洲人成网站高清观看| 日产精品乱码卡一卡2卡三| 国产成人a∨麻豆精品| 大又大粗又爽又黄少妇毛片口| 国产三级在线视频| 久久久久国内视频| 18+在线观看网站| 日本 av在线| 乱系列少妇在线播放| 日韩精品中文字幕看吧| 99在线人妻在线中文字幕| 亚洲精品456在线播放app| 国产视频一区二区在线看| 亚洲内射少妇av| 欧美成人精品欧美一级黄| 成年女人看的毛片在线观看| 天美传媒精品一区二区| 又黄又爽又刺激的免费视频.| 久久久午夜欧美精品| 国产精品久久视频播放| 国产在线男女| 精品国产三级普通话版| 国产成人aa在线观看| 黄色配什么色好看| 国产精品一区二区三区四区久久| a级毛色黄片| 一级黄色大片毛片| 国产一区二区亚洲精品在线观看| 校园春色视频在线观看| 一区二区三区高清视频在线| 亚洲欧美日韩卡通动漫| 免费人成在线观看视频色| 国产精品福利在线免费观看| 一级毛片我不卡| 国产亚洲精品av在线| 精品国产三级普通话版| 熟女人妻精品中文字幕| 亚洲色图av天堂| 天堂动漫精品| 麻豆乱淫一区二区| 久久久久免费精品人妻一区二区| 国产真实伦视频高清在线观看| 亚州av有码| 国产成人aa在线观看| 国语自产精品视频在线第100页| av免费在线看不卡| 最后的刺客免费高清国语| 亚洲欧美日韩高清在线视频| 亚洲精品亚洲一区二区| 欧美xxxx黑人xx丫x性爽| 精品久久久久久久久久免费视频| 国产精品国产高清国产av| 久久精品夜夜夜夜夜久久蜜豆| 免费看美女性在线毛片视频| 久久国内精品自在自线图片| 国产精品乱码一区二三区的特点| 久久精品国产亚洲av香蕉五月| 国产成人影院久久av| 中文资源天堂在线| 精品国产三级普通话版| 国产中年淑女户外野战色| av在线亚洲专区| 日韩国内少妇激情av| 一a级毛片在线观看| 插阴视频在线观看视频| 国产伦在线观看视频一区| 男人舔女人下体高潮全视频| 一本久久中文字幕| 欧美高清成人免费视频www| 中文字幕av成人在线电影| 最近视频中文字幕2019在线8| 99热6这里只有精品| 国产视频一区二区在线看| 国产黄a三级三级三级人| 日本三级黄在线观看| 国产极品精品免费视频能看的| av在线播放精品| 最近最新中文字幕大全电影3| 麻豆久久精品国产亚洲av| 欧美在线一区亚洲| 国内精品久久久久精免费| 色噜噜av男人的天堂激情| 日韩高清综合在线| 久久久久久久亚洲中文字幕| 看非洲黑人一级黄片| 国产成人影院久久av| 国产伦在线观看视频一区| 男女下面进入的视频免费午夜| 禁无遮挡网站| 亚洲国产精品合色在线| 91麻豆精品激情在线观看国产| 成人鲁丝片一二三区免费| 欧美区成人在线视频| 欧美精品国产亚洲| 久久久久久久久久久丰满| 国产精品综合久久久久久久免费| 麻豆国产97在线/欧美| 99久国产av精品| 此物有八面人人有两片| 亚洲七黄色美女视频| 久久久久久久久久久丰满| 少妇人妻一区二区三区视频| 最后的刺客免费高清国语| 日韩精品中文字幕看吧| 欧美精品国产亚洲| 一本精品99久久精品77| 亚洲精品在线观看二区| 1024手机看黄色片| 大香蕉久久网| 美女xxoo啪啪120秒动态图| 国内久久婷婷六月综合欲色啪| 欧美日本亚洲视频在线播放| 日韩欧美精品免费久久| 特级一级黄色大片| 长腿黑丝高跟| 老女人水多毛片| 少妇人妻一区二区三区视频| 久久久久国产精品人妻aⅴ院| 婷婷六月久久综合丁香| 久久人人爽人人片av| 免费在线观看影片大全网站| 搡老妇女老女人老熟妇| 国产精品人妻久久久久久| 国产私拍福利视频在线观看| 校园春色视频在线观看| 国产三级中文精品| 一本一本综合久久| 亚洲av五月六月丁香网| 观看美女的网站| 亚洲在线观看片| 日日撸夜夜添| 久久久国产成人精品二区| 亚洲精品日韩在线中文字幕 | 嫩草影院新地址| 91在线观看av| 国产精品人妻久久久影院| 欧美高清性xxxxhd video| 欧美又色又爽又黄视频| 乱系列少妇在线播放| 小说图片视频综合网站| 免费人成视频x8x8入口观看| 真人做人爱边吃奶动态| 97超视频在线观看视频| 一卡2卡三卡四卡精品乱码亚洲| 2021天堂中文幕一二区在线观| 免费观看的影片在线观看| 波野结衣二区三区在线| 免费看美女性在线毛片视频| 中文字幕av在线有码专区| 亚洲乱码一区二区免费版| 欧美性感艳星| 午夜免费男女啪啪视频观看 | 精品久久久久久久久久久久久| 国产av在哪里看| 美女 人体艺术 gogo| 国产午夜福利久久久久久| 国产高清有码在线观看视频| 欧美性感艳星| 久久久久久久亚洲中文字幕| 婷婷六月久久综合丁香| 成年免费大片在线观看| 亚洲欧美精品自产自拍| 看非洲黑人一级黄片| 亚洲国产色片| 三级男女做爰猛烈吃奶摸视频| 成年女人永久免费观看视频| 欧美国产日韩亚洲一区| 波多野结衣高清无吗| av卡一久久| 直男gayav资源| 国产 一区精品| 可以在线观看的亚洲视频| 精品久久久噜噜| 日本 av在线| 成人二区视频| 色在线成人网| 日日摸夜夜添夜夜爱| 国产乱人偷精品视频| 2021天堂中文幕一二区在线观| 给我免费播放毛片高清在线观看| 亚洲最大成人中文| 乱人视频在线观看| 日韩在线高清观看一区二区三区| 亚洲精品色激情综合| 欧美极品一区二区三区四区| 日日啪夜夜撸| 亚洲欧美日韩卡通动漫| 中文字幕av在线有码专区| 一区福利在线观看| 最近的中文字幕免费完整| 欧美日韩一区二区视频在线观看视频在线 | 精品久久国产蜜桃| 欧美丝袜亚洲另类| 欧美日韩一区二区视频在线观看视频在线 | 免费看光身美女| 色综合站精品国产| 又黄又爽又刺激的免费视频.| 色噜噜av男人的天堂激情| 麻豆av噜噜一区二区三区| 一进一出抽搐gif免费好疼| 嫩草影院入口| 成人综合一区亚洲| 日韩欧美三级三区| 欧美另类亚洲清纯唯美| av在线观看视频网站免费| 好男人在线观看高清免费视频| 三级经典国产精品| 日本a在线网址| 亚洲国产精品合色在线| 色综合站精品国产| 精品久久久久久久久久免费视频| 日本 av在线| 色视频www国产| 亚洲av中文av极速乱| 免费在线观看成人毛片| 两个人的视频大全免费| 人妻少妇偷人精品九色| 亚洲第一区二区三区不卡| 99久久无色码亚洲精品果冻| 亚洲,欧美,日韩| 国国产精品蜜臀av免费| 99热这里只有是精品50| 久久久成人免费电影| 国产中年淑女户外野战色| 亚洲一区二区三区色噜噜| 色播亚洲综合网| 午夜视频国产福利| 麻豆国产97在线/欧美| 18+在线观看网站| 国产欧美日韩精品亚洲av| 天堂av国产一区二区熟女人妻| 色在线成人网| 国产成人aa在线观看| 色哟哟哟哟哟哟| 春色校园在线视频观看| 网址你懂的国产日韩在线| 天美传媒精品一区二区| 中文资源天堂在线| 麻豆国产97在线/欧美| 国产精品一区www在线观看| 黄色日韩在线| 色播亚洲综合网| 在线观看免费视频日本深夜| 观看美女的网站| 伦精品一区二区三区| 日本-黄色视频高清免费观看| 国产精品日韩av在线免费观看| a级一级毛片免费在线观看| 99精品在免费线老司机午夜| 无遮挡黄片免费观看| 天天躁日日操中文字幕| 十八禁国产超污无遮挡网站| 99热网站在线观看| 精品久久久久久久久久免费视频| 免费av毛片视频| 成年av动漫网址| 国产精品一区二区性色av| 久久久色成人| 欧美日本视频| 亚洲激情五月婷婷啪啪| 在现免费观看毛片| 99久久九九国产精品国产免费| 精品免费久久久久久久清纯| 亚洲精华国产精华液的使用体验 | 一级黄色大片毛片| 亚洲熟妇中文字幕五十中出| 国产精品永久免费网站| 日本 av在线| 亚洲久久久久久中文字幕| 少妇被粗大猛烈的视频| 国产v大片淫在线免费观看| 深夜a级毛片| 性欧美人与动物交配| 国产午夜精品久久久久久一区二区三区 | 国产精品国产三级国产av玫瑰| 国产综合懂色| 色吧在线观看| 精品人妻一区二区三区麻豆 | 悠悠久久av| 亚洲四区av| 99久国产av精品| 成人av一区二区三区在线看| 一个人免费在线观看电影| 白带黄色成豆腐渣| 亚洲婷婷狠狠爱综合网| 我的老师免费观看完整版| 亚洲精品国产av成人精品 | 国产爱豆传媒在线观看| 桃色一区二区三区在线观看| 少妇人妻一区二区三区视频| 久久人人爽人人片av| 日韩一本色道免费dvd| 可以在线观看的亚洲视频| 高清午夜精品一区二区三区 | 久久人人精品亚洲av| 别揉我奶头 嗯啊视频| 精品乱码久久久久久99久播| 人人妻人人看人人澡| 久久综合国产亚洲精品| 伦理电影大哥的女人| 久久综合国产亚洲精品| 亚洲欧美日韩东京热| 插阴视频在线观看视频| 亚洲一区二区三区色噜噜| 亚洲成a人片在线一区二区| 又粗又爽又猛毛片免费看| 韩国av在线不卡| 成人av一区二区三区在线看| 国产黄色视频一区二区在线观看 | 欧美一区二区国产精品久久精品| 精品少妇黑人巨大在线播放 | 成年免费大片在线观看| 亚洲专区国产一区二区| 99riav亚洲国产免费| 97超碰精品成人国产| 岛国在线免费视频观看|