• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于約束的服務(wù)化軟件測(cè)試系統(tǒng)

    2019-06-11 03:39李昌建錢巨程浩周輝
    關(guān)鍵詞:軟件測(cè)試

    李昌建 錢巨 程浩 周輝

    摘要:面向服務(wù)的軟件體系結(jié)構(gòu)近年來不僅在民用領(lǐng)域得到廣泛應(yīng)用,也越來越多地應(yīng)用于軍用裝備軟件系統(tǒng)研制。服務(wù)化軟件的測(cè)試技術(shù)得到了越來越多的關(guān)注。傳統(tǒng)的服務(wù)化軟件測(cè)試工具大多關(guān)注于測(cè)試流程的自動(dòng)化,在測(cè)試用例的自動(dòng)生成等方面,還遠(yuǎn)不夠成熟?,F(xiàn)有測(cè)試技術(shù)和工具尤其難以表達(dá)真實(shí)應(yīng)用中的業(yè)務(wù)邏輯規(guī)則,給生成高質(zhì)量的測(cè)試帶來許多困難。鑒于此,研發(fā)了一款針對(duì)服務(wù)化系統(tǒng)的軟件測(cè)試原型工具。該工具運(yùn)用一階邏輯公式表達(dá)業(yè)務(wù)邏輯約束,基于23 SMT約束求解器生成測(cè)試用例、進(jìn)行故障注入等,使得測(cè)試數(shù)據(jù)的生成更契合待測(cè)軟件業(yè)務(wù)特征,為服務(wù)化軟件的測(cè)試實(shí)踐提供了更有力支持。

    關(guān)鍵詞:Web服務(wù);軟件測(cè)試;測(cè)試用例生成;故障注入;SMT

    中圖分類號(hào):TP311

    文獻(xiàn)標(biāo)識(shí)碼:A

    面向服務(wù)的軟件體系結(jié)構(gòu)近年來不僅在民用領(lǐng)域得到廣泛應(yīng)用,也越來越多地應(yīng)用于軍用裝備軟件系統(tǒng)研制。包括我國(guó)在內(nèi),許多國(guó)家的C4ISR軍用信息系統(tǒng)中均已開始應(yīng)用Web服務(wù)技術(shù)[1]。Web服務(wù)技術(shù)的廣泛應(yīng)用對(duì)服務(wù)化軟件系統(tǒng)的可靠性、安全性提出了更高要求。作為保障可靠性與安全性的一種重要手段,服務(wù)化軟件的測(cè)試技術(shù)也得到了越來越多的關(guān)注。國(guó)外的SoapUI[2]、ParasoftSOAtest[3]、SoapSnoar[4]等工具,已為Web服務(wù)系統(tǒng)的測(cè)試提供了許多支持。研究者們也廣泛探討了各類Web服務(wù)測(cè)試技術(shù)[5][6]。然而,現(xiàn)有的服務(wù)化軟件測(cè)試工具大多關(guān)注于測(cè)試流程的自動(dòng)化,重在運(yùn)用工具來完成消息報(bào)文的發(fā)送和收集等。在測(cè)試用例的自動(dòng)生成等方面,還遠(yuǎn)不夠成熟?,F(xiàn)有測(cè)試技術(shù)和工具尤其難以表達(dá)真實(shí)應(yīng)用中的業(yè)務(wù)邏輯規(guī)則,給生成高質(zhì)量的測(cè)試帶來許多困難。比如,在服務(wù)單元的測(cè)試用例生成方面,大多數(shù)工具僅能根據(jù)整數(shù)、浮點(diǎn)數(shù)等接口數(shù)據(jù)類型,使用隨機(jī)、邊界值等方式生成測(cè)試數(shù)據(jù)。對(duì)于接口數(shù)據(jù)存在復(fù)雜業(yè)務(wù)邏輯相關(guān)約束條件的情況處理能力較為有限,生成的測(cè)試數(shù)據(jù)不貼近待測(cè)應(yīng)用的業(yè)務(wù)特性,有效性較差。德國(guó)的Heckel等[7]、北京大學(xué)的姜瑛等[8]、清華大學(xué)的白曉穎等[9]、西北工業(yè)大學(xué)侯俊等[10]研究了數(shù)據(jù)存在約束條件情況下的測(cè)試用例生成問題。他們用區(qū)間限制、OWL-S等機(jī)制表達(dá)接口數(shù)據(jù)上存在的約束。其中,盡管OWL-S等機(jī)制具有較強(qiáng)的約束表達(dá)能力,但這些工作在根據(jù)約束生成測(cè)試用例時(shí),大多只能處理約束施加在單一輸入因素上的情況,對(duì)于形如a

    隨著SMT求解[11]等技術(shù)的發(fā)展,約束系統(tǒng)在表達(dá)能力和求解能力等方面得到了長(zhǎng)足進(jìn)步,也涌現(xiàn)了23[12]等一批成熟的約束求解工具,為構(gòu)建新型的基于約束求解的測(cè)試工具提供了契機(jī)。據(jù)此,本文提出了一個(gè)基于約束的服務(wù)化軟件測(cè)試原型工具,該工具使用一階邏輯作為約束的主要表達(dá)方式,利用23 SMT約束求解器來支持復(fù)雜約束條件下的測(cè)試用例生成。除了將約束求解技術(shù)應(yīng)用于Web服務(wù)單元級(jí)的測(cè)試用例生成,工具還將約束求解技術(shù)應(yīng)用于服務(wù)調(diào)用序列的生成、基于符號(hào)執(zhí)行的組合服務(wù)測(cè)試數(shù)據(jù)生成、面向業(yè)務(wù)邏輯的故障注入等方面,拓寬了約束系統(tǒng)在服務(wù)化軟件測(cè)試領(lǐng)域的應(yīng)用范圍。在測(cè)試方法支持的數(shù)據(jù)類型及類型上的運(yùn)算方面,借助23工具強(qiáng)大的約束求解能力,工具不僅能夠支持一般整數(shù)類型上的線性運(yùn)算,還能夠?qū)Ω↑c(diǎn)數(shù)上的測(cè)試數(shù)據(jù)。生成提供一定程度的支持,甚至支持按位運(yùn)算等約束系統(tǒng)中可能出現(xiàn)的復(fù)雜運(yùn)算公式。通過對(duì)字符串進(jìn)行整數(shù)編碼,以及應(yīng)用基于正則表達(dá)式的字符串生成等技術(shù),拓廣了測(cè)試功能能夠支持的Web服務(wù)類型范圍。

    1 系統(tǒng)結(jié)構(gòu)

    Web服務(wù)測(cè)試原型工具基本界面如圖1所示。該工具支持Web服務(wù)描述的靜態(tài)檢測(cè)、服務(wù)單元測(cè)試、服務(wù)調(diào)用序列測(cè)試、組合服務(wù)測(cè)試、服務(wù)故障注入測(cè)試、Web服務(wù)性能測(cè)試等核心功能,如圖2所示。其中,工具通過獨(dú)立的約束系統(tǒng)管理模塊,來維護(hù)待測(cè)項(xiàng)目中的各種業(yè)務(wù)邏約束。這些約束依賴于待測(cè)應(yīng)用的功能特性,而非測(cè)試過程中的某一具體活動(dòng),可廣泛應(yīng)用在服務(wù)單元的測(cè)試用例生成、服務(wù)調(diào)用序列生成、組合服務(wù)測(cè)試用例生成、服務(wù)故障注入等多個(gè)方面。

    為保證靈活性,測(cè)試工具采用了如圖3所示的物理結(jié)構(gòu)。整個(gè)系統(tǒng)由測(cè)試用例設(shè)計(jì)器TestDe-signer、測(cè)試任務(wù)執(zhí)行器ServiceExecutor、服務(wù)部署容器SvcHost、以及代理轉(zhuǎn)發(fā)網(wǎng)關(guān)RedirectProxy四大基本模塊構(gòu)成。

    測(cè)試用例設(shè)計(jì)器TestDesigner負(fù)責(zé)測(cè)試用例的設(shè)計(jì)、測(cè)試結(jié)果的收集等任務(wù),提供一個(gè)用戶界面,以便于用戶編輯和查閱測(cè)試用例及其執(zhí)行信息。測(cè)試任務(wù)執(zhí)行器ServiceExecutor從測(cè)試用例設(shè)計(jì)器接收測(cè)試任務(wù),根據(jù)任務(wù)要求展開實(shí)際測(cè)試動(dòng)作,該模塊也可脫離用戶界面,通過腳本驅(qū)動(dòng)。服務(wù)部署容器SvcHost用于發(fā)布待測(cè)服務(wù)和安裝、控制虛擬服務(wù)。代理轉(zhuǎn)發(fā)網(wǎng)關(guān)RedirectProxy用于監(jiān)控不同服務(wù)之間的消息流??稍诖砭W(wǎng)關(guān)上設(shè)定故障注入或性能控制要求,以控制目標(biāo)服務(wù)的功能和性能表現(xiàn)。

    2 約束系統(tǒng)管理

    原型工具采用集中管理方式維護(hù)待測(cè)應(yīng)用中的業(yè)務(wù)邏輯約束。圖4展示了工具中的約束管理界面。系統(tǒng)支持23約束求解工具能夠處理的大部分一階邏輯約束公式。為便于結(jié)合Web服務(wù)的特點(diǎn)來表達(dá)約束關(guān)系,測(cè)試工具定義了自己的約束表達(dá)語言,該語言將被翻譯為23約束求解工具接受的約束語言以進(jìn)行約束求解,所得的約束滿足或不滿足解將被翻譯映射回Web服務(wù)上的相關(guān)數(shù)據(jù),以進(jìn)行測(cè)試。

    2.1 約束變量

    約束公式建立的基礎(chǔ)是約束變量,系統(tǒng)支持兩種類型的約束變量。

    1)值約束變量。其表達(dá)形式為

    value( svc/operation/message_path),

    其中value是變量類型名,用以區(qū)分其它類型的約束變量。svc是服務(wù)標(biāo)識(shí),用以區(qū)分不同的服務(wù),可通過宏定義方式預(yù)先定義出svc名稱的具體含義。operation是Web服務(wù)的操作的名稱,mes-sage_path是由操作到基本元素參數(shù)的路徑。例如“svc=http: //test.com/axis2/services/Add”表達(dá)add服務(wù)的服務(wù)地址,可通過svc值找到服務(wù)?!皏alue( svc/add/a)”表達(dá)svc服務(wù)中的add操作的a參數(shù)的取值。

    2)時(shí)間約束變量。其形式為

    startTime( svc/operation)

    其中startTime是約束變量的類型名稱,整個(gè)約束變量表達(dá)了某一服務(wù)某一操作在服務(wù)調(diào)用過程中的啟動(dòng)時(shí)間。

    2.2 約束公式

    工具中的約束公式本質(zhì)上是23求解器支持的一階邏輯公式,可以建立在單個(gè)服務(wù)操作的不同參數(shù)之間。包括輸入?yún)?shù)之間,用以表達(dá)輸入數(shù)據(jù)上的限制;也包括輸入和輸出參數(shù)之間,用以描述一個(gè)服務(wù)操作的輸出和輸入之間可能存在的某種聯(lián)系。約束公式還可以建立在不同服務(wù)之間,主要用于描述服務(wù)調(diào)用在時(shí)序上應(yīng)該存在的關(guān)系。典型的約束公式示例如下。

    1)值約束。形如

    value( svc/add/a)< value( svc/add/b),

    表達(dá)svc服務(wù)中add操作的a參數(shù)取值應(yīng)小于b參數(shù)取值。

    2)時(shí)序約束。形如

    startTime( svc/add)

    表達(dá)svc服務(wù)add操作的調(diào)用應(yīng)該在multiple操作之前。

    約束用AND、OR、NOT關(guān)系構(gòu)成的樹進(jìn)行組織。樹的葉節(jié)點(diǎn)是基本約束,每個(gè)約束含有一條約束公式?;炯s束通過AND、OR、NOT關(guān)系構(gòu)成更復(fù)雜的約束系統(tǒng)。每個(gè)約束節(jié)點(diǎn)可以命名,以直觀表達(dá)約束的含義。例如

    value (svc/add/a)>0 and value (svc/add/a)

    表達(dá)svc服務(wù)中add操作包含兩個(gè)基本約束,并通過AND關(guān)系組合成一個(gè)復(fù)雜約束。3 基于約束的服務(wù)單元測(cè)試用例生成

    原型工具支持基于約束來生成有效和無效測(cè)試數(shù)據(jù)。針對(duì)每個(gè)待測(cè)服務(wù)操作,可以生成滿足約束的有效測(cè)試數(shù)據(jù)或者不滿足約束的無效測(cè)試數(shù)據(jù)。測(cè)試用例的具體生成流程如圖5所示。首先從待測(cè)項(xiàng)目的整個(gè)約束樹中提取目前所關(guān)注的服務(wù)操作相關(guān)的約束,例如“value( svc/add/a)+10”.

    第二步,建立從服務(wù)操作輸入數(shù)據(jù)到各個(gè)約束變量之間的關(guān)聯(lián),約束變量的求解結(jié)果即這些參數(shù)將要設(shè)定的取值。然后,利用23求解引擎進(jìn)行約束求解,目前系統(tǒng)支持線性不等式約束、布爾約束、按位運(yùn)算約束、字符串枚舉類型上的判定等約束類型。下一步,根據(jù)求解所獲得的約束變量取值導(dǎo)出服務(wù)操作的參數(shù)取值設(shè)定。最后,根據(jù)參數(shù)取值構(gòu)造服務(wù)操作測(cè)試時(shí)所需的完整SOAP數(shù)據(jù)包,以發(fā)起服務(wù)調(diào)用。

    例如,對(duì)于Add服務(wù)規(guī)定add操作規(guī)定參數(shù)值α小于參數(shù)值b,生成滿足約束的測(cè)試數(shù)據(jù)的操作如下。首先提取約束到約束配置界面,給出約束標(biāo)識(shí)svc的值“svc=http://test.com/axis2/services/Add”及約束表達(dá)式的具體形式其次,“value( svc/add/a)

    測(cè)試用例生成中,基于約束生成無效測(cè)試數(shù)據(jù)的過程與生成有效測(cè)試數(shù)據(jù)的過程非常接近。主要差別在于獲得所有約束后,需要對(duì)約束取反,從而求解獲得違反約束的不合理取值。

    在Web服務(wù)中,經(jīng)常需要使用字符串類型,字符串常以枚舉常量形式出現(xiàn),以作為狀態(tài)標(biāo)識(shí)等。為支持字符串類型上的測(cè)試生成,我們用整數(shù)對(duì)所有出現(xiàn)的字符串常量進(jìn)行編碼,如此,字符串在某一枚舉集中取值、字符串相等、字符串不等等問題,可以轉(zhuǎn)化為整數(shù)上的判等問題,同樣可采用23工具進(jìn)行約束求解。獲得相應(yīng)的解后,我們將整數(shù)編碼重新映射回字符串,可以獲得滿足或不滿足約束要求的字符串。一些字符上常存在正則表達(dá)式表示的模式限制,比如要求密碼字符串的模式為[0-9][0—9][0—9],表示密碼是三個(gè)數(shù)字構(gòu)成的串。對(duì)此,原型工具使用Xeger程序庫(kù)[13],借助基于正則表達(dá)式的字符串生成技術(shù)來生成相應(yīng)的滿足或不滿足約束的串。4 基于約束的服務(wù)調(diào)用序列測(cè)試生成

    服務(wù)調(diào)用序列可用于檢測(cè)服務(wù)內(nèi)部是否正確實(shí)現(xiàn)了無狀態(tài)特性,不會(huì)因歷史上的其它調(diào)用而影響后續(xù)的服務(wù)執(zhí)行,也可檢測(cè)數(shù)據(jù)是否能夠在相關(guān)服務(wù)操作間有效流轉(zhuǎn),對(duì)于服務(wù)系統(tǒng)整體的質(zhì)量保證具有重要意義。

    在服務(wù)調(diào)用序列測(cè)試中,我們首先需要根據(jù)服務(wù)操作間輸入輸出參數(shù)的匹配情況、多維組合覆蓋要求等,生成用于測(cè)試的候選服務(wù)操作調(diào)用序列。然而,并非上述每一序列對(duì)于實(shí)際測(cè)試均有意義。一個(gè)服務(wù)化應(yīng)用的功能特性可能決定在用戶的使用過程中,A服務(wù)操作的調(diào)用永遠(yuǎn)發(fā)生在B服務(wù)操作之前,這時(shí)測(cè)試A操作發(fā)生于B操作之后的服務(wù)調(diào)用序列顯然意義不大,需要將此類序列進(jìn)行排除。另一類情況下,服務(wù)實(shí)現(xiàn)人員可能認(rèn)為用戶一定先調(diào)用A操作,然后再調(diào)用B操作,而實(shí)際情況中,用戶可能按相反的順序使用。這時(shí),為測(cè)試服務(wù)系統(tǒng)的健壯性,反而需要測(cè)試B先A后的情況。為支持上述測(cè)試,本測(cè)試工具支持對(duì)服務(wù)操作間的合理調(diào)用時(shí)序進(jìn)行約束建模,然后根據(jù)時(shí)序約束的滿足與不滿足性來生成用于測(cè)試的服務(wù)調(diào)用序列。

    服務(wù)調(diào)用序列的生成過程以滿足輸入輸出參數(shù)的類型匹配要求為首要出發(fā)點(diǎn),首先根據(jù)上述要求生成一批前后服務(wù)調(diào)用間輸入輸出能夠全部或部分銜接的候選序列。然后,根據(jù)約束滿足情況對(duì)這批候選序列進(jìn)行過濾,獲得有效或無效測(cè)試序列。在此基礎(chǔ)上,再根據(jù)組合要求進(jìn)行進(jìn)一步測(cè)試用例選擇。

    在檢驗(yàn)一個(gè)候選服務(wù)調(diào)用序列是否滿足業(yè)務(wù)邏輯限定的時(shí)序約束時(shí),首先從待測(cè)項(xiàng)目的約束系統(tǒng)中,找出相關(guān)服務(wù)操作對(duì)應(yīng)的時(shí)序約束關(guān)系,即一組startTime約束變量上的不等式。例如,如下約束:

    startTime( svc/add)

    限定了svc服務(wù)中的add操作一定發(fā)生在其sub操作之前。

    然后,將待檢測(cè)的候選序列所蘊(yùn)含的操作間先后關(guān)系也轉(zhuǎn)換為startTime大小關(guān)系加入到約束表中。例如,對(duì)于一個(gè)操作序列,其蘊(yùn)含的時(shí)序約束可以表達(dá)為:startTime(a)

    最后,取用戶定義的業(yè)務(wù)邏輯約束和當(dāng)前候選序列中所蘊(yùn)含的先后約束關(guān)系聯(lián)立為不等式組,采用23求解器進(jìn)行約束求解。如果不等式組有解,表明能夠找到各個(gè)服務(wù)操作的startTime()變量取值,使得無論是用戶的業(yè)務(wù)邏輯要求,還是當(dāng)前序列所要求的順序都能夠得到滿足,當(dāng)前生成的這個(gè)操作序列是合理的;否則表明當(dāng)前操作序列不合理,序列為無效服務(wù)操作調(diào)用序列,對(duì)應(yīng)無效測(cè)試用例。

    例如,對(duì)于Calculate服務(wù),其中的蘊(yùn)含的時(shí)序約束表達(dá)為:“startTime(add)

    5 基于約束的故障注入

    本服務(wù)化軟件測(cè)試原型工具還支持基于約束的故障注入。故障注入過程首選選擇一批測(cè)試用例作為注入基礎(chǔ),然后選擇一批注入點(diǎn)來實(shí)施注入。故障注入點(diǎn)以服務(wù)操作進(jìn)行標(biāo)識(shí)。這些服務(wù)操作可以是基礎(chǔ)測(cè)試用例中直接調(diào)用的服務(wù)操作,也可以是基礎(chǔ)測(cè)試用例所調(diào)用的服務(wù)操作內(nèi)部所間接調(diào)用的其它服務(wù)操作。

    本測(cè)試系統(tǒng)中,所有的服務(wù)間消息傳遞都經(jīng)過RedirectProxy代理模塊,因此,在該代理中進(jìn)行監(jiān)控,可以比較方便地識(shí)別各個(gè)故障注入點(diǎn)。通過在代理過程中,將原先的正常輸入數(shù)據(jù)替換為異常數(shù)據(jù),可以注入錯(cuò)誤,檢測(cè)整個(gè)服務(wù)化系統(tǒng)對(duì)于異常的容錯(cuò)情況。

    原型系統(tǒng)支持面向消息結(jié)構(gòu)的注入、面向通信的注入、面向業(yè)務(wù)邏輯的注入三種注入方式。面向消息結(jié)構(gòu)的注入主要注入不匹配預(yù)定消息格式的SOAP報(bào)文,如增加無效參數(shù)節(jié)點(diǎn)、刪除有效參數(shù)節(jié)點(diǎn)、參數(shù)節(jié)點(diǎn)亂序等;面向通信的注入主要注入網(wǎng)絡(luò)傳輸故障,如消息重復(fù)、消息丟失、消息亂序的等;而面向業(yè)務(wù)邏輯的注入主要注入結(jié)構(gòu)合法,但數(shù)據(jù)內(nèi)容不滿足業(yè)務(wù)邏輯約束的異常數(shù)據(jù)。

    對(duì)于面向業(yè)務(wù)邏輯的故障注入,如果某add服務(wù)正常情況下相關(guān)業(yè)務(wù)邏輯要求其a參數(shù)取值小于b參數(shù),即:

    value( svc/add/a)< value( svc/add/b).

    那么,在故障注入中,我們會(huì)對(duì)正常的輸人參數(shù)進(jìn)行篡改,使得α的值大于等于b。如此,可以注入一個(gè)格式正常,但數(shù)據(jù)內(nèi)容通常不會(huì)出現(xiàn)的異常情況。例如,對(duì)于以上約束,我們將通過取反,獲得其否定形式:

    not value( svc/add/a)< value( svc/add/b)

    通過利用SMT求解器求解該約束條件,可以生成一個(gè)違反業(yè)務(wù)邏輯的故障數(shù)據(jù){a=98,b=98)。該故障數(shù)據(jù)可以模擬由于軟硬件錯(cuò)誤造成程序邏輯異常的情況,將更接近真實(shí)場(chǎng)景中可能發(fā)生的故障。測(cè)試用例生成后,故障注入選項(xiàng)選擇“違反取值約束”選項(xiàng)。

    故障注入測(cè)試實(shí)施后,系統(tǒng)將報(bào)告測(cè)試執(zhí)行結(jié)果,同時(shí)展示生成的異常報(bào)文,以便于用戶了解容錯(cuò)情況。如圖8所示,Add服務(wù)故障注入前的數(shù)據(jù)是{a=98,b=99),故障注入后的數(shù)據(jù)為{a=869,y=99},測(cè)試執(zhí)行結(jié)果數(shù)據(jù)為{result=968}。

    6 結(jié)論

    測(cè)試工具的主要?jiǎng)?chuàng)新點(diǎn)是將約束表達(dá)與求解技術(shù)廣泛應(yīng)用在服務(wù)化軟件的測(cè)試用例生成、故障注入等多個(gè)領(lǐng)域,較之已有工具,具有更強(qiáng)的測(cè)試分析設(shè)計(jì)能力,能夠支持用戶進(jìn)行更高效的測(cè)試。在約束的處理方面,使用了前沿的SMT約束求解技術(shù),能夠表達(dá)和處理豐富的約束類型,能夠處理不同輸入輸出因素之間的關(guān)聯(lián)性約束,使得更多的業(yè)務(wù)邏輯限制能夠得到有效表達(dá)和處理,從而可以改進(jìn)測(cè)試數(shù)據(jù)的生成質(zhì)量。

    對(duì)服務(wù)的約束處理目前支持的約束有值約束和時(shí)序約束可滿足多數(shù)場(chǎng)景下的測(cè)試需求,對(duì)于非線性約束等其他約束值得在未來進(jìn)一步研究。同時(shí),對(duì)于約束中字符串的處理,當(dāng)前操作使用整數(shù)編碼的形式進(jìn)行處理,未來可以考慮使用23-str進(jìn)行處理。

    參考文獻(xiàn):

    [1] LAU Y T.“Service -oriented architecture and the C4ISR frame-work”[J]. The Journal of Defense Software Engineering,2004(9):11-14

    [2]KANKANAMGE C. Web services testing with soapUI[M].Birm-ingham: Packt Publishing Ltd, 2012.

    [3]Parasoft SOAtest [EB/OL](2016-09-27) [2018-03-14]. https://www.parasoft. com/product/soatest

    [4]SOAPSonar [EB/OL] (2018 -02-13) [2018 -03 -14]. http://www.crosschecknet.com/products/soapsonar.php/

    [5]BOZKURT M.HARMAN M.HASSOUN Y.Testing and verifica-tion in service-oriented architecture:a survey[J].Software Test-ing, Verification and Reliability, 2013: 261-313

    [6] QIU D, LI B X.JI S H,et al.Regression testing of web service:asystematic mapping study[J].ACM Computing Surveys, 2014, 47(1):21-46.

    [7] HECKEL R,LOHMANN M."Towards contract-based testing ofweb services,”[J].Electronic Notes in Theoretical Computer Sci-ence, 2005, 116(19): 145-156.

    [8]姜瑛,辛國(guó)茂,單錦輝,等.一種Web服務(wù)的測(cè)試數(shù)據(jù)自動(dòng)生成方法[J]計(jì)算機(jī)學(xué)報(bào).2005 (4):568-577.

    [9]侯可佳,白曉穎,陸?zhàn)?,等,基于接口語義契約的Web服務(wù)測(cè)試數(shù)據(jù)生成[J].軟件學(xué)報(bào),2013.24(9):2020-2041.

    [10]HOU J,ZHOU H, MA C, et al.Method for automatically generat-ing test cases for web services[J].Journal of Northwestem Poly-technic al University, 2018, 36(1):149-155.

    [11]王翀,呂蔭潤(rùn),陳力,等.SMT求解技術(shù)的發(fā)展及最新應(yīng)用研究綜述[J].計(jì)算機(jī)研究與發(fā)展,2017,54(07):1405-1425.

    [12] MOURA LD,BJRNERN."23: An efficient SMT solver,”[C].in Proceedings of the Intemational conference on Tools and Algo-rithms for the Construction and Analysis of Systems, 2008: 337-340

    [13]XEGER[EB/OL]( 2017 -06 -24) [2018 -03 -19]. https: //github.com/bluezio/xeger.

    猜你喜歡
    軟件測(cè)試
    軟件測(cè)試方向人才培養(yǎng)“1+X”融合研究
    大數(shù)據(jù)背景下軟件測(cè)試技術(shù)的發(fā)展
    軟件測(cè)試課程教學(xué)改革探討
    關(guān)于 Web 應(yīng)用系統(tǒng)的軟件測(cè)試的研究
    核心概念與案例驅(qū)動(dòng)的軟件測(cè)試課程教學(xué)研究
    軍用軟件測(cè)試項(xiàng)目管理系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)
    智能手機(jī)菜譜軟件的設(shè)計(jì)
    軟件測(cè)試發(fā)展現(xiàn)狀及前景的探討
    色婷婷久久久亚洲欧美| videosex国产| 亚洲av成人精品一区久久| 在线观看人妻少妇| 久久精品国产鲁丝片午夜精品| 涩涩av久久男人的天堂| 亚洲精华国产精华液的使用体验| 最近中文字幕2019免费版| 婷婷色综合大香蕉| 亚洲av电影在线观看一区二区三区| 女性被躁到高潮视频| videos熟女内射| 亚洲经典国产精华液单| 少妇被粗大猛烈的视频| 日本爱情动作片www.在线观看| 韩国av在线不卡| 天天影视国产精品| 国产精品久久久久久久电影| 亚洲国产欧美在线一区| 曰老女人黄片| 国产av一区二区精品久久| 亚洲国产精品一区二区三区在线| 午夜激情久久久久久久| 免费黄色在线免费观看| 嘟嘟电影网在线观看| videossex国产| 欧美xxⅹ黑人| 人人妻人人澡人人爽人人夜夜| 亚洲精品美女久久av网站| 黄色配什么色好看| 黄色配什么色好看| 少妇高潮的动态图| 国产精品.久久久| 亚洲国产精品999| 插逼视频在线观看| 成人毛片60女人毛片免费| 亚洲经典国产精华液单| 国产av码专区亚洲av| 男的添女的下面高潮视频| 免费人妻精品一区二区三区视频| 在线观看免费日韩欧美大片 | 伊人久久国产一区二区| 肉色欧美久久久久久久蜜桃| 一级毛片 在线播放| 91精品伊人久久大香线蕉| 香蕉精品网在线| 99国产精品免费福利视频| 只有这里有精品99| av国产精品久久久久影院| 亚洲精品中文字幕在线视频| 欧美激情 高清一区二区三区| 亚洲av欧美aⅴ国产| xxx大片免费视频| av电影中文网址| 涩涩av久久男人的天堂| 欧美精品人与动牲交sv欧美| 中文字幕最新亚洲高清| 韩国高清视频一区二区三区| 日韩熟女老妇一区二区性免费视频| 精品国产乱码久久久久久小说| 久久综合国产亚洲精品| 亚洲人成网站在线播| 女人久久www免费人成看片| 欧美bdsm另类| 人妻人人澡人人爽人人| 国产色婷婷99| 欧美亚洲 丝袜 人妻 在线| 亚洲欧洲日产国产| 建设人人有责人人尽责人人享有的| 国产精品国产av在线观看| 亚洲精品亚洲一区二区| 久久综合国产亚洲精品| 91精品国产九色| 国产在线视频一区二区| 国产成人91sexporn| 人妻人人澡人人爽人人| 赤兔流量卡办理| 亚洲一区二区三区欧美精品| 久久久久久久精品精品| 新久久久久国产一级毛片| 美女脱内裤让男人舔精品视频| 国产伦精品一区二区三区视频9| 美女福利国产在线| 一级爰片在线观看| 日韩av在线免费看完整版不卡| 国产精品欧美亚洲77777| 国产 精品1| 国产高清三级在线| 日本黄大片高清| 国产国拍精品亚洲av在线观看| 在线 av 中文字幕| 午夜福利,免费看| 日韩av不卡免费在线播放| 国产亚洲最大av| 久久久精品区二区三区| 看十八女毛片水多多多| 桃花免费在线播放| 国产 精品1| 80岁老熟妇乱子伦牲交| 一区二区三区精品91| 国产综合精华液| 欧美 日韩 精品 国产| 女性生殖器流出的白浆| 精品午夜福利在线看| 国产精品久久久久久精品电影小说| h视频一区二区三区| 午夜日本视频在线| av国产精品久久久久影院| 九九爱精品视频在线观看| 人体艺术视频欧美日本| 夫妻午夜视频| 纯流量卡能插随身wifi吗| 国产精品一区二区在线观看99| 日韩大片免费观看网站| 国产精品一区www在线观看| 赤兔流量卡办理| av播播在线观看一区| 久久久久久久精品精品| 一级爰片在线观看| 黄片无遮挡物在线观看| 亚洲无线观看免费| 日本色播在线视频| 高清欧美精品videossex| 国产成人精品一,二区| 成人毛片60女人毛片免费| 国产精品一区二区在线不卡| 乱人伦中国视频| 天堂中文最新版在线下载| 欧美国产精品一级二级三级| 内地一区二区视频在线| 免费观看在线日韩| 久久ye,这里只有精品| 999精品在线视频| 精品酒店卫生间| 亚洲怡红院男人天堂| 好男人视频免费观看在线| 国产色爽女视频免费观看| 永久免费av网站大全| 色哟哟·www| 三级国产精品片| 国产探花极品一区二区| 国产成人91sexporn| a级毛片黄视频| 18+在线观看网站| 日韩中字成人| 国产老妇伦熟女老妇高清| 亚洲精华国产精华液的使用体验| 99热网站在线观看| 韩国av在线不卡| 国产在线免费精品| 2018国产大陆天天弄谢| 欧美 日韩 精品 国产| 99视频精品全部免费 在线| 亚洲国产欧美在线一区| 亚洲av不卡在线观看| 国产av精品麻豆| √禁漫天堂资源中文www| 性色av一级| 成人亚洲精品一区在线观看| 91久久精品国产一区二区三区| 香蕉精品网在线| 中文字幕人妻丝袜制服| 国产综合精华液| 精品人妻一区二区三区麻豆| 日本与韩国留学比较| 亚洲成人手机| 国产午夜精品一二区理论片| 国产一区二区在线观看av| 男人爽女人下面视频在线观看| 在线播放无遮挡| 亚洲欧洲国产日韩| 久久人人爽人人片av| 国产成人精品福利久久| 一边亲一边摸免费视频| 18禁观看日本| 日韩一本色道免费dvd| 啦啦啦中文免费视频观看日本| 久久精品国产a三级三级三级| 国产成人精品无人区| 欧美日韩视频高清一区二区三区二| 香蕉精品网在线| 免费大片黄手机在线观看| .国产精品久久| 母亲3免费完整高清在线观看 | 国产成人免费无遮挡视频| 国语对白做爰xxxⅹ性视频网站| 国产精品蜜桃在线观看| 两个人免费观看高清视频| 永久网站在线| 日日撸夜夜添| 国产免费视频播放在线视频| 啦啦啦啦在线视频资源| 亚洲欧美成人精品一区二区| a级毛片在线看网站| 各种免费的搞黄视频| 国产免费一区二区三区四区乱码| 18禁观看日本| 欧美激情极品国产一区二区三区 | 成人国产麻豆网| a 毛片基地| 伊人久久精品亚洲午夜| 男女国产视频网站| 老女人水多毛片| 亚洲精品视频女| 美女福利国产在线| 人人妻人人爽人人添夜夜欢视频| 777米奇影视久久| 国产精品久久久久久精品古装| 狠狠婷婷综合久久久久久88av| 久久ye,这里只有精品| 亚洲美女搞黄在线观看| 91aial.com中文字幕在线观看| 插阴视频在线观看视频| 久久久久国产网址| 国产高清国产精品国产三级| 精品一区二区三卡| 亚洲av成人精品一二三区| 下体分泌物呈黄色| 国产av码专区亚洲av| 18禁在线播放成人免费| 在线观看一区二区三区激情| 久久精品久久久久久噜噜老黄| 亚洲国产色片| 精品国产露脸久久av麻豆| 国产高清国产精品国产三级| 日韩电影二区| 精品一区二区免费观看| 婷婷色av中文字幕| 日韩人妻高清精品专区| 99久久精品国产国产毛片| 亚洲性久久影院| 一级毛片 在线播放| 国产精品一二三区在线看| 人体艺术视频欧美日本| 亚洲精品av麻豆狂野| 秋霞伦理黄片| 七月丁香在线播放| 内地一区二区视频在线| 哪个播放器可以免费观看大片| 中文乱码字字幕精品一区二区三区| 人妻制服诱惑在线中文字幕| 中国国产av一级| 精品人妻一区二区三区麻豆| 少妇丰满av| 在线免费观看不下载黄p国产| 亚洲成色77777| av天堂久久9| 欧美精品高潮呻吟av久久| 国产 一区精品| 免费日韩欧美在线观看| 免费大片黄手机在线观看| 97在线视频观看| videos熟女内射| 一区在线观看完整版| 欧美精品亚洲一区二区| 国产成人精品久久久久久| 亚洲欧美日韩卡通动漫| 亚洲,欧美,日韩| 一级片'在线观看视频| 亚洲美女搞黄在线观看| 精品久久久久久久久亚洲| 国产成人aa在线观看| 成人亚洲欧美一区二区av| 色视频在线一区二区三区| 成年女人在线观看亚洲视频| 日韩三级伦理在线观看| 97在线人人人人妻| 少妇人妻 视频| 99热这里只有是精品在线观看| 亚洲av日韩在线播放| 美女福利国产在线| 黄色一级大片看看| 全区人妻精品视频| 丝袜美足系列| av有码第一页| 国精品久久久久久国模美| 午夜视频国产福利| 国产精品三级大全| 成年女人在线观看亚洲视频| 在线观看三级黄色| av在线老鸭窝| 我的女老师完整版在线观看| 国产乱人偷精品视频| 男人操女人黄网站| 国产69精品久久久久777片| 大话2 男鬼变身卡| 热99国产精品久久久久久7| 女人久久www免费人成看片| 久久影院123| 国产日韩欧美在线精品| 亚洲精品乱久久久久久| 久久久a久久爽久久v久久| 日韩精品有码人妻一区| 在线亚洲精品国产二区图片欧美 | 国产深夜福利视频在线观看| 久久精品久久久久久噜噜老黄| 青春草国产在线视频| 永久免费av网站大全| 成人18禁高潮啪啪吃奶动态图 | 欧美最新免费一区二区三区| 久久久久人妻精品一区果冻| 午夜免费男女啪啪视频观看| 97在线视频观看| 免费少妇av软件| 日日撸夜夜添| 乱码一卡2卡4卡精品| 久久精品久久久久久噜噜老黄| 狂野欧美激情性bbbbbb| 一级毛片黄色毛片免费观看视频| 人妻人人澡人人爽人人| 国产熟女欧美一区二区| 亚洲,一卡二卡三卡| 蜜桃在线观看..| 又粗又硬又长又爽又黄的视频| 亚洲av综合色区一区| 欧美精品人与动牲交sv欧美| 中文字幕精品免费在线观看视频 | 亚洲欧美成人综合另类久久久| 欧美丝袜亚洲另类| 街头女战士在线观看网站| 精品人妻熟女av久视频| 人成视频在线观看免费观看| 久久久久网色| 久久99一区二区三区| 国产精品久久久久久av不卡| 男女无遮挡免费网站观看| 中文欧美无线码| 一本久久精品| 国产一区二区三区综合在线观看 | 丰满迷人的少妇在线观看| 涩涩av久久男人的天堂| 中文欧美无线码| 色婷婷久久久亚洲欧美| 免费大片黄手机在线观看| 少妇的逼好多水| 国产精品蜜桃在线观看| 精品久久久久久久久亚洲| 另类精品久久| 男人操女人黄网站| 中文字幕亚洲精品专区| 国产极品粉嫩免费观看在线 | 国产白丝娇喘喷水9色精品| 国产男人的电影天堂91| 久久精品熟女亚洲av麻豆精品| 免费人妻精品一区二区三区视频| 制服人妻中文乱码| 亚洲av不卡在线观看| videosex国产| 777米奇影视久久| 少妇熟女欧美另类| 国产成人精品福利久久| 中文精品一卡2卡3卡4更新| 韩国av在线不卡| 99精国产麻豆久久婷婷| 久久久精品94久久精品| 久久久久久人妻| 亚洲美女黄色视频免费看| 大香蕉97超碰在线| 97超碰精品成人国产| 欧美日韩精品成人综合77777| 高清欧美精品videossex| 中国美白少妇内射xxxbb| 久久久久久伊人网av| 国产精品99久久99久久久不卡 | 大香蕉久久成人网| 18禁在线无遮挡免费观看视频| 精品一品国产午夜福利视频| 精品久久久久久久久亚洲| 国产片特级美女逼逼视频| 免费看光身美女| 日韩中文字幕视频在线看片| 成人二区视频| 2022亚洲国产成人精品| 麻豆精品久久久久久蜜桃| freevideosex欧美| 亚洲精品中文字幕在线视频| 久久精品国产自在天天线| 晚上一个人看的免费电影| 日本午夜av视频| 中文字幕制服av| av福利片在线| 亚洲精品一区蜜桃| 日韩中文字幕视频在线看片| 秋霞伦理黄片| 一级二级三级毛片免费看| 国产伦理片在线播放av一区| 日韩成人av中文字幕在线观看| 国产在线视频一区二区| 亚洲成人手机| 日本-黄色视频高清免费观看| 2021少妇久久久久久久久久久| 99精国产麻豆久久婷婷| 亚洲精品日本国产第一区| 91久久精品电影网| a级毛色黄片| 国产一区二区三区av在线| 欧美日韩亚洲高清精品| 精品国产一区二区久久| 91成人精品电影| av又黄又爽大尺度在线免费看| 精品久久久噜噜| 又粗又硬又长又爽又黄的视频| 在线观看免费视频网站a站| a级毛片免费高清观看在线播放| 国产av一区二区精品久久| 国产精品一区二区在线不卡| 日韩,欧美,国产一区二区三区| 国产成人av激情在线播放 | 永久免费av网站大全| a 毛片基地| 2022亚洲国产成人精品| 国产精品蜜桃在线观看| 少妇人妻久久综合中文| 成人综合一区亚洲| 国产亚洲最大av| 日日摸夜夜添夜夜添av毛片| xxxhd国产人妻xxx| 国产精品一区二区在线观看99| 能在线免费看毛片的网站| 天堂中文最新版在线下载| 美女国产高潮福利片在线看| 婷婷色麻豆天堂久久| 啦啦啦啦在线视频资源| 日韩不卡一区二区三区视频在线| 亚洲国产毛片av蜜桃av| 国产精品免费大片| 另类亚洲欧美激情| av在线播放精品| 亚洲人成77777在线视频| 高清欧美精品videossex| 边亲边吃奶的免费视频| 久久精品久久久久久久性| 欧美人与性动交α欧美精品济南到 | 制服丝袜香蕉在线| 99热全是精品| 国产欧美日韩综合在线一区二区| 乱码一卡2卡4卡精品| 久久久国产一区二区| 国产又色又爽无遮挡免| 中文字幕av电影在线播放| 人人妻人人澡人人爽人人夜夜| 午夜福利影视在线免费观看| 男女啪啪激烈高潮av片| 成人二区视频| 一级毛片 在线播放| 精品视频人人做人人爽| 国产av精品麻豆| 老司机亚洲免费影院| 国产精品 国内视频| 热re99久久精品国产66热6| 欧美bdsm另类| 亚洲第一av免费看| 中文字幕最新亚洲高清| 久久久久久久久久久免费av| 老司机影院成人| 这个男人来自地球电影免费观看 | 我的老师免费观看完整版| 91久久精品国产一区二区成人| 日韩在线高清观看一区二区三区| 嘟嘟电影网在线观看| 另类亚洲欧美激情| 亚洲精品乱久久久久久| 精品99又大又爽又粗少妇毛片| 视频在线观看一区二区三区| 免费观看的影片在线观看| 免费av不卡在线播放| 日本av手机在线免费观看| 成人亚洲精品一区在线观看| 中文字幕精品免费在线观看视频 | 国国产精品蜜臀av免费| 国产探花极品一区二区| 日韩免费高清中文字幕av| 国产永久视频网站| 另类精品久久| 成人国产av品久久久| 欧美国产精品一级二级三级| 免费看光身美女| 国产在视频线精品| 婷婷色麻豆天堂久久| 午夜精品国产一区二区电影| 黑人高潮一二区| 久久毛片免费看一区二区三区| 一区二区三区四区激情视频| 成年美女黄网站色视频大全免费 | 亚洲国产av影院在线观看| 亚洲三级黄色毛片| xxxhd国产人妻xxx| 天堂中文最新版在线下载| 人妻系列 视频| 久久久久精品久久久久真实原创| 亚洲三级黄色毛片| 久久青草综合色| 狠狠婷婷综合久久久久久88av| 亚洲精品成人av观看孕妇| 久久99蜜桃精品久久| 妹子高潮喷水视频| av播播在线观看一区| 欧美亚洲日本最大视频资源| 国产一区二区三区av在线| 三级国产精品片| av播播在线观看一区| 亚洲成人一二三区av| 国产一区二区三区av在线| 丝瓜视频免费看黄片| 一级a做视频免费观看| 亚洲精品美女久久av网站| 2021少妇久久久久久久久久久| 欧美日韩成人在线一区二区| av在线app专区| 国产片内射在线| videosex国产| 久久精品夜色国产| 少妇人妻 视频| 久久久精品免费免费高清| 啦啦啦视频在线资源免费观看| 免费观看在线日韩| 成人二区视频| 中文精品一卡2卡3卡4更新| 99国产精品免费福利视频| 高清欧美精品videossex| 大香蕉久久成人网| 一个人免费看片子| 黑人欧美特级aaaaaa片| 中文字幕人妻丝袜制服| 免费看av在线观看网站| 日韩大片免费观看网站| 亚洲性久久影院| 亚洲欧美清纯卡通| 日本av免费视频播放| 国产一区有黄有色的免费视频| 国产精品女同一区二区软件| 99精国产麻豆久久婷婷| 建设人人有责人人尽责人人享有的| 亚洲综合色惰| 色5月婷婷丁香| 日韩欧美精品免费久久| 日本与韩国留学比较| av在线老鸭窝| 最近中文字幕高清免费大全6| 亚洲第一区二区三区不卡| 亚洲av综合色区一区| 精品久久蜜臀av无| 日韩,欧美,国产一区二区三区| 久久久久网色| 又大又黄又爽视频免费| 国产av一区二区精品久久| 嫩草影院入口| 国产精品国产三级专区第一集| 九九爱精品视频在线观看| 精品一区在线观看国产| 色网站视频免费| 天堂俺去俺来也www色官网| 一级毛片 在线播放| 国产成人一区二区在线| 高清欧美精品videossex| 男人操女人黄网站| 免费人成在线观看视频色| 午夜福利视频精品| 亚洲一区二区三区欧美精品| 新久久久久国产一级毛片| 99九九线精品视频在线观看视频| 成年美女黄网站色视频大全免费 | 免费不卡的大黄色大毛片视频在线观看| 亚洲无线观看免费| 日本欧美国产在线视频| 日韩伦理黄色片| av专区在线播放| 一区二区三区免费毛片| 中文欧美无线码| 精品一区二区三卡| 男男h啪啪无遮挡| 国产女主播在线喷水免费视频网站| 国产爽快片一区二区三区| 日韩强制内射视频| 欧美日韩一区二区视频在线观看视频在线| 999精品在线视频| 日韩av免费高清视频| 成年人免费黄色播放视频| 亚洲欧美一区二区三区国产| 久久久久久久久大av| 99国产精品免费福利视频| 国产片特级美女逼逼视频| 一区二区av电影网| 久久av网站| a级毛片黄视频| 亚洲怡红院男人天堂| 国产毛片在线视频| 亚洲国产精品成人久久小说| 国产一区二区在线观看av| 日韩成人伦理影院| 国产精品嫩草影院av在线观看| 欧美bdsm另类| 亚洲欧美成人精品一区二区| 免费日韩欧美在线观看| 一区二区av电影网| 一本一本久久a久久精品综合妖精 国产伦在线观看视频一区 | 七月丁香在线播放| 国产在线视频一区二区| 51国产日韩欧美| 久久久久视频综合| 少妇高潮的动态图| 国产视频内射| 九色成人免费人妻av| 精品国产一区二区三区久久久樱花| 婷婷成人精品国产| 久久久精品94久久精品| 免费观看在线日韩| 蜜桃久久精品国产亚洲av| 成人影院久久| 满18在线观看网站| 久久久久久久久久久丰满| 18禁在线播放成人免费| 人成视频在线观看免费观看| 精品亚洲成a人片在线观看| 校园人妻丝袜中文字幕|