• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于軟件體系結(jié)構(gòu)和廣義差分進(jìn)化的測試資源動(dòng)態(tài)分配算法

    2022-01-05 02:32:38邵志勝張國富蘇兆品
    計(jì)算機(jī)應(yīng)用 2021年12期
    關(guān)鍵詞:測試階段實(shí)例種群

    邵志勝,張國富,蘇兆品,李 磊

    (1.合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院,合肥 230601;2.大數(shù)據(jù)知識(shí)工程教育部重點(diǎn)實(shí)驗(yàn)室(合肥工業(yè)大學(xué)),合肥 230601;3.智能互聯(lián)系統(tǒng)安徽省實(shí)驗(yàn)室(合肥工業(yè)大學(xué)),合肥 230009;4.工業(yè)安全與應(yīng)急技術(shù)安徽省重點(diǎn)實(shí)驗(yàn)室(合肥工業(yè)大學(xué)),合肥 230601)

    (?通信作者電子郵箱1402369011@qq.com)

    0 引言

    軟件測試是軟件開發(fā)中的一個(gè)至關(guān)重要的環(huán)節(jié),主要致力于發(fā)現(xiàn)和糾正軟件錯(cuò)誤,提升軟件系統(tǒng)的可靠性。眾所周知,軟件測試幾乎要耗費(fèi)軟件開發(fā)資源的一半,因此,如何合理分配測試資源,以耗費(fèi)盡可能少的測試資源,謀求盡可能高的軟件可靠性和盡可能少的測試成本,一直是軟件工程領(lǐng)域中的一個(gè)熱點(diǎn)和難點(diǎn)問題[1]。

    傳統(tǒng)的方法大都局限于單目標(biāo)優(yōu)化,如在有限的測試時(shí)間內(nèi)追求可靠性最大或者測試成本最小,并采用動(dòng)態(tài)規(guī)劃或者拉格朗日乘子法等確定性方法進(jìn)行求解[2]。上述工作在面臨復(fù)雜軟件開發(fā)、軟件規(guī)模較大時(shí)往往很難在可接受的時(shí)間內(nèi)給出有效的解,因此,進(jìn)化計(jì)算技術(shù)被引入到軟件工程中,以期提升復(fù)雜軟件工程問題的求解效率[3]。

    近年來,隨著基于搜索的軟件工程[4]的快速發(fā)展,多目標(biāo)測試資源分配(Multi-Objective Testing Resource Allocation,MOTRA)[5]受到越來越多的關(guān)注,一些多目標(biāo)進(jìn)化算法(Multi-Objective Evolutionary Algorithm,MOEA)[6]被用來求解MOTRA 問題,試圖在測試時(shí)間消耗、軟件可靠性和測試成本之間尋求一個(gè)合理的平衡。與傳統(tǒng)的動(dòng)態(tài)規(guī)劃、拉格朗日乘子法等確定性方法相比,MOEA 對(duì)Pareto 前沿的形狀或連續(xù)性不太敏感,可以在一次運(yùn)行中輸出一組解并最終生成Pareto 最優(yōu)解集[6]。因此,MOEA 作為MOTRA 問題的多目標(biāo)優(yōu)化器已經(jīng)變得越來越流行[7-14]。這些MOEA 可以為軟件項(xiàng)目經(jīng)理提供許多額外的選擇,這些選擇顯示了軟件可靠性、測試成本和消耗的測試時(shí)間之間的不同權(quán)衡,因此可以促進(jìn)對(duì)軟件測試環(huán)節(jié)進(jìn)行更加合理的規(guī)劃。

    需要指出的是,在現(xiàn)代軟件工程中,軟件系統(tǒng)通常是通過選擇合適的、現(xiàn)成可重用的構(gòu)件,然后用明晰的軟件體系結(jié)構(gòu)組裝這些構(gòu)件來進(jìn)行開發(fā)。這項(xiàng)技術(shù)由于能夠顯著降低軟件的開發(fā)成本和時(shí)間,已在實(shí)際的軟件行業(yè)得到了廣泛的應(yīng)用。然而,已有研究大都針對(duì)傳統(tǒng)的并串聯(lián)模塊軟件模型[5],鮮有涉及體系結(jié)構(gòu)軟件模型[15-16]的MOTRA 問題。如Wang 等[7]、Zhang 等[10]、Su 等[11]和Pietrantuono 等[12]利用第二代非支配遺傳算法(NSGA-Ⅱ)[17],陸陽等[9]引入非支配排序差分進(jìn)化算法,牛福強(qiáng)等[13]和占德志等[14]采用第三代廣義差分進(jìn)化算法(Generalized Differential Evolution 3,GDE3)[18]來求解并串聯(lián)模塊軟件模型的MOTRA。在并串聯(lián)模塊軟件模型中,通常采用可靠性框圖(一個(gè)系統(tǒng)由多個(gè)串行子系統(tǒng)組成,每個(gè)子系統(tǒng)中至少有一個(gè)并行模塊)來直觀地描述系統(tǒng)各構(gòu)件的可靠性連接方式。雖然這種傳統(tǒng)的模型非常簡單直接,并且在實(shí)際的軟件系統(tǒng)中也得到了廣泛的應(yīng)用,但是它并沒有充分考慮系統(tǒng)的體系結(jié)構(gòu)(依賴于實(shí)際應(yīng)用中的運(yùn)行剖面)這一重要的系統(tǒng)特性[8]。

    相反,基于體系結(jié)構(gòu)的軟件模型能夠通過定量地識(shí)別軟件體系結(jié)構(gòu)中最關(guān)鍵的構(gòu)件來評(píng)估面向?qū)ο蠛突跇?gòu)件的軟件系統(tǒng)的可靠性,近年來越來越受到歡迎[15-16]。因此,研究體系結(jié)構(gòu)軟件模型的MOTRA 問題具有重要的現(xiàn)實(shí)意義。然而,時(shí)至今日僅有Yang 等[8]提出了一種歸一化加權(quán)求和多目標(biāo)差分進(jìn)化(Multi-Objective Differential Evolution based on Weighted Normalized Sum,WNS-MODE)算法。此外,上述工作簡單的假設(shè)軟件測試是一個(gè)靜態(tài)的過程。在實(shí)際的軟件測試中,軟件項(xiàng)目經(jīng)理通常會(huì)根據(jù)用戶需求和軟件測試結(jié)果動(dòng)態(tài)調(diào)整測試流程,即整個(gè)軟件測試環(huán)節(jié)往往被劃分成若干個(gè)測試階段[12-13]。在每個(gè)測試階段,軟件的可靠性以及發(fā)現(xiàn)的軟件錯(cuò)誤數(shù)可能因用戶需求或軟件測試結(jié)果而發(fā)生動(dòng)態(tài)變化,這時(shí)就需要根據(jù)變化后的測試環(huán)境動(dòng)態(tài)調(diào)整測試時(shí)間的分配,而上述靜態(tài)測試資源分配方法顯然難以適應(yīng)上述測試環(huán)境的動(dòng)態(tài)變化。

    基于上述背景,本文面向體系結(jié)構(gòu)軟件模型,針對(duì)可靠性和發(fā)現(xiàn)的錯(cuò)誤數(shù)在不同測試階段動(dòng)態(tài)變化的測試環(huán)境,首先構(gòu)造了一種基于體系結(jié)構(gòu)的多階段多目標(biāo)測試資源分配模型,然后基于參數(shù)重估計(jì)、種群重新初始化、GDE3和歸一化加權(quán)求和設(shè)計(jì)了一種面向動(dòng)態(tài)可靠性和錯(cuò)誤數(shù)的多階段多目標(biāo)測試資源分配算法,最后通過仿真實(shí)驗(yàn)驗(yàn)證了所提方法的有效性。

    1 問題描述

    本節(jié)從文獻(xiàn)[8,15]中回顧體系結(jié)構(gòu)軟件模型的測試資源分配,并將其擴(kuò)展到本文的動(dòng)態(tài)測試問題。

    首先,基于體系結(jié)構(gòu)的軟件模型如圖1 所示,整個(gè)軟件系統(tǒng)由n個(gè)構(gòu)件組成,構(gòu)件i和構(gòu)件j之間可能存在著一步轉(zhuǎn)移概率pij∈[0,1],i,j∈{1,2,…,n},表示構(gòu)件i運(yùn)行完后有pij的概率過渡到構(gòu)件j。對(duì)于每個(gè)構(gòu)件i,滿足,即從構(gòu)件i出去的所有一步轉(zhuǎn)移概率之和為1。

    圖1 基于體系結(jié)構(gòu)的軟件模型Fig.1 Architecture-based software model

    其次,體系結(jié)構(gòu)軟件模型看成是一個(gè)吸收馬爾可夫鏈(其中pij=1 的狀態(tài)稱為吸收狀態(tài)),其轉(zhuǎn)移矩陣為P=[ ]pijn×n,顯然,P中的每一行之和均為1。假設(shè)圖1 中共有l(wèi)個(gè)吸收狀態(tài)和n-l個(gè)非吸收狀態(tài),則可把轉(zhuǎn)移矩陣劃分[8,14]為:

    其中:0 是一個(gè)l×(n-l)的零矩陣(所有元素均為0);I是一個(gè)l×l的單位矩陣(對(duì)角線上的元素均為1,其余元素均為0);B是一個(gè)(n-l)×l的非零矩陣;Q是一個(gè)(n-l)×(n-l)的亞隨機(jī)矩陣(每一行的元素之和不超過1)。

    根據(jù)吸收馬爾可夫鏈的性質(zhì),矩陣I-Q有可逆矩陣M:

    M中的每個(gè)元素為從一個(gè)非吸收狀態(tài)到另一非吸收狀態(tài)的預(yù)期訪問次數(shù),記

    為從初始狀態(tài)0到非吸收狀態(tài)i的預(yù)期訪問次數(shù)[8,14]。

    和慣例[8,15]一樣,考慮測試時(shí)間作為主要的測試資源。系統(tǒng)總的可用測試時(shí)間為T?,可由參與測試的軟件工程師人數(shù)乘以每個(gè)工程師的工作時(shí)間而計(jì)算得到。假設(shè)整個(gè)軟件測試環(huán)節(jié)被分成了s個(gè)測試階段,每個(gè)測試階段的預(yù)期可用測試時(shí)間為,k∈{1,2,…,s},滿足

    則第k個(gè)測試階段實(shí)際可用測試時(shí)間為:

    根據(jù)上述知識(shí),使用經(jīng)典的可靠性增長模型來評(píng)估構(gòu)件軟件系統(tǒng)的可靠性。在可靠性增長模型中,系統(tǒng)的可靠性滿足非齊次泊松過程[8]:

    其中,τ為軟件系統(tǒng)的有效工作時(shí)間,通常為給定的常數(shù);μ0,i為構(gòu)件i的預(yù)期訪問次數(shù),可由式(1)、(2)得到。此外,λ(?)為構(gòu)件i的錯(cuò)誤強(qiáng)度函數(shù),通常由錯(cuò)誤均值函數(shù)[15]:

    求偏導(dǎo)得到,即

    軟件測試帶來的成本非常復(fù)雜,包含各種因素,考慮風(fēng)險(xiǎn)成本的系統(tǒng)成本模型[8]為:

    其中:c0為軟件測試準(zhǔn)備成本;c4為軟件失效產(chǎn)生的成本;為構(gòu)件i的測試階段糾正軟件錯(cuò)誤的成本;為構(gòu)件i運(yùn)行階段糾正軟件錯(cuò)誤的成本;為構(gòu)件i的一般測試成本(大都指人力成本);0 <σi<1為構(gòu)件i的一般測試成本折扣率。

    綜上所述,基于體系結(jié)構(gòu)軟件模型的動(dòng)態(tài)測試資源分配問題可描述為如下的一個(gè)多階段三目標(biāo)優(yōu)化模型:

    滿足如下約束:

    其中:式(10)是為了最大化第k個(gè)測試階段的系統(tǒng)可靠性、最小化系統(tǒng)成本和測試時(shí)間消耗;式(11)為每個(gè)測試階段的可靠性下限;式(12)、(13)為每個(gè)測試階段的測試時(shí)間上限。

    與文獻(xiàn)[8,14]不同的是,上述模型考慮了軟件的多階段動(dòng)態(tài)測試,而且還考慮了不同階段其可靠性約束和可用的測試時(shí)間可能會(huì)發(fā)生變化。

    2 測試資源動(dòng)態(tài)分配算法設(shè)計(jì)

    式(10)~(13)是一個(gè)典型的動(dòng)態(tài)多約束多目標(biāo)優(yōu)化問題,對(duì)求解器的性能要求較高。Yang等[8]已經(jīng)驗(yàn)證在求解構(gòu)件軟件的MOTRA 時(shí),多目標(biāo)差分進(jìn)化算法比經(jīng)典的非支配遺傳算法[17]的搜索性能更好,因此,本文引入GDE3[18]來求解構(gòu)件軟件測試資源動(dòng)態(tài)分配問題,稱為DTRA-GDE3(Dynamic Testing Resource Allocation based on GDE3)算法。

    為了更加清晰地說明本文所提出的DTRA-GDE3,下面將詳細(xì)介紹DTRA-GDE3 算法中的一些關(guān)鍵細(xì)節(jié),并給出算法的整體框架和具體步驟。

    2.1 基本GDE3算法

    GDE3 算法[18]繼承了差分進(jìn)化算法的全局搜索能力,且引入了非支配遺傳算法[17]中的非支配排序、約束違背度和擁擠距離計(jì)算等算子,能夠更好地保證解的收斂性和多樣性。GDE3算法的基本步驟如下:

    1)根據(jù)約束條件隨機(jī)生成種群規(guī)模為N的初始種群。

    2)根據(jù)目標(biāo)函數(shù)和約束條件評(píng)估種群中每個(gè)個(gè)體的目標(biāo)函數(shù)值和約束違背程度。

    3)對(duì)種群中的每個(gè)個(gè)體p∈{1,2,…,N}執(zhí)行如下操作:

    a)從種群中隨機(jī)選擇三個(gè)與p互不相同的其他個(gè)體q1,q2,q3。

    b)在個(gè)體所有的基因位中隨機(jī)選擇一位g?。

    c)生成新個(gè)體q:對(duì)于個(gè)體中的每一個(gè)基因位g,在(0,1)之間生成一個(gè)隨機(jī)數(shù)r,執(zhí)行

    其中:CR∈[0,1]為交叉概率,F(xiàn)∈[0,2]為縮放因子。

    d)評(píng)估新個(gè)體q的目標(biāo)函數(shù)值和約束違背程度。

    e)如果新個(gè)體q能夠支配當(dāng)前個(gè)體p,則將個(gè)體q放入新種群中;如果當(dāng)前個(gè)體p能夠支配新個(gè)體q,則將當(dāng)前個(gè)體p放入新種群中;如果新個(gè)體q和當(dāng)前個(gè)體p互不支配,則將這兩個(gè)個(gè)體同時(shí)放入新種群中。

    4)如果新種群的規(guī)模超過了N,計(jì)算新種群中每個(gè)個(gè)體的擁擠距離,并對(duì)新種群進(jìn)行非支配排序,保留N個(gè)最好的個(gè)體。

    5)如果沒有達(dá)到最大迭代次數(shù)Gmax,轉(zhuǎn)步驟3),否則結(jié)束算法,輸出新種群。

    由上述流程可以看出,GDE3算法的時(shí)間主要耗費(fèi)在對(duì)新種群的非支配排序,其時(shí)間復(fù)雜度為O(MNlogN)[17],其中M為優(yōu)化的目標(biāo)數(shù),因此,GDE3 算法總的時(shí)間復(fù)雜度為O(GmaxMNlogN)。

    2.2 構(gòu)件參數(shù)重估計(jì)

    在動(dòng)態(tài)測試資源分配中,前一個(gè)階段k的測試結(jié)果顯然會(huì)影響當(dāng)前k+1測試階段的開展。對(duì)于構(gòu)件i,前一個(gè)階段k被糾正的錯(cuò)誤多,當(dāng)前k+1階段的剩余錯(cuò)誤數(shù)就會(huì)減少。此外,與文獻(xiàn)[13-14]不同的是,本文根據(jù)實(shí)際軟件測試環(huán)境,還考慮在前一個(gè)階段k可能會(huì)發(fā)現(xiàn)新的錯(cuò)誤(例如糾正軟件錯(cuò)誤帶來的新錯(cuò)誤等),這時(shí)當(dāng)前k+1 階段的剩余錯(cuò)誤數(shù)可能會(huì)增加,相應(yīng)地,錯(cuò)誤檢測率也會(huì)變化。因此,在優(yōu)化當(dāng)前k+1階段的測試資源分配時(shí),需要利用極大似然估計(jì)[13-14]基于前一階段k在構(gòu)件i上消耗的測試時(shí)間、糾正的錯(cuò)誤數(shù)和發(fā)現(xiàn)的新錯(cuò)誤數(shù),對(duì)當(dāng)前k+1階段構(gòu)件i的參數(shù)重新進(jìn)行估計(jì):

    2.3 種群重新初始化

    由于在每個(gè)測試階段,可靠性約束(11)、測試時(shí)間約束(12)、(13)以及構(gòu)件參數(shù)均是動(dòng)態(tài)變化的,因此,在優(yōu)化每個(gè)測試階段的測試時(shí)間分配時(shí),需要在種群進(jìn)化前依據(jù)新的約束空間對(duì)種群重新初始化,以盡可能地讓種群靠近當(dāng)前階段的可行解區(qū)域。此外,可以通過分析模型,把測試時(shí)間盡可能地分配給最需要的構(gòu)件,從而讓系統(tǒng)盡可能地滿足當(dāng)前階段的可靠性約束,驅(qū)使種群快速向可行解區(qū)域進(jìn)化,提升算法對(duì)動(dòng)態(tài)環(huán)境的適應(yīng)性。

    根據(jù)可靠性約束(11)可以看到,要想測試時(shí)間分配方案滿足給定的可靠性下限約束,每個(gè)構(gòu)件i分配到的測試時(shí)間至少存在一個(gè)下限。同理,根據(jù)測試時(shí)間上限約束(12),每個(gè)構(gòu)件i分配到的測試時(shí)間至少存在一個(gè)上限。如果能把區(qū)間盡可能地縮小,則可以在種群初始化時(shí),利用這個(gè)區(qū)間驅(qū)使每個(gè)個(gè)體盡可能地同時(shí)滿足給定的可靠性下限約束和測試時(shí)間上限約束,即盡量讓每個(gè)個(gè)體可行。基于上述考慮,首先,根據(jù)式(5)和(8)可以得到:

    以式(16)作為等式約束條件,利用經(jīng)典的拉格朗日乘子法[2]求解最小化總測試時(shí)間消耗,即滿足時(shí)最少需要投入的總測試時(shí)間,然后可推導(dǎo)出此時(shí)每個(gè)構(gòu)件投入的測試時(shí)間為:

    再由式(12),得到

    表示第k階段可用的測試時(shí)間總量,則可得出且。這是因?yàn)?,時(shí)可靠性不可能滿足超過時(shí)則會(huì)違背測試時(shí)間約束。

    通過上述種群重新初始化策略,可以在每一個(gè)階段,迅速讓個(gè)體逼近同時(shí)滿足可靠性和測試時(shí)間約束的可行解區(qū)域,加快種群的進(jìn)化,提升算法的收斂性能。

    2.4 歸一化加權(quán)求和選取方案

    每一個(gè)階段優(yōu)化完成后,需要從解集中選取一個(gè)最佳分配方案來規(guī)劃當(dāng)前測試階段。本文使用流行的歸一化加權(quán)求和方法[8,14]進(jìn)行測試時(shí)間分配方案的選?。?/p>

    其中:w1,w2,w3∈[0,1]表示各個(gè)目標(biāo)的重要程度,滿足w1+w2+w3=1;為第j個(gè)目標(biāo)的歸一化值,如式(22)。

    其中:min(fj)和max(fj)分別表示解集中第j個(gè)目標(biāo)上的最小值和最大值。

    基于式(21)對(duì)解集中所有的解進(jìn)行歸一化加權(quán)求和,然后選擇值最小的f對(duì)應(yīng)的解作為當(dāng)前階段的測試時(shí)間分配方案。

    此外,在本文中,隨著測試階段數(shù)的增加,投入的測試時(shí)間總量不斷加大,這時(shí)可以更加注重可靠性的權(quán)重,因?yàn)檐浖y試的最終目標(biāo)就是為了最大化系統(tǒng)的可靠性[1]。因此,隨著階段數(shù)的增加,本文動(dòng)態(tài)增加可靠性目標(biāo)f1的權(quán)重w1。

    2.5 DTRA-GDE3算法框架

    圖2 給出了本文DTRA-GDE3 算法的流程,其基本思想是:在每個(gè)測試階段開始時(shí),首先基于上一階段的測試結(jié)果(糾正的錯(cuò)誤數(shù)和新發(fā)現(xiàn)的錯(cuò)誤數(shù)),利用極大似然估計(jì)對(duì)構(gòu)件的參數(shù)進(jìn)行重新估計(jì),以讓構(gòu)件參數(shù)適應(yīng)測試環(huán)境的變化;然后基于更新后的構(gòu)件參數(shù)和模型參數(shù)(當(dāng)前可用的測試時(shí)間總量和可靠性約束),利用二分法和拉格朗日乘子法確定每個(gè)構(gòu)件測試時(shí)間的上下限,以讓決策變量適應(yīng)測試環(huán)境的變化;緊接著,利用GDE3 算法優(yōu)化當(dāng)前階段的MOTRA;最后,利用歸一化加權(quán)求和選取當(dāng)前階段的最佳分配方案規(guī)劃當(dāng)前階段的測試活動(dòng)。

    圖2 DTRA-GDE3算法的流程Fig.2 Flowchart of DTRA-GDE3 algorithm

    二分法和拉格朗日乘子法的時(shí)間復(fù)雜度為O(n),確定每個(gè)構(gòu)件的測試時(shí)間上下限的時(shí)間復(fù)雜度最多為O(n2),因此在上述流程中,DTRA-GDE3 算法的時(shí)間主要耗費(fèi)在GDE3 中,其時(shí)間復(fù)雜度為O(GmaxMNlogN)。因此,DTRA-GDE3 算法總的時(shí)間復(fù)雜度為O(sGmaxMNlogN),其中s為測試階段數(shù)。

    3 仿真實(shí)驗(yàn)結(jié)果與分析

    為了驗(yàn)證本文所提算法的有效性,與文獻(xiàn)[8]的WNSMODE 算法進(jìn)行對(duì)比分析。WNS-MODE 算法是Yang 等[8]為求解構(gòu)件軟件的MOTRA 而設(shè)計(jì)的一種高效多目標(biāo)優(yōu)化算法。

    3.1 實(shí)驗(yàn)參數(shù)和評(píng)價(jià)指標(biāo)

    本文考慮兩種體系結(jié)構(gòu)軟件系統(tǒng):單輸入單輸出(Single-Input and Single-Output,SISO)系統(tǒng)和多輸入多輸出(Multi-Input and Multi-Output,MIMO)系統(tǒng)[8]。此外,如圖1 所示,體系結(jié)構(gòu)軟件模型的復(fù)雜性除了構(gòu)件數(shù),主要體現(xiàn)在系統(tǒng)中狀態(tài)轉(zhuǎn)移邊的總數(shù)。因此,為了更加全面地進(jìn)行對(duì)比分析,在SISO 系統(tǒng)和MIMO 系統(tǒng)上分別采用三種不同的規(guī)模:10 個(gè)構(gòu)件、約40 條狀態(tài)轉(zhuǎn)移邊的簡單系統(tǒng);20 個(gè)構(gòu)件、約150 條狀態(tài)轉(zhuǎn)移邊的復(fù)雜系統(tǒng);50個(gè)構(gòu)件、約800條狀態(tài)轉(zhuǎn)移邊的大型系統(tǒng)。模型參數(shù)如表1所示,共有3個(gè)測試階段。構(gòu)件的初始參數(shù)范圍如表2 所示,這些參數(shù)范圍均來自文獻(xiàn)[8,14]。此外,c0=50,c4=50 000。本文依據(jù)上述參數(shù)對(duì)SISO系統(tǒng)和MIMO系統(tǒng)各隨機(jī)生成10個(gè)不同的實(shí)例。

    表1 系統(tǒng)模型參數(shù)Tab.1 Parameters of system model

    表2 構(gòu)件參數(shù)范圍Tab.2 Parameter range of components

    DTRA-GDE3 和WNS-MODE 的算法參數(shù)設(shè)置如下:種群規(guī)模為250,每階段都迭代500 次,CR=0.9,F(xiàn)=0.1。此外,在WNS-MODE 中,歸一化加權(quán)求和的權(quán)重固定為w1=0.1,w2=0.4,w3=0.5。在DTRA-GDE3 中,w1,w2,w3在三個(gè)階段的值分別為{0.1,0.4,0.5}、{0.04,0.35,0.61}和{0.01,0.3,0.69},在第二和第三階段的值分別在[20,60]和[3,12]中隨機(jī)生成。

    所有對(duì)比算法的代碼均基于C++編寫,為了能夠進(jìn)行統(tǒng)計(jì)分析,每個(gè)實(shí)例均在Intel Core i5 CPU @ 3.2 GHz、8 GB RAM個(gè)人計(jì)算機(jī)上獨(dú)立運(yùn)行30次。

    為了衡量解集的優(yōu)劣,使用經(jīng)典的覆蓋值(Coverage value,Cv)[19]指標(biāo)。Cv 直觀地比較了一個(gè)算法得到的解有多少被對(duì)比算法的解所支配,可作為收斂性指標(biāo)來比較不同算法的解集的質(zhì)量。假設(shè)A和B分別表示兩個(gè)不同算法得到的解集,如果A中的一個(gè)解在任何目標(biāo)上都不比B中的另一個(gè)解差,則稱A中的這個(gè)解覆蓋了B中的一個(gè)解。Cv(A,B)表示A覆蓋B的百分比,即B中被A覆蓋的解在B中的占比。Cv(A,B) >Cv(B,A)表示A對(duì)應(yīng)的算法要比B對(duì)應(yīng)的算法收斂性更好。為了計(jì)算在每個(gè)實(shí)例上對(duì)比算法的覆蓋值,對(duì)于每個(gè)實(shí)例,將30 次獨(dú)立運(yùn)行得到的解集合并在一起,并去掉重復(fù)的解,然后比較合并解集之間的覆蓋值[20]。

    為了進(jìn)一步對(duì)比算法的整體性能,使用流行的超體積指標(biāo)[21]。超體積指的是非支配解集與參考點(diǎn)之間的目標(biāo)空間的體積,可以從整體上衡量整個(gè)解集的收斂性和多樣性。通常,超體積值越大意味著解集的質(zhì)量越好。需要注意的是,參考點(diǎn)的選擇對(duì)于計(jì)算超體積至關(guān)重要。為了確定合適的參考點(diǎn),對(duì)于每個(gè)實(shí)例,首先將所有算法的30 次獨(dú)立運(yùn)行獲得的解合并在一起,然后去掉重復(fù)解,再對(duì)剩下的解進(jìn)行非支配排序,去掉所有的支配解,對(duì)于余下的非支配解,可將參考點(diǎn)設(shè)置為每個(gè)目標(biāo)上最差值的1.1 倍,這種方法已被驗(yàn)證可以在解集的收斂性和多樣性之間達(dá)到一個(gè)良好平衡[20]。

    除了一般多目標(biāo)優(yōu)化問題的質(zhì)量指標(biāo)(如覆蓋值和超體積)外,在基于搜索的軟件工程中,還強(qiáng)烈建議能夠適應(yīng)用戶顯式/隱式偏好的問題特定指標(biāo)來評(píng)估解集[22]。在這里,考慮容量值指標(biāo)[23]。容量值指的是算法最終得到的非支配可行解的個(gè)數(shù),即滿足所有約束條件的非支配解數(shù)目。和上面一樣,對(duì)于每個(gè)實(shí)例,將30 次獨(dú)立運(yùn)行得到的解集合并在一起,并去掉重復(fù)的解。

    3.2 容量值結(jié)果

    為了方便后續(xù)描述,將DTRA-GDE3 所獲得的解集標(biāo)記為A,WNS-MODE得到的解集標(biāo)記為B。

    表3~5 分別給出了DTRA-GDE3 和WNS-MODE 算法在簡單、復(fù)雜和大型SISO 和MIMO 系統(tǒng)上20 個(gè)實(shí)例的容量值結(jié)果,分別用 |A| 與 |B| 表示代表A、B算法獲得解集的容量值,即滿足條件的解的個(gè)數(shù)。由表3和表4可以看出,在簡單和復(fù)雜SISO和MIMO系統(tǒng)上,本文DTRA-GDE3算法在任何一次運(yùn)行中都能找到很多可行的非支配解,而WNS-MODE 算法在第1階段就只能找到很少的可行解,在第2 階段和第3 階段更少,甚至30 次運(yùn)行都找不到可行解,如簡單SISO 系統(tǒng)的實(shí)例1 的第2階段,簡單MIMO 系統(tǒng)的實(shí)例3的第2階段,復(fù)雜MIMO 系統(tǒng)的實(shí)例4的第2階段。特別地,在表5中,DTRA-GDE3在10個(gè)實(shí)例上獲得的可行解均接近7 500 個(gè),但WNS-MODE 算法在10個(gè)實(shí)例上幾乎找不到可行解。

    表3 簡單系統(tǒng)中兩種算法的容量值結(jié)果Tab.3 Capacity value results of two algorithms in simple system

    表4 復(fù)雜系統(tǒng)中兩種算法的容量值結(jié)果Tab.4 Capacity value results of two algorithms in complex system

    表5 大型系統(tǒng)中兩種算法的容量值結(jié)果Tab.5 Capacity value results of two algorithms in large system

    總的來說,在SISO 系統(tǒng)上,DTRA-GDE3 在簡單、復(fù)雜和大型三個(gè)規(guī)模上獲得的解集的平均容量值分別為7 499、7 041和7 393,而WNS-MODE 算法在三個(gè)不同規(guī)模獲得的平均容量值卻僅有925、473 和3,DTRA-GDE3 在整體上的容量值提升了約15倍。在MIMO系統(tǒng)上,DTRA-GDE3在三個(gè)不同規(guī)模上獲得的解集的平均容量值分別為7 500、7 168、7 419,而WNS-MODE 算法在三個(gè)不同規(guī)模上獲得的平均容量值分別為803、373 和1,DTRA-GDE3 在整體上的容量值提升了約18倍。綜合考慮兩種系統(tǒng),DTRA-GDE3 較WNS-MODE 在容量值上提升了約16 倍;而且,規(guī)模越大,DTRA-GDE3 算法的優(yōu)勢越明顯。上述實(shí)驗(yàn)結(jié)果表明,本文DTRA-GDE3 算法要比WNS-MODE 算法具有更好的探索能力,可以很好地適應(yīng)不同的系統(tǒng)規(guī)模,挖掘更多的非支配可行解。

    3.3 覆蓋值結(jié)果

    由于WNS-MODE 算法在大型規(guī)模上幾乎找不到可行解,因此,表6 和表7 分別給出了兩種算法在簡單和復(fù)雜SISO 和MIMO 系統(tǒng)上20 個(gè)實(shí)例的覆蓋值結(jié)果。可以看出,DTRAGDE3算法的覆蓋值除了在簡單MIMO 系統(tǒng)實(shí)例8的第3階段略遜于WNS-MODE 外,在其他簡單和復(fù)雜SISO 和MIMO 系統(tǒng)的所有實(shí)例的所有階段上均顯著優(yōu)于WNS-MODE 算法。在某些實(shí)例上,DTRA-GDE3算法的覆蓋值達(dá)到了100%,即可以完全支配WNS-MODE 算法的解集,如簡單SISO 系統(tǒng)的實(shí)例1和實(shí)例4的第2階段,簡單MIMO 系統(tǒng)的實(shí)例1和實(shí)例3的第2階段和第3 階段,實(shí)例2 的第3 階段,實(shí)例10 的第2 階段。尤其在復(fù)雜系統(tǒng)上,DTRA-GDE3 在24 種情形下覆蓋值達(dá)到100%,而WNS-MODE算法在10種情形下覆蓋值為零。

    表6 簡單系統(tǒng)中兩種算法的覆蓋值結(jié)果 單位:%Tab.6 Coverage value results of two algorithms in simple system unit:%

    表7 復(fù)雜系統(tǒng)中兩種算法的覆蓋值結(jié)果 單位:%Tab.7 Coverage value results of two algorithms in complex system unit:%

    從總體上看,在SISO 系統(tǒng)上,DTRA-GDE3 在簡單和復(fù)雜兩種規(guī)模上獲得的解集的平均覆蓋值分別為91.26%和95.01%,而WNS-MODE 算法在這兩種規(guī)模上獲得的平均覆蓋值卻僅有14.21%和7.29%,DTRA-GDE3 在整體上的覆蓋值提升了約83個(gè)百分點(diǎn)。在MIMO系統(tǒng)上,DTRA-GDE3在兩種規(guī)模上獲得的解集的平均覆蓋值分別為92.18% 和95.26%,而WNS-MODE 算法在兩種規(guī)模上獲得的平均覆蓋值分別為12.17%和4.97%,DTRA-GDE3 在整體上的覆蓋值提升了約85 個(gè)百分點(diǎn)。綜合考慮兩種系統(tǒng),DTRA-GDE3 較WNS-MODE 在覆蓋值上提升了約84 個(gè)百分點(diǎn)。上述實(shí)驗(yàn)結(jié)果表明,本文DTRA-GDE3 算法要比WNS-MODE 算法具有更好的收斂性,可以找到更好的非支配解。

    3.4 超體積結(jié)果

    表8 和表9 分別給出了兩種算法在簡單和復(fù)雜SISO 和MIMO 系統(tǒng)上20個(gè)實(shí)例的超體積結(jié)果(均值和標(biāo)準(zhǔn)差)??梢钥闯觯嗽诤唵蜸ISO 系統(tǒng)實(shí)例9 第3 階段上DTRA-GDE3 得到的超體積不大于WNS-MODE 算法外,在其他簡單和復(fù)雜SISO 和MIMO 系統(tǒng)的任何實(shí)例任何階段上,DTRA-GDE3得到的超體積均要優(yōu)于WNS-MODE 算法。特別地,在某些實(shí)例上WNS-MODE 的超體積為0,說明解集中的解均被參考點(diǎn)支配或者找不到任何可行解,如簡單SISO 系統(tǒng)實(shí)例1 的第2 階段,簡單MIMO 系統(tǒng)實(shí)例3的第2階段,復(fù)雜SISO 系統(tǒng)實(shí)例4的第1階段,復(fù)雜MIMO系統(tǒng)實(shí)例4的第2階段。

    表8 簡單系統(tǒng)中兩種算法的超體積(均值和標(biāo)準(zhǔn)差)結(jié)果Tab.8 Hypervolume(mean and standard deviation)results of two algorithms in simple system

    表9 復(fù)雜系統(tǒng)中兩種算法的超體積(均值和標(biāo)準(zhǔn)差)結(jié)果Tab.9 Hypervolume(mean and standard deviation)results of two algorithms in complex system

    從整體上來看,在SISO 系統(tǒng)上,DTRA-GDE3 相比WNSMODE的超體積在簡單和復(fù)雜規(guī)模上分別提升了約13%和22倍,在MIMO 系統(tǒng)上,DTRA-GDE3 相比WNS-MODE 的超體積在簡單和復(fù)雜規(guī)模上分別提升了約13%和69%。綜合考慮兩種系統(tǒng),DTRA-GDE3 較WNS-MODE 在超體積上提升了約6倍。上述實(shí)驗(yàn)結(jié)果表明,本文DTRA-GDE3 算法要比WNSMODE算法具有更好的綜合性能。

    為了直觀地理解非支配解的分布以及更高的超體積代表的含義,在圖3 中,根據(jù)簡單MIMO 系統(tǒng)中的實(shí)例9 分別在三個(gè)階段選取和超體積均值比較接近的一次運(yùn)行結(jié)果,繪出解集的分布情況。之所以選取這個(gè)實(shí)例,是因?yàn)樗某w積與整體超體積均值更接近。從圖3 可以看出,與WNS-MODE 算法相比,DTRA-GDE3 算法得到的解在目標(biāo)空間中分布更廣,提供了更多的多樣性。此外,易觀察到DTRA-GDE3 算法似乎比WNS-MODE 算法具有更好的收斂性,有相當(dāng)多的解優(yōu)于WNS-MODE算法。

    圖3 兩種算法在簡單MIMO系統(tǒng)實(shí)例9上獲得的非支配解Fig.3 Non-dominated solutions obtained by two algorithms on Instance 9 of simple MIMO system

    3.5 運(yùn)行時(shí)間結(jié)果

    圖4 給出了兩種算法在MIMO 系統(tǒng)上不同規(guī)模的10 個(gè)實(shí)例上的運(yùn)行時(shí)間結(jié)果(均值和標(biāo)準(zhǔn)誤差)。從圖4 可以看出,DTRA-GDE3在簡單系統(tǒng)、復(fù)雜系統(tǒng)和大型系統(tǒng)上的平均運(yùn)行時(shí)間分別約為16.9 s、75.8 s 和37.6 s,而WNS-MODE 運(yùn)行時(shí)間分別約為2.2 s、14 s 和9 s。DTRA-GDE3 要比WNS-MODE稍微耗時(shí)一點(diǎn)。這是因?yàn)?,在求解本文的?gòu)件軟件測試資源動(dòng)態(tài)分配問題上,DTRA-GDE3 的時(shí)間復(fù)雜度為O(sGmaxMNlogN),而WNS-MODE的時(shí)間復(fù)雜度為O(sGmaxMN),而且,DTRA-GDE3 還需要多次調(diào)用拉格朗日乘子法來估計(jì)構(gòu)件的測試時(shí)間上下限,而且調(diào)用的次數(shù)也與解空間大小有關(guān),具有一定的隨機(jī)性。需要強(qiáng)調(diào)的是,雖然DTRA-GDE3 相比WNS-MODE 平均慢了30 多秒,但是相比在容量值、覆蓋值和超體積三個(gè)指標(biāo)上的顯著提升,這點(diǎn)耗時(shí)是可以忽略不計(jì)的。

    圖4 兩種算法在MIMO系統(tǒng)上的運(yùn)行時(shí)間(均值和標(biāo)準(zhǔn)誤差)Fig.4 Running times(means and standard errors)of two algorithms on MIMO systems

    3.6 討論

    從上面的容量值、覆蓋值和超體積的實(shí)驗(yàn)結(jié)果可以看出,與WNS-MODE 算法相比,本文的DTRA-GDE3 算法可以很好地滿足體系結(jié)構(gòu)軟件模型的動(dòng)態(tài)測試需求,能夠?yàn)槊總€(gè)測試階段提供更多、更好的測試時(shí)間分配方案。這是因?yàn)?,在DTRA-GDE3 算法中,根據(jù)參數(shù)重估計(jì),可以很好地適應(yīng)糾正和發(fā)現(xiàn)的錯(cuò)誤數(shù)的變化;其次,根據(jù)種群重新初始化,可以讓個(gè)體盡可能地滿足測試時(shí)間和可靠性約束,從而接近可行解區(qū)域,促使DTRA-GDE3 算法高效地適應(yīng)環(huán)境的變化。而WNS-MODE 算法雖然也對(duì)測試時(shí)間的變化采取了相應(yīng)的約束處理技術(shù),但是其首先滿足的是測試時(shí)間約束,而沒有考慮可靠性約束,因此其探索可行解的能力非常有限。

    本文從SISO 和MIMO 兩種系統(tǒng)的簡單、復(fù)雜和大型三種規(guī)模進(jìn)行了對(duì)比分析。實(shí)驗(yàn)結(jié)果表明,對(duì)于一些復(fù)雜難解的多目標(biāo)優(yōu)化問題,完全可以根據(jù)問題本身來挖掘有用的信息,利用問題本身的知識(shí)來縮小MOEA 種群的探索范圍,避免無效的重復(fù)搜索,從而提升MOEA 解決復(fù)雜動(dòng)態(tài)多約束優(yōu)化問題的能力。

    4 結(jié)語

    測試資源分配是基于搜索的軟件工程中的一個(gè)熱點(diǎn)問題,主要研究如何規(guī)劃軟件工程師的測試時(shí)間,從而盡可能地縮短測試周期,降低測試成本,提高軟件系統(tǒng)的可靠性。本文針對(duì)體系結(jié)構(gòu)軟件模型的動(dòng)態(tài)測試問題,首先構(gòu)建了一種基于體系結(jié)構(gòu)和可靠性、錯(cuò)誤數(shù)動(dòng)態(tài)變化的多階段多目標(biāo)測試資源分配模型,然后基于參數(shù)重估計(jì)、種群重新初始化、廣義差分進(jìn)化和歸一化加權(quán)求和設(shè)計(jì)了一種面向動(dòng)態(tài)可靠性和錯(cuò)誤數(shù)的多階段多目標(biāo)測試資源分配算法。與已有工作相比,本文所提算法在容量值、覆蓋值和超體積三個(gè)主流性能指標(biāo)上獲得了更優(yōu)的結(jié)果。在今后的工作中,將考慮成本的約束,以及構(gòu)件的動(dòng)態(tài)增加等問題。

    猜你喜歡
    測試階段實(shí)例種群
    邢氏水蕨成功繁衍并建立種群 等
    山西省發(fā)現(xiàn)刺五加種群分布
    淺談?dòng)?jì)算機(jī)軟件工程技術(shù)中的邏輯運(yùn)用
    Android應(yīng)用軟件測試研究
    抽樣技術(shù)在政府審計(jì)中的應(yīng)用研究――基于細(xì)節(jié)測試階段
    關(guān)于改進(jìn)英語專業(yè)高級(jí)英語教學(xué)過程的分析
    考試周刊(2015年62期)2015-09-10 07:22:44
    完形填空Ⅱ
    完形填空Ⅰ
    崗更湖鯉魚的種群特征
    種群增長率與增長速率的區(qū)別
    国产黄a三级三级三级人| 黄片wwwwww| 在线播放无遮挡| 国产美女午夜福利| 日韩大片免费观看网站| 久久99蜜桃精品久久| 亚洲天堂国产精品一区在线| 午夜老司机福利剧场| 七月丁香在线播放| 搞女人的毛片| 欧美极品一区二区三区四区| 欧美日本视频| 99热这里只有是精品50| 午夜视频国产福利| kizo精华| 亚洲av电影在线观看一区二区三区 | 如何舔出高潮| 久久影院123| 国产黄色免费在线视频| 国产伦在线观看视频一区| 干丝袜人妻中文字幕| 国产黄片视频在线免费观看| 男的添女的下面高潮视频| 超碰97精品在线观看| 综合色av麻豆| 色5月婷婷丁香| 亚洲,一卡二卡三卡| 欧美精品一区二区大全| 国产在线男女| 午夜激情福利司机影院| 国产男女内射视频| 久久99蜜桃精品久久| 成人午夜精彩视频在线观看| 99久国产av精品国产电影| 在线观看三级黄色| 国产女主播在线喷水免费视频网站| 麻豆成人av视频| 亚洲精品一区蜜桃| 国产精品一区www在线观看| 黄色怎么调成土黄色| 免费电影在线观看免费观看| 亚洲精品亚洲一区二区| 国产黄片美女视频| 成人综合一区亚洲| 国产精品蜜桃在线观看| 国语对白做爰xxxⅹ性视频网站| 我要看日韩黄色一级片| 七月丁香在线播放| av播播在线观看一区| 日本-黄色视频高清免费观看| 伊人久久精品亚洲午夜| 人妻 亚洲 视频| 中文字幕人妻熟人妻熟丝袜美| 麻豆精品久久久久久蜜桃| 一本久久精品| 校园人妻丝袜中文字幕| 日韩av免费高清视频| 久久国产乱子免费精品| 身体一侧抽搐| 网址你懂的国产日韩在线| 伦理电影大哥的女人| 久久久欧美国产精品| 精品人妻一区二区三区麻豆| 国产美女午夜福利| av国产久精品久网站免费入址| 精品久久久久久久久av| 99热国产这里只有精品6| 国内少妇人妻偷人精品xxx网站| 内射极品少妇av片p| 一级毛片aaaaaa免费看小| 中文字幕制服av| 精品一区二区三区视频在线| 久久久久久久大尺度免费视频| 国产成人福利小说| 五月伊人婷婷丁香| 国产高潮美女av| av福利片在线观看| 亚洲性久久影院| 免费黄频网站在线观看国产| 成人鲁丝片一二三区免费| 欧美成人一区二区免费高清观看| 啦啦啦在线观看免费高清www| 只有这里有精品99| 国产成人精品久久久久久| 久久久久国产网址| 亚洲av中文字字幕乱码综合| 欧美高清性xxxxhd video| 老女人水多毛片| 久热久热在线精品观看| 国产亚洲精品久久久com| 国产免费视频播放在线视频| 搡老乐熟女国产| 国产精品国产三级国产av玫瑰| 亚洲熟女精品中文字幕| 亚洲电影在线观看av| 国产精品99久久久久久久久| 午夜精品一区二区三区免费看| 韩国高清视频一区二区三区| 美女xxoo啪啪120秒动态图| 99久久精品热视频| 国产精品偷伦视频观看了| 两个人的视频大全免费| h日本视频在线播放| 国产毛片a区久久久久| kizo精华| 成人综合一区亚洲| 老师上课跳d突然被开到最大视频| 国产爽快片一区二区三区| 国产视频内射| 丰满少妇做爰视频| 久久久精品94久久精品| 免费av毛片视频| 99热国产这里只有精品6| 一区二区三区精品91| 亚洲第一区二区三区不卡| av.在线天堂| 成人亚洲欧美一区二区av| 国产男女超爽视频在线观看| 国产精品一区二区在线观看99| 亚洲最大成人中文| 国产成人一区二区在线| 国产又色又爽无遮挡免| 国产在线男女| 赤兔流量卡办理| 精品久久久久久久人妻蜜臀av| 可以在线观看毛片的网站| 免费人成在线观看视频色| 99久久人妻综合| 亚洲精品乱码久久久v下载方式| 免费看日本二区| 一级av片app| 天堂俺去俺来也www色官网| 麻豆成人午夜福利视频| videossex国产| 国产免费一区二区三区四区乱码| 一个人观看的视频www高清免费观看| 日本爱情动作片www.在线观看| 18禁在线播放成人免费| 搡老乐熟女国产| 男女国产视频网站| 国国产精品蜜臀av免费| 97在线视频观看| 精品一区在线观看国产| 国产视频首页在线观看| av国产精品久久久久影院| 嫩草影院新地址| 色视频在线一区二区三区| av国产精品久久久久影院| 国产免费视频播放在线视频| 丝袜美腿在线中文| 精品久久久久久久末码| 性插视频无遮挡在线免费观看| 一区二区三区四区激情视频| 国产综合精华液| 日日摸夜夜添夜夜爱| 丝袜美腿在线中文| 精品久久久久久久末码| 午夜老司机福利剧场| 国产精品嫩草影院av在线观看| 久久久久九九精品影院| 丰满少妇做爰视频| 美女xxoo啪啪120秒动态图| 五月玫瑰六月丁香| 亚洲精品国产成人久久av| 日韩强制内射视频| 听说在线观看完整版免费高清| 搡老乐熟女国产| 观看美女的网站| 听说在线观看完整版免费高清| 国产一级毛片在线| 欧美成人午夜免费资源| 乱码一卡2卡4卡精品| 午夜精品一区二区三区免费看| 国产午夜精品一二区理论片| 人妻一区二区av| 久久鲁丝午夜福利片| 成人亚洲精品一区在线观看 | 麻豆乱淫一区二区| 韩国高清视频一区二区三区| 香蕉精品网在线| 中文字幕人妻熟人妻熟丝袜美| 在线观看一区二区三区激情| 80岁老熟妇乱子伦牲交| 国产精品99久久久久久久久| 亚洲一区二区三区欧美精品 | 91精品伊人久久大香线蕉| 国产免费一区二区三区四区乱码| 国产亚洲精品久久久com| 国产淫片久久久久久久久| 亚洲成人久久爱视频| 国产 精品1| 99热这里只有是精品在线观看| 国产v大片淫在线免费观看| 直男gayav资源| 精品久久久噜噜| 五月开心婷婷网| 在线天堂最新版资源| 国产老妇女一区| 寂寞人妻少妇视频99o| 欧美精品一区二区大全| 亚洲av中文av极速乱| 亚洲成人中文字幕在线播放| www.色视频.com| 2018国产大陆天天弄谢| 国产精品精品国产色婷婷| 女人十人毛片免费观看3o分钟| 18禁在线无遮挡免费观看视频| 国语对白做爰xxxⅹ性视频网站| 日韩亚洲欧美综合| 在线免费观看不下载黄p国产| 蜜桃亚洲精品一区二区三区| av在线app专区| 免费人成在线观看视频色| 青春草视频在线免费观看| 啦啦啦啦在线视频资源| 久久久久性生活片| 秋霞在线观看毛片| 美女内射精品一级片tv| 91在线精品国自产拍蜜月| 日韩强制内射视频| 久久精品久久精品一区二区三区| 性色avwww在线观看| 亚洲欧美一区二区三区国产| 久久久久国产精品人妻一区二区| 建设人人有责人人尽责人人享有的 | 亚洲精品久久午夜乱码| 新久久久久国产一级毛片| 亚洲真实伦在线观看| 蜜桃亚洲精品一区二区三区| 国产精品一区www在线观看| 午夜激情福利司机影院| 成人鲁丝片一二三区免费| 99热这里只有精品一区| 中文在线观看免费www的网站| 精品久久久噜噜| 看免费成人av毛片| 国产免费一级a男人的天堂| 久久国产乱子免费精品| 亚洲一级一片aⅴ在线观看| 男女边吃奶边做爰视频| 少妇猛男粗大的猛烈进出视频 | 三级经典国产精品| 亚洲精品aⅴ在线观看| 看非洲黑人一级黄片| 久久久国产一区二区| 色播亚洲综合网| 久久精品夜色国产| 欧美成人午夜免费资源| 国产在线男女| 人体艺术视频欧美日本| 亚洲真实伦在线观看| 国产精品一及| 午夜亚洲福利在线播放| 五月天丁香电影| 久久久久久久大尺度免费视频| 大又大粗又爽又黄少妇毛片口| 日韩国内少妇激情av| 国产成人精品久久久久久| 亚洲怡红院男人天堂| 欧美另类一区| 亚洲高清免费不卡视频| 亚洲欧美日韩另类电影网站 | 国产精品三级大全| 亚洲,一卡二卡三卡| 熟女人妻精品中文字幕| 欧美极品一区二区三区四区| 亚洲三级黄色毛片| 黄色一级大片看看| 边亲边吃奶的免费视频| 97在线人人人人妻| 人妻 亚洲 视频| 亚洲成人av在线免费| 一区二区三区精品91| 最新中文字幕久久久久| 欧美少妇被猛烈插入视频| 日日摸夜夜添夜夜爱| 黄色视频在线播放观看不卡| 成人二区视频| 国产欧美日韩精品一区二区| 免费看光身美女| 亚洲第一区二区三区不卡| 国产一区二区在线观看日韩| 欧美另类一区| 日韩免费高清中文字幕av| 中文字幕亚洲精品专区| 少妇的逼水好多| 美女脱内裤让男人舔精品视频| 美女主播在线视频| 美女xxoo啪啪120秒动态图| 欧美成人一区二区免费高清观看| 久久久久久久国产电影| 99久久精品一区二区三区| 十八禁网站网址无遮挡 | 精品一区在线观看国产| 天美传媒精品一区二区| 亚洲av免费高清在线观看| 欧美成人午夜免费资源| 熟女av电影| 免费观看av网站的网址| 视频区图区小说| 噜噜噜噜噜久久久久久91| 久久久久九九精品影院| 色视频www国产| 午夜免费观看性视频| av.在线天堂| 视频区图区小说| 99九九线精品视频在线观看视频| 好男人在线观看高清免费视频| 国产欧美日韩一区二区三区在线 | 国产 一区 欧美 日韩| 人人妻人人爽人人添夜夜欢视频 | 亚洲成人精品中文字幕电影| 亚洲内射少妇av| 国产亚洲精品久久久com| 婷婷色av中文字幕| 国产伦精品一区二区三区四那| 欧美日韩一区二区视频在线观看视频在线 | 欧美潮喷喷水| 日韩,欧美,国产一区二区三区| 中文天堂在线官网| 一本色道久久久久久精品综合| 少妇猛男粗大的猛烈进出视频 | 22中文网久久字幕| 97超视频在线观看视频| 日韩欧美精品免费久久| 国产91av在线免费观看| 日本熟妇午夜| 深夜a级毛片| 国产精品精品国产色婷婷| 久久精品夜色国产| 免费人成在线观看视频色| 国产成人精品久久久久久| 中国三级夫妇交换| videossex国产| 中文字幕制服av| 午夜免费观看性视频| 最近中文字幕2019免费版| 亚洲国产av新网站| 国产成人a∨麻豆精品| 91精品国产九色| 亚洲人成网站在线观看播放| 在线看a的网站| 99热网站在线观看| 免费观看无遮挡的男女| 欧美3d第一页| 久久鲁丝午夜福利片| 少妇人妻一区二区三区视频| 校园人妻丝袜中文字幕| 麻豆精品久久久久久蜜桃| 亚洲欧美成人精品一区二区| av网站免费在线观看视频| 在线观看三级黄色| 国产亚洲精品久久久com| 国产成人精品一,二区| 精品国产一区二区三区久久久樱花 | 欧美xxxx黑人xx丫x性爽| 在线亚洲精品国产二区图片欧美 | 看黄色毛片网站| 欧美日韩一区二区视频在线观看视频在线 | av在线蜜桃| 亚洲国产欧美在线一区| 日韩亚洲欧美综合| 精品视频人人做人人爽| 免费观看av网站的网址| 最近最新中文字幕免费大全7| 免费观看性生交大片5| av国产久精品久网站免费入址| 尤物成人国产欧美一区二区三区| 成人亚洲欧美一区二区av| 日韩大片免费观看网站| 国产精品熟女久久久久浪| 天堂网av新在线| 精品人妻偷拍中文字幕| 亚洲精品国产色婷婷电影| 久久人人爽人人片av| 免费大片黄手机在线观看| 亚洲av成人精品一二三区| 国产精品久久久久久av不卡| 亚洲性久久影院| 欧美精品一区二区大全| 欧美国产精品一级二级三级 | 国内精品美女久久久久久| 又粗又硬又长又爽又黄的视频| 国产成人aa在线观看| 成人午夜精彩视频在线观看| 国产乱人视频| 青青草视频在线视频观看| 亚洲精品国产av蜜桃| 精品国产露脸久久av麻豆| 国产男人的电影天堂91| 亚洲精品第二区| 欧美+日韩+精品| 日韩制服骚丝袜av| 在现免费观看毛片| 成人综合一区亚洲| 亚洲精品视频女| 国产综合精华液| 久久久久久久国产电影| av天堂中文字幕网| 一级毛片电影观看| a级毛色黄片| 精品酒店卫生间| 亚洲精品乱久久久久久| 在线免费十八禁| 欧美+日韩+精品| 国产伦精品一区二区三区视频9| 午夜福利视频1000在线观看| 欧美变态另类bdsm刘玥| 国产黄频视频在线观看| 久久6这里有精品| 成人综合一区亚洲| 亚洲精品视频女| 久久综合国产亚洲精品| 中文字幕免费在线视频6| 在线a可以看的网站| 久久人人爽人人爽人人片va| 午夜激情福利司机影院| 久久精品国产亚洲av涩爱| 日韩不卡一区二区三区视频在线| 97热精品久久久久久| 青春草视频在线免费观看| 亚洲av国产av综合av卡| 亚洲精品久久午夜乱码| 尤物成人国产欧美一区二区三区| 熟女电影av网| 色吧在线观看| 国产精品99久久99久久久不卡 | 高清av免费在线| 国产乱来视频区| 伦理电影大哥的女人| 一本—道久久a久久精品蜜桃钙片 精品乱码久久久久久99久播 | 欧美少妇被猛烈插入视频| 国产乱来视频区| 大香蕉久久网| 视频区图区小说| 一级毛片电影观看| 欧美丝袜亚洲另类| 午夜精品一区二区三区免费看| 成人免费观看视频高清| 一区二区av电影网| 99久国产av精品国产电影| 国产精品不卡视频一区二区| 少妇丰满av| 午夜激情福利司机影院| 精品少妇黑人巨大在线播放| 一区二区av电影网| 97精品久久久久久久久久精品| 国产白丝娇喘喷水9色精品| 大片电影免费在线观看免费| 麻豆精品久久久久久蜜桃| 久久久久久久久久久免费av| 国产成人精品婷婷| 国产v大片淫在线免费观看| 国产老妇伦熟女老妇高清| 欧美97在线视频| 国产 一区精品| 一本一本综合久久| 亚洲欧美日韩东京热| 国产精品人妻久久久影院| 婷婷色av中文字幕| 永久网站在线| 日本爱情动作片www.在线观看| 丝袜喷水一区| 亚洲成人精品中文字幕电影| 三级经典国产精品| 亚洲真实伦在线观看| 欧美成人一区二区免费高清观看| 国产色婷婷99| 日韩一本色道免费dvd| 在线观看三级黄色| 国产精品精品国产色婷婷| 亚洲最大成人手机在线| 中文字幕制服av| 日日摸夜夜添夜夜添av毛片| 亚洲av日韩在线播放| 又大又黄又爽视频免费| 国产精品久久久久久精品电影小说 | 国国产精品蜜臀av免费| 晚上一个人看的免费电影| 寂寞人妻少妇视频99o| av在线播放精品| 国产探花在线观看一区二区| 久久精品国产自在天天线| 人妻少妇偷人精品九色| 成人免费观看视频高清| av一本久久久久| 国产 一区 欧美 日韩| 久久99蜜桃精品久久| 亚洲最大成人手机在线| 免费大片黄手机在线观看| 欧美老熟妇乱子伦牲交| 国产一区二区三区av在线| 老司机影院成人| 大香蕉久久网| 久久久久久国产a免费观看| 直男gayav资源| 汤姆久久久久久久影院中文字幕| 欧美日韩国产mv在线观看视频 | 欧美97在线视频| 美女主播在线视频| 最近的中文字幕免费完整| 亚洲经典国产精华液单| 国产精品爽爽va在线观看网站| 极品少妇高潮喷水抽搐| 亚洲精品亚洲一区二区| 亚洲精品影视一区二区三区av| 久久久精品免费免费高清| 亚洲国产av新网站| 日本黄色片子视频| 在线看a的网站| 69av精品久久久久久| 亚洲人成网站在线观看播放| 一区二区av电影网| 国产精品蜜桃在线观看| 日本与韩国留学比较| 好男人在线观看高清免费视频| 精品酒店卫生间| 日韩强制内射视频| 国产欧美日韩精品一区二区| 99久久中文字幕三级久久日本| 香蕉精品网在线| 日韩av不卡免费在线播放| 嫩草影院入口| 国产精品99久久久久久久久| 亚洲国产欧美人成| 国产成人精品一,二区| 少妇人妻 视频| 秋霞在线观看毛片| 国产精品一区二区性色av| 国模一区二区三区四区视频| 不卡视频在线观看欧美| 国国产精品蜜臀av免费| 最近最新中文字幕大全电影3| 又大又黄又爽视频免费| 久久精品久久久久久久性| 国产爱豆传媒在线观看| 最近手机中文字幕大全| 成年版毛片免费区| 精品少妇久久久久久888优播| 97超碰精品成人国产| 日韩av免费高清视频| 国产大屁股一区二区在线视频| 3wmmmm亚洲av在线观看| 久久精品久久久久久久性| 婷婷色麻豆天堂久久| 51国产日韩欧美| 成人毛片a级毛片在线播放| 最近手机中文字幕大全| 五月开心婷婷网| 久久99热这里只频精品6学生| 91精品一卡2卡3卡4卡| 久久久久久久午夜电影| 大又大粗又爽又黄少妇毛片口| 最近最新中文字幕免费大全7| 99热这里只有精品一区| 国产精品福利在线免费观看| 狂野欧美激情性bbbbbb| 午夜福利高清视频| 婷婷色综合www| 在线天堂最新版资源| 18禁裸乳无遮挡免费网站照片| 欧美最新免费一区二区三区| 丝袜美腿在线中文| 黄色一级大片看看| 国产成人免费无遮挡视频| 亚洲在久久综合| 校园人妻丝袜中文字幕| 亚洲在久久综合| 精品少妇久久久久久888优播| 欧美日本视频| 久久综合国产亚洲精品| 欧美日本视频| 国产精品三级大全| 日韩一区二区视频免费看| 久久久国产一区二区| 夜夜爽夜夜爽视频| 各种免费的搞黄视频| 在线观看一区二区三区激情| 免费电影在线观看免费观看| av黄色大香蕉| 成人国产av品久久久| 国产精品久久久久久精品电影小说 | 女的被弄到高潮叫床怎么办| 中文欧美无线码| 成人二区视频| 亚洲精品日韩av片在线观看| 极品教师在线视频| 日韩中字成人| 高清毛片免费看| 精品一区二区免费观看| 精品亚洲乱码少妇综合久久| www.色视频.com| 乱码一卡2卡4卡精品| 免费电影在线观看免费观看| 亚洲天堂国产精品一区在线| 国产精品国产三级国产av玫瑰| 免费黄频网站在线观看国产| 97超视频在线观看视频| 欧美一级a爱片免费观看看| 国产av不卡久久| 久久久精品免费免费高清| 综合色av麻豆| 99久久精品一区二区三区| 欧美少妇被猛烈插入视频| 日韩在线高清观看一区二区三区| 久久人人爽av亚洲精品天堂 | 欧美日本视频| 18禁在线播放成人免费| 免费大片黄手机在线观看| 国产免费视频播放在线视频| 波野结衣二区三区在线| 亚洲va在线va天堂va国产| av在线蜜桃| 亚洲欧美日韩另类电影网站 | 午夜免费男女啪啪视频观看|