• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于測試成本元素的眾包測試缺陷數(shù)量估計模型

    2021-09-28 06:13:20劉語嬋
    測控技術(shù) 2021年9期
    關(guān)鍵詞:測試報告工作量人力

    姚 奕,劉語嬋,楊 帆

    (陸軍工程大學(xué) 指揮控制工程學(xué)院,江蘇 南京 210007)

    隨著互聯(lián)網(wǎng)群智技術(shù)的深入研究,測試中人員多樣性和互補(bǔ)性帶來的缺陷發(fā)現(xiàn)效率的提高,使得眾包測試得到了飛速發(fā)展[1]?,F(xiàn)有眾包測試平臺發(fā)布測試任務(wù)后,項目經(jīng)理通常只根據(jù)他們的個人經(jīng)驗來計劃眾包測試任務(wù)的結(jié)束。例如,他們通常采用基于時間或基于參與者的條件來結(jié)束眾測試任務(wù)。然而做出合理的決定是很有挑戰(zhàn)性的,眾包測試通常被視為一個黑箱過程,管理者的決策仍然對其實際進(jìn)展不敏感,這些基于經(jīng)驗的決定可能會導(dǎo)致無效的眾測過程。這表明了改進(jìn)當(dāng)前眾包測試實踐的實際需要和潛在機(jī)會。因此,眾包測試平臺希望尋找能夠?qū)崟r預(yù)測或估計軟件缺陷數(shù)量和可靠性的軟件可靠性建模技術(shù)。通過比較預(yù)測和檢測的缺陷數(shù)量以及評估軟件測試后的可靠性,以評估測試任務(wù)的進(jìn)度,能夠合理判定任務(wù)結(jié)束,避免浪費大量的測試時間和資源。

    關(guān)于眾包測試缺陷數(shù)量預(yù)測的研究很少,Wang等[2]從軟件的可靠性出發(fā)對測試任務(wù)完成度進(jìn)行評估。Wang首先根據(jù)測試報告中缺陷的重疊性利用捕獲-重捕模型預(yù)測軟件中的缺陷規(guī)模,然后通過分析已檢測缺陷數(shù)量所占缺陷規(guī)模的百分比來衡量軟件的可靠性。然而,眾包測試區(qū)別于傳統(tǒng)的測試手段,以其參與者的隨機(jī)多樣性與測試報告數(shù)量的龐大性使得軟件產(chǎn)品被更加合理充分地測試。參與測試任務(wù)的人員越多越活躍,那么平臺接收到的測試報告也越多,則缺陷被發(fā)現(xiàn)的概率則更大。但是缺陷數(shù)量是恒定的,大量的人力和報告成本的投入可能會導(dǎo)致測試的低效益性。因此通過研究測試成本與缺陷發(fā)現(xiàn)數(shù)量的關(guān)系來預(yù)測缺陷數(shù)量。軟件可靠性增長模型(Software Reliability Growth Model,SRGM)[3-4]在度量、預(yù)測、保證可靠性上被廣泛應(yīng)用,同時也為最優(yōu)發(fā)布時間抉擇等軟件開發(fā)活動提供重要決策支持。SRGM從軟件失效的角度進(jìn)行可靠性建模,采用以微分方程(組)為主的數(shù)學(xué)手段建立軟件測試過程中的若干個隨機(jī)參量間的定量函數(shù)模型,例如測試時間、累積檢測的缺陷數(shù)量、測試工作量等參量?;谇蠼獬龅睦鄯e檢測缺陷數(shù)量函數(shù)表達(dá)式,可以獲得測試階段的可靠性[5]。SRGM除了包括完美排錯模型[6-8]、不完全排錯模型等類型[9-10],還考慮了測試資源和測試環(huán)境,基于測試工作量(Testing-Effort,TE)和變動點(Change-Point,CP)的SRGM相繼被提出[11-15]。各種類型的TE開始廣泛地出現(xiàn)在SRGM中,使得融入測試資源的花銷在建模中成為常態(tài)。

    基于眾包測試人力成本和測試報告成本數(shù)量龐大的特點,本文對傳統(tǒng)的基于單個TE的SRGM進(jìn)行了改進(jìn),將測試人力和提交的測試報告數(shù)量同時納入測試工作量考慮范圍,提出了一種針對眾包測試的軟件缺陷數(shù)量估計模型(Crowdsourced Test Defect Number Estimation Model,CTDNEM)。其中利用相關(guān)函數(shù)對測試人力和測試報告數(shù)量兩個測試成本元素進(jìn)行相關(guān)性分析,并基于相關(guān)性程度和測試工作量函數(shù)(Testing-Effort Function,TEF)建立了一個通用的分段式可靠性建??蚣埽梢愿鶕?jù)不同元素之間的相關(guān)性程度來選擇合適的微分方程;同時在成本估計中,引入3種TEFs估計測試成本數(shù)據(jù),以此選擇最優(yōu)參數(shù)代入微分方程求解出測試中累積的檢測缺陷數(shù)量以及潛在缺陷數(shù)量,能夠有效提高缺陷數(shù)量估計的準(zhǔn)確性。

    1 傳統(tǒng)模型

    非齊次泊松過程(Non-Homogeneous Poisson Process,NHPP)類模型由于具有易理解與易使用等優(yōu)良特性,已成為目前研究最為廣泛的一類SRGMs[15]。缺陷的檢測與修復(fù)是在TE的消耗下進(jìn)行的,TE可有效地描述軟件開發(fā)過程中的工作剖面,因而SRGM中應(yīng)考慮到其存在,本文模型就是在此類模型框架基礎(chǔ)上進(jìn)行改進(jìn)的。

    Zhang等[9]首次針對TE提出了一個相對統(tǒng)一的SRGM框架(Software Reliability Growth Model Based on Testing-Effort,TE-SRGM),該模型框架的建立基于下面的假設(shè)條件。

    ① 缺陷檢測過程隨時間服從NHPP過程。

    ② 在(t,t+Δt)時間內(nèi)檢測到缺陷的平均數(shù)量與當(dāng)前測試工作量消耗率下的軟件中剩余的平均缺陷數(shù)量成正比。這個比值即為當(dāng)前的缺陷檢測率,它可以是一個常數(shù)b,也可以是時間相關(guān)的函數(shù)b(t)。

    ③ 每次缺陷被檢測出來時,都會立即被完美地修復(fù),而修復(fù)只需要很少的時間,且不會引入新的缺陷,因此軟件中的缺陷總數(shù)是一個常值a。

    ④ 所有的缺陷都是獨立的,并且同樣可以檢測到。

    根據(jù)上述假設(shè),即可得到如式(1)所示的考慮TE的NHPP軟件可靠性建??蚣堋?/p>

    (1)

    式中,m(t)為時間間隔[0,t]內(nèi)的檢測缺陷數(shù)的期望均值函數(shù);w(t)為測試工作量消耗速率函數(shù),它是測試工作量函數(shù)(記為W(t))對測試時間t的導(dǎo)數(shù);b(t)為當(dāng)時的缺陷檢測率;a為軟件中的缺陷總數(shù)。

    在邊界條件為m(0)=0,W(0)=0時,將不同形式的測試工作量函數(shù)W(t)代入上述微分方程并求解,即可得到各種不同的累積檢測缺陷數(shù)量函數(shù)表達(dá)式(記為m(t))。

    2 改進(jìn)模型CTDNEM

    針對眾包測試人員多樣性和測試報告互補(bǔ)性的特點,將測試人力數(shù)量和提交測試報告數(shù)量作為測試成本元素,并基于TE-SRGM建立了眾包測試缺陷數(shù)量估計模型CTDNEM,模型的流程如圖1所示。

    圖1 眾包測試缺陷數(shù)量估計流程

    在模型假設(shè)的前提下,CTDNEM首先利用相關(guān)函數(shù)對測試人力和測試報告兩個測試成本元素進(jìn)行相關(guān)性分析,其次根據(jù)不同元素之間的相關(guān)性程度建立了一個通用的分段式可靠性建??蚣軄韺z測過程建模,然后利用實際測試成本數(shù)據(jù)分別估計3種TEF的參數(shù)并進(jìn)行比較,以此選擇出最優(yōu)的TEF代入微分方程。最終可以估計軟件潛在缺陷數(shù)量以及各時刻累積檢測缺陷數(shù)量。

    2.1 模型假設(shè)

    首先,由于眾包測試過程只涉及缺陷檢測行為,不包含修復(fù)工作,該模型需要設(shè)置一個虛擬修復(fù)過程。本文中此過程屬于完美修復(fù),無需結(jié)合實際討論。其次,眾包測試軟件的規(guī)模通常較小,不適用于系統(tǒng)級的分析,因此需要對時間進(jìn)行細(xì)化處理。第三,考慮到測試報告具有高重復(fù)率和高互補(bǔ)率的特點,平臺需要對報告進(jìn)行融合,去重等處理。因此CTDNEM對TE-SRGM的假設(shè)進(jìn)行了修改,使其滿足眾包測試行為的特點。模型需要滿足以下假設(shè)條件。

    ① 測試過程中,缺陷檢測過程隨時間服從NHPP過程。

    ② 所有的缺陷都是獨立的,并且同樣可以檢測到。

    ③ 所有測試時間細(xì)化,將日歷時間轉(zhuǎn)化為時間戳形式,并保證測試起始時間為0。

    ④ 每次測試報告被提交后,都會進(jìn)行虛擬修復(fù),即發(fā)現(xiàn)的缺陷會立即被完美地修復(fù),且不會引入新的缺陷,因此軟件中的缺陷總數(shù)是一個常數(shù)a。

    ⑤ 測試報告中重復(fù)的缺陷只累積首次發(fā)現(xiàn)。缺陷被虛擬修復(fù)后,若測試報告中還上報該缺陷,此缺陷將被忽略。

    ⑥ 在(t,t+Δt)時間內(nèi)檢測到缺陷的平均數(shù)量與當(dāng)前缺陷檢測率b(t)及兩個測試成本工作量w1(t)和w2(t)的共同作用消耗率下軟件中剩余的平均缺陷數(shù)量成正比。其中,兩個測試成本元素的共同作用情況將在后面討論。

    2.2 測試成本元素

    通常SRGM適用于系統(tǒng)級別的缺陷數(shù)量估計[5],而眾包測試中待測軟件規(guī)模較小,TE-SRGM原有測試工作量難以保證模型的準(zhǔn)確性。因此基于眾包測試特點,可以考慮使用多個測試成本元素,模型將測試人力和提交的測試報告數(shù)量納入考慮范圍。

    在現(xiàn)實的測試環(huán)境中,測試成本元素并不是完全相互獨立的,也不是完全一致的,它們或多或少會有一定的聯(lián)系。因此,模型使用相關(guān)系數(shù)來表示兩個元素的相關(guān)性。相關(guān)系數(shù)最早是由統(tǒng)計學(xué)家卡爾·皮爾遜設(shè)計的統(tǒng)計指標(biāo)相關(guān)性,其計算公式為

    (2)

    式中,P為參與的測試人力變量;R為提交的測試報告數(shù)量變量;Var代表求方差;E代表求期望值。皮爾遜認(rèn)為相關(guān)系數(shù)ρ的絕對值若在0.7以上,就認(rèn)為P和R有強(qiáng)的相關(guān)性;在0.4~0.7之間,可以認(rèn)為兩者有相關(guān)性;在0.4以下,則認(rèn)為兩者沒有相關(guān)性[17]。

    本文隨機(jī)對現(xiàn)有數(shù)據(jù)集成本數(shù)據(jù)進(jìn)行相關(guān)性分析,分析結(jié)果如圖2所示,該數(shù)據(jù)集的人員成本和報告成本的相關(guān)性為0.65,這表明兩個測試成本元素之間存在一定的正相關(guān)關(guān)系。因此,為了提高缺陷數(shù)量估計結(jié)果的準(zhǔn)確性,需要最小化兩個因素對彼此的影響。CTDNEM針對不同的相關(guān)性程度,建立了一個分段式的可靠性建??蚣埽梢宰钚』瘍蓚€成本元素對彼此的影響。

    圖2 測試人力與測試報告相關(guān)性

    2.3 通用框架

    第一節(jié)中TE-SRGM只考慮了單個測試成本元素的情況,無法將兩個或多個測試成本元素直接代入式(1)。CTDNEM則提出一個能夠包含兩個測試成本元素的可靠性建??蚣?。在式(1)的基礎(chǔ)上,模型引入兩個測試成本元素來對最終檢測到的缺陷平均數(shù)量進(jìn)行計算,考慮到測試成本元素之間的相關(guān)性,模型建立如下的可靠性建模框架。

    (3)

    式中,w1(t)為t時刻測試人員占用率;w2(t)為t時刻測試報告消耗率;a為缺陷總數(shù);λ和μ為相關(guān)性調(diào)和系數(shù);b(t)為缺陷檢測率。

    整個測試過程中,總體的缺陷檢測率最終都會隨著缺陷數(shù)量的檢測和排除而上升并趨于恒定。因此CTDNEM利用現(xiàn)有的b(t)公式[18]:

    (4)

    式中,r為彎曲因子,表示軟件中不相關(guān)缺陷所占的比例。當(dāng)r=1時,所得到的m(t)即為凹型模型,其余情況得到的是S型模型。

    兩個測試成本元素的3種相關(guān)性情況具體描述如下。

    ① 當(dāng)ρ(P,R)≥0.7時,P和R相關(guān)性極強(qiáng)。此時兩個元素的影響可用其中任一元素代替,微分方程與式(1)相同。

    ② 當(dāng)0.4≤ρ(P,R)<0.7時,P和R相關(guān)性較弱。此時認(rèn)定P和R在一定比例上影響缺陷檢測數(shù)量,在(t,t+Δt)時間內(nèi)檢測到缺陷的平均數(shù)量與一定權(quán)重下的兩個元素消耗率之和成正比。

    ③ 當(dāng)ρ(P,R)<0.4時,P和R基本無關(guān)。此時認(rèn)定P和R相互完全獨立,共同影響缺陷檢測數(shù)量,在(t,t+Δt)時間內(nèi)檢測到缺陷的平均數(shù)量與兩個元素消耗率皆成正比。

    3 TEF分析

    文獻(xiàn)[19]中明確指出,軟件中缺陷總數(shù)a、缺陷檢測率b(t)和測試工作量TE是影響SRGM的重要參數(shù)因素。前文已經(jīng)對前兩個因素進(jìn)行了分析,這里不再贅述。本節(jié)將對第3個因素TE進(jìn)行概要分析。

    在軟件測試階段,會消耗大量的測試工作,例如測試報告的數(shù)量、測試人力和CPU時間等。消耗的測試工作指示了如何在軟件中有效地檢測缺陷,因此,資源消耗或人力資源分配可以通過不同的分布進(jìn)行建模。TE通常用測試工作量函數(shù)TEF來表示,即W(t),下面列出了3個常用的TEFs。

    ① Weibull-Type TEF:在整個測試階段,單位時間的TE不為常數(shù)。事實上,瞬時TE在測試生命周期中最終會降低,因此累積TE接近一個有限的極限。這種分析是合理的,因為沒有軟件公司會在軟件測試上花費無限的資源。因此,Yamada等提出了威布爾分布,其在(0,t]中消耗的累積TE公式如下[20]:

    W(t)=W(1-e(-βtδ))θ,W>0,β>0,δ>0,θ>0

    (5)

    在測試時刻t消耗的瞬時TE為

    (6)

    式中,W為TE支出的總額;β為規(guī)模參數(shù);δ和θ為形狀參數(shù)。

    Weibull-Type曲線有幾種特殊情況:當(dāng)θ=1,δ=1時,累積TE為指數(shù)曲線;當(dāng)θ=1,δ=2時,累積TE為Rayleigh曲線;當(dāng)θ=1時,累積TE為Weibull曲線。

    ② Logistic TEF:當(dāng)δ>3時,Weibull-Type曲線有明顯的峰值現(xiàn)象。這種現(xiàn)象不符合實際的軟件開發(fā)/測試過程。為此,Huang等提出使用Logistic TE函數(shù)來描述測試工作模式。其在(0,t]中消耗的累積TE為[21]

    (7)

    在測試時刻t消耗的瞬時TE為

    (8)

    ③ Log-Logistic TEF:在某些缺陷數(shù)據(jù)集中,隨著測試的進(jìn)行,單位TE損耗的速率也可能呈現(xiàn)遞增或遞減的行為,現(xiàn)有的模型不能捕捉到這種趨勢。因此,Gokhale和Trivedi提出了Log-Logistic TE函數(shù),來描述出這種趨勢。其在(0,t]中消耗的累積TE為[22]

    (9)

    在測試時刻t消耗的瞬時TE為

    (10)

    4 實驗驗證

    4.1 實驗概述

    ① 數(shù)據(jù)集。從MoocTest眾包測試平臺上選擇4組真實的且包含測試工作量數(shù)據(jù)信息的缺陷數(shù)據(jù)集DS1~DS4。這4組眾包測試數(shù)據(jù)集覆蓋了不同數(shù)量的缺陷與測試人員,并且參與測試人員的數(shù)量都大于200,報告數(shù)量都大于1000,其成本數(shù)據(jù)遠(yuǎn)遠(yuǎn)超過傳統(tǒng)測試。這些項目經(jīng)過眾包測試后,根據(jù)其互補(bǔ)性特點進(jìn)行了測試報告、測試人力以及缺陷信息的統(tǒng)計與融合,形成了缺陷數(shù)據(jù)集,具體內(nèi)容如表1所示。

    表1 眾包測試缺陷數(shù)據(jù)集統(tǒng)計信息

    ② 對照組。選取現(xiàn)有的TE-SRGM作為基線方法,基線方法中測試成本工作量使用的TEF根據(jù)實驗比較后選取最優(yōu)分布函數(shù)。

    ③ 實驗組。應(yīng)用本文提出的CTDNEM分別建立適于真實數(shù)據(jù)集的缺陷數(shù)量估計模型,并與基線方法進(jìn)行實例對比研究,其中測試成本工作量使用的TEF選擇方法與對照組相同。

    ④ 參數(shù)估計方法。方法包括最大似然估計(Maximum Likelihood Estimation,MLE)和最小二乘估計(Least Squares Estimation,LSE),其中TEF的參數(shù)估計僅使用LSE,累積檢測缺陷數(shù)量函數(shù)表達(dá)式m(t)的參數(shù)估計使用MLE和LSE。

    ⑤ 任務(wù)結(jié)束判定規(guī)則。累積缺陷檢測數(shù)量函數(shù)m(t)收斂,或者實際檢測數(shù)量與軟件潛在缺陷數(shù)量估計值a達(dá)到一定比例(如90%),即可判定任務(wù)完成。

    4.2 評價指標(biāo)

    為了檢查TEF與CTDNEM的性能,更好地評估和比較模型擬合缺陷的力,實驗使用以下3個評價指標(biāo)。

    (1)估算精度(Accuracy of Estimation,AE)。

    AE通過軟件中存在的初始估計的缺陷數(shù)和最終實際檢測到的缺陷累積數(shù)進(jìn)行計算,通過估計的軟件潛在缺陷數(shù)量與檢測結(jié)果的誤差反映軟件缺陷數(shù)量估計值的準(zhǔn)確度。

    (11)

    式中,Ma為測試后實際檢測到的缺陷累積數(shù);a為估計的軟件中的缺陷總數(shù)。估計值a最終可以用來與缺陷檢測數(shù)量比較,衡量測試任務(wù)進(jìn)度。

    在黨中央遷往當(dāng)時北平的路上,毛澤東意味深長地說:這是“進(jìn)京趕考”?!拔覀儧Q不當(dāng)李自成,我們都希望考個好成績!”這考官自然是以工農(nóng)為主體的人民大眾。

    (2)平方誤差的均值(Mean Square Error,MSE)。

    (12)

    式中,mi為ti時刻的實際檢測缺陷數(shù);m(ti)為ti時刻模型估計的期望缺陷數(shù)。MSE越小,擬合誤差越小,性能越好。

    (3)預(yù)測效度(Predictive Validity,PV)。

    (13)

    取不同的預(yù)計點te(te≤tq),并重復(fù)上述過程,即可獲得不同的RE(Relative Error)值。通常情況下,可以將不同的RE值制成RE圖,以直觀地檢驗?zāi)P偷念A(yù)計能力。RE圖中接近于橫軸(即RE值接近于0)的點越多,表明模型預(yù)計能力越好。

    (4)缺陷覆蓋率(Defect Coverage,DC)。

    DC通過實時計算檢測到的缺陷累積數(shù)和初始估計的軟件缺陷數(shù)的比例,可以反映出缺陷被檢測的覆蓋程度。

    (14)

    式中,Ma為測試后實際檢測到的缺陷累積數(shù);a為估計的軟件中的缺陷總數(shù)。理想狀態(tài)下,當(dāng)DC=100%時,缺陷全部被檢測到。但是在實際測試中,DC總是小于理想值的,因此可以設(shè)定當(dāng)DC達(dá)到某比例時,即可判定任務(wù)完成。

    4.3 結(jié)果分析

    為了驗證所提出的模型CTDNEM,并與基線方法TE-SRGM進(jìn)行性能比較,本文對4個實際的眾包測試軟件缺陷數(shù)據(jù)進(jìn)行了實驗,各個數(shù)據(jù)集的實驗結(jié)果如下。

    (1)DS1。

    為了估計工作量,實驗利用LSE方法對3種工作量函數(shù)進(jìn)行參數(shù)估計。圖3顯示了通過使用上述3種TEFs來擬合估計的人力和測試報告的測試工作量,擬合曲線和實際軟件數(shù)據(jù)分別用實線和虛線表示。

    在圖3(a)中,Logistic TE函數(shù)曲線與實際數(shù)據(jù)最為接近,其參數(shù)為W=391.70,A=7.870,α=0.107,k=3.5×10-3;在圖3(b)中,Weibull-Type TE函數(shù)曲線與實際數(shù)據(jù)最為接近,其參數(shù)為W=1221.31,β=9.48×10-12,δ=2.564,θ=1.915。

    通過相關(guān)系數(shù)計算公式得到測試人力和測試報告的相關(guān)性系數(shù)ρ=0.65,依據(jù)相關(guān)性系數(shù)實驗選取可靠性模型框架中第2個微分方程求解。對已知的W(t)擬合曲線求導(dǎo)并代入方程,求解出m(t)公式。式中的其他參數(shù)可以通過MLE和LSE方法進(jìn)行數(shù)值求解。然后將模型CTDNEM與基線方法進(jìn)行對比,其參數(shù)估計和比較結(jié)果如表2所示。

    表2 DS1的缺陷數(shù)量估計和性能比較結(jié)果

    表2中,CTDNEM在MLE方法上估計結(jié)果的AE值為4.30%,MSE值為22.73,使用LSE方法估計結(jié)果的AE值為8.56%,MSE值為49.62。與基線方法相比,CTDNEM估計性能提升很大。根據(jù)上述結(jié)果,估計的累積缺陷數(shù)量如圖4所示,最終預(yù)測缺陷數(shù)值開始收斂,且表2中的DC值已經(jīng)超過了100%,說明該測試已經(jīng)完成,符合實際情況。

    圖4 DS1累積檢測缺陷估計與實際數(shù)量

    最后,計算該數(shù)據(jù)集預(yù)測效度,結(jié)果如圖5所示。從結(jié)果觀察到,相對誤差隨著時間增加逐漸接近于0,即最終預(yù)測值越來越準(zhǔn)確。te/tq為50%時,準(zhǔn)確性就已經(jīng)在10%以內(nèi),te接近tq時,誤差曲線通常也集中于10%以內(nèi),可以看出CTDNEM可以利用較少的實際數(shù)據(jù)預(yù)測出未來的缺陷檢測數(shù)量,具有很高的估計準(zhǔn)確性。

    圖5 DS1的RE曲線

    (2)DS2。

    DS2通過使用LSE來擬合估計的測試人力和測試報告的測試工作量如圖6所示。

    圖6 DS2測試人力與測試報告的測試成本估計和實際數(shù)據(jù)

    在圖6(a)中,Logistic TE函數(shù)曲線與實際數(shù)據(jù)最為接近,其參數(shù)為W=233.99,A=4.719,α=1.38×10-2,k=2.72×10-2;在圖6(b)中,Logistic TE函數(shù)曲線與實際數(shù)據(jù)最為接近,其參數(shù)為W=1253.88,A=7673.40,α=6.27×10-2,k=6.34×10-3。

    依據(jù)計算得到測試人力和測試報告的相關(guān)性系數(shù)ρ=0.59,選取模型框架中第2個微分方程求解。模型CTDNEM與基線方法進(jìn)行對比結(jié)果如表3所示。

    表3 DS2的缺陷數(shù)量估計和性能比較結(jié)果

    表3中,CTDNEM在MLE方法上估計結(jié)果的AE值為3.16%,MSE值為28.58,在相同方法下,基線方法估計結(jié)果的AE值僅為3.02%,MSE值為22.10。由此可見CTDNEM在該數(shù)據(jù)集中,沒有很好地發(fā)揮出優(yōu)勢。根據(jù)參數(shù)結(jié)果,估計的累積缺陷數(shù)量如圖7所示,與實際提交數(shù)據(jù)相符合。此時檢測缺陷數(shù)量基本收斂,基線方法中DC值超過了90%,也可以判定測試任務(wù)完成,與實際情況相符。

    圖7 DS2累積檢測缺陷估計/實際數(shù)量

    最后,預(yù)測效度的結(jié)果如圖8所示,相對誤差隨著時間增加逐漸接近于0,在te/tq為60%時誤差就已經(jīng)在10%以內(nèi),可以看出CTDNEM具有很好的預(yù)測性,但是略遜于基線方法。

    圖8 DS2的RE曲線

    (3)DS3。

    DS3通過使用LSE來擬合估計的測試人力和測試報告的測試工作量如圖9所示。

    在圖9(a)中,Logistic TE函數(shù)曲線與實際數(shù)據(jù)最為接近,其參數(shù)為W=636.74,A=2.060,α=3.05×10-2,k=1.05×10-3;在圖9(b)中,Weibull-Type TE函數(shù)曲線與實際數(shù)據(jù)最為接近,其參數(shù)為W=4001.44,β=9.73×10-7,δ=1.397,θ=0.276。

    圖9 DS3測試人力與測試報告的測試成本估計和實際數(shù)據(jù)

    依據(jù)計算得到測試人力和測試報告的相關(guān)性系數(shù)ρ=0.72,選取模型框架中第1個微分方程求解。CTDNEM得到的微分方程與基線方法一致,其結(jié)果如表4所示。

    表4 DS3的缺陷數(shù)量估計和性能比較結(jié)果

    表4中,CTDNEM使用MLE方法效果較好,估計結(jié)果的AE值為8.31%,MSE值為37.62,使用LSE方法的AE值為12.24%,MSE值為87.61。根據(jù)參數(shù),估計的累積缺陷數(shù)量如圖10所示,此時檢測數(shù)量剛剛開始趨于平穩(wěn),而DC值在90%左右,由此判定測試關(guān)閉過早。

    圖10 DS3累積檢測缺陷估計和實際數(shù)據(jù)

    最后,預(yù)測效度的結(jié)果如圖11所示,te/tq為50%時,準(zhǔn)確性就已經(jīng)在10%以內(nèi),可以看出CTDNEM能較好地對DS3缺陷數(shù)量進(jìn)行估計。

    圖11 DS3的RE曲線

    (4)DS4。

    DS4通過使用LSE來擬合估計的測試人力和測試報告的測試工作量,如圖12所示。

    在圖12(a)中,Logistic TE函數(shù)曲線與實際數(shù)據(jù)最為接近,其參數(shù)為W=616.41,A=6.810,α=7.28×10-3,k=5.16×10-2;在圖12(b)中,Weibull-Type TE函數(shù)曲線與實際數(shù)據(jù)最為接近,其參數(shù)為W=4395.53,β=2.815,δ=1.990,θ=0.357。

    圖12 DS4測試人力與測試報告的測試成本估計和實際數(shù)據(jù)

    依據(jù)計算得到測試人力和測試報告的相關(guān)性系數(shù)ρ=0.66,選取模型框架中第2個微分方程求解。模型CTDNEM與基線方法進(jìn)行對比結(jié)果如表5所示。

    表5 DS4的缺陷數(shù)量估計和性能比較結(jié)果

    表5中,CTDNEM使用MLE方法效果較好,估計結(jié)果的AE值為3.61%,MSE值為29.72;使用LSE方法的AE值為8.56%,MSE值為51.55。兩種方法的結(jié)果皆優(yōu)于基線方法性能。根據(jù)參數(shù),估計的累積缺陷數(shù)量如圖13所示,累積檢測缺陷數(shù)量已經(jīng)開始收斂,且DC值皆高于90%,測試完成程度較高。

    圖13 DS4累積檢測缺陷估計和實際數(shù)據(jù)

    最后,預(yù)測效度的結(jié)果如圖14所示,te/tq為50%時,準(zhǔn)確性就已經(jīng)在10%以內(nèi),當(dāng)te接近tq時,誤差曲線主要集中于5%以內(nèi),可以看出CTDNEM估計結(jié)果的準(zhǔn)確性高。

    圖14 DS4的RE曲線

    綜上所述,CTDNEM在4個眾包測試數(shù)據(jù)集上進(jìn)行了實驗,所有測試人力數(shù)量滿足Logistic TE函數(shù)曲線,大部分測試報告數(shù)量滿足Weibull-Type TE函數(shù)曲線。累積檢測缺陷數(shù)量在3個數(shù)據(jù)集上的估計效果皆表現(xiàn)出良好的性能,在DS2數(shù)據(jù)集上遜色于基線方法。4個實驗的誤差曲線在te/tq為50%時,誤差都小于10%,表明模型能用較少的數(shù)據(jù)準(zhǔn)確評估任務(wù)完成度,由此可見CTDNEM能夠很好地對眾包測試數(shù)據(jù)集的缺陷進(jìn)行預(yù)估。

    5 結(jié)束語

    眾包測試中,測試人力和測試報告提交數(shù)量是衡量測試成本的兩個重要元素。為了能夠通過完成缺陷數(shù)量的實時預(yù)估以監(jiān)控眾包測試任務(wù)的過程,本文提出了一個同時考慮兩個測試成本元素的眾包測試缺陷數(shù)量估計模型。在此基礎(chǔ)上,結(jié)合已有的3種測試工作函數(shù),對如何利用新的可靠性建模框架在眾包測試數(shù)據(jù)集建模的過程進(jìn)行了分析。在4組真實的眾包測試數(shù)據(jù)集上,利用CTDNEM進(jìn)行了缺陷數(shù)量估計實驗,并將典型的TE-SRGM模型作為基線方法對估計性能進(jìn)行了對比。由對比結(jié)果可知,CTDNEM的擬合與估計結(jié)果在3組數(shù)據(jù)集上均表現(xiàn)良好,對4組測試任務(wù)關(guān)閉時間評估符合實際情況。由此可知,CTDNEM有更好的缺陷預(yù)估能力,在實際的眾包測試中對監(jiān)控測試任務(wù)過程、決策任務(wù)結(jié)束時間具有重要的指導(dǎo)意義。

    猜你喜歡
    測試報告工作量人力
    人事檔案管理在人力資源管理中的作用
    關(guān)于戶外體育游戲?qū)τ變后w能影響的調(diào)查研究
    甘肅教育(2021年5期)2021-12-29 15:41:24
    人力資源管理促進(jìn)企業(yè)績效提升
    應(yīng)用地表覆蓋數(shù)據(jù)估算LiDAR內(nèi)業(yè)工作量的方法研究
    海外并購中的人力資源整合之道
    中國外匯(2019年19期)2019-11-26 00:57:32
    百變星君:ROLLINGSTONE 變色龍紫破風(fēng)車架測試報告
    一個兼顧教學(xué)科研的高校教師績效考核模型及其應(yīng)用
    思科發(fā)布云計算市場發(fā)展報告
    為健康中國提供強(qiáng)大的人力支撐
    SSAB Hardox悍達(dá)450材料輕型自卸車廂體測試報告
    專用汽車(2016年9期)2016-03-01 04:17:19
    精品国产一区二区三区久久久樱花 | 麻豆成人av视频| 国产精品人妻久久久影院| 两个人的视频大全免费| 少妇高潮的动态图| 特级一级黄色大片| 亚洲在线观看片| 蜜桃亚洲精品一区二区三区| 又爽又黄无遮挡网站| 久久国内精品自在自线图片| 久久久久久伊人网av| 日日摸夜夜添夜夜添av毛片| 国产三级在线视频| 免费看光身美女| 成年女人在线观看亚洲视频 | 永久网站在线| 久久久久久久久中文| 蜜桃亚洲精品一区二区三区| a级毛色黄片| 男插女下体视频免费在线播放| 六月丁香七月| 国产黄色小视频在线观看| 国产精品国产三级国产av玫瑰| 国产一区二区三区av在线| 在线天堂最新版资源| 99久久精品国产国产毛片| 麻豆国产97在线/欧美| 色综合亚洲欧美另类图片| 久久久久久久久久成人| 欧美高清成人免费视频www| 日韩欧美一区视频在线观看 | 久久精品国产自在天天线| 亚洲经典国产精华液单| 麻豆成人av视频| 国产又色又爽无遮挡免| 亚洲精品一二三| 青春草视频在线免费观看| 欧美成人精品欧美一级黄| 一本一本综合久久| 免费大片18禁| 亚洲精品一区蜜桃| 免费看a级黄色片| 亚洲av在线观看美女高潮| 日韩大片免费观看网站| 久久国产乱子免费精品| 亚洲第一区二区三区不卡| 又爽又黄a免费视频| 免费看光身美女| 91精品国产九色| 免费看日本二区| 国产麻豆成人av免费视频| 国产精品久久久久久精品电影小说 | 亚洲av成人av| 色吧在线观看| 久久99精品国语久久久| 看十八女毛片水多多多| 成人美女网站在线观看视频| 一级毛片 在线播放| freevideosex欧美| 成人亚洲精品一区在线观看 | 亚洲最大成人手机在线| 日日摸夜夜添夜夜爱| 国国产精品蜜臀av免费| 婷婷色麻豆天堂久久| 午夜福利高清视频| 亚洲三级黄色毛片| 日日啪夜夜爽| 少妇裸体淫交视频免费看高清| 国产色爽女视频免费观看| 青春草国产在线视频| 性插视频无遮挡在线免费观看| 国内精品宾馆在线| 麻豆精品久久久久久蜜桃| 18禁裸乳无遮挡免费网站照片| 一边亲一边摸免费视频| 午夜福利成人在线免费观看| 一级毛片我不卡| 日韩av在线大香蕉| 久久99热6这里只有精品| 国产成人精品一,二区| 亚洲色图av天堂| 国产精品无大码| 又粗又硬又长又爽又黄的视频| 亚洲国产精品成人综合色| 久久久久九九精品影院| 亚洲欧美中文字幕日韩二区| 亚洲精品日本国产第一区| 亚洲欧美中文字幕日韩二区| 国语对白做爰xxxⅹ性视频网站| 亚洲精品国产av成人精品| 男女视频在线观看网站免费| 性色avwww在线观看| 国国产精品蜜臀av免费| 亚洲熟妇中文字幕五十中出| 亚洲成人中文字幕在线播放| 国产免费一级a男人的天堂| 看免费成人av毛片| 在线观看人妻少妇| 免费黄网站久久成人精品| 欧美激情在线99| 国产一区二区亚洲精品在线观看| 久久久久久九九精品二区国产| 看黄色毛片网站| 狂野欧美白嫩少妇大欣赏| 超碰av人人做人人爽久久| 国产视频首页在线观看| 日产精品乱码卡一卡2卡三| 夜夜看夜夜爽夜夜摸| 亚洲精品一二三| 亚洲国产精品成人综合色| 看非洲黑人一级黄片| 免费看光身美女| 国产一级毛片在线| 韩国av在线不卡| 亚洲国产精品成人综合色| 中文精品一卡2卡3卡4更新| 久久国产乱子免费精品| 欧美不卡视频在线免费观看| 免费观看精品视频网站| 春色校园在线视频观看| 一个人免费在线观看电影| 精品一区二区免费观看| 亚洲在久久综合| 免费少妇av软件| 国产精品久久久久久久久免| 国语对白做爰xxxⅹ性视频网站| 久久精品夜夜夜夜夜久久蜜豆| 中文精品一卡2卡3卡4更新| 少妇裸体淫交视频免费看高清| 午夜亚洲福利在线播放| 免费观看性生交大片5| 国产av不卡久久| 我要看日韩黄色一级片| 一级毛片 在线播放| 91久久精品国产一区二区三区| 国产男人的电影天堂91| 日韩成人av中文字幕在线观看| 国产视频首页在线观看| 久久国产乱子免费精品| 99久国产av精品| 狂野欧美白嫩少妇大欣赏| 干丝袜人妻中文字幕| 久久精品夜色国产| 国产精品一区www在线观看| 人妻系列 视频| 人妻少妇偷人精品九色| av女优亚洲男人天堂| 搡老妇女老女人老熟妇| 在线观看人妻少妇| 精品人妻熟女av久视频| 久久韩国三级中文字幕| 啦啦啦中文免费视频观看日本| 亚洲一级一片aⅴ在线观看| freevideosex欧美| 国内揄拍国产精品人妻在线| 高清日韩中文字幕在线| 亚洲18禁久久av| 亚洲自拍偷在线| 国产日韩欧美在线精品| 免费看不卡的av| 欧美不卡视频在线免费观看| 欧美三级亚洲精品| 天天躁夜夜躁狠狠久久av| 亚洲熟女精品中文字幕| 97在线视频观看| 午夜老司机福利剧场| 极品教师在线视频| 国产又色又爽无遮挡免| 午夜福利在线在线| 久久久精品94久久精品| 深爱激情五月婷婷| 亚洲综合色惰| 亚洲无线观看免费| 天天一区二区日本电影三级| 久久鲁丝午夜福利片| 亚洲经典国产精华液单| 欧美激情久久久久久爽电影| 不卡视频在线观看欧美| 国产精品1区2区在线观看.| 国产又色又爽无遮挡免| 亚洲人成网站在线观看播放| 午夜精品一区二区三区免费看| 又爽又黄a免费视频| 免费看av在线观看网站| 欧美zozozo另类| 久久久精品欧美日韩精品| 成人特级av手机在线观看| 久久久久久久午夜电影| 亚洲综合色惰| 成人国产麻豆网| av福利片在线观看| 国产成人午夜福利电影在线观看| 亚洲人成网站在线观看播放| 国产成人freesex在线| 蜜臀久久99精品久久宅男| 国产精品福利在线免费观看| 大话2 男鬼变身卡| 亚洲国产高清在线一区二区三| 两个人的视频大全免费| 久久久久久久久久久免费av| 美女大奶头视频| 在线观看av片永久免费下载| 亚洲欧美精品专区久久| 高清午夜精品一区二区三区| 国产成人午夜福利电影在线观看| 亚洲性久久影院| 国产v大片淫在线免费观看| 久久精品综合一区二区三区| 亚洲真实伦在线观看| 亚洲成人av在线免费| 边亲边吃奶的免费视频| 免费av不卡在线播放| 国产精品一区二区在线观看99 | 女人被狂操c到高潮| 日韩亚洲欧美综合| 高清欧美精品videossex| 丝袜美腿在线中文| 18禁裸乳无遮挡免费网站照片| 国产 一区精品| 日韩国内少妇激情av| 女人被狂操c到高潮| 97超碰精品成人国产| 精品国产一区二区三区久久久樱花 | 少妇裸体淫交视频免费看高清| 男人和女人高潮做爰伦理| 嘟嘟电影网在线观看| 久久精品熟女亚洲av麻豆精品 | 亚洲人与动物交配视频| 欧美成人精品欧美一级黄| 亚洲图色成人| 91精品一卡2卡3卡4卡| 神马国产精品三级电影在线观看| av在线天堂中文字幕| 性插视频无遮挡在线免费观看| 99九九线精品视频在线观看视频| 国产av国产精品国产| 好男人在线观看高清免费视频| 蜜桃久久精品国产亚洲av| 国产伦一二天堂av在线观看| 精品国产三级普通话版| 精品欧美国产一区二区三| 国产免费又黄又爽又色| 欧美日韩综合久久久久久| 九九久久精品国产亚洲av麻豆| 卡戴珊不雅视频在线播放| 久久久久久久大尺度免费视频| 精品酒店卫生间| 日本wwww免费看| 大片免费播放器 马上看| 精品久久久久久成人av| 欧美日韩一区二区视频在线观看视频在线 | 一级黄片播放器| 18+在线观看网站| 亚洲精品日韩在线中文字幕| 亚洲国产av新网站| 大香蕉97超碰在线| 亚洲在线自拍视频| 国产成人freesex在线| 2021天堂中文幕一二区在线观| 观看美女的网站| 啦啦啦啦在线视频资源| 精品酒店卫生间| 色综合亚洲欧美另类图片| 亚洲欧美日韩卡通动漫| 少妇熟女欧美另类| 搞女人的毛片| 97人妻精品一区二区三区麻豆| 少妇猛男粗大的猛烈进出视频 | 亚洲内射少妇av| 午夜激情福利司机影院| 熟妇人妻久久中文字幕3abv| 国产 亚洲一区二区三区 | 一级片'在线观看视频| 国产精品久久久久久久久免| 亚洲成人精品中文字幕电影| 久久久久精品性色| 1000部很黄的大片| 亚洲四区av| 特大巨黑吊av在线直播| 人人妻人人澡人人爽人人夜夜 | 日韩欧美 国产精品| 亚洲精品国产成人久久av| 国产单亲对白刺激| 国产精品久久久久久久电影| 一级片'在线观看视频| 建设人人有责人人尽责人人享有的 | 啦啦啦啦在线视频资源| 99热全是精品| 国精品久久久久久国模美| 在现免费观看毛片| 亚洲成人一二三区av| 国产综合懂色| 内射极品少妇av片p| 十八禁网站网址无遮挡 | 日韩av在线免费看完整版不卡| 亚洲精品视频女| 日本三级黄在线观看| 久久久久久久国产电影| 国产高清三级在线| 一级毛片aaaaaa免费看小| 欧美激情久久久久久爽电影| 蜜臀久久99精品久久宅男| 午夜激情久久久久久久| 久久久精品欧美日韩精品| 男插女下体视频免费在线播放| 日韩强制内射视频| 视频中文字幕在线观看| 午夜福利视频1000在线观看| 国产亚洲一区二区精品| 亚洲人成网站高清观看| h日本视频在线播放| 亚洲精品视频女| 国产国拍精品亚洲av在线观看| 性插视频无遮挡在线免费观看| 成人鲁丝片一二三区免费| 亚洲无线观看免费| 国产爱豆传媒在线观看| 国产精品人妻久久久影院| 在线观看免费高清a一片| 亚洲欧美一区二区三区国产| 国产精品美女特级片免费视频播放器| 搡女人真爽免费视频火全软件| 亚洲欧美精品专区久久| 色吧在线观看| 91精品伊人久久大香线蕉| 51国产日韩欧美| 亚洲不卡免费看| 黄色一级大片看看| 日韩中字成人| 日韩成人av中文字幕在线观看| 免费看av在线观看网站| 国产精品人妻久久久久久| 亚洲av二区三区四区| 少妇被粗大猛烈的视频| 麻豆国产97在线/欧美| 亚洲精品第二区| 国产在视频线在精品| 国产欧美日韩精品一区二区| 熟妇人妻久久中文字幕3abv| 伦精品一区二区三区| 国产av码专区亚洲av| 免费看a级黄色片| 色吧在线观看| 午夜老司机福利剧场| 亚洲图色成人| 精品少妇黑人巨大在线播放| 精华霜和精华液先用哪个| 国产黄色小视频在线观看| 国产伦精品一区二区三区视频9| av网站免费在线观看视频 | 青春草国产在线视频| 欧美最新免费一区二区三区| 最后的刺客免费高清国语| 黄色配什么色好看| 69av精品久久久久久| 搞女人的毛片| 日日摸夜夜添夜夜爱| 岛国毛片在线播放| 好男人视频免费观看在线| 人人妻人人澡人人爽人人夜夜 | 色5月婷婷丁香| 99九九线精品视频在线观看视频| 99re6热这里在线精品视频| 超碰av人人做人人爽久久| 少妇的逼水好多| 精品久久国产蜜桃| 欧美高清成人免费视频www| 日韩强制内射视频| 国产精品99久久久久久久久| 国精品久久久久久国模美| 黄色配什么色好看| 久久午夜福利片| 欧美日韩综合久久久久久| 一级毛片我不卡| 插逼视频在线观看| 99久久精品国产国产毛片| 日本-黄色视频高清免费观看| 能在线免费看毛片的网站| .国产精品久久| 欧美xxxx黑人xx丫x性爽| 国产老妇女一区| av国产久精品久网站免费入址| 看十八女毛片水多多多| 亚洲综合精品二区| 天堂中文最新版在线下载 | 亚洲精品中文字幕在线视频 | 日韩 亚洲 欧美在线| 成人毛片60女人毛片免费| 成人性生交大片免费视频hd| 国产精品综合久久久久久久免费| 久久久久性生活片| av国产免费在线观看| 国产精品久久久久久久久免| 亚洲怡红院男人天堂| 精品人妻一区二区三区麻豆| 中文精品一卡2卡3卡4更新| 日韩电影二区| 乱人视频在线观看| 看免费成人av毛片| 午夜老司机福利剧场| 免费观看av网站的网址| 亚洲成人久久爱视频| 久久久亚洲精品成人影院| 最近2019中文字幕mv第一页| av网站免费在线观看视频 | av在线蜜桃| 国产美女午夜福利| 国产av在哪里看| 麻豆av噜噜一区二区三区| 久久99蜜桃精品久久| 成年免费大片在线观看| 亚洲成人中文字幕在线播放| 高清在线视频一区二区三区| 国产成人精品婷婷| 亚洲人成网站在线观看播放| 搡老妇女老女人老熟妇| h日本视频在线播放| 97热精品久久久久久| 午夜福利在线观看免费完整高清在| 国产淫片久久久久久久久| 国内少妇人妻偷人精品xxx网站| 亚洲欧美一区二区三区国产| 国产真实伦视频高清在线观看| 国产精品伦人一区二区| 免费播放大片免费观看视频在线观看| 亚洲天堂国产精品一区在线| 欧美精品国产亚洲| 80岁老熟妇乱子伦牲交| 亚洲精品久久午夜乱码| 精品不卡国产一区二区三区| 简卡轻食公司| 精品人妻视频免费看| 中文字幕亚洲精品专区| 免费不卡的大黄色大毛片视频在线观看 | 一区二区三区高清视频在线| 能在线免费观看的黄片| 亚洲真实伦在线观看| 99久国产av精品| 亚洲美女视频黄频| 精品久久久久久久久久久久久| 一本—道久久a久久精品蜜桃钙片 精品乱码久久久久久99久播 | 日本一本二区三区精品| 免费电影在线观看免费观看| 亚洲av中文字字幕乱码综合| 免费观看性生交大片5| 三级男女做爰猛烈吃奶摸视频| 在现免费观看毛片| 亚洲精品日韩在线中文字幕| 青春草国产在线视频| 在线观看av片永久免费下载| 国产人妻一区二区三区在| 亚洲av日韩在线播放| 黑人高潮一二区| 18禁在线无遮挡免费观看视频| 国产伦精品一区二区三区四那| 国产亚洲91精品色在线| 亚洲一区高清亚洲精品| 国产极品天堂在线| 亚洲欧美清纯卡通| 欧美不卡视频在线免费观看| 久久精品综合一区二区三区| 中文字幕人妻熟人妻熟丝袜美| 日韩一本色道免费dvd| 欧美xxxx黑人xx丫x性爽| 伊人久久精品亚洲午夜| 久久久精品欧美日韩精品| av黄色大香蕉| 成人毛片a级毛片在线播放| 亚洲国产最新在线播放| 国产亚洲精品av在线| 日日撸夜夜添| 亚洲av不卡在线观看| 男人舔奶头视频| 一本久久精品| 天天躁夜夜躁狠狠久久av| 国产亚洲一区二区精品| 99热网站在线观看| 欧美变态另类bdsm刘玥| 国产高清有码在线观看视频| 国产av码专区亚洲av| 日韩 亚洲 欧美在线| 免费观看a级毛片全部| 国产 一区 欧美 日韩| 日本wwww免费看| 日韩电影二区| 久久97久久精品| 高清午夜精品一区二区三区| 一级黄片播放器| 成人国产麻豆网| 联通29元200g的流量卡| 国产综合精华液| 精品国产一区二区三区久久久樱花 | 亚洲成人av在线免费| 国产成人aa在线观看| eeuss影院久久| 高清在线视频一区二区三区| 日韩大片免费观看网站| 亚洲在线自拍视频| 91午夜精品亚洲一区二区三区| 国产av不卡久久| 成人无遮挡网站| 免费观看在线日韩| 国产成人aa在线观看| 国产精品综合久久久久久久免费| 亚洲国产色片| 亚洲欧美精品自产自拍| 2021少妇久久久久久久久久久| 三级国产精品欧美在线观看| 一本一本综合久久| 国产乱人视频| 久久精品夜色国产| 亚洲精品日韩av片在线观看| 欧美成人精品欧美一级黄| 亚洲精品成人久久久久久| 欧美丝袜亚洲另类| 97超碰精品成人国产| av在线天堂中文字幕| 国产伦在线观看视频一区| 精品久久久久久久久av| 国产精品蜜桃在线观看| 国产三级在线视频| 婷婷色综合www| 久久久久久久久久成人| 国产高清国产精品国产三级 | 亚洲内射少妇av| 看免费成人av毛片| 亚洲欧美中文字幕日韩二区| 又大又黄又爽视频免费| 小蜜桃在线观看免费完整版高清| 亚洲高清免费不卡视频| 日韩av不卡免费在线播放| 99久国产av精品| 99久久中文字幕三级久久日本| 欧美日本视频| 能在线免费看毛片的网站| 日本-黄色视频高清免费观看| 青春草国产在线视频| 色吧在线观看| 熟妇人妻久久中文字幕3abv| 在线 av 中文字幕| 日本色播在线视频| 国产免费又黄又爽又色| 欧美zozozo另类| 在线观看av片永久免费下载| av线在线观看网站| 我要看日韩黄色一级片| 夜夜看夜夜爽夜夜摸| 成人二区视频| 日韩av免费高清视频| 黄色配什么色好看| 狂野欧美白嫩少妇大欣赏| 色综合亚洲欧美另类图片| 中文资源天堂在线| 亚洲av免费高清在线观看| 亚洲欧美日韩无卡精品| 青春草视频在线免费观看| 日日干狠狠操夜夜爽| 中文天堂在线官网| 99热这里只有精品一区| 国产亚洲午夜精品一区二区久久 | 亚洲av男天堂| 欧美激情国产日韩精品一区| 亚洲四区av| 3wmmmm亚洲av在线观看| 可以在线观看毛片的网站| 一二三四中文在线观看免费高清| 国内少妇人妻偷人精品xxx网站| 日本三级黄在线观看| 听说在线观看完整版免费高清| 成年女人看的毛片在线观看| 18禁动态无遮挡网站| 久久久久久久午夜电影| 熟女电影av网| 天堂俺去俺来也www色官网 | 日日啪夜夜爽| 视频中文字幕在线观看| 成人毛片a级毛片在线播放| 亚洲图色成人| 青青草视频在线视频观看| 午夜福利网站1000一区二区三区| 高清毛片免费看| 欧美性感艳星| 亚洲欧美一区二区三区黑人 | 亚洲内射少妇av| 国产精品一区二区在线观看99 | 久久热精品热| 亚洲精品一区蜜桃| av在线天堂中文字幕| 男女边摸边吃奶| 精品国产露脸久久av麻豆 | 夫妻午夜视频| 国产伦精品一区二区三区四那| 麻豆久久精品国产亚洲av| 久久久久精品性色| 国产亚洲5aaaaa淫片| 国产中年淑女户外野战色| 亚洲成人精品中文字幕电影| 亚洲图色成人| 又粗又硬又长又爽又黄的视频| 欧美不卡视频在线免费观看| 人妻少妇偷人精品九色| 国产精品国产三级专区第一集| 久久久a久久爽久久v久久| 搡老妇女老女人老熟妇| 中文天堂在线官网| 直男gayav资源| 中国国产av一级| 天堂中文最新版在线下载 | 日本三级黄在线观看| 激情 狠狠 欧美| 全区人妻精品视频| 色视频www国产| 国产国拍精品亚洲av在线观看| 网址你懂的国产日韩在线| 在线免费观看不下载黄p国产|