• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于測試成本元素的眾包測試缺陷數(shù)量估計模型

    2021-09-28 06:13:20劉語嬋
    測控技術(shù) 2021年9期
    關(guān)鍵詞:測試報告工作量人力

    姚 奕,劉語嬋,楊 帆

    (陸軍工程大學(xué) 指揮控制工程學(xué)院,江蘇 南京 210007)

    隨著互聯(lián)網(wǎng)群智技術(shù)的深入研究,測試中人員多樣性和互補(bǔ)性帶來的缺陷發(fā)現(xiàn)效率的提高,使得眾包測試得到了飛速發(fā)展[1]?,F(xiàn)有眾包測試平臺發(fā)布測試任務(wù)后,項目經(jīng)理通常只根據(jù)他們的個人經(jīng)驗來計劃眾包測試任務(wù)的結(jié)束。例如,他們通常采用基于時間或基于參與者的條件來結(jié)束眾測試任務(wù)。然而做出合理的決定是很有挑戰(zhàn)性的,眾包測試通常被視為一個黑箱過程,管理者的決策仍然對其實際進(jìn)展不敏感,這些基于經(jīng)驗的決定可能會導(dǎo)致無效的眾測過程。這表明了改進(jìn)當(dāng)前眾包測試實踐的實際需要和潛在機(jī)會。因此,眾包測試平臺希望尋找能夠?qū)崟r預(yù)測或估計軟件缺陷數(shù)量和可靠性的軟件可靠性建模技術(shù)。通過比較預(yù)測和檢測的缺陷數(shù)量以及評估軟件測試后的可靠性,以評估測試任務(wù)的進(jìn)度,能夠合理判定任務(wù)結(jié)束,避免浪費大量的測試時間和資源。

    關(guān)于眾包測試缺陷數(shù)量預(yù)測的研究很少,Wang等[2]從軟件的可靠性出發(fā)對測試任務(wù)完成度進(jìn)行評估。Wang首先根據(jù)測試報告中缺陷的重疊性利用捕獲-重捕模型預(yù)測軟件中的缺陷規(guī)模,然后通過分析已檢測缺陷數(shù)量所占缺陷規(guī)模的百分比來衡量軟件的可靠性。然而,眾包測試區(qū)別于傳統(tǒng)的測試手段,以其參與者的隨機(jī)多樣性與測試報告數(shù)量的龐大性使得軟件產(chǎn)品被更加合理充分地測試。參與測試任務(wù)的人員越多越活躍,那么平臺接收到的測試報告也越多,則缺陷被發(fā)現(xiàn)的概率則更大。但是缺陷數(shù)量是恒定的,大量的人力和報告成本的投入可能會導(dǎo)致測試的低效益性。因此通過研究測試成本與缺陷發(fā)現(xiàn)數(shù)量的關(guān)系來預(yù)測缺陷數(shù)量。軟件可靠性增長模型(Software Reliability Growth Model,SRGM)[3-4]在度量、預(yù)測、保證可靠性上被廣泛應(yīng)用,同時也為最優(yōu)發(fā)布時間抉擇等軟件開發(fā)活動提供重要決策支持。SRGM從軟件失效的角度進(jìn)行可靠性建模,采用以微分方程(組)為主的數(shù)學(xué)手段建立軟件測試過程中的若干個隨機(jī)參量間的定量函數(shù)模型,例如測試時間、累積檢測的缺陷數(shù)量、測試工作量等參量?;谇蠼獬龅睦鄯e檢測缺陷數(shù)量函數(shù)表達(dá)式,可以獲得測試階段的可靠性[5]。SRGM除了包括完美排錯模型[6-8]、不完全排錯模型等類型[9-10],還考慮了測試資源和測試環(huán)境,基于測試工作量(Testing-Effort,TE)和變動點(Change-Point,CP)的SRGM相繼被提出[11-15]。各種類型的TE開始廣泛地出現(xiàn)在SRGM中,使得融入測試資源的花銷在建模中成為常態(tài)。

    基于眾包測試人力成本和測試報告成本數(shù)量龐大的特點,本文對傳統(tǒng)的基于單個TE的SRGM進(jìn)行了改進(jìn),將測試人力和提交的測試報告數(shù)量同時納入測試工作量考慮范圍,提出了一種針對眾包測試的軟件缺陷數(shù)量估計模型(Crowdsourced Test Defect Number Estimation Model,CTDNEM)。其中利用相關(guān)函數(shù)對測試人力和測試報告數(shù)量兩個測試成本元素進(jìn)行相關(guān)性分析,并基于相關(guān)性程度和測試工作量函數(shù)(Testing-Effort Function,TEF)建立了一個通用的分段式可靠性建??蚣埽梢愿鶕?jù)不同元素之間的相關(guān)性程度來選擇合適的微分方程;同時在成本估計中,引入3種TEFs估計測試成本數(shù)據(jù),以此選擇最優(yōu)參數(shù)代入微分方程求解出測試中累積的檢測缺陷數(shù)量以及潛在缺陷數(shù)量,能夠有效提高缺陷數(shù)量估計的準(zhǔn)確性。

    1 傳統(tǒng)模型

    非齊次泊松過程(Non-Homogeneous Poisson Process,NHPP)類模型由于具有易理解與易使用等優(yōu)良特性,已成為目前研究最為廣泛的一類SRGMs[15]。缺陷的檢測與修復(fù)是在TE的消耗下進(jìn)行的,TE可有效地描述軟件開發(fā)過程中的工作剖面,因而SRGM中應(yīng)考慮到其存在,本文模型就是在此類模型框架基礎(chǔ)上進(jìn)行改進(jìn)的。

    Zhang等[9]首次針對TE提出了一個相對統(tǒng)一的SRGM框架(Software Reliability Growth Model Based on Testing-Effort,TE-SRGM),該模型框架的建立基于下面的假設(shè)條件。

    ① 缺陷檢測過程隨時間服從NHPP過程。

    ② 在(t,t+Δt)時間內(nèi)檢測到缺陷的平均數(shù)量與當(dāng)前測試工作量消耗率下的軟件中剩余的平均缺陷數(shù)量成正比。這個比值即為當(dāng)前的缺陷檢測率,它可以是一個常數(shù)b,也可以是時間相關(guān)的函數(shù)b(t)。

    ③ 每次缺陷被檢測出來時,都會立即被完美地修復(fù),而修復(fù)只需要很少的時間,且不會引入新的缺陷,因此軟件中的缺陷總數(shù)是一個常值a。

    ④ 所有的缺陷都是獨立的,并且同樣可以檢測到。

    根據(jù)上述假設(shè),即可得到如式(1)所示的考慮TE的NHPP軟件可靠性建??蚣堋?/p>

    (1)

    式中,m(t)為時間間隔[0,t]內(nèi)的檢測缺陷數(shù)的期望均值函數(shù);w(t)為測試工作量消耗速率函數(shù),它是測試工作量函數(shù)(記為W(t))對測試時間t的導(dǎo)數(shù);b(t)為當(dāng)時的缺陷檢測率;a為軟件中的缺陷總數(shù)。

    在邊界條件為m(0)=0,W(0)=0時,將不同形式的測試工作量函數(shù)W(t)代入上述微分方程并求解,即可得到各種不同的累積檢測缺陷數(shù)量函數(shù)表達(dá)式(記為m(t))。

    2 改進(jìn)模型CTDNEM

    針對眾包測試人員多樣性和測試報告互補(bǔ)性的特點,將測試人力數(shù)量和提交測試報告數(shù)量作為測試成本元素,并基于TE-SRGM建立了眾包測試缺陷數(shù)量估計模型CTDNEM,模型的流程如圖1所示。

    圖1 眾包測試缺陷數(shù)量估計流程

    在模型假設(shè)的前提下,CTDNEM首先利用相關(guān)函數(shù)對測試人力和測試報告兩個測試成本元素進(jìn)行相關(guān)性分析,其次根據(jù)不同元素之間的相關(guān)性程度建立了一個通用的分段式可靠性建??蚣軄韺z測過程建模,然后利用實際測試成本數(shù)據(jù)分別估計3種TEF的參數(shù)并進(jìn)行比較,以此選擇出最優(yōu)的TEF代入微分方程。最終可以估計軟件潛在缺陷數(shù)量以及各時刻累積檢測缺陷數(shù)量。

    2.1 模型假設(shè)

    首先,由于眾包測試過程只涉及缺陷檢測行為,不包含修復(fù)工作,該模型需要設(shè)置一個虛擬修復(fù)過程。本文中此過程屬于完美修復(fù),無需結(jié)合實際討論。其次,眾包測試軟件的規(guī)模通常較小,不適用于系統(tǒng)級的分析,因此需要對時間進(jìn)行細(xì)化處理。第三,考慮到測試報告具有高重復(fù)率和高互補(bǔ)率的特點,平臺需要對報告進(jìn)行融合,去重等處理。因此CTDNEM對TE-SRGM的假設(shè)進(jìn)行了修改,使其滿足眾包測試行為的特點。模型需要滿足以下假設(shè)條件。

    ① 測試過程中,缺陷檢測過程隨時間服從NHPP過程。

    ② 所有的缺陷都是獨立的,并且同樣可以檢測到。

    ③ 所有測試時間細(xì)化,將日歷時間轉(zhuǎn)化為時間戳形式,并保證測試起始時間為0。

    ④ 每次測試報告被提交后,都會進(jìn)行虛擬修復(fù),即發(fā)現(xiàn)的缺陷會立即被完美地修復(fù),且不會引入新的缺陷,因此軟件中的缺陷總數(shù)是一個常數(shù)a。

    ⑤ 測試報告中重復(fù)的缺陷只累積首次發(fā)現(xiàn)。缺陷被虛擬修復(fù)后,若測試報告中還上報該缺陷,此缺陷將被忽略。

    ⑥ 在(t,t+Δt)時間內(nèi)檢測到缺陷的平均數(shù)量與當(dāng)前缺陷檢測率b(t)及兩個測試成本工作量w1(t)和w2(t)的共同作用消耗率下軟件中剩余的平均缺陷數(shù)量成正比。其中,兩個測試成本元素的共同作用情況將在后面討論。

    2.2 測試成本元素

    通常SRGM適用于系統(tǒng)級別的缺陷數(shù)量估計[5],而眾包測試中待測軟件規(guī)模較小,TE-SRGM原有測試工作量難以保證模型的準(zhǔn)確性。因此基于眾包測試特點,可以考慮使用多個測試成本元素,模型將測試人力和提交的測試報告數(shù)量納入考慮范圍。

    在現(xiàn)實的測試環(huán)境中,測試成本元素并不是完全相互獨立的,也不是完全一致的,它們或多或少會有一定的聯(lián)系。因此,模型使用相關(guān)系數(shù)來表示兩個元素的相關(guān)性。相關(guān)系數(shù)最早是由統(tǒng)計學(xué)家卡爾·皮爾遜設(shè)計的統(tǒng)計指標(biāo)相關(guān)性,其計算公式為

    (2)

    式中,P為參與的測試人力變量;R為提交的測試報告數(shù)量變量;Var代表求方差;E代表求期望值。皮爾遜認(rèn)為相關(guān)系數(shù)ρ的絕對值若在0.7以上,就認(rèn)為P和R有強(qiáng)的相關(guān)性;在0.4~0.7之間,可以認(rèn)為兩者有相關(guān)性;在0.4以下,則認(rèn)為兩者沒有相關(guān)性[17]。

    本文隨機(jī)對現(xiàn)有數(shù)據(jù)集成本數(shù)據(jù)進(jìn)行相關(guān)性分析,分析結(jié)果如圖2所示,該數(shù)據(jù)集的人員成本和報告成本的相關(guān)性為0.65,這表明兩個測試成本元素之間存在一定的正相關(guān)關(guān)系。因此,為了提高缺陷數(shù)量估計結(jié)果的準(zhǔn)確性,需要最小化兩個因素對彼此的影響。CTDNEM針對不同的相關(guān)性程度,建立了一個分段式的可靠性建??蚣埽梢宰钚』瘍蓚€成本元素對彼此的影響。

    圖2 測試人力與測試報告相關(guān)性

    2.3 通用框架

    第一節(jié)中TE-SRGM只考慮了單個測試成本元素的情況,無法將兩個或多個測試成本元素直接代入式(1)。CTDNEM則提出一個能夠包含兩個測試成本元素的可靠性建??蚣?。在式(1)的基礎(chǔ)上,模型引入兩個測試成本元素來對最終檢測到的缺陷平均數(shù)量進(jìn)行計算,考慮到測試成本元素之間的相關(guān)性,模型建立如下的可靠性建模框架。

    (3)

    式中,w1(t)為t時刻測試人員占用率;w2(t)為t時刻測試報告消耗率;a為缺陷總數(shù);λ和μ為相關(guān)性調(diào)和系數(shù);b(t)為缺陷檢測率。

    整個測試過程中,總體的缺陷檢測率最終都會隨著缺陷數(shù)量的檢測和排除而上升并趨于恒定。因此CTDNEM利用現(xiàn)有的b(t)公式[18]:

    (4)

    式中,r為彎曲因子,表示軟件中不相關(guān)缺陷所占的比例。當(dāng)r=1時,所得到的m(t)即為凹型模型,其余情況得到的是S型模型。

    兩個測試成本元素的3種相關(guān)性情況具體描述如下。

    ① 當(dāng)ρ(P,R)≥0.7時,P和R相關(guān)性極強(qiáng)。此時兩個元素的影響可用其中任一元素代替,微分方程與式(1)相同。

    ② 當(dāng)0.4≤ρ(P,R)<0.7時,P和R相關(guān)性較弱。此時認(rèn)定P和R在一定比例上影響缺陷檢測數(shù)量,在(t,t+Δt)時間內(nèi)檢測到缺陷的平均數(shù)量與一定權(quán)重下的兩個元素消耗率之和成正比。

    ③ 當(dāng)ρ(P,R)<0.4時,P和R基本無關(guān)。此時認(rèn)定P和R相互完全獨立,共同影響缺陷檢測數(shù)量,在(t,t+Δt)時間內(nèi)檢測到缺陷的平均數(shù)量與兩個元素消耗率皆成正比。

    3 TEF分析

    文獻(xiàn)[19]中明確指出,軟件中缺陷總數(shù)a、缺陷檢測率b(t)和測試工作量TE是影響SRGM的重要參數(shù)因素。前文已經(jīng)對前兩個因素進(jìn)行了分析,這里不再贅述。本節(jié)將對第3個因素TE進(jìn)行概要分析。

    在軟件測試階段,會消耗大量的測試工作,例如測試報告的數(shù)量、測試人力和CPU時間等。消耗的測試工作指示了如何在軟件中有效地檢測缺陷,因此,資源消耗或人力資源分配可以通過不同的分布進(jìn)行建模。TE通常用測試工作量函數(shù)TEF來表示,即W(t),下面列出了3個常用的TEFs。

    ① Weibull-Type TEF:在整個測試階段,單位時間的TE不為常數(shù)。事實上,瞬時TE在測試生命周期中最終會降低,因此累積TE接近一個有限的極限。這種分析是合理的,因為沒有軟件公司會在軟件測試上花費無限的資源。因此,Yamada等提出了威布爾分布,其在(0,t]中消耗的累積TE公式如下[20]:

    W(t)=W(1-e(-βtδ))θ,W>0,β>0,δ>0,θ>0

    (5)

    在測試時刻t消耗的瞬時TE為

    (6)

    式中,W為TE支出的總額;β為規(guī)模參數(shù);δ和θ為形狀參數(shù)。

    Weibull-Type曲線有幾種特殊情況:當(dāng)θ=1,δ=1時,累積TE為指數(shù)曲線;當(dāng)θ=1,δ=2時,累積TE為Rayleigh曲線;當(dāng)θ=1時,累積TE為Weibull曲線。

    ② Logistic TEF:當(dāng)δ>3時,Weibull-Type曲線有明顯的峰值現(xiàn)象。這種現(xiàn)象不符合實際的軟件開發(fā)/測試過程。為此,Huang等提出使用Logistic TE函數(shù)來描述測試工作模式。其在(0,t]中消耗的累積TE為[21]

    (7)

    在測試時刻t消耗的瞬時TE為

    (8)

    ③ Log-Logistic TEF:在某些缺陷數(shù)據(jù)集中,隨著測試的進(jìn)行,單位TE損耗的速率也可能呈現(xiàn)遞增或遞減的行為,現(xiàn)有的模型不能捕捉到這種趨勢。因此,Gokhale和Trivedi提出了Log-Logistic TE函數(shù),來描述出這種趨勢。其在(0,t]中消耗的累積TE為[22]

    (9)

    在測試時刻t消耗的瞬時TE為

    (10)

    4 實驗驗證

    4.1 實驗概述

    ① 數(shù)據(jù)集。從MoocTest眾包測試平臺上選擇4組真實的且包含測試工作量數(shù)據(jù)信息的缺陷數(shù)據(jù)集DS1~DS4。這4組眾包測試數(shù)據(jù)集覆蓋了不同數(shù)量的缺陷與測試人員,并且參與測試人員的數(shù)量都大于200,報告數(shù)量都大于1000,其成本數(shù)據(jù)遠(yuǎn)遠(yuǎn)超過傳統(tǒng)測試。這些項目經(jīng)過眾包測試后,根據(jù)其互補(bǔ)性特點進(jìn)行了測試報告、測試人力以及缺陷信息的統(tǒng)計與融合,形成了缺陷數(shù)據(jù)集,具體內(nèi)容如表1所示。

    表1 眾包測試缺陷數(shù)據(jù)集統(tǒng)計信息

    ② 對照組。選取現(xiàn)有的TE-SRGM作為基線方法,基線方法中測試成本工作量使用的TEF根據(jù)實驗比較后選取最優(yōu)分布函數(shù)。

    ③ 實驗組。應(yīng)用本文提出的CTDNEM分別建立適于真實數(shù)據(jù)集的缺陷數(shù)量估計模型,并與基線方法進(jìn)行實例對比研究,其中測試成本工作量使用的TEF選擇方法與對照組相同。

    ④ 參數(shù)估計方法。方法包括最大似然估計(Maximum Likelihood Estimation,MLE)和最小二乘估計(Least Squares Estimation,LSE),其中TEF的參數(shù)估計僅使用LSE,累積檢測缺陷數(shù)量函數(shù)表達(dá)式m(t)的參數(shù)估計使用MLE和LSE。

    ⑤ 任務(wù)結(jié)束判定規(guī)則。累積缺陷檢測數(shù)量函數(shù)m(t)收斂,或者實際檢測數(shù)量與軟件潛在缺陷數(shù)量估計值a達(dá)到一定比例(如90%),即可判定任務(wù)完成。

    4.2 評價指標(biāo)

    為了檢查TEF與CTDNEM的性能,更好地評估和比較模型擬合缺陷的力,實驗使用以下3個評價指標(biāo)。

    (1)估算精度(Accuracy of Estimation,AE)。

    AE通過軟件中存在的初始估計的缺陷數(shù)和最終實際檢測到的缺陷累積數(shù)進(jìn)行計算,通過估計的軟件潛在缺陷數(shù)量與檢測結(jié)果的誤差反映軟件缺陷數(shù)量估計值的準(zhǔn)確度。

    (11)

    式中,Ma為測試后實際檢測到的缺陷累積數(shù);a為估計的軟件中的缺陷總數(shù)。估計值a最終可以用來與缺陷檢測數(shù)量比較,衡量測試任務(wù)進(jìn)度。

    在黨中央遷往當(dāng)時北平的路上,毛澤東意味深長地說:這是“進(jìn)京趕考”?!拔覀儧Q不當(dāng)李自成,我們都希望考個好成績!”這考官自然是以工農(nóng)為主體的人民大眾。

    (2)平方誤差的均值(Mean Square Error,MSE)。

    (12)

    式中,mi為ti時刻的實際檢測缺陷數(shù);m(ti)為ti時刻模型估計的期望缺陷數(shù)。MSE越小,擬合誤差越小,性能越好。

    (3)預(yù)測效度(Predictive Validity,PV)。

    (13)

    取不同的預(yù)計點te(te≤tq),并重復(fù)上述過程,即可獲得不同的RE(Relative Error)值。通常情況下,可以將不同的RE值制成RE圖,以直觀地檢驗?zāi)P偷念A(yù)計能力。RE圖中接近于橫軸(即RE值接近于0)的點越多,表明模型預(yù)計能力越好。

    (4)缺陷覆蓋率(Defect Coverage,DC)。

    DC通過實時計算檢測到的缺陷累積數(shù)和初始估計的軟件缺陷數(shù)的比例,可以反映出缺陷被檢測的覆蓋程度。

    (14)

    式中,Ma為測試后實際檢測到的缺陷累積數(shù);a為估計的軟件中的缺陷總數(shù)。理想狀態(tài)下,當(dāng)DC=100%時,缺陷全部被檢測到。但是在實際測試中,DC總是小于理想值的,因此可以設(shè)定當(dāng)DC達(dá)到某比例時,即可判定任務(wù)完成。

    4.3 結(jié)果分析

    為了驗證所提出的模型CTDNEM,并與基線方法TE-SRGM進(jìn)行性能比較,本文對4個實際的眾包測試軟件缺陷數(shù)據(jù)進(jìn)行了實驗,各個數(shù)據(jù)集的實驗結(jié)果如下。

    (1)DS1。

    為了估計工作量,實驗利用LSE方法對3種工作量函數(shù)進(jìn)行參數(shù)估計。圖3顯示了通過使用上述3種TEFs來擬合估計的人力和測試報告的測試工作量,擬合曲線和實際軟件數(shù)據(jù)分別用實線和虛線表示。

    在圖3(a)中,Logistic TE函數(shù)曲線與實際數(shù)據(jù)最為接近,其參數(shù)為W=391.70,A=7.870,α=0.107,k=3.5×10-3;在圖3(b)中,Weibull-Type TE函數(shù)曲線與實際數(shù)據(jù)最為接近,其參數(shù)為W=1221.31,β=9.48×10-12,δ=2.564,θ=1.915。

    通過相關(guān)系數(shù)計算公式得到測試人力和測試報告的相關(guān)性系數(shù)ρ=0.65,依據(jù)相關(guān)性系數(shù)實驗選取可靠性模型框架中第2個微分方程求解。對已知的W(t)擬合曲線求導(dǎo)并代入方程,求解出m(t)公式。式中的其他參數(shù)可以通過MLE和LSE方法進(jìn)行數(shù)值求解。然后將模型CTDNEM與基線方法進(jìn)行對比,其參數(shù)估計和比較結(jié)果如表2所示。

    表2 DS1的缺陷數(shù)量估計和性能比較結(jié)果

    表2中,CTDNEM在MLE方法上估計結(jié)果的AE值為4.30%,MSE值為22.73,使用LSE方法估計結(jié)果的AE值為8.56%,MSE值為49.62。與基線方法相比,CTDNEM估計性能提升很大。根據(jù)上述結(jié)果,估計的累積缺陷數(shù)量如圖4所示,最終預(yù)測缺陷數(shù)值開始收斂,且表2中的DC值已經(jīng)超過了100%,說明該測試已經(jīng)完成,符合實際情況。

    圖4 DS1累積檢測缺陷估計與實際數(shù)量

    最后,計算該數(shù)據(jù)集預(yù)測效度,結(jié)果如圖5所示。從結(jié)果觀察到,相對誤差隨著時間增加逐漸接近于0,即最終預(yù)測值越來越準(zhǔn)確。te/tq為50%時,準(zhǔn)確性就已經(jīng)在10%以內(nèi),te接近tq時,誤差曲線通常也集中于10%以內(nèi),可以看出CTDNEM可以利用較少的實際數(shù)據(jù)預(yù)測出未來的缺陷檢測數(shù)量,具有很高的估計準(zhǔn)確性。

    圖5 DS1的RE曲線

    (2)DS2。

    DS2通過使用LSE來擬合估計的測試人力和測試報告的測試工作量如圖6所示。

    圖6 DS2測試人力與測試報告的測試成本估計和實際數(shù)據(jù)

    在圖6(a)中,Logistic TE函數(shù)曲線與實際數(shù)據(jù)最為接近,其參數(shù)為W=233.99,A=4.719,α=1.38×10-2,k=2.72×10-2;在圖6(b)中,Logistic TE函數(shù)曲線與實際數(shù)據(jù)最為接近,其參數(shù)為W=1253.88,A=7673.40,α=6.27×10-2,k=6.34×10-3。

    依據(jù)計算得到測試人力和測試報告的相關(guān)性系數(shù)ρ=0.59,選取模型框架中第2個微分方程求解。模型CTDNEM與基線方法進(jìn)行對比結(jié)果如表3所示。

    表3 DS2的缺陷數(shù)量估計和性能比較結(jié)果

    表3中,CTDNEM在MLE方法上估計結(jié)果的AE值為3.16%,MSE值為28.58,在相同方法下,基線方法估計結(jié)果的AE值僅為3.02%,MSE值為22.10。由此可見CTDNEM在該數(shù)據(jù)集中,沒有很好地發(fā)揮出優(yōu)勢。根據(jù)參數(shù)結(jié)果,估計的累積缺陷數(shù)量如圖7所示,與實際提交數(shù)據(jù)相符合。此時檢測缺陷數(shù)量基本收斂,基線方法中DC值超過了90%,也可以判定測試任務(wù)完成,與實際情況相符。

    圖7 DS2累積檢測缺陷估計/實際數(shù)量

    最后,預(yù)測效度的結(jié)果如圖8所示,相對誤差隨著時間增加逐漸接近于0,在te/tq為60%時誤差就已經(jīng)在10%以內(nèi),可以看出CTDNEM具有很好的預(yù)測性,但是略遜于基線方法。

    圖8 DS2的RE曲線

    (3)DS3。

    DS3通過使用LSE來擬合估計的測試人力和測試報告的測試工作量如圖9所示。

    在圖9(a)中,Logistic TE函數(shù)曲線與實際數(shù)據(jù)最為接近,其參數(shù)為W=636.74,A=2.060,α=3.05×10-2,k=1.05×10-3;在圖9(b)中,Weibull-Type TE函數(shù)曲線與實際數(shù)據(jù)最為接近,其參數(shù)為W=4001.44,β=9.73×10-7,δ=1.397,θ=0.276。

    圖9 DS3測試人力與測試報告的測試成本估計和實際數(shù)據(jù)

    依據(jù)計算得到測試人力和測試報告的相關(guān)性系數(shù)ρ=0.72,選取模型框架中第1個微分方程求解。CTDNEM得到的微分方程與基線方法一致,其結(jié)果如表4所示。

    表4 DS3的缺陷數(shù)量估計和性能比較結(jié)果

    表4中,CTDNEM使用MLE方法效果較好,估計結(jié)果的AE值為8.31%,MSE值為37.62,使用LSE方法的AE值為12.24%,MSE值為87.61。根據(jù)參數(shù),估計的累積缺陷數(shù)量如圖10所示,此時檢測數(shù)量剛剛開始趨于平穩(wěn),而DC值在90%左右,由此判定測試關(guān)閉過早。

    圖10 DS3累積檢測缺陷估計和實際數(shù)據(jù)

    最后,預(yù)測效度的結(jié)果如圖11所示,te/tq為50%時,準(zhǔn)確性就已經(jīng)在10%以內(nèi),可以看出CTDNEM能較好地對DS3缺陷數(shù)量進(jìn)行估計。

    圖11 DS3的RE曲線

    (4)DS4。

    DS4通過使用LSE來擬合估計的測試人力和測試報告的測試工作量,如圖12所示。

    在圖12(a)中,Logistic TE函數(shù)曲線與實際數(shù)據(jù)最為接近,其參數(shù)為W=616.41,A=6.810,α=7.28×10-3,k=5.16×10-2;在圖12(b)中,Weibull-Type TE函數(shù)曲線與實際數(shù)據(jù)最為接近,其參數(shù)為W=4395.53,β=2.815,δ=1.990,θ=0.357。

    圖12 DS4測試人力與測試報告的測試成本估計和實際數(shù)據(jù)

    依據(jù)計算得到測試人力和測試報告的相關(guān)性系數(shù)ρ=0.66,選取模型框架中第2個微分方程求解。模型CTDNEM與基線方法進(jìn)行對比結(jié)果如表5所示。

    表5 DS4的缺陷數(shù)量估計和性能比較結(jié)果

    表5中,CTDNEM使用MLE方法效果較好,估計結(jié)果的AE值為3.61%,MSE值為29.72;使用LSE方法的AE值為8.56%,MSE值為51.55。兩種方法的結(jié)果皆優(yōu)于基線方法性能。根據(jù)參數(shù),估計的累積缺陷數(shù)量如圖13所示,累積檢測缺陷數(shù)量已經(jīng)開始收斂,且DC值皆高于90%,測試完成程度較高。

    圖13 DS4累積檢測缺陷估計和實際數(shù)據(jù)

    最后,預(yù)測效度的結(jié)果如圖14所示,te/tq為50%時,準(zhǔn)確性就已經(jīng)在10%以內(nèi),當(dāng)te接近tq時,誤差曲線主要集中于5%以內(nèi),可以看出CTDNEM估計結(jié)果的準(zhǔn)確性高。

    圖14 DS4的RE曲線

    綜上所述,CTDNEM在4個眾包測試數(shù)據(jù)集上進(jìn)行了實驗,所有測試人力數(shù)量滿足Logistic TE函數(shù)曲線,大部分測試報告數(shù)量滿足Weibull-Type TE函數(shù)曲線。累積檢測缺陷數(shù)量在3個數(shù)據(jù)集上的估計效果皆表現(xiàn)出良好的性能,在DS2數(shù)據(jù)集上遜色于基線方法。4個實驗的誤差曲線在te/tq為50%時,誤差都小于10%,表明模型能用較少的數(shù)據(jù)準(zhǔn)確評估任務(wù)完成度,由此可見CTDNEM能夠很好地對眾包測試數(shù)據(jù)集的缺陷進(jìn)行預(yù)估。

    5 結(jié)束語

    眾包測試中,測試人力和測試報告提交數(shù)量是衡量測試成本的兩個重要元素。為了能夠通過完成缺陷數(shù)量的實時預(yù)估以監(jiān)控眾包測試任務(wù)的過程,本文提出了一個同時考慮兩個測試成本元素的眾包測試缺陷數(shù)量估計模型。在此基礎(chǔ)上,結(jié)合已有的3種測試工作函數(shù),對如何利用新的可靠性建模框架在眾包測試數(shù)據(jù)集建模的過程進(jìn)行了分析。在4組真實的眾包測試數(shù)據(jù)集上,利用CTDNEM進(jìn)行了缺陷數(shù)量估計實驗,并將典型的TE-SRGM模型作為基線方法對估計性能進(jìn)行了對比。由對比結(jié)果可知,CTDNEM的擬合與估計結(jié)果在3組數(shù)據(jù)集上均表現(xiàn)良好,對4組測試任務(wù)關(guān)閉時間評估符合實際情況。由此可知,CTDNEM有更好的缺陷預(yù)估能力,在實際的眾包測試中對監(jiān)控測試任務(wù)過程、決策任務(wù)結(jié)束時間具有重要的指導(dǎo)意義。

    猜你喜歡
    測試報告工作量人力
    人事檔案管理在人力資源管理中的作用
    關(guān)于戶外體育游戲?qū)τ變后w能影響的調(diào)查研究
    甘肅教育(2021年5期)2021-12-29 15:41:24
    人力資源管理促進(jìn)企業(yè)績效提升
    應(yīng)用地表覆蓋數(shù)據(jù)估算LiDAR內(nèi)業(yè)工作量的方法研究
    海外并購中的人力資源整合之道
    中國外匯(2019年19期)2019-11-26 00:57:32
    百變星君:ROLLINGSTONE 變色龍紫破風(fēng)車架測試報告
    一個兼顧教學(xué)科研的高校教師績效考核模型及其應(yīng)用
    思科發(fā)布云計算市場發(fā)展報告
    為健康中國提供強(qiáng)大的人力支撐
    SSAB Hardox悍達(dá)450材料輕型自卸車廂體測試報告
    專用汽車(2016年9期)2016-03-01 04:17:19
    九九久久精品国产亚洲av麻豆| 日韩不卡一区二区三区视频在线| 欧美性猛交╳xxx乱大交人| 成人av在线播放网站| 国产在线一区二区三区精| 色5月婷婷丁香| 91午夜精品亚洲一区二区三区| 七月丁香在线播放| 最后的刺客免费高清国语| 狠狠精品人妻久久久久久综合| 天堂av国产一区二区熟女人妻| 亚洲色图av天堂| 国产三级在线视频| 日本av手机在线免费观看| 国产亚洲av嫩草精品影院| 亚洲久久久久久中文字幕| 亚洲国产日韩欧美精品在线观看| av在线蜜桃| 久久国产乱子免费精品| 综合色丁香网| 麻豆精品久久久久久蜜桃| 真实男女啪啪啪动态图| 欧美日韩综合久久久久久| 欧美bdsm另类| 美女内射精品一级片tv| 日日啪夜夜爽| 黄色配什么色好看| 97人妻精品一区二区三区麻豆| 久久久精品94久久精品| 美女高潮的动态| 国产在线男女| 人人妻人人澡欧美一区二区| 日韩成人av中文字幕在线观看| 非洲黑人性xxxx精品又粗又长| 日韩视频在线欧美| 国产午夜福利久久久久久| 亚洲伊人久久精品综合| 一个人观看的视频www高清免费观看| 一级av片app| 国产伦理片在线播放av一区| 街头女战士在线观看网站| 国产精品爽爽va在线观看网站| 国产淫片久久久久久久久| 国产亚洲av片在线观看秒播厂 | av.在线天堂| 日韩精品有码人妻一区| 嫩草影院入口| 观看免费一级毛片| 肉色欧美久久久久久久蜜桃 | 久久韩国三级中文字幕| 国产在视频线在精品| 免费av不卡在线播放| 亚洲欧洲国产日韩| 午夜福利视频1000在线观看| 久久久久久久亚洲中文字幕| 全区人妻精品视频| 2018国产大陆天天弄谢| 亚洲精品第二区| a级一级毛片免费在线观看| 三级国产精品欧美在线观看| 欧美另类一区| 亚洲一区高清亚洲精品| 九草在线视频观看| 美女国产视频在线观看| 国内精品宾馆在线| 国产午夜精品一二区理论片| 午夜福利在线在线| 国产高清有码在线观看视频| 亚洲av不卡在线观看| 熟妇人妻久久中文字幕3abv| 哪个播放器可以免费观看大片| 一级毛片久久久久久久久女| 国产91av在线免费观看| 免费大片黄手机在线观看| 美女大奶头视频| 日本av手机在线免费观看| 特大巨黑吊av在线直播| 在线a可以看的网站| 久久久成人免费电影| 18禁在线无遮挡免费观看视频| 亚洲久久久久久中文字幕| 亚洲av二区三区四区| 日本wwww免费看| 插阴视频在线观看视频| 亚洲在线观看片| 免费观看av网站的网址| 日韩强制内射视频| 久久久久性生活片| 网址你懂的国产日韩在线| 国产一区二区三区av在线| 嫩草影院新地址| 久久99热6这里只有精品| 国产又色又爽无遮挡免| av国产免费在线观看| 国产免费视频播放在线视频 | 美女黄网站色视频| 国产精品嫩草影院av在线观看| 国国产精品蜜臀av免费| 69人妻影院| 亚洲久久久久久中文字幕| 欧美区成人在线视频| 国产欧美另类精品又又久久亚洲欧美| 99久国产av精品国产电影| 日韩电影二区| 亚洲国产精品sss在线观看| 国产高清有码在线观看视频| 99热这里只有是精品50| 街头女战士在线观看网站| 两个人视频免费观看高清| 免费黄网站久久成人精品| 国产熟女欧美一区二区| 亚洲熟妇中文字幕五十中出| 建设人人有责人人尽责人人享有的 | 男人狂女人下面高潮的视频| 成年版毛片免费区| 亚洲av福利一区| 能在线免费观看的黄片| 国产一区二区三区综合在线观看 | 日韩欧美 国产精品| 久久人人爽人人爽人人片va| 干丝袜人妻中文字幕| 精品少妇黑人巨大在线播放| 九九久久精品国产亚洲av麻豆| 婷婷色综合www| 联通29元200g的流量卡| 哪个播放器可以免费观看大片| 久久韩国三级中文字幕| 秋霞伦理黄片| 亚洲av成人精品一二三区| 最近手机中文字幕大全| 日韩成人伦理影院| www.色视频.com| 国产精品嫩草影院av在线观看| 天堂av国产一区二区熟女人妻| 国产三级在线视频| 最近手机中文字幕大全| 高清视频免费观看一区二区 | 丝袜喷水一区| 亚洲欧美精品专区久久| 一区二区三区乱码不卡18| 波多野结衣巨乳人妻| 日韩欧美精品v在线| 91精品伊人久久大香线蕉| 在线观看人妻少妇| 亚洲精品亚洲一区二区| 午夜福利在线观看吧| 久久久久久久亚洲中文字幕| av国产免费在线观看| 一区二区三区乱码不卡18| 成年女人在线观看亚洲视频 | or卡值多少钱| 99久久人妻综合| 午夜福利在线观看免费完整高清在| 国产精品一区二区三区四区久久| 欧美3d第一页| 成人毛片60女人毛片免费| 最近视频中文字幕2019在线8| 极品教师在线视频| 国产女主播在线喷水免费视频网站 | 久久人人爽人人片av| 久久鲁丝午夜福利片| 亚洲av.av天堂| 久久久久精品性色| 三级经典国产精品| 淫秽高清视频在线观看| 精品久久久久久成人av| 国产精品一区二区性色av| or卡值多少钱| 国产色爽女视频免费观看| 午夜日本视频在线| 欧美日韩视频高清一区二区三区二| 欧美极品一区二区三区四区| 大话2 男鬼变身卡| 国产黄片视频在线免费观看| 国产伦精品一区二区三区四那| 亚洲成人精品中文字幕电影| 亚洲va在线va天堂va国产| 一级毛片aaaaaa免费看小| 中文欧美无线码| 天天躁日日操中文字幕| 国产淫语在线视频| 精品国产三级普通话版| 国产精品一区www在线观看| 成人高潮视频无遮挡免费网站| 菩萨蛮人人尽说江南好唐韦庄| 亚洲精品日本国产第一区| 欧美人与善性xxx| 日日撸夜夜添| 成人二区视频| 中文天堂在线官网| 18禁在线无遮挡免费观看视频| 中文字幕久久专区| 久久精品久久久久久噜噜老黄| 男插女下体视频免费在线播放| 午夜免费男女啪啪视频观看| 99久久中文字幕三级久久日本| 日韩 亚洲 欧美在线| 白带黄色成豆腐渣| or卡值多少钱| 精品一区二区三卡| 亚洲欧洲国产日韩| 99热全是精品| 亚洲av日韩在线播放| 日韩成人av中文字幕在线观看| 在线观看人妻少妇| 久久精品国产自在天天线| 国产淫片久久久久久久久| 亚洲最大成人中文| 97在线视频观看| 午夜精品国产一区二区电影 | 蜜臀久久99精品久久宅男| 性插视频无遮挡在线免费观看| 国产欧美日韩精品一区二区| 美女国产视频在线观看| 欧美日韩亚洲高清精品| 男女边摸边吃奶| 丝袜美腿在线中文| 久久久欧美国产精品| 99久久精品热视频| 国产一级毛片在线| 91久久精品电影网| 一级毛片我不卡| 久久久久免费精品人妻一区二区| 亚洲18禁久久av| 久热久热在线精品观看| 午夜日本视频在线| 麻豆成人午夜福利视频| 日本免费在线观看一区| 亚洲aⅴ乱码一区二区在线播放| 免费观看精品视频网站| 亚洲av.av天堂| 日本黄色片子视频| 国产爱豆传媒在线观看| 最近手机中文字幕大全| 亚洲经典国产精华液单| 噜噜噜噜噜久久久久久91| 又爽又黄a免费视频| 2022亚洲国产成人精品| 亚洲国产最新在线播放| 高清视频免费观看一区二区 | 中国美白少妇内射xxxbb| 久久久久久伊人网av| 国产中年淑女户外野战色| 三级男女做爰猛烈吃奶摸视频| 亚洲精品国产成人久久av| videos熟女内射| av播播在线观看一区| 国产精品熟女久久久久浪| 国产精品一区二区三区四区免费观看| 亚洲最大成人av| 国产亚洲av片在线观看秒播厂 | 在线免费十八禁| 欧美不卡视频在线免费观看| 欧美日韩视频高清一区二区三区二| 精品久久久噜噜| 最新中文字幕久久久久| 亚洲一区高清亚洲精品| 国产精品国产三级专区第一集| 美女cb高潮喷水在线观看| 伊人久久精品亚洲午夜| 成人漫画全彩无遮挡| 日本一本二区三区精品| 日本wwww免费看| 啦啦啦啦在线视频资源| 久久久亚洲精品成人影院| 欧美xxxx黑人xx丫x性爽| 色5月婷婷丁香| 亚洲熟妇中文字幕五十中出| 真实男女啪啪啪动态图| 26uuu在线亚洲综合色| 三级毛片av免费| 精品国产露脸久久av麻豆 | 免费人成在线观看视频色| 九九久久精品国产亚洲av麻豆| 色视频www国产| 边亲边吃奶的免费视频| 国内精品宾馆在线| 日本免费在线观看一区| 精品久久久精品久久久| 三级男女做爰猛烈吃奶摸视频| 国产精品女同一区二区软件| 波多野结衣巨乳人妻| 黑人高潮一二区| 中文字幕亚洲精品专区| 亚洲成人中文字幕在线播放| 99热6这里只有精品| 日本黄大片高清| 性插视频无遮挡在线免费观看| 日日摸夜夜添夜夜添av毛片| 色综合站精品国产| 联通29元200g的流量卡| 国产亚洲91精品色在线| 国产大屁股一区二区在线视频| 国产一区二区三区av在线| 国产麻豆成人av免费视频| 肉色欧美久久久久久久蜜桃 | 亚洲不卡免费看| 亚洲乱码一区二区免费版| 乱系列少妇在线播放| 成年女人看的毛片在线观看| 特级一级黄色大片| 亚洲欧洲国产日韩| 一区二区三区乱码不卡18| av专区在线播放| 日韩伦理黄色片| 男插女下体视频免费在线播放| 日韩视频在线欧美| 汤姆久久久久久久影院中文字幕 | 国产精品美女特级片免费视频播放器| 久久这里有精品视频免费| 只有这里有精品99| 搡老妇女老女人老熟妇| 午夜久久久久精精品| 国产精品一区二区性色av| 国产精品精品国产色婷婷| 高清在线视频一区二区三区| 寂寞人妻少妇视频99o| 听说在线观看完整版免费高清| 亚洲av电影不卡..在线观看| 免费观看av网站的网址| 淫秽高清视频在线观看| 欧美高清性xxxxhd video| 亚洲欧美精品自产自拍| 国产精品爽爽va在线观看网站| 中文字幕制服av| 大话2 男鬼变身卡| 久久综合国产亚洲精品| 免费黄网站久久成人精品| 我的老师免费观看完整版| 18禁在线播放成人免费| 国产精品蜜桃在线观看| 熟女电影av网| 亚洲av电影在线观看一区二区三区 | 中文精品一卡2卡3卡4更新| 国产精品福利在线免费观看| 一区二区三区乱码不卡18| 成人一区二区视频在线观看| 国产午夜精品久久久久久一区二区三区| 成人午夜高清在线视频| 中文字幕久久专区| 亚洲精品日韩av片在线观看| 18禁裸乳无遮挡免费网站照片| 国产午夜精品一二区理论片| 国产 一区精品| 亚洲最大成人手机在线| 中国美白少妇内射xxxbb| 免费av毛片视频| 亚洲精品成人av观看孕妇| 免费大片黄手机在线观看| 亚州av有码| 亚洲精品中文字幕在线视频 | 国产熟女欧美一区二区| 国产高清国产精品国产三级 | 亚洲av一区综合| 中文在线观看免费www的网站| 亚洲激情五月婷婷啪啪| 91精品伊人久久大香线蕉| 80岁老熟妇乱子伦牲交| 在线观看一区二区三区| 麻豆成人午夜福利视频| 人妻制服诱惑在线中文字幕| 日韩欧美三级三区| 麻豆精品久久久久久蜜桃| 肉色欧美久久久久久久蜜桃 | 嫩草影院入口| 国产午夜精品一二区理论片| 精品久久久久久电影网| 人妻系列 视频| 精品国产一区二区三区久久久樱花 | 久久综合国产亚洲精品| 一级爰片在线观看| 亚洲欧美日韩无卡精品| 大香蕉97超碰在线| 熟妇人妻久久中文字幕3abv| 久久久国产一区二区| 国产久久久一区二区三区| 亚洲av中文av极速乱| 少妇猛男粗大的猛烈进出视频 | 国产成人一区二区在线| 最近最新中文字幕免费大全7| 韩国高清视频一区二区三区| 亚洲欧美一区二区三区黑人 | 99久久中文字幕三级久久日本| 建设人人有责人人尽责人人享有的 | 日本与韩国留学比较| 婷婷色综合www| 国产一区二区三区综合在线观看 | 国产在线一区二区三区精| 亚洲精品久久久久久婷婷小说| 男女视频在线观看网站免费| 亚洲人成网站在线观看播放| 最近最新中文字幕免费大全7| 国产69精品久久久久777片| 亚洲欧美一区二区三区黑人 | 国产亚洲最大av| av黄色大香蕉| 亚洲欧美日韩无卡精品| 麻豆成人午夜福利视频| 老司机影院毛片| 久久精品久久精品一区二区三区| 成年女人在线观看亚洲视频 | 日韩av免费高清视频| 久久精品国产鲁丝片午夜精品| 国内精品美女久久久久久| 一区二区三区四区激情视频| 国产精品人妻久久久久久| 777米奇影视久久| 女的被弄到高潮叫床怎么办| 日韩av不卡免费在线播放| 男女视频在线观看网站免费| 日韩成人伦理影院| 一级片'在线观看视频| 韩国av在线不卡| 欧美激情国产日韩精品一区| 色哟哟·www| 日韩欧美精品免费久久| 免费观看精品视频网站| 久久久久久伊人网av| 99久国产av精品| 亚洲精品乱码久久久久久按摩| 久久午夜福利片| 黄色配什么色好看| 偷拍熟女少妇极品色| 成人综合一区亚洲| 在线免费观看的www视频| 亚洲精品一区蜜桃| 国产单亲对白刺激| 中文字幕av成人在线电影| 亚洲最大成人手机在线| 国产精品1区2区在线观看.| 最近视频中文字幕2019在线8| a级毛色黄片| 国产永久视频网站| 免费观看的影片在线观看| 亚洲成色77777| 在线观看美女被高潮喷水网站| 国产亚洲av片在线观看秒播厂 | 免费观看性生交大片5| 成人午夜精彩视频在线观看| 欧美精品国产亚洲| av女优亚洲男人天堂| .国产精品久久| 国产av国产精品国产| 尾随美女入室| 精品久久久久久久久av| 亚洲人成网站高清观看| av在线天堂中文字幕| 十八禁国产超污无遮挡网站| 国产精品福利在线免费观看| 国产淫片久久久久久久久| 在线天堂最新版资源| 日韩av在线大香蕉| 十八禁网站网址无遮挡 | 精品久久久久久久末码| 国产乱人视频| 水蜜桃什么品种好| 国产黄片美女视频| 舔av片在线| 一级毛片aaaaaa免费看小| 97超视频在线观看视频| av线在线观看网站| 日韩精品有码人妻一区| 99热这里只有是精品在线观看| 精品国产一区二区三区久久久樱花 | 精品国产三级普通话版| 国产精品久久久久久久久免| 日韩欧美精品v在线| 亚洲最大成人手机在线| 免费无遮挡裸体视频| 免费大片18禁| 日韩成人伦理影院| 国产视频首页在线观看| 国产欧美日韩精品一区二区| 一边亲一边摸免费视频| 精品亚洲乱码少妇综合久久| 男人舔女人下体高潮全视频| 超碰97精品在线观看| 免费高清在线观看视频在线观看| 亚洲精品日本国产第一区| 欧美人与善性xxx| 男女边吃奶边做爰视频| 日韩电影二区| 一级片'在线观看视频| 日韩电影二区| 亚洲内射少妇av| 成人美女网站在线观看视频| 五月伊人婷婷丁香| 天堂俺去俺来也www色官网 | 激情五月婷婷亚洲| 亚洲av中文字字幕乱码综合| 国国产精品蜜臀av免费| av专区在线播放| 国产亚洲午夜精品一区二区久久 | 秋霞伦理黄片| 国产精品三级大全| 大又大粗又爽又黄少妇毛片口| 日韩三级伦理在线观看| 在线观看人妻少妇| 五月玫瑰六月丁香| 夜夜爽夜夜爽视频| 国产精品国产三级国产av玫瑰| 天堂影院成人在线观看| 国产精品久久久久久精品电影| 内地一区二区视频在线| 久久精品国产自在天天线| 亚洲久久久久久中文字幕| 深夜a级毛片| 亚洲成人一二三区av| 亚洲精品成人久久久久久| 中文字幕制服av| 久久99蜜桃精品久久| 成人性生交大片免费视频hd| 边亲边吃奶的免费视频| 五月天丁香电影| 男的添女的下面高潮视频| 简卡轻食公司| 男人舔奶头视频| 一级毛片久久久久久久久女| 午夜视频国产福利| 最近视频中文字幕2019在线8| 可以在线观看毛片的网站| 亚州av有码| 国产成人a区在线观看| 五月玫瑰六月丁香| 国产欧美日韩精品一区二区| 国产男人的电影天堂91| 国产成人精品一,二区| 又粗又硬又长又爽又黄的视频| 成年女人在线观看亚洲视频 | 熟妇人妻久久中文字幕3abv| 免费看美女性在线毛片视频| 亚洲在久久综合| 日日摸夜夜添夜夜爱| 女人久久www免费人成看片| 国产欧美另类精品又又久久亚洲欧美| 国产精品久久久久久精品电影小说 | 亚洲av日韩在线播放| 精品一区二区三区视频在线| 国产乱人视频| 日本黄色片子视频| 亚洲自拍偷在线| 美女高潮的动态| 男人舔女人下体高潮全视频| 国产在线一区二区三区精| 在线免费观看的www视频| 可以在线观看毛片的网站| 边亲边吃奶的免费视频| 简卡轻食公司| 日韩精品青青久久久久久| 最近的中文字幕免费完整| 国产av在哪里看| 嘟嘟电影网在线观看| 最新中文字幕久久久久| 又爽又黄a免费视频| 亚洲熟妇中文字幕五十中出| 波多野结衣巨乳人妻| 久久久久久久午夜电影| 亚洲性久久影院| 日日干狠狠操夜夜爽| 伦理电影大哥的女人| 亚洲精品国产av成人精品| 22中文网久久字幕| 麻豆乱淫一区二区| 自拍偷自拍亚洲精品老妇| 免费看日本二区| 久久这里只有精品中国| 国产色爽女视频免费观看| 少妇的逼好多水| 亚洲性久久影院| 亚洲国产精品成人综合色| 亚洲成人av在线免费| 国内精品宾馆在线| 日韩av不卡免费在线播放| 成人鲁丝片一二三区免费| 日本色播在线视频| 久久精品国产亚洲av天美| 丰满人妻一区二区三区视频av| 亚洲人成网站高清观看| 男女边吃奶边做爰视频| 欧美+日韩+精品| 嫩草影院入口| 两个人的视频大全免费| 麻豆精品久久久久久蜜桃| 少妇被粗大猛烈的视频| 亚洲天堂国产精品一区在线| 亚洲国产欧美人成| 中国美白少妇内射xxxbb| 日日干狠狠操夜夜爽| 成人亚洲欧美一区二区av| 国产淫片久久久久久久久| 久久99精品国语久久久| 99热这里只有精品一区| 亚洲av福利一区| 亚洲精品一二三| 免费观看性生交大片5| 欧美不卡视频在线免费观看| 日本一二三区视频观看| 午夜日本视频在线| 亚洲精品国产av蜜桃| 亚洲av男天堂| 精品一区二区三卡| 精品一区在线观看国产| 亚洲最大成人中文| 亚洲精品国产av成人精品| 亚洲精品视频女| 午夜福利成人在线免费观看| xxx大片免费视频| 伦精品一区二区三区| 丝袜美腿在线中文| 国产av码专区亚洲av| 在线 av 中文字幕| 国产黄频视频在线观看| 国产在视频线在精品| 亚洲最大成人av| 在线a可以看的网站|