• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    探索式測(cè)試在雷達(dá)軟件中的應(yīng)用研究

    2016-11-15 00:41:36
    現(xiàn)代雷達(dá) 2016年9期
    關(guān)鍵詞:測(cè)試人員會(huì)話測(cè)試用例

    柳 溪

    (南京電子技術(shù)研究所, 南京 210039)

    ?

    ·測(cè)試技術(shù)·

    探索式測(cè)試在雷達(dá)軟件中的應(yīng)用研究

    柳溪

    (南京電子技術(shù)研究所,南京 210039)

    雷達(dá)軟件測(cè)試中常會(huì)遇到測(cè)試周期短、軟件文檔滯后甚至缺失等問(wèn)題。在這種情況下,由于探索式測(cè)試方法強(qiáng)調(diào)了測(cè)試設(shè)計(jì)和執(zhí)行的同時(shí)性,并弱化了對(duì)軟件文檔的要求,因而能夠發(fā)揮靈活、快速的優(yōu)勢(shì)。文中針對(duì)探索式測(cè)試和傳統(tǒng)腳本測(cè)試的優(yōu)缺點(diǎn),將會(huì)話機(jī)制和漫游方法等探索式測(cè)試成功實(shí)踐與經(jīng)典的腳本式測(cè)試流程結(jié)合,提出了腳本會(huì)話測(cè)試模型。通過(guò)復(fù)用對(duì)應(yīng)類型雷達(dá)軟件測(cè)試歷史項(xiàng)目的測(cè)試設(shè)計(jì),在經(jīng)典軟件測(cè)試流程中引入會(huì)話機(jī)制和漫游方法,并充分利用資深測(cè)試人員的經(jīng)驗(yàn)和組織資產(chǎn),降低軟件需求、設(shè)計(jì)文檔以及測(cè)試人員經(jīng)驗(yàn)和能力對(duì)測(cè)試的影響,增強(qiáng)測(cè)試的適應(yīng)性,提高測(cè)試的效率和質(zhì)量。

    軟件測(cè)試;雷達(dá);探索式測(cè)試;基于會(huì)話的測(cè)試管理;測(cè)試復(fù)用

    0 引 言

    隨著用戶對(duì)軟件質(zhì)量要求的提升,軟件測(cè)試已成為雷達(dá)軟件交付前的必要環(huán)節(jié)。軟件測(cè)試的質(zhì)量也是影響雷達(dá)軟件的重要因素。由于雷達(dá)軟件開(kāi)發(fā)周期受限,軟件需求和設(shè)計(jì)規(guī)約很可能在測(cè)試開(kāi)展之前不能完善提供,且軟件測(cè)試的資源充分性也不能保證。在這種情況下,傳統(tǒng)的軟件測(cè)試方法不能發(fā)揮出最好的效果,需要研究如何借助探索式測(cè)試的方法以提高雷達(dá)軟件測(cè)試的效率和質(zhì)量。

    經(jīng)典的測(cè)試方法要求依據(jù)軟件需求和設(shè)計(jì)文檔,遵循測(cè)試需求分析、測(cè)試策劃、測(cè)試設(shè)計(jì)、測(cè)試執(zhí)行和測(cè)試總結(jié)的流程,嚴(yán)格按照預(yù)先設(shè)計(jì)的測(cè)試“腳本”開(kāi)展。因此,經(jīng)典測(cè)試方法也稱為腳本測(cè)試(script testing)。腳本測(cè)試具有測(cè)試文檔全面、測(cè)試覆蓋率易度量、測(cè)試流程管理規(guī)范等優(yōu)勢(shì)。然而,隨著軟件迭代的加速,給軟件測(cè)試留出時(shí)間逐漸減少。雷達(dá)軟件測(cè)試呈現(xiàn)出一些新特點(diǎn),包括軟件需求變化快、軟件文檔缺乏、軟件測(cè)試周期短、測(cè)試時(shí)間不足等,在這些情況下采用傳統(tǒng)腳本測(cè)試方法的軟件測(cè)試往往無(wú)法有效開(kāi)展。

    與腳本測(cè)試不同的探索式測(cè)試(exploratory testing)作為一種敏捷測(cè)試方法,不區(qū)分測(cè)試階段,測(cè)試設(shè)計(jì)、執(zhí)行和總結(jié)同時(shí)進(jìn)行,依靠測(cè)試人員的經(jīng)驗(yàn)和主動(dòng)性對(duì)被測(cè)軟件進(jìn)行分析測(cè)試。探索式測(cè)試具有在時(shí)間短和文檔不完善的情況下,充分發(fā)揮測(cè)試人員的經(jīng)驗(yàn)和能力,快速、高質(zhì)量完成軟件測(cè)試等優(yōu)點(diǎn)。目前,已有基于會(huì)話的測(cè)試管理模型,以及漫游法等探索式測(cè)試管理方法[1-2]。雷達(dá)產(chǎn)品的軟件測(cè)試往往需要完整的測(cè)試文檔,并要求能夠有效控制測(cè)試流程和測(cè)試結(jié)果以保證測(cè)試質(zhì)量,探索式測(cè)試由于弱化了對(duì)文檔、測(cè)試階段劃分和測(cè)試充分性度量的要求,使之不宜直接用于雷達(dá)軟件測(cè)試。

    在測(cè)試時(shí)間短、文檔不充分的情況下,如何結(jié)合經(jīng)典腳本測(cè)試流程與探索式測(cè)試方法,是一個(gè)值得研究的問(wèn)題。本文針對(duì)這一問(wèn)題,我們提出了腳本會(huì)話測(cè)試模型,將會(huì)話和漫游等探索式測(cè)試方法融合到經(jīng)典腳本測(cè)試流程中,以提升雷達(dá)軟件測(cè)試的效率和質(zhì)量。

    1 研究背景

    1.1經(jīng)典的腳本測(cè)試模型

    腳本測(cè)試按照測(cè)試需求分析、測(cè)試策劃、測(cè)試設(shè)計(jì)、測(cè)試執(zhí)行和測(cè)試總結(jié)的流程進(jìn)行,如圖1所示[3-4]。測(cè)試需求分析以軟件需求規(guī)格說(shuō)明或設(shè)計(jì)文檔為輸入,提取測(cè)試需求,構(gòu)造測(cè)試項(xiàng)(每個(gè)測(cè)試項(xiàng)對(duì)應(yīng)一個(gè)測(cè)試需求),并形成測(cè)試需求說(shuō)明文檔;測(cè)試策劃以測(cè)試需求分析為基礎(chǔ),對(duì)測(cè)試活動(dòng)進(jìn)行計(jì)劃,形成測(cè)試計(jì)劃文檔;測(cè)試設(shè)計(jì)則根據(jù)軟件需求和設(shè)計(jì)文檔,為每個(gè)測(cè)試項(xiàng)設(shè)計(jì)測(cè)試用例,形成測(cè)試說(shuō)明文檔。測(cè)試執(zhí)行人員按照測(cè)試用例的測(cè)試步驟,測(cè)試被測(cè)軟件,記錄其結(jié)果以發(fā)現(xiàn)缺陷。最后,所有用例執(zhí)行完畢后開(kāi)展測(cè)試總結(jié),對(duì)測(cè)試執(zhí)行結(jié)果以及缺陷進(jìn)行匯總,形成測(cè)試報(bào)告文檔。

    圖1 經(jīng)典腳本測(cè)試流程

    腳本測(cè)試能夠保障測(cè)試過(guò)程對(duì)待測(cè)軟件各項(xiàng)屬性的覆蓋。上一階段制品可以指導(dǎo)下一階段測(cè)試活動(dòng)。測(cè)試成本易于分析,測(cè)試過(guò)程嚴(yán)格、可控。腳本測(cè)試對(duì)軟件需求、設(shè)計(jì)和編碼要求較高,例如:要求軟件需求和設(shè)計(jì)文檔能夠詳細(xì)、準(zhǔn)確描述待測(cè)軟件的各項(xiàng)指標(biāo)和操作。同時(shí),腳本測(cè)試中測(cè)試需求分析和設(shè)計(jì)階段用時(shí)較長(zhǎng)。此外,若軟件設(shè)計(jì)和編碼發(fā)生較大變動(dòng)時(shí),腳本測(cè)試無(wú)法快速適應(yīng)變化,需重新進(jìn)行測(cè)試策劃、設(shè)計(jì)等工作。

    1.2探索式測(cè)試原理

    探索式測(cè)試是一種敏捷測(cè)試方法,強(qiáng)調(diào)經(jīng)驗(yàn)的重要性,以及在測(cè)試中同時(shí)開(kāi)展測(cè)試需求分析、測(cè)試設(shè)計(jì)、測(cè)試執(zhí)行和測(cè)試結(jié)果評(píng)估等活動(dòng),持續(xù)優(yōu)化測(cè)試工作。其主要特點(diǎn)是:(1)強(qiáng)調(diào)測(cè)試設(shè)計(jì)和執(zhí)行的同時(shí)性;(2)適用于在短時(shí)間內(nèi)發(fā)現(xiàn)被測(cè)軟件一些重要缺陷或事先沒(méi)有能夠進(jìn)行詳細(xì)測(cè)試設(shè)計(jì)的情況;(3)通過(guò)測(cè)試來(lái)不斷學(xué)習(xí)被測(cè)系統(tǒng);(4)快速實(shí)驗(yàn)、隨時(shí)調(diào)整。作為一種敏捷軟件測(cè)試方法,探索式測(cè)試相應(yīng)弱化了對(duì)軟件文檔的要求,并更關(guān)注測(cè)試本身,在保證軟件測(cè)試質(zhì)量的同時(shí)縮短軟件測(cè)試周期,尤其是測(cè)試設(shè)計(jì)階段占用的時(shí)間。一般更適用于人工測(cè)試或需要大量人工分析的自動(dòng)化測(cè)試。

    探索式測(cè)試的主要優(yōu)點(diǎn)在于:(1)充分利用測(cè)試人員經(jīng)驗(yàn);(2)適用于需要學(xué)習(xí)的系統(tǒng)、有時(shí)間約束、補(bǔ)充測(cè)試等情況;(3)適應(yīng)性強(qiáng),尤其是需求變化、規(guī)約不明確情況;(4)測(cè)試對(duì)開(kāi)發(fā)的反饋較快;(5)能夠發(fā)揮創(chuàng)造性,降低“殺蟲(chóng)劑”效應(yīng)[5-7]。同時(shí),探索式測(cè)試也體現(xiàn)出測(cè)試文檔不完善和測(cè)試覆蓋率不易直接度量等不足[8]。

    2 相關(guān)工作比較

    雖然“探索式測(cè)試”一詞在1983年提出[8],但其軟件測(cè)試方法一直在熟練的軟件測(cè)試人員中使用。 Whittaker[2]還進(jìn)一步擴(kuò)展了探索式測(cè)試的概念和方法,總結(jié)了微軟開(kāi)展探索式軟件測(cè)試的經(jīng)驗(yàn),并提出了漫游方法。Itkonen[9]等人的研究表明,探索式測(cè)試比傳統(tǒng)方法的缺陷誤報(bào)率更低,發(fā)現(xiàn)缺陷數(shù)量更多,如在用戶界面測(cè)試中多發(fā)現(xiàn)了43%的缺陷。在微軟Windows 2000兼容性認(rèn)證中也采用了探索式測(cè)試方法。Nassar[5]等人還統(tǒng)計(jì)了探索式測(cè)試方法在瑞典軟件公司測(cè)試活動(dòng)中的使用情況。探索式測(cè)試在互聯(lián)網(wǎng)、醫(yī)療、信息系統(tǒng)等各類型軟件測(cè)試中也都有運(yùn)用[10-11]。

    目前,探索式測(cè)試的開(kāi)展方法有:“漫游法”“捕獲-重放”等方法[2,12]。對(duì)探索式測(cè)試的管理方法已形成以“基于會(huì)話的測(cè)試管理”為代表的管理模式[1]。漫游法是對(duì)微軟在進(jìn)行探索式測(cè)試實(shí)踐的經(jīng)驗(yàn)總結(jié),這個(gè)方法描述了如何開(kāi)展“探索”,從而盡可能充分的探索被測(cè)軟件、發(fā)現(xiàn)隱藏缺陷[2]。捕獲-重放的方法主要用來(lái)記錄探索式測(cè)試的過(guò)程,從而提高探索式測(cè)試的可重復(fù)性,并為確認(rèn)缺陷保存依據(jù),同時(shí)縮短回歸測(cè)試時(shí)間[12]。在管理模式方面,基于會(huì)話的測(cè)試管理(SBTM)是探索式測(cè)試管理模型中最常見(jiàn)的一種,其中的測(cè)試活動(dòng)通過(guò)基于時(shí)間片段限定的測(cè)試會(huì)話來(lái)計(jì)劃和控制,以迭代的方式推進(jìn)[1]?;诰€索的測(cè)試管理(TBTM)是對(duì)SBTM的發(fā)展,是以問(wèn)題和目標(biāo)為中心的更為松散的方式管理測(cè)試過(guò)程。Lyndsay[13]等人還進(jìn)一步提出了測(cè)試點(diǎn)的概念,并在會(huì)話上增加了風(fēng)險(xiǎn)等級(jí)的概念。

    本文提出的腳本會(huì)話測(cè)試模型對(duì)會(huì)話進(jìn)行了擴(kuò)充,并將會(huì)話、漫游方法與經(jīng)典的腳本測(cè)試方法相結(jié)合,以使得腳本測(cè)試流程與探索式測(cè)試的優(yōu)勢(shì)互補(bǔ),從而發(fā)揮更好的效果。

    3 腳本會(huì)話測(cè)試模型

    由于雷達(dá)軟件開(kāi)發(fā)周期受限,軟件需求和設(shè)計(jì)規(guī)約很可能在測(cè)試開(kāi)展之前不能完善提供,且軟件測(cè)試的資源充分性也不能保證。雷達(dá)軟件的系統(tǒng)和配置項(xiàng)級(jí)測(cè)試仍以人工測(cè)試為主。應(yīng)用探索式測(cè)試方法是提高雷達(dá)軟件測(cè)試效率,充分發(fā)揮測(cè)試人員的經(jīng)驗(yàn)和能力,在測(cè)試文檔不全的情況下開(kāi)展軟件測(cè)試的必要選擇。然而,雷達(dá)產(chǎn)品軟件測(cè)試通常需要滿足特定的標(biāo)準(zhǔn)和規(guī)范的約束,以有效控制測(cè)試流程和測(cè)試充分性度量,同時(shí)還要提供完整的測(cè)試文檔,并保證測(cè)試質(zhì)量。利用探索式測(cè)試策略可以縮短測(cè)試周期,但探索式測(cè)試不易直接度量測(cè)試充分性,且弱化了測(cè)試文檔。而文檔、測(cè)試流程管理和充分性度量則正是經(jīng)典腳本測(cè)試的優(yōu)勢(shì)。因此,腳本會(huì)話測(cè)試模型將探索式測(cè)試與經(jīng)典腳本測(cè)試結(jié)合,以借助經(jīng)典腳本測(cè)試成熟的管理流程和探索式測(cè)試的高效、適應(yīng)性強(qiáng)等優(yōu)勢(shì)。

    3.1腳本會(huì)話模型整體流程

    腳本會(huì)話模型整體流程,如圖2所示。其遵循經(jīng)典的腳本測(cè)試流程,將測(cè)試過(guò)程劃分為測(cè)試需求分析策劃和設(shè)計(jì)、測(cè)試執(zhí)行以及測(cè)試總結(jié)的步驟開(kāi)展。但在測(cè)試需求分析策劃和設(shè)計(jì)階段,利用同譜系雷達(dá)軟件相似性較大的特點(diǎn),根據(jù)當(dāng)前產(chǎn)品需求,將測(cè)試項(xiàng)和測(cè)試用例大量的從歷史典型數(shù)據(jù)中復(fù)用。同時(shí),在測(cè)試執(zhí)行過(guò)程中采用擴(kuò)展的探索式測(cè)試方法,通過(guò)基于會(huì)話方式開(kāi)展,會(huì)話執(zhí)行時(shí)借助漫游測(cè)試法[2]探索軟件特性,并根據(jù)實(shí)際情況補(bǔ)充調(diào)整測(cè)試用例。測(cè)試總結(jié)報(bào)告借助會(huì)話記錄單進(jìn)行整理,并將本產(chǎn)品測(cè)試數(shù)據(jù)重新整理后納入復(fù)用庫(kù)。具體包含以下步驟:

    圖2 腳本會(huì)話測(cè)試模型流程框架

    1) 測(cè)試需求分析、策劃和設(shè)計(jì)階段:借助測(cè)試設(shè)計(jì)輔助工具從雷達(dá)軟件測(cè)試典型數(shù)據(jù)復(fù)用庫(kù)復(fù)用測(cè)試項(xiàng)和用例,降低對(duì)軟件需求和設(shè)計(jì)文檔的依賴,初步完成測(cè)試需求的提取和測(cè)試用例的設(shè)計(jì),產(chǎn)生第一版測(cè)試需求規(guī)格說(shuō)明、測(cè)試計(jì)劃和測(cè)試說(shuō)明文檔。

    2) 測(cè)試執(zhí)行階段:測(cè)試執(zhí)行以基于會(huì)話的方式開(kāi)展,并對(duì)一般會(huì)話進(jìn)行擴(kuò)展。根據(jù)測(cè)試設(shè)計(jì)和計(jì)劃,確定每個(gè)會(huì)話的主旨、用例和測(cè)試方法。測(cè)試人員在每一次會(huì)話中,根據(jù)設(shè)計(jì)階段確定的漫游策略,針對(duì)一個(gè)測(cè)試項(xiàng)進(jìn)行“探索”,補(bǔ)充測(cè)試用例。測(cè)試人員在會(huì)話結(jié)束后整理會(huì)話記錄單。根據(jù)本輪會(huì)話執(zhí)行情況,記錄缺陷、改善測(cè)試設(shè)計(jì),并準(zhǔn)備下一輪會(huì)話。如此迭代直到測(cè)試結(jié)束條件滿足,測(cè)試執(zhí)行結(jié)束。隨后更新測(cè)試需求規(guī)格說(shuō)明、測(cè)試計(jì)劃和測(cè)試說(shuō)明文檔。

    3) 測(cè)試總結(jié)階段:借助測(cè)試執(zhí)行中各個(gè)會(huì)話報(bào)告單,總結(jié)缺陷,產(chǎn)生測(cè)試報(bào)告;并對(duì)本產(chǎn)品測(cè)試數(shù)據(jù)進(jìn)行抽象和優(yōu)化,納入雷達(dá)軟件測(cè)試典型數(shù)據(jù)復(fù)用庫(kù)中。

    需要注意的是,由于雷達(dá)基本原理相同,并且同譜系不同雷達(dá)相似度較高,在測(cè)試需求分析、策劃和設(shè)計(jì)階段,即使軟件文檔不充分,雷達(dá)軟件測(cè)試人員依然可以根據(jù)經(jīng)驗(yàn)及測(cè)試典型數(shù)據(jù)復(fù)用庫(kù),完成初步的測(cè)試設(shè)計(jì)。在測(cè)試執(zhí)行階段,對(duì)于軟件文檔中未詳細(xì)說(shuō)明的產(chǎn)品新特性,可以借助漫游測(cè)試法[2]探索軟件特性,并結(jié)合用戶溝通和測(cè)試人員對(duì)各譜系雷達(dá)功能的經(jīng)驗(yàn),在測(cè)試中學(xué)習(xí)被測(cè)軟件、補(bǔ)充和優(yōu)化測(cè)試設(shè)計(jì)。

    3.2測(cè)試經(jīng)驗(yàn)的固化和利用

    探索式測(cè)試方法強(qiáng)調(diào)測(cè)試人員的經(jīng)驗(yàn)。由于歷史測(cè)試項(xiàng)目中的測(cè)試信息經(jīng)過(guò)了實(shí)際項(xiàng)目的檢驗(yàn),是重要的組織資產(chǎn),也是資深測(cè)試人員經(jīng)驗(yàn)的外在表現(xiàn)。測(cè)試復(fù)用是利用測(cè)試人員經(jīng)驗(yàn)的有效手段。

    不同雷達(dá)產(chǎn)品其基本工作原理都是相同的,雷達(dá)操控手操作方式接近,從而使得各個(gè)雷達(dá)系統(tǒng)軟件測(cè)試需求結(jié)構(gòu)相似,構(gòu)成了雷達(dá)軟件測(cè)試復(fù)用的基礎(chǔ)。通過(guò)分析,三年內(nèi)同譜系雷達(dá)各產(chǎn)品功能需求差異一般不超過(guò)25%;同時(shí),為保障技術(shù)穩(wěn)定性,各譜系內(nèi)部軟件繼承性較大,同譜系雷達(dá)軟件代碼復(fù)用率可達(dá)70%以上,部分較為成熟的產(chǎn)品其代碼復(fù)用率甚至可達(dá)到80%。因此,同譜系不同產(chǎn)品測(cè)試用例有較多可以復(fù)用。

    我們按照雷達(dá)產(chǎn)品類型,將歷史測(cè)試數(shù)據(jù)按照產(chǎn)品類型進(jìn)行歸納和整理,形成雷達(dá)軟件測(cè)試典型數(shù)據(jù)復(fù)用庫(kù),從而降低軟件需求和設(shè)計(jì)文檔質(zhì)量以及測(cè)試人員的經(jīng)驗(yàn)和能力對(duì)雷達(dá)軟件測(cè)試設(shè)計(jì)質(zhì)量的影響。復(fù)用庫(kù)的整理遵照如圖3的流程:首先,對(duì)各產(chǎn)品測(cè)試項(xiàng)目進(jìn)行抽象,取出產(chǎn)品具體指標(biāo)和操作特征;其次,提取同類產(chǎn)品測(cè)試數(shù)據(jù)的相似性,合并各產(chǎn)品測(cè)試需求和測(cè)試用例;然后,補(bǔ)充各產(chǎn)品特性測(cè)試數(shù)據(jù);最后,去除冗余并規(guī)范文字描述。當(dāng)新產(chǎn)品測(cè)試結(jié)束后,新產(chǎn)品的測(cè)試數(shù)據(jù)再次進(jìn)行抽象,并按照上述相似的過(guò)程,納入復(fù)用庫(kù)中,為下次復(fù)用做準(zhǔn)備。在從測(cè)試復(fù)用庫(kù)中復(fù)用測(cè)試數(shù)據(jù)時(shí),需要根據(jù)產(chǎn)品特性補(bǔ)充產(chǎn)品具體信息。由于雷達(dá)對(duì)外數(shù)據(jù)交互依據(jù)通用軍/民用標(biāo)準(zhǔn),數(shù)據(jù)報(bào)文格式已經(jīng)標(biāo)準(zhǔn)化。因此,復(fù)用庫(kù)在整理時(shí)只需對(duì)具體數(shù)值進(jìn)行“參數(shù)化”,并在復(fù)用時(shí)根據(jù)具體產(chǎn)品坐標(biāo)、范圍、頻段等信息,對(duì)復(fù)用庫(kù)測(cè)試用例中的“參數(shù)”進(jìn)行實(shí)例化。

    圖3 測(cè)試典型數(shù)據(jù)復(fù)用庫(kù)整理流程

    由于各類型雷達(dá)軟件測(cè)試典型數(shù)據(jù)復(fù)用庫(kù)信息量大,從復(fù)用庫(kù)中提取必要的測(cè)試數(shù)據(jù)需要借助計(jì)算機(jī)工具輔助。我們開(kāi)發(fā)了基于復(fù)用的測(cè)試設(shè)計(jì)輔助工具,以幫助測(cè)試人員從復(fù)用庫(kù)中查詢和復(fù)用相關(guān)測(cè)試項(xiàng)和測(cè)試用例。測(cè)試人員可根據(jù)具體產(chǎn)品特性,復(fù)用的測(cè)試用例進(jìn)行修改和編輯,添加和補(bǔ)充具體數(shù)值和信息,完成對(duì)復(fù)用測(cè)試用例的實(shí)例化。

    3.3基于會(huì)話的測(cè)試執(zhí)行

    探索式測(cè)試需要在良好管理下才能發(fā)揮效果?;跁?huì)話的測(cè)試管理(SBTM),是探索式測(cè)試領(lǐng)域中最常用的管理實(shí)踐[1]。腳本會(huì)話測(cè)試模型中,針對(duì)雷達(dá)軟件測(cè)試的特性,參考TBTM和文獻(xiàn)[13],對(duì)會(huì)話進(jìn)行了擴(kuò)展,包含以下六點(diǎn):

    1)主旨(charter):測(cè)試項(xiàng)(對(duì)應(yīng)一個(gè)測(cè)試需求)。

    2)人員:一個(gè)會(huì)話指定一個(gè)測(cè)試人員。

    3)優(yōu)先級(jí):根據(jù)會(huì)話主旨對(duì)應(yīng)的軟件特性的重要性級(jí)別確定。

    4)先決條件:對(duì)測(cè)試環(huán)境和待測(cè)軟件的要求。

    5)測(cè)試方法:測(cè)試用例集和漫游測(cè)試方法。

    6)會(huì)話記錄單(session sheet)。

    其中,會(huì)話記錄單記錄了會(huì)話的執(zhí)行信息:主旨、測(cè)試人、優(yōu)先級(jí)、實(shí)際用時(shí)(包括會(huì)話準(zhǔn)備時(shí)間、會(huì)話執(zhí)行時(shí)間、缺陷發(fā)現(xiàn)和報(bào)告時(shí)間)、測(cè)試用例集的實(shí)際執(zhí)行情況(包括測(cè)試用例是否通過(guò)、實(shí)際執(zhí)行截圖等信息)、發(fā)現(xiàn)的缺陷(包括缺陷嚴(yán)重程度、缺陷關(guān)聯(lián)用例)、遇到的問(wèn)題(包括可能解決方法)、對(duì)其他會(huì)話和后續(xù)測(cè)試的影響和注釋等。

    傳統(tǒng)會(huì)話機(jī)制中,每個(gè)會(huì)話關(guān)注一個(gè)軟件功能點(diǎn)[1];而我們提出的擴(kuò)展會(huì)話中一個(gè)會(huì)話則關(guān)注軟件功能點(diǎn)分解出的測(cè)試項(xiàng),會(huì)話粒度更細(xì),執(zhí)行時(shí)間更短,對(duì)測(cè)試資源需求更少。同時(shí),擴(kuò)展會(huì)話引入了測(cè)試優(yōu)先級(jí)和先決條件等信息,測(cè)試負(fù)責(zé)人和測(cè)試工程師可根據(jù)實(shí)際情況快速調(diào)整測(cè)試資源的分配,并將傳統(tǒng)會(huì)話關(guān)注時(shí)間因素轉(zhuǎn)移為關(guān)注待測(cè)試的具體問(wèn)題。

    測(cè)試執(zhí)行管理模型,如圖4所示。測(cè)試負(fù)責(zé)人在測(cè)試開(kāi)始時(shí)初始化各個(gè)會(huì)話,并分配測(cè)試任務(wù)。測(cè)試執(zhí)行過(guò)程分為若干輪進(jìn)行,每輪為一天。每輪執(zhí)行中,測(cè)試負(fù)責(zé)人選定本輪要進(jìn)行的會(huì)話,并跟蹤測(cè)試人員的會(huì)話執(zhí)行。測(cè)試人員在每個(gè)會(huì)話中按照預(yù)先指定的測(cè)試方法探索被測(cè)軟件,并將執(zhí)行過(guò)程記錄在會(huì)話記錄單中;同時(shí)分析當(dāng)前會(huì)話是否對(duì)后續(xù)的其他會(huì)話的影響,例如,是否需要修正后續(xù)某會(huì)話的主旨或會(huì)話劃分應(yīng)重新制定。在本輪會(huì)話執(zhí)行結(jié)束后,測(cè)試負(fù)責(zé)人召集會(huì)話總結(jié)會(huì),測(cè)試人員匯報(bào)測(cè)試執(zhí)行情況并記錄缺陷,測(cè)試負(fù)責(zé)人評(píng)審會(huì)話記錄單和測(cè)試結(jié)果。根據(jù)測(cè)試情況反饋判定測(cè)試是否達(dá)到預(yù)定結(jié)束條件:若是,則進(jìn)入測(cè)試總結(jié)階段;否則,修改完善測(cè)試設(shè)計(jì)和會(huì)話,開(kāi)始下一輪測(cè)試。

    圖4 基于會(huì)話的測(cè)試流程

    探索式測(cè)試對(duì)測(cè)試人員創(chuàng)造性的發(fā)揮主要體現(xiàn)在腳本會(huì)話測(cè)試模型中的測(cè)試執(zhí)行階段。測(cè)試人員借助對(duì)被測(cè)雷達(dá)產(chǎn)品軟件的經(jīng)驗(yàn),充分發(fā)揮其創(chuàng)造性,分析被測(cè)軟件特性,借助啟發(fā)式方法,根據(jù)被測(cè)軟件實(shí)際實(shí)例化測(cè)試用例,同時(shí)補(bǔ)充測(cè)試用例,對(duì)軟件進(jìn)行深度測(cè)試。為了有效管理測(cè)試執(zhí)行過(guò)程,提高會(huì)話效率,每輪會(huì)話開(kāi)始之前,測(cè)試團(tuán)隊(duì)針對(duì)各會(huì)話對(duì)應(yīng)測(cè)試項(xiàng)的特性,為各會(huì)話選定若干漫游方法。

    漫游探索法是對(duì)測(cè)試人員在進(jìn)行整體測(cè)試時(shí)最常使用的啟發(fā)式方法的總結(jié),包括以下六類:

    1)商業(yè)區(qū)漫游。關(guān)注測(cè)試用戶使用軟件主要特性,包括指南測(cè)試、賣(mài)點(diǎn)測(cè)試、地標(biāo)測(cè)試、極限測(cè)試、快遞測(cè)試、深夜測(cè)試和垃圾車(chē)測(cè)試等方法。

    2)歷史區(qū)漫游。關(guān)注測(cè)試遺留組件,包括近鄰測(cè)試、博物館測(cè)試、上一版測(cè)試等方法。

    3)娛樂(lè)區(qū)漫游。關(guān)注測(cè)試輔助功能,包括配角測(cè)試、深巷測(cè)試、通宵測(cè)試等方法。

    4)旅游區(qū)漫游。通過(guò)遍歷軟件各項(xiàng)功能進(jìn)行測(cè)試,包括收藏家測(cè)試、長(zhǎng)路徑測(cè)試、超模測(cè)試、多拷貝測(cè)試、偏遠(yuǎn)酒吧測(cè)試等方法。

    5)旅館區(qū)漫游。關(guān)注常被忽視或次要的功能測(cè)試,包括取消測(cè)試、懶漢測(cè)試等方法。

    6)破舊區(qū)漫游。嘗試惡意甚至有害操作進(jìn)行測(cè)試,包括破壞測(cè)試、反叛測(cè)試、強(qiáng)迫癥測(cè)試等方法,詳見(jiàn)文獻(xiàn)[2]。

    測(cè)試人員在會(huì)話執(zhí)行中,依據(jù)測(cè)試用例和指定漫游方法,測(cè)試被測(cè)軟件,并根據(jù)實(shí)際測(cè)試情況反饋補(bǔ)充測(cè)試用例。

    根據(jù)我們的調(diào)研和試驗(yàn),建議雷達(dá)軟件測(cè)試時(shí)優(yōu)先選擇指南測(cè)試、極限測(cè)試、取消測(cè)試、懶漢測(cè)試、破壞測(cè)試和強(qiáng)迫癥測(cè)試。在具有用戶手冊(cè)等文檔時(shí),選用賣(mài)點(diǎn)測(cè)試、地標(biāo)測(cè)試;在已知某模塊問(wèn)題較多時(shí),使用近鄰測(cè)試;在需要涉及系統(tǒng)啟動(dòng)關(guān)閉、長(zhǎng)時(shí)間運(yùn)行的情況下,采用通宵測(cè)試、深夜測(cè)試等方法。

    3.4實(shí)驗(yàn)結(jié)果

    為了驗(yàn)證腳本會(huì)話模型,我們將腳本會(huì)話測(cè)試模型在測(cè)控類雷達(dá)軟件測(cè)試項(xiàng)目中進(jìn)行實(shí)驗(yàn)。測(cè)控類雷達(dá)軟件研制過(guò)程較為穩(wěn)定,適合在實(shí)驗(yàn)中開(kāi)展對(duì)照。此外,測(cè)控類雷達(dá)產(chǎn)品研制任務(wù)增長(zhǎng)多(2013~2015年該譜系新增產(chǎn)品數(shù)占新增產(chǎn)品總數(shù)的33%),測(cè)試資源較為緊張,需要運(yùn)用腳本會(huì)話模型。目前測(cè)控類雷達(dá)軟件測(cè)試典型數(shù)據(jù)復(fù)用庫(kù)已完成整理。從近3年5個(gè)項(xiàng)目全部1 062個(gè)測(cè)試項(xiàng)和6 432個(gè)測(cè)試用例中,經(jīng)過(guò)篩選、合并和抽象化,共收錄了828個(gè)測(cè)試項(xiàng)和3 413個(gè)測(cè)試用例。經(jīng)驗(yàn)和積累適合于應(yīng)用腳本會(huì)話模型。

    實(shí)驗(yàn)在近期開(kāi)展的測(cè)控類雷達(dá)軟件測(cè)試項(xiàng)目中隨機(jī)選擇了三個(gè)項(xiàng)目的軟件系統(tǒng)測(cè)試上開(kāi)展。在測(cè)試之前對(duì)這3個(gè)項(xiàng)目的軟件文檔編寫(xiě)、研發(fā)和第三方測(cè)試過(guò)程中均未做新的要求或進(jìn)行干預(yù),程序及文檔的質(zhì)量與歷史項(xiàng)目水平相近。實(shí)驗(yàn)中,測(cè)試人員在設(shè)計(jì)階段通過(guò)從復(fù)用庫(kù)中復(fù)用測(cè)試用例,執(zhí)行階段運(yùn)用漫游探索法開(kāi)展探索式測(cè)試執(zhí)行并記錄會(huì)話記錄單輔助測(cè)試總結(jié)。實(shí)驗(yàn)統(tǒng)計(jì)了運(yùn)用本文提出的腳本會(huì)話測(cè)試模型時(shí)測(cè)試時(shí)間和缺陷數(shù)量,包括遺留到第三方測(cè)試時(shí)才發(fā)現(xiàn)的缺陷數(shù)量。

    試點(diǎn)結(jié)果統(tǒng)計(jì)數(shù)據(jù),如表1所示(項(xiàng)目名稱和代號(hào)未顯示)。這三個(gè)項(xiàng)目的測(cè)試用例平均復(fù)用率約為72%。結(jié)果顯示,借助雷達(dá)軟件測(cè)試典型數(shù)據(jù)復(fù)用以實(shí)現(xiàn)將測(cè)試人員經(jīng)驗(yàn)運(yùn)用于軟件測(cè)試設(shè)計(jì)中,相比采用傳統(tǒng)腳本測(cè)試方法的平均用時(shí),整個(gè)測(cè)試流程總共節(jié)省時(shí)間約30%;尤其是對(duì)于雷達(dá)產(chǎn)品測(cè)試設(shè)計(jì),平均每個(gè)用例的設(shè)計(jì)時(shí)間可以節(jié)省約45%左右。通過(guò)測(cè)試復(fù)用,還可以減少用于溝通和軟件文檔更新的時(shí)間。此外,借助會(huì)話記錄和各輪會(huì)話對(duì)測(cè)試活動(dòng)的反饋,測(cè)試執(zhí)行階段測(cè)試過(guò)程記錄更為詳細(xì)、測(cè)試人員對(duì)軟件及缺陷的理解更為清晰,測(cè)試總結(jié)中與用戶/開(kāi)發(fā)方的缺陷交流時(shí)間和測(cè)試報(bào)告編寫(xiě)時(shí)間下降,按照缺陷數(shù)量平均,測(cè)試總結(jié)階段節(jié)省時(shí)間14%左右。同時(shí),遺留到第三方測(cè)試才發(fā)現(xiàn)的缺陷個(gè)數(shù)比歷史平均下降,遺留缺陷率由19%左右下降到8%(三項(xiàng)目平均),驗(yàn)證了軟件測(cè)試質(zhì)量的提升。但需要注意,由于腳本會(huì)話模型中測(cè)試執(zhí)行需要增加會(huì)話總結(jié)會(huì)和討論,平均每個(gè)用例的測(cè)試執(zhí)行時(shí)間增加了約9%(項(xiàng)目A和項(xiàng)目B平均)。

    表1腳本會(huì)話測(cè)試模型試點(diǎn)統(tǒng)計(jì)h

    項(xiàng)目測(cè)試用例個(gè)數(shù)測(cè)試設(shè)計(jì)耗時(shí)測(cè)試執(zhí)行耗時(shí)測(cè)試總結(jié)耗時(shí)發(fā)現(xiàn)的缺陷數(shù)遺留缺陷數(shù)歷史平均128777225713013025項(xiàng)目A114529025611013812項(xiàng)目B13793193171231459項(xiàng)目C12042882651081358

    鑒于不同類型的產(chǎn)品歷史數(shù)據(jù)積累充分程度不同,并考慮產(chǎn)品的發(fā)展和我們預(yù)期,在保證測(cè)試質(zhì)量的同時(shí),應(yīng)用腳本會(huì)話測(cè)試模型,能夠節(jié)省雷達(dá)軟件測(cè)試整個(gè)流程20%~30%的時(shí)間開(kāi)銷(xiāo),其中測(cè)試需求分析、策劃和測(cè)試設(shè)計(jì)階段節(jié)省用時(shí)可達(dá)40%~50%。但同時(shí)需要注意控制會(huì)話總結(jié)和討論對(duì)測(cè)試時(shí)間開(kāi)銷(xiāo)的影響。

    4 結(jié)束語(yǔ)

    腳本會(huì)話模型將探索式測(cè)試方法與傳統(tǒng)的腳本測(cè)試流程結(jié)合。在雷達(dá)軟件測(cè)試時(shí)間短、任務(wù)重以及軟件需求和設(shè)計(jì)文檔往往滯后或不完備的情況下,在保證測(cè)試質(zhì)量的同時(shí),能夠縮短測(cè)試時(shí)間,產(chǎn)生齊備的軟件測(cè)試文檔,并確保測(cè)試流程可控。

    在今后的工作中,我們會(huì)將腳本會(huì)話測(cè)試應(yīng)用在更多雷達(dá)產(chǎn)品軟件測(cè)試中,并繼續(xù)整理其它類型雷達(dá)軟件測(cè)試典型數(shù)據(jù)復(fù)用庫(kù)。同時(shí)也將通過(guò)實(shí)際工程試用,不斷改進(jìn)相關(guān)的測(cè)試管理方法和測(cè)試技術(shù)。

    [1]BACH J. Session-based test management[J]. Software Testing and Quality Engineering, 2000, 2(6): 1-10.

    [2]WHITTAKER J A. 探索式軟件測(cè)試[M]. 北京: 清華大學(xué)出版社, 2010.

    WHITTAKER J A. Exploratory testing[M]. Beijing: Tsinghua University Press, 2010.

    [3]孫俊若, 席曉強(qiáng), 葉波, 等. 記載雷達(dá)軟件開(kāi)發(fā)全周期測(cè)試技術(shù)研究[J]. 現(xiàn)代雷達(dá), 2010, 32(1): 85-89.

    SUN Junruo, XI Xiaoqiang, YE Bo, et al. A study on whole cycle test technology in airborne radar sofware development[J]. Modern Radar, 2010, 32(1): 85-89.

    [4]李昊. 雷達(dá)軟件測(cè)試用例復(fù)用技術(shù)研究[J]. 現(xiàn)代雷達(dá), 2012, 34(3): 78-82.

    LI Hao. A study on the resuse of radar software testing cases[J]. Modern Radar, 2012, 34(3): 78-82.

    [5]NASEER A, ZULFIQAR M. Investigating exploratory testing in industrial practice[D]. Ronneby: Blekinge Institute of Technology, 2010.

    [6]ITKONEN J, RAUTIAINEN K. Exploratory testing: a multiple case study[C]// 2005 International Symposium on Empirical Software Engineering. Los Alamitos: IEEE Press, 2005: 82-91.

    [7]ITKONEN J, MANTYLA M V, LASSENIUS C. How do testers do it? An exploratory study on manual testing practices[C]// 2009 3rd International Symposium on Empirical Software Engineering and Measurement. Washington DC: IEEE Press, 2009: 494-497.

    [8]KANER C, FALK J, NGUYEN H Q. Testing computer software second edition[M]. [S.l.]: Dreamtech Press, 2000.

    [9]ITKONEN J, MANTYLA M V, LASSENIUS C. Defect detection efficiency: test case based vs. exploratory testing[C]// Proceedings of International Symposium on Empirical Software Engineering and Measurement. Madrid: IEEE Press, 61-70.

    [10]柳溪. 探索性軟件測(cè)試方法及其在嵌入式系統(tǒng)中的應(yīng)用[J]. 現(xiàn)代電子技術(shù), 2014, 37(20): 74-79.

    LIU Xi. Exploratory software testing approaches and their application in embedded systems[J]. Modern Electronics Technique, 2014,37(20): 74-79.

    [11]柳溪, 馬康, 劉智. 融合探索性與腳本方法的第三方軟件測(cè)試模型及其應(yīng)用[J]. 信息化研究, 2013,39(6): 43-48.

    LIU Xi, MA Kang, LIU Zhi. Research and application of the third-party software testing model combining exploratory and script testing techiques[J]. Information Research, 2013,39(6): 43-48.

    [12]HELLMANN T D, MAURER F. Rule-based exploratory testing of graphical user interfaces[C]// Proceedings of Agile Conference.[S.l.] : IEEE Press, 2011:107-116.

    [13]LYNDSAY J V, EEDEN N. Adventures in session-based testing[J]. Workroom Productions Ltd., 2003,27(5): 1-17.

    柳溪男,1984年生,工程師,工學(xué)博士。研究方向?yàn)檐浖こ?、嵌入式和信息系統(tǒng)軟件的測(cè)試自動(dòng)化、基于模型的測(cè)試和驗(yàn)證、安全性和可靠性測(cè)試和驗(yàn)證等。

    Application of Exploratory Testing on Radar Software

    LIU Xi

    (Nanjing Research Institute of Electronics Technology, Nanjing 210039, China)

    Radar software testing suffers from insufficient time allocation and incomplete or out-of-date software specifications. In such case, exploratory testing can help to achieve more adaptive and efficient testing, because it emphasizes parallel testing design and execution, and lowers the requirement on software specifications. It is an interesting question how to incorporate exploratory testing techniques into radar software testing. According to the pros and cons of exploratory testing and classical script software testing approach, the session-script testing model is proposed which combines sessions and test tours with classical script testing process. By reusing from past radar software testing design, and incorporating sessions and test tours in classic software testing process, current testing project may take advantage of expert radar software testers' experience and organization assets, and there is less affect from software specifications to software testing quality. As a result, high quality radar software testing becomes more adaptive and efficient.

    software testing; radar; exploratory testing; session-based testing management; test reuse

    10.16592/ j.cnki.1004-7859.2016.09.018

    柳溪Email:williamxliu@qq.com

    2016-04-26

    2016-06-28

    TP311.5

    A

    1004-7859(2016)09-0086-06

    猜你喜歡
    測(cè)試人員會(huì)話測(cè)試用例
    移動(dòng)應(yīng)用眾包測(cè)試人員信譽(yù)度復(fù)合計(jì)算模型研究
    基于SmartUnit的安全通信系統(tǒng)單元測(cè)試用例自動(dòng)生成
    基于混合遺傳算法的回歸測(cè)試用例集最小化研究
    高校分析測(cè)試中心測(cè)試隊(duì)伍建設(shè)方案初探
    山東化工(2018年20期)2018-04-02 16:30:53
    淺析軟件測(cè)試中的心理學(xué)應(yīng)用
    有意冒犯性言語(yǔ)的會(huì)話含義分析
    漢語(yǔ)教材中的會(huì)話結(jié)構(gòu)特征及其語(yǔ)用功能呈現(xiàn)——基于85個(gè)會(huì)話片段的個(gè)案研究
    基于依賴結(jié)構(gòu)的測(cè)試用例優(yōu)先級(jí)技術(shù)
    沖突語(yǔ)的會(huì)話分析研究
    對(duì)外漢語(yǔ)課堂英語(yǔ)通用語(yǔ)的會(huì)話調(diào)整功能
    妹子高潮喷水视频| 天天添夜夜摸| 久久ye,这里只有精品| 最新的欧美精品一区二区| 国产在线视频一区二区| 欧美亚洲 丝袜 人妻 在线| 99国产精品一区二区三区| 五月开心婷婷网| 伦理电影免费视频| 你懂的网址亚洲精品在线观看| 男男h啪啪无遮挡| 大陆偷拍与自拍| 黑人巨大精品欧美一区二区蜜桃| xxxhd国产人妻xxx| 高清黄色对白视频在线免费看| 欧美日韩亚洲高清精品| 超色免费av| 国产在线视频一区二区| 国产爽快片一区二区三区| 国产麻豆69| 韩国精品一区二区三区| 韩国高清视频一区二区三区| www日本在线高清视频| 十八禁人妻一区二区| 人体艺术视频欧美日本| 精品视频人人做人人爽| 一区二区三区四区激情视频| 99香蕉大伊视频| 国产精品一区二区在线观看99| 久热爱精品视频在线9| 成年美女黄网站色视频大全免费| 亚洲欧美一区二区三区久久| 国产精品秋霞免费鲁丝片| 一级毛片黄色毛片免费观看视频| 在线 av 中文字幕| 女人精品久久久久毛片| 波野结衣二区三区在线| 免费观看av网站的网址| 香蕉国产在线看| 男人爽女人下面视频在线观看| 在线观看免费午夜福利视频| 欧美精品一区二区免费开放| 免费观看人在逋| 人妻一区二区av| 高清视频免费观看一区二区| 亚洲第一青青草原| 尾随美女入室| 成人亚洲精品一区在线观看| 久久国产精品大桥未久av| 成年动漫av网址| 伊人久久大香线蕉亚洲五| 欧美日韩亚洲高清精品| 国产高清视频在线播放一区 | 欧美激情 高清一区二区三区| 国产一区有黄有色的免费视频| 青春草视频在线免费观看| 国产亚洲精品第一综合不卡| 国产精品一二三区在线看| 亚洲av综合色区一区| 午夜激情av网站| 一级a爱视频在线免费观看| 亚洲精品久久午夜乱码| 日本猛色少妇xxxxx猛交久久| 最黄视频免费看| 国产精品二区激情视频| 亚洲伊人色综图| 欧美日韩亚洲高清精品| 黄色 视频免费看| 亚洲精品在线美女| 国产免费一区二区三区四区乱码| 亚洲国产av影院在线观看| 在线观看免费日韩欧美大片| 国产国语露脸激情在线看| 少妇人妻久久综合中文| 日韩av在线免费看完整版不卡| 一级毛片黄色毛片免费观看视频| 最近中文字幕2019免费版| 国产女主播在线喷水免费视频网站| 波多野结衣av一区二区av| 亚洲中文字幕日韩| 黄网站色视频无遮挡免费观看| 亚洲五月色婷婷综合| 午夜精品国产一区二区电影| 十八禁高潮呻吟视频| 日韩电影二区| 天天添夜夜摸| 后天国语完整版免费观看| 亚洲av成人精品一二三区| 欧美在线一区亚洲| 国产真人三级小视频在线观看| 高清视频免费观看一区二区| 在线看a的网站| 精品久久久久久电影网| 日日夜夜操网爽| 一边摸一边做爽爽视频免费| 少妇精品久久久久久久| 在线天堂中文资源库| 久久99一区二区三区| 国产一区二区三区av在线| 久久这里只有精品19| 我的亚洲天堂| 亚洲欧美精品综合一区二区三区| 日韩欧美一区视频在线观看| 亚洲黑人精品在线| 人人妻人人澡人人看| 我的亚洲天堂| 亚洲精品成人av观看孕妇| 成年av动漫网址| 日韩,欧美,国产一区二区三区| 亚洲一区二区三区欧美精品| 亚洲成国产人片在线观看| 黄色a级毛片大全视频| 手机成人av网站| 国产精品久久久久久精品古装| 国产精品久久久av美女十八| 波野结衣二区三区在线| 日韩av不卡免费在线播放| 国产成人欧美在线观看 | 高清av免费在线| 亚洲,一卡二卡三卡| 亚洲欧美一区二区三区久久| 18禁观看日本| 捣出白浆h1v1| 汤姆久久久久久久影院中文字幕| 十分钟在线观看高清视频www| 99久久99久久久精品蜜桃| 晚上一个人看的免费电影| 精品人妻熟女毛片av久久网站| 男女免费视频国产| 菩萨蛮人人尽说江南好唐韦庄| 日日摸夜夜添夜夜爱| 大片免费播放器 马上看| 一边摸一边做爽爽视频免费| 91成人精品电影| 亚洲第一青青草原| 精品久久久久久久毛片微露脸 | 亚洲精品一区蜜桃| 19禁男女啪啪无遮挡网站| 国产女主播在线喷水免费视频网站| 波多野结衣一区麻豆| 欧美精品av麻豆av| 亚洲欧美清纯卡通| 亚洲精品国产av蜜桃| 亚洲av美国av| 久久久久久久久久久久大奶| 大片电影免费在线观看免费| 我要看黄色一级片免费的| 9热在线视频观看99| 亚洲专区中文字幕在线| 九色亚洲精品在线播放| 亚洲精品国产av蜜桃| 国产真人三级小视频在线观看| 韩国精品一区二区三区| 亚洲国产日韩一区二区| 黄色视频不卡| 高清视频免费观看一区二区| 免费看十八禁软件| 国产精品亚洲av一区麻豆| 纵有疾风起免费观看全集完整版| 欧美激情 高清一区二区三区| 捣出白浆h1v1| 久久精品国产亚洲av高清一级| 免费看十八禁软件| www.精华液| 精品卡一卡二卡四卡免费| 99久久综合免费| 国产精品熟女久久久久浪| 午夜91福利影院| 午夜日韩欧美国产| 手机成人av网站| 777久久人妻少妇嫩草av网站| 9色porny在线观看| 人妻人人澡人人爽人人| www日本在线高清视频| 欧美另类一区| 日韩一卡2卡3卡4卡2021年| 99热国产这里只有精品6| 这个男人来自地球电影免费观看| a级毛片在线看网站| 久久中文字幕一级| 人成视频在线观看免费观看| 国产精品久久久久久人妻精品电影 | 男女国产视频网站| 亚洲伊人久久精品综合| 欧美精品av麻豆av| 亚洲国产欧美网| 五月天丁香电影| 建设人人有责人人尽责人人享有的| 在线观看人妻少妇| 午夜福利,免费看| 午夜福利乱码中文字幕| 人人妻人人爽人人添夜夜欢视频| 老汉色av国产亚洲站长工具| 国产免费现黄频在线看| 1024香蕉在线观看| 在线观看免费视频网站a站| 亚洲欧美色中文字幕在线| 狠狠精品人妻久久久久久综合| 大片电影免费在线观看免费| 亚洲欧美日韩高清在线视频 | 少妇被粗大的猛进出69影院| 精品福利永久在线观看| 18禁黄网站禁片午夜丰满| 午夜免费鲁丝| 国产成人欧美| 99re6热这里在线精品视频| 中国美女看黄片| 熟女少妇亚洲综合色aaa.| 夜夜骑夜夜射夜夜干| av线在线观看网站| 国产精品.久久久| 国产麻豆69| 91精品伊人久久大香线蕉| 黄色视频在线播放观看不卡| 日韩一区二区三区影片| 国产主播在线观看一区二区 | av网站在线播放免费| 亚洲中文日韩欧美视频| 亚洲中文字幕日韩| 日韩电影二区| 亚洲国产毛片av蜜桃av| 黄色视频不卡| 国产免费福利视频在线观看| 又大又爽又粗| 成年女人毛片免费观看观看9 | 狂野欧美激情性xxxx| 亚洲欧美日韩高清在线视频 | 午夜免费观看性视频| 麻豆乱淫一区二区| 免费观看a级毛片全部| 久久综合国产亚洲精品| 亚洲精品久久午夜乱码| 黄色毛片三级朝国网站| 亚洲欧美清纯卡通| 国产视频一区二区在线看| 久久久久国产精品人妻一区二区| 高清欧美精品videossex| 九色亚洲精品在线播放| 好男人电影高清在线观看| 国产欧美日韩精品亚洲av| 久久久久久久久久久久大奶| 别揉我奶头~嗯~啊~动态视频 | 大香蕉久久网| 宅男免费午夜| 岛国毛片在线播放| 精品免费久久久久久久清纯 | 久久鲁丝午夜福利片| 人人妻人人澡人人爽人人夜夜| 欧美精品一区二区大全| 视频在线观看一区二区三区| 国产熟女午夜一区二区三区| 99久久精品国产亚洲精品| 午夜久久久在线观看| 午夜免费鲁丝| 99国产精品一区二区三区| 日韩中文字幕欧美一区二区 | 91麻豆av在线| 国产精品一区二区免费欧美 | 不卡av一区二区三区| 91字幕亚洲| 日本黄色日本黄色录像| 一级片免费观看大全| 成人三级做爰电影| 国产片特级美女逼逼视频| 欧美av亚洲av综合av国产av| 五月开心婷婷网| 波多野结衣一区麻豆| 视频区图区小说| 一区二区av电影网| 脱女人内裤的视频| 欧美 亚洲 国产 日韩一| 18禁观看日本| 捣出白浆h1v1| 亚洲熟女精品中文字幕| 搡老乐熟女国产| 男人爽女人下面视频在线观看| 男女午夜视频在线观看| 免费高清在线观看日韩| 18禁黄网站禁片午夜丰满| 亚洲成人手机| 精品人妻一区二区三区麻豆| 国产精品九九99| 各种免费的搞黄视频| 久久 成人 亚洲| 女人被躁到高潮嗷嗷叫费观| 女人久久www免费人成看片| 欧美日韩福利视频一区二区| 9191精品国产免费久久| 乱人伦中国视频| 大香蕉久久网| 国产极品粉嫩免费观看在线| 成人18禁高潮啪啪吃奶动态图| 亚洲av综合色区一区| 99re6热这里在线精品视频| 国产精品偷伦视频观看了| 欧美国产精品一级二级三级| 欧美精品啪啪一区二区三区 | 免费不卡黄色视频| 精品一区二区三区av网在线观看 | 九草在线视频观看| 99热网站在线观看| 在现免费观看毛片| 18禁观看日本| 色94色欧美一区二区| 亚洲欧美成人综合另类久久久| 啦啦啦在线免费观看视频4| 久久久久久久大尺度免费视频| 午夜福利,免费看| 一级,二级,三级黄色视频| 久久这里只有精品19| 我的亚洲天堂| 午夜视频精品福利| 人人妻人人澡人人爽人人夜夜| 首页视频小说图片口味搜索 | 欧美日韩综合久久久久久| 99热国产这里只有精品6| 亚洲精品久久午夜乱码| 亚洲国产成人一精品久久久| 国产精品香港三级国产av潘金莲 | 免费在线观看日本一区| 欧美 亚洲 国产 日韩一| 999精品在线视频| 赤兔流量卡办理| 国产黄色免费在线视频| 男女高潮啪啪啪动态图| 黄网站色视频无遮挡免费观看| 十八禁高潮呻吟视频| 欧美激情 高清一区二区三区| 99国产精品一区二区蜜桃av | 韩国高清视频一区二区三区| av欧美777| 美女大奶头黄色视频| av又黄又爽大尺度在线免费看| 一本久久精品| 男人添女人高潮全过程视频| 90打野战视频偷拍视频| 欧美日韩视频精品一区| 我的亚洲天堂| 国产日韩欧美亚洲二区| 伊人亚洲综合成人网| 国产一区二区 视频在线| 91字幕亚洲| 亚洲欧美精品自产自拍| 国产亚洲午夜精品一区二区久久| 色播在线永久视频| 国产欧美日韩一区二区三区在线| 九草在线视频观看| 亚洲欧美成人综合另类久久久| 咕卡用的链子| 考比视频在线观看| 美女大奶头黄色视频| 亚洲美女黄色视频免费看| 最新在线观看一区二区三区 | 黄网站色视频无遮挡免费观看| 国产视频一区二区在线看| 久久亚洲精品不卡| 青草久久国产| 99国产精品99久久久久| 精品少妇一区二区三区视频日本电影| 日本欧美视频一区| 亚洲国产欧美一区二区综合| av天堂久久9| 国产亚洲一区二区精品| 女性生殖器流出的白浆| 女人精品久久久久毛片| 一二三四在线观看免费中文在| 日韩,欧美,国产一区二区三区| 99热国产这里只有精品6| av国产久精品久网站免费入址| 亚洲精品在线美女| 搡老岳熟女国产| 亚洲人成77777在线视频| 国产精品 国内视频| 亚洲av男天堂| 国产人伦9x9x在线观看| 精品福利观看| 午夜福利,免费看| e午夜精品久久久久久久| 在线观看免费高清a一片| 亚洲国产欧美日韩在线播放| 亚洲精品久久成人aⅴ小说| 免费高清在线观看日韩| 久久久久精品国产欧美久久久 | 国产片内射在线| 侵犯人妻中文字幕一二三四区| 亚洲国产精品999| 亚洲欧洲国产日韩| 亚洲自偷自拍图片 自拍| 久久天堂一区二区三区四区| 美女主播在线视频| 在线观看免费高清a一片| 国产一区有黄有色的免费视频| 波多野结衣一区麻豆| 久久 成人 亚洲| 黑人巨大精品欧美一区二区蜜桃| 亚洲成色77777| 日本vs欧美在线观看视频| 国产精品久久久久成人av| 国产91精品成人一区二区三区 | 亚洲精品一卡2卡三卡4卡5卡 | 热re99久久精品国产66热6| 久久中文字幕一级| 多毛熟女@视频| 久久精品国产a三级三级三级| 精品免费久久久久久久清纯 | 日日夜夜操网爽| 亚洲国产成人一精品久久久| 国产伦人伦偷精品视频| 日韩大片免费观看网站| 亚洲中文字幕日韩| 岛国毛片在线播放| 亚洲欧洲日产国产| 欧美日韩亚洲高清精品| 成年美女黄网站色视频大全免费| 久久久久久久久免费视频了| 韩国精品一区二区三区| 精品国产一区二区三区久久久樱花| 人人妻人人澡人人看| 色婷婷久久久亚洲欧美| 高清视频免费观看一区二区| 日本wwww免费看| 欧美人与性动交α欧美软件| 一个人免费看片子| 只有这里有精品99| 丁香六月欧美| 新久久久久国产一级毛片| 黄频高清免费视频| 国产男女内射视频| 国产亚洲av高清不卡| 国产精品av久久久久免费| 高清av免费在线| 亚洲精品成人av观看孕妇| 国产91精品成人一区二区三区 | 一级黄色大片毛片| 亚洲,欧美,日韩| 色婷婷av一区二区三区视频| 国产免费一区二区三区四区乱码| 青春草视频在线免费观看| 大香蕉久久成人网| 午夜福利视频精品| 欧美精品高潮呻吟av久久| 后天国语完整版免费观看| 又黄又粗又硬又大视频| 国产主播在线观看一区二区 | 日韩一区二区三区影片| 啦啦啦 在线观看视频| 欧美日韩成人在线一区二区| 老司机深夜福利视频在线观看 | 久久久久精品人妻al黑| 少妇的丰满在线观看| 男女国产视频网站| 免费日韩欧美在线观看| 赤兔流量卡办理| 性少妇av在线| 国产成人欧美| 天天躁夜夜躁狠狠久久av| 国产高清国产精品国产三级| 亚洲欧美色中文字幕在线| 亚洲熟女精品中文字幕| 欧美精品啪啪一区二区三区 | 一级黄片播放器| 国产高清不卡午夜福利| 国产男女内射视频| 伊人久久大香线蕉亚洲五| 母亲3免费完整高清在线观看| 欧美日韩视频高清一区二区三区二| 亚洲国产毛片av蜜桃av| 成年人免费黄色播放视频| 久久久久视频综合| 亚洲熟女毛片儿| 五月开心婷婷网| 中文字幕最新亚洲高清| 亚洲欧美色中文字幕在线| 18在线观看网站| 色播在线永久视频| 尾随美女入室| 午夜老司机福利片| a级毛片黄视频| 久久女婷五月综合色啪小说| 国产片内射在线| 国产野战对白在线观看| 国产精品 国内视频| netflix在线观看网站| 亚洲,欧美精品.| 又粗又硬又长又爽又黄的视频| 丝袜在线中文字幕| 黄频高清免费视频| 热re99久久国产66热| 高清视频免费观看一区二区| 亚洲av男天堂| 国产无遮挡羞羞视频在线观看| 香蕉丝袜av| 脱女人内裤的视频| 午夜免费男女啪啪视频观看| 菩萨蛮人人尽说江南好唐韦庄| 在线 av 中文字幕| 精品国产乱码久久久久久男人| 91精品国产国语对白视频| 国产成人一区二区在线| 亚洲免费av在线视频| 妹子高潮喷水视频| 亚洲欧美一区二区三区黑人| 国产1区2区3区精品| 一区福利在线观看| 可以免费在线观看a视频的电影网站| 妹子高潮喷水视频| 青草久久国产| 在线观看www视频免费| 纵有疾风起免费观看全集完整版| 又黄又粗又硬又大视频| 久久鲁丝午夜福利片| 日本猛色少妇xxxxx猛交久久| 丁香六月天网| 黄色片一级片一级黄色片| 久久久久网色| 久久人妻福利社区极品人妻图片 | 免费少妇av软件| 国产成人一区二区三区免费视频网站 | 亚洲色图 男人天堂 中文字幕| 国产黄色视频一区二区在线观看| 黄色一级大片看看| 一级毛片电影观看| 精品一区二区三卡| 极品人妻少妇av视频| 少妇 在线观看| 成在线人永久免费视频| 国产av国产精品国产| 欧美黑人欧美精品刺激| 免费久久久久久久精品成人欧美视频| 精品国产超薄肉色丝袜足j| 大型av网站在线播放| av国产久精品久网站免费入址| 精品少妇黑人巨大在线播放| 狂野欧美激情性xxxx| 日韩制服丝袜自拍偷拍| 国产精品一国产av| 亚洲精品成人av观看孕妇| 国产有黄有色有爽视频| 亚洲成人手机| 国产在线视频一区二区| 黑人猛操日本美女一级片| 飞空精品影院首页| 亚洲黑人精品在线| 欧美 亚洲 国产 日韩一| videosex国产| 久久人人爽av亚洲精品天堂| 久久亚洲精品不卡| www.精华液| 精品视频人人做人人爽| 中文字幕人妻熟女乱码| 亚洲精品一卡2卡三卡4卡5卡 | 男人舔女人的私密视频| 在线观看免费日韩欧美大片| 777久久人妻少妇嫩草av网站| 欧美日韩亚洲综合一区二区三区_| 色视频在线一区二区三区| 考比视频在线观看| 欧美中文综合在线视频| 久久国产精品男人的天堂亚洲| 日本色播在线视频| 日韩中文字幕欧美一区二区 | 一本色道久久久久久精品综合| 欧美成人午夜精品| 免费观看人在逋| 欧美乱码精品一区二区三区| 高清视频免费观看一区二区| 日韩一卡2卡3卡4卡2021年| 在线观看www视频免费| 男女之事视频高清在线观看 | 亚洲欧洲精品一区二区精品久久久| 免费少妇av软件| 精品久久蜜臀av无| 91成人精品电影| 亚洲一区二区三区欧美精品| 777久久人妻少妇嫩草av网站| 久久精品国产亚洲av高清一级| 亚洲中文日韩欧美视频| 久久久亚洲精品成人影院| 精品卡一卡二卡四卡免费| 国产在线视频一区二区| 黑人猛操日本美女一级片| 国产在线观看jvid| 一本—道久久a久久精品蜜桃钙片| 中文字幕制服av| 国产精品国产三级专区第一集| 欧美国产精品va在线观看不卡| 久久人妻熟女aⅴ| 精品卡一卡二卡四卡免费| 国产在线视频一区二区| 一级毛片女人18水好多 | 日韩中文字幕视频在线看片| 国产日韩欧美亚洲二区| 极品人妻少妇av视频| 精品亚洲成国产av| 在线av久久热| 在线观看人妻少妇| 国产97色在线日韩免费| 精品人妻1区二区| 国产成人免费观看mmmm| 婷婷色av中文字幕| 亚洲精品自拍成人| 国产亚洲一区二区精品| 香蕉国产在线看| 丝袜在线中文字幕| 最黄视频免费看| 亚洲精品国产av蜜桃| 色精品久久人妻99蜜桃| 老司机亚洲免费影院| 满18在线观看网站| av不卡在线播放| 亚洲欧美一区二区三区黑人| 99国产精品一区二区三区| 免费女性裸体啪啪无遮挡网站| 2021少妇久久久久久久久久久| 你懂的网址亚洲精品在线观看|