基于可視化的集成式自動(dòng)化測(cè)試管理平臺(tái)

摘 ?要：大數(shù)據(jù)和云計(jì)算的興起，對(duì)數(shù)通廠家的產(chǎn)品質(zhì)量和測(cè)試效率都提出了極高的要求。由于云計(jì)算自動(dòng)化管理平臺(tái)和RF自動(dòng)化管理平臺(tái)都無(wú)法解決測(cè)試過(guò)程和測(cè)試報(bào)告的管理問(wèn)題、復(fù)雜環(huán)境并發(fā)問(wèn)題等疑難問(wèn)題。文章提出VTest的自動(dòng)化測(cè)試管理平臺(tái)，實(shí)現(xiàn)測(cè)試流程、自動(dòng)化開(kāi)發(fā)、標(biāo)準(zhǔn)化結(jié)果輸出等集成式管理，滿足企業(yè)內(nèi)部測(cè)試、互聯(lián)網(wǎng)企業(yè)和運(yùn)營(yíng)商集采入圍測(cè)試的需求，可以提升測(cè)試效率，縮短測(cè)試周期，提高產(chǎn)品的質(zhì)量，加速產(chǎn)品的發(fā)布速度。

關(guān)鍵詞：自動(dòng)化測(cè)試;測(cè)試管理;自動(dòng)化測(cè)試開(kāi)發(fā)

中圖分類號(hào)：TP311.52 ? ? 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2096-4706（2020）12-0098-07

Abstract：With the rise of big data and cloud computing，the product quality and test efficiency of data communication manufacturers have put forward extremely high requirements. Because the cloud computing automation management platform and RF automation management platform can not solve the test process and test report management problems，complex environment concurrency problems and other difficult problems. This paper puts forward the VTest automated test management platform，which can realize the integrated management of test process，automatic development and standardized result output，so as to meet the needs of enterprise internal testing，internet enterprises and operatorscentralized purchase and shortens the test period，improves the product quality and accelerates the release speed of products.

Keywords：automated testing;test management;automated test development

0 ?引 ?言

成功入圍互聯(lián)網(wǎng)企業(yè)如阿里、騰訊、運(yùn)營(yíng)商如中國(guó)移動(dòng)等的集采測(cè)試，是對(duì)廠商在業(yè)界中的領(lǐng)先地位的一種認(rèn)可，集采測(cè)試每次都能吸引諸多設(shè)備廠商競(jìng)爭(zhēng)。集采測(cè)試涉及路由器領(lǐng)域、交換機(jī)領(lǐng)域、無(wú)線領(lǐng)域和安全領(lǐng)域等，其中高端路由器和數(shù)據(jù)中心交換機(jī)集采測(cè)試是中國(guó)移動(dòng)在IP數(shù)通產(chǎn)品領(lǐng)域最重要的選型測(cè)試，會(huì)從眾多國(guó)內(nèi)外產(chǎn)品供應(yīng)商里優(yōu)中選優(yōu)[1]。在路由器和交換機(jī)領(lǐng)域的設(shè)備選型過(guò)程中設(shè)置了最高測(cè)評(píng)規(guī)格，移動(dòng)方基于Spirent（思博倫）和IXIA（意達(dá)康）的儀表廠商，構(gòu)建了相應(yīng)測(cè)試平臺(tái)[2]，其保密性高、測(cè)試效率高。由于移動(dòng)測(cè)試人員一個(gè)人需面對(duì)多廠商產(chǎn)品的測(cè)試，在高標(biāo)準(zhǔn)的驗(yàn)收條件下，如何提升測(cè)試效率是目前最主要的問(wèn)題。本文章通過(guò)分析傳統(tǒng)自動(dòng)化管理平臺(tái)、RF自動(dòng)化管理平臺(tái)，提出了全新的VTest（Visual Test）自動(dòng)化測(cè)試管理平臺(tái)，實(shí)現(xiàn)了測(cè)試用例管理、測(cè)試報(bào)告管理、測(cè)試過(guò)程管理、自動(dòng)化測(cè)試管理等集中式管理，提高了測(cè)試效率，縮短了測(cè)試周期，降低了人工成本，有效地降低了外部測(cè)試的風(fēng)險(xiǎn)。

1 ?現(xiàn)有的自動(dòng)化測(cè)試管理平臺(tái)分析

云計(jì)算的自動(dòng)化測(cè)試管理平臺(tái)[3]，更傾向于企業(yè)內(nèi)部的集成測(cè)試，實(shí)現(xiàn)功能型的測(cè)試，局限性較大，無(wú)法勝任中國(guó)移動(dòng)集采入圍測(cè)試的相關(guān)測(cè)試要求。

RF平臺(tái)的優(yōu)勢(shì)在于較好的擴(kuò)展性，支持較多第三方管理平臺(tái)如Jenkins、持續(xù)集成（Continuous Integration，CI）平臺(tái)[4]等，支持主流的開(kāi)發(fā)語(yǔ)言。由于其開(kāi)源特性，對(duì)外提供的公共庫(kù)支持有限，用戶需要基于不同的產(chǎn)品投入大量的人力和時(shí)間，以進(jìn)行二次開(kāi)發(fā)并進(jìn)行適配。這就要求人員對(duì)自動(dòng)化語(yǔ)言要極其熟悉，對(duì)人員水平要求極高。同時(shí)，RF缺少相應(yīng)的測(cè)試管理和測(cè)試報(bào)告管理，測(cè)試配置通過(guò)表格形式進(jìn)行設(shè)置，易用性較差，穩(wěn)定性也不足。平臺(tái)運(yùn)行復(fù)雜組網(wǎng)用例時(shí)需要人工逐個(gè)配置，極其耗時(shí)也容易出錯(cuò)。

2 ?VTest自動(dòng)化測(cè)試管理平臺(tái)

通過(guò)對(duì)比RF自動(dòng)化測(cè)試管理平臺(tái)的優(yōu)劣勢(shì)，提出并設(shè)計(jì)了VTest自動(dòng)化測(cè)試管理平臺(tái)，其優(yōu)勢(shì)如表1所示。

2.1 ?VTest自動(dòng)化測(cè)試管理平臺(tái)架構(gòu)

互聯(lián)網(wǎng)業(yè)務(wù)和運(yùn)營(yíng)商網(wǎng)絡(luò)都具有周期短、質(zhì)量要求高等特點(diǎn)，銳捷網(wǎng)絡(luò)公司為了更好地控制人力成本、縮短產(chǎn)品交付周期、提升產(chǎn)品的測(cè)試效率、提高產(chǎn)品的交付質(zhì)量，分析研究了云計(jì)算自動(dòng)化測(cè)試管理平臺(tái)和RF自動(dòng)化測(cè)試管理平臺(tái)無(wú)法解決的復(fù)雜場(chǎng)景組網(wǎng)測(cè)試、可視化測(cè)試管理等問(wèn)題，基于測(cè)試儀表廠商Spirent和IXIA的配套儀表，提出了VTest自動(dòng)化測(cè)試管理平臺(tái)，通過(guò)分級(jí)分層的測(cè)試平臺(tái)架構(gòu)，實(shí)現(xiàn)了測(cè)試用例、測(cè)試腳本等的統(tǒng)一管理，具有上手快、自動(dòng)化開(kāi)發(fā)效率高、維護(hù)簡(jiǎn)單等優(yōu)點(diǎn)，其封裝的QuickCall和自帶的Native API擴(kuò)展功能可以解決復(fù)雜的疊加應(yīng)用場(chǎng)景，并支持多廠家的測(cè)試報(bào)告輸出，輸出報(bào)告統(tǒng)一并且完整，方便對(duì)過(guò)程的跟蹤和問(wèn)題的排查。如圖1所示，將整體分為表示層、邏輯層、封裝層、接口層和物理層。

用戶基于可視化操作界面，發(fā)送相應(yīng)的測(cè)試指令給測(cè)試資源、被測(cè)設(shè)備以及測(cè)試儀表，完成對(duì)測(cè)試拓?fù)涞墓芾怼?/p>

2.2 ?VTest自動(dòng)化測(cè)試管理平臺(tái)實(shí)現(xiàn)與應(yīng)用

2.2.1 ?VTest自動(dòng)化測(cè)試管理平臺(tái)實(shí)現(xiàn)的動(dòng)能

（1）測(cè)試用例庫(kù)管理：實(shí)現(xiàn)記錄測(cè)試項(xiàng)目名稱、測(cè)試廠家信息、測(cè)試軟件版本號(hào)以及測(cè)試用例名稱等測(cè)試用例管理功能。

（2）自動(dòng)化測(cè)試管理：根據(jù)測(cè)試用例的設(shè)計(jì)要求，實(shí)現(xiàn)自動(dòng)化公共庫(kù)設(shè)計(jì)、自動(dòng)化腳本開(kāi)發(fā)、自動(dòng)化腳本調(diào)試等自動(dòng)化相關(guān)功能。

（3）測(cè)試過(guò)程管理：按照項(xiàng)目測(cè)試要求，在自動(dòng)化測(cè)試管理平臺(tái)下發(fā)全局的功能配置、測(cè)試動(dòng)作與拓?fù)鋵?duì)應(yīng)關(guān)系配置，把以上配置結(jié)果分別下發(fā)給被測(cè)設(shè)備與測(cè)試儀表，完成測(cè)試用例的測(cè)試。同時(shí)，通過(guò)測(cè)試過(guò)程的監(jiān)控，實(shí)現(xiàn)對(duì)被測(cè)設(shè)備的設(shè)備信息、測(cè)試表項(xiàng)、設(shè)備回顯、測(cè)試指標(biāo)等信息的監(jiān)控功能。

（4）測(cè)試報(bào)告管理：自動(dòng)化測(cè)試管理平臺(tái)提取登記內(nèi)容、測(cè)試時(shí)間、測(cè)試過(guò)程以及測(cè)試結(jié)果等信息自動(dòng)生成測(cè)試報(bào)表，同時(shí)實(shí)現(xiàn)對(duì)測(cè)試結(jié)果的瀏覽和打印功能。

2.2.2 ?VTest自動(dòng)化測(cè)試管理平臺(tái)的應(yīng)用

（1）應(yīng)用于企業(yè)內(nèi)部測(cè)試：自動(dòng)化測(cè)試管理平臺(tái)可實(shí)現(xiàn)對(duì)測(cè)試全流程的監(jiān)控，并提供了可靠的自動(dòng)化測(cè)試解決方案，通過(guò)可視化的人際交互界面和標(biāo)準(zhǔn)化的測(cè)試報(bào)告，解決了成長(zhǎng)性企業(yè)內(nèi)部自動(dòng)化率低、測(cè)試流程混亂以及無(wú)嚴(yán)格的測(cè)試報(bào)告審核等問(wèn)題。該平臺(tái)的使用讓本公司的產(chǎn)品的自動(dòng)化率從10%提升到80%、測(cè)試效率提升了8倍，縮短了產(chǎn)品研發(fā)的周期，提高了產(chǎn)品入市的速度，有效地降低了40%的成本。

（2）應(yīng)用于互聯(lián)網(wǎng)企業(yè)入圍測(cè)試：由于互聯(lián)網(wǎng)產(chǎn)品的版本迭代快、測(cè)試內(nèi)容多、效率要求高等特點(diǎn)，自動(dòng)化測(cè)試管理平臺(tái)支持CI平臺(tái)的聯(lián)動(dòng)，通過(guò)QuickCall與Response Maps的組合，使測(cè)試用例轉(zhuǎn)化為快速的自動(dòng)化測(cè)試，利用平臺(tái)的拓?fù)涔芾砉δ?，?shí)現(xiàn)服務(wù)器、虛擬機(jī)、物理PC機(jī)、被測(cè)設(shè)備和測(cè)試儀表的多套并發(fā)與拓?fù)渥詣?dòng)切換，結(jié)合CI平臺(tái)實(shí)現(xiàn)自定義時(shí)間段的執(zhí)行與測(cè)試驗(yàn)證，極大程度上減低了人工成本的投入。單測(cè)試用例執(zhí)行周期從60分鐘/個(gè)提升到6分鐘/個(gè)，測(cè)試效率提升10倍，有效地縮短了測(cè)試回歸周期，提升了測(cè)試用例的復(fù)用率。

（3）應(yīng)用于運(yùn)營(yíng)商集采測(cè)試：針對(duì)運(yùn)營(yíng)商集采測(cè)試周期短、用例復(fù)雜度高、測(cè)試要求嚴(yán)苛等特點(diǎn)，利用自動(dòng)化測(cè)試管理平臺(tái)的可視化界面，結(jié)合報(bào)文的回放和錄制功能生成千萬(wàn)級(jí)路由轉(zhuǎn)發(fā)流量;利用測(cè)試用例隨機(jī)、測(cè)試端口隨機(jī)等隨機(jī)算法，實(shí)現(xiàn)了測(cè)試用例隨機(jī)概率的觸發(fā);再進(jìn)一步通過(guò)圖形化人機(jī)交互功能，實(shí)現(xiàn)10臺(tái)被測(cè)設(shè)備的復(fù)雜組網(wǎng);由自動(dòng)化測(cè)試管理平臺(tái)統(tǒng)一調(diào)用800個(gè)測(cè)試儀表端口，實(shí)現(xiàn)瞬時(shí)的并發(fā)操作，從而完成7*24 h穩(wěn)定的長(zhǎng)時(shí)間的自動(dòng)化拷機(jī)測(cè)試。該平臺(tái)的使用讓環(huán)境搭建周期從7天縮短到1天，測(cè)試效率提升7倍，大大降低了測(cè)試的復(fù)雜度，提高了測(cè)試的質(zhì)量，減少了人工操作的耗時(shí)以及手工任務(wù)的錯(cuò)誤概率，提升了企業(yè)入圍集采測(cè)試的可能，降低了入圍集采測(cè)試失敗的風(fēng)險(xiǎn)。

VTest自動(dòng)化測(cè)試管理平臺(tái)提出了可視化的自動(dòng)化測(cè)試管理，統(tǒng)一了操作規(guī)范和測(cè)試流程，解決了傳統(tǒng)自動(dòng)化的資源獨(dú)占性問(wèn)題。其通過(guò)測(cè)試拓?fù)涞淖詣?dòng)切換，提升了被測(cè)設(shè)備、被測(cè)儀表等測(cè)試資源的利用率，較好地縮短了項(xiàng)目的測(cè)試周期。該平臺(tái)解決了云計(jì)算自動(dòng)化測(cè)試管理平臺(tái)下應(yīng)用場(chǎng)景局限性的問(wèn)題，能更好地適應(yīng)復(fù)雜的、嚴(yán)苛的、較大規(guī)模的測(cè)試場(chǎng)景;解決了RF自動(dòng)化框架穩(wěn)定性差、開(kāi)發(fā)效率低的問(wèn)題，保證了自動(dòng)化測(cè)試管理平臺(tái)的穩(wěn)態(tài)運(yùn)行，提高了自動(dòng)化腳本的開(kāi)發(fā)效率，從而進(jìn)一步提升了測(cè)試的效率。

2.2.3 ?VTest自動(dòng)化測(cè)試管理平臺(tái)的提升效果

文章分析了業(yè)界多平臺(tái)多架構(gòu)的優(yōu)劣勢(shì)，VTest自動(dòng)化測(cè)試管理平臺(tái)采用分層架構(gòu)，以高效率、高可用、高可靠、擴(kuò)展性強(qiáng)為設(shè)計(jì)準(zhǔn)則，滿足多廠商的適應(yīng)復(fù)雜性環(huán)境、多功能、高性能、大容量、能完成7*24 h測(cè)試的測(cè)試需求。VTest平臺(tái)通過(guò)對(duì)運(yùn)維管理工具的整合和對(duì)測(cè)試流程的管控，實(shí)現(xiàn)了產(chǎn)品質(zhì)量與測(cè)試管理方面的創(chuàng)新性突破。借助這一全新的平臺(tái)，參與集采測(cè)試的廠商實(shí)現(xiàn)了產(chǎn)品質(zhì)量與測(cè)試管理水平、測(cè)試工作交付效率的大幅度提升，從而不斷降低測(cè)試成本與入圍測(cè)試出局的風(fēng)險(xiǎn)。

3 ?結(jié) ?論

VTest自動(dòng)化測(cè)試管理平臺(tái)是集成測(cè)試用例設(shè)計(jì)和執(zhí)行的解決方案，可用于測(cè)試用例的快速開(kāi)發(fā)、自動(dòng)化和維護(hù)以及標(biāo)準(zhǔn)化測(cè)試報(bào)告的管理。該平臺(tái)能靈活應(yīng)對(duì)企業(yè)內(nèi)部測(cè)試、互聯(lián)網(wǎng)企業(yè)集采測(cè)試、運(yùn)營(yíng)商集采測(cè)試等業(yè)務(wù)場(chǎng)景的挑戰(zhàn)，避免自動(dòng)化測(cè)試項(xiàng)目可能遭遇的各種陷阱。其更完美地提供給客戶定制化的解決方案，嚴(yán)格地遵循產(chǎn)品開(kāi)發(fā)和測(cè)試過(guò)程中的最佳實(shí)踐方案。對(duì)比現(xiàn)有的自動(dòng)化管理平臺(tái)，VTest提升了自動(dòng)化腳本開(kāi)發(fā)的效率，提高了測(cè)試用例的復(fù)用率，提升了產(chǎn)品的質(zhì)量，有效地縮短了產(chǎn)品測(cè)試周期，極大地降低了人工成本，完全可以適應(yīng)今天和未來(lái)所面臨的各項(xiàng)挑戰(zhàn)。

參考文獻(xiàn)：

[1] 周俊.運(yùn)營(yíng)商產(chǎn)品測(cè)試機(jī)制研究 [J].電信技術(shù)，2014（3）：8-11.

[2] 蒙克.思博倫通信：測(cè)試為ICT產(chǎn)業(yè)保駕護(hù)航 [N].網(wǎng)絡(luò)世界，2013-04-29（8）.

[3] 林奇.基于云計(jì)算的測(cè)試管理平臺(tái) [J].科技傳播，2013，5（17）：227-228+192.

[4] 張晨，姚莉.基于RF的自動(dòng)化測(cè)試腳本設(shè)計(jì)與應(yīng)用 [J].電子技術(shù)與軟件工程，2014（1）：103-104.

[5] WELCH B B.Tcl/Tk編程權(quán)威指南 [M].崔凱，譯.北京：中國(guó)電力出版社，2002.

作者簡(jiǎn)介：賀宏達(dá)（1986.10—），男，漢族，湖南耒陽(yáng)人，中級(jí)工程師，本科，研究方向：數(shù)通產(chǎn)品測(cè)試、軟件黑盒測(cè)試。