軟件眾測服務(wù)模式探索與實(shí)踐

黃靜旋 尹玨賢 林怡坤

摘? 要： 隨著軟件測試的需求不斷提高，軟件眾測服務(wù)模式應(yīng)運(yùn)而生，實(shí)現(xiàn)企業(yè)、測評(píng)機(jī)構(gòu)、測試人員之間互聯(lián)互動(dòng)，以群體協(xié)作和數(shù)據(jù)智能雙輪驅(qū)動(dòng)，實(shí)現(xiàn)資源共享、任務(wù)共同協(xié)作。本文對(duì)眾測服務(wù)模式進(jìn)行探索與實(shí)踐，提出了眾測服務(wù)模式、眾測服務(wù)業(yè)務(wù)流程和眾測服務(wù)應(yīng)用場景，概括了眾測服務(wù)面臨的挑戰(zhàn)并設(shè)計(jì)相應(yīng)解決方案。從群智眾測平臺(tái)的實(shí)際眾測服務(wù)情況看，眾測服務(wù)模式可以滿足多樣性需求，且高效完成測試任務(wù)。

關(guān)鍵詞： 眾測服務(wù)； 軟件測試； 群體協(xié)作； 群智

中圖分類號(hào)：TP317? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A? ? ? ?文章編號(hào)：1006-8228（2023）06-110-04

Exploration and practice of software crowdsourced testing service model

Huang Jingxuan， Yin Juexian， Lin Yikun

（Guangdong Tops Soft-park Co，.LTD， Guangzhou， Guangdong 510663， China）

Abstract： With the increasing demand for software testing， the software crowdsourced testing service model has emerged. It realizes the interconnection and interaction among enterprises， evaluation institutions and testers， and achieves resource sharing and task collaboration with the two wheels drive of group cooperation and data intelligence. In this paper， we explore and practice the crowdsourced testing service model， propose its business process and application scenarios， summarize the challenges faced by crowdsourced testing service and design the corresponding solutions. From the actual situation of a real crowd testing platform， it is clear that the crowdsourced testing service model can meet diverse needs and complete testing tasks efficiently.

Key words： crowdsourced testing service; software testing; group cooperation; group intelligence

0 引言

近年來，隨著信息技術(shù)的發(fā)展，軟件的更新速度逐漸加快，軟件測試周期隨之不斷縮減。傳統(tǒng)軟件測試通常由單一測評(píng)機(jī)構(gòu)實(shí)施，測試資源有限，測試效率有待提高。軟件測試的需求方通常希望得到高效的、大量的、高質(zhì)量的測試反饋以迅速提升軟件產(chǎn)品的質(zhì)量，傳統(tǒng)軟件測試或無法滿足日益增長的測試需求。眾測服務(wù)模式為解決上述問題提供了新思路。眾測模式是企業(yè)、測評(píng)機(jī)構(gòu)、測試人員之間互聯(lián)互動(dòng)，實(shí)現(xiàn)閑置富余資源匯聚和有效配置的一種實(shí)現(xiàn)路徑。

1 眾測服務(wù)模式探索

1.1 眾測服務(wù)模式

眾包測試[1]（簡稱“眾測”）依托互聯(lián)網(wǎng)技術(shù)，利用共享經(jīng)濟(jì)的特性，采用分布、協(xié)作的方式組織實(shí)施[2]，協(xié)同測試資源，將原來由固定專職測試人員完成的測試任務(wù)遷移到平臺(tái)上，按需通過臨時(shí)招募非確定的、數(shù)量眾多的測評(píng)機(jī)構(gòu)或測試人員，利用大眾的碎片時(shí)間在短期內(nèi)共同協(xié)作完成一項(xiàng)測試任務(wù)。

眾測服務(wù)模式的主體包括眾測服務(wù)平臺(tái)、軟件制造企業(yè)、測評(píng)機(jī)構(gòu)、測試人員。眾測服務(wù)平臺(tái)將軟件制造企業(yè)、測評(píng)機(jī)構(gòu)、測試人員聯(lián)合起來，把測試環(huán)境、測試設(shè)備、測試工具、通用測試軟件以及服務(wù)能力等資源匯聚起來并有效地配置。通過人員高效協(xié)作和測試資源融合，實(shí)現(xiàn)資源共享、任務(wù)共同協(xié)作。

1.2 眾測服務(wù)平臺(tái)建設(shè)

眾測服務(wù)平臺(tái)是眾測服務(wù)模式中的關(guān)鍵角色，為眾測服務(wù)的各參與方提供在線平臺(tái)[3]。眾測服務(wù)平臺(tái)建設(shè)示意圖如圖1所示。

眾測服務(wù)平臺(tái)實(shí)現(xiàn)多層次多角度的集成化[4]。在資源方面，將多方眾測資源進(jìn)行柔性集成，如服務(wù)器、數(shù)據(jù)庫、支持軟件、測試工具等；在平臺(tái)方面，將現(xiàn)有的測試平臺(tái)和科技平臺(tái)進(jìn)行集成，如慕測平臺(tái)、北斗測試平臺(tái)、Web云測平臺(tái)等；在工具方面，將課題研究技術(shù)和工具集成，如任務(wù)監(jiān)控與決策支持工具、眾測任務(wù)規(guī)劃與調(diào)度工具、眾測服務(wù)質(zhì)量評(píng)估工具等；在測試流程方面，實(shí)現(xiàn)閉環(huán)眾測服務(wù)一體化集成，從企業(yè)發(fā)包方提交測試任務(wù)到測試結(jié)束后分發(fā)獎(jiǎng)勵(lì)，實(shí)現(xiàn)測試過程全生命周期的一體化集成。

眾測服務(wù)平臺(tái)旨在提供可測、可評(píng)、可信的在線眾測服務(wù)[5]?！翱蓽y”體現(xiàn)在平臺(tái)形成面向多領(lǐng)域的、適應(yīng)多種測試對(duì)象的、適配多種測試類型的眾測服務(wù)?！翱稍u(píng)”體現(xiàn)在平臺(tái)對(duì)機(jī)構(gòu)、人員、產(chǎn)品、服務(wù)多維度的質(zhì)量評(píng)價(jià)?！翱尚拧斌w現(xiàn)在過程可管控，數(shù)據(jù)可溯源，結(jié)果可信任。此外，在眾測服務(wù)過程中，實(shí)現(xiàn)了智能化數(shù)據(jù)融合及賦能，平臺(tái)具備眾測任務(wù)與眾測人員推薦與匹配、缺陷報(bào)告自動(dòng)融合、測試報(bào)告自動(dòng)生成等功能。

1.3 眾測服務(wù)業(yè)務(wù)流程

眾測服務(wù)業(yè)務(wù)流程如圖2所示。企業(yè)發(fā)包方在平臺(tái)發(fā)布任務(wù)、測試需求，可以選擇定向發(fā)布、區(qū)域發(fā)布或廣場發(fā)布。隨后測評(píng)機(jī)構(gòu)在平臺(tái)接包，進(jìn)行測試任務(wù)建模與任務(wù)規(guī)劃，完成測試任務(wù)設(shè)計(jì)。眾測平臺(tái)根據(jù)任務(wù)設(shè)計(jì)在測試資源池中按需申請(qǐng)并構(gòu)建資源，再將任務(wù)發(fā)布給對(duì)應(yīng)群體。接下來，根據(jù)任務(wù)推薦機(jī)制招募人員，眾測人員可以進(jìn)行任務(wù)接包，執(zhí)行眾測任務(wù)并生成測試報(bào)告[6]，在平臺(tái)上提交測試結(jié)果。眾測平臺(tái)將多方提交的測試結(jié)果融合并自動(dòng)生成測試報(bào)告，發(fā)包方接收并查看測試報(bào)告。最后，進(jìn)行接包機(jī)構(gòu)質(zhì)量評(píng)價(jià)、眾測服務(wù)質(zhì)量評(píng)價(jià)和產(chǎn)品質(zhì)量評(píng)價(jià)，根據(jù)評(píng)價(jià)結(jié)果完成費(fèi)用核算，并將費(fèi)用發(fā)放給眾測人員。

1.4 眾測服務(wù)應(yīng)用場景

眾測服務(wù)覆蓋了對(duì)互聯(lián)網(wǎng)應(yīng)用、移動(dòng)APP應(yīng)用、智能終端、傳感器和科技服務(wù)等眾多測試對(duì)象的測試。在服務(wù)互聯(lián)網(wǎng)方面，面向移動(dòng)政務(wù)、金融服務(wù)、醫(yī)療衛(wèi)生交通出行、生活服務(wù)等各類移動(dòng)應(yīng)用程序在設(shè)計(jì)開發(fā)測試、運(yùn)營服務(wù)等階段的功能、性能、兼容性、易用性、安全分析、數(shù)據(jù)質(zhì)量評(píng)估、系統(tǒng)調(diào)優(yōu)與故障定位等。在科技服務(wù)平臺(tái)方面，面向科技服務(wù)平臺(tái)如創(chuàng)業(yè)孵化平臺(tái)、科技咨詢、檢驗(yàn)檢測認(rèn)證、綜合科技服務(wù)科技信息管理服務(wù)平臺(tái)等設(shè)計(jì)開發(fā)平臺(tái)建設(shè)、運(yùn)營服務(wù)各階段的兼容性易用性、穩(wěn)定性等測試、及用戶訪問等行為數(shù)據(jù)監(jiān)控。在集成電路和智能傳感器方面，面向芯片在設(shè)計(jì)、運(yùn)營服務(wù)階段的功能測試、穩(wěn)定性和可靠性測試；面向北斗不同模組構(gòu)成的北斗導(dǎo)航、精準(zhǔn)授時(shí)等智能傳感器、智能醫(yī)療、輔助駕駛等智能傳感器和服務(wù)的功能性、接口、性能兼容性、可靠性等測試。

現(xiàn)列舉一些典型的眾測應(yīng)用場景：

● 功能性測試：主要包括基于需求的功能測試、探索式測試；

● 兼容性測試：主要包括環(huán)境兼容性、瀏覽器兼容性測試；

● 用戶體驗(yàn)測試：主要包括跨地域環(huán)境、真實(shí)用戶使用環(huán)境和場景、真實(shí)用戶操作習(xí)慣/時(shí)序、多種應(yīng)用切換和交叉測試；

● 性能測試：其主要特點(diǎn)是網(wǎng)絡(luò)環(huán)境復(fù)雜、執(zhí)行環(huán)境多樣、訪問路徑隨機(jī)、并發(fā)用戶量大；

● 滲透測試/漏洞挖掘：其主要特點(diǎn)是利用眾多滲透測試人員、發(fā)揮其各自特長、經(jīng)驗(yàn)實(shí)踐、預(yù)測判斷和掌握的相關(guān)工具，從不同角度挖掘潛漏洞；

● 適配性測試：其主要特點(diǎn)是目標(biāo)終端廣泛、品牌多樣、操作系統(tǒng)多樣、異構(gòu)環(huán)境差異、支持軟件復(fù)雜。

2 眾測服務(wù)面臨的挑戰(zhàn)及應(yīng)對(duì)方案

目前眾測服務(wù)尚在探索階段，仍面臨許多挑戰(zhàn)，例如數(shù)據(jù)篩選、質(zhì)量評(píng)估、準(zhǔn)入門檻等。為應(yīng)對(duì)上述挑戰(zhàn)，本文提出相應(yīng)的解決方案。

挑戰(zhàn)1 眾測人員提交的數(shù)據(jù)存在大量重復(fù)或相似，如何從中篩選最有價(jià)值的數(shù)據(jù)？如何有效進(jìn)行審核？

應(yīng)對(duì)方案1 眾測人員在線編寫測試用例、提交缺陷報(bào)告，平臺(tái)方對(duì)測試結(jié)果進(jìn)行結(jié)構(gòu)化處理，在線審核眾測結(jié)果?；谖谋鞠嗨菩?、圖片相似性及標(biāo)注分析技術(shù)，對(duì)高相似度的缺陷分組進(jìn)行信息完整度判定，優(yōu)選同組缺陷中的主缺陷報(bào)告，確定輔缺陷報(bào)告?；趯＜医?jīng)驗(yàn)及判斷，對(duì)主、輔缺陷報(bào)告進(jìn)行審核和優(yōu)化調(diào)整。主/輔缺陷報(bào)告互換、轉(zhuǎn)移、獨(dú)立、升降級(jí)，專家審核缺陷并進(jìn)行自助評(píng)分，隨后自動(dòng)生成測試報(bào)告，完成缺陷報(bào)告的自動(dòng)融合。

挑戰(zhàn)2 眾測是一種弱組織的非確定性的臨時(shí)人員組合，眾測服務(wù)質(zhì)量、產(chǎn)品質(zhì)量、接包方質(zhì)量該如何評(píng)價(jià)？

應(yīng)對(duì)方案2 對(duì)眾測服務(wù)質(zhì)量進(jìn)行評(píng)價(jià)，設(shè)計(jì)眾測服務(wù)質(zhì)量度量體系，建立眾測服務(wù)質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)。對(duì)眾測接包方質(zhì)量進(jìn)行評(píng)價(jià)，實(shí)現(xiàn)面向接包方機(jī)構(gòu)的評(píng)價(jià)模型，為發(fā)包方對(duì)接包方機(jī)構(gòu)的選擇提供了依據(jù)。對(duì)眾測產(chǎn)品質(zhì)量進(jìn)行評(píng)估，基于服務(wù)質(zhì)量和接包方質(zhì)量對(duì)產(chǎn)品質(zhì)量屬性進(jìn)行可信度評(píng)價(jià)，實(shí)現(xiàn)基于眾測結(jié)果、過程、主體質(zhì)量度量結(jié)果的產(chǎn)品質(zhì)量多維融合評(píng)價(jià)。

挑戰(zhàn)3 測試的專業(yè)性較強(qiáng)，眾測人員群體中可能包含非專業(yè)的測試人員，如何降低眾測準(zhǔn)入門檻？

應(yīng)對(duì)方案3 眾測服務(wù)平臺(tái)集成大量的眾測資源構(gòu)建工具，實(shí)現(xiàn)了眾測云環(huán)境構(gòu)建，分為基礎(chǔ)物理資源、眾測虛擬化資源池、眾測資源管理平臺(tái)、眾測環(huán)境構(gòu)建平臺(tái)四個(gè)部分。平臺(tái)能夠構(gòu)建各種服務(wù)器、桌面終端、測試工具、網(wǎng)絡(luò)環(huán)境、操作系統(tǒng)、數(shù)據(jù)庫、中間件以及支持軟件等環(huán)境，眾測接包人員可直接在環(huán)境上開展測試工作。平臺(tái)可提供測試環(huán)境的動(dòng)態(tài)生成、測試工具云化集成、運(yùn)行狀態(tài)監(jiān)視控制等功能。眾測資源構(gòu)建能夠提升資源利用率，降低眾測人員的測試門檻。

3 眾測服務(wù)實(shí)踐案例

基于上文設(shè)計(jì)的眾測服務(wù)模式，構(gòu)建了群智眾測服務(wù)平臺(tái)（www.cofortest.com）。該平臺(tái)是國家重點(diǎn)研發(fā)計(jì)劃項(xiàng)目“信息產(chǎn)品及科技服務(wù)集成化眾測服務(wù)平臺(tái)研發(fā)與應(yīng)用（2018YFB1403400）”的成果應(yīng)用推廣服務(wù)平臺(tái)，在聚集第三方評(píng)測機(jī)構(gòu)的基礎(chǔ)上，采用標(biāo)準(zhǔn)驅(qū)動(dòng)與檢測認(rèn)證相結(jié)合的服務(wù)模式提供開放共享和協(xié)作共贏的集成化眾測服務(wù)，從技術(shù)體系、質(zhì)量體系、運(yùn)營體系三個(gè)維度建立了可持續(xù)匯聚其他測試服務(wù)機(jī)構(gòu)的持續(xù)發(fā)展機(jī)制。群智眾測平臺(tái)自推出以來，為很多企業(yè)、機(jī)構(gòu)提供了眾測服務(wù)，吸引了海量注冊(cè)用戶，完成了諸多測試任務(wù)，現(xiàn)以某在線教育平臺(tái)測試項(xiàng)目為例，簡要介紹眾測服務(wù)實(shí)踐案例。

某在線教育平臺(tái)測試項(xiàng)目的需求包含三個(gè)類別，分別是功能性測試、瀏覽器兼容性測試和性能眾測。其中，功能性測試要求在Web端和小程序端均展開覆蓋教育平臺(tái)全功能的測試；瀏覽器兼容性測試要求在Web端的Chrome瀏覽器、360瀏覽器、QQ瀏覽器、Firefox瀏覽器、Edge瀏覽器和Safari瀏覽器開展測試；性能眾測要求在Web端和小程序端完成簽到、課程學(xué)習(xí)（在線視頻點(diǎn)播）、課后評(píng)價(jià)、作業(yè)提交的測試，用戶數(shù)量要求在200個(gè)以上。性能測試中，有200臺(tái)以上的設(shè)備同時(shí)發(fā)起視頻點(diǎn)播，覆蓋多樣化環(huán)境。測試時(shí)用戶流量大對(duì)帶寬要求高，常常無法評(píng)估實(shí)時(shí)播放的畫面、畫質(zhì)、音視頻同步情況以及終端上的顯示效果。

在該項(xiàng)目的測試過程中，線上接包人數(shù)達(dá)166人，參與測試的接入終端達(dá)到259個(gè)，最高同時(shí)在線210余臺(tái)設(shè)備，眾測人員廣泛分布于全國12個(gè)省市。測試執(zhí)行時(shí)長達(dá)1h，眾測人員在48h內(nèi)提交測試結(jié)果，包含測試用例、測試結(jié)果記錄及缺陷情況。最終有136名眾測人員（259個(gè)測試終端）提交測試結(jié)果，其中，測試用例共計(jì)1286個(gè)，缺陷共計(jì)106個(gè)，每名用戶提交的測試用例最多達(dá)到34個(gè)，每名用戶發(fā)現(xiàn)缺陷最多達(dá)到6個(gè)。實(shí)踐表明，眾測服務(wù)模式可以滿足發(fā)包方的多樣需求，以高效協(xié)作的方式完成測試任務(wù)。

4 結(jié)束語

軟件眾測服務(wù)模式為信息時(shí)代的軟件測試提供了新思路，以群體協(xié)作和數(shù)據(jù)智能雙輪驅(qū)動(dòng)，實(shí)現(xiàn)資源共享、任務(wù)共同協(xié)作。本文對(duì)眾測服務(wù)模式進(jìn)行了簡要介紹，提出了完整的眾測服務(wù)業(yè)務(wù)流程以及眾測服務(wù)應(yīng)用場景。針對(duì)眾測服務(wù)目前面臨的挑戰(zhàn)設(shè)計(jì)了相應(yīng)的解決方案。最后以群智眾測平臺(tái)為例，介紹了某具體測試項(xiàng)目的實(shí)踐情況。眾測服務(wù)模式實(shí)現(xiàn)了多方互聯(lián)互動(dòng)，匯聚群智[7]，高效利用資源，具有廣泛的應(yīng)用前景。

參考文獻(xiàn)（References）：

[1] 章曉芳，馮洋，劉頔，等.眾包軟件測試技術(shù)研究進(jìn)展[J].軟件

學(xué)報(bào)，2018，29（1）：69-88

[2] 馮劍紅，李國良，馮建華.眾包技術(shù)研究綜述[J].計(jì)算機(jī)學(xué)報(bào)，

2015，38（9）：1713-1726

[3] 王青，王崇駿，葉東升，等.信息產(chǎn)品及科技服務(wù)集成化眾測

服務(wù)研究[J].中國基礎(chǔ)科學(xué)，2020，22（2）：43-48，62

[4] 陳淥萍，范兆霞.面向新一代信息技術(shù)產(chǎn)品的集成化眾測

技術(shù)研發(fā)與實(shí)踐[J].工業(yè)技術(shù)創(chuàng)新，2022，9（2）：75-83

[5] 熊強(qiáng)，肖廣濤.基于臨時(shí)團(tuán)隊(duì)的信息安全眾測平臺(tái)知識(shí)共享

演化博弈研究[J].科技管理研究，2020，40（11）：134-141

[6] 蔡婧璇，吳江，王誠坤.基于深度學(xué)習(xí)的眾測報(bào)告有用性預(yù)測

研究[J].數(shù)據(jù)分析與知識(shí)發(fā)現(xiàn)，2020，4（11）：102-111

[7] 徐立鑫，吳化堯.基于群體智能的軟件工程方法綜述[J].計(jì)算

機(jī)研究與發(fā)展，2020，57（3）：487-512