大數(shù)據(jù)云計(jì)算時(shí)代軟件測(cè)試所面臨的挑戰(zhàn)

李寧+莊麗華+石林+劉鎖蘭+徐守坤

摘要：針對(duì)大數(shù)據(jù)云計(jì)算背景下軟件測(cè)試所面臨的問(wèn)題，分析了傳統(tǒng)軟件測(cè)試無(wú)法適應(yīng)大數(shù)據(jù)處理的原因，云架構(gòu)對(duì)軟件測(cè)試提出更高要求，以及軟件測(cè)試ORACLE和殺蟲(chóng)劑效應(yīng)問(wèn)題，提出應(yīng)對(duì)上述挑戰(zhàn)的措施和方法，探索和研究軟件測(cè)試新技術(shù)和新方法是軟件工程發(fā)展的當(dāng)務(wù)之急。

關(guān)鍵詞：大數(shù)據(jù)；云計(jì)算；軟件測(cè)試；挑戰(zhàn)

中圖分類號(hào)：G642.0；O245 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：1674-9324（2017）51-0275-02

隨著大數(shù)據(jù)云計(jì)算的快速發(fā)展，傳統(tǒng)軟件測(cè)試已經(jīng)無(wú)法滿足大數(shù)據(jù)云計(jì)算的需求，軟件測(cè)試面臨著全新的挑戰(zhàn)，這其中主要包括大數(shù)據(jù)云架構(gòu)處理數(shù)據(jù)的巨量性、多樣性和復(fù)雜性，軟件測(cè)試ORACLE問(wèn)題和殺蟲(chóng)劑效應(yīng)等，探索和研究新的軟件測(cè)試的技術(shù)和方法來(lái)應(yīng)對(duì)大數(shù)據(jù)對(duì)軟件測(cè)試所帶來(lái)的困難和挑戰(zhàn)，具有十分重要的現(xiàn)實(shí)意義。

一、傳統(tǒng)軟件開(kāi)發(fā)和測(cè)試

軟件測(cè)試伴隨著軟件開(kāi)發(fā)模式的發(fā)展而發(fā)展，從上個(gè)世紀(jì)50年代開(kāi)始軟件開(kāi)發(fā)經(jīng)歷了完全編碼、構(gòu)件化、服務(wù)和大數(shù)據(jù)云計(jì)算四個(gè)階段。傳統(tǒng)的軟件開(kāi)發(fā)和測(cè)試主要指前三個(gè)階段，完全編碼階段：屬于簡(jiǎn)單的程序設(shè)計(jì)階段，代碼基本由編程人員手工編寫，軟件通用性差，調(diào)試和測(cè)試簡(jiǎn)單。構(gòu)件化階段：是軟件開(kāi)發(fā)由手工作坊式生產(chǎn)變成工業(yè)化生產(chǎn)的主要階段，此階段軟件是由第三方在系統(tǒng)類庫(kù)的基礎(chǔ)上所開(kāi)發(fā)的業(yè)務(wù)組件，這種組件具有高效、易用、高耦合、高復(fù)用和本地運(yùn)行等特點(diǎn)，軟件類似一個(gè)黑匣子用戶只能對(duì)其運(yùn)行結(jié)構(gòu)進(jìn)行跟蹤，不能對(duì)其內(nèi)核進(jìn)行跟蹤和分析。這個(gè)階段軟件測(cè)試主要是檢查構(gòu)件屬性、接口和不能實(shí)現(xiàn)的特性等。軟件服務(wù)階段：隨著通信和網(wǎng)絡(luò)技術(shù)的發(fā)展，本地組件需要提供遠(yuǎn)程服務(wù)，遠(yuǎn)程訪問(wèn)者需要了解軟件外部服務(wù)的接口，以及輸入、輸出情況，軟件測(cè)試變得更為復(fù)雜和不透明。

二、大數(shù)據(jù)云計(jì)算軟件開(kāi)發(fā)和測(cè)試

軟件開(kāi)發(fā)和測(cè)試第四個(gè)階段是大數(shù)據(jù)云計(jì)算階段。由于數(shù)據(jù)規(guī)模呈幾何級(jí)上升，要從海量數(shù)據(jù)中挖掘出有價(jià)值的信息，傳統(tǒng)軟件系統(tǒng)無(wú)法實(shí)現(xiàn)海量數(shù)據(jù)的提取、存儲(chǔ)、分析、處理和共享。軟件開(kāi)發(fā)需要跨結(jié)構(gòu)、跨系統(tǒng)，系統(tǒng)架構(gòu)在PAAS上，數(shù)據(jù)存儲(chǔ)是分布的、異構(gòu)的，用戶對(duì)PAAS服務(wù)內(nèi)部結(jié)構(gòu)很難深入了解，因此，這個(gè)階段軟件測(cè)試更加復(fù)雜。數(shù)據(jù)處理流程分為采集、處理與集成、分析、解釋和應(yīng)用等幾個(gè)過(guò)程，數(shù)據(jù)源包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，以半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)為主，數(shù)據(jù)處理與集成主要是清洗、去噪和整合，數(shù)據(jù)分析是大數(shù)據(jù)處理的核心，采用的技術(shù)有數(shù)據(jù)挖掘、數(shù)理統(tǒng)計(jì)、機(jī)器學(xué)習(xí)、智能算法和云計(jì)算等，采用傳統(tǒng)技術(shù)無(wú)法真正實(shí)現(xiàn)對(duì)大數(shù)據(jù)的處理和分析。大數(shù)據(jù)處理是信息技術(shù)發(fā)展的熱點(diǎn)和重點(diǎn)，大數(shù)據(jù)云計(jì)算架構(gòu)的復(fù)雜性使得軟件測(cè)試也非常復(fù)雜，針對(duì)大數(shù)據(jù)測(cè)試研究還比較薄弱。

三、大數(shù)據(jù)云計(jì)算時(shí)代軟件測(cè)試面臨的挑戰(zhàn)

1.大數(shù)據(jù)背景下軟件測(cè)試的ORACLE問(wèn)題日益突出。軟件測(cè)試的目的就是將軟件實(shí)際運(yùn)行的結(jié)果和事前預(yù)期的結(jié)果進(jìn)行比較，從而來(lái)判斷運(yùn)行結(jié)果是否正確，這就是軟件測(cè)試的ORACLE問(wèn)題。大數(shù)據(jù)時(shí)代，很多場(chǎng)景下對(duì)大數(shù)據(jù)輸出結(jié)果的驗(yàn)證不論采用趨勢(shì)分析法還是圖論計(jì)算法都變得十分困難，其輸出結(jié)果正確與否常常無(wú)法直接判斷。大數(shù)據(jù)的處理模式主要包括物理作用和化學(xué)作用，物理作用下的大數(shù)據(jù)處理主要在確保數(shù)據(jù)價(jià)值不變的情況下，通過(guò)數(shù)據(jù)清洗來(lái)縮小數(shù)據(jù)規(guī)模，方便進(jìn)行數(shù)據(jù)分析，這種模式下數(shù)據(jù)處理測(cè)試不存在ORACLE問(wèn)題?；瘜W(xué)作用下的大數(shù)據(jù)處理主要采用預(yù)測(cè)和快速計(jì)算方法，使得大數(shù)據(jù)測(cè)試ORACLE問(wèn)題變得嚴(yán)重。例如采用個(gè)性化推薦算法對(duì)用戶推薦產(chǎn)品時(shí)，到底有多少用戶會(huì)對(duì)算法所推薦的產(chǎn)品感興趣是無(wú)法估計(jì)的，這就導(dǎo)致測(cè)試結(jié)果難以判定，使數(shù)據(jù)測(cè)試的ORACLE問(wèn)題變得突出。

2.云計(jì)算架構(gòu)對(duì)軟件測(cè)試所帶來(lái)的挑戰(zhàn)。目前大數(shù)據(jù)處理所采用的框架大都是Google公司的MapReduce。該架構(gòu)把數(shù)據(jù)處理抽象成map和reduce兩個(gè)過(guò)程，用戶對(duì)分布式程序的設(shè)計(jì)主要是實(shí)現(xiàn)map（）和reduce（）兩個(gè)函數(shù)，而任務(wù)調(diào)度、數(shù)據(jù)分片、機(jī)器容錯(cuò)、機(jī)器間通信等均由MapReduce框架來(lái)處理。因此，用戶所設(shè)計(jì)的功能沒(méi)有框架自身所承擔(dān)的功能豐富，這無(wú)形中給軟件測(cè)試帶來(lái)困難。主要表現(xiàn)在：（1）由于JobTracker采用動(dòng)態(tài)調(diào)度方式分配任務(wù)，無(wú)法預(yù)先知道任務(wù)在集群的哪個(gè)TaskTracker節(jié)點(diǎn)中執(zhí)行；（2）無(wú)法預(yù)先知道m(xù)ap或者reduce任務(wù)執(zhí)行的節(jié)點(diǎn)位置；（3）不像傳統(tǒng)的軟件測(cè)試可以在錯(cuò)誤發(fā)生之前設(shè)置斷點(diǎn)；（4）部分功能依賴分布式集群，雖然功能存在，但是無(wú)法預(yù)測(cè)其所在節(jié)點(diǎn)。這些都是傳統(tǒng)軟件測(cè)試所未曾碰到過(guò)的問(wèn)題。

3.傳統(tǒng)軟件測(cè)試平臺(tái)難以滿足大數(shù)據(jù)處理的需求。傳統(tǒng)C/S和B/S架構(gòu)的軟件平臺(tái)，其性能測(cè)試借助協(xié)調(diào)控制器直接向服務(wù)器發(fā)送響應(yīng)請(qǐng)求，實(shí)現(xiàn)服務(wù)器的壓力測(cè)試。對(duì)于服務(wù)器數(shù)量有限，并發(fā)請(qǐng)求數(shù)在百、千數(shù)量級(jí)的應(yīng)用服務(wù)，傳統(tǒng)軟件測(cè)試方法能滿足其需求。大數(shù)據(jù)時(shí)代，數(shù)據(jù)規(guī)模和用戶數(shù)量急劇增長(zhǎng)，服務(wù)器的訪問(wèn)數(shù)量、次數(shù)和頻率也在逐步上升，這就勢(shì)必會(huì)造成服務(wù)系統(tǒng)崩潰、服務(wù)喪失等現(xiàn)象，采用云架構(gòu)可以緩解這種危機(jī)，但是系統(tǒng)部署在千萬(wàn)級(jí)的服務(wù)器資源上，必然會(huì)給軟件測(cè)試帶來(lái)困難。

4.軟件測(cè)試的殺蟲(chóng)劑效應(yīng)日益顯現(xiàn)。軟件測(cè)試的殺蟲(chóng)劑效應(yīng)是指測(cè)試軟件越多，軟件的免疫力越強(qiáng)的現(xiàn)象。跟農(nóng)藥殺蟲(chóng)相似，如果長(zhǎng)期使用同一種農(nóng)藥來(lái)殺蟲(chóng)，則蟲(chóng)子就會(huì)產(chǎn)生抗藥性，再繼續(xù)使用這種農(nóng)藥就起不到殺蟲(chóng)作用了。在構(gòu)件化軟件開(kāi)發(fā)日趨頻繁的今天，軟件開(kāi)發(fā)中期發(fā)現(xiàn)的各種缺陷均可以通過(guò)驗(yàn)證和校驗(yàn)的形式集成到各種構(gòu)件中，形成構(gòu)件的內(nèi)在屬性，其對(duì)已有的測(cè)試方法會(huì)產(chǎn)生天然免疫力。殺蟲(chóng)劑效應(yīng)促使軟件測(cè)試技術(shù)必須不斷的更新和升級(jí)。通常情況下軟件測(cè)試初期較少的測(cè)試用例就會(huì)發(fā)現(xiàn)較多的缺陷，在軟件測(cè)試后期，發(fā)現(xiàn)錯(cuò)誤和缺陷的數(shù)量會(huì)逐漸趨于平緩，甚至缺陷數(shù)量在某些周期內(nèi)停止增長(zhǎng)。殺蟲(chóng)劑效應(yīng)使得軟件測(cè)試初期發(fā)現(xiàn)錯(cuò)誤和缺陷的難度增加；同樣數(shù)量的測(cè)試用例發(fā)現(xiàn)缺陷的數(shù)量也在減少；軟件測(cè)試前期發(fā)現(xiàn)缺陷的數(shù)量在減少，發(fā)現(xiàn)缺陷的總數(shù)量也在減少。

四、如何應(yīng)對(duì)挑戰(zhàn)

如何應(yīng)對(duì)大數(shù)據(jù)云計(jì)算背景下軟件測(cè)試的挑戰(zhàn)，有效避免軟件測(cè)試所面臨的諸多困難？建議從以下幾個(gè)方面做起。

1.改進(jìn)軟件測(cè)試技術(shù)。單一的測(cè)試技術(shù)需要向多元化、綜合性測(cè)試技術(shù)發(fā)展，才能有效克服軟件測(cè)試中的殺蟲(chóng)劑效應(yīng)。從兩個(gè)方面來(lái)改進(jìn)軟件測(cè)試技術(shù)，一是對(duì)傳統(tǒng)軟件測(cè)試方法進(jìn)行升級(jí)和改造；二是在軟件測(cè)試過(guò)程中盡量綜合使用多種測(cè)試方法和技術(shù)。

2.面向智能化數(shù)據(jù)處理技術(shù)的應(yīng)用。大數(shù)據(jù)云計(jì)算所帶來(lái)的軟件測(cè)試ORACLE問(wèn)題，需要從軟件測(cè)試的用例設(shè)計(jì)上著手，測(cè)試用例的設(shè)計(jì)不但要保持原有的功能和作用，而且還要更多的考慮大數(shù)據(jù)處理時(shí)輸入樣本集的分布特性、大小，以及輸出ORACLE的評(píng)判方法。

3.面向云架構(gòu)的自動(dòng)化測(cè)試環(huán)境的構(gòu)建。要滿足大數(shù)據(jù)處理運(yùn)行的云架構(gòu)環(huán)境測(cè)試，實(shí)現(xiàn)客戶端環(huán)境的處理能力和服務(wù)器端需求相匹配，不但需要云架構(gòu)能夠充當(dāng)云測(cè)試環(huán)境負(fù)載產(chǎn)生器，而且還要進(jìn)一步探索和研究在大規(guī)模并發(fā)問(wèn)題產(chǎn)生時(shí)軟件測(cè)試、系統(tǒng)監(jiān)控所產(chǎn)生的新要求和解決的新方法。

五、結(jié)論

大數(shù)據(jù)云計(jì)算的快速發(fā)展，給軟件測(cè)試帶來(lái)前所未有的挑戰(zhàn)。不論是傳統(tǒng)軟件測(cè)試平臺(tái)無(wú)法適應(yīng)大數(shù)據(jù)處理的需求，還是云架構(gòu)對(duì)軟件測(cè)試帶來(lái)的高標(biāo)準(zhǔn)高要求，以及軟件測(cè)試的ORACLE和殺蟲(chóng)劑效應(yīng)等問(wèn)題，要有效的應(yīng)對(duì)這些挑戰(zhàn)，應(yīng)該從改進(jìn)軟件測(cè)試技術(shù)、應(yīng)用面向智能化數(shù)據(jù)處理技術(shù)和構(gòu)建面向云架構(gòu)的自動(dòng)化測(cè)試環(huán)境等方面做起，不斷探索和研究新的軟件測(cè)試的技術(shù)和方法，提高大數(shù)據(jù)云計(jì)算環(huán)境下軟件測(cè)試的能力和水平。

參考文獻(xiàn)：

[1]蔡立志，閻婷.大數(shù)據(jù)背景下軟件測(cè)試的挑戰(zhàn)與展望[J].計(jì)算機(jī)應(yīng)用與軟件，2014，31（2）：5-8.

[2]代亮，陳婷，許宏科等.大數(shù)據(jù)測(cè)試技術(shù)研究[J]，計(jì)算機(jī)應(yīng)用研究，2014，31（6）：1606-1611.

[3]張振華.大數(shù)據(jù)背景下軟件測(cè)試的挑戰(zhàn)及其展望探析[J].電子技術(shù)與軟件工程，2016，（6）：61-61.

[4]劉智慧，張泉靈.大數(shù)據(jù)技術(shù)研究綜述[J].浙江大學(xué)學(xué)報(bào)（工學(xué)版），2014，48（6）：957-972.

Abstract：In view of the problems of software testing in the background of big data cloud computing，this paper analyzes the reasons why traditional software testing can not adapt to big data processing. Cloud architecture put forward higher requirements for software testing，as well as software testing of ORACLE and insecticide effects，put forward new measures and methods to deal with the challenge，explore and research new technologies and new methods of software testing，they are the top priority of software engineeringdevelopment.

Key words：big data；cloud computing；software testing；challenges