大數(shù)據(jù)系統(tǒng)的評(píng)測(cè)方法研究

◆羅 芬

?

大數(shù)據(jù)系統(tǒng)的評(píng)測(cè)方法研究

◆羅 芬

（上海市軟件評(píng)測(cè)中心有限公司 上海 200233）

隨著大數(shù)據(jù)時(shí)代的來臨，大數(shù)據(jù)越來越受到關(guān)注。大數(shù)據(jù)系統(tǒng)架構(gòu)設(shè)計(jì)的復(fù)雜性使得系統(tǒng)測(cè)試也非常復(fù)雜，本文將簡(jiǎn)要介紹大數(shù)據(jù)系統(tǒng)的特點(diǎn)，其測(cè)試的挑戰(zhàn)和關(guān)鍵技術(shù)，并通過介紹測(cè)試方法，以期提高大數(shù)據(jù)系統(tǒng)的穩(wěn)定性和安全性。

大數(shù)據(jù)；大數(shù)據(jù)分析；Hadoop技術(shù)架構(gòu)；大數(shù)據(jù)測(cè)試

0 引言

大數(shù)據(jù)已經(jīng)毫無爭(zhēng)議成為當(dāng)下信息技術(shù)發(fā)展趨勢(shì)和熱點(diǎn)，其系統(tǒng)具有高性能、高擴(kuò)展、高可用、高效能、易使用、易管理等特點(diǎn)，其架構(gòu)設(shè)計(jì)的復(fù)雜性使得系統(tǒng)測(cè)試也非常復(fù)雜，本文將在通用的系統(tǒng)與軟件要求和評(píng)價(jià)規(guī)范標(biāo)準(zhǔn)[1]的基礎(chǔ)上，基于大數(shù)據(jù)的核心數(shù)據(jù)特征和Hadoop技術(shù)架構(gòu)特點(diǎn)提出大數(shù)據(jù)測(cè)試方法、關(guān)鍵技術(shù)，對(duì)大數(shù)據(jù)系統(tǒng)軟件的評(píng)測(cè)方法做嘗試性研究。

1 大數(shù)據(jù)系統(tǒng)的定義、特點(diǎn)及其測(cè)試關(guān)鍵點(diǎn)

大數(shù)據(jù)系統(tǒng)是指存儲(chǔ)、分析處理大數(shù)據(jù)的軟硬件系統(tǒng)，主要包括大數(shù)據(jù)的存儲(chǔ)系統(tǒng)和大數(shù)據(jù)分析處理系統(tǒng)。大數(shù)據(jù)系統(tǒng)具有高性能、高擴(kuò)展、高可用、高效能、易用、易管理等特點(diǎn)，結(jié)合系統(tǒng)與軟件工程中系統(tǒng)與軟件質(zhì)量要求和評(píng)價(jià)，其測(cè)試關(guān)鍵點(diǎn)有：

( 1 ) 數(shù)據(jù)的讀、寫、刪等測(cè)試，一般將對(duì)照需求規(guī)格書對(duì)所有的基本功能(接口)進(jìn)行測(cè)試，保證系統(tǒng)基本功能的正確性。

( 2 ) 高可擴(kuò)展性測(cè)試，大數(shù)據(jù)系統(tǒng)一般是分布式的，分布式系統(tǒng)支持服務(wù)熱插拔，其測(cè)試需要根據(jù)本身系統(tǒng)的特性設(shè)計(jì)相應(yīng)的擴(kuò)展功能或者容災(zāi)用例，如增加或者刪除節(jié)點(diǎn)，此時(shí)需要考慮數(shù)據(jù)的完整性和一致性，不能影響數(shù)據(jù)正常操作[2]。

( 3 ) 高可用性也叫高穩(wěn)定性，大數(shù)據(jù)系統(tǒng)的測(cè)試需要增加穩(wěn)定性壓力測(cè)試，保證各種情況下服務(wù)的正常。增加異常的容災(zāi)用例，如不同節(jié)點(diǎn)的異常以及服務(wù)的關(guān)起等測(cè)試[3]，在一定約束條件下測(cè)試系統(tǒng)所能承受的最大并發(fā)用戶量、運(yùn)行時(shí)間、數(shù)據(jù)量，以確定系統(tǒng)在給定約束條件下的服務(wù)能力，并最終確定在什么負(fù)載條件下系統(tǒng)性能處于失效狀態(tài)，并以此來獲得系統(tǒng)能提供的最大服務(wù)級(jí)別的測(cè)試。

( 4 ) 易用性測(cè)試，主要從可辨識(shí)性（功能的易理解性、描述的完整性和軟件出錯(cuò)消息的易理解性）、易學(xué)性（用戶接口、幫助功能或用戶文檔集的有效性）、易操作性、用戶差錯(cuò)防御性、用戶界面舒適性（用戶界面的易定制性）、易訪問性等維度判別該大數(shù)據(jù)系統(tǒng)的易用性。

2 大數(shù)據(jù)系統(tǒng)評(píng)測(cè)的挑戰(zhàn)

首先由IBM提出的大數(shù)據(jù)系統(tǒng)本身具有5V特性，即：大規(guī)模（Volume）、多種數(shù)據(jù)類型（Variety）、多維度（Multi-Dimension）、數(shù)據(jù)價(jià)值密度低（Value）和可控的數(shù)據(jù)質(zhì)量（Qualify），設(shè)計(jì)大數(shù)據(jù)系統(tǒng)的測(cè)試用例同時(shí)需要滿足5V特性；其次，大數(shù)據(jù)系統(tǒng)架構(gòu)一般采用Master-Slave或者Peer to Peer等分布式架構(gòu)，其架構(gòu)復(fù)雜，其網(wǎng)絡(luò)環(huán)境、硬件配置、系統(tǒng)的配置參數(shù)、虛擬化等因素都將影響大數(shù)據(jù)系統(tǒng)的性能；第三，來自測(cè)試方法的挑戰(zhàn)，傳統(tǒng)的測(cè)試工具并不適用大數(shù)據(jù)測(cè)試系統(tǒng)，缺乏自動(dòng)化測(cè)試手段，系統(tǒng)的不同模塊需要不同的測(cè)試技術(shù)等；第四，缺乏專業(yè)的測(cè)試人員，大數(shù)據(jù)系統(tǒng)的特點(diǎn)對(duì)測(cè)試人員的測(cè)試技術(shù)和知識(shí)面要求比較高，但是目前具備專業(yè)的大數(shù)據(jù)系統(tǒng)測(cè)試評(píng)測(cè)人員并不多。

3 大數(shù)據(jù)系統(tǒng)的評(píng)測(cè)方法

大數(shù)據(jù)系統(tǒng)評(píng)測(cè)一般分為4個(gè)步驟，分別是評(píng)測(cè)計(jì)劃（需求分析、評(píng)測(cè)環(huán)境準(zhǔn)備）、測(cè)評(píng)規(guī)程（對(duì)于給定測(cè)試用例的設(shè)置、執(zhí)行和結(jié)果評(píng)價(jià)的詳細(xì)說明）、評(píng)測(cè)過程（評(píng)測(cè)數(shù)據(jù)加載）、系統(tǒng)評(píng)測(cè)與結(jié)果分析。

3.1 大數(shù)據(jù)系統(tǒng)評(píng)測(cè)計(jì)劃

大數(shù)據(jù)系統(tǒng)評(píng)測(cè)計(jì)劃主要關(guān)注兩個(gè)階段，一是需求分析階段，一是評(píng)測(cè)環(huán)境準(zhǔn)備階段。

評(píng)測(cè)需求分析階段主要關(guān)注的是大數(shù)據(jù)系統(tǒng)的性能和可靠性，例如吞吐量、任務(wù)完工時(shí)間、內(nèi)存利用率等多個(gè)指標(biāo)，可以反映大數(shù)據(jù)分析平臺(tái)的處理能力、資源利用能力性能等等。

大數(shù)據(jù)系統(tǒng)對(duì)行業(yè)背景有一定的依賴性，很難進(jìn)行客觀、有效地測(cè)試，因此在大數(shù)據(jù)系統(tǒng)測(cè)試之前應(yīng)做好關(guān)于業(yè)務(wù)背景、測(cè)試平臺(tái)設(shè)計(jì)的前期準(zhǔn)備工作（如圖1所示）。大數(shù)據(jù)系統(tǒng)評(píng)測(cè)環(huán)境搭建通常需要準(zhǔn)備一個(gè)具有分布式數(shù)據(jù)存儲(chǔ)與分布式數(shù)據(jù)計(jì)算的集群，具有足夠的存儲(chǔ)與處理大規(guī)模數(shù)據(jù)集。存儲(chǔ)空間包括離線的磁盤空間和內(nèi)存空間。同時(shí)要確保集群中沒有運(yùn)行其他的應(yīng)用，集群中CPU和內(nèi)存利用率處于最低開銷。

圖1 大數(shù)據(jù)測(cè)試的前期準(zhǔn)備

3.2 評(píng)測(cè)規(guī)程

大數(shù)據(jù)系統(tǒng)評(píng)測(cè)規(guī)程中測(cè)試用例設(shè)計(jì)主要來源于兩大類。一類來源于實(shí)際的業(yè)務(wù)數(shù)據(jù)，一類來源于大數(shù)據(jù)基準(zhǔn)測(cè)試工具生成的模擬數(shù)據(jù)，我們根據(jù)系統(tǒng)評(píng)測(cè)的需要，設(shè)定合適的數(shù)據(jù)量、數(shù)據(jù)類型和數(shù)據(jù)邏輯。

3.3 評(píng)測(cè)過程

在大數(shù)據(jù)系統(tǒng)評(píng)價(jià)過程中重點(diǎn)在評(píng)測(cè)用例加載階段，我們需要重點(diǎn)驗(yàn)證數(shù)據(jù)是否已正確地加載到了分布式存儲(chǔ)系統(tǒng)，例如源數(shù)據(jù)和HDFS上大數(shù)據(jù)目錄、數(shù)據(jù)大小是否匹配，數(shù)據(jù)是否加載到了正確的HDFS存儲(chǔ)目錄等。如果數(shù)據(jù)需要被加載到分布式數(shù)據(jù)庫(kù)系統(tǒng)的話，我們需要重點(diǎn)驗(yàn)證數(shù)據(jù)是否能正確地加載到數(shù)據(jù)表中。

3.4 大數(shù)據(jù)系統(tǒng)評(píng)測(cè)與分析

大數(shù)據(jù)系統(tǒng)評(píng)測(cè)將從功能性、性能效率、兼容性、易用性、可靠性、信息安全性、維護(hù)性、可移植性、有效性、效率、滿意度、抗風(fēng)險(xiǎn)、周境覆蓋等特性，重點(diǎn)評(píng)測(cè)系統(tǒng)的功能性、性能效率、兼容性、信息安全性。

3.4.1功能性測(cè)試

大數(shù)據(jù)系統(tǒng)的功能性測(cè)試主要考慮功能完備性、功能正確性、功能適合性以及功能性的依從性，并以書面形式展示可驗(yàn)證的依從性證據(jù)。一般大數(shù)據(jù)系統(tǒng)的功能測(cè)試主要采用基于用戶文檔集的黑盒測(cè)試方法，通過用戶界面與用戶程序的交互，對(duì)交互的輸出或者結(jié)果進(jìn)行分析，以此驗(yàn)證系統(tǒng)功能是否符合產(chǎn)品說明中的要求及功能是否正確實(shí)現(xiàn)。

功能測(cè)試主要從以下角度來進(jìn)行考慮：

( 1 ) 系統(tǒng)基本功能的正確性、準(zhǔn)確性；

( 2 ) 系統(tǒng)功能實(shí)現(xiàn)的完整性，是否實(shí)現(xiàn)了需求相關(guān)文檔中的規(guī)定；

( 3 ) 系統(tǒng)內(nèi)部接口功能是否正確實(shí)現(xiàn)；

( 4 ) 系統(tǒng)的每個(gè)特性至少被一個(gè)正確測(cè)試用例所覆蓋；

( 5 ) 測(cè)試用例的輸入包括有效等價(jià)類、無效等價(jià)類和邊界值數(shù)據(jù)；

( 6 ) 逐項(xiàng)測(cè)試系統(tǒng)/子系統(tǒng)設(shè)計(jì)說明規(guī)定系統(tǒng)功能特性；

( 7 ) 測(cè)試系統(tǒng)的輸出及格式。

Hadoop是目前最熱門的大數(shù)據(jù)處理架構(gòu)[4]。其數(shù)據(jù)處理架構(gòu)及其測(cè)試要點(diǎn)如圖2所示。

圖2 Hadoop數(shù)據(jù)處理架構(gòu)及其測(cè)試要點(diǎn)

3.4.2性能測(cè)試

性能是評(píng)估一個(gè)大數(shù)據(jù)系統(tǒng)的最為關(guān)鍵的維度，大數(shù)據(jù)系統(tǒng)性能主要包括吞吐量、任務(wù)完工時(shí)間、內(nèi)存利用率等多個(gè)指標(biāo)，可以反映大數(shù)據(jù)系統(tǒng)的處理能力、資源利用能力等性能。可以通過Hadoop性能監(jiān)控器來監(jiān)測(cè)運(yùn)行狀態(tài)性能指標(biāo)和瓶頸問題，性能測(cè)試采用自動(dòng)化方式進(jìn)行，測(cè)試系統(tǒng)在不同負(fù)載情況下的性能[5]。

3.4.3容錯(cuò)性測(cè)試

容錯(cuò)性測(cè)試主要是為了避免死機(jī)，在測(cè)試過程中，大數(shù)據(jù)系統(tǒng)引起整個(gè)運(yùn)行環(huán)境死機(jī)的情況，系統(tǒng)部分失效后如何在不會(huì)嚴(yán)重地影響整體性能下自動(dòng)恢復(fù)的能力。當(dāng)故障發(fā)生時(shí)，大數(shù)據(jù)系統(tǒng)應(yīng)該在進(jìn)行恢復(fù)的同時(shí)繼續(xù)以可接受的方式進(jìn)行操作，在發(fā)生錯(cuò)誤時(shí)某種程度上可以繼續(xù)操作。此時(shí)，需要根據(jù)應(yīng)用場(chǎng)景來設(shè)計(jì)解決方案和具體部署，然后手動(dòng)進(jìn)行測(cè)試。

3.4.4信息安全性測(cè)試

大數(shù)據(jù)系統(tǒng)信息安全性主要考慮保密性，一方面是訪問的可控制性，可控制不同用戶對(duì)系統(tǒng)進(jìn)行訪問的權(quán)限，系統(tǒng)能夠屏蔽非法操作；另一方面是病毒檢查，采用殺毒軟件對(duì)被測(cè)軟件進(jìn)行掃描，檢測(cè)軟件是否含有已知的病毒。

4 小結(jié)

在當(dāng)今信息化潮流下，大數(shù)據(jù)系統(tǒng)產(chǎn)業(yè)正快速發(fā)展，與此同時(shí)，大數(shù)據(jù)系統(tǒng)的特殊性和復(fù)雜性決定了對(duì)其測(cè)試的艱巨性。實(shí)現(xiàn)對(duì)大數(shù)據(jù)系統(tǒng)的有效測(cè)試，才能最大限度提高大數(shù)據(jù)系統(tǒng)產(chǎn)品質(zhì)量，更好地服務(wù)于各個(gè)領(lǐng)域。

[1]GB/T 25000.51-2016 系統(tǒng)與軟件工程系統(tǒng)與軟件質(zhì)量要求與評(píng)價(jià)(SQuaRE)第51部分：就緒可用軟件產(chǎn)品（RUSP）的質(zhì)量要求和測(cè)試細(xì)則[s].

[2]TRAN N，SKHIRI S，LESUISSE A，et al.AROM：p-rocessing big data with data flow graphs and functional pro-gramming [C]// Proc of the 4th IEEE International Conferen-ce on Cloud Computing Technology and Science 2012，875-882.

[3]MAGNUSSON J，KVERNVIK T.Subscriber classificat-ion within telecom networks utilizing big data technologies and machine learning [C]//Proc of the 1st International Conf--erence on Big Data，Streams and Heterogeneous Source Mi-ning.New York：ACM Press，2012：77-84.

[4]HOFSTEE.H.P，CHEN.G.C，GEBARA.F.H，etal，Un--derstanding system design for big data workloads[J].IBM Jo-urnal of Research and Development，2013，5793/40：1-10.

[5]代亮，陳婷，許宏科，大數(shù)據(jù)測(cè)試技術(shù)研究[J].計(jì)算機(jī)應(yīng)用研究，2014，31(6)：1607-1608.