基于ＬＩＮＵＸ平臺的自動化測試的研究與應(yīng)用

李金麗

摘要：本文面向Linux平臺和平臺下不同類型應(yīng)用的特點，研究了自動化測試的技術(shù)和工具，并從功能測試和性能測試的角度對Linux平臺下測試工作的自動化進行7分析和說明。文中提供的方法和技術(shù)已經(jīng)成功應(yīng)用于上海中標軟件有限公司服務(wù)器產(chǎn)品和桌面產(chǎn)品的測試工作中。

關(guān)鍵詞：Linux；自動化測試；軟件應(yīng)用

引言

現(xiàn)代軟件規(guī)模的逐漸增加，使得軟件測試的工作量越來越大，同時軟件開發(fā)周期的縮短又要求盡量提高測試效率，而受開發(fā)資金的限制測試資源不可能大幅度增加，一切使得傳統(tǒng)的手工測試已經(jīng)無法滿足現(xiàn)代軟件開發(fā)的要求。另一方面，許多公司已經(jīng)把軟件測試作為保證軟件質(zhì)量、提高軟件可靠性的主要手段之一，花費在軟件測試上的資源已經(jīng)占到整個軟件研發(fā)成本的50～60％，軟件測試能否按時完成已經(jīng)成為軟件能否按時交付的瓶頸。所有這一切都使得對軟件測試實施自動化勢在必行。

目前，市場上自動化測試工具不少，按用途可分為：功能測試工具，性能測試工具，測試管理工具等。就實現(xiàn)技術(shù)原理而言主要分為兩類：一類是捕捉／回放技術(shù)，一類是編寫測試腳本技術(shù)。捕捉／回放技術(shù)的腳本由捕捉時自動生成。捕捉階段，工具記錄用戶的一系列鼠標點擊和鍵盤按鍵操作，并將這些操作轉(zhuǎn)化為腳本。回放時把這些腳本作為輸入在被測程序上執(zhí)行，根據(jù)執(zhí)行后的狀態(tài)信息和輸出結(jié)果與原始記錄的比對來判定是否存在差異。編寫腳本技術(shù)需要用戶以一個指定的腳本語言編寫測試腳本，對于測試腳本的維護、測試執(zhí)行的驅(qū)動以及測試結(jié)果的統(tǒng)計等可由用戶自行實現(xiàn)，也可以使用專門的測試工具或者測試框架幫助完成。通過測試自動化的實施，可以使測試人員從大量的重復測試中解放出來。

在Linux平臺下進行自動化測試，可以使用的商業(yè)測試工具并不是很多，但是由于開源軟件產(chǎn)業(yè)的蓬勃發(fā)展，在各個開源社區(qū)維護的開源項目中提供了大量的、針對不同類型應(yīng)用以及不同類型測試的測試工具，這些工具可以滿足基本的自動化測試需求，同時可以結(jié)合具體應(yīng)用的特點，通過進一步改造工具來完成測試自動化的目的。

本文所進行的自動化測試的研究對象主要針對Linux平臺及平臺之上的應(yīng)用，測試的類型主要包括功能測試和性能測試。

自動化測試曲研究與應(yīng)用

自動化測試的前提是無論采用何種測試技術(shù)和測試方法，組織已經(jīng)積累了針對各種類型應(yīng)用的包括完整的測試輸入、測試執(zhí)行步驟和預(yù)期輸出的測試用例。

由于Linux是一個命令行組成的操作系統(tǒng)，因此采用腳本編程，按照預(yù)設(shè)的執(zhí)行邏輯批量地執(zhí)行命令行，是實施自動化測試時首先需要考慮的手段。為了實現(xiàn)更復雜的測試工作的自動化，也可以選擇或者自行開發(fā)測試工具或測試框架。在選擇工具或框架時，通常需要考慮是否具備如下幾個要素：a，測試執(zhí)行人員可以選擇運行哪些測試組件／測試用例b，提供定義用例執(zhí)行結(jié)果的輸出方式，如提供成功、失敗、未執(zhí)行等函數(shù)供調(diào)用c，可以加載用戶自定義的函數(shù)庫d，提供用例執(zhí)行的配置文件或者場景文件e，提供調(diào)試的機制f，提供日志輸出方式g，提供結(jié)果統(tǒng)計輸出等等。

在Linux平臺下，借助工具或者其他手段實施測試的自動化時，需要關(guān)注以下幾點：

(一)各種技術(shù)應(yīng)用的前提。對于在開源社區(qū)和一些開源項目中獲得的測試工具，首先需要了解工具適用于哪些類型應(yīng)用的測試，以及工具發(fā)布后的發(fā)布說明和FAQ。開源的工具通常不像商業(yè)工具那樣成熟穩(wěn)定，因此找出工具的適用范圍以及探索工具的實現(xiàn)程度是進行自動化測試應(yīng)用的前提。

(二)各種技術(shù)應(yīng)用的環(huán)境需求。對于各類工具，需要關(guān)注編譯和運行時對各種包和庫及其版本的依賴關(guān)系以及對預(yù)先安裝的應(yīng)用的依賴關(guān)系。這些在用戶手冊中都有詳盡的說明。

(三)服務(wù)器性能監(jiān)視器。大部分測試工具沒有提供服務(wù)器端的性能監(jiān)控功能，測試工程師需要根據(jù)實際的需求編寫性能監(jiān)控腳本來配合工具的使用。

下面結(jié)合曾經(jīng)參與進行過的Linux平臺下的自動化測試的研究，面向不同類別的測試用例自動化的需求，將主要從功能測試，如GUI測試、命令行客戶端的測試，以及性能測試等幾個方面對Linux平臺下的測試工作的自動化進行分析和說明。

GZW自動化洲試

對于GUI測試的自動化，通常的測試工具所使用的捕捉／回放技術(shù)有兩種，一種是通過記錄界面的鼠標事件(如點擊、移動)和鍵盤事件來完成錄制和回放，另外一種則是錄制和回放都是基于控件的識別和操作進行的，每個腳本的執(zhí)行都是控件對象的屬性改變或事件觸發(fā)。我們從開源社區(qū)可以獲得如上兩種類型的運行于Linux平臺之上的典型測試工具，如Knee和LDTP等。

(一)Xnee工具

在Linux操作系統(tǒng)的xll環(huán)境下，Xnee能夠錄制、回放和分發(fā)用戶的動作。Xnee的捕捉／回放技術(shù)是記錄鼠標事件和鍵盤事件。進入錄制模式時，Xnee記錄發(fā)送至和來自X server之間的協(xié)議數(shù)據(jù)拷貝，并生成Xneesession文件。在回放模式下，Xnee讀取Xnee Session中的事件，模仿整個錄制過程(即用戶操作過程)完成和x server之間的通訊，被錄制的應(yīng)用軟件(Xclient)則接收來自xserver的消息，完成預(yù)設(shè)的動作。

(二)LDTP測試工具／框架

Linux Desktop Testing Project(LDTP)測試工具／框架能夠基于用戶在應(yīng)用界面的選擇進行腳本的錄制。LDTPI具使用了Gnome環(huán)境下的Accessibility庫即輔助選項庫(at-spi)。使用輔助選項能夠獲得應(yīng)用通過AT-SPI協(xié)議提供的關(guān)于用戶界面的信息和界面控件的當前狀態(tài)或者屬性。LDTPI具／框架的體系結(jié)構(gòu)如下：

AT-SPI的基礎(chǔ)思想就是為用戶界面的可視化元素提供對應(yīng)的輔助對象，而錄制完成的每個腳本的執(zhí)行都是基于這些輔助對象進行的。對于希望利用LDTPI具進行測試的應(yīng)用，需要激活輔助選項。

(三)GUI自動化測試工具的應(yīng)用

在實際的GUI自動化測試中，LDTPI具應(yīng)用的場景會更廣泛一些。LDTPI具可以識別窗口中的對象(如按鈕)，測試腳本使用LDTP的API接口，每個API接口對UI對象進行操作存在兩個最基本的入口，即窗口和對象，窗口通過窗口的類型和名稱(即標題)識別，對象通過希望操作的控件的類型和名稱(標簽或者關(guān)聯(lián)的標簽)識別。我們同樣可以通過at-pokel具展現(xiàn)激活了輔助選項的應(yīng)用程序窗口的對象及對象屬性。在測試Linux桌面產(chǎn)品和服務(wù)器

產(chǎn)品的過程中，使用LDTPI具可以測試任何啟用輔助選項的Gnome應(yīng)用，如Mozilla，OpenOffice.org、Evolution郵件客戶端，Nautilus文件瀏覽器等等，此外還可以測試UI界面基于Swing的Java應(yīng)用，以及KDE4.O上基于QT4.0的應(yīng)用等等。

而Xneel具所針對的應(yīng)用程序類型就沒有特別的限制，對于一些簡單的窗口驗證測試和界面的穩(wěn)定性測試等則比較有效。Xnee相對于基于控件方式捕獲和回放的工具而言，不用擔心存在控件不能被識別的問題。

從使用的情況來看，各個工具也都因為實現(xiàn)技術(shù)而存在一定的缺陷，如兩個工具均不能插入驗證點，從而不能實現(xiàn)用例級別的結(jié)果驗證；LDTP對于界面的個別元素捕獲不到以及不能對不支持輔助選項的應(yīng)用進行測試等等；而Xneel具生成的腳本可編輯性差，同時由于錄制生成的腳本中的事件和屏幕坐標相關(guān)，因此當出現(xiàn)窗口彈出位置發(fā)生變化等問題時，就需要考慮回放時應(yīng)該如何來處理這些變化。

命令行客戶端的測試

(一)應(yīng)用于命令行客戶端測試的技術(shù)分析

Linux操作系統(tǒng)的精髓就是命令行，對于可以通過命令行批處理方式進行測試的客戶端，Shell腳本語言是程序員測試時的首選，Shell提供了用戶與內(nèi)核進行交互操作的一種接口。

而對于測試交互式類型的客戶端應(yīng)用，Expect則比較擅長。Expect是基于tcl的用于測試交互式程序的工具包，它提供了創(chuàng)建交互式進程和讀寫它們的輸入和輸出的命令。Expect很適合編寫測試程序，不管被測的軟件是批處理式的(比如GCC)，還是交互式的(比如GDB)，它都可以很方便的捕捉程序的輸出并且將程序的輸入自動化。

對于編寫完成的測試腳本，需要選擇合適的框架來統(tǒng)一管理測試腳本，驅(qū)動測試腳本按照流程執(zhí)行，以及為測試執(zhí)行結(jié)果提供統(tǒng)一的輸出等等。經(jīng)過比較，各種測試框架中選出了DejaGnu和TET，因為這兩個框架使用廣泛、活躍度比較高、有活躍的社區(qū)組織支持。TET支持多種腳本語言，它提供對c／c++、Java、perl、shell，ksh，python，ruby，php，tcl／expect等眾多語言的支持，支持分布式測試。Dejagnu即GNU測試框架，它提供了運行測試的統(tǒng)一前臺，對于使用者而言，DejaGnu實際上就是一個Tel庫，它提供了豐富的函數(shù)庫，使得用戶可以方便地編寫自己的測試驅(qū)動程序。該框架的缺點是缺省只支持調(diào)用Expect編寫的測試程序，如果需要調(diào)用其他語言編寫的測試程序，則需要對框架進行擴展。

(二)實際應(yīng)用

在Linux操作系統(tǒng)之上存在很多命令行客戶端及交互式類型的客戶端，如常見的網(wǎng)絡(luò)服務(wù)程序sshl ftp，telnet，數(shù)據(jù)庫客戶端mysql，配置管理軟件CVS。等等。使用上述的測試技術(shù)可以完成對這類應(yīng)用程序的測試自動化。

在中標軟件的測試實踐中選擇了Dejagnu框架，該框架符合POSIx1003，3測試框架標準，并定義了測試用例執(zhí)行結(jié)果的輸出函數(shù)，如pass，fail，xpass，xfail等等，因此可以使用框架的用例輸出定義在日志中記載測試結(jié)果。

性能測試

性能測試是通過自動化的測試工具模擬多種正常、峰值以及異常負載條件來對系統(tǒng)的各項性能指標進行測試。性能測試方法一般有基準測試、容量規(guī)劃測試、峰谷測試和滲入測試等等，對于可再現(xiàn)性，基準測試是最好的方法，而如果需要從當前用戶負載的角度考慮測試系統(tǒng)的上限，則應(yīng)該使用容量規(guī)劃測試。

(一)性能測試工具的選擇

測試團隊在規(guī)劃性能測試時，出于對測試數(shù)據(jù)的可信度考慮，可以選擇商業(yè)測試工具，如Loadrunner、Rati onalR 0b Ot、QAL Oad、Benchmark Factory等工具，另外SPEC(the Standard PerformanceEvaluation Corporation標準性能評估機構(gòu))提供的系列基準測試套件都是企業(yè)進行基準測試的最佳選擇。

如果成本是首要考慮的因素，那么就不妨在一些開源測試站點(如http：//www.opensourcetesting，org)和Linux開源社區(qū)的項目中尋找能夠完成特定目標的性能測試工具。這些工具大部分針對性比較強，部署簡單，當然很少工具能夠與成熟的商業(yè)測試工具媲美。不過開源工具也具有自己的特點，如小巧，輕便，在各自擅長的領(lǐng)域可以提供優(yōu)秀的解決方案等等。因此可以考慮準備一組開源測試工具，利用不同工具的特長完成性能測試自動化的需要。采用開源測試工具得到的性能測試數(shù)據(jù)，主要用于進行同類產(chǎn)品之間的橫向?qū)Ρ纫约巴划a(chǎn)品不同版本之間的縱向?qū)Ρ取?/p>

(二)性能測試工具的應(yīng)用

下面將從不同的測試需求出發(fā)。討論如何利用開源測試工具進行性能測試的自動化。

1、服務(wù)器整機系統(tǒng)的性能測試

性能測試是衡量一個操作系統(tǒng)效率的關(guān)鍵步驟，對于Linux操作系統(tǒng)，Linux內(nèi)核是其最核心的部分，其性能直接決定了操作系統(tǒng)的性能，內(nèi)核性能測試的方法是針對Linux內(nèi)核五大子系統(tǒng)：進程調(diào)度子系統(tǒng)、內(nèi)存管理子系統(tǒng)、虛擬文件子系統(tǒng)、進程通信子系統(tǒng)和網(wǎng)絡(luò)子系統(tǒng)的特點，測量出Linux內(nèi)核完成工作量負載的響應(yīng)時間、CPU時間和CPU利用率等參數(shù)，作為衡量標準。在實際測試中我們采用了如下一些基準測試工具：

1Lmbench：用來測試1inux操作系統(tǒng)的cpu計算處理能力、進程調(diào)度、內(nèi)存讀寫性能；測試主要可使用bw_dhrv和bw—mem，lat proc三個測試命令，分別對應(yīng)于整數(shù)性能測試，讀寫內(nèi)存測試，進程調(diào)度測試。

2Bonnie++：磁盤I/O測試工具，主要用于測試磁盤和文件系統(tǒng)的性能。它可以測試文件的創(chuàng)建，讀，寫和刪除等操作，既可以測試小文件，也可以測試大的單個文件。

3Web應(yīng)用服務(wù)器的性能測試

在中標軟件的web郵件服務(wù)器測試中采用了Apache組織的開源項目工具JMeter。JMeter可以用于測試靜態(tài)或者動態(tài)資源的性能(文件、Servlets、Perl腳本、java對象、數(shù)據(jù)庫和查詢、ftp服務(wù)器或者其他的資源)。JMeter用于模擬在服務(wù)器、網(wǎng)絡(luò)或者其他對象上附加高負載以測試他們提供服務(wù)的受壓能力，或者分析他們提供的服務(wù)在不同負載條件下的總性能情況。用戶可以使用JMeter提供的圖形化界面分析性能指標或者在高負載情況下測試服務(wù)器／腳本／對象的行為。

4數(shù)據(jù)庫性能測試

基于開源的數(shù)據(jù)庫性能測試工具并不是很多，這些工具本身都預(yù)先提供了一組測試用例如The DatabaseOpensource Test Suite(DOTS)工具，提供了8個基本用例和2個高級用例，并支持對DB2、Oracle、Sybase、MySQL和Pos tgreSQL等多種類型數(shù)據(jù)庫進行壓力測試和負載測試，另外一些工具則預(yù)先構(gòu)造了支持不同負載模式測試的配置，如最新版本的Hammerora(The Open Sourceoracle Load Test T001)工具就提供了專門針對Oracle數(shù)據(jù)庫進行測試的設(shè)定基準測試TPC—C和TPC—H的模式選項以及編寫驅(qū)動腳本等功能。從實踐過程來看，預(yù)置測試用例的工具存在的缺陷是用戶無法對這些用例根據(jù)實際測試需求進行拓展，而可編程性強的測試工具則在支持的數(shù)據(jù)庫類型上存在一定的限制。

結(jié)束語

針對Linux平臺和平臺下的應(yīng)用進行自動化測試，需要測試人員熟悉Linux平臺下的腳本開發(fā)技術(shù)，并以開源社區(qū)中存在的大量的功能和性能測試工具作為自動化測試的研究起點。各個測試團隊需要根據(jù)自身的測試需求對各種工具和技術(shù)進行分析和選擇，同時根據(jù)實踐活動判斷工具可以完成的測試內(nèi)容以及目前尚存的缺陷。這些都將為我們應(yīng)用工具進行更大規(guī)模的自動化測試提供必要的基礎(chǔ)。