自動化技術(shù)在Klocwork測試中的應(yīng)用

羅春雷,于紅增,盧華斌

(中國電子科技集團(tuán)公司第五十四研究所,河北石家莊050081)

0 引言

在軟件開發(fā)與維護(hù)的全生命周期,各類角色的項目相關(guān)活動在很大程度上是重復(fù)性勞動,為了適應(yīng)軟件企業(yè)快速發(fā)展的需要,提高軟件過程效率,計算機(jī)輔助及自動完成這些重復(fù)勞動的自動化技術(shù)在許多現(xiàn)代軟件研發(fā)企業(yè)得到普遍應(yīng)用。自動化已成為現(xiàn)代軟件企業(yè)的重要標(biāo)志,相關(guān)技術(shù)也成為企業(yè)重要的IT基礎(chǔ)設(shè)施。

Klocwork是一款優(yōu)秀的源代碼靜態(tài)分析工具,支持缺陷檢查、代碼質(zhì)量度量和編碼規(guī)范檢查,在軟件研發(fā)過程中很好地應(yīng)用此工具可以使代碼的質(zhì)量和軟件穩(wěn)定性得到很大的提高。該工具提供了GUI和命令行2種操作界面,GUI界面操作簡單,可以完成大部分測試功能;而命令行界面不僅可以完成全部測試功能,也便于實(shí)現(xiàn)過程自動化。Klocwork自身并沒有提供自動測試框架或腳本供用戶使用,一般要借助于持續(xù)集成工具來實(shí)現(xiàn)自動化測試。本文提出一種基于Windows Shell腳本的Klocwork自動測試的技術(shù)框架,并給出了組建自動測試系統(tǒng)的實(shí)例。

1 Klocwork自動測試方法探討

自動化針對一個可重復(fù)性過程,并對其進(jìn)行改善。因此,要從軟硬件設(shè)施和制度上保證軟件過程活動的最大可重復(fù)性。

企業(yè)內(nèi)部實(shí)現(xiàn)自動化測試的進(jìn)程如下:

①依靠版本管理系統(tǒng),搭建測試所需的軟硬件環(huán)境;

②梳理測試步驟,規(guī)范測試流程;

③進(jìn)行自動化腳本設(shè)計;

④編寫、調(diào)試測試腳本,實(shí)現(xiàn)自動測試;

⑤完善測試腳本,實(shí)現(xiàn)制度化的自動化測試。

其中進(jìn)程④和⑤在一定時期內(nèi)可能會有反復(fù)。

1.1 測試環(huán)境設(shè)計

基于配置管理設(shè)施搭建測試環(huán)境,在版本管理工具和軟件測試工具之間建立起穩(wěn)固的聯(lián)系,既便于自動化,也可以保證被測軟件版本的正確。一個典型的基于開源Subversion源碼版本管理工具的K8(Klocwork 8.0,以下同)測試環(huán)境如圖1所示,考慮到一般情況,開發(fā)分為內(nèi)場(主要開發(fā)場地)和外場(聯(lián)試或用戶現(xiàn)場),K8軟件測試服務(wù)器部署在內(nèi)場。

圖1 基于Subversion的K8測試環(huán)境

1.2 測試流程設(shè)計

軟件測試流程在GUI操作界面和命令行操作界面中是不同的,自動化測試流程必須基于命令行操作界面來設(shè)計,并根據(jù)需要定制工作流程和添加自己的流程節(jié)點(diǎn)(比如獲取版本庫代碼、生成離線測試報告、測試狀態(tài)通知等)。

命令行界面中進(jìn)行K8測試的基本流程如下:

①創(chuàng)建被測C/C++項目的構(gòu)建規(guī)范文件;

②創(chuàng)建與被測C/C++項目對應(yīng)的K8工程;

③設(shè)置K8工程屬性;

④執(zhí)行構(gòu)建和缺陷檢查;

⑤加載缺陷檢查結(jié)果;

⑥生成離線報告。

在這些流程節(jié)點(diǎn)中,由于C/C++項目有VC++6.0、VC++.net、GNU C/C++和其他 makefile等多種工程類型,要用不同的K8命令創(chuàng)建它們的構(gòu)建規(guī)范文件,并且針對這些不同的工程類型,相應(yīng)K8工程的屬性集也有差異。因此,步驟①和③有多種情況需要考慮,而其他流程節(jié)點(diǎn)是一致的。

將K8測試流程和版本管理工具結(jié)合起來,并考慮測試過程的意外情況處理,K8缺陷檢查流程如圖2所示,從等待版本庫準(zhǔn)備好開始,到被測代碼沒有缺陷或沒有關(guān)注缺陷時結(jié)束。

從計劃和質(zhì)量管理角度講,工程項目軟件的測試要按照軟件測試計劃進(jìn)行,并需要在檢測后生成檢測報告,這超出了本文的探討范疇,不再討論。

圖2 K8缺陷檢查流程

1.3 測試命令選擇

Klocwork命令行界面提供了很多命令,其中與C/C++項目有關(guān)的命令包括:

①Kwadmin,用于管理K8工程,包括創(chuàng)建、刪除和屬性設(shè)置等;

②KwDspParser,為VC++6.0工程創(chuàng)建構(gòu)建規(guī)范.out文件;

③KwVcprojParser,為VC++.net工程創(chuàng)建構(gòu)建規(guī)范.out文件;

④Kwinject,為makefile工程創(chuàng)建構(gòu)建規(guī)范.out文件;

⑤Kwbuildproject,按照構(gòu)建規(guī)范(.out文件)進(jìn)行構(gòu)建和缺陷檢查;

⑥Kwinspecttrport,生成離線報告。

1.4 測試腳本架構(gòu)設(shè)計

按照上述K8軟件測試流程,可以設(shè)計出3個WSH腳本模塊或腳本文件:FindAllPrj.cmd、KwCheckAll.cmd和KwCheckPrj.cmd,分別完成不同的任務(wù),共同構(gòu)成一個自動化測試框架。

FindAllPrj.cmd是一個C/C++工程文件搜索工具,完成對待檢測C/C++工程文件的搜索,并生成工程文件清單PrjList.txt。

KwCheckAll.cmd工具實(shí)現(xiàn)測試所需環(huán)境變量初始化,并對PrjList.txt中工程列表進(jìn)行遍歷,遍歷時通過調(diào)用KwCheckPrj.cmd完成對單個工程的測試。

KwCheckPrj.cmd工具是測試功能的核心模塊,用于對單個的C/C++工程進(jìn)行缺陷檢查,記錄測試過程起止時間,并分別生成txt格式和xml格式的離線測試報告。其中,VC、VC.net和Tornado工程文件的擴(kuò)展名分別為dsp、sln和wpj,腳本能夠進(jìn)行自動識別,并作不同的處理。在創(chuàng)建Klocwork工程時它以項目縮寫前綴(由KwCheckAll工具設(shè)置并在調(diào)用KwCheckPrj時傳入)來區(qū)分不同項目中的C/C++工程或測試師。

2 測試腳本的開發(fā)

2.1 測試腳本的編寫

2.1.1 設(shè)置關(guān)注缺陷集

通過一次性設(shè)置好的缺陷類型列表,所有新建的缺陷檢查工程都將按照這個關(guān)注缺陷列表進(jìn)行代碼缺陷檢查。

通過設(shè)置系統(tǒng)關(guān)注缺陷列表,在每個K8工程創(chuàng)建時將默認(rèn)按照它設(shè)置關(guān)注缺陷集,所有項目記錄在名為problems_default. pconf.xml的文件中,它是XML格式的,可以逐項設(shè)置。

2.1.2 獲取工程的默認(rèn)配置

不管是哪種C++工程,獲取工程的默認(rèn)目標(biāo)是正確分析源代碼的關(guān)鍵,不同的編譯目標(biāo)往往對應(yīng)著不同的目標(biāo)系統(tǒng)和軟件環(huán)境配置。

2.1.3 項目屬性設(shè)置

必須針對每個項目進(jìn)行正確的屬性設(shè)置,以提高測試效率,方便結(jié)果查詢,配置結(jié)果都將存放在Projects服務(wù)器上。具體設(shè)置可以參考手冊中kwadmin set-project-property的幫助信息來獲得,也可以通過查看已有工程配置的方式來獲取。

2.1.4 實(shí)現(xiàn)遍歷

Windows的for/F命令可遍歷一個集合并對其中的每一個成員執(zhí)行需要的命令集。

限于篇幅,下面給出添加注釋后的測試腳本KwCheckPrj.cmd的實(shí)現(xiàn)片段,從中可以看出它覆蓋了設(shè)計的測試流程。KwCheckPrj.cmd如下:

::創(chuàng)建一個K8工程

kwadmin create-project%1_%～n2-langu age c,cxx—copy-sources

::設(shè)置K8工程屬性

kwadmin—host localhost set-project-property%1_%～n2 jobs_number auto

……

::得到一個VC++6.0項目的構(gòu)建文件

kwDspParser%2-c Debug-o%OUTDIR%\%～n2.out

::基于構(gòu)建文件進(jìn)行K8測試

kwbuildproject-S%1_%～n2-o″%table%″%OUTDIR%\%～n2.out

::將測試結(jié)果加載到K8工程數(shù)據(jù)庫

kwadmin load%1_%～n2″%table%″

::生成離線測試報告

kwinspectreport—project%1_%～n2—build build 1—xml%Report%\%～n2.xml

::利用ipmsg工具進(jìn)行測試結(jié)果通知

ipmsg/msg%DstHost%″%～n2測試完成.″

2.2 腳本調(diào)試與過程優(yōu)化

在腳本調(diào)試過程中,通過顯示腳本命令本身及命令輸出信息,可以及時發(fā)現(xiàn)并改正編碼錯誤和環(huán)境設(shè)置問題。

另外,K8測試是實(shí)踐性很強(qiáng)的工作,通過以下措施可以將測試過程進(jìn)一步優(yōu)化:

①進(jìn)行K8檢查需要大量的磁盤空間,要將Project_root 設(shè)置到空閑空間較大的分區(qū)上,以免自動測試過程因?yàn)榇疟P空間不足而意外中斷;

②K8默認(rèn)最大需要1 024 MB的物理內(nèi)存,當(dāng)機(jī)器的物理內(nèi)存較少時,應(yīng)該修改安裝目錄中java_wrappers.conf中JVM的有關(guān)參數(shù),設(shè)置為一個合理的數(shù)值,否則測試過程會因?yàn)轭l繁的內(nèi)存頁面切換而影響測試效率;

③確保測試機(jī)器上的軟件環(huán)境符合編譯需求,不能通過編譯的程序?qū)⒉荒苓M(jìn)行測試;

④K8支持多CPU與多核CPU,可以實(shí)現(xiàn)多任務(wù)并行測試,提高測試效率。

⑤利用命令行界面的即時聊天工具(如ipmsg、FeiQ等),在軟件檢測的過程中,可以用來遠(yuǎn)程報告軟件測試的結(jié)果和通知當(dāng)前測試的工作進(jìn)度。

2.3 執(zhí)行測試

假設(shè)C++工程列表文件為PrjList.txt(可通過人工或用FindAllPrj命令來自動生成),進(jìn)行缺陷檢測的命令為:

E:＞KwCheckAll zywg PrjList.txt

其中zywg為項目或測試師名稱縮寫,這樣在生成的K8項目工程中,工程名將帶有“zywg_”的前綴,以區(qū)分不同項目或測試師。

3 效果與分析

3.1 測試能力對比

雖然Klocwork可以對VC++6.0/VC++.net工程、Tornado工程、C/C++的Makefile工程、C#工程、Java Ant工程、C/C++目錄等進(jìn)行測試,但是它的GUI操作界面并不能完成全部這些功能,對C/C++的Makefile工程、C/C++目錄等的測試必須首先在命令行界面中生成build規(guī)范文件后,才能在GUI界面中繼續(xù)測試。而通過本文設(shè)計的自動化測試腳本,可以通過一個命令完成全部測試任務(wù),這種能力是Klocwork軟件本身所不具備的。

3.2 測試效率對比

采用本文設(shè)計的自動化框架進(jìn)行K8測試,可以自動完成對一系列C/C++項目的測試,即使僅僅是一個C/C++項目,由于免去了測試過程中的大量人工選擇與錄入工作,效率的提升也很明顯。

表1摘錄了某項目一次自動測試過程的部分測試記錄。

表1 自動測試記錄

這個項目在集成與系統(tǒng)調(diào)試階段需要每周對47個VC工程(其中有十幾大型的CORBA應(yīng)用)進(jìn)行一次K8測試。如果按照常規(guī),采用人工方式,測試師就要不間斷地重復(fù)創(chuàng)建一個工程,啟動對它的測試,并等待測試結(jié)束,以開始對下一個工程的測試,直到完成所有的測試工作,每一輪測試沒有2個工作日是很難完成的。而改用了本文設(shè)計的自動化框架和工具后,在單核CPU環(huán)境中測試過程縮減到不足7個小時,在雙核CPU下甚至僅需2個多小時。

總之,自動化的效益非?？捎^,不僅基本杜絕了過程中的人為失誤,而且可以大幅度提高生產(chǎn)效率。另外,自動化可以采用大量的腳本技術(shù)增強(qiáng)測試工具的適應(yīng)能力和表現(xiàn)能力,使測試過程更加人性化,更好地滿足測試工作的需要。

4 結(jié)束語

根據(jù)軟件企業(yè)的發(fā)展需要,逐步實(shí)現(xiàn)構(gòu)建、打包、安裝和測試等方面的自動化,或者更進(jìn)一步,借助敏捷過程工具 (如 Electric Cloud、Bamboo、CruiseControl等)整合企業(yè)的軟件過程,最大化過程的自動化,大大降低過程的人工依賴,企業(yè)將具有更強(qiáng)的生命力,科研生產(chǎn)能力必將達(dá)到一個新的水平。

[1]羅時飛.敏捷持續(xù)集成(CruiseControl版):高效研發(fā)之道.北京:電子工業(yè)出版社,2008.

[2]高如莎.一種軟件單元測試策略[J].無線電工程,2007,37(8):54-57.

[3]杜會斌,吳曉娟,周 旭.自動測試在軍事電子技術(shù)中的應(yīng)用[J].無線電工程,2005,35(9):61-64.