避免人工失誤移動(dòng)計(jì)費(fèi)系統(tǒng)嘗試自動(dòng)化測(cè)試

中國(guó)移動(dòng)福建公司業(yè)務(wù)支撐系統(tǒng)部 | 鄭瀾

避免人工失誤移動(dòng)計(jì)費(fèi)系統(tǒng)嘗試自動(dòng)化測(cè)試

中國(guó)移動(dòng)福建公司業(yè)務(wù)支撐系統(tǒng)部 | 鄭瀾

目前計(jì)費(fèi)測(cè)試大多采用手工方式，能夠測(cè)試的用例數(shù)量非常有限，測(cè)試結(jié)果也采用人工判斷的方式，工作量大且效率低下。

面對(duì)激烈的市場(chǎng)競(jìng)爭(zhēng)及復(fù)雜的業(yè)務(wù)模式，業(yè)務(wù)支撐系統(tǒng)開(kāi)發(fā)量與維護(hù)量都呈現(xiàn)大幅增長(zhǎng)的趨勢(shì)。如何確保計(jì)費(fèi)項(xiàng)目上線的質(zhì)量，成為當(dāng)前業(yè)務(wù)支撐系統(tǒng)的重中之重。目前計(jì)費(fèi)測(cè)試大多采用手工方式，能夠測(cè)試的用例數(shù)量非常有限，測(cè)試結(jié)果也采用人工判斷的方式，工作量大且效率低下。采用計(jì)費(fèi)自動(dòng)化測(cè)試，不僅有助于全面提高測(cè)試質(zhì)量，還能提高計(jì)費(fèi)項(xiàng)目的上線正確率。

傳統(tǒng)計(jì)費(fèi)測(cè)試的弊端

測(cè)試時(shí)間緊，測(cè)試任務(wù)重

業(yè)務(wù)支撐系統(tǒng)開(kāi)發(fā)量的大幅增長(zhǎng)引發(fā)了驗(yàn)收測(cè)試工作量的大幅增長(zhǎng)，各個(gè)業(yè)務(wù)間的關(guān)聯(lián)性越來(lái)越高，回歸測(cè)試工作量也不斷增大，計(jì)費(fèi)測(cè)試需要采用自動(dòng)化的方式在有限時(shí)間內(nèi)完成大量的測(cè)試工作。

測(cè)試用例設(shè)計(jì)不規(guī)范

目前的情況是，絕大部分測(cè)試用例都依靠手工編寫(xiě)，但不同測(cè)試人員的經(jīng)驗(yàn)和技能的差異會(huì)使得其設(shè)計(jì)出的測(cè)試用例參差不齊，這樣做不僅使得評(píng)審測(cè)試用例的時(shí)間和人力投入較大，而且還容易出現(xiàn)遺漏。

手工測(cè)試覆蓋面非常有限

手工測(cè)試效率較低，在有限時(shí)間內(nèi)只能進(jìn)行有軟件變更部分的測(cè)試以及少量的回歸測(cè)試，不可能將所有業(yè)務(wù)全部進(jìn)行覆蓋。更重要的是，手工測(cè)試結(jié)果完全靠人為判斷，存在人工失誤的風(fēng)險(xiǎn)。

難以實(shí)現(xiàn)精細(xì)化的批量測(cè)試

在測(cè)試環(huán)境上進(jìn)行大批量的話單計(jì)費(fèi)測(cè)試是計(jì)費(fèi)測(cè)試常用的一個(gè)手段，一般采用新舊系統(tǒng)分別計(jì)費(fèi)后進(jìn)行話單比對(duì)的方式來(lái)發(fā)現(xiàn)可能存在的問(wèn)題。但由于一個(gè)用戶可能申請(qǐng)多個(gè)套餐，系統(tǒng)對(duì)批價(jià)優(yōu)先級(jí)相同并且計(jì)費(fèi)結(jié)果相同的套餐在處理順序上可能存在隨機(jī)性的差異，就會(huì)造成套餐累加順序不同，進(jìn)而導(dǎo)致后續(xù)話單計(jì)費(fèi)結(jié)果不同，有問(wèn)題與沒(méi)有問(wèn)題的話單都出現(xiàn)計(jì)費(fèi)結(jié)果不同的情況，并混雜在一起，使測(cè)試效果大打折扣。因此，我們迫切需要一個(gè)能夠?qū)y(cè)試過(guò)程與測(cè)試結(jié)果進(jìn)行精細(xì)化管理與分析的自動(dòng)化測(cè)試系統(tǒng)。

無(wú)成熟測(cè)試工具支持

CRM系統(tǒng)采用通用的Web界面開(kāi)發(fā)，已能通過(guò)QTP等通用的自動(dòng)化測(cè)試工具進(jìn)行自動(dòng)化測(cè)試，而計(jì)費(fèi)系統(tǒng)具有很強(qiáng)的行業(yè)特性，目前還沒(méi)有成熟測(cè)試工具支持，許多領(lǐng)域都需要自行探索。

如何構(gòu)建計(jì)費(fèi)自動(dòng)化測(cè)試體系

綜合分析了計(jì)費(fèi)測(cè)試特點(diǎn)和業(yè)務(wù)流程，中國(guó)移動(dòng)福建公司自主開(kāi)發(fā)了計(jì)費(fèi)自動(dòng)化測(cè)試系統(tǒng)，即BAS系統(tǒng)（BOSS Automation testing System），測(cè)試的業(yè)務(wù)包括語(yǔ)音、短信、彩信、GPRS、WLAN、4G、寬帶等話單。

計(jì)費(fèi)自動(dòng)化測(cè)試根據(jù)基礎(chǔ)資費(fèi)及套餐的優(yōu)惠分段，有針對(duì)性地生成對(duì)各種計(jì)費(fèi)場(chǎng)景全覆蓋的測(cè)試話單庫(kù)，再經(jīng)過(guò)不同的測(cè)試線進(jìn)行批價(jià)，最后由自動(dòng)化測(cè)試系統(tǒng)對(duì)不同測(cè)試線的計(jì)費(fèi)結(jié)果進(jìn)行比對(duì)，從而找出可能存在的問(wèn)題。

圖1 計(jì)費(fèi)自動(dòng)化測(cè)試系統(tǒng)模塊功能

這種測(cè)試方法能夠有效地克服計(jì)費(fèi)手工測(cè)試的許多缺點(diǎn)，測(cè)試覆蓋面大、測(cè)試用例與測(cè)試過(guò)程規(guī)范、測(cè)試效率高、測(cè)試針對(duì)性強(qiáng)，根據(jù)測(cè)試需要既可以專門(mén)對(duì)單一套餐進(jìn)行測(cè)試，也可以根據(jù)排列組合原理對(duì)多套餐組合進(jìn)行測(cè)試。根據(jù)套餐資費(fèi)的不同特點(diǎn)，一個(gè)套餐的測(cè)試一般僅需準(zhǔn)備1~2個(gè)測(cè)試用戶即可，測(cè)試話單在3~6萬(wàn)條左右。具體可以通過(guò)兩種方法實(shí)現(xiàn)。

一是由自動(dòng)化測(cè)試系統(tǒng)與測(cè)試環(huán)境待上線版本分別進(jìn)行批價(jià)（即圖1中的測(cè)試線1與測(cè)試線3），再將兩個(gè)批價(jià)結(jié)果進(jìn)行比對(duì)，用以檢測(cè)測(cè)試環(huán)境待上線版本批價(jià)結(jié)果是否正確。這種方法對(duì)自動(dòng)化測(cè)試系統(tǒng)的批價(jià)能力要求較高，自動(dòng)化測(cè)試系統(tǒng)要與計(jì)費(fèi)系統(tǒng)同步開(kāi)發(fā)，開(kāi)發(fā)成本較高，而且兩個(gè)測(cè)試線都是新開(kāi)發(fā)的版本，本身都有出錯(cuò)的可能。這種方法既能用于對(duì)待上線的新業(yè)務(wù)進(jìn)行測(cè)試，也能用于對(duì)原有業(yè)務(wù)進(jìn)行回歸測(cè)試，在理論上較完美，但在實(shí)施過(guò)程中難度較大。

二是在測(cè)試環(huán)境由已上線版本與測(cè)試環(huán)境待上線版本分別進(jìn)行批價(jià)（即圖1中的測(cè)試線2與測(cè)試線3），再將兩個(gè)批價(jià)結(jié)果進(jìn)行比對(duì)，用以檢測(cè)測(cè)試環(huán)境待上線版本批價(jià)結(jié)果是否正確。這種方法對(duì)自動(dòng)化測(cè)試系統(tǒng)要求不高，無(wú)需具備批價(jià)能力，僅需具備生成測(cè)試話單庫(kù)及原始話單的能力。除非計(jì)費(fèi)系統(tǒng)出現(xiàn)重大改變，否則自動(dòng)化測(cè)試系統(tǒng)無(wú)需進(jìn)行變更，可實(shí)施性強(qiáng)，開(kāi)發(fā)成本低。但如果出現(xiàn)已上線版本仍存在未被發(fā)現(xiàn)的問(wèn)題，由于新舊版本計(jì)費(fèi)結(jié)果相同，未被發(fā)現(xiàn)的問(wèn)題將從此被掩蓋。這種方法僅能用于對(duì)原有業(yè)務(wù)進(jìn)行回歸測(cè)試，不能用于對(duì)待上線的新業(yè)務(wù)進(jìn)行測(cè)試，雖然在理論上有瑕疵，但可實(shí)施性強(qiáng)，每次上線前對(duì)300檔用戶數(shù)最多的套餐進(jìn)行測(cè)試，測(cè)試覆蓋用戶達(dá)到90%以上。

計(jì)費(fèi)自動(dòng)化測(cè)試系統(tǒng)包括如下功能模塊。

測(cè)試話單的生成：該模塊主要是根據(jù)呼叫類型、計(jì)費(fèi)方號(hào)碼、對(duì)方號(hào)碼、通話起始時(shí)間、通話時(shí)長(zhǎng)、動(dòng)態(tài)漫游號(hào)、漫游地等維度，根據(jù)一定的規(guī)則生成標(biāo)準(zhǔn)格式的話單，測(cè)試話單生成是計(jì)費(fèi)自動(dòng)化測(cè)試系統(tǒng)的源頭，生成的測(cè)試話單是否全面將接影響測(cè)試的覆蓋率。

原始話單生成：該模塊根據(jù)當(dāng)前業(yè)務(wù)支撐系統(tǒng)中的原始話單的格式需求，生成用于業(yè)務(wù)支撐系統(tǒng)處理的原始話單，包括各類二進(jìn)制格式、文本格式的話單文件。

批價(jià)：該模塊利用自動(dòng)生成的測(cè)試詳單，在計(jì)費(fèi)自動(dòng)化測(cè)試系統(tǒng)進(jìn)行批價(jià)處理，以及批價(jià)后的檢查。

結(jié)果比對(duì)：該模塊對(duì)不同測(cè)試線批價(jià)后的詳單進(jìn)行比對(duì)，并自動(dòng)生成對(duì)比結(jié)果、比對(duì)信息統(tǒng)計(jì)等。

計(jì)費(fèi)自動(dòng)化測(cè)試實(shí)施效果

測(cè)試效率高：計(jì)費(fèi)自動(dòng)化測(cè)試系統(tǒng)的每個(gè)模塊處理由界面觸發(fā)，系統(tǒng)后臺(tái)處理，處理效率大大提升，不僅測(cè)試用例數(shù)大大增加，而且節(jié)約人工測(cè)試成本。

測(cè)試覆蓋率高：測(cè)試話單量大大提高，測(cè)試覆蓋率接近100%，基本能覆蓋各種撥打情況。例如對(duì)一個(gè)套餐的測(cè)試，計(jì)費(fèi)自動(dòng)化測(cè)試系統(tǒng)共生成約6萬(wàn)條測(cè)試話單，基本做到了全覆蓋測(cè)試。

測(cè)試準(zhǔn)確率高：自動(dòng)化測(cè)試結(jié)果由系統(tǒng)進(jìn)行自動(dòng)比對(duì)，杜絕了人為比對(duì)可能出現(xiàn)的差錯(cuò)，測(cè)試結(jié)果的準(zhǔn)確性高。