基于時(shí)效質(zhì)量鑒定成本的列車運(yùn)行控制系統(tǒng)測試評(píng)估*

楊海東 周庭梁 周宇恒 涂 超

(卡斯柯信號(hào)有限公司,200071,上海∥第一作者,工程師)

?

基于時(shí)效質(zhì)量鑒定成本的列車運(yùn)行控制系統(tǒng)測試評(píng)估*

楊海東 周庭梁 周宇恒 涂 超

(卡斯柯信號(hào)有限公司,200071,上?！蔚谝蛔髡?工程師)

針對(duì)列車運(yùn)行控制系統(tǒng)的質(zhì)量安全測評(píng)工作，一般采用基于質(zhì)量成本的評(píng)估方法。目前，已有的質(zhì)量成本評(píng)估方法主要關(guān)注點(diǎn)在于追求降低測試質(zhì)量成本,卻忽略了項(xiàng)目對(duì)時(shí)效性的需求。引入時(shí)效維度,建立基于時(shí)效因子的測試質(zhì)量成本評(píng)估模型,并應(yīng)用于城市軌道交通列車運(yùn)行控制系統(tǒng)的測試過程評(píng)估。利用自適應(yīng)遺傳算法尋找到的最優(yōu)解表明,在滿足時(shí)效性的條件下,可有效地改善現(xiàn)有的測試質(zhì)量成本,為測試過程的評(píng)估提供了更好的參考。

列車運(yùn)行控制系統(tǒng); 測試評(píng)估; 時(shí)效因子; 質(zhì)量成本

Author′s address CASCO Signal Ltd.,200071,Shanghai,China

1 研究背景

城市軌道交通列車運(yùn)行控制系統(tǒng)(簡為“運(yùn)控系統(tǒng)”)是一個(gè)安全苛求系統(tǒng),直接關(guān)系到乘客的生命財(cái)產(chǎn)安全。由于存在所謂的“安全側(cè)”,運(yùn)控系統(tǒng)無需追求沒有止境的極高可靠性,應(yīng)在滿足一定可靠性、可用性需求的基礎(chǔ)上,實(shí)現(xiàn)系統(tǒng)“故障導(dǎo)向安全”的最終運(yùn)營安全目標(biāo)[1]。

對(duì)于運(yùn)控系統(tǒng)而言,測試工作是系統(tǒng)構(gòu)建過程中,驗(yàn)證系統(tǒng)是否滿足需求的必要一環(huán)[2]。國內(nèi)軌道交通的發(fā)展對(duì)運(yùn)控系統(tǒng)的測試提出了更高的要求。例如，要求運(yùn)控系統(tǒng)能作出多條地鐵線路的并發(fā)測試及快速切換。同時(shí)，運(yùn)控系統(tǒng)的測試分工日趨細(xì)化,相應(yīng)的質(zhì)量成本也越來越高。因此，需要對(duì)測試質(zhì)量成本進(jìn)行有效地度量和分析，并通過合理的系統(tǒng)評(píng)估,最終實(shí)現(xiàn)系統(tǒng)、人、環(huán)境、運(yùn)營、維保質(zhì)量、安全、成本的統(tǒng)一。

約瑟夫·M·朱蘭在其《質(zhì)量控制手冊》中提出,質(zhì)量成本是指“為保持和提高產(chǎn)品質(zhì)量而支出的一切費(fèi)用,包括因?yàn)槲催_(dá)到既定的質(zhì)量水平而造成的一切損失之和[3]。”一般將質(zhì)量成本分為預(yù)防成本、鑒定成本和損失成本三大類[4]。其中，鑒定成本是針對(duì)產(chǎn)品或服務(wù)的測評(píng)所支付的費(fèi)用,也正是本文所研究的對(duì)象,其它兩類成本在本文中不作考慮。

對(duì)于運(yùn)控系統(tǒng)而言,其鑒定成本主要涉及到仿真測試環(huán)境的準(zhǔn)備和搭建、場景案例設(shè)計(jì)、測試執(zhí)行、結(jié)果分析、報(bào)告生成、過程驗(yàn)證等環(huán)節(jié)。其中,測試所需的仿真測試環(huán)境應(yīng)符合信號(hào)系統(tǒng)的接口和使用環(huán)境,屬于必然發(fā)生的成本，且相對(duì)明確;而測試執(zhí)行的完成時(shí)間則因采用不同的測試策略、計(jì)劃而不完全相同,從而使所需花費(fèi)的成本發(fā)生變化。

國內(nèi)外不少專家學(xué)者對(duì)測試質(zhì)量成本進(jìn)行建模分析。文獻(xiàn)[5]提出的三維質(zhì)量控制模型關(guān)注控制成本與故障成本的平衡。文獻(xiàn)[6]提出的模糊控制模型引入了模糊控制理論。文獻(xiàn)[7]提出基于非齊次泊松分布的軟件可靠性增長模型以降低在軟件開發(fā)測試階段的成本。文獻(xiàn)[8]基于事故發(fā)生率提出測試成本模型[8]。文獻(xiàn)[9]針對(duì)單元測試提出ATCUT模型[9]。這些模型在一定程度上有效地優(yōu)化了測試質(zhì)量成本,但忽視了一個(gè)在項(xiàng)目實(shí)施過程中的關(guān)鍵因素,即時(shí)效性。

與大多數(shù)項(xiàng)目一樣,時(shí)效性是軌道交通運(yùn)控系統(tǒng)測試工作的一個(gè)重要考量因素[10]。首先,工程測評(píng)驗(yàn)收的前提條件是測試工作已完成;其次,由于測試樣本空間巨大,不可能無休止地進(jìn)行測試以追求測試的完整性,確保產(chǎn)品的極高可靠性和安全性,即使能通過功能驗(yàn)收以及獨(dú)立第三方的系統(tǒng)安全認(rèn)證,但這有可能導(dǎo)致產(chǎn)品還未上市即已遭淘汰的命運(yùn)。

為此,在滿足測試覆蓋率要求[11]的前提下,本文提出一種基于時(shí)效因子的測試質(zhì)量成本評(píng)估模型,針對(duì)測試過程的測試質(zhì)量成本進(jìn)行評(píng)估,可發(fā)現(xiàn)測試過程的可改進(jìn)環(huán)節(jié),控制測試質(zhì)量成本,實(shí)現(xiàn)測試成本與時(shí)效的統(tǒng)一。

2 安全苛求系統(tǒng)測試的現(xiàn)狀

根據(jù)EN 50126,EN 50128,IEC 61508等標(biāo)準(zhǔn)中關(guān)于安全苛求系統(tǒng)開發(fā)的相關(guān)要求,系統(tǒng)的功能、性能、RAMS(可靠性、可用性、可維護(hù)性和安全性)等系統(tǒng)需求應(yīng)分配到軟件或硬件中實(shí)現(xiàn)。這是一個(gè)自上而下的過程。也應(yīng)地,測試過程分成軟硬件級(jí)、系統(tǒng)級(jí)的確認(rèn)和驗(yàn)證,也是一個(gè)自下而上的過程。系統(tǒng)級(jí)測試過程如圖1所示。

圖1 系統(tǒng)級(jí)測試過程

在設(shè)計(jì)環(huán)節(jié),必須驗(yàn)證系統(tǒng)架構(gòu)和系統(tǒng)需求的追蹤關(guān)系,以確保所有的系統(tǒng)需求都在系統(tǒng)架構(gòu)設(shè)計(jì)中被繼承并正確分解,同樣軟硬件開發(fā)文檔也要滿足對(duì)系統(tǒng)架構(gòu)設(shè)計(jì)的正確追蹤關(guān)系。

在測試環(huán)節(jié),為確保最終產(chǎn)品正確實(shí)現(xiàn)了系統(tǒng)需求,首先，應(yīng)執(zhí)行系統(tǒng)集成測試對(duì)系統(tǒng)的架構(gòu)進(jìn)行確認(rèn),驗(yàn)證所有系統(tǒng)模塊之間的接口是否被正確實(shí)現(xiàn),要求測試對(duì)于接口的覆蓋率必須達(dá)到100%；其次,應(yīng)對(duì)系統(tǒng)的行為進(jìn)行確認(rèn),驗(yàn)證每一條系統(tǒng)需求是否被正確設(shè)計(jì)實(shí)現(xiàn)。在實(shí)際操作中,需設(shè)計(jì)一個(gè)環(huán)境仿真器來模擬所有外部條件,并在最終設(shè)計(jì)產(chǎn)品上逐條對(duì)系統(tǒng)需求進(jìn)行測試；同時(shí)，還必須進(jìn)行EMC/EMI(電磁兼容性/電磁干擾)及振動(dòng)、溫濕度等環(huán)境測試。軟件級(jí)測試過程如圖2所示。

圖2 軟件級(jí)測試過程

針對(duì)軟件需求、軟件架構(gòu)設(shè)計(jì)、軟件模塊設(shè)計(jì),要有對(duì)應(yīng)的軟件確認(rèn)測試、集成測試和單元測試來確保軟件需求、軟件模塊及接口被正確實(shí)現(xiàn)。在軟件編碼階段,應(yīng)進(jìn)行靜態(tài)分析來驗(yàn)證編碼對(duì)于編碼規(guī)則的符合性。

3 基于時(shí)效質(zhì)量成本的全生命周期測評(píng)模型

系統(tǒng)需求會(huì)在系統(tǒng)、軟件、硬件層面逐步實(shí)現(xiàn),并在軟件、硬件、子系統(tǒng)、系統(tǒng)層面分步進(jìn)行測試。測試的過程如圖3所示。

需要注意的是，不同層面的測試需要層次遞進(jìn),依次進(jìn)行。例如在進(jìn)行子系統(tǒng)集成之前,要先完成軟件及硬件相關(guān)測試,然后才能進(jìn)行子系統(tǒng)集成測試。在同一測試階段,測試案例之間具有銜接性,需要按照一定序列依次進(jìn)行。例如某測試案例的輸出可能正是另一測試案例的輸入。

不同的測試策略(包括測試案例集的組成及順序、測試平臺(tái)的數(shù)量等)決定了測試階段的持續(xù)時(shí)間及測試質(zhì)量成本。為判斷該測試策略能否滿足時(shí)效性要求,測試質(zhì)量成本是否達(dá)到最優(yōu)化配置,需要對(duì)既有的測試策略進(jìn)行評(píng)估并優(yōu)化。為此,提出一種基于時(shí)效因子的測試質(zhì)量成本評(píng)估模型。

圖3 測評(píng)模型的測試過程

(1) 作為安全苛求系統(tǒng),需要保持系統(tǒng)的測試覆蓋率。為此,通過劃分測試用例的輸入變量等價(jià)類的方式[12],來避免測試用例的共模失效。

(2) 根據(jù)不同的測試階段,進(jìn)一步劃分測試案例集。

(3) 每個(gè)測試案例,都有一個(gè)耗費(fèi)人工的經(jīng)驗(yàn)值,以人日為單位。

測試用例劃分如圖4所示。

圖4 測試用例劃分

3.1 測試質(zhì)量成本的計(jì)算

假設(shè)m個(gè)用例在n臺(tái)測試設(shè)備上的分布為F,如果忽略同一個(gè)測試員在不同測試設(shè)備間的切換時(shí)間,則可以證明，這m個(gè)用例的測試時(shí)間與測試員的數(shù)量無關(guān)。因此，如果測試設(shè)備的折合成本為K,測試時(shí)間的折合成本系數(shù)為C,所有用例的測試時(shí)間為t,則所有用例的測試成本因數(shù)W可表示為

W=K+C×t

(1)

3.2 基于時(shí)效因子的測試質(zhì)量成本評(píng)估模型

由于項(xiàng)目一般都對(duì)時(shí)效性有要求[1],故提出一種基于時(shí)效因子的測試質(zhì)量成本評(píng)估模型,并稱該成本為時(shí)效質(zhì)量成本。

設(shè)測試階段數(shù)為np,測試用例總數(shù)為nc。在階段i的測試用例有Li類,則第j類測試用例涉及需測試的用例數(shù)為nc，j，可提供的測試設(shè)備總數(shù)Mj,每臺(tái)設(shè)備的折合測試成本Kj。則全階段的測試用例總數(shù)nc為

(2)

每類用例隨機(jī)分配到該類用例的測試設(shè)備上,以ci,j,m表示階段i第j類的第m個(gè)用例,以pi,j,m,n表示用例ci,j,m分配到第n臺(tái)設(shè)備,可知ci,j,m∈[1,nc,j],pi,j,m,n∈[1,Mj]。

(3)

由于測試按從底向上的順序進(jìn)行,故全階段的測試時(shí)間t為

(4)

設(shè)階段i第j類測試項(xiàng)目實(shí)際投入測試設(shè)備數(shù)為qi,j∈[1,Mj],則全階段的時(shí)效質(zhì)量成本因數(shù)W為

(5)

由式(5)可知,通過設(shè)置不同的成本系數(shù)C,可實(shí)現(xiàn)不同的優(yōu)化策略。例如,如果考慮采用時(shí)效優(yōu)先策略,則可將C設(shè)置得較大,加大t的比重;如果采用成本優(yōu)先策略,則可將C設(shè)置得較小,加大K的比重。

設(shè)給定的測試工期為tg,則定義時(shí)效因子Δt為

(6)

可知,Δt>0。如Δt>1,則說明測試超時(shí)；如Δt≤1，則表明測試滿足工期要求。因此,優(yōu)化目標(biāo)即在Δt≤1的情況下,對(duì)各階段的測試用例及測試設(shè)備進(jìn)行合理分配,找出全階段最優(yōu)時(shí)效質(zhì)量成本因數(shù)

(7)

4 應(yīng)用案例分析

根據(jù)深圳地鐵2號(hào)線城市軌道交通運(yùn)控系統(tǒng)的實(shí)際項(xiàng)目案例,對(duì)測試數(shù)據(jù)樣本進(jìn)行取樣及分析,基于本文提出的評(píng)估模型,對(duì)項(xiàng)目的測試策略進(jìn)行評(píng)估,并給出合理化建議。

以深圳地鐵2號(hào)線一期工程(線路全長約20.65 km,正線設(shè)置12座車站)為例,項(xiàng)目原測試計(jì)劃需要實(shí)施工期為53 d。根據(jù)深圳項(xiàng)目的測試數(shù)據(jù),測試用例的執(zhí)行時(shí)間分布情況及計(jì)劃配套的測試設(shè)備數(shù)量如表1所示。

表1 項(xiàng)目測試數(shù)據(jù)(深圳地鐵2號(hào)線一期工程)

由表1可知,項(xiàng)目測試主要分為2個(gè)階段。第1階段是子系統(tǒng)級(jí)測試,子系統(tǒng)包括計(jì)算機(jī)聯(lián)鎖(CI)子系統(tǒng)、列車自動(dòng)控制(ATC)子系統(tǒng)、列車自動(dòng)監(jiān)控(ATS)子系統(tǒng)、數(shù)據(jù)傳輸(DCS)子系統(tǒng),維護(hù)支持(MSS)子系統(tǒng)。第2階段是系統(tǒng)級(jí)測試,即基于通信的列車控制(CBTC)系統(tǒng)測試。用例數(shù)為對(duì)應(yīng)子系統(tǒng)/系統(tǒng)的測試用例數(shù)量。測試設(shè)備即用于執(zhí)行測試用例所對(duì)應(yīng)的子系統(tǒng)/系統(tǒng)實(shí)物。

根據(jù)基于時(shí)效因子的測試質(zhì)量成本評(píng)估模型,分別采用成本優(yōu)先策略和時(shí)效優(yōu)先策略對(duì)深圳地鐵2號(hào)線一期工程測試的時(shí)效質(zhì)量成本進(jìn)行評(píng)估。

采用自適應(yīng)遺傳算法進(jìn)行最優(yōu)解的搜索,其中,初始種群規(guī)模為100,選擇規(guī)模為120,進(jìn)化代數(shù)為200。采用單點(diǎn)交叉、精英保留策略。交叉概率和變異概率采用自適應(yīng)的策略,隨進(jìn)化代數(shù)而改變[14]。交叉概率和變異概率的變化曲線如圖5所示。

按成本優(yōu)先策略,參數(shù)C與項(xiàng)目計(jì)劃中的取值相同,即取為10。經(jīng)200代的進(jìn)化后,搜索到的最優(yōu)解顯示:Wopt為9 784.2,所需測試時(shí)間為41 d。此時(shí),時(shí)效因子Δt為41/53=0.773 6。W的進(jìn)化曲線如圖6所示。

按時(shí)效優(yōu)先策略,參數(shù)C取值為50。經(jīng)200代的進(jìn)化后,搜索到的最優(yōu)解顯示:Wopt=12 766,t=26.12 d。此時(shí),Δt為26.12/53=0.492 8。W的進(jìn)化曲線如圖7所示。

各測試階段的配置情況見表2。其中,發(fā)布測試版本數(shù)是指發(fā)布到測試平臺(tái)的測試版本個(gè)數(shù)。

根據(jù)以上結(jié)果,在確保質(zhì)量安全的前提下,這兩種策略都可以滿足工期要求。經(jīng)對(duì)比可知,后者的時(shí)效因子為前者的63.7%,但前者的時(shí)效質(zhì)量成本是后者的76.64%。因此,在滿足測試時(shí)間的前提下,如果能有效縮減測試設(shè)備,尤其是較昂貴的系統(tǒng)功能測試設(shè)備,將測試人力盡可能投入到其它階段的測試,將有利于降低整個(gè)系統(tǒng)的測試成本。而表2的尋優(yōu)結(jié)果也表明,利用自適應(yīng)遺傳算法,可找到最優(yōu)路徑。

圖5 概率變化曲線

圖6 基于成本優(yōu)先策略的W進(jìn)化曲線

圖7 基于時(shí)效優(yōu)先策略的W進(jìn)化曲線

測試階段子系統(tǒng)/系統(tǒng)發(fā)布測試版本數(shù)/個(gè)用例數(shù)/個(gè)測試設(shè)備/套用例分布成本優(yōu)先時(shí)效優(yōu)先成本優(yōu)先時(shí)效優(yōu)先子系統(tǒng)級(jí)CI21621316254,55,53ATC31351213568,67ATS1047024237,233122,119,119,110DCS252125226,26MSS51402369,7142,48,50系統(tǒng)級(jí)CBTC428011280280

5 結(jié)語

對(duì)于運(yùn)控系統(tǒng)這樣的安全苛求系統(tǒng),隨著測試分工的細(xì)化,其在項(xiàng)目中所占的質(zhì)量成本越來越高,需要進(jìn)行有效的度量及分析。為實(shí)現(xiàn)測試質(zhì)量成本與時(shí)效的統(tǒng)一,需針對(duì)系統(tǒng)測試進(jìn)行基于時(shí)效質(zhì)量成本的評(píng)估,并采用合理的測試策略。在確保質(zhì)量安全及滿足工期要求的前提下,獲得更優(yōu)的時(shí)效質(zhì)量成本。

目前的研究成果已應(yīng)用到軌道交通領(lǐng)域單個(gè)項(xiàng)目的測試評(píng)估上,未來需進(jìn)一步研究面向項(xiàng)目群的測試策略評(píng)估及優(yōu)化問題。

[1] YAN F,TANG T.Research and development of safety technology in signalling system of rail transit[J].China Safety Science Journal,2005,15(6):94.

[2] BSI.Railway applications-Communication,signalling and processing systems-Safety related electronic systems for signaling:EN 50129[S].London:BSI,2003.

[3] JUNAR J.M,GRYNA F M.Juran’s quality control handbook[M].3rd ed.Columbus:Mcgraw-Hill,1988.

[4] CAMPANELLA J.Principles of quality costs:principles,implementation and use[M].3rd ed.Milwaukee:ASQ Quality Press,1999.

[5] YUAN Y Y,GU S.Research and establishment of quality cost oriented software testing model[C]∥IEEE Canadian Conference on Electrical and Computer Engineering.Ottawa：IEEE,2006.

[6] SHANG S S,YOU J X.Quality cost control model based on fuzzy neural network[C]∥16th International Conference on Industrial Engineering and Engineering Management.Beijing：IEEE,2009.

[7] HTOON C Y,NI L T.Model-based testing considering cost,reliability and software quality[C]∥6th Asia-Pacific Symposium on Information and Telecommunication Technologies.Yangon:IEEE,2005.

[8] FARREN D,AMBLER A P.System test cost modelling based on event rate analysis[C]∥Third International Conference on the Economics of Design,Test and Manufacturing.Washington D C:IEEE,1994.

[9] SHRIVASTAVA D P,JAIN R C.Unit test case design metrics in test driven development[J].International Conference on Communications,Computing and Control Applications.Hammamet:IEEE,2011.

[10] LIBERATORE M J,POLLACK-JOHNSON B.Improving project management decision making by modeling quality,time,and cost continuously[J].IEEE Transactions on Engineering Management,2013,60(3):518.

[11] BSI.Railway applications-communication,signalling and processing systems-software for railway control and protection systems:EN 50128[S].London:BSI,2011.

[12] NICLOA G D,TOMMASO PD,ESPOSITO R,et al.A hybrid testing methodology for railway control systems[M].Heidelberg:Springer,2004.

[13] TEEE.IEEE dtandard for communications-based train control (CBTC) performance and functional requirements:EN 1474.1—2004[S].New York:IEEE,2004.

[14] CHEN C Z,WAN N.Adaptive selection of crossover and mutation probability of genetic algorithm and its mechanism[J].Control Theory and Application,2002,19(2):41.

Testing Assessment Based on Timeliness Quality Cost for Train Control System

YANG Haidong, ZHOU Tingliang, ZHOU Yuheng, TU Chao

Quality cost assessment is commonly adopted in the testing and assessment of quality and safety of urban rail transit train control system.The existing method is mainly focused on the reduction of testing quality cost, while the timeliness requirement from a project is often neglected. The timeliness dimension is introduced in this paper to establish an assessment model based on timeliness factor for the evaluation of the testing process for urban transit train control system. An optimum solution found by the adaptive genetic algorithm shows that the testing quality cost is improved when the timeliness requirement is satisfied. The proposed model can provide a better reference for the assessment.

train control system; testing assessment; timeliness factor; quality cost

*上海張江國家自主創(chuàng)新示范區(qū)專項(xiàng)發(fā)展資金重大項(xiàng)目(ZJ2012-ZD-011)

U 231.6

10.16037/j.1007-869x.2016.09.005

2015-09-15)