通信網(wǎng)管系統(tǒng)OMC的性能測試研究

燕鵬飛，張厚保

（中國交通通信信息中心，北京 100011）

1 引言

本文從實踐角度，闡述通信網(wǎng)管軟件OMC性能測試的理論和方法，希望能引領(lǐng)讀者從抽象的軟件性能測試理論，映射到實際項目中，對OMC系統(tǒng)的性能測試有所了解。

2 性能測試概述

2.1 性能測試在軟件開發(fā)生命周期中的位置

圖1 性能測試在軟件開發(fā)生命周期中的位置

軟件生命周期分為：需求、設(shè)計、編碼、單元測試、集成測試、系統(tǒng)測試。以V模型為例，呈現(xiàn)如上圖。而性能測試屬于軟件系統(tǒng)級測試，其基礎(chǔ)是一個已經(jīng)完成功能測試的相對穩(wěn)定的軟件版本。

2.2 軟件性能測試的概念

軟件性能可以看作是一種指標，是產(chǎn)品需求中明確約定軟件系統(tǒng)所要求達到的一種和時間相關(guān)或者與處理能力相關(guān)的指標。

軟件性能的定義通常為：軟件系統(tǒng)對于及時性要求的符合程度。對于時間方面規(guī)定的軟件性能通常用響應(yīng)時間來定義。處理能力是另一個重要指標，包括上行、下行以及系統(tǒng)內(nèi)部的消息處理等?？煽啃酝瑯邮擒浖阅艿囊粋€重要的指標，可靠性關(guān)乎到系統(tǒng)能否穩(wěn)定可靠，關(guān)乎到客戶對該系統(tǒng)的認可程度。通信網(wǎng)管作為通信網(wǎng)絡(luò)的一部分，必須做到高可靠性。

軟件的性能測試，就是通過測試工具，測試軟件在各種使用環(huán)境下，是否能滿足既定的軟件性能指標。

3 OMC的性能測試

3.1 OMC的性能測試過程

軟件的性能測試不是一勞永逸的，性能測試伴隨著軟件的生命周期持續(xù)開展。在通信網(wǎng)管軟件OMC的測試過程中，隨著OMC的一系列版本發(fā)布，其性能測試過程可以描述為一個螺旋模型，如圖2所示：

圖2 OMC的性能測試過程

3.2 OMC的性能測試方法

性能測試的方法有多種，根據(jù)不同階段的需求，可以分別采用不同測試方法的組合。

3.3 性能測試

此處提到的性能測試，是狹義的性能測試，是軟件性能測試的基本方法。性能測試方法是通過模擬實際運行場景的業(yè)務(wù)壓力量進行測試，驗證系統(tǒng)的性能是否滿足預(yù)期的性能指標。這種方法針的測試結(jié)果，可以具體考量系統(tǒng)的響應(yīng)時間、處理能力等性能指標。OMC系統(tǒng)，根據(jù)電信運營商的測試規(guī)范，有諸多性能指標，如界面響應(yīng)時間、設(shè)備上報消息延時、告警呈現(xiàn)延時、性能文件上報等。OMC性能測試中，通過模擬規(guī)模數(shù)據(jù)的網(wǎng)元，構(gòu)造批量變化的配置數(shù)據(jù)、告警數(shù)據(jù)、性能上報數(shù)據(jù)等場景，測試系統(tǒng)的各個性能指標。這個測試方法貫穿于OMC性能測試的始終。

3.3.1 配置測試

配置測試是指通過被測系統(tǒng)的軟/硬件環(huán)境調(diào)整，了解不同環(huán)境對系統(tǒng)性能影響的程度。具體地說，就是服務(wù)器類型和操作系統(tǒng)類型的不同，對于OMC系統(tǒng)的性能指標影響不同。軟件系統(tǒng)的性能都是在一定的環(huán)境下表現(xiàn)出來的綜合性能。環(huán)境因素包括很多：硬件環(huán)境（CPU主頻，個數(shù)，單個CPU的核數(shù)，單核CPU的并發(fā)線程數(shù)；物理內(nèi)存大小，虛擬內(nèi)存大??；磁盤的I/O處理能力）；所依賴的軟件環(huán)境（操作系統(tǒng)的相關(guān)配置，數(shù)據(jù)庫的相關(guān)配置）；自身的軟件環(huán)境（如：并發(fā)線程的設(shè)置；虛擬機內(nèi)存設(shè)置等）。

進行同一個典型業(yè)務(wù)在不同的配置環(huán)境下的測試，并進行結(jié)果對比分析可以有效的發(fā)現(xiàn)系統(tǒng)的性能瓶頸，可以找到對系統(tǒng)進行優(yōu)化的依據(jù)；也可以根據(jù)對比結(jié)果選擇最適合系統(tǒng)的硬件環(huán)境，以及評估如何調(diào)整才能實現(xiàn)系統(tǒng)的拓展性。

在OMC的設(shè)備選型測試中，此處采用了多輪配置測試方法，對系統(tǒng)進行評估、優(yōu)化，以及優(yōu)化后進行設(shè)備選型。

3.3.2 負載測試

負載測試是模擬實際軟件系統(tǒng)所承受的負載條件的系統(tǒng)負荷，通過不斷加載（如逐漸增加模擬用戶的數(shù)量）或其他加載方式來觀察不同負載下系統(tǒng)的響應(yīng)時間和數(shù)據(jù)吞吐量、系統(tǒng)占用的資源（如CPU、內(nèi)存）等。用這種測試方法，可以找到系統(tǒng)的處理極限。在網(wǎng)管軟件OMC的選型測試中，使用了負載測試方法，對于不同的軟硬件配置環(huán)境，對比系統(tǒng)運行的性能容量，為OMC的軟硬件選型提供依據(jù)。

3.3.3 壓力測試

壓力測試是在強負載（大數(shù)據(jù)量、大量并發(fā)用戶等）下的測試，查看應(yīng)用系統(tǒng)在峰值使用情況下操作行為，從而有效地發(fā)現(xiàn)系統(tǒng)的某項功能隱患、系統(tǒng)是否具有良好的容錯能力和可恢復(fù)能力。壓力測試分為高負載下的長時間（如24小時以上）的穩(wěn)定性壓力測試和極限負載情況下導(dǎo)致系統(tǒng)崩潰的破壞性壓力測試。在OMC的穩(wěn)定性測試環(huán)節(jié)，采用了壓力測試的方法。

3.3.4 并發(fā)測試

并發(fā)測試驗證系統(tǒng)的并發(fā)處理能力。一般是和服務(wù)器端建立大量的并發(fā)連接，通過客戶端的響應(yīng)時間和服務(wù)器端的性能監(jiān)測情況來判斷系統(tǒng)是否達到了既定的并發(fā)能力指標。

OMC系統(tǒng)是通信網(wǎng)管軟件，其重點應(yīng)用場景不是多用戶的并發(fā)場景，而是大量業(yè)務(wù)并發(fā)場景。因此，在實際測試中，并發(fā)測試針對的是OMC系統(tǒng)內(nèi)部實現(xiàn)的并發(fā)，多線程并發(fā)、數(shù)據(jù)庫死鎖、數(shù)據(jù)庫事務(wù)處理等方面。

3.3.5 可靠性測試

可靠性測試方法通過給系統(tǒng)加載一定的業(yè)務(wù)壓力，例如資源在70%～90%的情況下，系統(tǒng)持續(xù)運行一段時間后，測試系統(tǒng)是否穩(wěn)定。OMC系統(tǒng)的穩(wěn)定性測試使用了該測試方法，通過在持續(xù)的業(yè)務(wù)壓力下運行，查看OMC系統(tǒng)的處理能力、響應(yīng)時間、內(nèi)存和CPU使用狀況，以及查看是否有錯誤處理等情況。

3.3.6 失敗恢復(fù)測試

失敗恢復(fù)測試方法是針對有冗余備份和負載均衡系統(tǒng)設(shè)計的。這種方法可以用來檢驗系統(tǒng)在局部故障情況下，是否能正常運行。OMC系統(tǒng)采用集群策略部署，針對集群策略，進行主備切換測試、主機或備機宕機測試。測試過程中查看是否有業(yè)務(wù)丟失（如配置、告警消息丟失、性能文件處理丟失等），查看系統(tǒng)的處理能力是否正常等。

3.3.7 性能測試各階段的方法應(yīng)用

綜上，OMC系統(tǒng)的性能測試各個階段，對于測試方法的應(yīng)用分布為：

圖3 測試方法的應(yīng)用分布

3.4 測試結(jié)果分析方法

3.4.1 操作系統(tǒng)計數(shù)器分析法

操作系統(tǒng)計數(shù)器分析方法，在OMC性能測試結(jié)果分析中，起到重要作用。操作系統(tǒng)計數(shù)器分析法重點關(guān)注內(nèi)存、處理器（CPU）、磁盤I/O這些方面。

內(nèi)存：使用操作系統(tǒng)命令，在OMC運行過程中，記錄內(nèi)存使用情況、內(nèi)存交換區(qū)使用情況。統(tǒng)計記錄的數(shù)據(jù)，查看內(nèi)存占用走勢以及內(nèi)存泄漏情況。然后用代碼走查分析方法，或使用內(nèi)存查看工具，來對內(nèi)存使用問題進行定位分析。

處理器（CPU）：用OMC相關(guān)進程的%CPU Usage衡量OMC系統(tǒng)對CPU的使用情況。一般上限不超過85%。

磁盤I/O：磁盤I/O也是影響系統(tǒng)性能的一個關(guān)鍵因素。在OMC系統(tǒng)測試過程中，發(fā)現(xiàn)OMC系統(tǒng)在存儲過程中磁盤I/O是性能瓶頸，因此有針對性的進行了系統(tǒng)優(yōu)化，同時在磁盤硬件選型方面采取了一定措施，解決這個瓶頸。

3.4.2 分層分析法

OMC系統(tǒng)包含多個邏輯層次。在實際測試中，采用分層分析法對測試結(jié)果進行分析。

圖4 分層分析法

無論是上下行數(shù)據(jù)，都記錄各個邏輯層次處理的時間段耗時。如下行操作：從客戶端界面üü業(yè)務(wù)層調(diào)用üü平臺支撐層處理üü和設(shè)備之間交互（或與數(shù)據(jù)庫交互）。將操作在各個邏輯層次的耗時進行統(tǒng)計，分析得出系統(tǒng)瓶頸產(chǎn)生的層次。當分析出某個邏輯層耗時占比大后，還可以進一步分解該邏輯層次，繼續(xù)深入采用此方法進行測試分析，逐步排查系統(tǒng)瓶頸產(chǎn)生的原因。

3.4.3 統(tǒng)計法

對于一個典型的業(yè)務(wù)進行相同的環(huán)境下（軟件，硬件）進行多次測試，對多次測試結(jié)果進行統(tǒng)計分析是性能分析的常用辦法。單次測試往往具有偶然性，對同一個操作進行多次測試，通過統(tǒng)計的方法進行結(jié)果分析。在進行統(tǒng)計分析的時候，要符合統(tǒng)計要求的樣本數(shù)量，同時對異常點進行分離。如下示例：

表1 五次測試情況

圖5 五次測試統(tǒng)計

上面圖表是對同一個操作進行了五次測試，對測試結(jié)果進行統(tǒng)計后，可以作為最終的參考測試結(jié)果。

3.4.4 性能曲線趨勢分析法

通過分析性能曲線的變化趨勢對系統(tǒng)的性能進行分析。這個方法適用的場景很多，如：典型業(yè)務(wù)/操作隨著并發(fā)數(shù)目增多的性能曲線下降的分析方法：性能主要通過時間來衡量。如圖6所示，隨著某一業(yè)務(wù)的增加，處理時間增加，系統(tǒng)的性能下降。

通常系統(tǒng)的性能曲線是一個平滑的曲線，隨著并發(fā)的增加，時間平滑上升，性能平滑下降，找到性能跳變的位置，該位置為系統(tǒng)的性能拐點。在該拐點后，性能急劇下降，超出需求的范圍。在性能評估中，改點可視為系統(tǒng)的處理能力的上限。OMC 系統(tǒng)的網(wǎng)元管理能力，就可以通過這個方法找到上限。圖7是針對硬件環(huán)境變更進行性能分析，是OMC系統(tǒng)對于網(wǎng)元上行的消息風暴作受系統(tǒng)主頻的變化的處理能力的變化：

圖6 性能曲線趨勢分析法

圖7 針對硬件環(huán)境變更進行性能分析

從圖7可以看出，在一定范圍內(nèi)提升硬件的CPU 主頻是有助于性能提升的，但是提升到一定水平后系統(tǒng)的性能不再有明顯的改善，說明此時系統(tǒng)的性能瓶頸已經(jīng)不在處理器的主頻了，需要分析其他因素了。

3.5 測試工具的引入

工欲善其事必先利其器，測試工具在性能測試中其中非常重要的作用。在OMC系統(tǒng)的性能測試過程中，模擬通信網(wǎng)元，構(gòu)造通信場景的大量數(shù)據(jù)，使用發(fā)包工具模擬通信消息等。除了這些構(gòu)造測試場景的工具外，還引入了如JProbe、JProfiler等工具協(xié)助定位和分析問題。

圖8 使用JProbe工具查看客戶端內(nèi)存使用情況

如圖8所示，使用JProbe工具查看客戶端內(nèi)存使用情況，一級一級追究java調(diào)用，直到定位出內(nèi)存溢出調(diào)用的代碼，最終使得客戶端內(nèi)存溢出問題得到定位和解決。

4 結(jié)束語

綜上所述，OMC系統(tǒng)的性能測試，在OMC的系列版本開發(fā)過程中，做到了及時發(fā)現(xiàn)各種性能問題，幫助團隊盡可能的對OMC進行了合理優(yōu)化，順利通過了性能要求。未來的性能測試方案，針對不同的系統(tǒng)架構(gòu)，需要不斷重新設(shè)計和優(yōu)化，把理論結(jié)合實際，實施適合項目的流程和技術(shù)測量，這是工程師們應(yīng)該完成的責任和使命。