短消息業(yè)務(wù)評估體系的研究與實現(xiàn)

李 洪 ，周文紅 ，渠 凱 ，伍思源 ，陳思中 ，李 青

（1.中國電信集團(tuán)公司網(wǎng)絡(luò)運(yùn)行維護(hù)事業(yè)部 北京 100032；2.中國電信股份有限公司上海研究院 上海 200122）

1 引言

目前，短消息業(yè)務(wù)已深入普通民眾的日常生活，但因短信時延大、成功率不令人滿意等問題給用戶帶來困擾而引發(fā)投訴，為此，國家出臺了相關(guān)的短消息業(yè)務(wù)服務(wù)質(zhì)量標(biāo)準(zhǔn)。各短消息系統(tǒng)設(shè)備商提供的短消息業(yè)務(wù)評估功能往往因作為設(shè)備的一種輔助功能而偏弱，而且同一指標(biāo)不同設(shè)備商的定義也有所差別，因此有必要在短消息系統(tǒng)的基礎(chǔ)上建立一套全網(wǎng)內(nèi)指標(biāo)定義明確的短消息業(yè)務(wù)質(zhì)量的量化指標(biāo)體系，用于統(tǒng)一評估各省、各地區(qū)的消息業(yè)務(wù)服務(wù)水平和促進(jìn)短消息業(yè)務(wù)服務(wù)質(zhì)量的提升。

短消息業(yè)務(wù)為非實時的信息業(yè)務(wù)，分為提交和發(fā)送兩個階段，故從主叫用戶發(fā)送短消息到被叫用戶收到短消息總有一定的時延，短消息系統(tǒng)所配置的最大時延即為短消息的有效期。短消息系統(tǒng)既可對實時提交或下發(fā)的短消息業(yè)務(wù)的各項指標(biāo)進(jìn)行實時計數(shù)統(tǒng)計，也可以在對每一條短消息的過程記錄存儲后再進(jìn)行統(tǒng)計。實時計數(shù)統(tǒng)計通常反映短消息系統(tǒng)當(dāng)前的業(yè)務(wù)負(fù)荷和影響短消息業(yè)務(wù)安全穩(wěn)定的系統(tǒng)資源占用情況。短消息記錄的統(tǒng)計通常可以按短消息提交時間、短消息處理完成時間、短消息主被叫號碼、短消息發(fā)送次數(shù)、短消息最終發(fā)送結(jié)果 （成功或失敗原因）、短消息業(yè)務(wù)屬性等成分進(jìn)行統(tǒng)計分析。

本文從短消息業(yè)務(wù)、業(yè)務(wù)質(zhì)量、系統(tǒng)實時運(yùn)行狀態(tài)、短消息用戶4個維度入手，對短消息業(yè)務(wù)質(zhì)量的相關(guān)指標(biāo)參數(shù)進(jìn)行分析研究，提出了一套短消息業(yè)務(wù)評估指標(biāo)體系。

2 短消息業(yè)務(wù)評估體系

短消息評估體系的數(shù)據(jù)來源于短消息系統(tǒng)產(chǎn)生的實時計數(shù)統(tǒng)計數(shù)據(jù)和短消息處理結(jié)束時的短消息記錄，涵蓋短消息的提交階段、下發(fā)階段和記錄生成階段。在下發(fā)階段，短消息業(yè)務(wù)的一個重要特征就是首發(fā)失敗后的重發(fā)；短消息的主被叫號碼可用來分析短消息的來源地和目的地；短消息的下發(fā)結(jié)果可進(jìn)行短消息失敗原因分析、成功率統(tǒng)計分析，因而評估體系的設(shè)計會覆蓋時間維度、空間維度的各種細(xì)分業(yè)務(wù)。本質(zhì)上評估體系就是對短消息系統(tǒng)產(chǎn)生的原始數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘的行為，因此本評估體系在設(shè)計上就具有一定的開放性，具備自定義的分析手段，以應(yīng)對運(yùn)營維護(hù)在不同時期的不同需求。因此本文涉及的指標(biāo)僅供參考，分析的是該指標(biāo)的應(yīng)用目的。

短消息系統(tǒng)短消息業(yè)務(wù)的統(tǒng)計分析有3種方式。第 1種統(tǒng)計是基于短消息系統(tǒng)存儲的短消息記錄，考慮到短消息是非實時的業(yè)務(wù)，通常按提交時間進(jìn)行相關(guān)統(tǒng)計項目的分析。例如，統(tǒng)計特定時間段內(nèi)的短消息成功率，是指該時間段內(nèi)提交的短消息中成功發(fā)送的比率。而在該時間段內(nèi)提交的短消息通常不會都在該時間段內(nèi)發(fā)送成功，往往需要一定的時延進(jìn)行發(fā)送或重發(fā)。從提交時間來看，該統(tǒng)計實際就是對短消息系統(tǒng)中的短消息記錄按提交時間進(jìn)行過濾。第2種統(tǒng)計是基于短消息記錄的處理完成時間，即可以按處理完成時間對短消息系統(tǒng)的短消息記錄進(jìn)行相關(guān)統(tǒng)計項目的統(tǒng)計分析，此外也可以獨立地對短消息系統(tǒng)的提交和發(fā)送進(jìn)行實時統(tǒng)計。特定時間段內(nèi)，提交短消息的情況和短消息發(fā)送的情況，相互有重疊部分，也有互不相關(guān)的部分，該時間發(fā)送的短消息不一定是該時間段提交的，該時間段內(nèi)提交的短消息不一定在該時間段內(nèi)完成發(fā)送。第3種統(tǒng)計是系統(tǒng)實時記錄短消息提交和下發(fā)的情況，對提交和下發(fā)不做關(guān)聯(lián)，是并行的而且是獨立統(tǒng)計的，這種統(tǒng)計方式會帶來一個問題，即統(tǒng)計時間段內(nèi)提交的短消息數(shù)量和下發(fā)的短消息數(shù)量不相關(guān)，利用這種統(tǒng)計方式得到的短消息成功率有可能超過100%，但是這種統(tǒng)計方式在實時反映系統(tǒng)業(yè)務(wù)量情況以及處理能力方面是前兩種方式所不具備的。

本文著重引入基于短消息記錄的提交時間和基于實際時間的統(tǒng)計方式進(jìn)行各指標(biāo)的分析。

2.1業(yè)務(wù)評估

短消息系統(tǒng)業(yè)務(wù)評估從短消息提交和下發(fā)以及不同短消息業(yè)務(wù)種類等方面評估短消息的規(guī)模和成功率等。主要指標(biāo)如下所述。

（1）本系統(tǒng)的短消息提交業(yè)務(wù)

通過統(tǒng)計時間段內(nèi)本短消息系統(tǒng)終端用戶提交或成功提交的短消息條數(shù)，可以獲得短消息系統(tǒng)終端用戶的短消息提交成功率指標(biāo)，該指標(biāo)是以短消息提交時間作為統(tǒng)計時間段，提交失敗的原因主要為短消息系統(tǒng)接收到的本系統(tǒng)終端用戶提交的短消息無法通過用戶鑒權(quán)、路由、誤碼校驗等。目前短消息業(yè)務(wù)中出現(xiàn)的終端群發(fā)器對連續(xù)號段進(jìn)行群發(fā)的行為導(dǎo)致被叫大量空號，是導(dǎo)致提交成功率下降的重要因素。

（2）非本系統(tǒng)的短消息提交業(yè)務(wù)

通過統(tǒng)計時間段內(nèi)非本短消息系統(tǒng)提交或成功提交短消息系統(tǒng)的短消息條數(shù)，可以獲得其他短消息系統(tǒng)或短消息服務(wù)系統(tǒng)（SP）等非本短消息系統(tǒng)用戶提交短消息的成功率。該指標(biāo)涵蓋了運(yùn)營商網(wǎng)內(nèi)異地、網(wǎng)間、SP等提交的短消息，短消息量一般要大于本短消息系統(tǒng)終端用戶提交的短消息量。

（3）本系統(tǒng)的短消息下發(fā)業(yè)務(wù)

通過統(tǒng)計時間段內(nèi)提交到短消息系統(tǒng)中的下發(fā)和成功下發(fā)給本地SP的短消息條數(shù)，可以獲得短消息系統(tǒng)的短消息下發(fā)成功率，參與下發(fā)的短消息來自于本系統(tǒng)和非本系統(tǒng)的用戶提交并成功通過鑒權(quán)和路由的短消息。統(tǒng)計是基于短消息的提交時間而非下發(fā)時間的，為保證統(tǒng)計的準(zhǔn)確性，需要使統(tǒng)計時間段內(nèi)提交的短消息均通過提交、鑒權(quán)、路由、下發(fā)、重發(fā)最終完成處理并生成短消息記錄，這段時間允許的最大時長即為短消息的有效期。通常在提交時間段和相應(yīng)短消息有效期結(jié)束后的統(tǒng)計是有效和準(zhǔn)確的。

（4）系統(tǒng)間的短消息業(yè)務(wù)

本指標(biāo)統(tǒng)計短消息系統(tǒng)間的短消息轉(zhuǎn)發(fā)成功率和短消息發(fā)送業(yè)務(wù)成功率，前者一般是指短消息在系統(tǒng)間轉(zhuǎn)發(fā)成功，而后者則是以被叫用戶收到短消息且在短消息系統(tǒng)間返回的短消息回執(zhí)報告為準(zhǔn)進(jìn)行統(tǒng)計的。

（5）系統(tǒng)內(nèi)終端間的短消息業(yè)務(wù)

系統(tǒng)內(nèi)終端間的短消息通常稱為本地點對點短消息。本指標(biāo)是統(tǒng)計本系統(tǒng)所屬的終端用戶間互發(fā)的短消息以及成功發(fā)送的短消息量。系統(tǒng)內(nèi)終端間的短消息流轉(zhuǎn)的環(huán)節(jié)少，影響短消息成功率的因素集中，且一套短消息系統(tǒng)可覆蓋一個或幾個本地接入網(wǎng)絡(luò)，所以本指標(biāo)可較好地用于評估進(jìn)而優(yōu)化本地網(wǎng)絡(luò)。

2.2 質(zhì)量評估

短消息業(yè)務(wù)是非實時的業(yè)務(wù)，但作為使用該業(yè)務(wù)的用戶，希望發(fā)送的消息盡可能快地被被叫用戶收到，即短消息時延盡可能短。而整個短消息發(fā)送的過程需要經(jīng)過若干個環(huán)節(jié)，最終通過接入網(wǎng)絡(luò)到達(dá)被叫用戶。其中任何一個環(huán)節(jié)失敗，都會導(dǎo)致短消息發(fā)送失敗，但是發(fā)送失敗的短消息只要在有效期內(nèi)就可以根據(jù)其失敗原因設(shè)計下一次發(fā)送的方式。例如，若被叫用戶忙（被叫用戶正在通話），可以在2～3 min后進(jìn)行重發(fā)，這樣會有效地提高發(fā)送成功率，但發(fā)送時延就會進(jìn)一步增長。用戶可以承受的時延往往在一定范圍內(nèi)，因而要從重發(fā)次數(shù)、特定時延下的成功率、首次發(fā)送成功率、多次重發(fā)成功率等指標(biāo)來分析評估用戶的業(yè)務(wù)感知。

（1）失敗原因統(tǒng)計

通過對統(tǒng)計時間段內(nèi)提交到短消息系統(tǒng)下發(fā)給本系統(tǒng)終端用戶的短消息中的各失敗短消息進(jìn)行統(tǒng)計，并按失敗原因分類，獲得各類失敗原因的占比以及其他未知原因的占比。這類統(tǒng)計通?；诙滔⒂涗?，因而統(tǒng)計的是最終失敗原因。失敗原因通?？梢苑譃橛脩魝?cè)原因、網(wǎng)絡(luò)側(cè)原因和無線側(cè)原因。用戶側(cè)原因通常是指用戶終端所處的特定狀態(tài)，如關(guān)機(jī)或鑒權(quán)失敗、不支持短消息業(yè)務(wù)等；網(wǎng)絡(luò)側(cè)原因是指在有線網(wǎng)絡(luò)中的某個環(huán)節(jié)失??；無線側(cè)原因是指移動類終端到基站之間的信號覆蓋區(qū)域內(nèi)的覆蓋信號弱、其他信號干擾等。

（2）短消息重發(fā)機(jī)制評估

通過對統(tǒng)計時段內(nèi)提交到短消息系統(tǒng)的、下發(fā)給本系統(tǒng)終端用戶的各條短消息生成的記錄中短消息的發(fā)送結(jié)果和發(fā)送次數(shù)進(jìn)行分類統(tǒng)計，可以得到按提交時間段統(tǒng)計的短消息發(fā)送次數(shù)以及短消息成功發(fā)送次數(shù)，從而分析出平均每條短消息重發(fā)的次數(shù)以及短消息成功發(fā)送的平均次數(shù)，該指標(biāo)可以評估短消息系統(tǒng)的重發(fā)機(jī)制的優(yōu)化程度。重發(fā)次數(shù)的增加一般會增加短消息系統(tǒng)的負(fù)荷，而重發(fā)的目的是提高短消息發(fā)送成功率，重發(fā)成倍地增加了短消息的時延，通過對以上指標(biāo)的分析進(jìn)行短消息系統(tǒng)的參數(shù)重配置，在成功率、時延上達(dá)到平衡和兼顧。

（3）短消息時延評估

本指標(biāo)側(cè)重用戶短消息業(yè)務(wù)時延感受，對于用戶定時下發(fā)的短消息其首發(fā)時延定義為用戶定義的定時下發(fā)時間至完成首次下發(fā)時間的時間間隔，其他情況以短消息提交時間至完成（首次）下發(fā)時間的間隔為準(zhǔn)。也可以通過統(tǒng)計時間段內(nèi)提交到短消息系統(tǒng)的短消息中自提交時間到處理完成時間的時間間隔在1 min內(nèi) （含1 min）、1 h內(nèi)（含1 h）、超過1 h成功下發(fā)的短消息條數(shù)，從而獲得短消息1 min成功率、1 h成功率等指標(biāo)。

2.3 系統(tǒng)實時運(yùn)行狀態(tài)

系統(tǒng)實時運(yùn)行狀態(tài)涉及短消息系統(tǒng)的設(shè)備處理能力以及短消息系統(tǒng)實際處理短消息的情況。每秒處理短消息條數(shù)是系統(tǒng)擴(kuò)容依據(jù)之一，它隨著業(yè)務(wù)量及用戶量增長而增長；忙時緩存的短消息條數(shù)峰值綜合反映了無線側(cè)承載能力、重發(fā)機(jī)制設(shè)置合理性和業(yè)務(wù)流量等因素。本部分指標(biāo)評估特定時間段內(nèi)短消息系統(tǒng)正在下發(fā)和提交的短消息業(yè)務(wù)狀態(tài)，對短消息系統(tǒng)提交和下發(fā)的各項短消息指標(biāo)進(jìn)行實時計數(shù)統(tǒng)計。

（1）短消息實時下發(fā)情況

本指標(biāo)是指統(tǒng)計時間段內(nèi)短消息系統(tǒng)下發(fā)給終端用戶的短消息（成功）次數(shù)，反映短消息系統(tǒng)在統(tǒng)計時間段內(nèi)實際的短消息發(fā)送次數(shù)和成功次數(shù)，成功次數(shù)數(shù)值上等于短消息（成功）條數(shù)。這樣，就可以獲取系統(tǒng)在不同時段的按次下發(fā)成功率。通常閑時的成功率會高于忙時的成功率，因為在忙時，終端用戶使用短消息業(yè)務(wù)的頻次大大增加，而無線側(cè)的信道資源以及信號覆蓋區(qū)域有限，都會影響短消息系統(tǒng)的短消息下發(fā)按次成功率。

（2）失敗原因?qū)崟r統(tǒng)計

本指標(biāo)是統(tǒng)計時間段內(nèi)短消息系統(tǒng)下發(fā)失敗的短消息的各類失敗原因的統(tǒng)計，實時記錄統(tǒng)計時間段內(nèi)各次下發(fā)失敗的原因。短消息記錄中的失敗原因，是最后一次下發(fā)的失敗原因，而此處是統(tǒng)計每次下發(fā)失敗的原因。

（3）短消息系統(tǒng)資源占用情況

短消息系統(tǒng)CPU/內(nèi)存占用率峰值為統(tǒng)計時間段內(nèi)的CPU占用率最大值，短消息系統(tǒng)中如存在多臺服務(wù)器的情況，可以通過網(wǎng)管在統(tǒng)計時間段內(nèi)對各服務(wù)器按要求頻次統(tǒng)計CPU/內(nèi)存占用率，取其中最大值，反映了短消息系統(tǒng)硬件資源的實時占用情況。

（4）短消息處理能力

本指標(biāo)是指短消息系統(tǒng)設(shè)計的每秒最大處理短消息條數(shù)以及統(tǒng)計時間段內(nèi)實際處理的各個方向短消息條數(shù)，用以評估系統(tǒng)當(dāng)前的業(yè)務(wù)負(fù)荷是否正常。

（5）短消息的緩存

本指標(biāo)是指短消息系統(tǒng)能存放的尚未處理完成的短消息條數(shù)峰值或統(tǒng)計時間段內(nèi)實際存放的尚未處理完成的短消息條數(shù)峰值。需緩存的短消息是指短消息系統(tǒng)首發(fā)待發(fā)的短消息、重發(fā)待發(fā)的短消息、等待回執(zhí)報告的短消息，在節(jié)假日高峰時短消息緩存會超警戒而需人工干預(yù)。

2.4短消息用戶評估

短消息系統(tǒng)用戶評估反映短消息系統(tǒng)用戶規(guī)模和用戶使用短消息業(yè)務(wù)的量化數(shù)據(jù)，評估短消息系統(tǒng)的注冊用戶規(guī)模及一定時期內(nèi)注冊用戶中使用短消息業(yè)務(wù)的用戶量及頻次，主要指標(biāo)包括短消息系統(tǒng)的注冊用戶數(shù)（注冊短消息業(yè)務(wù)的用戶）、活動用戶數(shù)（統(tǒng)計時間段內(nèi)使用過短消息業(yè)務(wù)的用戶數(shù)量）、人均發(fā)送短消息次數(shù)。

3 短消息業(yè)務(wù)質(zhì)量評估系統(tǒng)的設(shè)計與實現(xiàn)

基于短消息業(yè)務(wù)質(zhì)量評估體系，筆者進(jìn)行了評估系統(tǒng)的設(shè)計，系統(tǒng)的組網(wǎng)架構(gòu)如圖1所示，短消息系統(tǒng)將實時計數(shù)統(tǒng)計和短消息記錄兩類原始數(shù)據(jù)周期性地通過FTP方式上傳至短消息業(yè)務(wù)質(zhì)量評估系統(tǒng)。短消息業(yè)務(wù)質(zhì)量評估系統(tǒng)對兩種類型數(shù)據(jù)文件進(jìn)行分析處理，采用前文建立的評估指標(biāo)體系對數(shù)據(jù)進(jìn)行處理，從“時間維度”、“用戶維度”、“地理緯度”、“業(yè)務(wù)維度”、“系統(tǒng)維度”和“用戶感知維度”等多維度展現(xiàn)分析數(shù)據(jù)。

短消息業(yè)務(wù)質(zhì)量評估系統(tǒng)的結(jié)構(gòu)自下而上設(shè)計為數(shù)據(jù)接入、數(shù)據(jù)預(yù)處理、數(shù)據(jù)存儲、數(shù)據(jù)分析和數(shù)據(jù)展現(xiàn)5層，如圖2所示。數(shù)據(jù)接入層通過FTP服務(wù)接口接收來自各短消息系統(tǒng)的數(shù)據(jù)文件，對實時計數(shù)統(tǒng)計數(shù)據(jù)文件和短消息記錄數(shù)據(jù)文件進(jìn)行分揀，并完成對數(shù)據(jù)文件及時性、完整性的驗證，實時監(jiān)控數(shù)據(jù)文件質(zhì)量。經(jīng)過驗證的數(shù)據(jù)文件，被傳送至預(yù)處理層進(jìn)行處理。預(yù)處理層將實時計數(shù)統(tǒng)計數(shù)據(jù)文件分析傳送至數(shù)據(jù)存儲層中的可配置的數(shù)據(jù)模型中。短消息記錄數(shù)據(jù)是大量的原始業(yè)務(wù)信息，預(yù)處理層需要對這些數(shù)據(jù)進(jìn)行快速號段匹配和維度預(yù)處理，從原始業(yè)務(wù)信息中分析轉(zhuǎn)換有價值的信息。例如，從主被叫號碼分析得出主被叫歸屬的運(yùn)營商、省份、地市信息。預(yù)處理層對該層的所有操作進(jìn)行監(jiān)控，以保證數(shù)據(jù)質(zhì)量。存儲層采用高可用性架構(gòu)和高可擴(kuò)展性架構(gòu)的數(shù)據(jù)庫作為基礎(chǔ)數(shù)據(jù)存儲引擎，以滿足海量短消息記錄數(shù)據(jù)的存儲需要和短消息系統(tǒng)的靈活擴(kuò)容需要。分析層以短消息業(yè)務(wù)模型為基礎(chǔ)，采用業(yè)界先進(jìn)的大數(shù)據(jù)處理方法，結(jié)合關(guān)聯(lián)分析和維度分析，以實現(xiàn)對短消息業(yè)務(wù)質(zhì)量評估的全面數(shù)據(jù)支撐。

經(jīng)過分析后的數(shù)據(jù)，在展現(xiàn)層通過多維分析報表的方式展現(xiàn)給用戶，提供以專題方式呈現(xiàn)的短消息業(yè)務(wù)質(zhì)量評估數(shù)據(jù)，主要包括運(yùn)行質(zhì)量專題、用戶感知專題、業(yè)務(wù)發(fā)展專題、關(guān)聯(lián)業(yè)務(wù)專題和場景監(jiān)控專題等，并能夠根據(jù)用戶實際需要靈活定制特殊場景專題。

4 短消息業(yè)務(wù)的評估體系在現(xiàn)網(wǎng)的應(yīng)用

該評估體系在中國電信集團(tuán)公司現(xiàn)網(wǎng)運(yùn)行以來，由于采用統(tǒng)一的標(biāo)準(zhǔn)，解決了不同廠商短消息系統(tǒng)指標(biāo)定義的差異問題，評估被各地區(qū)運(yùn)維人員所認(rèn)同，積極查找發(fā)現(xiàn)本地區(qū)短消息業(yè)務(wù)開展中存在的質(zhì)量問題，大力提升本地區(qū)的短消息業(yè)務(wù)質(zhì)量指標(biāo)排名，使得全網(wǎng)短消息業(yè)務(wù)指標(biāo)在短時間內(nèi)有了顯著的提升，促進(jìn)了各地區(qū)的無線網(wǎng)絡(luò)優(yōu)化工作，同時也提升了移動通信業(yè)務(wù)中語音和數(shù)據(jù)的業(yè)務(wù)質(zhì)量。

圖1 短消息業(yè)務(wù)質(zhì)量評估系統(tǒng)

圖2 短消息業(yè)務(wù)質(zhì)量評估系統(tǒng)的結(jié)構(gòu)

5 結(jié)束語

建立短消息評估體系并應(yīng)用于現(xiàn)網(wǎng)，便于從宏觀上把握全網(wǎng)的短消息業(yè)務(wù)運(yùn)行狀態(tài)，及時獲悉各地區(qū)的業(yè)務(wù)發(fā)展的差異，并反饋到相關(guān)的短消息系統(tǒng)以便進(jìn)行短消息網(wǎng)絡(luò)和設(shè)備的優(yōu)化，對提升移動通信業(yè)務(wù)尤其是短消息和互聯(lián)網(wǎng)數(shù)據(jù)的業(yè)務(wù)質(zhì)量有著積極的意義。

1 中國電信集團(tuán)公司.CDMA短消息中心技術(shù)要求補(bǔ)充規(guī)范，2011

2 中國電信集團(tuán)公司.中國電信業(yè)務(wù)平臺集中監(jiān)控系統(tǒng)北向接口規(guī)范——CDMA短消息中心數(shù)據(jù)采集分冊，2011