垃圾短信治理技術(shù)應(yīng)用

馬潤民，李盈

（中國移動通信集團青海有限公司，西寧 810008）

垃圾短信治理技術(shù)應(yīng)用

馬潤民，李盈

（中國移動通信集團青海有限公司，西寧 810008）

垃圾短信目前依然是困擾用戶和運營商的一大問題。本文根據(jù)運營商治理垃圾短信的現(xiàn)狀，采用了基于用戶行為特征的垃圾短信治理策略管理的技術(shù)和開啟行業(yè)應(yīng)用短信網(wǎng)關(guān)前轉(zhuǎn)消息主叫號段鑒權(quán)的方法，有效提高垃圾短信的攔截效率，降低誤攔率，取得了良好的社會效益。

垃圾短信；用戶行為特征；主叫號段鑒權(quán)

對于垃圾短信治理各行各業(yè)提出了許多治理垃圾短信的方法，如基于特征詞的垃圾短信分類模型，5MAP手機廣告平臺等，但截至目前依然是困擾用戶和運營商的一大難題。近年來，運營商以業(yè)務(wù)安全管控為基礎(chǔ)，技術(shù)反制為手段，通過全面分析垃圾短信投訴樣本，及時獲取垃圾短信的熱點內(nèi)容，并隨之動態(tài)優(yōu)化調(diào)整關(guān)鍵字策略，加強策略監(jiān)控攔截力度，有效降低了每萬用戶垃圾短信量及客戶投訴量。但是靠人為識別垃圾短信關(guān)鍵字并進行策略優(yōu)化遠不能企及垃圾短信爆發(fā)的速度，再加上策略集優(yōu)化工作量大，垃圾短信的治理過程中不免存在策略簡單粗放，短信誤攔等現(xiàn)象，使得已取得的成效無法鞏固。因此，中國移動在現(xiàn)有垃圾短信治理經(jīng)驗上，引進先進技術(shù)，采用科學管理，進一步推動垃圾短信的治理效果。

1 白名單+科學封堵

為改變策略簡單粗放的現(xiàn)象，運營商在深入研究垃圾短信行為特征的基礎(chǔ)上采用了基于客戶綜合特征分析的垃圾短信治理策略，建立起白名單和科學封堵模型相結(jié)合的垃圾短信治理模式，從科學封堵運營數(shù)據(jù)的統(tǒng)計分析、效果評估方面入手，及時更新策略，努力提高策略分層管理有效性，深化策略科學封堵管理常態(tài)化，形成一整套基于客戶特征分析的垃圾短信治理長效機制，實現(xiàn)精細化、行為級、高效性的垃圾短信治理。

1.1 實現(xiàn)原理及過程

首先通過經(jīng)營分析系統(tǒng)，構(gòu)建用戶短信發(fā)送行為的識別模型，接著根據(jù)模型運行的結(jié)果得到相應(yīng)的白名單及危險名單，進一步分解為一級白名單、二級白名單、低危用戶名單和高危用戶名單數(shù)據(jù)，然后根據(jù)名單制定策略并部署到垃圾短信監(jiān)控系統(tǒng)中，最后根據(jù)現(xiàn)網(wǎng)中的應(yīng)用效果及相關(guān)的反饋數(shù)據(jù)實現(xiàn)模型優(yōu)化提升，并對市場源頭治理形成相關(guān)建議。

1．1．1 白名單分層分級

模型構(gòu)建后，主要是根據(jù)用戶行為建立各級白名單和危險用戶名單組，通過經(jīng)分系統(tǒng)對用戶屬性、通信行為等數(shù)據(jù)進行分析，綜合發(fā)送垃圾短信的風險程度、信譽等級等因素來細分客戶群體，得到分類后的白名單、危險用戶名單，同時結(jié)合人工參與再對名單進行分析，并從白名單中抽取一級白名單和二級白名單、從危險用戶名單中抽取高危用戶名單和低危用戶名單，最后對各類名單進行增刪調(diào)整形成最終輸出。

表1 用戶組別特征表

1．1．2 號段/號碼組安全系數(shù)配置

建立白名單分層分級的目的是對于不同級別的白名單采用不同安全系數(shù)實現(xiàn)不同級別的管控，垃圾短信攔截平臺采用同一套策略，對于不同分組設(shè)置有針對性的監(jiān)控和攔截規(guī)則。一個用戶只能屬于一個帶安全系數(shù)的用戶組，安全系數(shù)越高，說明該用戶發(fā)送垃圾短信的可能性越小，監(jiān)控策略配置越寬松。

各用戶組上線后，對應(yīng)安全系統(tǒng)按照如表2進行配置。

表2 用戶組安全系數(shù)配置表

1．1．3 各級白名單導(dǎo)入

運營商垃圾短信系統(tǒng)中導(dǎo)入經(jīng)分的用戶組數(shù)據(jù)共計341 846個，其中一級和二級白名單數(shù)據(jù)按照一定的百分比輸出數(shù)據(jù)，低危和高危用戶為固定的40000和10000，普通號碼組（如86134，86189等）以號段的方式加入。完成各號段/號碼組建立和相應(yīng)安全系統(tǒng)配置以后，上文建立的各級白名單即可導(dǎo)入到對應(yīng)的號段/號碼組中去，同時將號碼導(dǎo)入已經(jīng)建立好的具有安全系數(shù)的號碼組中。

1．1．4 優(yōu)化策略結(jié)構(gòu)

結(jié)合每一級別客戶的行為特點，在垃圾短信監(jiān)控系統(tǒng)中制定有針對性的精細化組合策略，將各級白名單導(dǎo)入對應(yīng)的號段/號碼組以后，如低危風險用戶導(dǎo)入“低風險”號碼組，將高風險用戶導(dǎo)入“高風險”號碼組等，還要啟用特殊的流量、關(guān)鍵字規(guī)則以達到“嚴打”和“降低誤攔”的區(qū)分對待的目的。低風險用戶除了啟用較普通用戶嚴格兩倍的純流量監(jiān)控策略，還啟用了目的號碼離散策略；高風險用戶同樣啟用了較普通用戶嚴格兩倍的純流量監(jiān)控策略，還啟用了較普通用戶嚴格兩倍的省外號段命中率策略。在關(guān)鍵字方面，對于低危用戶設(shè)置了更為嚴格的房產(chǎn)和金融類關(guān)鍵字策略，同時根據(jù)垃圾短信平臺中的審核情況、用戶投訴等數(shù)據(jù)進行動態(tài)調(diào)整，驗證調(diào)整客戶模型，評估優(yōu)化定制策略的有效性，實現(xiàn)策略運營的閉環(huán)管理，即可形成一套基于客戶特征分析的垃圾短信治理組合策略集。

1.2 效果分析

運營商啟用白名單+科學封堵模型后，通過五級號碼區(qū)分流量和關(guān)鍵字策略，在攔截高風險用戶方面各項指標較以往均有明顯提升。同時在降低人工審核量、降低誤攔截量、降低投訴量、提升垃圾短信命中率和保護高價值客戶等方面起到積極的改善效果。

（1）人工審核量降低：一級白名單加入系統(tǒng)以后，放松安全系數(shù)，大大降低審核量。

（2）誤攔率降低：規(guī)避因誤攔截引發(fā)的高端客戶投訴風險，一/二級白名單中違規(guī)用戶占比降低。

（3）命中率提高：收緊高風險用戶的安全系數(shù)，垃圾短信攔截命中率提升7倍。

（4）每萬用戶垃圾短信量降低：2016年8月運營商每萬用戶垃圾短信量較2015下降62.57%。

（5）投訴量降低：2016年9月運營商垃圾短信被舉報量同比下降83.72%。

（6）高價值客戶保護：白名單號碼多為高星級用戶及黨政機軍高端客戶，白名單使用體現(xiàn)客戶品牌價值，提高了客戶滿意度。

2 行業(yè)網(wǎng)關(guān)全網(wǎng)賬號主叫鑒權(quán)技術(shù)

隨著即時通訊工具（如QQ、微信等）的發(fā)展，點對點的短信量（即用戶之間發(fā)送短信）今年來呈逐年降低趨勢；但是因為政企用戶對于短信批量通知、信息及時傳遞、業(yè)務(wù)營銷等需求越來越旺盛，行業(yè)類短信反呈逐年遞增趨勢。

2016年8月短信業(yè)務(wù)量較去年同期下降了27.69%，較前年同期下降了34.03%，2016年9月短信業(yè)務(wù)量較去年同期下降了26.64%，較前年同期下降了29.03%。

行業(yè)短信的需求增長極為迅猛，2016年8月行業(yè)網(wǎng)關(guān)下行短信業(yè)務(wù)量較去年同期增長了40.16%，較前年同期增長了123.77%，2016年9月行業(yè)網(wǎng)關(guān)下行短信業(yè)務(wù)量較去年同期增長了68.82%，較前年同期增長了99.97%。

在點對點短信業(yè)務(wù)日趨下降的同時，行業(yè)類短信成了短信業(yè)務(wù)量的新的增長點，而行業(yè)類短信的大量飛速增長，也帶來了大量的商業(yè)性垃圾短信。商家的營銷推送、日常業(yè)務(wù)推送都會給用戶帶來困擾。鑒于這種情況，相關(guān)部門也出臺了相應(yīng)的規(guī)范對行業(yè)類短信進行管控，例如企業(yè)簽名前置，避免企業(yè)逃避企業(yè)簽名；用戶可以使用0000進行自主查詢退訂行業(yè)類業(yè)務(wù)。

2.1 消息簽名問題

現(xiàn)有規(guī)范要求：EC/SI在提交MT消息時，需自己對短信進行拆分，假設(shè)拆分后的短信共N（N≥1）條，即Pk_total＝N，前N-1條短信不會被加簽名，第N條（即最后一條， Pk_number＝N）短信會被加上簽名。

因此當EC故意不發(fā)送最后一條消息，可逃避企業(yè)簽名。

或者EC/SI提交短信時，故意將Msg_Fmt字段選擇為非CMPP協(xié)議明確規(guī)定的5種信息格式時，導(dǎo)致非CMPP協(xié)議規(guī)定的信息格式的短信在終端上能正確顯示，且未加簽名， 從而達到逃避行業(yè)應(yīng)用網(wǎng)關(guān)簽名的目的等。

2.2 0000/0000無法有效退訂問題

行業(yè)應(yīng)用網(wǎng)關(guān)的黑白名單由BOSS 同步而來，當個人用戶上行“0000/00000”退訂集團業(yè)務(wù)后，行業(yè)網(wǎng)關(guān)對用戶主動退訂業(yè)務(wù)進行特殊標記，同時反向同步至BOSS，避免集團客戶再次將該手機號碼從BOSS側(cè)加入白名單/退出黑名單。

以上兩種方法都可以有效規(guī)范企業(yè)的行為，可一定程度上避免EC濫用短信通道導(dǎo)致用戶大量接收的現(xiàn)象。同時，還有一種通過行網(wǎng)關(guān)跨省發(fā)送垃圾的現(xiàn)象也有可能造成嚴重的后果。

2016年元旦，運營商EC端口被黑客攻擊，獲取了賬號、密碼權(quán)限，偽裝成正常的EC登錄行業(yè)短信網(wǎng)關(guān)，又偽裝成全網(wǎng)EC，給外省用戶發(fā)送了超過百萬級數(shù)量的垃圾短信，其中A省因為垃圾短信平臺未能及時攔截，導(dǎo)致大量用戶接收到垃圾短信，造成了非常負面的影響。鑒于此次安全事件，在深入研究全網(wǎng)短信下發(fā)的基礎(chǔ)上，與相關(guān)部門商定后開啟了行業(yè)網(wǎng)關(guān)主叫號段鑒權(quán)功能，避免省端用戶遭受到同樣原因?qū)е碌睦绦攀录?/p>

3 全網(wǎng)行業(yè)短信下發(fā)原理

全網(wǎng)EC/SP首先接入本地所在行業(yè)短信網(wǎng)關(guān)（一般為省級行業(yè)網(wǎng)關(guān)），將需要下發(fā)的短信內(nèi)容，接收號碼等按照CMPP協(xié)議提交到行業(yè)短信網(wǎng)關(guān)，行業(yè)網(wǎng)關(guān)根據(jù)接收號碼進行分揀，如果是本省用戶就直接提交短信中心下發(fā)，如果是外省用戶，就通過本省行業(yè)網(wǎng)關(guān)與外省行業(yè)網(wǎng)關(guān)之間的鏈路將短信轉(zhuǎn)發(fā)，外省行業(yè)網(wǎng)關(guān)收到后再提交到該省的短信中心進行下發(fā)。

圖1 行業(yè)網(wǎng)關(guān)業(yè)務(wù)流程圖

因為行業(yè)網(wǎng)關(guān)對于前轉(zhuǎn)短消息（其他省轉(zhuǎn)到本省的消息）是基于被叫號碼轉(zhuǎn)發(fā)的，如果被叫是本省用戶則直接透傳到短信中心，而短信中心為了節(jié)省號段資源，多為大號段匹配，所以本省某EC并不是全網(wǎng)業(yè)務(wù)，也能給全網(wǎng)用戶下發(fā)短信，如果此時垃圾短信平臺攔截不力，就會造成大量用戶投訴。具體流程如圖1所示。

4 主叫鑒權(quán)實現(xiàn)原理

對于此次案例中，如果A省能及時識別某EC并非全網(wǎng)業(yè)務(wù)，就能將垃圾短信屏蔽于網(wǎng)關(guān)之外。本著這種思路，行業(yè)網(wǎng)關(guān)開啟了對前轉(zhuǎn)消息的主叫鑒權(quán)功能。

開啟主叫鑒權(quán)功能以后，同時將各省對應(yīng)的全網(wǎng)EC錄入的號段鑒權(quán)表中，當外省某EC給本省用戶發(fā)送短信時，就會在號段鑒權(quán)表進行匹配，拒絕未申報的EC的消息進入，進而拒絕該EC給本省用戶下發(fā)垃圾短信。同時在制作全網(wǎng)局數(shù)據(jù)時對主叫鑒權(quán)號段進行更新，保證正常EC全網(wǎng)業(yè)務(wù)的順利下發(fā)。

5 結(jié)束語

垃圾短信的治理是一項長期而又艱巨的任務(wù)，本文從白名單+科學封堵和行業(yè)網(wǎng)關(guān)前轉(zhuǎn)消息主叫鑒權(quán)分析了運營商可以采取的垃圾短信治理手段，并取得了良好的效果。但是隨著技術(shù)的不斷發(fā)展，大數(shù)據(jù)時代和云計算時代的來臨，云計算結(jié)束在治理垃圾短信問題上突顯出相當大的優(yōu)勢。同時，市場側(cè)的管理和用戶側(cè)反垃圾短信的意識提高，也是協(xié)同治理好垃圾短信的重要因素。

[1]張永軍， 劉金嶺． 基于特征詞的垃圾短信分類器模型[J]． 計算機應(yīng)用， 2013，33(5)：1334-1337．

[2]秦曉飛， 張敏． 用市場化手段治理垃圾短信頑疾[J]． 業(yè)務(wù)與支撐系統(tǒng)， 2013(18)：89-92．

[3]孫大鵬． 云計算技術(shù)在垃圾短信過濾中的應(yīng)用與實現(xiàn)[J]． 信息網(wǎng)絡(luò)安全， 2015(7)：13-19．

Application of technology in spam short messages controlling

MA Run-min, LI Ying
(China Mobile Group Qinghai Co., Ltd., Xi'ning 810008, China)

The problem of spam short messages is still bothering mobile users and communication operators. According to the effect of controlling spam messages, this paper presented two methods of spam messages filtering, which based on characteristics of users and calling code authentication in IAGW forwarding messages, improved the effi ciency of spam messages controlling, reduced the rate of false alarm and made a good demonstration to social.

spam short messages; characteristics of users; calling code authentication

TN918

A

1008-5599（2016）12-0047-04

2016-11-24