深度分組檢測技術(shù)研究及在流量經(jīng)營中的應(yīng)用

張 青，陳 翀，向 勇

（中國電信股份有限公司廣州研究院 廣州510630）

1 引言

大數(shù)據(jù)時(shí)代電信運(yùn)營商面臨的主要問題是為了滿足數(shù)據(jù)流量的增長而不斷進(jìn)行網(wǎng)絡(luò)擴(kuò)容，但數(shù)據(jù)流量卻“增量不增收”，數(shù)據(jù)流的附加值被互聯(lián)網(wǎng)公司賺走，同時(shí)面臨淪為管道化的尷尬。在電信運(yùn)營商轉(zhuǎn)型中，實(shí)現(xiàn)流量經(jīng)營[1]已成共識。流量經(jīng)營是把電信管道里的流量和用戶的消費(fèi)需求進(jìn)行高效和精確的匹配，從而給用戶帶來最好的業(yè)務(wù)體驗(yàn)，以獲得高效的商業(yè)收益。

流量經(jīng)營，最重要的就是建立業(yè)務(wù)、內(nèi)容、協(xié)議和流量的精確識別，深度分組檢測（deep packet inspection，DPI）技術(shù)能夠使互聯(lián)網(wǎng)中的所有流量具備可見性，通過對網(wǎng)絡(luò)流量的分組頭和荷載進(jìn)行分析，實(shí)現(xiàn)對流量洞察、應(yīng)用分類和用戶行為的研究。

本文在分析目前電信運(yùn)營商流量經(jīng)營策略基礎(chǔ)上，提出深度分組檢測技術(shù)在流量經(jīng)營中的應(yīng)用模式及應(yīng)用難點(diǎn)，為建立完善流量信息分析系統(tǒng)提供理論參考。

2 深度分組檢測技術(shù)

傳統(tǒng)的流量和帶寬管理是基于OSI參考模型的L2～L4層，通過IP分組頭的五元組（包括源地址、目的地址、源端口、目的端口以及協(xié)議類型）信息進(jìn)行分析，通常稱此為“普通報(bào)文解析”?！捌胀▓?bào)文解析”僅分析IP分組的4層以下的內(nèi)容，通過端口號來識別應(yīng)用類型。而當(dāng)前網(wǎng)絡(luò)上的一些應(yīng)用會(huì)采用隱藏或假冒端口號的方式躲避檢測和監(jiān)管，造成仿冒合法報(bào)文的數(shù)據(jù)流侵蝕著網(wǎng)絡(luò)（例如P2P下載軟件大多采用動(dòng)態(tài)協(xié)商端口機(jī)制），此時(shí)采用L2～L4層的傳統(tǒng)檢測方法就無能為力了。

為了識別諸如基于開放端口、隨機(jī)端口甚至采用加密方式等進(jìn)行傳輸?shù)膽?yīng)用類型，深度分組檢測技術(shù)應(yīng)運(yùn)而生。當(dāng)IP數(shù)據(jù)分組、TCP或UDP數(shù)據(jù)流經(jīng)過基于深度分組檢測技術(shù)的流量管理系統(tǒng)時(shí)，該系統(tǒng)通過深入讀取IP分組荷載的內(nèi)容來對OSI 7層協(xié)議中的應(yīng)用層信息進(jìn)行重組，對數(shù)據(jù)流的類型、狀態(tài)和內(nèi)容等進(jìn)行識別。深度分組檢測技術(shù)可以分為端口號檢測和報(bào)文特征檢測兩種數(shù)據(jù)分組檢測技術(shù)。

（1）基于“端口號檢測”的數(shù)據(jù)分組檢測技術(shù)

端口號檢測是根據(jù)TCP/UDP的端口來識別應(yīng)用，檢測效率高。隨著IP網(wǎng)絡(luò)技術(shù)的發(fā)展，端口號檢測技術(shù)適用的范圍越來越小，但仍有很多傳統(tǒng)網(wǎng)絡(luò)應(yīng)用協(xié)議使用固定的知名端口進(jìn)行通信。因此對于這一部分的網(wǎng)絡(luò)內(nèi)容流量，可以采用端口號檢測技術(shù)進(jìn)行識別。

（2）基于“報(bào)文特征”的數(shù)據(jù)分組檢測技術(shù)

當(dāng)前，許多傳統(tǒng)的和新興的業(yè)務(wù)應(yīng)用，如P2P下載、視頻等應(yīng)用，都采用了端口號隱藏技術(shù)，如果單純依賴端口號檢測技術(shù)，將無法精確地對這些業(yè)務(wù)應(yīng)用進(jìn)行識別，因此，有必要采用報(bào)文特征檢測技術(shù)[2]。

報(bào)文特征檢測技術(shù)，大致可以分為兩種。一種是已知應(yīng)用的識別，例如FTP、HTTP、DNS等，這些業(yè)務(wù)應(yīng)用具有標(biāo)準(zhǔn)的協(xié)議，并規(guī)定了特有的消息和命令字以及狀態(tài)遷移機(jī)制，通過對這些專有字段和狀態(tài)的檢測分析，可以精確、可靠地識別出這些業(yè)務(wù)應(yīng)用。另一種是未公開應(yīng)用的識別，例如當(dāng)前多數(shù)的P2P協(xié)議，這些業(yè)務(wù)應(yīng)用通常采用私有的消息和命令字，無法得知其協(xié)議細(xì)節(jié)。對這些業(yè)務(wù)應(yīng)用的識別需要通過逆向工程分析協(xié)議機(jī)制，總結(jié)歸納出屬于該業(yè)務(wù)應(yīng)用的報(bào)文特征，并通過這些特征字段來識別這些業(yè)務(wù)的應(yīng)用內(nèi)容。

3 深度分組檢測技術(shù)在流量經(jīng)營中的應(yīng)用模式

隨著智能手機(jī)的普及，移動(dòng)數(shù)據(jù)業(yè)務(wù)爆炸性增長，對電信運(yùn)營商來說這是巨大的機(jī)會(huì)和挑戰(zhàn)。作為移動(dòng)數(shù)據(jù)業(yè)務(wù)基礎(chǔ)的通信網(wǎng)絡(luò)是最重要的組成部分，如何洞察網(wǎng)絡(luò)數(shù)據(jù)流量，成為流量經(jīng)營的關(guān)鍵一步。

3.1 流量洞察

深度分組檢測技術(shù)對用戶使用流量的具體用途進(jìn)行了深度分析，包括使用位置、內(nèi)容、業(yè)務(wù)、時(shí)段、用戶類型，從而獲取用戶的流量使用特征、內(nèi)容使用特征、業(yè)務(wù)使用特征以及時(shí)段使用特征等[3]。

目前電信運(yùn)營商采用深度分組檢測技術(shù)，專注于OSI網(wǎng)絡(luò)模型的L7層，實(shí)現(xiàn)了對各種網(wǎng)絡(luò)應(yīng)用協(xié)議的精準(zhǔn)識別。不僅能夠識別網(wǎng)絡(luò)游戲、VoIP、即時(shí)通信、P2P下載、網(wǎng)絡(luò)電視、股票軟件、辦公自動(dòng)化等上百種傳統(tǒng)網(wǎng)絡(luò)應(yīng)用協(xié)議；還能及時(shí)識別并精確控制加密傳輸、動(dòng)態(tài)協(xié)商端口、借用常規(guī)協(xié)議及端口的網(wǎng)絡(luò)應(yīng)用，如迅雷、BT、IM傳輸?shù)取亩峁┯脩艟W(wǎng)絡(luò)流量的透明感知能力，并能夠從多種維度進(jìn)行流量信息的清晰展現(xiàn)。深度分組檢測采集分析示意如圖1所示。

圖1 深度分組檢測采集分析

3.2 用戶行為

深度分組檢測技術(shù)采集的用戶上網(wǎng)數(shù)據(jù)，包含著準(zhǔn)確的應(yīng)用識別與豐富的用戶行為數(shù)據(jù)，通過這些數(shù)據(jù)可以洞悉用戶的消費(fèi)行為與偏好，挖掘巨大的商機(jī)，給市場營銷帶來新思維。

基于深度分組檢測技術(shù)輸出的移動(dòng)互聯(lián)網(wǎng)數(shù)據(jù)，是對URL（uniform resource locator，統(tǒng)一資源定位符）內(nèi)容采用分類打標(biāo)簽等方式明確用戶的訪問興趣，通過社交圈分析方法獲取不同的社交群體，從而對社交群體的興趣進(jìn)行分類。其后通過流量推薦引擎，根據(jù)設(shè)置好的推薦規(guī)則向用戶進(jìn)行資費(fèi)、業(yè)務(wù)、內(nèi)容的推薦，包括潛在用戶、疊加包、資費(fèi)變更、使用提升及沉默激活的推薦等。交叉營銷和關(guān)聯(lián)營銷示意如圖2所示。

精準(zhǔn)廣告推薦是根據(jù)用戶內(nèi)容偏好、社會(huì)特性、人際交往、位置特征構(gòu)建用戶標(biāo)簽，支撐廣告推送時(shí)的目標(biāo)受眾獲取。用戶全面畫像的針對性營銷示意如圖3所示。

圖2 交叉營銷和關(guān)聯(lián)營銷

圖3 用戶全面畫像的針對性營銷

3.3 智能策略

隨著網(wǎng)絡(luò)流量的不斷增長以及網(wǎng)絡(luò)應(yīng)用的日趨紛繁復(fù)雜不難看到，簡單、無限制地增加網(wǎng)絡(luò)帶寬是不能解決網(wǎng)絡(luò)流量的根本問題的。需要對網(wǎng)絡(luò)流量進(jìn)行管理，從而保證網(wǎng)絡(luò)的健康和網(wǎng)絡(luò)應(yīng)用的正常服務(wù)。

深入的網(wǎng)絡(luò)流量分析是根據(jù)優(yōu)先級別分配帶寬資源。分配的依據(jù)可以是主機(jī)、應(yīng)用等，特別需要考慮的是將消耗資源的P2P程序或者音視頻下載等進(jìn)行滯后考慮。具體操作時(shí)可以使用主流的流量控制工具來實(shí)現(xiàn)，如進(jìn)行分類監(jiān)視和控制網(wǎng)絡(luò)流量，這樣，就可以對網(wǎng)絡(luò)流量進(jìn)行有效管理，將原來無序的網(wǎng)絡(luò)流量變得有序。

在日常的網(wǎng)絡(luò)流量管理中，為了有效實(shí)現(xiàn)網(wǎng)絡(luò)管理，可以采取以下策略。

·帶寬控制策略測算：為市場人員進(jìn)行帶寬控制設(shè)計(jì)提供信息支撐，同時(shí)對設(shè)計(jì)好的帶寬控制測量提供依據(jù)，用于預(yù)測該控制測量帶來的影響。

·動(dòng)態(tài)FUP（fair usage policy，公平使用原則）：對于相同業(yè)務(wù)的訂購用戶，針對用戶群體的使用情況如平均流量、在線時(shí)長等進(jìn)行使用分類，當(dāng)網(wǎng)絡(luò)資源受限時(shí)，優(yōu)先控制業(yè)務(wù)使用已經(jīng)達(dá)到一定水平的用戶，保障業(yè)務(wù)使用水平較低的用戶群體使用。

·用戶級應(yīng)用控制：對于占用網(wǎng)絡(luò)資源的應(yīng)用，例如QQ，當(dāng)網(wǎng)絡(luò)資源受限時(shí)，對于運(yùn)營商價(jià)值較低的用戶，實(shí)行智能分配，將其使用的業(yè)務(wù)指定到PDCH（分組數(shù)據(jù)信道），保障高價(jià)值用戶使用體驗(yàn)的同時(shí)，從而限制第三方應(yīng)用對網(wǎng)絡(luò)資源的占用。

4 深度分組檢測數(shù)據(jù)的應(yīng)用難點(diǎn)和解決方案

4.1 深度分組檢測未識別應(yīng)用

利用深度分組檢測技術(shù)可實(shí)現(xiàn)移動(dòng)互聯(lián)網(wǎng)數(shù)據(jù)應(yīng)用解析，對IP數(shù)據(jù)分組的內(nèi)容進(jìn)行分析，綜合特征字的查找和行為模式識別技術(shù)，得到業(yè)務(wù)應(yīng)用類型。統(tǒng)計(jì)用戶的使用情況和業(yè)務(wù)流量分布，從而實(shí)現(xiàn)業(yè)務(wù)和流量監(jiān)控，為網(wǎng)絡(luò)和業(yè)務(wù)優(yōu)化提供依據(jù)。如發(fā)掘?qū)τ脩粲形Φ臉I(yè)務(wù)、驗(yàn)證業(yè)務(wù)提供水平是否達(dá)到了用戶的服務(wù)等級協(xié)議、統(tǒng)計(jì)有多少用戶正在使用某種游戲業(yè)務(wù)、哪幾種業(yè)務(wù)最消耗網(wǎng)絡(luò)的帶寬等。以下針對當(dāng)前運(yùn)營商未識別應(yīng)用流量做進(jìn)一步分析。

目前深度分組檢測技術(shù)已能解析上百種應(yīng)用，但仍存在大量未識別主流應(yīng)用（如天翼空間已達(dá)十萬款應(yīng)用）。從協(xié)議、業(yè)務(wù)兩個(gè)層面對未識別應(yīng)用進(jìn)行細(xì)分，存在以下3種情況。

·協(xié)議已知，應(yīng)用未識別：已知某個(gè)應(yīng)用是基于HTTP，但DPI未能識別該款應(yīng)用，如招行客戶端（HTTP）。

·協(xié)議未知，應(yīng)用可識別：已知某個(gè)應(yīng)用是有較多用戶使用，而目前的DPI未能識別，如網(wǎng)絡(luò)游戲。

·協(xié)議未知，應(yīng)用未識別：已知某個(gè)應(yīng)用是有較多用戶使用，但未知其應(yīng)用協(xié)議，目前的DPI未能識別，這種屬于未識別流量。

為了對網(wǎng)絡(luò)流量進(jìn)行精細(xì)的檢查、監(jiān)控和分析，對于上述前兩種未識別應(yīng)用流量，可考慮采用如表1所示的解決辦法，第3種暫時(shí)無有效解決方法。

表1 解決辦法及優(yōu)缺點(diǎn)

4.2 深度分組檢測數(shù)據(jù)流量與計(jì)費(fèi)流量比對

基于深度分組檢測輸出的移動(dòng)互聯(lián)網(wǎng)數(shù)據(jù)，可支撐流量明白消費(fèi)。根據(jù)計(jì)費(fèi)流量和業(yè)務(wù)使用明細(xì)流量進(jìn)行稽核，保證流量的合理性，以支撐客服人員應(yīng)對客戶在流量使用方面投訴，從而進(jìn)一步提升客戶服務(wù)質(zhì)量。以下從理論基礎(chǔ)、數(shù)據(jù)驗(yàn)證手段進(jìn)行探討。

4.2.1 從DPI設(shè)備與計(jì)費(fèi)系統(tǒng)的流量數(shù)據(jù)源角度，理論上探討兩者的可比性

DPI設(shè)備與計(jì)費(fèi)系統(tǒng)流量數(shù)據(jù)源如圖4所示。

圖4 DPI設(shè)備與計(jì)費(fèi)系統(tǒng)流量數(shù)據(jù)源

（1）DPI設(shè)備采集流量數(shù)據(jù)源

·采集AAA、AN-AAA側(cè)、Pi鏈路的流量；

·包含用戶認(rèn)證登錄記錄和訪問互聯(lián)網(wǎng)詳細(xì)清單記錄。

（2）計(jì)費(fèi)系統(tǒng)流量數(shù)據(jù)源

·記錄AAA側(cè)互聯(lián)網(wǎng)流量；

·記錄用戶在一段時(shí)間內(nèi)的上網(wǎng)流量，不包含用戶的詳細(xì)互聯(lián)網(wǎng)行為。

（3）理論上探討兩者的可比性

·流量可比：數(shù)據(jù)來源出處相同，都來自PDSN。

·時(shí)長不可比：用戶一次認(rèn)證進(jìn)行多種上網(wǎng)行為會(huì)產(chǎn)生多條記錄，同時(shí)，存在應(yīng)用交叉。

4.2.2 DPI數(shù)據(jù)與計(jì)費(fèi)數(shù)據(jù)比對過程

從某省抽取了12個(gè)移動(dòng)用戶，對比12月12號10:00發(fā)生的流量情況，累加各協(xié)議流量與計(jì)費(fèi)流量清單對比，情況如圖5所示。

經(jīng)過對抽樣數(shù)據(jù)比較與分析得出抽樣比對結(jié)果（據(jù)某省抽查）：流量吻合較好、時(shí)長差異較大。

圖5 DPI數(shù)據(jù)與計(jì)費(fèi)數(shù)據(jù)比對

圖6 數(shù)據(jù)稽核流程

4.2.3 差異原因

（1）時(shí)長差異原因

時(shí)長差異很大：用戶一次認(rèn)證進(jìn)行多種上網(wǎng)行為會(huì)產(chǎn)生多條記錄，同時(shí)，存在應(yīng)用交叉。

（2）流量差異原因

·來源不一致：計(jì)費(fèi)數(shù)據(jù)源來自AAA服務(wù)器，DPI來自分光流量；AAA服務(wù)器基于網(wǎng)絡(luò)接入，DPI基于使用內(nèi)容，兩者存在一定差異。

·部分免費(fèi)流量在計(jì)費(fèi)后續(xù)處理可能被剔除。

·深度分組檢測設(shè)備在數(shù)據(jù)解析過程中對于未知應(yīng)用的數(shù)據(jù)可能未輸出。

由此可見，基于深度分組檢測基礎(chǔ)上的數(shù)據(jù)流量與計(jì)費(fèi)流量比對具有一定參考性，可用于客服處理流量投訴爭議。從長遠(yuǎn)來看，深度分組檢測難以全量捕獲、解析所有協(xié)議?；谏疃确纸M檢測的分析系統(tǒng)重點(diǎn)是進(jìn)行客戶的特征刻畫及整體趨勢分析，計(jì)費(fèi)系統(tǒng)用于準(zhǔn)確計(jì)量用戶的上網(wǎng)費(fèi)用，二者用途不同。

4.3 深度分組檢測數(shù)據(jù)稽核

數(shù)據(jù)準(zhǔn)確性問題是數(shù)據(jù)應(yīng)用中的重要問題之一。基于深度分組檢測輸出的移動(dòng)互聯(lián)網(wǎng)數(shù)據(jù)，數(shù)據(jù)量大，采集實(shí)時(shí)性要求較高，通常采用系統(tǒng)自動(dòng)采集的方式。作為流量經(jīng)營分析的數(shù)據(jù)基礎(chǔ)，應(yīng)加強(qiáng)數(shù)據(jù)稽核和系統(tǒng)驗(yàn)證，確保自動(dòng)采集數(shù)據(jù)的及時(shí)和準(zhǔn)確，以提高數(shù)據(jù)質(zhì)量，提升數(shù)據(jù)應(yīng)用水平。以下從最容易出錯(cuò)的采集環(huán)節(jié)探討這部分?jǐn)?shù)據(jù)稽核的基本方法。數(shù)據(jù)稽核流程如圖6所示。

（1）完整性稽核

為保證采集的數(shù)據(jù)文件的完整性，接口需具備日志稽核文件。建議按稽核頻率生成稽核文件?；宋募?nèi)以行區(qū)分不同記錄，即一行代表一條記錄；各字段之間以“，”分隔各列，代表不同的域；以文件名和文件記錄數(shù)組成一行。

稽核文件必須嚴(yán)格按照以下規(guī)則命名，包括：文件類型.chk；采取無首行的文件類型，包括文件名稱、記錄數(shù)。文件名稱以生成時(shí)間，精確到分鐘為文件名稱，如01_20091201230100_00000.chk。

完整性稽核文件結(jié)構(gòu)如圖7所示。

圖7 完整性稽核文件結(jié)構(gòu)

（2）合規(guī)性稽核

對每一個(gè)字段的有效性進(jìn)行驗(yàn)證，并返回當(dāng)次非法記錄條數(shù)與清單文件?；朔椒ㄈ缦?。

01字符型：如IMSI字段稽核，是15 bit長度的數(shù)據(jù)，其他長度都是非法數(shù)據(jù)。

02數(shù)字型：如時(shí)長、流量。

03日期型：如Start Time字段稽 核，時(shí)間格式 為yyyymmddhhmmss（24 h制）非空。

04定值型：如用戶所接入的CDMA網(wǎng)絡(luò)類型，33為cdma2000 1x，59為cdma2000 1x Ev-Do，32876為Wi-Fi，空值。除了這4個(gè)值，其他都是非法數(shù)值。

文件命名格式：內(nèi)容序號_設(shè)備標(biāo)識號_文件生成時(shí)間_序號.err（無錯(cuò)誤可不生成合規(guī)性稽核）。

文件內(nèi)容：異常字段序號，原始記錄。

合規(guī)性稽核文件結(jié)構(gòu)如圖8所示。

圖8 合規(guī)性稽核文件結(jié)構(gòu)

5 結(jié)束語

大數(shù)據(jù)時(shí)代對流量分析的實(shí)時(shí)性和精確性提出了更高要求。本文在分析目前電信運(yùn)營商流量經(jīng)營策略基礎(chǔ)上，提出以深度分組檢測數(shù)據(jù)為基礎(chǔ)的流量洞察、用戶行為分析、智能策略等多種應(yīng)用模式，并進(jìn)一步分析了深度分組檢測數(shù)據(jù)應(yīng)用難點(diǎn)，提出了切實(shí)可行的解決方案。

本文所提出的基于深度分組檢測數(shù)據(jù)為基礎(chǔ)的流量經(jīng)營應(yīng)用模式，在某省電信運(yùn)營商中得到了實(shí)踐，針對流量使用情況提醒、熱點(diǎn)新聞推薦、3G應(yīng)用輔導(dǎo)、基地業(yè)務(wù)推薦、終端推薦、商圈位置營銷等，進(jìn)行了精準(zhǔn)化的營銷，其營銷成功率得到顯著提升，提升率可達(dá)10%以上。

通過對深度分組檢測數(shù)據(jù)的深入使用，將進(jìn)一步提高大數(shù)據(jù)分析和決策的高效和精準(zhǔn)。

1 劉克飛.基于流量經(jīng)營的電信運(yùn)營商智能管道構(gòu)建研究.電信科學(xué)，2012(8)

2 張晟，孫偉.3G系統(tǒng)中基于業(yè)務(wù)特性深度識別的應(yīng)用.電信工程技術(shù)與標(biāo)準(zhǔn)化，2010(9)

3 喬治.基于DPI的內(nèi)容緩存技術(shù)及應(yīng)用.信息通信技術(shù)，2011(3)