深度分組檢測(cè)技術(shù)數(shù)據(jù)整合思路分析

趙金偉

（中國(guó)移動(dòng)通信集團(tuán)設(shè)計(jì)院有限公司北京分公司，北京 100038）

1 引言

DPI（Deep Packet Inspection，深度分組檢測(cè)）是一種基于應(yīng)用層的流量檢測(cè)和控制技術(shù)，當(dāng)IP數(shù)據(jù)分組、TCP或UDP數(shù)據(jù)流通過(guò)基于DPI技術(shù)的帶寬管理系統(tǒng)時(shí)，該系統(tǒng)通過(guò)深入讀取IP分組載荷的內(nèi)容來(lái)對(duì)OSI七層協(xié)議中的應(yīng)用層信息進(jìn)行重組，從而得到整個(gè)應(yīng)用程序的內(nèi)容，然后按照系統(tǒng)定義的管理策略對(duì)流量進(jìn)行整形操作。所謂“深度”是和普通的報(bào)文分析層次相比較而言的，“普通報(bào)文檢測(cè)”僅分析IP分組4 層以下的內(nèi)容，包括源地址、目的地址、源端口、目的端口以及協(xié)議類(lèi)型，而DPI 除了對(duì)前面的層次分析外，還增加了應(yīng)用層分析，識(shí)別各種應(yīng)用及其內(nèi)容。

2 DPI關(guān)鍵技術(shù)

2.1 DPI技術(shù)的分類(lèi)

DPI將網(wǎng)絡(luò)上的數(shù)據(jù)報(bào)文根據(jù)五元組分為一個(gè)個(gè)的應(yīng)用流，并通過(guò)識(shí)別技術(shù)對(duì)應(yīng)用流中的特定數(shù)據(jù)報(bào)文進(jìn)行探測(cè)，從而確定應(yīng)用流對(duì)應(yīng)的應(yīng)用或者用戶的動(dòng)作。針對(duì)不同的協(xié)議類(lèi)型，識(shí)別技術(shù)可劃分為以下3類(lèi)。

2.1.1 基于“特征字”的識(shí)別技術(shù)

不同的協(xié)議都有其特殊的指紋，這些指紋可能是特定的端口、特定的字符串或者特定的Bit 序列。

根據(jù)“特征字”的位置可以被分為：固定位置特征字匹配、變動(dòng)位置的特征匹配，而根據(jù)匹配的方式可分為：特征字符串模式和正則表達(dá)模式。

2.1.2 應(yīng)用層網(wǎng)關(guān)識(shí)別技術(shù)

有些業(yè)務(wù)的控制流和業(yè)務(wù)流是分離的，業(yè)務(wù)流沒(méi)有任何特征。這時(shí)就需要采用應(yīng)用層網(wǎng)關(guān)識(shí)別技術(shù)。

對(duì)于應(yīng)用層網(wǎng)關(guān)需要先識(shí)別出控制流，并根據(jù)控制流的協(xié)議通過(guò)特定的應(yīng)用層網(wǎng)關(guān)對(duì)其進(jìn)行解析，從協(xié)議內(nèi)容中識(shí)別出相應(yīng)的業(yè)務(wù)流。

然而對(duì)于每一個(gè)協(xié)議，需要有不同的應(yīng)用層網(wǎng)關(guān)對(duì)其進(jìn)行分析。

2.1.3 行為模式識(shí)別技術(shù)

基于對(duì)終端已經(jīng)實(shí)施的行為的分析，判斷出用戶正在進(jìn)行的動(dòng)作或者即將實(shí)施的動(dòng)作。行為模式識(shí)別技術(shù)通常用于無(wú)法根據(jù)協(xié)議判斷的業(yè)務(wù)的識(shí)別。

3種識(shí)別技術(shù)分別用于不同類(lèi)型協(xié)議的識(shí)別，無(wú)法相互替代，綜合運(yùn)用了這3種技術(shù)，提高檢測(cè)效率和靈活性。

2.2 深度分組檢測(cè)技術(shù)功能

2.2.1 業(yè)務(wù)識(shí)別

業(yè)務(wù)識(shí)別有兩種方法，一種是對(duì)運(yùn)營(yíng)商開(kāi)通的合法業(yè)務(wù)，另一種是運(yùn)營(yíng)商需要進(jìn)行監(jiān)管的業(yè)務(wù)。

對(duì)運(yùn)營(yíng)商開(kāi)通的合法業(yè)務(wù)可以通過(guò)業(yè)務(wù)流的五元組來(lái)標(biāo)識(shí)，如VOD業(yè)務(wù)，其業(yè)務(wù)流的地址是屬于VOD服務(wù)器網(wǎng)段的地址，其端口是一個(gè)固定的端口。系統(tǒng)一般采用ACL的方式，識(shí)別出該類(lèi)業(yè)務(wù)。

運(yùn)營(yíng)商需要進(jìn)行監(jiān)管的業(yè)務(wù)需求DPI技術(shù)，通過(guò)前述的業(yè)務(wù)識(shí)別方法，通過(guò)對(duì)IP數(shù)據(jù)分組的內(nèi)容進(jìn)行分析，通過(guò)特征字的查找或者業(yè)務(wù)的行為統(tǒng)計(jì)，得到業(yè)務(wù)流的類(lèi)型。

2.2.2 業(yè)務(wù)控制

通過(guò)DPI識(shí)別出各類(lèi)業(yè)務(wù)流之后，根據(jù)網(wǎng)絡(luò)配置的組合條件，用戶、時(shí)間、帶寬、歷史流量等，對(duì)業(yè)務(wù)流進(jìn)行控制?？刂品椒òǎ赫＾D(zhuǎn)發(fā)、阻塞、限制帶寬、整形、重標(biāo)記優(yōu)先級(jí)等。

2.2.3 業(yè)務(wù)統(tǒng)計(jì)

DPI的業(yè)務(wù)統(tǒng)計(jì)功能是為了直觀的統(tǒng)計(jì)網(wǎng)絡(luò)的業(yè)務(wù)流量分布和用戶的各種業(yè)務(wù)使用情況，從而更好的發(fā)現(xiàn)促進(jìn)業(yè)務(wù)發(fā)展和影響網(wǎng)絡(luò)正常運(yùn)營(yíng)的因素，為網(wǎng)絡(luò)和業(yè)務(wù)優(yōu)化提供依據(jù)。

3 DPI技術(shù)在運(yùn)營(yíng)商運(yùn)用的現(xiàn)狀及困境

3.1 DPI技術(shù)在運(yùn)營(yíng)商網(wǎng)絡(luò)現(xiàn)狀

在各運(yùn)營(yíng)商網(wǎng)絡(luò)系統(tǒng)中DPI分析數(shù)據(jù)分組7層內(nèi)容，是實(shí)現(xiàn)數(shù)據(jù)管道管理和流量經(jīng)營(yíng)的基本要素，DPI的實(shí)現(xiàn)的功能包括業(yè)務(wù)識(shí)別、報(bào)文過(guò)濾、生成日志、業(yè)務(wù)統(tǒng)計(jì)和流量控制等，DPI可分為數(shù)據(jù)分析和流量管控兩類(lèi)，流量管控類(lèi)通常難以整合，但可以疊加部分?jǐn)?shù)據(jù)分析系統(tǒng)功能。

DPI廣泛應(yīng)用于多種業(yè)務(wù)和流量分析系統(tǒng)，完成流量識(shí)別和處理的第一步。進(jìn)而實(shí)現(xiàn)如圖1所示的功能。

3.2 DPI大量、快速部署困境

前期運(yùn)營(yíng)商為滿足業(yè)務(wù)需求及部委考核大量、快速部署DPI系統(tǒng)，為現(xiàn)網(wǎng)運(yùn)營(yíng)帶來(lái)三大問(wèn)題，DPI部署詳見(jiàn)圖2所示。

3.2.1 位置和功能部署不統(tǒng)一

DPI系統(tǒng)煙囪式部署，存在多點(diǎn)建設(shè)，DPI位置重復(fù)、同位置建設(shè)多套DPI，功能重復(fù)的現(xiàn)象，導(dǎo)致兩個(gè)問(wèn)題。

圖1 DPI實(shí)現(xiàn)的功能

圖2 DPI部署現(xiàn)狀

問(wèn)題1： 運(yùn)維難度加大，維護(hù)工作量大；占用機(jī)房；每個(gè)系統(tǒng)都要擴(kuò)容；光路衰減等；

問(wèn)題2：投資浪費(fèi)，僅覆蓋GE（雙向）鏈路光放/分光器及DPI設(shè)備達(dá)到6萬(wàn)，覆蓋10 GE（雙向）光放/分光器及DPI設(shè)備可達(dá)到30萬(wàn)，重復(fù)建設(shè)投資浪費(fèi)相當(dāng)大。

3.2.2 業(yè)務(wù)識(shí)別不統(tǒng)一

流量識(shí)別缺乏準(zhǔn)確性和統(tǒng)一標(biāo)準(zhǔn)，無(wú)法對(duì)全網(wǎng)數(shù)據(jù)流量進(jìn)行全面、準(zhǔn)確的分析。

業(yè)務(wù)劃分不一致：各廠家分類(lèi)不同、各部門(mén)分類(lèi)不同（網(wǎng)絡(luò)、業(yè)支）；

識(shí)別能力不一致： 可識(shí)別子業(yè)務(wù)種類(lèi)和數(shù)量不同、子業(yè)務(wù)識(shí)別的精細(xì)程度不同。

3.2.3 數(shù)據(jù)共享不統(tǒng)一

目前大部分分析及應(yīng)用系統(tǒng)只能直接從DPI系統(tǒng)提取數(shù)據(jù)，數(shù)據(jù)殘缺，呈現(xiàn)不完整?，F(xiàn)網(wǎng)未實(shí)現(xiàn)DPI數(shù)據(jù)的整合和統(tǒng)一共享： PS側(cè)一般直接從Gn監(jiān)測(cè)系統(tǒng)采集數(shù)據(jù)，無(wú)精確位置信息，數(shù)據(jù)分析不完整。

4 DPI整合思路

4.1 整合需求

全網(wǎng)DPI分為兩種類(lèi)型：數(shù)據(jù)分析類(lèi)、流量管控類(lèi)，分別存在不同的整合需求。

數(shù)據(jù)分析類(lèi)對(duì)信息的全面性要求高，位置一般可以變化，DPI可進(jìn)行橫向的位置整合和縱向的功能整合，針對(duì)識(shí)別不一致問(wèn)題，需推進(jìn)標(biāo)識(shí)整合，分析類(lèi)DPI還可進(jìn)一步統(tǒng)一數(shù)據(jù)共享。

流量管控類(lèi)對(duì)流量的全覆蓋要求高，位置相對(duì)固定，DPI通常僅可進(jìn)行同位置的功能整合，存在業(yè)務(wù)分類(lèi)和識(shí)別不一致問(wèn)題，需推進(jìn)標(biāo)識(shí)整合。

4.2 整合整體思路

現(xiàn)階段煙囪式架構(gòu)各系統(tǒng)獨(dú)立建設(shè)DPI采集與識(shí)別、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)分析平臺(tái)，通過(guò)制定全局復(fù)用方案，技術(shù)推動(dòng)實(shí)現(xiàn)各系統(tǒng)共用DPI采集與識(shí)別，各套系統(tǒng)獨(dú)立建設(shè)數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)分析的第一階段，并通過(guò)多部門(mén)協(xié)作，數(shù)據(jù)開(kāi)放，管理推動(dòng)實(shí)現(xiàn)各系統(tǒng)共用DPI采集與識(shí)別，并對(duì)識(shí)別后的日志數(shù)據(jù)做統(tǒng)一存儲(chǔ)，各套系統(tǒng)獨(dú)立建設(shè)數(shù)據(jù)分析的第二階段。詳見(jiàn)圖3所示。

4.3 整合關(guān)鍵點(diǎn)及案例

4.3.1 位置整合

根據(jù)網(wǎng)絡(luò)不同位置的不同流量特性，全網(wǎng)共部署5個(gè)DPI關(guān)鍵點(diǎn)：PS側(cè)、IDC、省網(wǎng)出口、省網(wǎng)網(wǎng)間出口、骨干網(wǎng)出口，5個(gè)點(diǎn)的流量各有側(cè)重、缺一不可，5個(gè)關(guān)鍵點(diǎn)之外的位置原則上不允許建設(shè)DPI，從而對(duì)位置點(diǎn)進(jìn)行把控避免浪費(fèi)機(jī)房信息及重復(fù)覆蓋。主要位置詳見(jiàn)圖4所示。

現(xiàn)階段運(yùn)營(yíng)商對(duì)這五個(gè)DPI關(guān)鍵點(diǎn)進(jìn)行分析相關(guān)系統(tǒng)整合如下。

圖3 統(tǒng)一DPI整合思路

圖4 統(tǒng)一DPI位置整合點(diǎn)

PS側(cè)：靠近用戶，包含用戶手機(jī)號(hào)、用戶位置、移動(dòng)性管理信令，分析重點(diǎn)可做用戶粒度的業(yè)務(wù)分析與監(jiān)控。相關(guān)系統(tǒng)有數(shù)據(jù)業(yè)務(wù)分析、信令監(jiān)測(cè)及投訴和手機(jī)防病毒等系統(tǒng)。

IDC：靠近內(nèi)容，包含已引入內(nèi)容的全部流量，分析重點(diǎn)可做引入內(nèi)容流量流向分析；可監(jiān)控不出網(wǎng)流量。相關(guān)系統(tǒng)有綜合網(wǎng)關(guān)、不良信息監(jiān)測(cè)和GN流量控制。

省網(wǎng)出口：省粒度的流量管理，包含出省流量，分析重點(diǎn)可做出省流量分析；可做流量緩存，使流量盡量本省化。相關(guān)系統(tǒng)有WLAN日志流控、信息安全管理和異常流量清洗等系統(tǒng)。

省網(wǎng)網(wǎng)間出口：覆蓋出網(wǎng)流量，包含出網(wǎng)流量，分析重點(diǎn)可做出網(wǎng)流量監(jiān)控。相關(guān)系統(tǒng)有不良信息檢測(cè)、省網(wǎng)網(wǎng)間流控和非法VoIP等系統(tǒng)。

骨干網(wǎng)間出口：覆蓋出網(wǎng)流量，包含出網(wǎng)流量，分析重點(diǎn)可做出網(wǎng)流量監(jiān)控分析；可做流量緩存，使流量盡量本網(wǎng)化。相關(guān)系統(tǒng)有域名管控、僵木蠕系統(tǒng)和非法VOIP等系統(tǒng)。

4.3.2 功能整合

通過(guò)多個(gè)系統(tǒng)間的DPI復(fù)用，實(shí)現(xiàn)網(wǎng)絡(luò)同一位置的多套DPI合并為一個(gè)。DPI復(fù)用方式指DPI如何給應(yīng)用系統(tǒng)提供所需數(shù)據(jù)，按照系統(tǒng)所需數(shù)據(jù)內(nèi)容和格式的不同，通過(guò)4種方式實(shí)現(xiàn)DPI復(fù)用（分光、原始報(bào)文、會(huì)話級(jí)、統(tǒng)計(jì)級(jí)），如表1所示。

現(xiàn)階段多數(shù)設(shè)備提供商針對(duì)運(yùn)營(yíng)商的技術(shù)規(guī)范對(duì)設(shè)備產(chǎn)品進(jìn)行升級(jí)，根據(jù)統(tǒng)計(jì)，現(xiàn)網(wǎng)一套DPI最多支撐了9套應(yīng)用系統(tǒng)，實(shí)現(xiàn)功能整合。

4.3.3 標(biāo)識(shí)整合

不同部門(mén)的需求和目的不一，導(dǎo)致不同應(yīng)用系統(tǒng)對(duì)業(yè)務(wù)的標(biāo)識(shí)角度和分類(lèi)不一致。業(yè)務(wù)支撐角度分類(lèi)：從內(nèi)容的角度分類(lèi)，給用戶打上標(biāo)簽用于經(jīng)營(yíng)分析。網(wǎng)絡(luò)角度分類(lèi)：從應(yīng)用的角度分類(lèi)，為網(wǎng)絡(luò)運(yùn)維和調(diào)整提供參考。

業(yè)務(wù)大類(lèi)劃分與不同系統(tǒng)的需求緊密相關(guān)，難以統(tǒng)一，但最細(xì)粒度的業(yè)務(wù)可保持一致，DPI系統(tǒng)直接標(biāo)識(shí)最細(xì)粒度業(yè)務(wù)，并采用標(biāo)準(zhǔn)格式，對(duì)上層應(yīng)用提供統(tǒng)一數(shù)據(jù)服務(wù)，各上層應(yīng)用系統(tǒng)根據(jù)自身需求可靈活制定更高級(jí)別的分類(lèi)方案。

運(yùn)營(yíng)商現(xiàn)在運(yùn)行的DPI識(shí)別算法是廠家核心技術(shù)，互相不公開(kāi)，無(wú)法通過(guò)規(guī)范識(shí)別算法統(tǒng)一業(yè)務(wù)識(shí)別結(jié)果，現(xiàn)通過(guò)統(tǒng)一集中招標(biāo)和集采的方式按照DPI集團(tuán)規(guī)范推動(dòng)廠家整改實(shí)現(xiàn)統(tǒng)一。

4.3.4 數(shù)據(jù)共享

通過(guò)以IMSI、手機(jī)號(hào)碼為索引，建立數(shù)據(jù)關(guān)聯(lián)，為上層應(yīng)用提供全信息呈現(xiàn)。

表1 DPI復(fù)用四種方式

DPI數(shù)據(jù)的統(tǒng)一存儲(chǔ)與呈現(xiàn)，大數(shù)據(jù)應(yīng)用系統(tǒng)直接從共享平臺(tái)提取所需數(shù)據(jù)，進(jìn)行分析實(shí)現(xiàn)業(yè)務(wù)增值及安全監(jiān)控。

共享平臺(tái)把統(tǒng)一存儲(chǔ)、清洗、關(guān)聯(lián)后的DPI數(shù)據(jù)、上網(wǎng)日志等數(shù)據(jù)，通過(guò)數(shù)據(jù)共享接口提供給綜合分析系統(tǒng)，減少綜分對(duì)DPI數(shù)據(jù)采集和維護(hù)成本逐步實(shí)現(xiàn)數(shù)據(jù)共享平臺(tái)，支撐大數(shù)據(jù)應(yīng)用。

運(yùn)營(yíng)商利用大數(shù)據(jù)技術(shù)集中保存DPI數(shù)據(jù)，對(duì)數(shù)據(jù)進(jìn)行清洗和融合關(guān)聯(lián)，建立融合后數(shù)據(jù)庫(kù)，并針對(duì)應(yīng)用層大數(shù)據(jù)分析的不同需求，定制字段，輸出數(shù)據(jù)，為進(jìn)一步的“大數(shù)據(jù)”分析提供統(tǒng)一呈現(xiàn)，從而實(shí)現(xiàn)數(shù)據(jù)共享。

5 結(jié)論及未來(lái)工作

隨著移動(dòng)互聯(lián)網(wǎng)業(yè)務(wù)的高速發(fā)展以及社會(huì)各階層對(duì)信息安全認(rèn)識(shí)的逐步提高， DPI整合后，實(shí)現(xiàn)了網(wǎng)絡(luò)全面覆蓋，為運(yùn)營(yíng)商分析流量經(jīng)營(yíng)，網(wǎng)絡(luò)質(zhì)量提升、信息安全、用戶服務(wù)支撐等運(yùn)營(yíng)工作提供了數(shù)據(jù)深度挖掘和分析的基礎(chǔ)。

相信統(tǒng)一DPI平臺(tái)的搭建將全方位分層次地對(duì)用戶的業(yè)務(wù)和流量進(jìn)行深入多維度的分析研究，未來(lái)將基于研究成果創(chuàng)造出更多更有價(jià)值更安全的新業(yè)務(wù)功能，從而為用戶提供可靠?jī)?yōu)質(zhì)的服務(wù)。

參考文獻(xiàn)

[1] 吳玉, 朱洪亮. 局域網(wǎng)流量識(shí)別與控制系統(tǒng)的研究與改進(jìn)[J].北京電子科技學(xué)院學(xué)報(bào)，2014(17):32-36.

[2] 郭天翔. 面向流量經(jīng)營(yíng)的互聯(lián)網(wǎng)智能鏈路規(guī)劃與設(shè)計(jì)[D]. 浙江工業(yè)大學(xué), 2015(S1):55-56.

[3] 崔燕, 汪斌強(qiáng), 陳庶樵, 張震. 基于行為特征加權(quán)的P2P流識(shí)別方法的研究[J]. 計(jì)算機(jī)工程與設(shè)計(jì), 2009(1):23-24.