創(chuàng)新采購方式改進運營商統(tǒng)一DPI系統(tǒng)

中國移動通信集團采購共享服務(wù)中心 │高峰 劉棟

中國移動通信集團設(shè)計院有限公司 │呂紅衛(wèi) 潘潔 侯慧芳

創(chuàng)新采購方式改進運營商統(tǒng)一DPI系統(tǒng)

中國移動通信集團采購共享服務(wù)中心 │高峰 劉棟

中國移動通信集團設(shè)計院有限公司 │呂紅衛(wèi) 潘潔 侯慧芳

現(xiàn)網(wǎng)統(tǒng)一DPI系統(tǒng)存在系統(tǒng)建設(shè)與上層應(yīng)用系統(tǒng)建設(shè)進度不匹配、同一采集點異廠商DPI設(shè)備上下行數(shù)據(jù)合成不準(zhǔn)確和維護復(fù)雜度高等問題，本文提出了基于創(chuàng)新采購方式對上述問題進行改進的方案。

運營商統(tǒng)一DPI（De ep Packet Inspection）系統(tǒng)通過最少的采集點獲取全網(wǎng)最全量的數(shù)據(jù)，實現(xiàn)部署位置合理化、設(shè)備功能規(guī)范化、數(shù)據(jù)格式標(biāo)準(zhǔn)化。運營商通過建設(shè)統(tǒng)一DPI系統(tǒng)解決了鏈路重復(fù)采、重復(fù)存、重復(fù)分析以及數(shù)據(jù)格式不標(biāo)準(zhǔn)等問題，符合未來大數(shù)據(jù)平臺建設(shè)的需要。但在以往的系統(tǒng)建設(shè)過程中，采用傳統(tǒng)采購模式，導(dǎo)致在同一部署位置出現(xiàn)異廠商設(shè)備，而現(xiàn)階段技術(shù)方案又不能很好解決異廠家同源同宿的問題，且較長的采購周期造成采購結(jié)果和省內(nèi)實際需求不匹配。為解決以上現(xiàn)網(wǎng)統(tǒng)一DPI系統(tǒng)存在的問題，本文提出了一種創(chuàng)新的采購模式，能夠很好地解決現(xiàn)網(wǎng)系統(tǒng)同源同宿以及采購周期長的問題，推進統(tǒng)一DPI系統(tǒng)在全網(wǎng)的建設(shè)更加合理化。

統(tǒng)一DPI系統(tǒng)概述

樣化、營銷精細化以及為部分增值業(yè)務(wù)提供技術(shù)支持，同時也是面向數(shù)據(jù)挖掘方向的信息采集系統(tǒng)。

移動網(wǎng)內(nèi)流量，從用戶出發(fā)，按照接入網(wǎng)、城域網(wǎng)、省網(wǎng)、骨干網(wǎng)的順序在網(wǎng)內(nèi)傳輸，由此在全網(wǎng)5個點進行流量分析，部署DPI設(shè)備可捕捉到網(wǎng)內(nèi)流量全貌。通過減少采集點和DPI設(shè)備數(shù)量，實現(xiàn)多系統(tǒng)間同一采集點的DPI設(shè)備共享，力爭通過最少的采集點獲取最全的數(shù)據(jù)。

統(tǒng)一DPI系統(tǒng)由光設(shè)備、DPI設(shè)備、XDR合成服務(wù)器和DPI管理服務(wù)器組成，如圖1所示。在并接部署模式下，光設(shè)備為分光器和光放大器；在串接部署模式下，光設(shè)備為BYPASS設(shè)備。

管理服務(wù)器和XDR合成服務(wù)器采用通用服務(wù)器，而流量識別技術(shù)可由多種軟硬件方式實現(xiàn)，因此不同廠商DPI設(shè)備的實現(xiàn)方式也不同。

DPI是一種基于數(shù)據(jù)包的應(yīng)用層流量檢測和控制技術(shù)，針對數(shù)據(jù)包的不同層信息（如IP地址、應(yīng)用層端口、應(yīng)用層協(xié)議、凈荷內(nèi)容等）進行深度檢測和分析，從而得到整個數(shù)據(jù)流或數(shù)據(jù)包的應(yīng)用層信息，然后按照系統(tǒng)定義的策略對流量進行統(tǒng)計分析和控制。DPI系統(tǒng)的基本功能包括業(yè)務(wù)識別、報文過濾、生成日志、業(yè)務(wù)統(tǒng)計和流量控制等，DPI系統(tǒng)作為網(wǎng)絡(luò)運營商進行IP業(yè)務(wù)流量監(jiān)控的一種技術(shù)手段，其主要目的是為實現(xiàn)服務(wù)差異化、計費多

DPI主流架構(gòu)平臺實現(xiàn)方案分析

圖1 統(tǒng)一DPI系統(tǒng)架構(gòu)

DPI設(shè)備的核心功能理論上可通過ASIC架構(gòu)、FPGA架構(gòu)、NPU架構(gòu)、MIPS架構(gòu)、路由器架構(gòu)以及x86架構(gòu)等加以實現(xiàn)，但鑒于每種架構(gòu)技術(shù)的局限性和對實際應(yīng)用場景的適用性等原因，現(xiàn)網(wǎng)主流廠商一般采用FPGA架構(gòu)、x86架構(gòu)以及路由器架構(gòu)來搭建DPI設(shè)備。以下對3種主流架構(gòu)平臺的實現(xiàn)原理進行闡述。

FPGA架構(gòu)

FPGA是現(xiàn)場可編程邏輯門陣列，使用預(yù)建的邏輯塊和可重新編程布線資源，支持用戶自定義硬件功能。FPGA芯片沒有固定的功能，內(nèi)嵌有排列規(guī)整的門級電路和用于連接這些門級電路的連線，這些連線所連接的路徑是可以改變的，通過通用的EPROM、PROM編程器，同一片F(xiàn)PGA，不同的編程數(shù)據(jù)，可以產(chǎn)生不同的電路功能?；贔PGA架構(gòu)的DPI系統(tǒng)實現(xiàn)原理如圖2所示。

基于FPGA硬件架構(gòu)的DPI設(shè)備，其數(shù)據(jù)采集、業(yè)務(wù)識別、流量統(tǒng)計、策略控制等復(fù)雜功能均由FPGA設(shè)計實現(xiàn)，板內(nèi)處理器則執(zhí)行設(shè)備配置、網(wǎng)管通信、策略下發(fā)、流量上報等功能。

FPGA比CPU單次可處理更多的數(shù)據(jù)指令，并且系統(tǒng)可靠性更高、設(shè)備功耗較低，但由于基于FPGA架構(gòu)的DPI設(shè)備使用硬件設(shè)計語言，開發(fā)周期較長，同時受硬件資源限制，存在產(chǎn)品升級較困難的瓶頸。

路由器架構(gòu)

路由器架構(gòu)的DPI系統(tǒng)基于成熟高端路由器硬件平臺開發(fā)，繼承了高端路由器的架構(gòu)設(shè)計特性，提供電信路由器級別的高性能和高可靠性，能夠按動態(tài)的靈活策略實現(xiàn)高密度大容量端口的帶寬管理，利用多項專利業(yè)務(wù)感知技術(shù)，通過高性能的硬件平臺實現(xiàn)網(wǎng)絡(luò)數(shù)據(jù)報文的分析和處理。基于路由器架構(gòu)的DPI系統(tǒng)由前臺和后臺系統(tǒng)組成，如圖3所示。

圖2 基于FPGA架構(gòu)的DPI系統(tǒng)原理圖

基于路由器架構(gòu)的DPI系統(tǒng)既能滿足數(shù)據(jù)處理的實時性、高性能，也可滿足電信業(yè)務(wù)的低網(wǎng)絡(luò)時延、高傳輸質(zhì)量的要求，可提供智能、靈活的業(yè)務(wù)控制手段，業(yè)務(wù)擴展性好，同時系統(tǒng)集成度較高。但基于路由器架構(gòu)的DPI系統(tǒng)存在設(shè)備功耗較高的問題，在運營商建設(shè)綠色節(jié)能網(wǎng)絡(luò)系統(tǒng)的大趨勢下，高性能、低功耗是路由器架構(gòu)DPI設(shè)備未來的發(fā)展方向。

x86架構(gòu)

x86架構(gòu)也稱為CPU架構(gòu)，以通用的Intel x86 CPU作為整個系統(tǒng)的轉(zhuǎn)發(fā)核心，采用C語言編程，可編程能力優(yōu)于其它種類的芯片，通過軟件過濾方式（基于特征碼）實現(xiàn)包處理，依托x86平臺的軟件生態(tài)系統(tǒng)，可根據(jù)用戶的實際需求而做相應(yīng)調(diào)整，增加或減少功能模塊?；趚86架構(gòu)的DPI系統(tǒng)原理如圖4所示。

x86架構(gòu)使各種網(wǎng)絡(luò)功能的開發(fā)難度顯著下降，產(chǎn)品比較靈活，其功能也具有更好的可擴展性，是網(wǎng)絡(luò)設(shè)備領(lǐng)域高靈活性和低門檻的開發(fā)平臺；但由于它是作為通用服務(wù)器設(shè)計的，在網(wǎng)絡(luò)包處理方面需要做有針對性的性能優(yōu)化，在這方面Intel公司推出了DPDK平臺，而各公司也需要研發(fā)自己的網(wǎng)絡(luò)高性能處理平臺以達到更好的處理性能。

目前，運營商的統(tǒng)一DPI系統(tǒng)主要由以上3種主流架構(gòu)實現(xiàn)，多廠商設(shè)備共存遏制了技術(shù)壟斷現(xiàn)象的發(fā)生，促進DPI技術(shù)的快速發(fā)展，同時也能更好地滿足各省的實際應(yīng)用場景和個性化需求；但異架構(gòu)的實現(xiàn)方式在實際的現(xiàn)網(wǎng)運行中會產(chǎn)生數(shù)據(jù)無法同源同宿以及增加聯(lián)調(diào)難度等問題，因此需要按照建設(shè)方案實際需求設(shè)定采購標(biāo)的，更好地滿足各需求單位的差異化建設(shè)需求。

創(chuàng)新采購方式對統(tǒng)一DPI系統(tǒng)的改進

傳統(tǒng)的運營商產(chǎn)品集中采購均按照模型方式進行招標(biāo)采購，在實際執(zhí)行過程中，需按照中標(biāo)比例進行產(chǎn)品分配，同一采集位置可能會分配多個廠商，因此無法有效解決多廠商異構(gòu)產(chǎn)生的同源同宿等技術(shù)制約。同時，當(dāng)上層應(yīng)用系統(tǒng)對于統(tǒng)一DPI系統(tǒng)的數(shù)據(jù)需求發(fā)生變化時，產(chǎn)生了異廠商DPI設(shè)備協(xié)同改造、系統(tǒng)聯(lián)調(diào)引起工作量增加的問題。此外，傳統(tǒng)的運營商集中采購方式采用模型方式進行報價，由于DPI系統(tǒng)網(wǎng)絡(luò)配置屬性較強，集采結(jié)果無法精準(zhǔn)地匹配實際需求，且無法針對建設(shè)方案進行靈活調(diào)整，省公司在落地執(zhí)行時存在一定難度。同時，傳統(tǒng)的運營商集中采購還存在采購周期較長、采購需求不準(zhǔn)確等問題。

為了有效解決上述傳統(tǒng)運營商產(chǎn)品集中采購的問題，本文提出了一種批次項目采購結(jié)合突發(fā)量控制的采購方式。即按照項目方式，將一段時間內(nèi)的采購需求進行匯總作為一個批次采購，其中采購需求將依據(jù)建設(shè)方案進行分類并采用相應(yīng)的采購方式。同時，為了滿足批次采購周期內(nèi)的突發(fā)需求，引入了突發(fā)配額解決方案。新的采購方式從時效性及需求準(zhǔn)確性兩方面確保滿足實際業(yè)務(wù)需求，并能夠有效解決統(tǒng)一DPI系統(tǒng)建設(shè)過程中存在的問題。

改進異廠商DPI設(shè)備同源同宿問題

在數(shù)據(jù)分析應(yīng)用領(lǐng)域，應(yīng)用系統(tǒng)需要對會話的上下行完整數(shù)據(jù)流進行分析，而實際工程中受網(wǎng)絡(luò)建設(shè)的影響，較多會話的上行流、下行流分布在不同的設(shè)備或同一設(shè)備的不同端口上，如圖5所示，對于一個用戶來說，其上行流量可能經(jīng)過一個省干核心路由器，而下行流量可能經(jīng)過另外一個省干核心路由器（參考-綠線），此時省網(wǎng)出口就存在非對稱路由；同樣對于IDC中的業(yè)務(wù)系統(tǒng)，其上行流量可能經(jīng)過IDC出口的一臺路由器，而下行流量可能經(jīng)過另外一臺路由器（參考-藍線），這樣IDC出口也存在非對稱路由。

如分布的設(shè)備為同廠商設(shè)備可采用同一種HASH算法，使不同鏈路或端口中同一HASH值的流數(shù)據(jù)在同一端口輸出；若分布的設(shè)備為不同廠商設(shè)備時，如果不同廠商不能在以下HASH策略的參數(shù)上達成一致，就無法實現(xiàn)同一會話的流量歸并，這些HASH策略包括源地址/目的地址HASH方式、HASH目標(biāo)鏈路的數(shù)量和負載分擔(dān)選擇算法，由于涉及到各廠商產(chǎn)品的核心技術(shù)和商業(yè)考慮，推進過程緩慢；除此之外，還可以采用在異廠商DPI設(shè)備之后再部署一級服務(wù)器作為流同步服務(wù)器進行異廠商流信息互通，但此方案會大幅度增加建設(shè)投資。

圖3 基于路由器架構(gòu)的DPI系統(tǒng)原理圖

圖4 基于x86架構(gòu)的DPI系統(tǒng)原理圖

圖5 非對稱路由示意圖

統(tǒng)一DPI新的采購方案遵從同一采集位置采用同一廠商部署DPI設(shè)備的原則，從根源上避免了同一采集位置不同廠商設(shè)備并存的現(xiàn)象。在從技術(shù)方面解決問題推進緩慢的情況下，從采購制度上有效緩解了各省現(xiàn)階段面臨的異廠商上下行數(shù)據(jù)合成不準(zhǔn)確的問題。

推進各應(yīng)用系統(tǒng)接入建設(shè)

統(tǒng)一DPI系統(tǒng)對鏈路上的流量進行采集、轉(zhuǎn)發(fā)和分析控制操作，將滿足上層應(yīng)用系統(tǒng)所需的流量或分析統(tǒng)計數(shù)據(jù)分發(fā)給各應(yīng)用系統(tǒng)服務(wù)器，如圖6所示，上層應(yīng)用系統(tǒng)一般包括WebCache系統(tǒng)、IDC/ISP信息安全管理系統(tǒng)、“僵木蠕”檢測系統(tǒng)、日志留存系統(tǒng)、信令分析系統(tǒng)、流量分析系統(tǒng)、封堵系統(tǒng)等。現(xiàn)網(wǎng)同一采集位置存在部署異廠商DPI設(shè)備的情況，當(dāng)應(yīng)用系統(tǒng)接入統(tǒng)一DPI系統(tǒng)時，需協(xié)調(diào)多廠商進行數(shù)據(jù)聯(lián)調(diào)，由于各廠家DPI系統(tǒng)工作原理、軟件部署方案差異較大，存在聯(lián)調(diào)周期長、整體系統(tǒng)工作效能低下、可靠性不高等問題，影響應(yīng)用系統(tǒng)的上線進度。

統(tǒng)一DPI新的采購方案限定在同一采集位置采用同一廠商部署DPI設(shè)備，有效避免了多廠家設(shè)備聯(lián)調(diào)帶來的冗余工作量，更好地推進工程建設(shè)進度；此外，當(dāng)上層應(yīng)用系統(tǒng)對于統(tǒng)一DPI系統(tǒng)的數(shù)據(jù)需求產(chǎn)生變化時，也避免了異廠商設(shè)備協(xié)同改造、升級造成的系統(tǒng)復(fù)雜性提高的問題；對于網(wǎng)絡(luò)維護工作，維護人員也能更方便和清晰地進行系統(tǒng)問題的排查和糾錯。

圖6 統(tǒng)一DPI系統(tǒng)與上層應(yīng)用系統(tǒng)對接圖

保障各系統(tǒng)考核工作的完成

統(tǒng)一DPI系統(tǒng)作為省內(nèi)各應(yīng)用系統(tǒng)所需數(shù)據(jù)的來源方，其建設(shè)進度直接影響了各考核系統(tǒng)的整體完成進度。統(tǒng)一DPI新的采購方案以3個月為1批次進行采購，采購周期短，能更好滿足各省的差異化建設(shè)需求，各省在1年內(nèi)各階段的系統(tǒng)建設(shè)任務(wù)幾乎不會受到影響。工信部每年會對運營商IDC/ISP信息安全管理系統(tǒng)、“僵木蠕”檢測系統(tǒng)和移動上網(wǎng)日志留存系統(tǒng)，進行信息安全技術(shù)手段測試檢查和考核工作，集采模式的創(chuàng)新保證了采購份額的及時下發(fā)，進而推進了系統(tǒng)的建設(shè)完工，保證各省安全系統(tǒng)考核工作的順利進行。

應(yīng)對互聯(lián)網(wǎng)鏈路大規(guī)模增長態(tài)勢

隨著各類互聯(lián)網(wǎng)業(yè)務(wù)的發(fā)展以及用戶數(shù)量的激增，運營商骨干網(wǎng)間互聯(lián)鏈路、各省省網(wǎng)出口、城域網(wǎng)和IDC出口鏈路規(guī)模均在大規(guī)模擴容建設(shè)中，統(tǒng)一DPI系統(tǒng)的規(guī)劃建設(shè)與運行必須與CMNet基礎(chǔ)建設(shè)保持同步，而各省的CMNet建設(shè)又可能會根據(jù)政策及市場需求進行調(diào)整。傳統(tǒng)采購模式以一個長周期的鏈路規(guī)劃規(guī)模作為采購規(guī)模，往期建設(shè)中會出現(xiàn)與實際建設(shè)內(nèi)容不符、實施周期延長等情況。在對集團和各省網(wǎng)絡(luò)規(guī)劃發(fā)展充分調(diào)研的基礎(chǔ)上，統(tǒng)一DPI新的采購方案順應(yīng)互聯(lián)網(wǎng)大規(guī)模、突發(fā)式的增長趨勢，按照項目方式、以各省公司上報本批次內(nèi)采購需求為依據(jù)，每3個月為1批次進行采購。新的采購模式保證采購結(jié)果能夠及時下發(fā)到省內(nèi)，方便各省完成各季度的系統(tǒng)建設(shè)任務(wù)；同時采購結(jié)果更加符合各省的實際建設(shè)需求，避免造成不必要的投資浪費；在每批次的采購份額中，還配置了突發(fā)份額，保證各省能夠應(yīng)對可能發(fā)生的突發(fā)建設(shè)任務(wù)。

通過對運營商現(xiàn)網(wǎng)主流DPI架構(gòu)進行分析對比，本文提出創(chuàng)新的采購模式對全網(wǎng)系統(tǒng)進行改進，有效解決統(tǒng)一DPI系統(tǒng)由于傳統(tǒng)采購模式帶來的一系列現(xiàn)網(wǎng)問題，在從技術(shù)方面推進問題的改進遇到瓶頸時，及時轉(zhuǎn)換思路，從創(chuàng)新的采購制度方面完善全網(wǎng)系統(tǒng)建設(shè)，促進系統(tǒng)部署合理化。

編輯｜張鵬 zhangpeng@bjxintong.com.cn