網(wǎng)絡(luò)全流量分析技術(shù)沙龍

邢帆

12月21日～22日，在中國(guó)計(jì)算機(jī)用戶協(xié)會(huì)網(wǎng)絡(luò)應(yīng)用分會(huì)第二十一屆網(wǎng)絡(luò)新技術(shù)與應(yīng)用主題年會(huì)中，Ipv6工作組同期舉行了以網(wǎng)絡(luò)全流量分析為主題的技術(shù)沙龍，全國(guó)眾多高校代表及多家技術(shù)廠商參加了此次活動(dòng)。

中國(guó)人民大學(xué)張丹東在《大數(shù)據(jù)測(cè)試項(xiàng)目的思考與實(shí)踐》的主題演講中表示，目前中國(guó)人民大學(xué)大數(shù)據(jù)體系測(cè)試項(xiàng)目中，已取得了數(shù)據(jù)采集及數(shù)據(jù)存儲(chǔ)的階段性成果，并積極嘗試實(shí)現(xiàn)數(shù)據(jù)關(guān)聯(lián)與分析以及數(shù)據(jù)查詢與展示的推進(jìn)。其中，數(shù)據(jù)關(guān)聯(lián)與分析的核心與難點(diǎn)在于建模。未來，人民大學(xué)希望能夠在大數(shù)據(jù)實(shí)踐領(lǐng)域?qū)崿F(xiàn)數(shù)據(jù)應(yīng)用用于決策輔助。張丹東分析，目前高校的大數(shù)據(jù)來源主要包括：校園網(wǎng)絡(luò)流量、校內(nèi)系統(tǒng)日志、校內(nèi)系統(tǒng)數(shù)據(jù)以及互聯(lián)網(wǎng)數(shù)據(jù)。在數(shù)據(jù)獲取、模板一致性、數(shù)據(jù)移植等幾個(gè)重要維度的考量中，校園網(wǎng)絡(luò)流量表現(xiàn)最佳，校內(nèi)系統(tǒng)數(shù)據(jù)在三個(gè)維度上均表現(xiàn)欠佳，這表明不同來源數(shù)據(jù)做大數(shù)據(jù)項(xiàng)目的難度差異較大。

活動(dòng)中，眾多企業(yè)代表也就高校網(wǎng)絡(luò)流量、大數(shù)據(jù)等技術(shù)領(lǐng)域的相關(guān)情況展開了討論，并分享了部分成功案例。北京網(wǎng)瑞達(dá)科技有限公司總經(jīng)理叢群在會(huì)上提出，當(dāng)前高校網(wǎng)絡(luò)中心的核心職能是以提供IT服務(wù)為根本，更好地規(guī)劃、建設(shè)、運(yùn)行IT資源，將IT資源服務(wù)于教學(xué)、科研以及廣大師生和教職工的日常生活。且高校已脫離IT管理建設(shè)初級(jí)階段，IT管理和IT建設(shè)的趨勢(shì)是從硬件到軟件、從分散到集中、從重視功能到重視體驗(yàn)和易用性等方面，同時(shí)重視IT管理和運(yùn)行數(shù)據(jù)的分析和展現(xiàn)可以更好的發(fā)揮 IT部門對(duì)學(xué)校各種業(yè)務(wù)的支持。因此，網(wǎng)瑞達(dá)提出了IT融合管理概念及實(shí)現(xiàn)框架：統(tǒng)一入口、整合服務(wù)、融合數(shù)據(jù)，分別形成全新的管理門戶及用戶門戶。

IT管理的融合本質(zhì)是網(wǎng)絡(luò)數(shù)據(jù)的融合，而網(wǎng)絡(luò)行為數(shù)據(jù)在高校中占比最大。校內(nèi)網(wǎng)絡(luò)行為數(shù)據(jù)可分為兩大類，一類為標(biāo)簽數(shù)據(jù)，另一類為行為數(shù)據(jù)：標(biāo)簽數(shù)據(jù)一般包括網(wǎng)絡(luò)行為發(fā)生者的賬號(hào)信息、位置信息和終端類型信息，可分別從認(rèn)證系統(tǒng)、網(wǎng)管系統(tǒng)和DHCP中獲?。恍袨閿?shù)據(jù)一般包括NAT、服務(wù)器URL、用戶URL和安全事件等，可分別從NAT設(shè)備、反向代理、DPI設(shè)備及安全設(shè)備中獲取。NAT數(shù)據(jù)和URL數(shù)據(jù)是最適合描述用戶網(wǎng)絡(luò)行為的顆粒單位，在使用了NAT的校園網(wǎng)絡(luò)環(huán)境中，用戶網(wǎng)絡(luò)行為將全部基于NAT，即可收集全量的網(wǎng)絡(luò)行為數(shù)據(jù)，同時(shí)現(xiàn)在的網(wǎng)絡(luò)應(yīng)用基本基于HTTP或者HTTPS，URL數(shù)據(jù)可以更精準(zhǔn)的描述用戶的網(wǎng)絡(luò)行為。但傳統(tǒng)的IT管理模式下，用戶的網(wǎng)絡(luò)行為將以IP為共同標(biāo)識(shí)，分散地存儲(chǔ)于這些IT管理系統(tǒng)中，難以被全面地整合利用。

為解決上述問題，網(wǎng)瑞達(dá)退出了日志/數(shù)據(jù)統(tǒng)一管理平臺(tái)對(duì)多個(gè)IT系統(tǒng)的標(biāo)準(zhǔn)化日志或非標(biāo)準(zhǔn)化的日志、私有數(shù)據(jù)進(jìn)行統(tǒng)一采集、存儲(chǔ)、建模、關(guān)聯(lián)、索引及分析。將多條零散的以IP為標(biāo)識(shí)的網(wǎng)絡(luò)行為數(shù)據(jù)互相關(guān)聯(lián)，最后形成一條以賬號(hào)+終端為標(biāo)識(shí)的綜合性數(shù)據(jù)，全面掌握“誰(shuí)，在哪里，用什么終端，做了什么”，通過整合后的數(shù)據(jù)進(jìn)行深度挖掘?yàn)槿嫣嵘齀T服務(wù)奠定了堅(jiān)實(shí)的數(shù)據(jù)基礎(chǔ)。

北京郵電大學(xué)已初步應(yīng)用網(wǎng)瑞達(dá)IT融合管理體系，在日均125G，6.35億條日志的環(huán)境中，數(shù)據(jù)統(tǒng)一分析平臺(tái)得到了初步應(yīng)用。會(huì)上還展示了北郵2017年11、12月兩個(gè)月的用戶網(wǎng)絡(luò)行為數(shù)據(jù)分析成果，包括在本科生期末及研究生開題/答辯的特殊時(shí)期，本科生及研究生資源訪問偏好的不同，以及最受歡迎廣大學(xué)生歡迎的應(yīng)用排行、終端類型和操作系統(tǒng)占比等等；結(jié)合北郵網(wǎng)絡(luò)管理策略的調(diào)整，詳細(xì)分析了北郵出入流量、計(jì)費(fèi)與免費(fèi)流量、出口協(xié)議的變化趨勢(shì)與占比。其中，對(duì)于用戶eduroam串號(hào)分析及異常IP分析的分析，將網(wǎng)絡(luò)行為數(shù)據(jù)運(yùn)用至日常校園網(wǎng)絡(luò)管理的情景中，為高校IT管理提出了切實(shí)可行的新思路。

北京科能騰達(dá)信息技術(shù)股份有限公司SIEM 產(chǎn)品經(jīng)理王繼超表示：目前網(wǎng)絡(luò)規(guī)模急劇增長(zhǎng)，安全管理面臨資產(chǎn)、端口、服務(wù)、漏洞、攻擊事件、應(yīng)用事件、行為事件、流量事件、運(yùn)維事件等諸多管理事務(wù)，在一個(gè)有著數(shù)以千計(jì)IP的網(wǎng)中，單單以上一項(xiàng)管理工作，就有可能消耗管理員大量時(shí)間完成，如網(wǎng)絡(luò)中有突發(fā)事件或是其它不安全問題產(chǎn)生，管理工作會(huì)變得更為復(fù)雜，網(wǎng)絡(luò)管理工作和安全管理工作都面臨著相當(dāng)大的挑戰(zhàn)。

“全網(wǎng)安全信息與事件分析——SIEM”是泛信息事件管理與指標(biāo)化風(fēng)險(xiǎn)分析中很重要的一部分。系統(tǒng)將事件與資產(chǎn)關(guān)聯(lián)化，事件數(shù)據(jù)指標(biāo)化，以實(shí)現(xiàn)最大程度的信息事件便捷管理，內(nèi)置多種事件管理功能可輕松應(yīng)對(duì)各種網(wǎng)絡(luò)信息事件，諸如：事件采集、定義模型，解析泛化，精細(xì)查詢，分類統(tǒng)計(jì)，分布式存儲(chǔ)，大數(shù)據(jù)計(jì)算，自動(dòng)化任務(wù)，機(jī)器學(xué)習(xí)，關(guān)聯(lián)分析、指數(shù)話評(píng)估、資產(chǎn)關(guān)聯(lián)管理、安全事物流程等，SIEM是一個(gè)集中接入平臺(tái)，也是一個(gè)安全事物管理工具集，能夠?yàn)楣芾韱T打造一個(gè)“耳聰目明，手疾眼快，博聞強(qiáng)識(shí)，機(jī)警靈活”的安全信息與事件管理體系，輔助安全管理員輕松快捷的應(yīng)對(duì)復(fù)雜網(wǎng)絡(luò)事件。

北京希嘉創(chuàng)智教育科技有限公司高級(jí)副總裁汪浩也表示，當(dāng)前高教信息化發(fā)展的重心趨勢(shì)正在發(fā)生巨大變化，在傳統(tǒng)以事務(wù)為核心的應(yīng)用系統(tǒng)基礎(chǔ)上，以數(shù)據(jù)為核心的應(yīng)用系統(tǒng)建設(shè)逐步快速發(fā)展。而事物型和分析型系統(tǒng)各自底層的數(shù)據(jù)支撐環(huán)境是不一樣的，想要實(shí)現(xiàn)這兩者良性的發(fā)展，“數(shù)據(jù)基礎(chǔ)”是一個(gè)繞不過去的關(guān)卡。因?yàn)闊o論是事務(wù)型系統(tǒng)還是數(shù)據(jù)型系統(tǒng)都需要高質(zhì)量的數(shù)據(jù)供給。未經(jīng)整理的數(shù)據(jù)是沒有開發(fā)價(jià)值的，日志數(shù)據(jù)價(jià)值挖掘的重要途徑之一就是“關(guān)聯(lián)”。大數(shù)據(jù)處理平臺(tái)的作用就是盤活數(shù)據(jù)資產(chǎn)，打通高校全量數(shù)據(jù)，這之中簡(jiǎn)化數(shù)據(jù)的管理和使用是核心。目前，南京理工大學(xué)、江南大學(xué)、南京工業(yè)大學(xué)、中南民族大學(xué)等高校已經(jīng)落實(shí)了平臺(tái)API數(shù)據(jù)授權(quán)體系實(shí)際支撐開發(fā)場(chǎng)景。利用工具強(qiáng)化用戶底層數(shù)據(jù)基礎(chǔ)，降低日志數(shù)據(jù)使用門檻，從而讓數(shù)據(jù)“活”起來。

經(jīng)過多年的發(fā)展、積累，高校信息化不斷受到來自社會(huì)各界的關(guān)注，這既為其信息化發(fā)展提供了動(dòng)力，也帶來了更多挑戰(zhàn)。隨著數(shù)據(jù)資產(chǎn)化觀念的逐步滲透，大數(shù)據(jù)已經(jīng)作為一項(xiàng)信息化基礎(chǔ)工作納入到高校信息化總體規(guī)劃中。打好數(shù)據(jù)基礎(chǔ)，對(duì)于校園網(wǎng)絡(luò)流量分析勢(shì)必起到至關(guān)重要的作用。