通過互聯(lián)網(wǎng)流量流向大數(shù)據(jù)智能分析決策實(shí)現(xiàn)網(wǎng)絡(luò)速度升級(jí)

劉新華 李衛(wèi)群 周發(fā)輝 李琨 張佳杰 楊迪

隨著互聯(lián)網(wǎng)業(yè)務(wù)的迅猛發(fā)展，激增的網(wǎng)絡(luò)用戶、信息數(shù)量和網(wǎng)絡(luò)資源刺激著網(wǎng)絡(luò)的不斷升級(jí)與開拓。呈指數(shù)級(jí)增長的廣大用戶、信息與資源數(shù)量要求運(yùn)營商提供不斷升級(jí)的高品質(zhì)服務(wù)，網(wǎng)絡(luò)帶寬與速度升級(jí)都迫在眉睫。從整體來看，以上這些目標(biāo)的實(shí)現(xiàn)依賴于基礎(chǔ)設(shè)施建設(shè)的升級(jí)，從戰(zhàn)略上來看，通過對(duì)互聯(lián)網(wǎng)流量流向決策分析及合理調(diào)度，也可達(dá)到高效利用當(dāng)前基礎(chǔ)設(shè)施實(shí)現(xiàn)升級(jí)的目標(biāo)，更好的保障服務(wù)的實(shí)現(xiàn)與品質(zhì)提升。

中國互聯(lián)網(wǎng)信息中心CNNIC發(fā)布第37次《中國互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計(jì)報(bào)告》。報(bào)告顯示，截至2015年12月，中國網(wǎng)民規(guī)模達(dá)6.88億，互聯(lián)網(wǎng)普及率為50.3%；手機(jī)網(wǎng)民規(guī)模達(dá)6.2億，占比提升至90.1%，無線網(wǎng)絡(luò)覆蓋明顯提升，網(wǎng)民Wi-Fi使用率達(dá)到91.8%。相較2014年底提升2.4個(gè)百分點(diǎn)。龐大的用戶數(shù)量以及隨之而來龐大的網(wǎng)絡(luò)應(yīng)用需求推動(dòng)著互聯(lián)網(wǎng)硬件設(shè)施和軟件設(shè)備的升級(jí)，網(wǎng)絡(luò)流量十分龐大。采用海量的硬件投入來達(dá)成基礎(chǔ)設(shè)施升級(jí)明顯是不可取的；龐大的網(wǎng)絡(luò)流量也需要分析和控制。通過探索一條合理控制網(wǎng)絡(luò)流量流向達(dá)到高效利用當(dāng)前基礎(chǔ)設(shè)施實(shí)現(xiàn)升級(jí)的目標(biāo)，更好的保障服務(wù)的實(shí)現(xiàn)與品質(zhì)升級(jí)，顯得必要且具有重大意義。

本文介紹的“互聯(lián)網(wǎng)流量流向大數(shù)據(jù)智能分析決策系統(tǒng)”由DNS日志分析子系統(tǒng)和DNS旁路優(yōu)化解決子系統(tǒng)提升本網(wǎng)率，采用鏡像分光或FTP日志上傳方式對(duì)本省DNS系統(tǒng)解析日志進(jìn)行采集并存儲(chǔ)。將按主要在現(xiàn)網(wǎng)DNS系統(tǒng)基礎(chǔ)上完成對(duì)本省DNS系統(tǒng)日志1∶1采集，然后存儲(chǔ)在本地進(jìn)行離線分析，并以報(bào)表的形式將分析結(jié)果進(jìn)行呈現(xiàn)。同時(shí)需要通過DNS旁路的方式優(yōu)化點(diǎn)擊本網(wǎng)率。結(jié)合DNS系統(tǒng)解析數(shù)據(jù)定期分析互聯(lián)網(wǎng)熱點(diǎn)資源，并依據(jù)分析結(jié)果，進(jìn)行調(diào)度優(yōu)化，使用戶的訪問請求盡可能多的命中網(wǎng)內(nèi)資源，從而提升用戶感知，并達(dá)到提升流量本網(wǎng)率和降低運(yùn)營成本的效果。

DNS日志分析子系統(tǒng)是通過DNS日志采集、技術(shù)資料爬蟲、IP段歸屬基礎(chǔ)庫獲取得到基礎(chǔ)數(shù)據(jù)，DNS日志采用C++處理入庫；采用基于業(yè)務(wù)流的DPI識(shí)別技術(shù)識(shí)別53流量和HTTP流量的業(yè)務(wù)類型；采用網(wǎng)絡(luò)爬蟲技術(shù)，實(shí)現(xiàn)對(duì)關(guān)鍵域和域名、公司、備案號(hào)、TCP、UDP、網(wǎng)站名、服務(wù)類型等資料的爬蟲，用作詳細(xì)內(nèi)容匹配。

DNS日志分析子系統(tǒng)結(jié)構(gòu)如下圖所示：

DNS旁路優(yōu)化解決子系統(tǒng)，用戶請求特定的域名，在經(jīng)過整套DPI系統(tǒng)時(shí)，分光53流量和HTTP流量到優(yōu)化系統(tǒng)，而DNS優(yōu)化系統(tǒng)服務(wù)器的數(shù)量只根據(jù)DPI流量數(shù)有關(guān)，而一條流量只能對(duì)應(yīng)一個(gè)網(wǎng)口，因此有幾條流量決定了DNS優(yōu)化系統(tǒng)服務(wù)器數(shù)量。DNS優(yōu)化系統(tǒng)經(jīng)過對(duì)特定域名的目的IP重定向返回給用戶。

·平臺(tái)功能-綜合分析

全網(wǎng)DNS綜合分析給客戶提供DNS流量流向分析的全景視圖，分別以域、域名、公司為維度，對(duì)DNS數(shù)據(jù)進(jìn)行綜合的統(tǒng)計(jì)分析，并支持圖表趨勢顯示及數(shù)據(jù)導(dǎo)出。

·平臺(tái)功能—本網(wǎng)率相關(guān)

給客戶提供DNS流量流向網(wǎng)內(nèi)、網(wǎng)外的視圖列表，分別以出網(wǎng)內(nèi)容、本網(wǎng)內(nèi)容、緩存內(nèi)容、引入內(nèi)容等作為維度，經(jīng)過計(jì)算和預(yù)處理，得出本網(wǎng)率情況的數(shù)據(jù)內(nèi)容和非本網(wǎng)率的數(shù)據(jù)內(nèi)容，對(duì)管理員起到指導(dǎo)調(diào)度程序來實(shí)現(xiàn)本網(wǎng)率的提升。

·平臺(tái)功能—本省內(nèi)容分析

本省內(nèi)容分析給客戶展示各廠家服務(wù)情況的全景視圖。分別以各廠家服務(wù)的域、域名、公司為維度，將本省已經(jīng)引入的CDN、IDC、緩存等相關(guān)資源通過分析得出對(duì)各廠家服務(wù)的情況的列表展現(xiàn)，并支持?jǐn)?shù)據(jù)導(dǎo)出。

·平臺(tái)功能—備案相關(guān)

給客戶提供各個(gè)域的備案情況，以域、未備案域、未備案緩存內(nèi)容、未備案引入內(nèi)容等作為維度分析，以便用戶查詢引入本網(wǎng)卻未備案的域，并支持圖表趨勢顯示及數(shù)據(jù)導(dǎo)出。

·平臺(tái)功能—告警

給客戶提供各公司、廠家的告警情況，包含全部資源告警、本省資源告警。以各類閥值來判斷指標(biāo)是否達(dá)到告警，閥值可設(shè)置。

·平臺(tái)功能—廠家服務(wù)評(píng)估

包含緩存廠家服務(wù)評(píng)估和CDN廠家服務(wù)評(píng)估，以域名、域、公司、各廠家等作為維度進(jìn)行全面分析。支持以圖表、列表等形式展現(xiàn)各類指標(biāo)趨勢，并支持?jǐn)?shù)據(jù)導(dǎo)出。

·平臺(tái)功能—輔助管理

輔助管理功能是針對(duì)緩存廠家與緩存域名之間的關(guān)系建立，可實(shí)現(xiàn)對(duì)導(dǎo)入域名去重、對(duì)域名、廠家、日志進(jìn)行增刪查改等操作，并支持批量操作域名廠家集。

·平臺(tái)功能—系統(tǒng)管理

管理員可為不同用戶、不同角色、不同組織機(jī)構(gòu)設(shè)置不同操作權(quán)限，通過權(quán)限控制，做到信息保密。

·擴(kuò)展功能—多維度展現(xiàn)

多維度展現(xiàn)方式，以滿足不同查詢需求，結(jié)果呈現(xiàn)更直觀。

·擴(kuò)展功能—多樣化性能

（1）使用異步方式進(jìn)行數(shù)據(jù)下載，把需要導(dǎo)出的數(shù)據(jù)下載到系統(tǒng)服務(wù)器，用戶再由PC端導(dǎo)出，比直接通過PC端查詢下載，數(shù)據(jù)處理速度更快。

（2）列向報(bào)表數(shù)據(jù)自動(dòng)化調(diào)節(jié)：可對(duì)前幾列域、域名、公司的關(guān)鍵數(shù)據(jù)凍結(jié)，更符合使用者查看習(xí)慣。

（3）支持導(dǎo)出Top N（分析）的數(shù)據(jù)。

（4）可設(shè)置為每頁20、條50條、100條等多種顯示方案。

（5）合計(jì)在底部固定位置展現(xiàn)，結(jié)果盡收眼底隨時(shí)可查。

綜上所述，通過互聯(lián)網(wǎng)內(nèi)容分析及流量流向決策分析可更好的服務(wù)互聯(lián)網(wǎng)發(fā)展與廣大網(wǎng)絡(luò)用戶需求，可顯著降低成本、降低鏈路負(fù)載、更好應(yīng)對(duì)流量突發(fā)變化。結(jié)合DNS系統(tǒng)解析數(shù)據(jù)定期分析互聯(lián)網(wǎng)熱點(diǎn)資源，并依據(jù)分析結(jié)果，進(jìn)行調(diào)度優(yōu)化，使用戶的訪問請求盡可能多的命中網(wǎng)內(nèi)資源，從而提升用戶感知，并達(dá)到提升流量本網(wǎng)率和降低運(yùn)營成本的效果。

通過內(nèi)容優(yōu)化及流量控制方法實(shí)現(xiàn)基礎(chǔ)設(shè)施升級(jí)目標(biāo)，對(duì)于互聯(lián)網(wǎng)的穩(wěn)定高效運(yùn)行有積極意義。

參考文獻(xiàn)：

[1]林榮.網(wǎng)絡(luò)流量控制相關(guān)關(guān)鍵技術(shù)研究[J].復(fù)雜系統(tǒng)與復(fù)雜性科學(xué)，2010（Z1）

[2]楊瑞.線性規(guī)劃的網(wǎng)絡(luò)流量流向控制技術(shù)[J].電子商務(wù)，2015（02）

（作者單位：貴州力創(chuàng)科技發(fā)展有限公司）