大數據分析技術在網絡領域中的應用

管孝振

(齊魯醫(yī)藥學院,山東 淄博 255300)

0 引言

在網絡中,每天都會產生大量的數據。隨著數據的積累,大數據分析技術獲得了迅速的發(fā)展,挖掘出了這些數據背后所蘊含的價值。運營商通過對這些數據的應用來實現對網絡性能的優(yōu)化,從而獲得更多的網絡收益。相比于傳統的數據分析,大數據分析技術具備更強的洞察力,能夠對零散信息進行有效的整合,并對各個網絡要素之間的聯系進行研究,在網絡安全保障和流量控制中發(fā)揮著十分重要的作用。本文對網絡領域中的大數據分析技術進行研究,目的在于提升網絡應用的安全性和可靠性。

1 大數據分析技術的概念闡述

從目前的情況來看,大數據分析技術的應用已經獲得了人們的關注和研究。所謂網絡大數據就是指無法在一定時間內通過網絡通信系統進行訪問和傳輸的數據集合。大數據的特點在于波動性、體量大、生產速度快以及模態(tài)多樣化[1]。數據體量的增加產生了更大的數據流量,且數據的產生有著很強的時效性,大數據的種類包括了非結構化、結構化和半結構化數據,其中往往包含著巨大的價值,因為網絡有著很強的突發(fā)性,所以具備了波動性的特點。從科技企業(yè)的角度上來看,因為對于大數據的關注點不同,所以會產生多種分類問題。例如:從電信運營商的角度上來看,網絡大數據主要包括了IT系統數據、接入網和核心網數據以及運營商網絡應用數據[2]。其中,IT系統數據包含了業(yè)務消費信息、終端注冊平臺和客戶關系管理系統。接入核心網中的信息包括網絡數據包和移動信令等。運營商網絡應用數據包括了翼支付數據、網上營業(yè)廳數據等。

大數據能夠從內外兩個方面進行收集。其中,外部數據主要源自于市場研究機構和國家統計局等;內部數據主要源自于業(yè)務系統和運營系統等。對于數據進行收集的方法包括數據源收集和輔助工具收集等。其中,移動設備可以被作為收集數據的工具。

因為出現了海量的數據信息,所以應用的分析手段要具備更強的功能,一般來說經常應用的技術手段包括時間序列分析和機器學習等。大數據分析技術有著時空維度這一特點,因此采用時間序列來進行分量分析,并對流量模式進行預測,整體的預測性較強[3]。機器學習在很多領域中的應用都顯著提升了預測的性能,針對高級數據通過非線性變化來進行建模,從而實現大數據分析。在研究網絡控制管理時,無論是哪種節(jié)點,都能夠通過博弈論來進行對象之間的交互性分析,這對于大數據分析技術而言是非常有效的一種工具類型。

2 網絡領域中大數據分析技術的研究

2.1 在無線網絡中的應用

(1)故障監(jiān)測。通過大數據分析技術來進行故障監(jiān)測,主要是分析通話記錄、測量報告和帶寬趨勢等數據來對設備故障和用戶異常等網絡故障問題進行解決。例如:當用戶在通話過程中突然發(fā)生中斷的問題,解決這種問題時一般會采用網絡仿真或者路測等方法,路測需要消耗大量的時間和費用,網絡仿真所獲得的結果并不可靠,所以可利用大數據分析的方法,通過對運營商儲存的網絡測試數據來對網絡覆蓋進行優(yōu)化[4]。實踐過程證明了網絡覆蓋分析的方法具備更強的精確程度,通過運營支撐系統來獲取網絡測量數據,通過大數據來處理OSS數據,從而實現更加高效率的網絡優(yōu)化。通過下行覆蓋自優(yōu)化算法來分析數據,對網絡性能進行記錄,對異常區(qū)域進行定位,以此為前提來對天線參數進行調整,從而有效提升下行覆蓋性能。這種方法對于運營商而言是更加高效的,且投入的成本和時間較少。

蜂窩網絡所具備的自愈能力,能夠對網絡性能的故障進行精確定位,并能夠自動恢復,確保實現高質量的通信。這種自愈功能能夠及時地調整相關參數,從而避免出現較大的系統性能損失,避免過多的人力、物力投入。為了提升服務質量,應該在規(guī)定的時間段內實現系統自愈,因為在數據上有著一定的限制,所以可利用大數據分析技術來妥善解決系統問題[5]。

(2)流量監(jiān)控。蜂窩網絡的速率較高,能夠滿足人們的媒體業(yè)務需求,并能夠通過更大容量和更高性能的服務器來對流量進行分析和監(jiān)視。近些年,人們對數據分析的需求持續(xù)增加,所以這種方法的局限性較大。將網絡流量監(jiān)控分析系統設置在蜂窩網絡中心,實現數據量的有效處理,不但有著較高的性能且花費的成本較低[6]。同時,通過流量框架的設立來達到流處理和批處理的效果,流處理可實現對端口寬帶相關參數分析,從而更加有利于網絡監(jiān)視活動的開展。批處理是對用戶進行批量的流量處理,并能夠對異常情況進行有效監(jiān)測,及時地識別出異常行為。

(3)緩存處理。在緩存中,對于大數據分析技術的應用主要包括帶寬分配優(yōu)化、熱點內容跟蹤以及5G網主動緩存等。5G網主動緩存是以大數據分析技術為基礎來建立的緩存機制,主要功能在于對5G內容流行程度進行預測。在對用戶流量進行收集后,對其中的有用信息進行提取,接著采用評估前收集的原始數據流行程度,以基站獲取的真實數據為基礎來進行實驗。這一機制具備了優(yōu)化用戶體驗和提升緩存性能的效果。社交網絡包含了大量的用戶。用戶一般會在具備共同愛好的群體當中進行多媒體的分享。一些熱點新聞會吸引很多人的關注,所以會在網絡中獲得迅速的傳播,這時會增加網絡負載,請求內容需要通過服務器來按照網絡路徑傳播[7]?？赏ㄟ^對社交媒體以及熱點新聞的監(jiān)控來對數據進行分析,了解人們對哪些內容感興趣,并按照類別來進行熱點數據緩存,通過大數據分析技術來讓用戶更加迅速地緩存內容,減少網絡的負載。隨著用戶量的增加,對于帶寬的分配以及服務質量的提升是非常重要的。蜂窩網絡能夠為用戶帶來隨時連接互聯網的服務,利用動態(tài)帶寬分配算法來讓用戶對基站的無線信道進行共享,通過分析用戶數據網絡來將其劃分到多個集群中,從而實現帶寬的共享,讓網絡的資源利用效率得到提升,使得內容的分發(fā)速度獲得提升。

(4)網絡優(yōu)化。在如今的網絡融合時代中,網絡之間的操作更加頻繁,且相互之間的協調部署更加復雜。網絡管理對于各項數據處理的能力有著更高的要求。與此同時,入網設備的增加和業(yè)務類型的豐富等方面為網絡的規(guī)劃帶來了更大的挑戰(zhàn)。對網絡質量和規(guī)劃形成影響的因素有很多,這些因素與網絡性能之間有著復雜的關系。大數據分析技術能夠對數據之間的潛在關系進行挖掘。其應用到網絡規(guī)劃中有著重要的優(yōu)勢。

2.2 在光纖網絡中的應用

(1)網絡優(yōu)化。路由和波長分配算法在光纖網絡中有著十分重要的作用,這種算法的應用主要以線性規(guī)劃模型和分層圖模型為基礎,通過大數據分析技術的應用來對該算法中存在的問題進行解決[8]。在計算機中進行路由和波長分配算法的獨立運行,對需求序列進行處理,從而在較短的時間對更多數量的需求序列進行評估,選擇一個更好的解決方案。

(2)流量預測。因為出現了更多的新服務,所以對網絡有著更高的要求,那么對于運營商而言就需要通過動態(tài)的方式來應對預期流量。如果采用網絡超供應來處理,則會增加總成本。如果基于閾值來進行重新配置,則有利于節(jié)約功耗。缺點在于需要安裝的光轉發(fā)器數量沒有減少。通過大數據分析技術來進行的方案重構,就是在路由器中進行流量監(jiān)控數據的定期收集,所有的邊際路由器都是為了其他路由器來進行流量樣本的收集,并儲存到數據庫中。按照預定時間來對監(jiān)控數據進行定期檢索,并執(zhí)行數據流挖掘[9]。相比于靜態(tài)方法,通過應用大數據分析技術,虛擬網絡拓撲方案能夠減少光轉發(fā)器安裝數量,并能夠在低流量時停用轉發(fā)器,達到節(jié)能的效果,通過釋放光路來有效降低成本。

2.3 在SDN網絡中的應用

SDN網絡具備應用集中控制裝置來對網絡進行編程的能力,能夠通過開放接口來對多個數據面進行編程,從而帶來更加靈活的結構支撐。

(1)流量預測。隨著網絡中應用程序的增加,尤其是實時應用程序有著很大的體積和計算復雜性,少不了網絡的支持。作為新的網絡樣式,SDN網絡引起了多方面的重視和關注,主要是在轉發(fā)面當中將控制面分離出來,轉變傳統的垂直統一管理模式,實現了網絡編程。通過大數據分析技術的應用實現了SDN的資源感知路由架構,具體包括用戶偏好分析、SDN控制器與數據庫接口設計和SDN控制器路由幾個部分。利用偏好分析能力能夠在對用戶所應用的程序進行分析后,發(fā)現其中所包含的分布規(guī)律,接著以此為基礎來進行預測模型的開發(fā),從而對于各個領域中所存在的具體情況進行合理應對。大數據分析技術能夠結合用戶的具體需求來對網絡資源進行動態(tài)化的分配,從而實現有效的均衡負載,利用交換設備進行動態(tài)的流量發(fā)布,來對方案是否具備足夠的流量適應能力進行驗證,使得資源的使用效率獲得提升,以最終達到均衡負載的效果。處理應用程序的過程中,可能會因為數據而受到一定的影響,所以應該通過實時通信預測來優(yōu)化中心網絡數據,運用SDN網絡所具備的可編程特點來達到網絡資源分配優(yōu)化的效果。

(2)跨層設計對大數據分析技術的應用。網絡分層包含了相鄰層和非相鄰層,前者通過協議來通信,后者則不能夠直接通信,通過跨層設計能夠在后者中建立信息共享,并有效改善整個網絡的性能。后者達到了信息共享的效果,卻導致傳統的模塊化原則受到了影響,提升了網絡的復雜性,已經不再適合應用過去的優(yōu)化策略及設計方法[10]。利用大數據分析技術,達到了全局網絡的視圖效果,從所有層中獲取信息以實現更好的網絡控制管理。

2.4 在網絡安全中的應用

在網絡運行中,離不開網絡安全的支持,這同時也是網絡可靠運行的重要前提條件,網絡活動的開展需要通過網絡安全檢測來提供安全通信保障。

(1)APT攻擊檢測。隨著網絡信息發(fā)展,APT攻擊變得更多,其具備了一定的滲透性和隱蔽性,常常讓國家網絡信息系統面臨威脅。對于APT攻擊進行檢測的主要困難在于對異常進行檢測時需要對大量的數據進行篩選,這讓檢測任務變得更加困難。因為網絡數據增長的速度非?？?所以外圍防御系統在對目標進行檢測時可能會無法發(fā)揮效果。大數據分析技術能夠對APT攻擊進行有效的檢測,并分析網絡安全數據的關聯,對APT攻擊進行檢測有著很大的優(yōu)勢。

(2)網絡安全檢測。在網絡安全領域中,網絡安全檢測一直都是十分活躍的研究內容,具體是對網絡所面臨的風險以及所處的安全狀態(tài)進行分析,并對不同接入網絡的行為進行控制,從而及時發(fā)現一些潛在的威脅,甚至是一些攻擊。例如DDOS檢測,隨著網絡流量的增加,過去的檢測方法難以從網絡流量中有效地檢測到攻擊行為。然而,大數據分析技術能夠進一步提升DDOS檢測的水平。例如:入侵檢測是根據主機數據和網絡流量來對系統行為進行判斷,通過大數據分析技術能夠實現多個信息源的連接,實現對異?；顒拥挠行ёR別,從而提升入侵檢測的效率。很多網絡安全問題都是因為僵尸網絡而造成的,具體是指被惡意軟件所感染的機器組合成為的網絡,這種攻擊可能會造成財務上的損失[11]。為了對這種攻擊進行檢測,獲取數據包和網絡跟蹤是較為有效的措施。對于如今的計算機而言,分析大型數據集并不簡單。為了解決這個問題,技術人員可以通過大數據分析技術來建立僵尸網絡檢測系統框架。

(3)網絡安全態(tài)勢。面對大量的網絡安全風險,從企業(yè)的角度上來看,要及時發(fā)現網絡中存在的異常情況,并對網絡安全狀態(tài)進行實時掌握,而不是采用過去那種亡羊補牢的方式,減少網絡面臨的安全風險,讓網絡安全防護能力獲得有效的提升。網絡安全態(tài)勢感知能夠獲取造成網絡態(tài)勢變化的要素,并對未來的安全趨勢進行有效的預測。大數據分析技術能夠將各類安全數據變?yōu)楦又庇^的可視化信息。網絡安全態(tài)勢感知已經變?yōu)榱水斍熬W絡安全研究工作中的重點內容。

3 結語

總而言之,大數據分析技術的應用途徑十分豐富。網絡包含了系統信號和網絡流量等多種類型的數據。設計者收集數據信息并和用戶的服務需求建立聯系,從而設計出更加符合用戶需求的自適應網絡。如今,大數據分析技術的應用變得更加直接,數據采集更加靈活有效。終端設備具備了很強的移動性和便捷性,徹底對資本流動方式和人們的行為進行了改變。該技術目前已經在醫(yī)療、金融和商業(yè)等方面得到了廣泛的應用,并獲得了不錯的成果,吸引了各方的關注。本文分別對大數據分析技術在無線網絡、光纖網絡、SDN網絡以及網絡安全中的應用進行了研究。