基于網(wǎng)絡數(shù)據(jù)包的大數(shù)據(jù)分析程序設計與開發(fā)

張勇強

關鍵詞 網(wǎng)絡數(shù)據(jù)包 大數(shù)據(jù)分析 程序設計

計算機網(wǎng)絡的發(fā)展速度越來越快，全球信息化成為趨勢。但是，由于計算機網(wǎng)絡具備開放性、互聯(lián)性等特征，導致其很容易被攻擊和中病毒。因此，網(wǎng)絡信息安全與保密是計算機發(fā)展的永恒話題，尤其是部分系統(tǒng)的安全管理非常重要，如軍用網(wǎng)絡、銀行網(wǎng)絡等。

1網(wǎng)絡數(shù)據(jù)包協(xié)議程序

數(shù)據(jù)包協(xié)議程序可以收集網(wǎng)絡中有價值的數(shù)據(jù)程序，如用戶賬戶、密碼、商用數(shù)據(jù)等，計算機網(wǎng)絡接口在截獲這部分數(shù)據(jù)之后，可以為其他計算機提供數(shù)據(jù)報文功能。網(wǎng)絡數(shù)據(jù)包協(xié)議程序可以幫助人們分析網(wǎng)絡數(shù)據(jù)，并結合流量查找數(shù)據(jù)中存在的問題。比如，網(wǎng)絡的某一段存在問題，報文發(fā)送緩慢，但是人們并不知道出現(xiàn)問題的原因，此時使用網(wǎng)絡數(shù)據(jù)包協(xié)議分析程序即可實現(xiàn)精準判斷。應用數(shù)據(jù)包協(xié)議分析程序可以提高網(wǎng)絡管理質量，對整個系統(tǒng)管理起到重要作用。管理人員通過數(shù)據(jù)包分析程序可以診斷計算機所存在的模糊問題（這些問題通常導致系統(tǒng)出現(xiàn)異常）以及檢測計算機信息安全隱患。出現(xiàn)模糊問題的原因是計算機之間的異常通信記錄、各種計算機協(xié)議導致系統(tǒng)構成復雜。因此，我們需要借助協(xié)議程序分析并確定計算機的IP 地址、信息發(fā)送詳細情況、信息傳輸具體情況等。相關信息為信息判斷提供重要依據(jù)，同時也是保證網(wǎng)絡信息安全的重要手段。

如今，網(wǎng)絡威脅越來越多，病毒隨時會出現(xiàn)。造成網(wǎng)絡安全威脅的原因主要有四個方面：（1）開放性，開放性是所有計算機的特征，同時也讓計算機系統(tǒng)成為病毒、黑客攻擊的目標，這是目標系統(tǒng)的固有弱點?；ヂ?lián)網(wǎng)的“開放” “共享” 特性為病毒入侵提供了便利，因為開放性與私密性是計算機的靈魂，所以保護過度將會降低信息交流頻率，那么互聯(lián)網(wǎng)發(fā)展的初衷也就不復存在[1] 。（2）軟件基于人的需求而研發(fā)、制作，當軟件存在漏洞就會被攻擊，因此該攻擊也被認為是不可避免的漏洞。實際上，部分公司雖然對軟件進行了反復測量、分析，但是在正式使用軟件時仍舊有漏洞，即存在被攻擊的可能。漏洞主要存在于操作系統(tǒng)、網(wǎng)絡瀏覽器，正是因為漏洞的存在———部分用戶將接口程序設置成開發(fā)性，黑客會試圖對其進行攻擊，這對數(shù)據(jù)庫構成了嚴重威脅。（3）部分公司為追求名譽而不追究黑客的法律責任，如美國八大網(wǎng)站受到攻擊后因為資料并沒有泄露而未被曝光;部分公司在被黑客攻擊之后反而悄無聲息。國內(nèi)部分公司為追求自身利益，一旦公司出現(xiàn)信息泄露的現(xiàn)象必然損失大量客戶，因此公司在遭受黑客攻擊之后，不敢立即采取法律手段保護自己，而是進行私下解決。上述“姑息養(yǎng)奸”行為導致黑客不減反增。（4）打擊網(wǎng)絡犯罪等法律并不完善?；ヂ?lián)網(wǎng)是新時期的產(chǎn)物，針對互聯(lián)網(wǎng)的立法發(fā)展十分緩慢，人們并不清楚互聯(lián)網(wǎng)的相關法律，這對傳統(tǒng)法律提出了挑戰(zhàn)。比如，認定盜竊和篡改他人信息屬于犯罪行為，若只是觀看而不破壞他人信息則無法界定是否違法。在BBS 中，人們交流技術，討論各種軟件漏洞，分析漏洞的成因、攻擊手段等，這種方式姑且認為是專業(yè)技術研究行為，但是需要警惕有人以惡劣心思使用相關技術來破壞計算機系統(tǒng)，避免出現(xiàn)犯罪現(xiàn)象，這也需要人們提高警惕。

2傳統(tǒng)網(wǎng)絡數(shù)據(jù)包分析模式

MapReduce 作為一個數(shù)據(jù)處理系統(tǒng)，即便處理大規(guī)模群任務也可以在短時間之內(nèi)完成。該系統(tǒng)在運行中，可以將不同任務整合成一個大型模型實現(xiàn)數(shù)據(jù)處理，處理速度較快。在現(xiàn)代技術的支持下，尤其是借助自動化技術后，該系統(tǒng)的性能和整體使用效果更理想，如運算能力大大提升、可操作性強以及隱藏了復雜處理過程，從而節(jié)省了時間。此外，該系統(tǒng)支持學習記憶功能，能夠實現(xiàn)數(shù)據(jù)的深度挖掘和分析，從而建立起更良好的環(huán)境。同時，該系統(tǒng)可以檢索歷史數(shù)據(jù)，當人們需要數(shù)據(jù)的時候在系統(tǒng)中進行檢索、分析、對比，參照記憶功能即可處理剩余部分數(shù)據(jù)。因此，該技術能夠節(jié)省大量空間、時間，在不斷的發(fā)展中其處理性能也隨之提升，能夠滿足更多數(shù)據(jù)處理的需求，從而實現(xiàn)不同類型的高端數(shù)據(jù)處理[2] 。

2.1計算模式

Big data analysis mode for traditional networkpackets 模式是現(xiàn)實生活中常用的技術。該技術使用周期性處理數(shù)據(jù)的方法將數(shù)據(jù)整體劃分為單元格精準分析數(shù)據(jù)。劃分單元格之后處理數(shù)據(jù)變少，分析時間增多，可以滿足數(shù)據(jù)處理效益、處理效果等。在系統(tǒng)單元格中能夠完成數(shù)據(jù)的分析與計算，計算中的所有處理任務由處理系統(tǒng)完成，這也是常見的技術性方式之一。

結合BSP 計算機模型結構狀態(tài)分析，系統(tǒng)自動分析、匯總、整理待處理數(shù)據(jù)，它們均在劃分在單元結構基礎上實現(xiàn)。該技術的應用節(jié)省了計算時間，提高了數(shù)據(jù)處理效率。在超級處理步驟中，能夠整合系統(tǒng)的處理器，系統(tǒng)啟動多項處理器實現(xiàn)數(shù)據(jù)管理，通過調(diào)整數(shù)據(jù)形式來獲取目標數(shù)據(jù)，檢索參數(shù)信息，速度非?？?。傳統(tǒng)模式需要大量時間調(diào)動處理器，成本非常高，需要改進效率、時間，進行調(diào)整與分析。

2.2缺陷

該模式有超級步驟，在該環(huán)境中由于需要處理大量數(shù)據(jù)，傳輸消耗大量時間、處理任務量大容易達到極限，數(shù)據(jù)開發(fā)效果很難實現(xiàn)。在大數(shù)據(jù)開發(fā)處理中傳統(tǒng)模式很難實現(xiàn)這一功能，需要合理構建存儲環(huán)境，但是BSP 計算模式無法滿足需要。超級處理步驟要求存儲空間大，信息在傳輸時存在網(wǎng)絡延遲現(xiàn)象，使得任務難以完成[3] 。BSP 模式存在的弊端需要引起重視，只有結合先進理念對其進行不斷優(yōu)化，才可以達到更好的效果。

3程序設計分析

3.1邏輯層

基于網(wǎng)絡數(shù)據(jù)包的大數(shù)據(jù)分析邏輯層分為三個結構：S 層為分隔層，其可以避免數(shù)據(jù)分析帶來的干擾;A 層表示數(shù)據(jù)的分析處理與處理中任務的穩(wěn)定性，根據(jù)大數(shù)據(jù)有針對性地進行分析與規(guī)劃，實現(xiàn)最佳處理;T 層表示對數(shù)據(jù)的加工處理。它還可以包裝數(shù)據(jù)，結合系統(tǒng)參數(shù)對數(shù)據(jù)進行對比分析，之后優(yōu)化數(shù)據(jù)。處理層將數(shù)據(jù)處理完畢之后，篩選出符合當前數(shù)據(jù)包的信息來提高任務控制效果，具體流程如圖1。

在數(shù)據(jù)分析中，經(jīng)過SAT 數(shù)據(jù)處理的各個任務規(guī)劃非常嚴格，在分析處理中甚至會出現(xiàn)各種問題，但是在SAT 數(shù)據(jù)處理中能夠充分得以解決。有關現(xiàn)場任務處理會受到影響，因此需要在模塊的設計中設計預防步驟保證安全，大數(shù)據(jù)處理中啟動程序之后就可以達到最佳分析效果。匹配對應數(shù)據(jù)分析之后能夠得到更理想的效果，為提升大數(shù)據(jù)分析速度，在SAT模型中五個功能模塊使用統(tǒng)一系統(tǒng)集中控制來減少中間的優(yōu)化環(huán)節(jié)。該設置方式可以充分統(tǒng)籌各個系統(tǒng)的性能，優(yōu)化系統(tǒng)運行流暢性，促進系統(tǒng)的合作交融，在處理完之后系統(tǒng)控制能力增強，轉換效率增加，能夠直接顯示程序設計結果。

3.2基于流程實現(xiàn)的設計

（1）預處理

預處理的實現(xiàn)能夠判斷數(shù)據(jù)分析結果是否一致。在程序設計實現(xiàn)中，結合數(shù)字化先進技術、云計算技術等，在數(shù)據(jù)包基礎上開展數(shù)據(jù)分析與處理實現(xiàn)預處理。預處理完畢后，按照需要劃分模塊的功能，根據(jù)任務將模塊劃分為不同屬性后進行分析、確定屬性，從而實現(xiàn)最終功能，并結合各項數(shù)據(jù)分析來處理對應數(shù)據(jù)。根據(jù)數(shù)據(jù)庫之間的聯(lián)系，確定數(shù)據(jù)庫的屬性。預處理能夠快速篩選大量信息，及時發(fā)現(xiàn)問題，快速處理問題。在本次處理中，篩選、探討都是預處理數(shù)據(jù)之后達到的效果[4] 。在模糊處理之后，篩選出來的數(shù)據(jù)就是預處理數(shù)據(jù)，進而系統(tǒng)對數(shù)據(jù)進行二次分析。只需要啟動程序迭代就可以實現(xiàn)。因此，建設程序時循環(huán)流程也很重要。將多項任務結合，以提高控制性能、運行能效，為數(shù)據(jù)處理提供良好的環(huán)境。模糊處理數(shù)據(jù)之后，數(shù)據(jù)的二次分析完成，二次分析后的數(shù)據(jù)基本上都是目標數(shù)據(jù)，該過程能夠在瞬間完成，節(jié)省了大量時間。部分程序如下。

（2）淘汰數(shù)據(jù)

當完成預處理、模糊處理后，觀察信息之間存在的差異性，從而淘汰無用數(shù)據(jù)。系統(tǒng)程序將自動淘汰數(shù)據(jù)，系統(tǒng)將刪除失效數(shù)據(jù)，為系統(tǒng)節(jié)省出大量空間。為解決系統(tǒng)數(shù)據(jù)量巨大的問題，需要對系統(tǒng)發(fā)展中的大數(shù)據(jù)技術參數(shù)、訪問局部進行研究，并針對性地拓展系統(tǒng)存儲內(nèi)存，對分布情況進行合理設計，以優(yōu)化系統(tǒng)架構。在最終計算中，將傳感器、智能技術、自動化融為一體，對驗證工具基準進行測試程序、測試性能研究。系統(tǒng)的設計、驗證等方面不斷迭代和完善，可以對大數(shù)據(jù)進行淘汰分析，使得數(shù)據(jù)高吞吐、數(shù)據(jù)存儲低能耗、數(shù)據(jù)計算更高效，從而實現(xiàn)數(shù)據(jù)淘汰處理。

篩選完成之后，系統(tǒng)能夠實現(xiàn)不同區(qū)域的跨越分析。在大數(shù)據(jù)環(huán)境中不同環(huán)境分析需求不同，可改變內(nèi)部控制模式，實現(xiàn)對數(shù)據(jù)環(huán)境的分析。網(wǎng)絡數(shù)據(jù)包獲取速度對網(wǎng)絡環(huán)境穩(wěn)定性產(chǎn)生直接影響，如果控制不好，數(shù)據(jù)分析便存在系統(tǒng)的控制計劃，數(shù)據(jù)包的穩(wěn)定性也會受到影響。在程序的設計中需考慮信息傳輸能力，從而完成程序的開發(fā)[5] 。

（3）文件下載

系統(tǒng)完成數(shù)據(jù)任務之后下載文件包，將其運用在合適的控制模塊中。執(zhí)行程序進入檢索環(huán)節(jié)后，將其應用于文件的價值判斷中，若判斷無用就重新獲取文件，直到所確定文件夾范圍與使用需求相同即完成下載。在網(wǎng)絡數(shù)據(jù)包基礎上下載到目標文件夾，才可以獲得目標數(shù)據(jù)。

（4）文件使用

初始化功能是重置系統(tǒng)、恢復系統(tǒng)功能的重要技術，其能夠刪除大量無用信息、淘汰數(shù)據(jù)，并將所需信息引導到系統(tǒng)內(nèi)。初始化功能能夠清除、恢復與重啟，甚至能實現(xiàn)多項控制，完善后可以取得更理想的效果。初始化不需要的數(shù)據(jù)信息會被系統(tǒng)處理，從而節(jié)省處理空間，為各項設計任務建設提供基礎。同時，檢查篩選也是一項重要功能，其可以優(yōu)化、解決相關問題。文件夾的處理分析可以獲得模塊之間的相互配合，從而完成信息的檢索。

（5）設計反思

隨著互聯(lián)網(wǎng)技術的發(fā)展，大數(shù)據(jù)技術成為人們關注的焦點，這也讓數(shù)據(jù)技術滲透到諸多行業(yè)，成為促進相關領域發(fā)展的重要因素。大數(shù)據(jù)時代已經(jīng)來臨，為借助大數(shù)據(jù)技術實現(xiàn)數(shù)據(jù)計算以及滿足不同行業(yè)的業(yè)務需求，以Google、Facebook、Linkedin 等為代表的互聯(lián)網(wǎng)企業(yè)推出了大數(shù)據(jù)處理系統(tǒng)，在技術推動的背景下深度學習、知識計算、可視化數(shù)據(jù)等技術實現(xiàn)迅速發(fā)展，被廣泛應用于諸多行業(yè)，促進了行業(yè)的創(chuàng)新。

上述設計根據(jù)處理形式上的差異，分別介紹不同的處理數(shù)據(jù)、交互處理等特征，闡述了實際設計能應用的場景和具備代表性的處理系統(tǒng)。隨著行業(yè)不斷發(fā)展，數(shù)據(jù)處理過程中平臺專業(yè)化、平臺化、計算實時化是主要趨勢。從企業(yè)發(fā)展的實際需要來看，在系統(tǒng)支持下的深度學習、知識計算、社會計算等技術應用應受到相關技術人員的重視， 這對行業(yè)的發(fā)展有著重要的促進、提升作用。我們應該重視深度學習，借助傳感、智能技術幫助行業(yè)實現(xiàn)智能化發(fā)展。隨著行業(yè)的不斷發(fā)展，計算機網(wǎng)絡技術也會產(chǎn)生更多大數(shù)據(jù)處理系統(tǒng)，它們能滿足不同類型的數(shù)據(jù)處理需求，為相關行業(yè)提供支持。

4結語

在物聯(lián)網(wǎng)、互聯(lián)網(wǎng)、云計算等技術快速發(fā)展的背景下，大數(shù)據(jù)技術的發(fā)展速度越來越快，數(shù)據(jù)滲透成為常態(tài)，影響著生產(chǎn)和生活的各個方面。人們高度重視數(shù)據(jù)處理、數(shù)據(jù)安全等問題，在此情況下深挖數(shù)據(jù)管理方面的內(nèi)容，對各行各業(yè)的發(fā)展有積極作用。