互聯(lián)網(wǎng)時代的網(wǎng)絡(luò)數(shù)據(jù)安全分析

楊承

（國家開發(fā)銀行 北京市 100194）

近幾年來，“大數(shù)據(jù)”和“網(wǎng)絡(luò)數(shù)據(jù)”是政府、企業(yè)、科研機構(gòu)等競爭的“明星”，移動互聯(lián)網(wǎng)的發(fā)展、云計算和大數(shù)據(jù)，物聯(lián)網(wǎng)等下一代信息通訊技術(shù)的深度融合也成為網(wǎng)絡(luò)數(shù)據(jù)管理要素，再加之國家評價數(shù)據(jù)資源的戰(zhàn)略作用是在新時期促進民族現(xiàn)代化，土地需要完全移動、交換，才能實現(xiàn)最大價值，但是數(shù)據(jù)不需要。通過相關(guān)部門發(fā)布的信息可知，實現(xiàn)數(shù)據(jù)資源的交流、開放、加速開發(fā)和利用，加快產(chǎn)業(yè)結(jié)構(gòu)轉(zhuǎn)化和社會管理創(chuàng)新，這將是好壞參半之事。首先，這樣做可以最大限度地發(fā)展大數(shù)據(jù)金礦，為大數(shù)據(jù)金礦創(chuàng)造更高的價值；其次，使用單位一定要加強數(shù)據(jù)安全保護，加強大數(shù)據(jù)法律管控、完善大數(shù)據(jù)相關(guān)法規(guī)和標準，根據(jù)數(shù)據(jù)安全和規(guī)則，確保數(shù)據(jù)的合法使用。

1 問題提出

隨著移動互聯(lián)網(wǎng)等新技術(shù)的出現(xiàn)，特別是大數(shù)據(jù)技術(shù)的創(chuàng)新和應用的出現(xiàn)，我們有機會處理和分析各種數(shù)據(jù)，數(shù)據(jù)控制時代到來，數(shù)據(jù)整合、數(shù)據(jù)分析等安全問題也在我們身上出現(xiàn)，同時給我們帶來了史無前例的挑戰(zhàn)。大數(shù)據(jù)安全問題也影響了國家安全的各個方面。例如，通過分解健康數(shù)據(jù)和遺傳數(shù)據(jù)，實現(xiàn)國民健康的發(fā)展。通過移動結(jié)算數(shù)據(jù)、正確的國民消費數(shù)據(jù)和通過其他金融數(shù)據(jù)的分解，相關(guān)國家可以了解國民經(jīng)濟狀況。但是如何讓保障數(shù)據(jù)的安全成為一大難題。

筆者認為網(wǎng)絡(luò)數(shù)據(jù)竊賊會利用數(shù)據(jù)信息難以全面保護之問題，大量盜取個人的數(shù)據(jù)信息，進而進行販賣。因為每個人的利益都有完整的非法獲取、交易和信息使用的黑色產(chǎn)業(yè)鏈，而個人資料的泄露可能導致財產(chǎn)損失，甚至個人生命安全等問題，即使全面收集和使用個人資料，也包括我們的利益和社會風俗等，這樣使得最了解我們的人不是我們自己，而是拿到我們的數(shù)據(jù)進行分析的人。很多網(wǎng)站會為大家提供信息的搜索服務(wù)，所以大數(shù)據(jù)才應運而生，但是相關(guān)的數(shù)據(jù)保護的法規(guī)不明確、不完善，這導致大數(shù)據(jù)的良性運行困難重重，也反映出這個業(yè)態(tài)較大的弊端。

2 網(wǎng)絡(luò)數(shù)據(jù)概念

2015年，中國人民代表大會常務(wù)委員會首次提出“網(wǎng)絡(luò)數(shù)據(jù)”概念。在國家出臺的相關(guān)法律中，電子數(shù)據(jù)采集隱私條款只對網(wǎng)絡(luò)數(shù)據(jù)和個人數(shù)據(jù)進行保護，通用的數(shù)據(jù)保護法只定義指定的處理指令所約定的設(shè)備的數(shù)據(jù)和信息。

2.1 數(shù)據(jù)基礎(chǔ)設(shè)施常常遭到惡意攻擊，數(shù)據(jù)丟失及泄露風險嚴重

數(shù)據(jù)中心和移動智能終端擁有許多用戶的重要業(yè)務(wù)和個人數(shù)據(jù)，但是當前的安全狀況日益嚴重。當然，但是近幾年來，對IDC的攻擊增加，2014年12月，Alien 攻擊世界最大DDOS S 乙方表示，2015年年初，亞洲網(wǎng)絡(luò)數(shù)據(jù)中心的數(shù)據(jù)流量為334gbps，攻擊越來越多的惡性應用程序和木馬程序侵害數(shù)據(jù)安全，這對用戶的隱私和安全有很大的風險，2014年達到用戶數(shù)量，由保安企業(yè)發(fā)現(xiàn)的惡性軟件平均每天有875000 個。

2.2 新型網(wǎng)絡(luò)威脅層出不窮，倒逼數(shù)據(jù)保護技術(shù)革新

新的網(wǎng)絡(luò)風險技術(shù)復雜性和私密性不斷增加，使得網(wǎng)絡(luò)威脅的水平越來越高，同時倒逼我國數(shù)據(jù)保護技術(shù)的提升。2014年全球約2/3 網(wǎng)絡(luò)服務(wù)器上儲存的用戶姓名、密碼、服務(wù)器證書、密碼密鑰以及其他敏感數(shù)據(jù)的安全威脅到同年。ATP 攻擊了索尼，還提供了大量的員工信息和影像復印，這是新興的網(wǎng)絡(luò)風險，將網(wǎng)絡(luò)數(shù)據(jù)保護技術(shù)的創(chuàng)新帶上了劃時代的進展。

2.3 數(shù)據(jù)交易地下產(chǎn)業(yè)鏈活動猖獗，治理仍需長期展開

在利益驅(qū)動下，非法收集、盜竊、銷售、使用者的行為日益猖獗。我國私下交易用戶信息的地下產(chǎn)業(yè)鏈的總規(guī)模已超過100 億，2014年工業(yè)和信息化部對黑客的地下產(chǎn)業(yè)鏈進行了預防和控制的專業(yè)行動，取得了一定的效果。還面臨著對法律執(zhí)行的挑戰(zhàn)，如手段多樣，程序多，隱秘性強等。長期管理需要相關(guān)部分政策的保護，還需要社會各方齊心協(xié)力。

2.4 數(shù)據(jù)跨境流動成為關(guān)注熱點，監(jiān)管機制面臨挑戰(zhàn)

互聯(lián)網(wǎng)和移動數(shù)據(jù)成為全球自由流動的經(jīng)濟增長、就業(yè)創(chuàng)造和社會福利的重要推動動力，成為信息主權(quán)的重要威脅，知識產(chǎn)權(quán)和公民隱私。是的，超越國境的數(shù)據(jù)流動可能導致國家重點數(shù)據(jù)資源流失，各國高度重視國家間數(shù)據(jù)移動檢測的國際問題，但對跨越國境的數(shù)據(jù)流的檢測還沒有統(tǒng)一的標準和國際規(guī)則。

2.5 數(shù)據(jù)資源需求強烈，開放共享與安全保護矛盾凸顯

隨著智能城市的建設(shè)和發(fā)展，兩者融合，以經(jīng)濟和民生為對象的開放的數(shù)據(jù)交換需求始終會滿足。優(yōu)化服務(wù)、交通、旅游和其他機構(gòu)，他們對數(shù)據(jù)的分布和移動提出了要求。商業(yè)客戶應通過個性化數(shù)據(jù)提供適應和預處理的決策幫助，非專業(yè)營銷，數(shù)據(jù)資源的開放與交換缺乏有效的管理和安全保障，國家數(shù)據(jù)資源的開放與交換是維護國家安全的這成了長期的問題。

3 基于大數(shù)據(jù)的網(wǎng)絡(luò)安全分析平臺

3.1 基于大數(shù)據(jù)的網(wǎng)絡(luò)安全分析平臺架構(gòu)

本文基于大數(shù)據(jù)的網(wǎng)絡(luò)安全分析平臺整體布局如圖1。

平臺下部分為數(shù)據(jù)采集層、大數(shù)據(jù)存儲層、數(shù)據(jù)挖掘分析層和數(shù)據(jù)表達層，數(shù)據(jù)采集層根據(jù)流量、活動、用戶身份和威脅信息收集多元信息，這是網(wǎng)絡(luò)流、鏡面流、DNS 流、設(shè)備SNMP 信息、安全設(shè)備/網(wǎng)絡(luò)設(shè)備systlog、網(wǎng)絡(luò)應用程序/數(shù)據(jù)庫/工作日志、漏洞信息等，包括信息、用戶行動、設(shè)置外部信息等，大數(shù)據(jù)存儲層采用分布式文件系統(tǒng)，提供大量安全基礎(chǔ)信息長期完整存儲和統(tǒng)一的結(jié)構(gòu)化存儲容量，MapReduce、Mahout、CEP 和Storm Flow計算結(jié)構(gòu)的半結(jié)構(gòu)化和非結(jié)構(gòu)化日基于基礎(chǔ)，通過均衡算法，數(shù)據(jù)均勻地分布在分布式文件系統(tǒng)上，之后搜索速度很快，分布式數(shù)據(jù)相關(guān)分析、特征提取、統(tǒng)計分析、態(tài)勢分析、實現(xiàn)了及時發(fā)現(xiàn)和非法網(wǎng)絡(luò)行為和攻擊跟蹤等數(shù)據(jù)挖掘和歷史安全事件挖掘功能，并提供了大量存儲信息實時搜索和追溯可能索引，網(wǎng)絡(luò)搜索引擎根據(jù)各個關(guān)鍵詞搜索相關(guān)信息，允許數(shù)據(jù)表達式，結(jié)合大數(shù)據(jù)分析技術(shù)和數(shù)據(jù)可視化技術(shù)，在不同層次上顯示整個或國家安全狀況。

3.2 平臺實現(xiàn)關(guān)鍵技術(shù)

3.2.1 數(shù)據(jù)采集技術(shù)

本平臺將原始的、臨時分析的協(xié)議和數(shù)據(jù)信息包括離線統(tǒng)計分析和實時在線分析，利用Hive 實現(xiàn)離線統(tǒng)計分析，利用storm 實現(xiàn)實時在線分析，是的，線下和實時為了計算信息的采集，平臺使用了rivers、Kafka 和storm 的結(jié)合方式，用于發(fā)放水槽?？尚湃尾⒖墒褂玫拇罅咳罩静杉?、采集和傳輸。定制數(shù)據(jù)傳送機在不同的數(shù)據(jù)源中收集數(shù)據(jù)，簡單處理數(shù)據(jù)，并傳送到不同特定客戶的數(shù)據(jù)接收器，水槽，邏輯上分為三種。代理，收集機，同時，用于存儲代理數(shù)據(jù)采集，它是生成河川數(shù)據(jù)流的地方，同時將生成的數(shù)據(jù)流傳送到收集機，收集器的作用是收集多個代理商數(shù)據(jù)并儲存，存儲是一種存儲系統(tǒng)可能是公共文件，也可能是分布式文件系統(tǒng)。例如，可能是像HDFS 這樣的存儲系統(tǒng)。如果要處理Hbase 1.活動流數(shù)據(jù)，卡夫卡在數(shù)據(jù)采集和流數(shù)據(jù)處理之間的緩沖。包括：邏輯性、全面性的服務(wù)。制作者發(fā)表某個主題的新聞，消費者接受訂戶信息的傳送。主題。主題：數(shù)據(jù)由制造商轉(zhuǎn)移到經(jīng)理。為了解決來自代理的消費者數(shù)據(jù)之間的移動分布式應用中的數(shù)據(jù)管理問題，Kafka 使用zookeep 框架解決集群配置和負載平衡問題。為了實現(xiàn)實時數(shù)據(jù)的存儲和分析，為了進行分布式實時信息處理，在數(shù)據(jù)采集和流量數(shù)據(jù)中間儲存后，引進了雷雨類計算框架，這是風暴群主要節(jié)點（運行的比丘）和一組由動物園管理者管理的業(yè)務(wù)節(jié)點（運營的主管）構(gòu)成。和諧的變成了暴風雨，為了計算提供了很多基本要素：拓撲、流媒體、bogt 等。實時應用程序的計算任務(wù)包和拓撲發(fā)布。拓撲是由不同的軌道和博爾特通過數(shù)據(jù)流連接的。其中，Spot 將在外部數(shù)據(jù)源（如信息傳送）Q、RDBS、NSQL、實時登錄）中繼續(xù)閱讀并發(fā)送到拓撲信息。gt bot 可執(zhí)行過濾、聚合、數(shù)據(jù)庫查詢及其他任務(wù)的暴風信息處理程序

在本平臺上，F(xiàn)lume 會收集數(shù)據(jù)并將離線分析數(shù)據(jù)存儲到HDFS 中。對于實時數(shù)據(jù)流，F(xiàn)lume 作為在Kafka 輸入Ka Kaka 信息的生產(chǎn)者，通過訂閱storm 拓撲到Kafka 信息的消費者，storm實現(xiàn)對數(shù)據(jù)的實時分析和處理。

3.2.2 數(shù)據(jù)存儲技術(shù)

收集的大量數(shù)據(jù)主要存儲在HDFS 中，HDFS 是一個具有較高用途的訪問高流量數(shù)據(jù)的分布式文件系統(tǒng)，元數(shù)據(jù)節(jié)點管理文件系統(tǒng)的命名空間、數(shù)據(jù)節(jié)點存儲數(shù)據(jù)文件使用數(shù)據(jù)文件越小元數(shù)據(jù)節(jié)點中存儲的元數(shù)據(jù)塊位置變大，同時被調(diào)用的文件越多，數(shù)據(jù)節(jié)點間的彈跳越多，對性能產(chǎn)生嚴重影響，是的，為了保證數(shù)據(jù)處理效率，平臺使用標準HDFS 存儲，合并了收集的小文件。每個文件中含有64MB 的存儲大小要求，滿足了糖化酵素HDFS 所運行的分布式非結(jié)構(gòu)化數(shù)據(jù)庫。它可以通過數(shù)據(jù)存儲方式有效地管理大量數(shù)據(jù)。大量存儲結(jié)構(gòu)化數(shù)據(jù)，部分分析處理結(jié)果存儲在關(guān)系數(shù)據(jù)庫中。Squoop 用于從關(guān)系數(shù)據(jù)庫和非關(guān)系數(shù)據(jù)庫之間獲取和導出數(shù)據(jù)。

3.2.3 數(shù)據(jù)分析技術(shù)

MapReduce 是以大型數(shù)據(jù)集合為對象的并行計算模式，實現(xiàn)了數(shù)據(jù)共享、作業(yè)計劃和分布式計算等功能，其職責包括追擊和扒手，Jobtracker 將工作初始化，進行分配和協(xié)調(diào)，主要在物理位置與HTDFS 的元數(shù)據(jù)節(jié)點一起工作，任務(wù)包裝機負責在分配的數(shù)據(jù)段執(zhí)行計算任務(wù)。在物理情況下，通過HDFS 數(shù)據(jù)節(jié)點來實現(xiàn)。是的，本平臺使用MapReduce，使用分布式數(shù)據(jù)采集、數(shù)據(jù)存儲、數(shù)據(jù)查詢和分析任務(wù)以及HBASE 表格數(shù)據(jù)?；诒镜豀BASE Java API 的并行成批處理…平臺是使用Hive 進行數(shù)據(jù)統(tǒng)計分析，通過與SQL 相同的Hiveql 語言快速瀏覽HDFS 和Hbase 中非結(jié)構(gòu)化的數(shù)據(jù)，Hive 覆蓋API，通過個性化插件開發(fā)對所有類型數(shù)據(jù)進行統(tǒng)計分析-墨水A 數(shù)據(jù)魔為了實現(xiàn)本次分析，利用Mahout 實現(xiàn)基于hadop 的機器學習和并行數(shù)據(jù)挖掘，及分布式協(xié)作過濾、分類、集成、為了實現(xiàn)相關(guān)規(guī)則的挖掘和回歸等數(shù)據(jù)挖掘算法，本平臺使用CPE技術(shù)來實現(xiàn)活動流程的相關(guān)性分析，系統(tǒng)數(shù)據(jù)呈現(xiàn)出不同的形式，事件之間的相關(guān)性分析是不同的事件關(guān)系建立了序列的數(shù)據(jù)庫，過濾、相關(guān)、聚合等技術(shù)在簡單事件中生成高級事件或過程，從大量安全信息中刪除安全事件。

4 移動互聯(lián)網(wǎng)時代網(wǎng)絡(luò)安全的策略

在移動互聯(lián)網(wǎng)時代，很多對網(wǎng)絡(luò)安全的威脅都應該讓我們考慮到恰當有效的方法，避免這些問題，在移動互聯(lián)網(wǎng)時代，網(wǎng)絡(luò)安全目前還有很多領(lǐng)域有待改善和改善，應對各種網(wǎng)絡(luò)安全威脅，一般而言，移動互聯(lián)網(wǎng)時代的網(wǎng)絡(luò)安全應在以下幾個方面為基礎(chǔ)：

4.1 技術(shù)策略

移動互聯(lián)網(wǎng)時代的網(wǎng)絡(luò)安全問題歸根結(jié)底是網(wǎng)絡(luò)技術(shù)之間的競爭，網(wǎng)絡(luò)安全技術(shù)的更新成為了對抗網(wǎng)絡(luò)安全的關(guān)鍵因素，因此，在技術(shù)層面上打下基礎(chǔ)，引領(lǐng)技術(shù)創(chuàng)新，引領(lǐng)網(wǎng)絡(luò)安全不斷提高意識，將技術(shù)作為首選，從技術(shù)角度來看，網(wǎng)絡(luò)安全戰(zhàn)取得勝利，虛擬網(wǎng)絡(luò)技術(shù)的觀點是通過對虛擬網(wǎng)絡(luò)的訪問控制，擴大虛擬網(wǎng)絡(luò)外部節(jié)點的控制是對的，網(wǎng)絡(luò)傳輸原理的入侵檢測技術(shù)在高速網(wǎng)絡(luò)中沒有特殊設(shè)置，可以實現(xiàn)虛擬網(wǎng)絡(luò)技術(shù)的簡化，讓普通移動互聯(lián)網(wǎng)用戶更容易接受并成功實現(xiàn)。從防火墻技術(shù)的角度來看，必須加強網(wǎng)絡(luò)之間的訪問控制，防止外部網(wǎng)絡(luò)用戶，防止非法連接內(nèi)部網(wǎng)絡(luò)和內(nèi)部網(wǎng)絡(luò)環(huán)境安全。防火墻安全技術(shù)的不斷完善和提高機密性，可以提高所有移動互聯(lián)網(wǎng)的網(wǎng)絡(luò)安全性。

4.2 網(wǎng)絡(luò)策略

現(xiàn)有2G 和3G 移動互聯(lián)網(wǎng)由智能手機的載體組成，對于移動互聯(lián)網(wǎng)時代的網(wǎng)絡(luò)安全策略，我們從互聯(lián)網(wǎng)出發(fā)，優(yōu)化這些網(wǎng)絡(luò)，提高移動網(wǎng)絡(luò)的安全性，提高移動信號的網(wǎng)絡(luò)源應該控制網(wǎng)絡(luò)安全，面臨新的網(wǎng)絡(luò)安全問題：我們不斷更新移動無線網(wǎng)絡(luò)系統(tǒng)，從根本上加速影響網(wǎng)絡(luò)技術(shù)和網(wǎng)絡(luò)安全的要素更新，從而加速整個移動設(shè)備提高互聯(lián)網(wǎng)的安全性，不斷提高互聯(lián)網(wǎng)的安全性，提高自身的安全性，才能真正做到有意義的事情。

4.3 儀式策略

現(xiàn)在很多網(wǎng)絡(luò)安全問題是因為使用者缺乏安全意識，這些看似不注意的行為或意識形態(tài)上的“小失誤”可能成為影響整個網(wǎng)絡(luò)安全的關(guān)鍵因素，在移動互聯(lián)網(wǎng)上的網(wǎng)絡(luò)安全問題，要解決就要從思想認識出發(fā)，基于“安全是我的，安全是大家的”這封信，經(jīng)常勒緊互聯(lián)網(wǎng)安全意識的鏈，避免發(fā)生此類事件，消除感知，影響節(jié)點的網(wǎng)絡(luò)安全，影響用戶和實現(xiàn)網(wǎng)絡(luò)良好交互，結(jié)束網(wǎng)絡(luò)安全程序的管控。

4.4 管理策略

現(xiàn)在移動互聯(lián)網(wǎng)的安全面臨著多種威脅。移動互聯(lián)網(wǎng)的管理機制沒有傳統(tǒng)互聯(lián)網(wǎng)完善，管理不夠完善，移動互聯(lián)網(wǎng)的多個漏洞容易突破，只有加強管理，才能從根本上解決現(xiàn)在移動網(wǎng)絡(luò)安全不穩(wěn)定的局面。沒關(guān)系，首先我們要進入移動互聯(lián)網(wǎng)的門檻，改進的很多移動互聯(lián)網(wǎng)提供者的接入門檻非常低，在移動互聯(lián)網(wǎng)領(lǐng)域，有些小企業(yè)很容易進入，在利潤的驅(qū)動和管理不足的情況下，這些公司全部都將面臨著移動網(wǎng)絡(luò)的困境。這將成為影響互聯(lián)網(wǎng)安全的主要因素，只有改善移動網(wǎng)絡(luò)連接障礙，才能消除管理不規(guī)范的小企業(yè)，也可以進入移動網(wǎng)絡(luò)，這是操作科學規(guī)范。

其次，我們要對移動互聯(lián)網(wǎng)用戶進行監(jiān)管和管理，這是移動互聯(lián)網(wǎng)的網(wǎng)絡(luò)服務(wù)提供者、用戶和企業(yè)必須建立相互制約的機制，通過相互監(jiān)督和限制，將移動互聯(lián)網(wǎng)的有害因素從根本上消除，只有加強三人的管理，才能真正形成“三者對抗”的局面，真正解決移動互聯(lián)網(wǎng)的網(wǎng)絡(luò)安全問題。

5 結(jié)束語

綜上所述，在大數(shù)據(jù)的時代背景下，我們每一個使用網(wǎng)絡(luò)的人的生活愈發(fā)透明，雖然大數(shù)據(jù)給我們的生活帶來了很多便利，但是卻處處存在網(wǎng)絡(luò)安全隱患。并且隨著移動互聯(lián)網(wǎng)的快速發(fā)展，互聯(lián)網(wǎng)的安全問題也在不斷加劇。相關(guān)部門一定要加以重視，要不斷創(chuàng)新網(wǎng)絡(luò)安全技術(shù)，提高網(wǎng)絡(luò)服務(wù)質(zhì)量，強化網(wǎng)絡(luò)安全意識，優(yōu)化網(wǎng)絡(luò)安全管理，實現(xiàn)互聯(lián)網(wǎng)安全的健康發(fā)展，促進我國移動互聯(lián)網(wǎng)的“綠色夢”和“安全夢”的實現(xiàn)。