◎徐志亮 丁 慶 陳 瑜
(上海文化廣播影視集團(tuán)有限公司 上海 200000)
人工神經(jīng)網(wǎng)絡(luò)算法的技術(shù)源于非線性動(dòng)力學(xué)理論系統(tǒng),神經(jīng)網(wǎng)絡(luò)算法的特性就是能夠?qū)⒎植际骄W(wǎng)絡(luò)與并行網(wǎng)絡(luò)數(shù)據(jù)的整合功能發(fā)揮到極致,讓每一個(gè)神經(jīng)元單位能夠擁有豐富的學(xué)科交叉技術(shù),其主要技術(shù)引導(dǎo)價(jià)值在于讓神經(jīng)網(wǎng)絡(luò)的每一個(gè)節(jié)點(diǎn)能夠?qū)崿F(xiàn)自主結(jié)算與信息整合的目的,其功能與神經(jīng)網(wǎng)絡(luò)算法的技術(shù)支撐價(jià)值源于圖中所示結(jié)構(gòu):
1.基礎(chǔ)性研究內(nèi)容
根據(jù)神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)元素,從生理角度、心理角度、腦神經(jīng)元視角進(jìn)行神經(jīng)細(xì)胞的根基性特點(diǎn)學(xué)習(xí)與仿真學(xué)習(xí),構(gòu)建基礎(chǔ)單元。
2.構(gòu)建理論基礎(chǔ)與信息化數(shù)據(jù)庫
利用數(shù)據(jù)庫基礎(chǔ)內(nèi)容加強(qiáng)信息在神經(jīng)元基礎(chǔ)的交流與信息互換,構(gòu)建數(shù)學(xué)模型。
3.網(wǎng)絡(luò)信息數(shù)據(jù)交互與信息交換
網(wǎng)絡(luò)信息數(shù)據(jù)交互與信息交換過程中,理論模型與信息基礎(chǔ)的網(wǎng)絡(luò)模型構(gòu)建之間還要存在一種信號(hào)處理或模式網(wǎng)絡(luò)學(xué)習(xí)算法的研究,工作中要講這種技術(shù)模型關(guān)系進(jìn)行完整描述并付諸實(shí)施。
4.網(wǎng)絡(luò)模型算法的基礎(chǔ)構(gòu)成
人工神經(jīng)網(wǎng)絡(luò)的應(yīng)用要考慮到網(wǎng)絡(luò)模型算法的基礎(chǔ)構(gòu)成,還要保證人工神經(jīng)網(wǎng)絡(luò)的信號(hào)處理或識(shí)別功能,需要認(rèn)真仔細(xì)的鑒別及詳細(xì)構(gòu)建,通過細(xì)節(jié)處理與機(jī)器人的信息交互完成溝通,處理好信號(hào)源。
神經(jīng)網(wǎng)絡(luò)算法的技術(shù)支撐價(jià)值結(jié)構(gòu)
網(wǎng)絡(luò)安全的發(fā)展過程中感知技術(shù)針對(duì)網(wǎng)絡(luò)設(shè)備與數(shù)據(jù)融合處理技術(shù)的不斷創(chuàng)新,不斷更新與加強(qiáng)數(shù)據(jù)結(jié)合與分析的能力,根據(jù)信息分析能力與數(shù)據(jù)掌握,實(shí)時(shí)網(wǎng)絡(luò)安全態(tài)勢加強(qiáng)數(shù)據(jù)抗干擾能力,不斷加強(qiáng)數(shù)據(jù)挖掘與數(shù)據(jù)運(yùn)營能力,加強(qiáng)實(shí)際數(shù)據(jù)應(yīng)用能力,改善數(shù)據(jù)應(yīng)用隱含能力,改善數(shù)據(jù)規(guī)律化運(yùn)行的不斷加強(qiáng)改善加強(qiáng)網(wǎng)絡(luò)安全運(yùn)行的態(tài)勢感知技術(shù)的運(yùn)行。根據(jù)挖掘的信息進(jìn)行機(jī)器學(xué)習(xí)的模型訓(xùn)練,進(jìn)一步實(shí)現(xiàn)威脅的自動(dòng)化識(shí)別。
數(shù)據(jù)挖掘可分為描述性挖掘和預(yù)測性挖掘,描述性挖掘用于刻畫數(shù)據(jù)庫中數(shù)據(jù)的一般特性;預(yù)測性挖掘在當(dāng)前數(shù)據(jù)上進(jìn)行推斷,并加以預(yù)測。數(shù)據(jù)挖掘方法主要有:關(guān)聯(lián)分析法、序列模式分析法、分類分析法和聚類分析法。關(guān)聯(lián)分析法用于挖掘數(shù)據(jù)之間的聯(lián)系;序列模式分析法側(cè)重于分析數(shù)據(jù)間的因果關(guān)系;分類分析法通過建立分析模型,對(duì)數(shù)據(jù)進(jìn)行分類,常用的模型有決策樹模型、貝葉斯分類模型、神經(jīng)網(wǎng)絡(luò)模型等;聚類分析不依賴預(yù)先定義好的類,它的劃分是未知的,常用的方法有模糊聚類法、動(dòng)態(tài)聚類法、基于密度的方法等。
在我們的數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)的實(shí)現(xiàn)過程中,用到了如下技術(shù):
1.特征提取技術(shù)
根據(jù)網(wǎng)絡(luò)安全發(fā)展的態(tài)勢感知技術(shù)為基礎(chǔ),不斷加強(qiáng)數(shù)學(xué)處理動(dòng)力,改善大規(guī)模網(wǎng)絡(luò)安全技術(shù)應(yīng)用融合與技術(shù)融合數(shù)值組成有效性,通過數(shù)值和網(wǎng)絡(luò)實(shí)時(shí)運(yùn)行的系列特征,不斷加強(qiáng)網(wǎng)絡(luò)安全運(yùn)營效果,提升網(wǎng)絡(luò)安全數(shù)據(jù)的運(yùn)行有效性,安全態(tài)勢感知評(píng)估與預(yù)測技術(shù)都需要不斷創(chuàng)新,加強(qiáng)整個(gè)態(tài)勢感知的有效性,不斷提升分層技術(shù)有效性,綜合分析法。支持基于大數(shù)據(jù)技術(shù)的數(shù)據(jù)建模,提供基礎(chǔ)數(shù)據(jù)建模算法和可配置的數(shù)據(jù)模型。
2.歸并算法模型
提供歸并算法模型,此數(shù)據(jù)模型可以將任意字段按照最長子序列進(jìn)行歸并處理,將海量日志歸并成幾類進(jìn)行查看。
3.偏離算法模型
提供偏離算法模型,此數(shù)據(jù)模型通過統(tǒng)計(jì)某字段一段時(shí)間的正常模型,對(duì)偏離此基線的行為進(jìn)行告警分析。
4.聚類算法模型
提供聚類算法模型,此數(shù)據(jù)模型可以基于數(shù)據(jù)模型和密度進(jìn)行聚類計(jì)算,從而發(fā)現(xiàn)日志中某種模型小類和孤類。
數(shù)據(jù)采集層負(fù)責(zé)從物理上分離的多個(gè)數(shù)據(jù)源(終端、主機(jī)、網(wǎng)絡(luò)設(shè)備等)抓取數(shù)據(jù)后,按照Syslog/SNMP等協(xié)議發(fā)送到實(shí)時(shí)數(shù)據(jù)接收(數(shù)據(jù)匯聚)子系統(tǒng);實(shí)時(shí)數(shù)據(jù)接收子系統(tǒng)收到數(shù)據(jù)后寫入臨時(shí)存儲(chǔ)供后續(xù)預(yù)處理子系統(tǒng)讀取。第三方系統(tǒng)中的用戶信息等非實(shí)時(shí)數(shù)據(jù)不僅過預(yù)處理層,直接導(dǎo)入數(shù)據(jù)存儲(chǔ)層。
預(yù)處理層處理實(shí)時(shí)數(shù)據(jù),清洗掉殘缺數(shù)據(jù),去掉重復(fù)數(shù)據(jù),按照預(yù)置的適配模板將不同格式的數(shù)據(jù)轉(zhuǎn)換為預(yù)定義的標(biāo)準(zhǔn)格式,導(dǎo)入數(shù)據(jù)存儲(chǔ)層。
數(shù)據(jù)存儲(chǔ)層負(fù)責(zé)提供大規(guī)模結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)的分布式存儲(chǔ)能力,為后續(xù)數(shù)據(jù)關(guān)聯(lián)、數(shù)據(jù)挖掘及機(jī)器學(xué)習(xí)等復(fù)雜計(jì)算提供存儲(chǔ)支持。各類原始數(shù)據(jù)按照后續(xù)數(shù)據(jù)分析和業(yè)務(wù)應(yīng)用要求分別存儲(chǔ)在不同的物理或者邏輯庫中。經(jīng)過數(shù)據(jù)分析層處理后的數(shù)據(jù),按照不同業(yè)務(wù)種類存入對(duì)應(yīng)專題庫,通過應(yīng)用支撐層提供的統(tǒng)一數(shù)據(jù)服務(wù)總線對(duì)外提供數(shù)據(jù)服務(wù)。
數(shù)據(jù)分析層負(fù)責(zé)提供大規(guī)模數(shù)據(jù)分布式處理能力,將原始數(shù)據(jù)加工成為業(yè)務(wù)系統(tǒng)可直接使用或展示的數(shù)據(jù)。數(shù)據(jù)分析層的能力包括集合碰撞、模型構(gòu)建等,它將低價(jià)值密度的原始數(shù)據(jù)加工為高價(jià)值密度的結(jié)果數(shù)據(jù),支撐數(shù)據(jù)服務(wù)總線對(duì)外提供細(xì)粒度的數(shù)據(jù)服務(wù)。
應(yīng)用支撐層應(yīng)用系統(tǒng)與數(shù)據(jù)存儲(chǔ)之間的橋梁,為應(yīng)用層提供數(shù)據(jù)查詢、數(shù)據(jù)下發(fā)和上報(bào)及工作流引擎等服務(wù)。
應(yīng)用層提供業(yè)務(wù)展現(xiàn)和系統(tǒng)管理能力,滿足用戶使用集中管控中心對(duì)業(yè)務(wù)運(yùn)行環(huán)境、運(yùn)維環(huán)境、安全環(huán)境的檢測、聯(lián)動(dòng)管控等需求,滿足管理員對(duì)集中管控中心進(jìn)行管理和設(shè)置的需求。