免費(fèi)大數(shù)據(jù)安全分析產(chǎn)品

在當(dāng)前安全即服務(wù)（SaaS）和開(kāi)源共享的理念下，有不少?gòu)S商和開(kāi)源社區(qū)也推出了免費(fèi)的大數(shù)據(jù)安全分析產(chǎn)品，用戶只需要通過(guò)正規(guī)渠道下載，即可免費(fèi)安裝使用。下面列舉兩款主流的免費(fèi)大數(shù)據(jù)安全分析產(chǎn)品。

思科OpenSOC平臺(tái)

OpenSOC是思科的安全大數(shù)據(jù)分析架構(gòu)，其建立了一個(gè)平臺(tái)，專注于網(wǎng)絡(luò)數(shù)據(jù)包和流的大數(shù)據(jù)分析。功能上實(shí)現(xiàn)了實(shí)時(shí)地檢測(cè)網(wǎng)絡(luò)內(nèi)的異常，并且可以根據(jù)需要擴(kuò)展節(jié)點(diǎn)。

OpenSOC的部署全部依靠開(kāi)源軟件，存儲(chǔ)上使用Hadoop，實(shí)時(shí)索引采用ElasticSearch，而在線實(shí)時(shí)分析使用的Storm，因此可以說(shuō)，OpenSOC是各種開(kāi)源大數(shù)據(jù)架構(gòu)和安全分析工具的有機(jī)結(jié)合。

OpenSOC主要功能包括以下幾點(diǎn)。

1.可擴(kuò)展的接收器和分析器能夠監(jiān)視任何Telemetry數(shù)據(jù)源。

2.OpenSOC具備很強(qiáng)的擴(kuò)展性，且支持各種遙測(cè)數(shù)據(jù)流。

3.支持對(duì)遙測(cè)數(shù)據(jù)流的異常檢測(cè)和基于規(guī)則的實(shí)時(shí)報(bào)警。

4.通過(guò)預(yù)設(shè)時(shí)間使用Hadoop存儲(chǔ)遙測(cè)收集的數(shù)據(jù)流。

5.支 持 使 用ElasticSearch實(shí)現(xiàn)自動(dòng)化實(shí)時(shí)索引遙測(cè)數(shù)據(jù)流。

6.支持通過(guò)Hive使用SQL查詢Hadoop中的數(shù)據(jù)。

7.兼容ODBC/JDBC并且繼承已有的分析工具。

8.支持自動(dòng)生成報(bào)告、異常報(bào)警。

9.支持原數(shù)據(jù)包的抓取、存儲(chǔ)和重組。支持?jǐn)?shù)據(jù)驅(qū)動(dòng)的安全模型。

從系統(tǒng)架構(gòu)來(lái)看，OpenSOC包含了數(shù)據(jù)源系統(tǒng)、數(shù)據(jù)收集層、消息系統(tǒng)層、實(shí)時(shí)處理層、存儲(chǔ)層、分析處理層。其中數(shù)據(jù)源系統(tǒng)主要設(shè)定大數(shù)據(jù)分析平臺(tái)的數(shù)據(jù)來(lái)源，包括通過(guò)網(wǎng)絡(luò)路由、網(wǎng)關(guān)等設(shè)備獲取的數(shù)據(jù)包和通過(guò)部署遙感傳感器從系統(tǒng)日志、HTTP流量、文件系統(tǒng)和其他行為中獲取到的日志信息。數(shù)據(jù)收集層收集經(jīng)過(guò)初步處理后的大量數(shù)據(jù)，一方面利用PCAP機(jī)制收集數(shù)據(jù)包，另一方面利用Flume框架來(lái)收集大量的日志信息。消息系統(tǒng)層主要將數(shù)據(jù)收集層捕獲的數(shù)據(jù)包和日志包裝為消息隊(duì)列，便于上層Storm的實(shí)時(shí)處理。實(shí)時(shí)處理層將收到的消息隊(duì)列進(jìn)行快速處理，Storm系統(tǒng)每秒可以處理數(shù)以百萬(wàn)計(jì)的信息，而且用戶可以使用任意語(yǔ)言進(jìn)行mapreduce模型的開(kāi)發(fā)。存儲(chǔ)層主要就是有效合理地將前面獲得的數(shù)據(jù)存儲(chǔ)到文件系統(tǒng)中。分析處理層將最終處理后的數(shù)據(jù)進(jìn)行分析，挖掘出有價(jià)值的數(shù)據(jù)信息展示給用戶。

用戶部署OpenSOC時(shí)，各個(gè)開(kāi)源軟件和模塊均有一定的版本要求，具體如下：

Apache Flume 1.4.0版本及以上。Apache Kafka 0.8.1版本及以上。Apache Storm 0.9版 本及以上。Apache Hadoop 2.x系列版本均可。Apache Hive 12版本以上，建議13版本。Apache Hbase 0.94版本及以上。ElasticSearch 1.1版本及以上。MySQL 5.6版本及以上。

翰思HanSight DataViewer

瀚 思 HanSight DataViewer是基于業(yè)界較成熟的分布式生態(tài)系統(tǒng)Elasticsearch開(kāi)發(fā)的企業(yè)級(jí)日志管理平臺(tái)，提供搜索或大規(guī)模日志分析可視化等服務(wù)，而且完全免費(fèi)。DataViewer包括日志采集、存儲(chǔ)檢索、可視化展現(xiàn)三個(gè)部分。

日志采集部分由瀚思自主研發(fā)，采用采集/轉(zhuǎn)發(fā)機(jī)制，便于大規(guī)模集群部署，提供了Web界面進(jìn)行數(shù)據(jù)源的配置及集群狀態(tài)的監(jiān)控。在數(shù)據(jù)源的支持方面，內(nèi)置支持的種類包括目錄、文件、syslog協(xié)議等，同時(shí)DataViewer還提供了非常易用的Java API，方便用戶對(duì)新的數(shù)據(jù)源進(jìn)行支持。

存儲(chǔ)檢索部分采用Elasticsearch，翰 思 對(duì)Elasticsearch進(jìn)行了優(yōu)化，并有源碼級(jí)的支持能力。Elasticsearch是一個(gè)靈活、功能強(qiáng)大的開(kāi)源、分布式、實(shí)時(shí)搜索和分析引擎，從設(shè)計(jì)之初就考慮了分布式環(huán)境，所以它具有天然的可靠性和可擴(kuò)展性，Elasticsearch使用戶能夠輕松地地使用全文檢索的功能。通過(guò)其強(qiáng)大的、健壯的RESTful API和查詢DSL，支持多種客戶端，如Java、Python、Clojure等。

產(chǎn)品自帶數(shù)據(jù)可視化引擎，支持中文，并可以讓用戶在本地通過(guò)自定義的儀表盤(pán)同Elasticsearch所有的數(shù)據(jù)進(jìn)行交互。動(dòng)態(tài)儀表盤(pán)面板可保存、共享和導(dǎo)出，實(shí)時(shí)顯示更改查詢到的數(shù)據(jù)，還可以使用預(yù)先設(shè)計(jì)的儀表盤(pán)在用戶界面上進(jìn)行數(shù)據(jù)分析。

目 前，HanSight Data Viewer已發(fā)布2.0版，采用Master/Worker的分布式架構(gòu)，可靈活擴(kuò)展采集集群。用戶有興趣，可自行上翰思安信官網(wǎng)www.hansight.com下載試用，或聯(lián)系廠家?guī)椭惭b測(cè)試。