Splunk“魔法”：把機(jī)器數(shù)據(jù)變成答案

宋辰

把非結(jié)構(gòu)化的機(jī)器日志“提純”成不同層級(jí)的結(jié)構(gòu)化數(shù)據(jù)分析表，并通過可視化的方式展現(xiàn)出來，這正是大數(shù)據(jù)分析一直在找尋的答案。

IDC的調(diào)查報(bào)告顯示：企業(yè)中80%的數(shù)據(jù)都是非結(jié)構(gòu)化數(shù)據(jù)，而這些數(shù)據(jù)每年都在按指數(shù)增長60%。

面對(duì)爆炸式增長的數(shù)據(jù)，企業(yè)挖掘到大數(shù)據(jù)中的潛在價(jià)值，才能實(shí)現(xiàn)“數(shù)據(jù)為王”。

Splunk是一家在舊金山有著13年歷史的年輕公司，其商業(yè)智能軟件可以實(shí)時(shí)對(duì)APP、服務(wù)器或網(wǎng)絡(luò)設(shè)備的機(jī)器數(shù)據(jù)進(jìn)行索引、監(jiān)控與分析，并將結(jié)果生成圖形化報(bào)表，而這一過程在幾分鐘內(nèi)就可以完成。IT運(yùn)營、應(yīng)用管理、安全合規(guī)、網(wǎng)絡(luò)智能與商業(yè)分析，Splunk的這些主要業(yè)務(wù)功能正迎合了大數(shù)據(jù)時(shí)代企業(yè)對(duì)數(shù)據(jù)應(yīng)用的需求。

從機(jī)器數(shù)據(jù)到商業(yè)

優(yōu)勢

如果把結(jié)構(gòu)化的數(shù)據(jù)比喻成一份“數(shù)據(jù)菜單”，那么，非結(jié)構(gòu)化的數(shù)據(jù)就像一個(gè)大型的雜貨店。

互聯(lián)網(wǎng)用戶在論壇、微博、微信或其他渠道發(fā)表各種評(píng)論，企業(yè)日常運(yùn)行中的服務(wù)器日志等，這些非結(jié)構(gòu)化數(shù)據(jù)來自于移動(dòng)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)，以及服務(wù)器、存儲(chǔ)和網(wǎng)絡(luò)等基礎(chǔ)設(shè)施中的機(jī)器數(shù)據(jù)。機(jī)器數(shù)據(jù)具有數(shù)量龐大、增長速度快、復(fù)雜性高、多樣化的特點(diǎn)。

相比結(jié)構(gòu)化的數(shù)據(jù)庫數(shù)據(jù)，非結(jié)構(gòu)化數(shù)據(jù)是無法用固定結(jié)構(gòu)來邏輯表達(dá)實(shí)現(xiàn)的數(shù)據(jù)，這就決定了使用非結(jié)構(gòu)化數(shù)據(jù)需要更多數(shù)據(jù)工程師或高級(jí)分析師。即便分析師熟悉相關(guān)的數(shù)據(jù)，對(duì)每個(gè)業(yè)務(wù)問題，都需要他們具備數(shù)據(jù)工程相關(guān)技能來應(yīng)對(duì)潛在的復(fù)雜數(shù)據(jù)準(zhǔn)備過程。但是，這不僅需要一系列特定的技能，并且非常耗時(shí)，因此用來支持分析和決策的時(shí)間就所剩無幾了。如何將非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)化成結(jié)構(gòu)化數(shù)據(jù)，對(duì)于公司規(guī)?；咝幚順I(yè)務(wù)問題在人力成本和經(jīng)濟(jì)效率方面都具有重要價(jià)值。

在迪拜國際機(jī)場，每年9000萬旅客過境，預(yù)計(jì)2020年旅客數(shù)量將達(dá)到1億人，目前機(jī)場的兩條跑道已經(jīng)滿負(fù)荷運(yùn)營，要解決客戶滿意度，辦法只有提高跑到使用效率。通常，機(jī)場安檢需要耗時(shí)10分鐘，迪拜機(jī)場通過密集分布的傳感器來初步檢測旅客的“安全等級(jí)”，并根據(jù)檢測級(jí)別分配安檢通道；一年1.5億件行李，每小時(shí)到達(dá)的6000名旅客在行李未到時(shí)，手機(jī)上就會(huì)接收到行李何時(shí)送達(dá)，以及傳送帶提取信息；現(xiàn)在，迪拜機(jī)場提前4小時(shí)就可以預(yù)測到即將有多少乘客到達(dá)。這些改變，來自Splunk系統(tǒng)的部署。迪拜國際機(jī)場安全事務(wù)副總裁Michael Ibbitson表示：“如果使用得當(dāng)，Splunk系統(tǒng)僅在能源上，就能為迪拜機(jī)場每年節(jié)省2500萬美元支出。”

歐洲貨運(yùn)公司DB Cargo在其擁有的2000節(jié)列車車廂內(nèi)安裝了Splunk系統(tǒng)，通過分析結(jié)果預(yù)測列車哪里存在問題，是否需要維修；致力于打擊全球販賣人口的非營利組織Global Emancipation Network使用Splunk系統(tǒng)的分析技術(shù)關(guān)聯(lián)看似不同的電話號(hào)碼數(shù)據(jù)集、廣告信息來發(fā)現(xiàn)販賣團(tuán)伙，實(shí)現(xiàn)快速地收集信息、快速地行動(dòng)。

Splunk總裁兼首席執(zhí)行官Doug Merritt表示：“在眾多的成功案例中，Splunk已經(jīng)幫助非盈利組織使用分析技術(shù)來打擊販賣人口，優(yōu)化交通運(yùn)輸領(lǐng)域的太陽能發(fā)電，加速人道主義和災(zāi)難應(yīng)急響應(yīng)。Splunk的數(shù)據(jù)分析曾幫助了企業(yè)的成長和成功，而現(xiàn)在，Splunk使世界各地的個(gè)人、各種社區(qū)、非盈利組織和教育機(jī)構(gòu)同樣也取得了成功。Splunk與我們的合作伙伴一起，正在利用機(jī)器數(shù)據(jù)來改變世界?！边@些機(jī)器數(shù)據(jù)可以是日志、配置文件、消息和告警等，既可以來自本地，也可以來自云。

在“第八屆Splunk年度大會(huì)conf2017”公布的最新數(shù)據(jù)顯示，在全球財(cái)富100強(qiáng)中有超過85家公司都在使用Splunk，而Splunk在全球的企業(yè)用戶有14000多家。

安全這根“中樞神經(jīng)”

日志分析除了用于運(yùn)維監(jiān)測外，新興的大數(shù)據(jù)安全市場同樣有其用武之地。

在安永最新發(fā)布的第19屆《全球信息安全調(diào)查報(bào)告 》中提到，過去兩年中，有87%的董事會(huì)成員和企業(yè)高管都表示對(duì)其公司層面的網(wǎng)絡(luò)安全缺乏信心；64%的企業(yè)沒有或只有非正規(guī)的威脅情報(bào)計(jì)劃；55%的企業(yè)沒有或只有非正規(guī)的漏洞識(shí)別能力。

“傳統(tǒng)的安全思路，像家里的防盜門，一層層加防護(hù)，但是總有人會(huì)進(jìn)來。后來，我們才會(huì)意識(shí)到，對(duì)于防盜來說，最重要的是監(jiān)視系統(tǒng)，它可以及時(shí)發(fā)現(xiàn)入侵，并發(fā)出警報(bào)?！盨plunk全球安全事業(yè)部總經(jīng)理和公司高級(jí)副總裁宋海燕說，“Splunk認(rèn)為，安全最重要的是可以提供預(yù)測性防護(hù)，及早發(fā)現(xiàn)、及時(shí)解決。”

隨著與外部機(jī)構(gòu)的互聯(lián)不斷增加，企業(yè)生態(tài)也在快速壯大，數(shù)據(jù)交換量與日俱增。Splunk想做的是“安全指揮中心”。Splunk自己不做終端、網(wǎng)絡(luò)、加密，但其客戶會(huì)有此類產(chǎn)品，為了讓客戶對(duì)信息安全情景有一個(gè)全方位的認(rèn)知，Splunk會(huì)將數(shù)據(jù)收集起來，將關(guān)聯(lián)分析的結(jié)果提供給客戶。Splunk能帶給客戶的最大幫助是通過與40多個(gè)合作伙伴的合作，收集各個(gè)方面的數(shù)據(jù)，做出動(dòng)態(tài)性的響應(yīng)，從而及時(shí)預(yù)測漏洞。

“從安全角度看，借數(shù)據(jù)的關(guān)聯(lián)關(guān)系發(fā)現(xiàn)潛在風(fēng)險(xiǎn)屬于業(yè)界前沿；再下一步是機(jī)器基于數(shù)據(jù)訓(xùn)練、學(xué)習(xí)，做出自動(dòng)化的判斷?！卑灿来笾腥A區(qū)風(fēng)險(xiǎn)咨詢服務(wù)高級(jí)經(jīng)理高軼峰表示，“但這些的前提都是建立在足夠數(shù)據(jù)采集量的基礎(chǔ)之上，內(nèi)部的日志收集的全不全，外部的情況是否夠多、夠準(zhǔn)確?！?/p>

盡管在安永的那份報(bào)告中，55%的受訪者表示在接下來的12個(gè)月內(nèi)，其網(wǎng)絡(luò)安全預(yù)算還會(huì)繼續(xù)上浮?？墒?，保障網(wǎng)絡(luò)安全需要的不僅僅是預(yù)算。

安永風(fēng)險(xiǎn)咨詢服務(wù)部合伙人顧卿華表示，與企業(yè)業(yè)務(wù)穩(wěn)定性、合規(guī)性這些最基礎(chǔ)要求有關(guān)的投入是必須要發(fā)生的。

使用 Splunk 可以利用企業(yè)現(xiàn)有的所有系統(tǒng)，包括安全系統(tǒng)，在幾分鐘內(nèi)收集、分析和實(shí)時(shí)獲取數(shù)據(jù)，并從中快速找到系統(tǒng)異常問題和調(diào)查安全事件，監(jiān)視端對(duì)端基礎(chǔ)結(jié)構(gòu)，避免服務(wù)性能降低或中斷，以較低成本滿足合規(guī)性要求，實(shí)現(xiàn)自動(dòng)的SOC（安全運(yùn)營中心），相當(dāng)于為企業(yè)提供了一個(gè)安全研究團(tuán)隊(duì)。endprint

Ai支點(diǎn)可以撬起

什么？

不同于其它大數(shù)據(jù)分析公司，Splunk強(qiáng)調(diào)自己是在收集數(shù)據(jù)的時(shí)候“不建?！?。對(duì)此，Splunk公司IT市場高級(jí)副總裁Rick Fitz解釋道：“我們按照時(shí)間線分類儲(chǔ)存，只是儲(chǔ)存原始數(shù)據(jù)，并沒有增加額外費(fèi)用。研究表明，客戶對(duì)數(shù)據(jù)是按照新舊數(shù)據(jù)來使用，熱數(shù)據(jù)是馬上要處理的，冷數(shù)據(jù)會(huì)放到更便宜的存儲(chǔ)上。冷凍數(shù)據(jù)不到合規(guī)時(shí)一般不會(huì)用。當(dāng)傳感器采集來的新數(shù)據(jù)進(jìn)來，老的數(shù)據(jù)慢慢被淘汰掉，新的數(shù)據(jù)做標(biāo)簽，以備日后提取?！盨plunk將搜集來的機(jī)器數(shù)據(jù)編成索引，并提取企業(yè)原有數(shù)據(jù)進(jìn)行對(duì)比，分析出更有價(jià)值的結(jié)果。

數(shù)據(jù)是一種戰(zhàn)略優(yōu)勢，企業(yè)正在尋找將數(shù)據(jù)轉(zhuǎn)換為答案最快、最有效的方法。Gartner在《2017年度10大戰(zhàn)略技術(shù)發(fā)展趨勢》的報(bào)告中提到，人工智能（AI）和先進(jìn)的機(jī)器學(xué)習(xí)技術(shù)是被廣泛關(guān)注的新興技術(shù)，將在企業(yè)甚至整個(gè)行業(yè)中掀起革命浪潮。它們能夠大幅度降低勞動(dòng)力成本，產(chǎn)生意想不到的新見解，從原始數(shù)據(jù)中發(fā)現(xiàn)新模式，并建立預(yù)測模型。

Splunk首席產(chǎn)品官Richard Campione表示：“機(jī)器學(xué)習(xí)對(duì)于客戶成功和Splunk的發(fā)展都非常重要。我們的無縫集成功能使每個(gè)人都能夠使用機(jī)器學(xué)習(xí)，我們的客戶可以更好地預(yù)測未來結(jié)果，更有效地分析他們的數(shù)據(jù)。隨著任何人都可以使用的機(jī)器學(xué)習(xí)和評(píng)價(jià)指標(biāo)的發(fā)展，Splunk Enterprise 7.0和Splunk Cloud能夠比以往更快速、更容易地提交任務(wù)關(guān)鍵問題的答案?！?/p>

Splunk Enterprise 7.0和Splunk Cloud是在“第八屆Splunk年度大會(huì)conf2017”上最新發(fā)布的Splunk大數(shù)據(jù)分析產(chǎn)品。Splunk公司產(chǎn)品營銷總監(jiān)Jon Rooney表示，利用機(jī)器學(xué)習(xí)，新的系統(tǒng)取消了人工的規(guī)則和配置，通過數(shù)據(jù)訓(xùn)練，可以減少系統(tǒng)警告數(shù)量和宕機(jī)情況的發(fā)生。

評(píng)價(jià)指標(biāo)監(jiān)測和報(bào)警加速了至少20倍，核心搜索技術(shù)經(jīng)過優(yōu)化，速度提高了3倍。采用這些增強(qiáng)措施后，客戶可以使用Splunk平臺(tái)，通過集成由強(qiáng)大的可擴(kuò)展算法支持的機(jī)器學(xué)習(xí)技術(shù)，預(yù)測未來IT、安全和業(yè)務(wù)成果。機(jī)器學(xué)習(xí)技術(shù)的發(fā)展使得用戶能夠?qū)?shù)據(jù)進(jìn)行收集、準(zhǔn)備、轉(zhuǎn)換、探索，以及可視化操作，并發(fā)布數(shù)據(jù)深度分析結(jié)果。

Splunk在亞洲市場看到了很大的機(jī)會(huì)?！拔覀儚陌拇罄麃嗛_始進(jìn)入亞洲，現(xiàn)在來到中國。目前已經(jīng)找到了中國本土的SI合作伙伴，并與OEM結(jié)為合作伙伴。與在全世界一樣，Splunk通過構(gòu)建合作伙伴生態(tài)，讓更多企業(yè)更快地使用Splunk平臺(tái)實(shí)現(xiàn)數(shù)字化轉(zhuǎn)型?！盨plunk公司首席營銷官Brian Goldfarb表示。endprint