不存在沒有價值的數(shù)據(jù)

C=CBNweekly M=Doug Merritt

企業(yè)越發(fā)看重對商業(yè)數(shù)據(jù)的分析，開始接受以云、大數(shù)據(jù)得到分析即服務(wù)的模式，但企業(yè)面對眾多數(shù)據(jù)時不知道自己想要什么，或者自己想要的能否從海量數(shù)據(jù)中獲得。因?yàn)槿狈ν诰驍?shù)據(jù)價值的能力，相當(dāng)多的數(shù)據(jù)即便被生產(chǎn)、收集，還是白白浪費(fèi)掉了。在Splunk總裁兼CEO Doug Merritt看來，如何利用這些數(shù)據(jù)，從中提取價值，才是企業(yè)要關(guān)心的問題。

C：數(shù)據(jù)行業(yè)面臨最緊要的問題是什么？

M：一家IT公司有著眾多數(shù)據(jù)，它們來自服務(wù)器、防火墻、網(wǎng)絡(luò)以及移動App等產(chǎn)生的各種機(jī)器數(shù)據(jù)，但它們要么是非結(jié)構(gòu)化的、要么結(jié)構(gòu)化程度非常低。非結(jié)構(gòu)數(shù)據(jù)的數(shù)量在極度膨脹，且種類越來越多，隨著IoT物聯(lián)網(wǎng)的發(fā)展，又增加了許多新的來源。這個行業(yè)遇到的一個挑戰(zhàn)是，需要在海量數(shù)據(jù)中提取結(jié)構(gòu)以及意義。最被關(guān)心的是，如何從數(shù)據(jù)中獲取價值，獲取深度分析，獲取行動力以及智能?，F(xiàn)在有很多數(shù)據(jù)集，卻沒有產(chǎn)生價值。很多公司沒辦法理解海量數(shù)據(jù)。在全球范圍內(nèi)，用戶對于私有云和公有云有著明確區(qū)分。75%的數(shù)據(jù)在自己的防火墻內(nèi)，是第三方看不見的，其余25%是分享的。大部分人還是不愿意分享他們主要的數(shù)據(jù)。大家都想把控所有的數(shù)據(jù)，如何以一種經(jīng)濟(jì)上可以承受的方式，建立合理的流程來存儲所有數(shù)據(jù)是另一個挑戰(zhàn)。

C：那么如何在海量數(shù)據(jù)中獲得價值呢？

M：沒有意義和價值的數(shù)據(jù)是不存在的。我們會從別人覺得沒有用的垃圾數(shù)據(jù)中尋找價值。舉例來說，很多人認(rèn)為日志文件（記錄在軟硬件運(yùn)行時發(fā)生的事件的文件）是一種沒有用的數(shù)據(jù)，倘若我們能從中提取意義，就可以解決很多有意思的問題。比如按日志文件回溯，解決IT運(yùn)營系統(tǒng)中宕機(jī)時間的問題，讓IT系統(tǒng)保持穩(wěn)定和良好的性能。對企業(yè)而言，想要成功，需要的不止是平臺，而是解決方案。所以我們的出發(fā)點(diǎn)要非常窄。譬如解決生產(chǎn)中的問題，就一定要實(shí)時地上傳數(shù)據(jù)，這樣才能及時作出判斷。

C：如何理解你所說的“以一種經(jīng)濟(jì)上可以承受的方 式”？

M：一般來說，就是有效地計算存儲數(shù)據(jù)，以提升存儲、處理數(shù)據(jù)的能力。無論結(jié)構(gòu)化數(shù)據(jù)還是非結(jié)構(gòu)化數(shù)據(jù)，隨著時間不斷增長，其價值也隨之改變，因此有熱數(shù)據(jù)、溫數(shù)據(jù)和冷數(shù)據(jù)之分。熱數(shù)據(jù)對企業(yè)非常重要，可以幫助決策、獲取洞見，其價值主要是在7天以內(nèi)，發(fā)現(xiàn)安全或生產(chǎn)線上的問題。7天之后，數(shù)據(jù)會慢慢“冷卻”，主要用于分析，不再立即應(yīng)用在運(yùn)營上。我們會把變溫變冷的數(shù)據(jù)，轉(zhuǎn)移到下一個數(shù)據(jù)層級，往后面走的層級，對于性能要求沒有那么高，數(shù)據(jù)存儲成本也會更低。也就是說不要貪心，而是要把數(shù)據(jù)做價值區(qū)分，這對所有的行業(yè)都適用。

C：商業(yè)數(shù)據(jù)分析會產(chǎn)生無數(shù)細(xì)分領(lǐng)域的公司，還是有一個包羅萬象的巨無霸公司？

M：會是一個生態(tài)系統(tǒng)。遵循這樣一個策略，即幫助公司解決具體的問題，提供解決方案，比如個人識別信息，可能有一些公司專門做這樣的應(yīng)用，同時數(shù)據(jù)平臺的擴(kuò)展性會越來越好，而且使用便利。以我們的平臺為例，就已經(jīng)有1500多個解決方案，對接全球各家公司。

C：在數(shù)據(jù)挖掘領(lǐng)域，人工智能、深度學(xué)習(xí)會有哪些作用？

M：數(shù)據(jù)領(lǐng)域正在真正走向機(jī)器學(xué)習(xí)、人工智能以及深度學(xué)習(xí)這3個非常重要的領(lǐng)域。已經(jīng)有一些可視化的機(jī)器學(xué)習(xí)工具包投入使用，用戶通過拖拽、點(diǎn)擊就能夠完成數(shù)據(jù)操作。機(jī)器學(xué)習(xí)更是嵌入數(shù)據(jù)挖掘工具本身，讓這些應(yīng)用可以有更高的有效性。比如，用一款數(shù)據(jù)安全產(chǎn)品甄別不好的用戶行為，就可以通過機(jī)器學(xué)習(xí)來做?？梢酝ㄟ^尋找規(guī)律來甄別安全威脅是來自于內(nèi)部，還是來自于外部，這些都可以基于機(jī)器學(xué)習(xí)來完成。（采訪：高松）