如果您的數(shù)據(jù)湖變成了數(shù)據(jù)沼澤，那么是時候采取措施了

John+Dix

與德勤的分析實(shí)踐領(lǐng)導(dǎo)討論常見的分析問題和新的解決方案

編譯 charles

作為Deloitte分析實(shí)踐的領(lǐng)導(dǎo)，Paul Roma指導(dǎo)公司所有業(yè)務(wù)的分析產(chǎn)品，所以他了解公司要應(yīng)對的一系列問題?！毒W(wǎng)絡(luò)世界》總編輯John Dix最近和Roma討論了公司面臨的分析問題（提示：上面提到的沼澤），幫助提取更多價值的工具（認(rèn)知分析和機(jī)器學(xué)習(xí)），還有不斷發(fā)展的執(zhí)行管理角色（標(biāo)題并不重要，重要的是問題歸誰）等很多問題。

客戶通常希望您解決什么問題？他們想要解決一個具體的問題，還是更大的問題，關(guān)鍵的分析問題？

一般而言，我們的工作是要得到具體的業(yè)務(wù)成果。客戶可能希望提高他們的消費(fèi)者凈推廣得分（NPS，Net Promotion Scores），這是對消費(fèi)者與某一公司及其產(chǎn)品的關(guān)系進(jìn)行評分的行業(yè)標(biāo)準(zhǔn)。它之所以稱為凈推廣，因?yàn)樗菃l(fā)式的，把幾個因素綜合在一起，并建立一種方式來判斷您自己。再比如，醫(yī)療機(jī)構(gòu)可能來找我們，幫助他們改進(jìn)某些醫(yī)療保健協(xié)議的結(jié)果，所以我們通常談?wù)摰氖菢I(yè)務(wù)成果。

通過訪談，您發(fā)現(xiàn)公司有他們需要的分析工具，或者他們也在尋找新技術(shù)輸入嗎？

較大的客戶會擁有分析工具。我們到訪的公司中沒有一家是什么都沒有的。問題更多地集中在使用上，而不是數(shù)據(jù)短缺，因?yàn)樗麄冇写罅康臄?shù)據(jù)。現(xiàn)在，經(jīng)過多年的積累，一般都會有匯總起來的數(shù)據(jù)倉庫或者數(shù)據(jù)湖。但是，我已經(jīng)看到數(shù)百萬美元花在了數(shù)據(jù)湖上，實(shí)際成為我所謂的數(shù)據(jù)沼澤。他們花了所有的錢把一切都放在一起，而不對其做任何事情。現(xiàn)在的主要問題是怎樣使用數(shù)據(jù)獲得更好的結(jié)果。

考慮到有這么多的數(shù)據(jù)和許多挖掘數(shù)據(jù)的各種工具，您打算怎樣幫助客戶向前推進(jìn)呢？

我提供三種方法來思考它。首先，如果您是基于結(jié)果，那么您會面對某些問題來解決問題。如果我想改進(jìn)消費(fèi)者關(guān)系，或者如果我想改進(jìn)醫(yī)療保健的結(jié)果，那您至少是基于您想做什么。在分析數(shù)據(jù)時，經(jīng)驗(yàn)會引導(dǎo)您創(chuàng)建某些域，并采取非結(jié)構(gòu)化數(shù)據(jù)湖，開始應(yīng)用結(jié)構(gòu)化邊界。

一旦做好了，您就可以開始使用更高級的工具，例如認(rèn)知分析工具，在數(shù)據(jù)湖上應(yīng)用結(jié)構(gòu)，使用自然語言處理和機(jī)器學(xué)習(xí)，從數(shù)據(jù)中得出推測。

先進(jìn)的技術(shù)已經(jīng)不僅僅是提交報告，然后查看圖表，了解其含義。現(xiàn)在，機(jī)器學(xué)習(xí)實(shí)際上可以創(chuàng)建因果分析，告訴您哪些變量的前提是什么，或者哪些數(shù)據(jù)域?qū)μ囟ńY(jié)果最有影響。例如，在醫(yī)療保健中，機(jī)器能夠說明為什么某一規(guī)程的重新住院率較高。因果分析導(dǎo)致這類分析。

先進(jìn)的技術(shù)可能最能幫助我們?nèi)ダ斫馑袛?shù)據(jù)。沒有先進(jìn)的技術(shù)，就沒有辦法深入分析。沒有工具來深入分析數(shù)據(jù)，只是運(yùn)行報告會產(chǎn)生無盡的紙張，坦率地說，您永遠(yuǎn)不可能讓任何人理解。

我們在很多業(yè)務(wù)中采用了定制的算法——無論是在醫(yī)療保健、供應(yīng)鏈還是客戶營銷上，還采用了機(jī)器學(xué)習(xí)算法和監(jiān)督學(xué)習(xí)周期工具，我們可以針對他們的數(shù)據(jù)運(yùn)行這些工具，得出推測，您可以憑借經(jīng)驗(yàn)來研究這些推測。

有趣。這些算法適用于縱向市場，建立這些算法有沒有一個共同的基礎(chǔ)？

我們有水平和縱向市場?？v向市場調(diào)整到制造業(yè)中的供應(yīng)鏈或者消費(fèi)品中的供應(yīng)鏈，以及生命科學(xué)領(lǐng)域的治療方案等市場，而水平市場始終不變。（后者的一個例子）是我們獲得專利的稀疏矩陣完成算法。如果某一特定問題的數(shù)據(jù)湖并不足以滿足您需要的所有變量，它運(yùn)行預(yù)測算法來填充它，并創(chuàng)建關(guān)于趨勢的假設(shè)。我們按照與大型醫(yī)療保健公司的糖尿病協(xié)議來運(yùn)行它，準(zhǔn)確性達(dá)到93%，我們可以推測出誰不符合他們的糖尿病協(xié)議，而且并不需要與其相關(guān)的任何合規(guī)數(shù)據(jù)。

這意味著您可以推測出誰沒有做自己應(yīng)該做的事情？

是的。例如，有人沒有稱重，有人沒有做運(yùn)動。它不能準(zhǔn)確預(yù)測他們沒有做什么，因?yàn)槲覀儎倓傞_始，但它可以預(yù)測誰不合規(guī)。我們希望將其準(zhǔn)確度提高到90以上，然后我們將能夠?qū)彶檎麄€醫(yī)院系統(tǒng)，因?yàn)樵谶@一點(diǎn)上變得可以預(yù)測。在出現(xiàn)合規(guī)問題之前，您可以看到趨勢得分。這個人有可能不合規(guī)，然后您可以讓護(hù)士給他打電話，問他，您吃胰島素的時候遇到麻煩了嗎？您沒有做運(yùn)動是有什么原因嗎？您沒有去看醫(yī)生，是因?yàn)槟塑囉龅絾栴}了嗎？您可以開始尋找治療方案中的具體問題，以嘗試提供幫助。

這是您合同結(jié)束后留下的嗎？

過去四年里，德勤已經(jīng)成為產(chǎn)品和軟件提供商。這是我以前努力的結(jié)果，為我們的公司開發(fā)出產(chǎn)品和解決方案，所以我對此非常熟悉。我們現(xiàn)在提供軟件即服務(wù)產(chǎn)品，如果您愿意，我們會留下安裝解決方案。我們都能做到。這不過只是涉及到我們要解決哪個問題——哪個是最有意義的，哪個是最經(jīng)濟(jì)的。

這類分析的促因來自于企業(yè)內(nèi)部？

我認(rèn)為最強(qiáng)的促因來自于業(yè)務(wù)部門，而不是董事會。我們?yōu)楣芾砣藛T提供了很多工具，但通常您從業(yè)務(wù)主管開始，成功后，業(yè)務(wù)主管將其呈現(xiàn)給CEO和董事會，它變得更受歡迎，通常再應(yīng)用到下一個業(yè)務(wù)部門。

我和一家金融公司的首席數(shù)據(jù)官談過話，他告訴我，當(dāng)他們開始一些大數(shù)據(jù)工作時，他們必須對關(guān)鍵客戶數(shù)據(jù)的一系列差異進(jìn)行協(xié)調(diào)。這對于很多企業(yè)而言是不是很典型？

是的。老實(shí)說，管理好數(shù)據(jù)似乎永遠(yuǎn)有問題。用于管理數(shù)據(jù)的工具變得越來越好，但是數(shù)據(jù)產(chǎn)生的速度太快，超過了工具的能力所及。這是一個非常典型的問題，是一個關(guān)鍵的方向性問題。它幾乎成為每個問題的核心。

對于首席數(shù)據(jù)官——首先出現(xiàn)在金融領(lǐng)域的職務(wù)，但似乎更多的行業(yè)也出現(xiàn)了這一職務(wù)。隨著對分析的重視程度的提高，您會看到有新角色出現(xiàn)嗎？

絕對有。在某些企業(yè)中，首席營銷官就是首席數(shù)據(jù)官。在其他企業(yè)中，首席數(shù)字官是擁有數(shù)據(jù)的人。我們首先要理解的第一件事是，誰擁有它，在哪一級別擁有的，什么級別的管理層真正的擁有數(shù)據(jù)。我們不需要鼓勵每家企業(yè)都有CDO。我們鼓勵的是數(shù)據(jù)適當(dāng)?shù)乃袡?quán)和管理權(quán)，這樣可以優(yōu)先處理數(shù)據(jù)。

大多數(shù)客戶解決這種所有權(quán)問題了嗎？

一半一半。我要說的是，有一半的情況是，公司正處在這一過程中，他們會有一個路線圖，其中會說明要通過哪些方式來提高數(shù)據(jù)安全性，通過哪些方式來改進(jìn)先進(jìn)的分析方法，他們會討論如何讓客戶更好的掌握數(shù)據(jù)。

另一半在各方面還沒有路線圖，在這些情況下，我們通常建議把很多這類計(jì)劃放到一起，從供應(yīng)鏈到營銷、制造、金融等等，都可以努力得出更好的業(yè)務(wù)結(jié)果。把計(jì)劃放在一起，組織起來使用會更劃算。

談點(diǎn)別的，這些新的物聯(lián)網(wǎng)投入有沒有帶來其他的大數(shù)據(jù)問題，沒有嗎？您看到了什么？

我們現(xiàn)在有相當(dāng)大的物聯(lián)網(wǎng)實(shí)際應(yīng)用，需求迅速攀升。從它是一個數(shù)據(jù)問題來說，我們參與其中是因?yàn)槟承┏晒呗源嬖趩栴}，因?yàn)槲锫?lián)網(wǎng)項(xiàng)目通常比較昂貴而且耗時，很少有進(jìn)展很快的項(xiàng)目。在過去的3到5年里，我們看到公司不斷投入，并沒有得到他們想要的回報?，F(xiàn)而在的技術(shù)便宜得多，更好用。從我們的角度來看，我們認(rèn)為它現(xiàn)在已經(jīng)準(zhǔn)備就緒了，取決于使用情況，我們看到了需求，有的正在實(shí)施，實(shí)現(xiàn)了投資回報。

還有沒有任何其他重要的事情，我在這里沒有想到的，但卻急于解決的？

我們沒有談到的一個趨勢是認(rèn)知。您如何構(gòu)建直觀的系統(tǒng)，我可以采用它，開始像我們一樣思考，開始理解口語，開始理解圖像和圖片？

谷歌預(yù)測，在未來三年內(nèi)，超過50%的搜索是以音頻、圖片和視頻的形式出現(xiàn)的。讓我說的話，他們錯了一年。讓我說應(yīng)該是四年。這種變化仍然非常大，將滲透到業(yè)務(wù)，滲透到我們的流程，滲透到應(yīng)用程序中。

我們的企業(yè)系統(tǒng)解釋口語和非結(jié)構(gòu)化數(shù)據(jù)的能力以及以這些方式與我們互動的能力正在快速發(fā)展。我們有很多這方面的項(xiàng)目。它是很多行業(yè)中巨大的投資領(lǐng)域。

具體而言？

第一是醫(yī)療保健，其次是金融服務(wù)。但所有行業(yè)都會有投入，包括酒店和休閑業(yè)，這是因?yàn)橄M(fèi)者的參與。由于客戶的參與，酒店業(yè)一直是消費(fèi)品的巨大用戶。我會說，您參與的程度越高，這些技術(shù)對您的幫助越大。

醫(yī)療保健領(lǐng)域有什么例子？

一個很好的例子，我們采用了其中的幾個，使用認(rèn)知技術(shù)建立一個實(shí)際案例，獲取電子病歷、藥房處方記錄、家族病史和健康風(fēng)險評估，并在入戶之前為醫(yī)生編輯好這些內(nèi)容，突出顯示它們，“您需要看看這部分血液差異（這基本上是一次血液測試），因?yàn)長DL超出范圍，大細(xì)胞是有問題的”，開始實(shí)際分析并提供建議。

然后醫(yī)生可以反問：“你能給我推薦藥物嗎？”它會給出建議——“我會推薦這種藥物，但不會使用這個，因?yàn)榧彝ゲ∈酚蠿類型過敏反應(yīng)，因此這種藥物禁止使用?！?/p>

機(jī)器可以在實(shí)時對話中給您提出這些建議。機(jī)器建立了一個認(rèn)知鏈，允許您進(jìn)行各種對話，它學(xué)會如何跟隨醫(yī)生，推斷他們會問什么問題。第一次使用它時，它并不會去查看所有藥房處方，提出建議。但是當(dāng)醫(yī)生每次都問時，它會將其添加到告訴醫(yī)生的第一件事情中，隨后它會做到這一點(diǎn)。沒有任何人編寫軟件，系統(tǒng)開始變得更聰明。您訓(xùn)練它而不是開發(fā)它。坦率地說，這一趨勢顛覆了我們的參與方式，也顛覆了我們的開發(fā)方式，以及我們考慮系統(tǒng)及其應(yīng)用的方式。

（作者John Dix最早是在IDC從事網(wǎng)絡(luò)和分布式處理開發(fā)，1986年幫助創(chuàng)刊《網(wǎng)絡(luò)世界》，隨后就職于《計(jì)算機(jī)世界》。）

原文網(wǎng)址：

http：//www.networkworld.com/article/3159555/big-data-business-intelligence/if-your-data-lake-turned-into-a-data-swamp-it-might-be-time-to-take-the-next-step.htmll