Samuel Greengard
通常,企業(yè)里面到處都充斥著數(shù)據(jù)。事實(shí)上各行各業(yè)的數(shù)據(jù)量均經(jīng)歷了幾何級(jí)數(shù)的增長(zhǎng),無(wú)論是醫(yī)療衛(wèi)生還是金融,抑或是零售業(yè)還是制造業(yè)。
在此類海量數(shù)據(jù)庫(kù)中,隱藏著無(wú)數(shù)商業(yè)秘密,也孕育著很多機(jī)遇以及潛在的成功,但將這些信息(除了由媒體和視頻生成的非結(jié)構(gòu)化信息之外,還包括歷史數(shù)據(jù))利用起來(lái)卻是一項(xiàng)令人望而生畏的工程。
“許多組織會(huì)累積30 年或30 年以上的交易數(shù)據(jù),此外還有大量多媒體數(shù)據(jù)?!卑I茏稍児臼紫夹g(shù)策略官兼總經(jīng)理柯蒂斯(Gary Curtis)說(shuō),“綜合所有信息并理出頭緒是企業(yè)在數(shù)碼時(shí)代面臨的挑戰(zhàn)。目前很少有組織能夠充分發(fā)揮其數(shù)據(jù)的潛力?!?/p>
不可否認(rèn)的是,這是一項(xiàng)艱巨的挑戰(zhàn)。Corporate Executive Board 咨詢公司在對(duì)5000 家公司進(jìn)行了一項(xiàng)研究后發(fā)現(xiàn),盡管對(duì)數(shù)據(jù)進(jìn)行分析并獲得有效信息的能力已成為全球各組織的頭等大事,但是真正在這方面取得顯著成績(jī)的公司并不多見。
根據(jù)CEB 的研究結(jié)果,僅有38% 的員工和50% 的高級(jí)經(jīng)理有能力根據(jù)數(shù)據(jù)進(jìn)行合理決策。在許多組織中,最大的風(fēng)險(xiǎn)來(lái)自過(guò)度分析。超過(guò)40% 的員工更愿意相信分析結(jié)果而非自己的判斷力,只有近20% 的員工會(huì)依直覺行事。
CEB 認(rèn)為,有能力做出優(yōu)秀決策的員工——“知情懷疑論者”能夠有效地在直覺判斷力與分析結(jié)果之間取得平衡。這些人擁有強(qiáng)大的分析技能,并且肯傾聽他人對(duì)于分析結(jié)果的意見,同時(shí)他們也敢于發(fā)表不同意見。
在今天這樣一個(gè)數(shù)字驅(qū)動(dòng)的大環(huán)境下,企業(yè)必須能夠制定周密計(jì)劃并且實(shí)施可行的解決方案以管理大數(shù)據(jù)?!斑@是無(wú)法回避的—數(shù)據(jù)涉及各行各業(yè)?!庇《人稍兎?wù)公司(Tata Consultancy Services)的全球顧問(wèn)實(shí)踐信息管理總監(jiān)維斯瓦納桑(Kalyan Viswanathan)強(qiáng)調(diào)說(shuō),“大數(shù)據(jù)正在改變業(yè)務(wù),并且創(chuàng)造新的風(fēng)險(xiǎn)以及機(jī)遇。明智的組織都在尋找對(duì)其進(jìn)行有效利用的方式?!?/p>
新時(shí)代的數(shù)據(jù)管理
從計(jì)算機(jī)應(yīng)用誕生之日起,各公司就一直在尋找對(duì)不斷增長(zhǎng)的數(shù)據(jù)加以管理和利用的方法。包含更多信息和更多關(guān)聯(lián)點(diǎn)的大數(shù)據(jù)正處在這一潮流的核心。據(jù)麥肯錫咨詢公司估計(jì),普通大型企業(yè)目前儲(chǔ)存的數(shù)據(jù)量已達(dá)到200TB。
各公司必須設(shè)法處理急速增長(zhǎng)的非系統(tǒng)化數(shù)據(jù),傳統(tǒng)數(shù)據(jù)庫(kù)或數(shù)據(jù)倉(cāng)庫(kù)并不適合管理這類數(shù)據(jù)。埃森哲的柯蒂斯表示,“公司在過(guò)去數(shù)年間,數(shù)據(jù)來(lái)源的種類變得極為繁多?!?/p>
大數(shù)據(jù)可釋放數(shù)據(jù)背后潛藏的價(jià)值。它能讓數(shù)據(jù)更加透明,更多地被應(yīng)用于日常業(yè)務(wù);它能借助更多更廣泛的數(shù)據(jù)組給企業(yè)提供諸多洞見;它能創(chuàng)建更多的細(xì)分市場(chǎng),以便公司制定更具針對(duì)性的營(yíng)銷活動(dòng)和銷售技巧;它能幫助公司匯總所有信息,設(shè)計(jì)出本來(lái)可能會(huì)被忽略的新產(chǎn)品和服務(wù)。有效運(yùn)用大數(shù)據(jù)的組織往往能夠獲得顯著的競(jìng)爭(zhēng)優(yōu)勢(shì),并挖掘出新的商機(jī)。
但是處理大數(shù)據(jù)并不等于只是安裝一套系統(tǒng),然后就能自動(dòng)獲得結(jié)果。企業(yè)需要使用正確的技術(shù)和工具,制定合適的工作流程和政策,物色善于使用分析法和預(yù)測(cè)分析軟件的人才,從而打造產(chǎn)品和服務(wù)以滿足瞬息萬(wàn)變的市場(chǎng)需求。
“大數(shù)據(jù)的處理需要企業(yè)在數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)整合、商業(yè)智能、數(shù)據(jù)可視化工具、商業(yè)分析法和預(yù)測(cè)建模上大量投入?!彼稍兊木S斯瓦納桑如是說(shuō),“此外還需要應(yīng)用運(yùn)算法則從而能夠發(fā)現(xiàn)其中的各種規(guī)律、關(guān)聯(lián)和關(guān)系。”
向先驅(qū)公司學(xué)習(xí)
互聯(lián)網(wǎng)零售商和服務(wù)供應(yīng)商亞馬遜(Amazon)是在管理大數(shù)據(jù)方面處于領(lǐng)先的公司之一。很顯然,公司面對(duì)無(wú)窮龐大的數(shù)據(jù)量,非常需要利用這些數(shù)據(jù)去了解客戶行為,改善運(yùn)營(yíng)質(zhì)量和成本,推出創(chuàng)新性的產(chǎn)品功能,并最終提高公司收益。
亞馬遜Elastic Map Reduce(EMR)計(jì)劃的總經(jīng)理西羅塔(PeterSirota)表示,亞馬遜依靠其可擴(kuò)展的環(huán)境(包括云資源),只需數(shù)分鐘或數(shù)小時(shí)(而非數(shù)天或數(shù)周)即可得出結(jié)論和答案。
“Amazon.com 采用多種數(shù)據(jù)源,包括來(lái)自多個(gè)應(yīng)用服務(wù)器上的非結(jié)構(gòu)化或者半結(jié)構(gòu)化的記錄文件,以及來(lái)自多種數(shù)據(jù)庫(kù)系統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)?!蔽髁_塔說(shuō)。這一環(huán)境同樣也允許亞馬遜及其客戶“存儲(chǔ)和處理各種類型的數(shù)據(jù),包括圖像、視頻、DNA 序列和天氣傳感器數(shù)據(jù)以及從第三方來(lái)源(例如Twitter 、Facebook 和Salesforce)采集的數(shù)據(jù),以更妥善地管理產(chǎn)品數(shù)據(jù)庫(kù),并且分析有助于提高運(yùn)營(yíng)業(yè)績(jī)的指標(biāo)”。
這家觸角遍及全球的在線巨頭依靠開源的Apache Hadoop 進(jìn)行分布式處理(包括非結(jié)構(gòu)化數(shù)據(jù))。
此外,關(guān)系型數(shù)據(jù)庫(kù)管理系統(tǒng)(RDBMS)能夠讓亞馬遜制作各種報(bào)告,并針對(duì)既定的問(wèn)題對(duì)結(jié)構(gòu)化數(shù)據(jù)進(jìn)行優(yōu)化查詢。
“Hadoop 和RDBMS 是互補(bǔ)性的技術(shù)?!蔽髁_塔說(shuō)。此外,通過(guò)亞馬遜的簡(jiǎn)單存儲(chǔ)服務(wù)(Amazon S3)存儲(chǔ)超大量的數(shù)據(jù),再加上內(nèi)嵌的數(shù)據(jù)處理、分析和搜索工具,亞馬遜為其內(nèi)部運(yùn)營(yíng)和使用其服務(wù)的外圍公司改寫了大數(shù)據(jù)技術(shù)的應(yīng)用領(lǐng)域。
西羅塔指出,云技術(shù)大大改變了大數(shù)據(jù)技術(shù)的應(yīng)用前景?!澳憧梢愿斓貜臄?shù)據(jù)中得出有用的結(jié)果,而所付出的成本是如此之低,這讓傳統(tǒng)技術(shù)望塵莫及?!彼f(shuō)道。
“云技術(shù)提供了即時(shí)擴(kuò)展性和彈性。該技術(shù)能讓你更快地就所關(guān)注的數(shù)據(jù)問(wèn)題提出疑問(wèn),并迅速獲得有意義的解答。定期、全面地對(duì)大數(shù)據(jù)進(jìn)行分析將有可能轉(zhuǎn)變你與客戶互動(dòng)并做出反應(yīng)的方式?!?/p>
重新設(shè)計(jì)業(yè)務(wù)模式
越來(lái)越多的公司和政府機(jī)構(gòu)正轉(zhuǎn)而采用大數(shù)據(jù)技術(shù)來(lái)重新設(shè)計(jì)其業(yè)務(wù)模式。塔塔咨詢的維斯瓦納桑表示,廣告商正從堆積如山的數(shù)據(jù)中篩選出有效信息,以便更透徹地認(rèn)識(shí)顧客的購(gòu)買行為以及提升業(yè)績(jī)的方式。零售商則綜合客戶行為、心理圖表和客戶生命周期事件以創(chuàng)建更精確的檔案。
金融服務(wù)公司在多種數(shù)據(jù)點(diǎn)之間找到關(guān)聯(lián),以便推出新服務(wù)和更有效地銷售現(xiàn)有服務(wù)。醫(yī)療衛(wèi)生服務(wù)的提供商則使用大數(shù)據(jù)技術(shù)改善業(yè)績(jī)和成本結(jié)構(gòu)。
在已經(jīng)接納該概念的公司中包括風(fēng)能技術(shù)企業(yè)維斯塔斯(Vestas Wind Systems) 。這家來(lái)自丹麥蘭訥斯的公司在全球67 個(gè)國(guó)家和地區(qū)部署了44000 多個(gè)渦輪發(fā)電機(jī),它使用大量數(shù)據(jù)集以便更好地發(fā)現(xiàn)在哪里安放渦輪發(fā)電機(jī)才能達(dá)到最佳效果。
據(jù)維斯塔斯負(fù)責(zé)工廠選址和預(yù)測(cè)的副總裁克里斯滕森(Lars Christian Christensen)說(shuō),他們分析了178 個(gè)參數(shù),包括云量、濕度、太陽(yáng)輻射、衛(wèi)星圖像、毀林圖和大氣壓。除此之外,研究人員還必須以小時(shí)為單位查看過(guò)去12 年間的參數(shù)?!澳鞘且粋€(gè)巨大的多維信息體系。”他說(shuō)。
維斯塔斯采用了IBM 提供的大數(shù)據(jù)分析系統(tǒng)來(lái)解析數(shù)據(jù)庫(kù),該數(shù)據(jù)庫(kù)存儲(chǔ)的數(shù)據(jù)量預(yù)期將在四年之內(nèi)突破20PB。以前,分析師可能要花數(shù)周時(shí)間,消耗大量資源才能梳理完這些堆積如山的數(shù)據(jù)。
如今,維斯塔斯擁有了一臺(tái)名為Firestorm 的超級(jí)計(jì)算機(jī),它由1222 臺(tái)工作負(fù)載優(yōu)化的System x iDataPlex 聯(lián)機(jī)服務(wù)器組成,公司便在Firestorm 上運(yùn)行IBM BigInsights 軟件。這臺(tái)超級(jí)計(jì)算機(jī)每秒可進(jìn)行150 萬(wàn)億次運(yùn)算,不到一個(gè)小時(shí)就能通過(guò)對(duì)數(shù)據(jù)組的分析確定安放渦輪發(fā)電機(jī)的最佳地點(diǎn)。
“我們能夠更快地向客戶提供答案,以更有效地幫助他們進(jìn)行決策并制定創(chuàng)收方案?!?克里斯滕森說(shuō), “該系統(tǒng)大大降低了規(guī)劃流程的復(fù)雜度。我們處理數(shù)據(jù)的方式和整個(gè)分析流程都發(fā)生了變化?!?/p>
應(yīng)對(duì)獨(dú)特挑戰(zhàn)
埃森哲的柯蒂斯指出,大數(shù)據(jù)給企業(yè)帶來(lái)了一些獨(dú)特的挑戰(zhàn)。舉例來(lái)說(shuō),企業(yè)必須決定如何將多種不同的數(shù)據(jù)集聯(lián)系在一起從而獲得新的認(rèn)識(shí)。這需要分析師和業(yè)務(wù)專家發(fā)揮創(chuàng)造性思維。
另一方面,組織必須采集不同形式的非結(jié)構(gòu)化數(shù)據(jù),包括視頻片段、音頻文件和媒體源。“必須有一種方式找到這些文件,了解它們提供了哪些數(shù)據(jù),以及如何對(duì)這些數(shù)據(jù)進(jìn)行有效利用。”柯蒂斯說(shuō)。盡管與之相關(guān)的技術(shù)已經(jīng)存在——其中包括元數(shù)據(jù)的應(yīng)用——不過(guò)這一領(lǐng)域仍在不斷發(fā)展演變。
企業(yè)還必須解決數(shù)據(jù)管理方面的問(wèn)題,尤其是哪些業(yè)務(wù)部門應(yīng)當(dāng)擁有和管理數(shù)據(jù)以及誰(shuí)有權(quán)獲取數(shù)據(jù)。旗下有不同業(yè)務(wù)部門(例如零售銀行、商業(yè)銀行、理財(cái)、經(jīng)紀(jì)和其他服務(wù))的金融公司更容易遇到這方面的挑戰(zhàn)。
在某些情況下,要進(jìn)行清楚地劃分會(huì)不太容易,因?yàn)閿?shù)據(jù)可能存在于某個(gè)業(yè)務(wù)合作伙伴或服務(wù)提供商運(yùn)營(yíng)的服務(wù)器上?!瓣P(guān)鍵是數(shù)據(jù)要得到有效管理,并得到很好的保存?!笨碌偎拐f(shuō),“數(shù)據(jù)管理問(wèn)題必須得到解決?!?/p>
整合社交媒體
公司也在尋求將社交媒體整合到大數(shù)據(jù)模型中。位于意大利米蘭的互聯(lián)網(wǎng)在線商業(yè)服務(wù)提供商Matrix 主要幫助各類公司制定數(shù)字化戰(zhàn)略,以用于品牌塑造和形象管理。其客戶從汽車制造商到餐廳都有。
Matrix 銷售總監(jiān)派特萊拉(Alessandro Petrella)表示,使用SAS Content Categorization 和SAS Text Miner 后,公司能夠精密監(jiān)控和分析網(wǎng)絡(luò)信息、社交媒體交流和其他活動(dòng)。Matrix 不斷從500 多個(gè)新聞源和在線來(lái)源采集數(shù)據(jù),并將信息輸入Netezza 數(shù)據(jù)庫(kù)。公司隨后將數(shù)據(jù)輸入SAS 軟件,借助標(biāo)準(zhǔn)的業(yè)務(wù)分類法對(duì)其進(jìn)行清理和歸類。它還對(duì)其運(yùn)算規(guī)則進(jìn)行不斷改進(jìn),并定期加入新的數(shù)據(jù)元素。
該數(shù)據(jù)庫(kù)的總量目前已超過(guò)2TB ,它也越來(lái)越能夠有效地了解公眾對(duì)一個(gè)公司的認(rèn)知和看法。派特萊拉說(shuō),“我們有能力高速且有效地處理數(shù)據(jù)。”
根據(jù)Ovum 咨詢公司針對(duì)企業(yè)高管進(jìn)行的一份最新調(diào)查,多達(dá)三分之二的受訪者提到,利用大數(shù)據(jù)技術(shù)最重要的商業(yè)收益體現(xiàn)在運(yùn)營(yíng)和戰(zhàn)略決策流程的改善,以及客戶服務(wù)的改善。該調(diào)查還得出了同樣重要的的另一個(gè)發(fā)現(xiàn):現(xiàn)在對(duì)大數(shù)據(jù)技術(shù)有興趣的已經(jīng)不只是大企業(yè)。Ovum 發(fā)現(xiàn),在數(shù)據(jù)倉(cāng)庫(kù)容量達(dá)到1TB 甚至更大規(guī)模的公司中,有38% 的公司的年收入低于5 000 萬(wàn)美元。
Ovum 預(yù)測(cè),由于各組織都在不斷尋求更好的辦法去分析客戶細(xì)分市場(chǎng),防止客戶流失,管理公共交通網(wǎng)絡(luò)和處理大量其他的任務(wù),在未來(lái)兩年內(nèi)對(duì)大數(shù)據(jù)的需求將變得更普遍。
埃森哲的柯蒂斯表示,所有組織(尤其是IT 部門)必須了解大數(shù)據(jù)的運(yùn)作規(guī)律,然后制定出未來(lái)利用和管理此類數(shù)據(jù)的清晰戰(zhàn)略。他建議以亞馬遜、谷歌和雅虎這些公司為模型建立數(shù)據(jù)戰(zhàn)略。這些公司擁有世界上最大的數(shù)據(jù)中心,從它們那里可以“窺探未來(lái)計(jì)算技術(shù)的前景”。
柯蒂斯還建議技術(shù)部門和業(yè)務(wù)部門的領(lǐng)導(dǎo)者進(jìn)行合作,對(duì)大數(shù)據(jù)技術(shù)獲得全面的認(rèn)知?!斑@里必然存在一個(gè)相互學(xué)習(xí)的過(guò)程,”他指出,“要推動(dòng)一個(gè)大數(shù)據(jù)項(xiàng)目,他們必須一起協(xié)作。”
塔塔咨詢的維斯瓦納桑表示,盡管大數(shù)據(jù)技術(shù)還處于早期發(fā)展階段,但是它必將成為長(zhǎng)遠(yuǎn)的趨勢(shì)?!半S著消費(fèi)者轉(zhuǎn)而使用智能手機(jī)、平板電腦以及其他數(shù)字化設(shè)備,各公司累積的數(shù)據(jù)將越來(lái)越多。引入大數(shù)據(jù)技術(shù)并加以有效運(yùn)用的公司將獲得更明顯的競(jìng)爭(zhēng)優(yōu)勢(shì),與幾年前不同,它們現(xiàn)在能夠更好地認(rèn)識(shí)問(wèn)題、把握趨勢(shì)?!保ū疚霓D(zhuǎn)自《世界經(jīng)理人》,秦嶺譯。作者Samuel Greengard 為Baseline 特約的自由作家)