現(xiàn)代企業(yè)數(shù)據(jù)戰(zhàn)略所需的5種技術(shù)能力

Isaac Sacolick Charles

要成為數(shù)據(jù)驅(qū)動型的企業(yè)，應不斷追求卓越。這并不簡單，但也不應該讓人望而生畏。

與今天相比，10年前建立數(shù)據(jù)戰(zhàn)略要相對容易一些。那時，數(shù)據(jù)庫專家們爭論著甲骨文、微軟和IBM關(guān)系數(shù)據(jù)庫的功能和性能，還針對是否使用MySQL和PostgresSQL等開源數(shù)據(jù)庫展開了辯論。少數(shù)企業(yè)研究了NoSQL數(shù)據(jù)庫，這包括來自MarkLogic、MongoDB和Apache Cassandra等公司的文檔存儲、鍵值數(shù)據(jù)庫和列式數(shù)據(jù)庫等技術(shù)。在企業(yè)系統(tǒng)之間移動大量數(shù)據(jù)的企業(yè)投資于ETL（提取、轉(zhuǎn)換和加載）平臺，而少數(shù)企業(yè)則投資于數(shù)據(jù)質(zhì)量或者主數(shù)據(jù)管理解決方案。

而發(fā)展到今天，首席信息官認識到數(shù)據(jù)和信息是21世紀的真正寶庫。擁有多樣化的數(shù)據(jù)管理選擇、可靠的數(shù)據(jù)操作實踐、主動數(shù)據(jù)治理、高級分析、公民數(shù)據(jù)科學計劃和成熟的機器學習能力等，都是實現(xiàn)具有競爭力和差異化的業(yè)務能力所必需的。

縮小數(shù)據(jù)戰(zhàn)略與執(zhí)行之間的差距

前不久，我參加了在紐約舉行的Strata數(shù)據(jù)大會，想要了解一下首席信息官們在制定和執(zhí)行全面數(shù)據(jù)戰(zhàn)略時所面臨的新機遇、趨勢和挑戰(zhàn)。

在開幕式的主題演講中，Cloudera公司的首席營銷官Mark Hollison引用了《哈佛商業(yè)評論》最近進行的一項研究，非常清楚地證明了這些挑戰(zhàn)。這項研究的一個關(guān)鍵發(fā)現(xiàn)是，“69%的受訪者說，他們的企業(yè)需要全面的數(shù)據(jù)戰(zhàn)略，以便在未來3年內(nèi)實現(xiàn)其戰(zhàn)略目標，而只有35%的受訪者說，他們企業(yè)的分析和數(shù)據(jù)管理能力正在朝著這些目標前進。”

這說明了對數(shù)據(jù)和分析的業(yè)務期望越來越高，而底層實現(xiàn)卻越來越復雜，這其間有很大的差距。首席信息官們?nèi)绻肟s小這些差距，那就應該在他們的數(shù)據(jù)戰(zhàn)略中考慮Strata數(shù)據(jù)大會重點介紹的以下5種技術(shù)能力。

1.管理多個云上的數(shù)據(jù)平臺

據(jù)同一項調(diào)查，51%的受訪者計劃在其數(shù)據(jù)戰(zhàn)略中使用多個云，只有12%的受訪者將75%以上的數(shù)據(jù)放在公有云上。將數(shù)據(jù)整合到集中式數(shù)據(jù)倉庫或者數(shù)據(jù)湖的策略似乎已經(jīng)過時了，而新現(xiàn)實是，首席信息官必須能夠管理、集成和共享存儲在多個公有云和私有云中的數(shù)據(jù)。

好消息是，Cloudera數(shù)據(jù)平臺、SAP數(shù)據(jù)匯集和InfoWorks DataFoundry等平臺能夠幫助數(shù)據(jù)部門管理、集成和治理對存儲在不同大數(shù)據(jù)引擎和不同云上的數(shù)據(jù)存儲庫的訪問。

我曾與InfoWorks首席執(zhí)行官Buno Pati討論過怎樣在多云環(huán)境中處理數(shù)據(jù)。他告訴我，“為企業(yè)數(shù)據(jù)處理和編排打好健壯而又靈活的基礎是任何現(xiàn)代企業(yè)數(shù)據(jù)戰(zhàn)略成功的關(guān)鍵所在。這些系統(tǒng)必須能夠幫助企業(yè)快速啟動新的分析應用實例，最大限度地減少對非常專業(yè)化人才的依賴，并無縫地穿越具有各種執(zhí)行引擎和存儲系統(tǒng)（例如，Hadoop、Spark和云基礎設施）的混合云和多云環(huán)境。”

2.在多個大數(shù)據(jù)平臺上要有成熟的功能

首席信息官們可以使用袖珍字典來幫助定義越來越流行的所有大數(shù)據(jù)平臺。盡管大數(shù)據(jù)平臺早期大多使用了Hadoop，而當今的企業(yè)則采用了多種平臺，包括Apache Spark、Apache Hive、Snowflake，以及AWS、Azure和谷歌云平臺支持的多個數(shù)據(jù)庫，等等。

使用多個大數(shù)據(jù)平臺給首席信息官們帶來了巨大的挑戰(zhàn)，這是因為很難找到擅長數(shù)據(jù)和分析的技術(shù)人員，而且管理多個平臺也增加了操作和安全的復雜性。

雖然很多企業(yè)會整合到較少的數(shù)據(jù)平臺上，并將其作為一種戰(zhàn)略，但他們也必須考慮服務、工具、合作伙伴關(guān)系和培訓，以便在多個數(shù)據(jù)平臺之間提供更好的支持。

3.投資于數(shù)據(jù)目錄

由于大型企業(yè)不太可能把數(shù)據(jù)集中在一個數(shù)據(jù)倉庫或者數(shù)據(jù)湖中，因此建立數(shù)據(jù)目錄的必要性在戰(zhàn)略上就變得更加重要了。

數(shù)據(jù)目錄有助于最終用戶搜索、識別和了解更多可用于分析、機器學習實驗和應用程序開發(fā)的數(shù)據(jù)存儲庫。數(shù)據(jù)目錄還提供了一個中心點，用于管理訪問策略、發(fā)布數(shù)據(jù)源的狀態(tài)，還支持最終用戶與領(lǐng)域?qū)＜抑g的協(xié)作。

Cloudera、SAP和Infoworks都具有數(shù)據(jù)目錄功能，作為其產(chǎn)品的一部分。

4.為作業(yè)選擇合適的數(shù)據(jù)集成平臺

10年前，爭論的焦點在于是否投資ETL平臺，然后是投資于哪一個，而今天的問題則是更廣泛和更具戰(zhàn)略性的。這是因為今天的數(shù)據(jù)集成涵蓋了比ETL支持的批處理功能更廣泛的應用情形。當今的很多企業(yè)有：

·物聯(lián)網(wǎng)和其他實時數(shù)據(jù)處理的數(shù)據(jù)流需求，通過Apache Kafka、Apache Spark等平臺和VantIQ等事件驅(qū)動的架構(gòu)來滿足。

·文檔和其他非結(jié)構(gòu)化數(shù)據(jù)處理需求，通過MarkLogic數(shù)據(jù)匯集平臺或者文檔存儲（例如，Apache Lucene、Apache Solr和MongoDB）來滿足。

·數(shù)據(jù)科學家和業(yè)務分析人員的數(shù)據(jù)準備需求，使用Tableau Prep、Alteryx Designer和Trifacta Wrangler等工具來滿足。

·API與SaaS平臺和企業(yè)數(shù)據(jù)源的集成需求，通過Boomi和MuleSoft等平臺進行優(yōu)化。

·提高數(shù)據(jù)質(zhì)量和創(chuàng)建主數(shù)據(jù)源的需求，這些主數(shù)據(jù)源是使用Informatica、Talend、IBM、Reltio、Tamr等其他平臺創(chuàng)建的。

然而，沒有一個通用的平臺可以支持所有這些應用情形。此外，通過為作業(yè)選擇合適的工具，可以更有效地實現(xiàn)數(shù)據(jù)集成，并提供更可靠的支持。這可能意味著，希望能滿足多種數(shù)據(jù)集成需求的企業(yè)將不得不通過幾個數(shù)據(jù)集成平臺才能獲得成熟的功能。

5.利用每一項新功能主動進行數(shù)據(jù)治理

雖然首席信息官、首席信息安全官和首席數(shù)據(jù)官更希望在采用新業(yè)務功能之前先進行數(shù)據(jù)治理，但這是一種不現(xiàn)實的戰(zhàn)略。需要進行分析以實現(xiàn)數(shù)據(jù)驅(qū)動決策，并獲得更多競爭優(yōu)勢的企業(yè)必須快速行動，把治理做為先決條件，但在進行這方面的嘗試時會遇到阻礙。

對于那些負責保護企業(yè)數(shù)據(jù)資產(chǎn)、隱私政策和機密信息的高管來說，這確實是個棘手的問題。

然而，首席信息官和首席數(shù)據(jù)官有可能在采用新工具、功能和數(shù)據(jù)源的同時實施數(shù)據(jù)治理。這要求引進人才，以了解接受投資平臺的數(shù)據(jù)治理能力，并建立引入和管理數(shù)據(jù)源更改的程序。

如果沒有這些規(guī)則，首席信息官們將會面臨數(shù)據(jù)債務，類似于技術(shù)債務企業(yè)隨著時間的推移積累起來的債務。

好消息是，首席信息官們將在面向企業(yè)的成熟數(shù)據(jù)平臺上獲得數(shù)據(jù)治理能力。然而，擁有技術(shù)能力只是一個開始，首席信息官還需要技術(shù)人才、培訓計劃和變革管理實踐，以使業(yè)務部門理解并遵守數(shù)據(jù)治理。

要成為數(shù)據(jù)驅(qū)動型的企業(yè)，應不斷追求卓越

我不太喜歡“數(shù)據(jù)就是新油田”這種比喻，但不妨先這樣想。石油公司不僅購買鉆機，還神奇地擁有端到端的機制，可以高效地找到油田，并將石油運往煉油廠。這不是那么簡單，同樣的，數(shù)據(jù)管理、分析和機器學習也不是那么簡單。

然而，只要企業(yè)負責任地投資于滿足其應用情形的平臺，投資于人才，并在數(shù)據(jù)集成、管理和治理方面完善其實踐，這一切也并非難事。

Isaac Sacolick是《數(shù)字化驅(qū)動：通過技術(shù)進行業(yè)務轉(zhuǎn)型的領(lǐng)導者指南》一書的作者，該書涵蓋了很多實踐，例如敏捷、開發(fā)運維和數(shù)據(jù)科學等，這些都是成功實施數(shù)字化轉(zhuǎn)型計劃的關(guān)鍵。

原文網(wǎng)址

https：//www.cio.com/article/3441780/5-technical-capabilities-required-in-modern-enterprise-data-strategies.html