數(shù)據治理開啟大數(shù)據“淘金”之旅

/程夢瑤

大數(shù)據將打開各行各業(yè)的數(shù)據“潘多拉魔盒”。無論你是否認同，海量數(shù)據正撲面而來，蔚為壯觀的數(shù)字來自電信運營商、金融、醫(yī)療、教育等，乃至政府部門，這些主體或主動探尋，或被動接受。

信息資產公司LLC的創(chuàng)始人和執(zhí)行合伙人桑尼爾·索雷斯，在他的暢銷書《大數(shù)據治理》中談及自己的切身體會：“作為一家大公司的資深IT專家，我本人在面對數(shù)據窘境時，感覺不知所措。對數(shù)據領域的從業(yè)人員來說，面臨的問題多過答案。我所在的組織是南非的主導電信運營商，我們擁有海量的電話詳單、位置數(shù)據和社交媒體生成的數(shù)據。要明智地使用數(shù)據，就必須管理所有數(shù)據?！?/p>

元數(shù)據管理是重點

“在企業(yè)數(shù)字化轉型過程中，數(shù)據治理應該是企業(yè)數(shù)字化轉型的一個先決條件。要讓數(shù)據有意義，首先必須有高質量的數(shù)據?！逼赵畔⒓夹g股份有限公司（以下簡稱普元信息）大數(shù)據產品線總經理王軒，分享了他對于大數(shù)據治理的認知。很多企業(yè)在做數(shù)據治理時，往往只集中在數(shù)據應用環(huán)節(jié)，范圍過窄，而普元信息在大數(shù)據治理中，側重于對大數(shù)據實施全過程、全方位的管理，這種宏觀導向具有一定的先發(fā)優(yōu)勢。

實際上，大數(shù)據環(huán)境下的數(shù)據治理不再只是元數(shù)據、大數(shù)據標準與大數(shù)據質量，企業(yè)應該以元數(shù)據為基礎，配合大數(shù)據標準、大數(shù)據交換集成、主數(shù)據管理、大數(shù)據質量、大數(shù)據資產化、大數(shù)據共享等，共同完成整個企業(yè)層面的大數(shù)據治理。層層保障之下，使得堪比黃金般貴重的高質量數(shù)據，能夠發(fā)揮其獨特價值。

書同文 車同軌 數(shù)據標準須先行

以SOA（服務導向架構）系列產品見長的普元信息，在2010年開始涉足大數(shù)據領域，作為SOA國際標準SCA/SDO的主要參與制定者，對于數(shù)據質量的關切，伴隨著企業(yè)業(yè)務的不斷延展而上升到企業(yè)戰(zhàn)略層面。

“在數(shù)字化轉型過程中，很多傳統(tǒng)行業(yè)希望把出售數(shù)據作為其利潤的增長點。但是，如果想把數(shù)據當作商品出售，至少需要其數(shù)據是有質量保障的。但目前情況下，這些數(shù)據存在非常多的問題。雖然很多企業(yè)經過多年的IT建設，但數(shù)據模型并不統(tǒng)一，沒有統(tǒng)一的數(shù)據標準，也沒有數(shù)據質量的檢測體系。沒有統(tǒng)一的標準，就沒有質量控制能力，高質量數(shù)據就無從談起?！痹谕踯幙磥?，獲取高質量數(shù)據的當務之急是要建立完善的數(shù)據標準體系，只有數(shù)據標準逐步完善，才有可能進行準確的大數(shù)據治理，對大數(shù)據實施全過程、全方位的管理。

2013年，普元信息加入OASIS國際標準組織KVDB TC（鍵值數(shù)據庫應用接口技術委員會）積極參與大數(shù)據國際標準制訂工作。2014年12月，全國信息技術標準化技術委員會（簡稱全國新標委）大數(shù)據標準工作組宣告成立，由于大數(shù)據領域涉及的領域非常廣泛，工作組設立相關的專題組，包括整體組、國際組、基層組、產品和平臺、安全工業(yè)大數(shù)據、電子商務等方面。

作為全國信標委SOA分技術委員會SOA與Web服務工作組副組長單位，普元信息也正在不斷推動數(shù)據標準化的完善。在王軒看來，數(shù)據標準應該通過各種手段、方法、渠道建立，并且根據企業(yè)狀況不斷完善。在此過程中，企業(yè)應以元數(shù)據管理為基礎，推動數(shù)據標準在各應用系統(tǒng)中的執(zhí)行，逐步形成常態(tài)化的、閉環(huán)的標準體系應用機制，從整體上提升企業(yè)的數(shù)據質量和數(shù)據管理水平，為實現(xiàn)企業(yè)數(shù)據流的暢通和全系統(tǒng)信息資源的共享奠定基礎。

解決數(shù)據質量問題是大數(shù)據應用的關鍵

縱觀當今的大數(shù)據技術、平臺和解決方案，海外廠商仍占據絕對主流地位，但這并不妨礙中國將在大數(shù)據的時代異軍突起。從大數(shù)據的體量看，中國在大數(shù)據領域的發(fā)展?jié)摿τ心抗捕谩?/p>

寬帶資本董事長田溯寧在桑尼爾的《大數(shù)據治理》一書的序言中說：“若要到達風光無限的大數(shù)據彼岸，大數(shù)據治理一定是必修課之一?！?/p>

毋庸置疑，大數(shù)據治理是傳統(tǒng)信息治理的延續(xù)和擴展，它體現(xiàn)了信息治理準則的一脈相承。 大數(shù)據治理的本質是什么？王軒認為，是提高數(shù)據質量。

更好的數(shù)據意味著更好的決策，而解決數(shù)據質量問題是大數(shù)據應用的關鍵。王軒用實戰(zhàn)經驗不斷驗證這種觀點，“在我們接觸的眾多銀行案例中，經常會遇到一種情況，做完一個數(shù)據倉庫，客戶重名信息往往達到上萬個，一個人1000多個賬戶，這都是數(shù)據質量問題。為什么會出現(xiàn)這種數(shù)據問題呢？數(shù)據治理是一個復雜過程，其中有很多環(huán)節(jié)，從前期的數(shù)據標準、數(shù)據集成到數(shù)據治理等等，任何一個環(huán)節(jié)出錯都可能導致數(shù)據質量問題，其中數(shù)據治理是清洗數(shù)據和規(guī)避數(shù)據風險的重要環(huán)節(jié)。”王軒認為，如何在交易錯誤時即時阻斷數(shù)據錯誤，是保障數(shù)據質量的重要手段，而此項技術手段，普元信息現(xiàn)如今已完全掌握。

普元的大數(shù)據治理實踐

十多年來，普元信息在金融、電信、電力、能源等行業(yè)積累了豐富的數(shù)據管理經驗。在王軒看來，普元數(shù)據治理呈現(xiàn)出三大特色：

首先，普元信息的數(shù)據治理解決方案可以覆蓋全行業(yè)。普元能幫助各行各業(yè)的客戶，將其數(shù)據質量提升。同時，能完成其數(shù)據現(xiàn)階段最復雜、最重要的任務。

其次，普元解決方案是全體系的。通過平臺、服務、規(guī)劃等各個方面的完整規(guī)劃，能夠幫助企業(yè)把數(shù)據治理落地。普元并非做單獨一個產品，而是在數(shù)據的整個生命周期，每一階段都能幫助企業(yè)控制它的數(shù)據質量，達到企業(yè)的數(shù)據治理需求，實現(xiàn)數(shù)據價值。

再次，普元信息的全部平臺都是自主研發(fā)。通過基于業(yè)務目標的量化研發(fā)管理體系，產品家族擴展到4大系列10余個品類，其專注于軟件基礎平臺領域，具有分布式計算、服務構件技術、可視化技術、業(yè)務流程管理、內存計算、企業(yè)移動計算、數(shù)據治理等核心技術。

普元信息元數(shù)據管理在2014年底被定位為聯(lián)通大數(shù)據平臺的數(shù)據管理解決方案，幫助客戶的維護人員快速理解大數(shù)據系統(tǒng)內的數(shù)據組織，以及數(shù)據間的影響和依賴，減少修改、維護、升級時間，以減少大數(shù)據帶來的管理維護成本。

由于華為負責上海聯(lián)通大數(shù)據平臺的建設，借此機會華為與普元信息達成了戰(zhàn)略性目標。依托普元元數(shù)據產品的優(yōu)勢，抓取大數(shù)據平臺內部的元數(shù)據，為大數(shù)據平臺的運營維護提供全局的、完整的元數(shù)據管理。

該方案為大數(shù)據平臺異構的元數(shù)據提供智能整合和儲存能力，為大數(shù)據平臺設計的不同源的元數(shù)據在同一元模型的規(guī)范體系下實現(xiàn)整合存儲，整合主要包括元數(shù)據對象整合組件和元數(shù)據關系整合組件，以及元模型設計器、元數(shù)據抓取配置組件等。此后，普元信息的元數(shù)據管理能力，在業(yè)內得到了廣泛認可。

在金融行業(yè)，普元先后幫助國家開發(fā)銀行、華夏銀行、中國銀聯(lián)、興業(yè)銀行、北京銀行等完成了大數(shù)據治理項目建設，其中，國家開發(fā)銀行在2009年8月開始建設數(shù)據管理項目，通過普元元數(shù)據管理產品支持源系統(tǒng)、ODS、數(shù)據倉庫及下游部分應用對元數(shù)據的應用需求。

增加采集適配器，定時自動的采集元數(shù)據保證元數(shù)據的及時更新；同時保證真實數(shù)據關系的建立，推進全行數(shù)據地圖的建設，深化元數(shù)據管理系統(tǒng)的核心功能，強化元數(shù)據管理系統(tǒng)對外的接口服務，輔助數(shù)據標準的落地實施。

在電力行業(yè)，普元幫助江西省電力公司建立了全公司的企業(yè)級數(shù)據標準，數(shù)據標準促進了業(yè)務部門之間的數(shù)據共享，界定業(yè)務數(shù)據范圍，起到了重要作用，并將企業(yè)級的全面元數(shù)據管理納入了全公司的元數(shù)據信息，全面共享元數(shù)據，梳理了系統(tǒng)之間的元數(shù)據接口，使得系統(tǒng)之間的來龍去脈一目了然。

在電信行業(yè)，普元幫助上海移動做了包括服務治理、能力開放、大數(shù)據治理、大數(shù)據共享在內的一系列項目，陪伴上海移動完成了數(shù)字化轉型的整個歷程。

在能源行業(yè)，普元先后幫助國家電網、新奧能源等完成了數(shù)據治理的相關建設，為其提升管理效率和拓展業(yè)務邊界，提供了前所未有的可能性，通過大數(shù)據治理流程，明晰大數(shù)據血脈，提升大數(shù)據質量，實現(xiàn)了能源行業(yè)對大數(shù)據的全面管控，為上層應用提供安全可用的數(shù)據基礎，確保了大數(shù)據平臺分析與預測的準確性。

作為一種具有戰(zhàn)略意義的新資源，將大數(shù)據比作石油或黃金，如今，世人并不覺得有夸大其詞之嫌。大數(shù)據的自生性和可持續(xù)性，卻又是石油或黃金所望塵莫及的。

大數(shù)據治理必將成為一項系統(tǒng)工程，以孜孜以求的進取心去挖掘高質量數(shù)據背后的價值，普元信息正在做，未來也將會有更多企業(yè)參與其中，而大數(shù)據變現(xiàn)之暢想也將不再遙不可及。