大規(guī)模生產(chǎn)型企業(yè)利用數(shù)據(jù)中臺解決數(shù)據(jù)孤島問題研究

王新元 張孝臨 祁金才 張鳴洲 關(guān)小明

1.遼寧科技大學(xué)計(jì)算機(jī)與軟件工程學(xué)院 遼寧 鞍山 114000

2.鞍鋼集團(tuán)礦業(yè)有限公司 遼寧 鞍山 114000

背景

區(qū)塊鏈的結(jié)構(gòu)構(gòu)想早在20世紀(jì)90年代就被提出,而到2008年區(qū)塊鏈才真正進(jìn)入了大眾的視線。區(qū)塊鏈技術(shù)作為一個由多方共同維護(hù)、去中心化的分布式賬本技術(shù),核心在于通過對等(peer to peer,P2P)網(wǎng)絡(luò)協(xié)議、共識算法、非對稱加密、哈希等關(guān)鍵技術(shù)解決數(shù)據(jù)傳遞與交換過程中的信任問題。區(qū)塊鏈的鏈?zhǔn)浇Y(jié)構(gòu)是一種將數(shù)據(jù)區(qū)塊按時間戳順序相連,進(jìn)行數(shù)據(jù)存儲與驗(yàn)證的一種數(shù)據(jù)結(jié)構(gòu),是一種憑借共識算法對數(shù)據(jù)進(jìn)行廣播交易,基于密碼學(xué)原理保證數(shù)據(jù)傳輸和訪問的安全性;具備難以篡改性和難以偽造性的分布式賬本技術(shù)。其可利用智能合約來編程和操作數(shù)據(jù)。

數(shù)據(jù)孤島(通常稱為信息孤島)是只有一組人可以輕松訪問的數(shù)據(jù)集。這意味著其他人很難獲得這些信息,或者更糟糕的是,他們根本無法訪問它。

1 引言

當(dāng)企業(yè)發(fā)展到一定階段時,會出現(xiàn)多個事業(yè)部,每個事業(yè)部都有各自數(shù)據(jù),事業(yè)部之間的數(shù)據(jù)往往都各自存儲,各自定義。每個事業(yè)部的數(shù)據(jù)就像一個個孤島一樣無法(或者極其困難)和企業(yè)內(nèi)部的其他數(shù)據(jù)進(jìn)行連接互動。我們把這樣的情況稱為數(shù)據(jù)孤島。

簡單說就是數(shù)據(jù)間缺乏關(guān)聯(lián)性,數(shù)據(jù)庫彼此無法兼容。這樣的情況會造成很多的不便。專業(yè)人士把數(shù)據(jù)孤島分為物理性和邏輯性兩種。物理性的數(shù)據(jù)孤島指的是,數(shù)據(jù)在不同部門相互獨(dú)立存儲,獨(dú)立維護(hù),彼此間相互孤立,形成了物理上的孤島。邏輯性的數(shù)據(jù)孤島指的是,不同部門站在自己的角度對數(shù)據(jù)進(jìn)行理解和定義,使得一些相同的數(shù)據(jù)被賦予了不同的含義,無形中加大了跨部門數(shù)據(jù)合作的溝通成本。

尤其是我們現(xiàn)在的需求管理現(xiàn)狀:工作量巨大,每次需求管理時都是N對1,統(tǒng)一集中式的管理讓效率變得及其的低下。而且數(shù)據(jù)需求很難控制,當(dāng)業(yè)務(wù)變化時,需求數(shù)據(jù)需要一改再改。并且數(shù)據(jù)需求難以責(zé)任化,因?yàn)樾枨箅p方是非點(diǎn)對點(diǎn)的溝通,還會有同一需求反復(fù)提的問題,因?yàn)樾枨笄鍐问遣还蚕淼?現(xiàn)有資源價值是很難發(fā)揮的,因?yàn)楝F(xiàn)有資源清單沒有前置到需求端。而且需求管理過程不透明,難以監(jiān)管督辦。

在面對這么多問題時,我們一定要擺脫數(shù)據(jù)孤島,但同時擺脫數(shù)據(jù)孤島是十分困難的。擺脫數(shù)據(jù)孤島如此困難的主要原因通常歸結(jié)為:“我們一直都是這樣做的。”當(dāng)數(shù)據(jù)孤島成為您組織的常態(tài)時,適應(yīng)一種新的信息共享方式可能具有挑戰(zhàn)性,因?yàn)椴块T可在過去的數(shù)年甚至數(shù)十年的時間都是這樣單獨(dú)訪問數(shù)據(jù)集的。一些部門還可以將自己視為特定數(shù)據(jù)集的“看門人”,并且當(dāng)組織中的其他團(tuán)隊(duì)可以查看和編輯它們時會感到緊張。所以我們一定要解決數(shù)據(jù)孤島問題。

2 相關(guān)工作

每個企業(yè)的發(fā)展情況不同,到底要不要構(gòu)建數(shù)據(jù)中臺?我們可以從企業(yè)數(shù)據(jù)應(yīng)用的成熟度來評估企業(yè)要不要構(gòu)建數(shù)據(jù)中臺。數(shù)據(jù)應(yīng)用能力成熟度可以總結(jié)為統(tǒng)計(jì)分析、決策支持、數(shù)據(jù)驅(qū)動、運(yùn)營優(yōu)化四個階段。以上四個階段數(shù)據(jù)應(yīng)用能力成熟度依次增高,數(shù)據(jù)應(yīng)用能力成熟度越高,則代表數(shù)據(jù)對業(yè)務(wù)的支撐能力越強(qiáng),應(yīng)用能力成熟度越低,則意味著業(yè)務(wù)對數(shù)據(jù)的依賴程度越低。企業(yè)數(shù)據(jù)應(yīng)用能力程度越高構(gòu)建數(shù)據(jù)中臺越有價值。

不同行業(yè)數(shù)據(jù)中臺需求不同,數(shù)據(jù)中臺的構(gòu)建并沒有行業(yè)限制,任何行業(yè)都可以構(gòu)建數(shù)據(jù)中臺,只是不同行業(yè)、不同階段的企業(yè)所需要的數(shù)據(jù)應(yīng)用能力不同,對數(shù)據(jù)的依賴度也不同。

數(shù)據(jù)中臺建設(shè)是一個持續(xù)完善的過程,任何企業(yè)構(gòu)建數(shù)據(jù)中臺不是一下完成,下面是一些行業(yè)所處的階段以及對數(shù)據(jù)中臺的共性需求。處于數(shù)據(jù)驅(qū)動向運(yùn)營優(yōu)化過度階段的訴求是業(yè)務(wù)強(qiáng)依賴于數(shù)據(jù),是數(shù)據(jù)使用最深的行業(yè),對中臺是真實(shí)的強(qiáng)需求?；径际亲约旱臄?shù)倉和垂直數(shù)據(jù)應(yīng)用,也有較完善的數(shù)據(jù)團(tuán)隊(duì)。希望自主可控,對中臺服務(wù)商要求較高。處于決策支撐向數(shù)據(jù)驅(qū)動過度階段的像公共安全行業(yè)(食品安全、信息安全等)的訴求是業(yè)務(wù)對數(shù)據(jù)有強(qiáng)需求,數(shù)據(jù)中臺、數(shù)據(jù)治理也都提上日程。對業(yè)務(wù)的專業(yè)性要求高,對中臺服務(wù)商資質(zhì)要求較高。處于統(tǒng)計(jì)分析向決策支撐過度階段像零售行業(yè)的訴求一般都是多端多渠道,包含門店、app、小程序、服務(wù)號、電商等渠道。對多渠道的數(shù)據(jù)整合運(yùn)營有強(qiáng)需求,需要數(shù)據(jù)中臺的能力支撐。大多看重短期收益,不注重建設(shè)完整的數(shù)據(jù)中臺能力。而處于決策支撐向數(shù)據(jù)驅(qū)動過度階段像地產(chǎn)行業(yè)的訴求則是業(yè)務(wù)迫切:市場從黃金期進(jìn)入白銀期,增量時長有限。有數(shù)據(jù)整合需求:多業(yè)態(tài)發(fā)展,需要數(shù)據(jù)整合能力。需要信息化基礎(chǔ):地產(chǎn)企業(yè)信息化基礎(chǔ)一般,需借助外部開發(fā)力量。需要業(yè)務(wù)配合:業(yè)務(wù)部門強(qiáng)話語權(quán),數(shù)據(jù)中臺需加強(qiáng)技術(shù)部門話語權(quán)。處于決策支撐階段像工業(yè)制造行業(yè)的訴求是,要有數(shù)據(jù)基礎(chǔ):物聯(lián)網(wǎng)、5G等普及,工業(yè)制造數(shù)據(jù)有了完善采集的基礎(chǔ)。場景清晰:效率提升、工藝優(yōu)化、質(zhì)量監(jiān)督等場景清晰。采集困難:大部分工控軟件不開放數(shù)據(jù),且對行業(yè)的專業(yè)知識要求高。處于決策支撐向數(shù)據(jù)驅(qū)動過度階段像政府這樣的,訴求是數(shù)據(jù)豐富:掌握最好、最全的數(shù)據(jù),智慧城市的推進(jìn),帶來更豐富的資源。類目繁雜:來源于各種部門、企業(yè),歷史包袱比較重,冷啟動艱難。項(xiàng)目規(guī)模大:一般只有大的中臺服務(wù)商才能承建。所以具備以下特點(diǎn)的公司可以加速考慮建立數(shù)據(jù)中臺:1.企業(yè)有一定的信息化基礎(chǔ),沉淀了數(shù)據(jù),實(shí)現(xiàn)了業(yè)務(wù)數(shù)據(jù)化過程。2.企業(yè)業(yè)務(wù)復(fù)雜,有豐富的數(shù)據(jù)維度和多個業(yè)務(wù)場景,特別是多業(yè)態(tài)型集團(tuán)企業(yè)。3.企業(yè)有數(shù)字化轉(zhuǎn)型、精細(xì)化經(jīng)營的需求。

其中數(shù)據(jù)中臺解決數(shù)據(jù)孤島問題上面主要體現(xiàn)在智慧城市的管理上,截至2020年12月底,合肥智慧城市已累計(jì)匯集63個市直部門,96個區(qū)縣部門310億條數(shù)據(jù),數(shù)據(jù)范圍覆蓋了政務(wù)數(shù)據(jù)、社會數(shù)據(jù)、經(jīng)濟(jì)數(shù)據(jù),通過大數(shù)據(jù)平臺,改變了傳統(tǒng)的網(wǎng)狀數(shù)據(jù)交換模式,全市以統(tǒng)一的政務(wù)信息資源目錄為基礎(chǔ),建立了數(shù)據(jù)共享交換模式。通過構(gòu)建企業(yè)統(tǒng)一數(shù)據(jù)資產(chǎn)目錄,提供多種分類方式,匯聚企業(yè)數(shù)據(jù)資產(chǎn);包含1153個部門能力,199個基礎(chǔ)能力、496個主題能力、21個省部級能力。在數(shù)據(jù)資產(chǎn)服務(wù)提供上基于數(shù)據(jù)資產(chǎn)目錄進(jìn)行數(shù)據(jù)使用申請、審批、授權(quán)管理過程,統(tǒng)一數(shù)據(jù)使用入口;為全市60多個政務(wù)部門、400余個業(yè)務(wù)應(yīng)用場景提供了超859萬余次的賦能服務(wù)。安全方面統(tǒng)一數(shù)據(jù)授權(quán)控制,敏感數(shù)據(jù)的識別發(fā)現(xiàn)及數(shù)據(jù)脫敏;建立數(shù)據(jù)追溯體系;同時構(gòu)建數(shù)據(jù)標(biāo)準(zhǔn)體系,助力數(shù)據(jù)交換體系;

一個就是貴州城市智慧中臺他也是構(gòu)建城市數(shù)據(jù)中臺體系,通過數(shù)據(jù)治理能力,建立智慧中臺數(shù)據(jù)資產(chǎn)目錄,將數(shù)據(jù)資產(chǎn)統(tǒng)一納入管理,提供數(shù)據(jù)資產(chǎn)地圖、數(shù)據(jù)知識庫能力;通過數(shù)據(jù)標(biāo)準(zhǔn)和稽核檢查能力,推動數(shù)據(jù)標(biāo)準(zhǔn)化落地,形成統(tǒng)一的數(shù)據(jù)語言;主要的方法有1.數(shù)據(jù)資產(chǎn)集中注冊管理,形成智慧中臺數(shù)據(jù)資產(chǎn)目錄;2.數(shù)據(jù)地圖的建設(shè),形成數(shù)據(jù)資產(chǎn)全局視圖,方便掌握數(shù)據(jù)資產(chǎn)狀況以及資產(chǎn)治理情況;3.數(shù)據(jù)資產(chǎn)標(biāo)準(zhǔn)的建設(shè),形成統(tǒng)一的數(shù)據(jù)語言,為共享交互提供支撐;4.數(shù)據(jù)標(biāo)準(zhǔn)的稽核檢查能力,及時發(fā)現(xiàn)不合規(guī)的數(shù)據(jù),并引導(dǎo)修復(fù);

從以上智慧城市的數(shù)據(jù)中臺中看到了數(shù)據(jù)中臺的建立可以解決數(shù)據(jù)孤島的問題:1)數(shù)據(jù)孤島是不安全的:許多數(shù)據(jù)孤島可以在Excel電子表格、Google文檔甚至U盤中找到。這可能不符合公司的數(shù)據(jù)保護(hù)政策,從而增加了數(shù)據(jù)泄露和信息落入壞人之手的風(fēng)險(xiǎn)2)數(shù)據(jù)孤島會導(dǎo)致不一致的客戶消息傳遞:如果一個部門擁有一組數(shù)據(jù),而另一個部門擁有另一組數(shù)據(jù),這可能會導(dǎo)致客戶體驗(yàn)不穩(wěn)定和信息混雜,尤其是在我們的需求管理上面3)數(shù)據(jù)孤島可能會無法追溯到數(shù)據(jù)的源頭

3 利用數(shù)據(jù)中臺解決數(shù)據(jù)孤島問題

3.1 基于區(qū)塊鏈的數(shù)據(jù)安全服務(wù)機(jī)制

1.數(shù)據(jù)供需求雙方依托區(qū)塊鏈,憑借數(shù)據(jù)監(jiān)管方頒發(fā)的可信證書加入數(shù)據(jù)共享與交易網(wǎng)絡(luò);2.數(shù)據(jù)提供方發(fā)布數(shù)據(jù)資產(chǎn)目錄上鏈;3.數(shù)據(jù)消費(fèi)方從區(qū)塊鏈獲取數(shù)據(jù)提供方發(fā)布的數(shù)據(jù)資產(chǎn)信息;4.數(shù)據(jù)消費(fèi)方從目錄選擇需要獲取的數(shù)據(jù),發(fā)起數(shù)據(jù)授權(quán)請求;5.數(shù)據(jù)提供方從區(qū)塊鏈獲取數(shù)據(jù)消費(fèi)方發(fā)起的數(shù)據(jù)授權(quán)請求,按照標(biāo)準(zhǔn)規(guī)則進(jìn)行批復(fù),并將批復(fù)結(jié)果發(fā)布到區(qū)塊鏈;6.數(shù)據(jù)需求方拿到批復(fù)結(jié)果,發(fā)起數(shù)據(jù)訪問請求,數(shù)據(jù)訪問請求經(jīng)代理發(fā)送到數(shù)據(jù)提供方的訪問代理,請求認(rèn)證通過,則可以訪問大數(shù)據(jù)中心數(shù)據(jù);7.數(shù)據(jù)監(jiān)管方作為區(qū)塊鏈節(jié)點(diǎn)加入網(wǎng)絡(luò),同步所有區(qū)塊鏈數(shù)據(jù)塊,對大數(shù)據(jù)共享與交易進(jìn)行監(jiān)管;

3.2 基于區(qū)塊鏈無痕水印實(shí)現(xiàn)數(shù)據(jù)溯源

場景介紹:數(shù)據(jù)生產(chǎn)加工和消費(fèi)使用過程中,接觸的人員多,不乏有人利用職務(wù)之便或者保管不善,有意無意將數(shù)據(jù)泄露[4],通過區(qū)塊鏈無痕水印技術(shù),實(shí)現(xiàn)泄露數(shù)據(jù)的反向追溯,發(fā)現(xiàn)泄露人員及泄露點(diǎn),及時進(jìn)行補(bǔ)救。

當(dāng)前現(xiàn)狀是數(shù)據(jù)生產(chǎn)加工參與人多,系統(tǒng)授權(quán)粗放,有不授權(quán)訪問、非最小化授權(quán)模式,沒有數(shù)據(jù)泄露保障機(jī)制,只知道泄露,很難去追溯其中的相關(guān)人員有數(shù)據(jù)運(yùn)維人員,數(shù)據(jù)開發(fā)人員,數(shù)據(jù)使用消費(fèi)人員。在治理動作有兩套方案,第一個是基礎(chǔ)方案包括數(shù)據(jù)最小化授權(quán)使用,數(shù)據(jù)庫、數(shù)據(jù)倉庫安全防護(hù)和敏感數(shù)據(jù)加密存儲或者動態(tài)化脫敏進(jìn)行數(shù)據(jù)提供。還有就是優(yōu)化方案首先要建立數(shù)據(jù)安全等級,在數(shù)據(jù)創(chuàng)建[1]的時候就明確等級及授權(quán)范圍,并配合工具,建立安全存儲訪問機(jī)制;還有數(shù)據(jù)平臺出口的安全防護(hù)和數(shù)據(jù)下載限制及多因素驗(yàn)證,當(dāng)數(shù)據(jù)泄露追溯,通過一些手段將特征信息隱藏(數(shù)字水印)在下載或者導(dǎo)出的文件中以方便追溯[2];

3.3 基于區(qū)塊鏈實(shí)現(xiàn)需求管理

當(dāng)前需求管理的痛點(diǎn)頗多,但是通過區(qū)塊鏈改造可以打破數(shù)據(jù)孤島[3],實(shí)現(xiàn)業(yè)務(wù)一網(wǎng)通辦,一窗受理。通過區(qū)塊鏈[5]改造方案優(yōu)勢去中心化,將任何部門能提出并看到所有需求可追溯,版本管理,并可查詢變化軌跡數(shù)據(jù)共享交換,需求責(zé)任方點(diǎn)對點(diǎn)溝通公開透明,需求流轉(zhuǎn)信息各節(jié)點(diǎn)可見數(shù)據(jù)共享交換,資源和能力清單前置化數(shù)據(jù)需求運(yùn)營數(shù)據(jù)需求運(yùn)營結(jié)果統(tǒng)計(jì)分析功能。

3.4 數(shù)據(jù)匯集和數(shù)據(jù)開發(fā)

要將企業(yè)內(nèi)部各個業(yè)務(wù)系統(tǒng)的數(shù)據(jù)實(shí)現(xiàn)互聯(lián)互通,打破數(shù)據(jù)孤島,主要通過數(shù)據(jù)匯聚和交換來實(shí)現(xiàn)。企業(yè)采集的數(shù)據(jù)可以是線上數(shù)據(jù)采集、線下數(shù)據(jù)采集、互聯(lián)網(wǎng)數(shù)據(jù)采集、內(nèi)部數(shù)據(jù)采集等。1.線上數(shù)據(jù)采集主要載體分為互聯(lián)網(wǎng)和移動互聯(lián)網(wǎng)兩種,對應(yīng)有系統(tǒng)平臺、網(wǎng)頁、H5、小程序、App等,可以采用前端或者后端埋點(diǎn)方式采集數(shù)據(jù)。2.線下數(shù)據(jù)采集主要是通過硬件來采集,例如:WiFi信號采集、攝像頭、傳感器、信令數(shù)據(jù)采集、圖像視頻采集等。3.互聯(lián)網(wǎng)數(shù)據(jù)采集就是說的網(wǎng)絡(luò)爬蟲,當(dāng)企業(yè)的內(nèi)部信息不足時,可以考慮利用外部互聯(lián)網(wǎng)數(shù)據(jù)與內(nèi)部數(shù)據(jù)進(jìn)行有效融合,從而讓內(nèi)部數(shù)據(jù)在應(yīng)用上有更多的價值。4.內(nèi)部數(shù)據(jù)匯集主要是針對業(yè)務(wù)庫中的數(shù)據(jù)通過工具進(jìn)行匯集。一些公司也會開發(fā)自己的數(shù)據(jù)交換產(chǎn)品來屏蔽底層工具的復(fù)雜性,以可視化配置的方式提供給企業(yè)用戶。數(shù)據(jù)開發(fā)涉及的產(chǎn)品能力主要包括是三個部分:離線開發(fā)、實(shí)時開發(fā)、算法開發(fā)。1.離線開發(fā)主要包括離線數(shù)據(jù)的加工、發(fā)布、運(yùn)維管理,以及數(shù)據(jù)分析、數(shù)據(jù)探索、在線查詢和即席分析相關(guān)工作。2.實(shí)時開發(fā)主要涉及數(shù)據(jù)的實(shí)時接入和實(shí)時處理。3.算法開發(fā)主要提供簡單易用的可視化方式實(shí)現(xiàn)數(shù)據(jù)價值的深度挖掘。針對以上三個部分,構(gòu)建數(shù)據(jù)中臺時可以使用原生的技術(shù)來實(shí)現(xiàn)也可以通過數(shù)據(jù)開發(fā)套件對大數(shù)據(jù)的存儲和計(jì)算能力進(jìn)行封裝,通過產(chǎn)品化的方式讓用戶更容易的使用大數(shù)據(jù)。

4 結(jié)語

當(dāng)企業(yè)已經(jīng)進(jìn)入了數(shù)據(jù)管理的高級階段,需要全局的數(shù)據(jù)治理、數(shù)據(jù)能力的復(fù)用和共享以及云原生架構(gòu)的支撐。在這個階段需要解決的一個重要問題是如何避免數(shù)據(jù)孤島和應(yīng)用孤島。首先必須有全局的數(shù)據(jù)治理系統(tǒng)來管理所有子系統(tǒng)的數(shù)據(jù),確保它們能互聯(lián)互通。除了技術(shù)方案以外,明確責(zé)權(quán)利也很重要。出現(xiàn)孤島的原因之一就是各部門的責(zé)權(quán)利不明晰。在進(jìn)行全局的數(shù)據(jù)治理的同時,治理的結(jié)果必須能為公司創(chuàng)造價值。構(gòu)建數(shù)據(jù)中臺就是一個很好的解決方法,可以有效的解決數(shù)據(jù)安全,數(shù)據(jù)溯源,數(shù)據(jù)重復(fù)等問題。