金融機(jī)構(gòu)數(shù)字化轉(zhuǎn)型軟件定義存儲(chǔ)加碼數(shù)據(jù)治理

邱尚高

金融機(jī)構(gòu)數(shù)字化轉(zhuǎn)型中數(shù)據(jù)治理的困難與挑戰(zhàn)

金融機(jī)構(gòu)作為數(shù)字化轉(zhuǎn)型的親身實(shí)踐者，在過(guò)去的實(shí)踐中積累了較為豐富的數(shù)據(jù)治理經(jīng)驗(yàn)。但是面對(duì)數(shù)據(jù)的海量增長(zhǎng)，如何科學(xué)地管理和使用數(shù)據(jù)，“盤(pán)活”數(shù)據(jù)價(jià)值，使經(jīng)濟(jì)利益和社會(huì)效益最大化，依然面臨著諸多困難與挑戰(zhàn)。

困難一：缺乏統(tǒng)一數(shù)據(jù)視圖，難以發(fā)現(xiàn)價(jià)值數(shù)據(jù)

由于歷史原因，多數(shù)金融機(jī)構(gòu)的數(shù)據(jù)資源散落在多個(gè)業(yè)務(wù)系統(tǒng)中，缺乏統(tǒng)一的數(shù)據(jù)視圖，管理人員和業(yè)務(wù)人員無(wú)法及時(shí)感知數(shù)據(jù)分布情況，無(wú)法快速找到符合自己需求的數(shù)據(jù)，也無(wú)法發(fā)現(xiàn)有價(jià)值的數(shù)據(jù)并納入數(shù)據(jù)資產(chǎn)。

困難二：數(shù)據(jù)孤島普遍存在，跨業(yè)務(wù)共享效率低

金融機(jī)構(gòu)將數(shù)據(jù)作為戰(zhàn)略性資源，因數(shù)據(jù)共享機(jī)制不完善、各機(jī)構(gòu)數(shù)據(jù)接口不統(tǒng)一等問(wèn)題，導(dǎo)致數(shù)據(jù)難以互聯(lián)互通，形成“數(shù)據(jù)煙囪”，不利于開(kāi)放共享。

困難三：數(shù)據(jù)質(zhì)量低下，業(yè)務(wù)決策根基不牢

數(shù)據(jù)質(zhì)量是金融服務(wù)與創(chuàng)新的重要基礎(chǔ)。由于缺乏完善的數(shù)據(jù)治理體系，金融機(jī)構(gòu)在數(shù)據(jù)采集、存儲(chǔ)、處理等環(huán)節(jié)存在不科學(xué)、不規(guī)范等問(wèn)題，無(wú)法確保數(shù)據(jù)的完整性和準(zhǔn)確性。

困難四：科技研發(fā)投入不足，數(shù)據(jù)場(chǎng)景融合不足

金融機(jī)構(gòu)的數(shù)據(jù)規(guī)模十分龐大，從中挖掘高價(jià)值、關(guān)聯(lián)性強(qiáng)的高質(zhì)量數(shù)據(jù)，需要高效的信息技術(shù)支撐和可靠的基礎(chǔ)設(shè)施保障。然而，部分機(jī)構(gòu)科技研發(fā)投入相對(duì)不足，導(dǎo)致海量數(shù)據(jù)資源無(wú)法盤(pán)活，數(shù)據(jù)價(jià)值難以充分釋放。

困難五：缺乏安全的數(shù)據(jù)環(huán)境，數(shù)據(jù)流程存在風(fēng)險(xiǎn)

倘若擁有龐大的數(shù)據(jù)資源，但缺乏安全的數(shù)據(jù)環(huán)境，同樣危險(xiǎn)重重。常見(jiàn)的安全風(fēng)險(xiǎn)包括數(shù)據(jù)泄露、數(shù)據(jù)濫用等，潛藏在數(shù)據(jù)的采集、存儲(chǔ)、共享等各個(gè)流程中。

困難六：缺乏數(shù)據(jù)治理體系，數(shù)據(jù)“不善用、不盡用”

部分金融機(jī)構(gòu)尚未建立起有效管理和應(yīng)用數(shù)據(jù)的模式，對(duì)數(shù)據(jù)服務(wù)和應(yīng)用缺乏合規(guī)性指導(dǎo)。由于法律法規(guī)尚不健全、數(shù)據(jù)治理體系還不完善、機(jī)構(gòu)合規(guī)意識(shí)不足，數(shù)據(jù)“不善用”的問(wèn)題突出，過(guò)度采集數(shù)據(jù)、違規(guī)使用數(shù)據(jù)、非法交易數(shù)據(jù)等問(wèn)題屢見(jiàn)不鮮。

概括而言，一是數(shù)據(jù)組織形態(tài)和架構(gòu)的問(wèn)題，即如何將數(shù)據(jù)納入統(tǒng)一視圖、讓數(shù)據(jù)跨業(yè)務(wù)共享;二是數(shù)據(jù)管理策略和安全的問(wèn)題，即如何提高數(shù)據(jù)的質(zhì)量、深化數(shù)據(jù)與應(yīng)用的融合、保障數(shù)據(jù)環(huán)境的安全;三是數(shù)據(jù)價(jià)值發(fā)現(xiàn)的問(wèn)題，即如何釋放數(shù)據(jù)價(jià)值。

面對(duì)上述困難和挑戰(zhàn)，金融機(jī)構(gòu)如何解困破局、實(shí)現(xiàn)數(shù)據(jù)有序治理和高效利用，數(shù)據(jù)治理之“道”成為迫在眉睫的問(wèn)題。

三大策略指引金融機(jī)構(gòu)從數(shù)據(jù)管理到數(shù)據(jù)治理轉(zhuǎn)型跨越

針對(duì)以上困難和挑戰(zhàn)，金融機(jī)構(gòu)如何制定數(shù)據(jù)治理策略、完善數(shù)據(jù)治理體系、做好數(shù)據(jù)資產(chǎn)管理和價(jià)值評(píng)估至關(guān)重要。所謂數(shù)據(jù)治理，就是處理數(shù)據(jù)的策略，即如何存儲(chǔ)、訪問(wèn)、驗(yàn)證、保護(hù)和使用數(shù)據(jù)。數(shù)據(jù)治理必須涵蓋數(shù)據(jù)的全生命周期，即從數(shù)據(jù)的獲取、存儲(chǔ)到管理、應(yīng)用再到歸檔、刪除的全流程。

按照數(shù)據(jù)生命周期的特點(diǎn)，可以將數(shù)據(jù)治理策略分為三個(gè)部分，即數(shù)據(jù)的獲取和存儲(chǔ)、數(shù)據(jù)的管理和安全、數(shù)據(jù)價(jià)值的釋放。

策略一：數(shù)據(jù)的獲取和存儲(chǔ)

數(shù)據(jù)生命周期管理的起點(diǎn)，是數(shù)據(jù)的獲取和存儲(chǔ)，這也是數(shù)據(jù)治理最先面對(duì)的環(huán)節(jié)。若要解決統(tǒng)一視圖、跨業(yè)務(wù)共享的問(wèn)題，需要對(duì)數(shù)據(jù)資源制定標(biāo)準(zhǔn)、建立模型，并確定元數(shù)據(jù)和主數(shù)據(jù)的存儲(chǔ)方式，可概括為數(shù)據(jù)標(biāo)準(zhǔn)管理、數(shù)據(jù)模型管理、元數(shù)據(jù)管理、主數(shù)據(jù)管理四個(gè)方面。

數(shù)據(jù)標(biāo)準(zhǔn)管理可確保大數(shù)據(jù)平臺(tái)數(shù)據(jù)的完整性、有效性、一致性、規(guī)范性，推動(dòng)數(shù)據(jù)共享開(kāi)放。數(shù)據(jù)模型管理將所有數(shù)據(jù)納入統(tǒng)一視圖，便于數(shù)據(jù)整合。元數(shù)據(jù)管理實(shí)現(xiàn)關(guān)鍵信息的追蹤、記錄和快速檢索。主數(shù)據(jù)管理實(shí)現(xiàn)跨系統(tǒng)使用一致的和共享的主數(shù)據(jù)，降低成本和復(fù)雜度。

策略二：數(shù)據(jù)的管理和安全

如何對(duì)數(shù)據(jù)進(jìn)行管理、評(píng)估和共享呢？這便進(jìn)入數(shù)據(jù)治理的第二階段，即數(shù)據(jù)的管理和安全，該階段的主要措施可概括為質(zhì)量管理、安全管理、共享管理等三個(gè)方面。

質(zhì)量管理幫助金融機(jī)構(gòu)獲得干凈、結(jié)構(gòu)清晰的數(shù)據(jù)，極大提升數(shù)據(jù)質(zhì)量;安全管理確保數(shù)據(jù)資產(chǎn)在“存、管、用”等環(huán)節(jié)中的安全，做到“事前可管、事中可控、事后可查”;數(shù)據(jù)共享管理通過(guò)搭建統(tǒng)一共享平臺(tái)，打通跨部門(mén)共享瓶頸，提高利用價(jià)值。

策略三：數(shù)據(jù)價(jià)值的釋放

數(shù)據(jù)治理的最終目的是釋放數(shù)據(jù)價(jià)值。數(shù)據(jù)價(jià)值管理是數(shù)據(jù)治理體系中的關(guān)鍵環(huán)節(jié)，是對(duì)數(shù)據(jù)內(nèi)在價(jià)值的度量，主要從數(shù)據(jù)資產(chǎn)的分類、使用頻次、使用對(duì)象、使用效果等方面計(jì)量。數(shù)據(jù)價(jià)值管理可以實(shí)現(xiàn)數(shù)據(jù)成本的有效控制，優(yōu)化數(shù)據(jù)服務(wù)方式，提高數(shù)據(jù)應(yīng)用價(jià)值。

以上各個(gè)環(huán)節(jié)之間環(huán)環(huán)相扣，只有緊密協(xié)同才能發(fā)揮更大作用。完善的數(shù)據(jù)治理體系幫助金融機(jī)構(gòu)找準(zhǔn)高質(zhì)量數(shù)據(jù)、深挖高價(jià)值數(shù)據(jù)，最終實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)效益最大化的目標(biāo)，解決金融機(jī)構(gòu)的數(shù)據(jù)治理之“困”。

軟件定義存儲(chǔ)助力數(shù)據(jù)治理體系建設(shè)

為構(gòu)建數(shù)據(jù)治理體系，金融機(jī)構(gòu)不僅要結(jié)合業(yè)務(wù)需求合理規(guī)劃，更要依托信息技術(shù)疏理數(shù)據(jù)內(nèi)容、安全存儲(chǔ)數(shù)據(jù)、高效利用數(shù)據(jù)，存儲(chǔ)系統(tǒng)必然是重要支撐。

現(xiàn)階段，多數(shù)金融機(jī)構(gòu)傾向于通過(guò)搭建數(shù)據(jù)湖（Data Lake）來(lái)存儲(chǔ)包括結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)在內(nèi)的數(shù)據(jù)資源，以供上層調(diào)用。這樣一來(lái)，軟件定義存儲(chǔ)（Software Defined Storage，簡(jiǎn)稱SDS）在金融機(jī)構(gòu)數(shù)據(jù)治理體系中，無(wú)疑扮演著重要角色。那么，什么是軟件定義存儲(chǔ)？軟件定義存儲(chǔ)、數(shù)據(jù)湖、數(shù)據(jù)治理之間有何關(guān)系呢？

本質(zhì)上，軟件定義存儲(chǔ)是提供存儲(chǔ)功能和特性的軟件，它將數(shù)據(jù)從硬件架構(gòu)上解放出來(lái)，使用戶專注于數(shù)據(jù)蘊(yùn)含的價(jià)值。軟件定義存儲(chǔ)通過(guò)統(tǒng)一的虛擬管理平臺(tái)，與前端應(yīng)用、管理程序、物理空間進(jìn)行交互，極大簡(jiǎn)化數(shù)據(jù)管理。數(shù)據(jù)湖是以自然格式存儲(chǔ)的數(shù)據(jù)的系統(tǒng)，一般包括結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)和二進(jìn)制數(shù)據(jù)等全部原始數(shù)據(jù)資源。簡(jiǎn)而言之，要實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)和管理的優(yōu)化，基于軟件定義存儲(chǔ)搭建統(tǒng)一數(shù)據(jù)湖無(wú)疑是極佳的選擇。如圖1所示，底層硬件設(shè)備提供物理存儲(chǔ)空間，存儲(chǔ)引擎統(tǒng)籌硬件資源搭建數(shù)據(jù)湖存儲(chǔ)，數(shù)據(jù)湖用來(lái)存儲(chǔ)所有的原始數(shù)據(jù)資源，數(shù)據(jù)湖引擎根據(jù)業(yè)務(wù)應(yīng)用的需求靈活調(diào)用數(shù)據(jù)湖中的數(shù)據(jù)，用以跨業(yè)務(wù)檢索或數(shù)據(jù)共享等，還可以通過(guò) AI、大數(shù)據(jù)分析等應(yīng)用挖掘數(shù)據(jù)價(jià)值。