數(shù)據(jù)重塑金融業(yè)金融大數(shù)據(jù)平臺占盡先機

曾巍奕

在數(shù)據(jù)為王的時代，金融大數(shù)據(jù)被譽為“待挖掘的金礦”，其價值已經(jīng)成為共識。自從2014年大數(shù)據(jù)首次作為國家戰(zhàn)略被寫入政府工作報告，金融機構(gòu)不斷引入大數(shù)據(jù)平臺、構(gòu)建大數(shù)據(jù)體系。

如今大數(shù)據(jù)早已成為金融機構(gòu)核心競爭力的關(guān)鍵一環(huán)，其中，數(shù)據(jù)中臺、大數(shù)據(jù)平臺已經(jīng)成為了金融機構(gòu)全面數(shù)字化轉(zhuǎn)型的關(guān)鍵，金融機構(gòu)服務客戶、創(chuàng)新產(chǎn)品、內(nèi)部管理等都越來越依賴“數(shù)字”。值得關(guān)注的是，近幾年數(shù)據(jù)中臺興起，成為金融行業(yè)的話題之王，大數(shù)據(jù)平臺被談論得相對較少。隨著云計算、AI等技術(shù)的興起與大數(shù)據(jù)的融合加深，大數(shù)據(jù)平臺已經(jīng)站在了新的關(guān)口。

新關(guān)口

大數(shù)據(jù)技術(shù)加人工智能等技術(shù)的應用，正在讓銀行的數(shù)據(jù)變成銀行的高價值資產(chǎn)，推動科技賦能和場景應用創(chuàng)新，進而推動內(nèi)部IT系統(tǒng)的重構(gòu)和銀行的組織架構(gòu)變革?！敖⒔∪髽I(yè)級大數(shù)據(jù)平臺，充分釋放大數(shù)據(jù)作為基礎性戰(zhàn)略資源的核心價值?！毖胄杏“l(fā)的《金融科技（FinTech）發(fā)展規(guī)劃（2019-2021年）》曾提到。

何為大數(shù)據(jù)平臺？根據(jù)2021年12月29日發(fā)布的《金融大數(shù)據(jù)平臺總體要求》（下稱《要求》）的定義，金融大數(shù)據(jù)平臺是企業(yè)級、分布式、開放、統(tǒng)一的大數(shù)據(jù)平臺，應包括數(shù)據(jù)接入、數(shù)據(jù)存儲、數(shù)據(jù)處理、數(shù)據(jù)分析及數(shù)據(jù)服務相關(guān)組件。而金融大數(shù)據(jù)平臺的總體目標是幫助金融機構(gòu)更高效、更快速地完成金融大數(shù)據(jù)應用的開發(fā)、部署和管理，從以交易為中心轉(zhuǎn)向以數(shù)據(jù)為中心，以應對更多維、更大量、更實時的數(shù)據(jù)和互聯(lián)網(wǎng)業(yè)務的挑戰(zhàn)。

談到大數(shù)據(jù)計算技術(shù)，不能繞開的就是開源大數(shù)據(jù)套件Apache Hadoop。2008年Hadoop功能孵化完整之后，Cloudera（商業(yè)化公司）推出了自己的Hadoop發(fā)行版CDH。CDH同樣開源，但是在穩(wěn)定性、管理、部署、運維等方面對用戶更為友好，為Hadoop落地帶來了幫助。

2011年左右，Hadoop技術(shù)進入成熟期，加上互聯(lián)網(wǎng)金融興起數(shù)據(jù)量極速膨脹，傳統(tǒng)的數(shù)據(jù)系統(tǒng)已經(jīng)滿足不了金融機構(gòu)的需求，于是具有分布式特征的Hadoop系統(tǒng)進入到這些機構(gòu)的選擇清單。而金融機構(gòu)密集落地基于Hadoop的大數(shù)據(jù)平臺，還要在2年之后。例如，農(nóng)行在2013年開始建設自主可控的大數(shù)據(jù)平臺，最終選定的就是MPP數(shù)據(jù)庫+Hadoop混搭的架構(gòu)；2014年工行正式基于Hadoop技術(shù)建設了大數(shù)據(jù)平臺。

2015年之后，移動互聯(lián)推進客戶行為模式加速變革，金融機構(gòu)進入到數(shù)字化轉(zhuǎn)型新時期，不僅是處理越來越海量的數(shù)據(jù)，而是要應對客戶行為模式變化對客戶數(shù)據(jù)進行分析，對客戶進行精準營銷等。此時很多機構(gòu)將數(shù)據(jù)分析等功能切換到了Hadoop系統(tǒng)上。

中國信通院2019年對測試的40～50款大數(shù)據(jù)平臺的統(tǒng)計顯示，其中基于CDH和HDP社區(qū)版二次研發(fā)的產(chǎn)品占70 %以上。

當前大數(shù)據(jù)平臺正站在新的關(guān)口。一方面，Cloudera此前宣布在2021年底和2022年3月結(jié)束CDH6和HDP3的服務支持，轉(zhuǎn)而推出新的產(chǎn)品CDP。這就意味著，金融機構(gòu)以往使用的CDH和HDP系統(tǒng)面臨全面的遷移，急需新的替代解決方案。另一方面，金融科技信創(chuàng)浪潮之下，金融機構(gòu)大數(shù)據(jù)平臺國產(chǎn)化是一個趨勢性選擇。央行《金融科技發(fā)展規(guī)劃（2022-2025年）》要求，要加快制定并組織實施金融業(yè)關(guān)鍵軟硬信息基礎設施安全規(guī)劃，切實提高金融業(yè)關(guān)鍵軟硬信息基礎設施安全保障能力。

在這樣的背景下，金融機構(gòu)大數(shù)據(jù)平臺該何去何從？就在這個新的關(guān)口，國內(nèi)第三方金融科技廠商站了出來，憑借自身多年積累的能力和經(jīng)驗，提供豐富的金融機構(gòu)大數(shù)據(jù)平臺解決方案。

新趨勢

除了行業(yè)環(huán)境的變化，大數(shù)據(jù)平臺技術(shù)也呈現(xiàn)出了一些新的趨勢，使得金融機構(gòu)對大數(shù)據(jù)平臺提出了更高的要求和使命。

一是融合。大數(shù)據(jù)與云計算、AI等技術(shù)的融合，使得平臺部署在云上已經(jīng)是一個大趨勢。不過由于金融行業(yè)對公有云使用有風險安全的考量，目前更多是混合云架構(gòu)為主。Cloudera的CDP就是一個混合云/多云的大數(shù)據(jù)平臺。另外是與AI的融合。如AI的智能算法等可以運用到大數(shù)據(jù)里面去，一方面大數(shù)據(jù)給AI提供數(shù)據(jù)上的支撐；另一方面，AI使用的一些常規(guī)的算法可以反哺到大數(shù)據(jù)平臺上面，去結(jié)合大數(shù)據(jù)的數(shù)據(jù)特性，可以給客戶進行精準的產(chǎn)品推薦。IDC中國發(fā)布2021H1大數(shù)據(jù)平臺市場份額報告顯示，整體市場規(guī)模達54.2億元人民幣，相比去年同期增速為43.5 %，“市場增長的驅(qū)動力來源于數(shù)字化轉(zhuǎn)型、人工智能的部署、行業(yè)云的建設以及新基建的政策驅(qū)動等”。

二是實時性。金融機構(gòu)經(jīng)過多年對大數(shù)據(jù)平臺的布局，基礎架構(gòu)已慢慢成型，支撐其業(yè)務場景高效率成為新的需求。當前，隨著大數(shù)據(jù)與云計算、AI等技術(shù)的深度融合，市場也有關(guān)鍵認為“大數(shù)據(jù)”正在快步走向“快數(shù)據(jù)”時代。對于金融機構(gòu)而言，就是提升大數(shù)據(jù)的“實時性”。例如，工行在2020年就開始建設大數(shù)據(jù)高時效類場景，即大數(shù)據(jù)平臺內(nèi)部除了批量計算之外，還需要實時計算、聯(lián)機分析、數(shù)據(jù)API等平臺，縮短數(shù)據(jù)端到端閉環(huán)時間，形成聯(lián)機高并發(fā)的訪問能力，提升數(shù)據(jù)賦能業(yè)務的時效。

三是前瞻性。大數(shù)據(jù)平臺支撐金融機構(gòu)更加了解客戶，也可以為客戶提供服務做前瞻性布局。《要求》里面也提到，金融大數(shù)據(jù)平臺具體功能技術(shù)可以劃分為基本要求和增強要求。其中，增強要求是從技術(shù)的發(fā)展趨勢和金融用戶的前瞻性需求入手提出的。這意味著，金融機構(gòu)需要從客戶需求的上前瞻性地提升大數(shù)據(jù)平臺的構(gòu)建。

最后則是安全性。無論是使用的大數(shù)據(jù)平臺技術(shù)的自主可控安全，還是對數(shù)據(jù)本身的安全要求，都被提到了更高的高度。這對金融機構(gòu)選擇或構(gòu)建大數(shù)據(jù)平臺合作提出了更高的要求。

隨著第三方廠商的加入，讓金融機構(gòu)在技術(shù)自主可控的層面有了更多的選擇。國產(chǎn)化趨勢給第三方服務商迎來戰(zhàn)略機遇期。網(wǎng)易數(shù)帆推出的有數(shù)數(shù)據(jù)開發(fā)及管理平臺———一站式大數(shù)據(jù)管理及開發(fā)平臺，包含大數(shù)據(jù)平臺與數(shù)據(jù)中臺兩大核心部分，主要覆蓋大數(shù)據(jù)開發(fā)，任務調(diào)度，數(shù)據(jù)質(zhì)量，數(shù)據(jù)治理及數(shù)據(jù)服務。

大數(shù)據(jù)平臺層實質(zhì)上也是Hadoop發(fā)行版，相比社區(qū)版本集成了Spark最新版本且擁有完善的權(quán)限管控以及審計能力，可以大幅提高業(yè)務離線ETL效率。此外，數(shù)帆針對Impala組件進行了大量的功能增強以及性能優(yōu)化，保障了使用過程中的穩(wěn)定性以及性能。

值得關(guān)注的是，國產(chǎn)化產(chǎn)品能否滿足金融機構(gòu)的需求？金融機構(gòu)如何選擇大數(shù)據(jù)平臺的新方向？

新選擇

要回答這個問題，就要先理清金融機構(gòu)目前需要什么。

首先，金融科技自主可控、數(shù)據(jù)安全可控、成本控制、快速的服務反應是金融機構(gòu)當前對大數(shù)據(jù)平臺需求的關(guān)鍵詞。金融以安全為主，其數(shù)據(jù)安全和業(yè)務連續(xù)性保障的技術(shù)要求通常高于其他行業(yè)。例如，在控制成本上，某家金融機構(gòu)自身IT技術(shù)實力較強，其集群十幾個，節(jié)點數(shù)預計上百，現(xiàn)階段數(shù)據(jù)平臺有上百萬軟件合作的費用。另外使用CDH版本不再更新，需要專門培養(yǎng)一批團隊負責維護，也會增加成本。這就使得大數(shù)據(jù)平臺的基礎軟件金融機構(gòu)往往是選擇第三方廠商產(chǎn)品。面對這樣的情況，金融機構(gòu)或繼續(xù)往CDP遷移，或選擇國產(chǎn)化技術(shù)的大數(shù)據(jù)平臺基礎軟件進行遷移。

其次，無論選擇何種產(chǎn)品，金融機構(gòu)會關(guān)注大數(shù)據(jù)平臺產(chǎn)品的“普及度”，即使用的底層平臺是否是具有高普及度的，例如Hadoop、Spark等。此外他們更希望產(chǎn)品具有開源的性質(zhì)?！敖鹑跈C構(gòu)對大數(shù)據(jù)整套系統(tǒng)的依賴性越來越明顯?！本W(wǎng)易數(shù)帆大數(shù)據(jù)基礎技術(shù)平臺負責人、資深架構(gòu)師蔣鴻翔表示，大數(shù)據(jù)平臺是建立在一個低成本的服務器的基礎之上，可以無限分布式擴展的，所以其成本、擴展性以及穩(wěn)定性都是金融機構(gòu)很好的選擇。

除了產(chǎn)品本身，金融機構(gòu)越來越注重第三方金融科技公司的實力以及產(chǎn)品的服務，強大的技術(shù)支撐，全面的生態(tài)兼容、及時響應漏洞修復、快速更新迭代等都是供應商需要具備的能力。

以網(wǎng)易數(shù)帆的有數(shù)數(shù)據(jù)開發(fā)及管理平臺為例，即擁有開源的底座，并且支持兼容CDH核心組件生態(tài)，且在此基礎上根據(jù)技術(shù)發(fā)展趨勢進行了部分組件升級以及擴展，支持金融機構(gòu)的定制化需求，例如在一個標準產(chǎn)品的項目里，還能支持20 %～30 %的定制開發(fā)需求。在與某證券公司共建大數(shù)據(jù)平臺的過程中，網(wǎng)易數(shù)帆主要就數(shù)據(jù)管理、安全中心、數(shù)據(jù)標準、數(shù)據(jù)質(zhì)量等幾大子模塊推動開發(fā)合作，同時會依據(jù)證券行業(yè)自身的特殊需求進行定制，如用戶畫像的增強、典型的交易日調(diào)度，即數(shù)據(jù)僅在交易日加工等，從而形成更符合行業(yè)特性的平臺解決方案。目前，網(wǎng)易數(shù)帆已服務多家金融行業(yè)客戶，包括某國有銀行金融科技子公司、華泰證券、東北證券、華夏理財、華福證券等，落地性得到充分驗證。

在大數(shù)據(jù)平臺這個時間關(guān)口上線契合當前金融機構(gòu)需求的產(chǎn)品，主要也來源于網(wǎng)易數(shù)帆在大數(shù)據(jù)領域深耕多年，積累了完善的大數(shù)據(jù)研發(fā)生態(tài)體系以及豐富的生產(chǎn)線運維經(jīng)驗。

大數(shù)據(jù)技術(shù)的研發(fā)需要的是強大的科技人才隊伍的支撐。網(wǎng)易數(shù)帆當前大數(shù)據(jù)平臺和數(shù)據(jù)中臺團隊人數(shù)已達數(shù)百人，能夠提供技術(shù)支持、客戶運維、核心研發(fā)三位一體的服務保障。本身技術(shù)過硬、產(chǎn)品兼容性強再加上服務的優(yōu)勢，網(wǎng)易數(shù)帆的大數(shù)據(jù)平臺產(chǎn)品已經(jīng)受到了多家金融機構(gòu)的關(guān)注。

“很多金融客戶，傾向于云計算私有化部署，所以數(shù)帆在金融行業(yè)大數(shù)據(jù)平臺往云化部署的場景下稍微來說會慢一些。在非金融行業(yè)，其實我們已經(jīng)往云平臺方向去轉(zhuǎn)了。”蔣鴻翔表示。

根據(jù)statista的測算，2019年全球Hadoop和大數(shù)據(jù)市場規(guī)模約在340億美金左右，且5年復合年增長率高達28.5 %。隨著金融行業(yè)數(shù)字化轉(zhuǎn)型的深度推進，金融機構(gòu)對大數(shù)據(jù)依賴性越來越強，大數(shù)據(jù)平臺的這塊市場蛋糕還會越來越大。

擁有國產(chǎn)化大數(shù)據(jù)平臺的技術(shù)廠商帶著新的產(chǎn)品進入市場，對金融行業(yè)而言是必然選擇，率先布局的金融機構(gòu)有望更早占得先機。