寧波銀行：大數(shù)據(jù)應用進化論

諶力 王柏寒

近幾年銀行業(yè)處于業(yè)務(wù)轉(zhuǎn)型期，同時受到互聯(lián)網(wǎng)金融浪潮的沖擊，出現(xiàn)了利潤增速下滑、人才流失、金飯碗風光不再等現(xiàn)象……。不破不立，銀行業(yè)也一直在上下求索。面對新興金融科技公司以及互聯(lián)網(wǎng)領(lǐng)域巨頭的“攻城略地”，各家銀行機構(gòu)紛紛尋找自己的創(chuàng)新轉(zhuǎn)型方向，以期為大眾提供更加貼心、安全、高效的金融服務(wù)。寧波銀行在大數(shù)據(jù)時代下，積極擁抱智能金融，打造了“海王星”大數(shù)據(jù)平臺及基于此的創(chuàng)新應用體系。

寧波銀行作為一家區(qū)域銀行，之所以能順利實現(xiàn)FinTech落地，進行深度的數(shù)字化轉(zhuǎn)型，全在于厚積薄發(fā)，寧波銀行科技部把這個過程闡釋為技術(shù)應用的“進化論”?！叭缤祟惿鐣l(fā)展到現(xiàn)在并不是規(guī)劃出來的，而是遇到挑戰(zhàn)不斷解決問題進化成現(xiàn)在的形態(tài)。銀行的科技應用發(fā)展也是這個道理，我們會做規(guī)劃，但更多的是碰到問題不斷解決、不斷進化。在大數(shù)據(jù)的應用上，我行科技部與業(yè)務(wù)部門共同用大數(shù)據(jù)、人工智能等新技術(shù)拓展業(yè)務(wù)視角，促進業(yè)務(wù)發(fā)展，并在軟件研發(fā)、IT基礎(chǔ)設(shè)施等層面不斷解決問題，產(chǎn)生科技與業(yè)務(wù)的良性互動，實現(xiàn)大數(shù)據(jù)技術(shù)應用的進化?！?寧波銀行科技部總經(jīng)理沈棟告訴《新金融世界》記者。

早在2006年，寧波銀行就開始建設(shè)第一代支持行內(nèi)經(jīng)營管理分析、外部監(jiān)管報送的數(shù)據(jù)倉庫1.0，2013年為支持新巴塞爾III達標相關(guān)系統(tǒng)建設(shè)，寧波銀行建設(shè)數(shù)據(jù)倉庫2.0平臺并開始企業(yè)級數(shù)據(jù)治理工作。隨著大數(shù)據(jù)發(fā)展，傳統(tǒng)數(shù)據(jù)倉庫技術(shù)已難以滿足海量數(shù)據(jù)快速增長和計算處理方面的需求，2014年，寧波銀行確定開始探索和實踐全新的數(shù)據(jù)倉庫系統(tǒng)，三年多來，海王星大數(shù)據(jù)平臺的整個應用體系逐步落地。

不同于業(yè)內(nèi)以計算、存儲、查詢?yōu)橹饕δ艿拇髷?shù)據(jù)平臺，寧波銀行海王星大數(shù)據(jù)平臺包括一套基礎(chǔ)大數(shù)據(jù)處理平臺、一套自建的金融數(shù)據(jù)模型、五大輔助支撐系統(tǒng)、一套指標體系、多個大數(shù)據(jù)應用，形成了一套完整的銀行大數(shù)據(jù)應用體系。

“我行與大數(shù)據(jù)平臺同步推進的還有數(shù)據(jù)治理工程，并打通了業(yè)務(wù)應用的‘最后一公里，通過我行的‘智能數(shù)據(jù)積木產(chǎn)品，全面應用業(yè)務(wù)指標體系，現(xiàn)在業(yè)務(wù)部門能夠自己應用大數(shù)據(jù)工具進行數(shù)據(jù)分析、報表生成、風控審批以及數(shù)據(jù)來源和數(shù)據(jù)標準查詢等，這些操作IT部門完全不用參與，大數(shù)據(jù)應用已完全融入業(yè)務(wù)工作的方方面面?！鄙驐澑嬖V《新金融世界》記者。

據(jù)了解，目前海王星平臺已經(jīng)實現(xiàn)了對寧波銀行零售、對公、理財、資產(chǎn)管理、風控的全方位支持，并嵌入到多個已有業(yè)務(wù)系統(tǒng)中，與業(yè)務(wù)的運轉(zhuǎn)和管理緊密結(jié)合。目前，平臺上有效數(shù)據(jù)達150TB，每日運行40000多個作業(yè)。海王星大數(shù)據(jù)平臺已然成為行內(nèi)業(yè)務(wù)營銷、風控、管理、運營的利器，真正實現(xiàn)科技賦能業(yè)務(wù)的價值體現(xiàn)。

打造卓越大數(shù)據(jù)應用支撐體系

海王星大數(shù)據(jù)平臺作為銀行業(yè)首例完全以Hadoop技術(shù)為基礎(chǔ)架構(gòu)自主創(chuàng)新研發(fā)的新一代企業(yè)級數(shù)據(jù)倉庫平臺，不同于業(yè)內(nèi)部分應用開放架構(gòu)或者雙架構(gòu)（混合架構(gòu)）并行的實踐，海王星大數(shù)據(jù)平臺實現(xiàn)了全部應用系統(tǒng)的海量數(shù)據(jù)實時處理。

（一）開放架構(gòu)跨越數(shù)據(jù)處理瓶頸

“非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)，再加上互聯(lián)網(wǎng)外來數(shù)據(jù)混雜在一起，這引發(fā)出的計算瓶頸給數(shù)據(jù)分析帶來了很高難度，用傳統(tǒng)的數(shù)據(jù)倉庫平臺在應對企業(yè)級數(shù)據(jù)分析時局限性日益明顯，我行打造了基于Hadoop生態(tài)鏈開放架構(gòu)的大數(shù)據(jù)處理平臺來解決上述難題?！睂幉ㄣy行科技部高級經(jīng)理薛成峰告訴《新金融世界》記者。

寧波銀行科技部在研發(fā)海王星大數(shù)據(jù)平臺進行了大量新技術(shù)的嘗試，實現(xiàn)了多點突破。

第一，可跨數(shù)據(jù)源，即不僅可以查本行存儲的數(shù)據(jù)，也可跨系統(tǒng)安全訪問其它外部數(shù)據(jù)。第二，海王星平臺輸入、輸出結(jié)果可以更全面，更詳盡，更迅速，傳統(tǒng)技術(shù)方案在億級數(shù)據(jù)量，幾百個關(guān)鍵字任意組合查詢的場景下，根本不可能實現(xiàn)即時查詢，而海王星能實現(xiàn)秒級返回，極大提升用戶體驗。第三，相比傳統(tǒng)架構(gòu)，海王星平臺的單任務(wù)效率提升10倍以上，運行時間窗口縮短60%，響應性能大幅提升，速度快、成本低，真正實現(xiàn)提高“效”和“率”。

為保證Hadoop架構(gòu)在數(shù)據(jù)倉庫領(lǐng)域的有效落地應用，推動基于數(shù)據(jù)標準打造數(shù)據(jù)指標化和各類數(shù)據(jù)應用，寧波銀行科技部突破諸多技術(shù)難點：

·改造、優(yōu)化傳統(tǒng)數(shù)據(jù)倉庫業(yè)務(wù)邏輯處理的ETL算法，解決Hadoop平臺SQL語法支持不完善的問題。

·自主研發(fā)統(tǒng)一開發(fā)IDE、項目運維管理平臺、統(tǒng)一調(diào)度與監(jiān)控平臺、數(shù)據(jù)管理平臺、異構(gòu)數(shù)據(jù)類型及不同協(xié)議的外部數(shù)據(jù)統(tǒng)一接入平臺。

·自主實現(xiàn)大數(shù)據(jù)平臺的統(tǒng)一批處理框架。

（二）金融數(shù)據(jù)模型

“數(shù)據(jù)倉庫數(shù)據(jù)模型是大數(shù)據(jù)應用的靈魂和基石，寧波銀行在應用了2、3年國外成熟數(shù)據(jù)模型之后，發(fā)現(xiàn)與國內(nèi)和行內(nèi)的情況并不是很契合。在與國內(nèi)多家大中型銀行交流后，決定自主建設(shè)面向應用，適合銀行業(yè)務(wù)快速發(fā)展，長效適配的數(shù)據(jù)模型?！?薛成峰說。

在國外成熟模型的基礎(chǔ)上，寧波銀行全面優(yōu)化改造適應于國內(nèi)銀行的企業(yè)級數(shù)據(jù)模型，模型充分融合了互聯(lián)網(wǎng)時代諸如大數(shù)據(jù)分析、云計算、移動金融等多個新元素，建成后又多次邀請先進同業(yè)數(shù)據(jù)倉庫模型領(lǐng)域的資深專家進行評審，得到普遍好評。

目前基于大數(shù)據(jù)平臺的新模型已覆蓋當事人、協(xié)議、事件、財務(wù)、代碼等十大主題，超過300個實體，字段數(shù)據(jù)達到5600個。模型特點分為四點。

·企業(yè)級：一個統(tǒng)一的、共享的基礎(chǔ)數(shù)據(jù)平臺；

·動態(tài)：一個可擴展的模型能夠經(jīng)得住時間的考驗；

·中性：設(shè)計基于能夠滿足各種不同的分析邏輯的要求的理念；

·持久性：數(shù)據(jù)具有可追溯性、不損失。

（三）輔助支撐系統(tǒng)

圍繞數(shù)據(jù)倉庫實施方法論，寧波銀行研發(fā)了相關(guān)系統(tǒng)與工具，構(gòu)建了涵蓋開發(fā)、打包、投產(chǎn)、運維、調(diào)度、監(jiān)控流程的完整數(shù)據(jù)倉庫解決方案，以保證數(shù)據(jù)倉庫在大數(shù)據(jù)平臺的落地，以及更有效的開發(fā)與管理，同時針對互聯(lián)網(wǎng)多類型的數(shù)據(jù)接入和管理，研發(fā)了外部數(shù)據(jù)統(tǒng)一接入系統(tǒng)。具體內(nèi)容和優(yōu)勢表現(xiàn)為以下幾方面。

·開發(fā)IDE ：提供標準化代碼開發(fā)框架和公共函數(shù)，開發(fā)測試流程平臺化且支持語法自動檢查，降低開發(fā)者入門門檻，提升開發(fā)效率。

·運維管理：提供數(shù)據(jù)加載配置，平臺項目管理，投產(chǎn)管理，性能監(jiān)控等功能，提升平臺管理水平及效率。

·數(shù)據(jù)管理：提供元數(shù)據(jù)、數(shù)據(jù)標準、血緣、數(shù)據(jù)質(zhì)量進行全方位管控，對大數(shù)據(jù)平臺的數(shù)據(jù)管理形成閉環(huán)。

· 統(tǒng)一調(diào)度與監(jiān)控系統(tǒng)：提供跨平臺、多任務(wù)的批處理任務(wù)調(diào)度、管理，保障數(shù)據(jù)處理高效、穩(wěn)定，既能自動監(jiān)控，又能及時提醒。

·外部數(shù)據(jù)統(tǒng)一接入：提供行外多類型、多協(xié)議的數(shù)據(jù)統(tǒng)一接入，以及標準化行內(nèi)數(shù)據(jù)共享服務(wù)，具有良好的功能可擴展性，為行內(nèi)系統(tǒng)提供共享服務(wù)，易于管理和維護的外部數(shù)據(jù)接入平臺。

深植數(shù)據(jù)基因，展現(xiàn)業(yè)務(wù)價值

在打造堅實的大數(shù)據(jù)處理平臺和基礎(chǔ)配套體系的同時，寧波銀行在多個業(yè)務(wù)領(lǐng)域進行了大數(shù)據(jù)應用，讓業(yè)務(wù)部門能夠自發(fā)地應用數(shù)據(jù)分析、數(shù)據(jù)挖掘，這是一個說起來輕松，但做起來很難的事情。寧波銀行讓這道難題迎刃而解。

寧波銀行科技部為業(yè)務(wù)部門打造了自主分析的平臺入口，業(yè)務(wù)部門能夠登錄到海王星平臺做數(shù)據(jù)分析的“探索發(fā)現(xiàn)”，能夠自主分析實現(xiàn)端到端的業(yè)務(wù)場景。例如，進去以后首先可以看到海王星里面有多少數(shù)據(jù)，科技部門提供一些工具讓業(yè)務(wù)人員查詢數(shù)據(jù)，查出來了以后可以進一步分析。業(yè)務(wù)部門自主分析覆蓋了行內(nèi)不同角色、不同的工作需求。

（一）大數(shù)據(jù)風控

“基于近幾年大數(shù)據(jù)應用能力的增長，我行的大數(shù)據(jù)風控已經(jīng)從貸后風控升級到貸款風險預警、自動化線上實時貸款風控與審批，一分鐘實現(xiàn)網(wǎng)貸發(fā)放?！?img src="https://cimg.fx361.com/images/2022/10/03/qkimagesxjrsxjrs201804xjrs20180411-2-l.jpg"/>

近幾年銀行業(yè)連續(xù)爆出不良，外部數(shù)據(jù)眾多、日增量較大、需覆蓋范圍廣，傳統(tǒng)方法監(jiān)控成本過高，排查難度和負擔過大。寧波銀行基于海王星平臺的大數(shù)據(jù)風控應用可極大提升風險管理水平?！?我們把基于海王星平臺的大數(shù)據(jù)風控系統(tǒng)稱為‘天王星，其優(yōu)勢體現(xiàn)在多個方面，一是是方便快捷，現(xiàn)有APP、微信、和網(wǎng)頁等多個版本，支持實時查詢；二是合作機構(gòu)包括人行、證監(jiān)、主要大型互聯(lián)網(wǎng)企業(yè)等，數(shù)據(jù)來源豐富，結(jié)果可靠，概括為八個字就是及時、主動、全面、準確。” 寧波銀行科技部高級經(jīng)理沈甬泉告訴《新金融世界》記者。

“在2015年9月大數(shù)據(jù)風控剛上線時，即顯現(xiàn)出了效果。例如，某家曾多次獲獎的明星食品生產(chǎn)企業(yè)是我行優(yōu)質(zhì)貸款授信客戶，當大數(shù)據(jù)風控將該企業(yè)“食品生產(chǎn)許可被吊銷“的消息推送給銀行業(yè)務(wù)經(jīng)理要求核實時，從企業(yè)得到的答復卻是一切正常。然后，沒過兩個月，該企業(yè)就因市政規(guī)劃原因，在建的市區(qū)工廠被關(guān)閉，在該企業(yè)喪失了主營業(yè)務(wù)收入后，很快資金流動困難，失去還款能力。不過慶幸的是，我行因為及時掌控預警信息，經(jīng)調(diào)查后收回貸款，避免產(chǎn)生不良業(yè)務(wù)。”

目前，寧波銀行的大數(shù)據(jù)風控服務(wù)已從單一的協(xié)助貸后風險預警，演進成高風險客戶過濾、客戶反欺詐、貸前風險排查、實時風控與審批、貸后預警排查與推送等系統(tǒng)化功能服務(wù)。

沈甬泉說：“回過頭來看，行內(nèi)業(yè)務(wù)管理對大數(shù)據(jù)風控的接受過程經(jīng)歷了三個階段，2015年時想這個系統(tǒng)是什么、有沒有用？之后是證明好像有用；2016年開始發(fā)現(xiàn)對工作有明顯幫助；2017年總行要求各分行、各業(yè)務(wù)條線、風險條線或者被認為是有風險表現(xiàn)的部分，都要預先使用大數(shù)據(jù)系統(tǒng)進行風險評估測試，最后行領(lǐng)導更是直接要求所有的業(yè)務(wù)必須先通過系統(tǒng)審查再作進一步處理。三年時間經(jīng)歷了整個觀念的逆轉(zhuǎn)和改變?！?/p>

現(xiàn)在在內(nèi)外部數(shù)據(jù)結(jié)合的情況下，寧波銀行風險預警系統(tǒng)整合了 15 大類外部信息， 30余套行內(nèi)系統(tǒng)風控數(shù)據(jù)和 10 余項專網(wǎng)數(shù)據(jù)，積累了1000 多萬條風險信息，建設(shè)完成了針對客戶、業(yè)務(wù)、行為、擔保物的全生命周期的風險管理，搭建了非零售內(nèi)評、零售內(nèi)評、風險緩釋、大數(shù)據(jù)風控、發(fā)債評級、信貸預警、客戶反欺詐、交易反欺詐等風險分析類系統(tǒng)群。通過風險建模和人工經(jīng)驗知識寫入機器語言總結(jié)出30000 多個風險信號，對客戶實現(xiàn)有效預警，準確率達20%以上，成為風險管理的有效利器。2017年，通過監(jiān)測分析數(shù)據(jù)的異常變化，貸前否決上百戶，涉及金額幾十億，貸后有效預警數(shù)百戶，金額50多億，有效識別并控制了信貸風險。

（二）大數(shù)據(jù)營銷、經(jīng)營管理和其它方面

營銷管理方面，寧波銀行借助海王星平臺對非結(jié)構(gòu)化、海量數(shù)據(jù)的處理能力，落地客戶標簽，借助數(shù)據(jù)挖掘，提升營銷的主動性，提升營銷效率；提高個性化營銷能力，提升營銷精準度；提高營銷響應速率，及時獲取客戶異動信息。行內(nèi)平均每年有上百個數(shù)據(jù)分析挖掘項目，營銷成功提升率在50～200%之間，這些營銷場景的事件性營銷和名單式營銷上有著尤其明顯的改善作用，

經(jīng)營管理方面，通過海王星平臺，大大提高分析報表的數(shù)據(jù)時效性，讓經(jīng)營管理人員及時掌握業(yè)務(wù)數(shù)據(jù)，提供自主分析平臺，結(jié)合指標管理，供業(yè)務(wù)部門自主分析端到端的業(yè)務(wù)場景，從而提高整體作業(yè)運行效率，做出更精準的決策。數(shù)據(jù)驅(qū)動業(yè)務(wù)管理、業(yè)務(wù)拓展是大數(shù)據(jù)思維、大數(shù)據(jù)文化發(fā)展的必然結(jié)果。

其他方面，不同的用戶組有不同的需求， 他們既是支持的對象，也是實現(xiàn)投資回報的方式。因此理解并滿足他們的需求是至關(guān)重要的，大數(shù)據(jù)應用平臺支持各類數(shù)據(jù)使用者，具有廣泛適用性。

實現(xiàn)數(shù)據(jù)治理的最后一公里

對于數(shù)據(jù)治理的工作，我國銀行業(yè)在10年前就已經(jīng)提倡和開展了，但面臨著數(shù)據(jù)溯源、統(tǒng)一指標等難題，真正落地的很少。寧波銀行通過海王星大數(shù)據(jù)平臺，一方面解決了行里每天產(chǎn)生幾千萬條到上億條數(shù)據(jù)的追蹤溯源，另一方面通過“數(shù)據(jù)智能積木”平臺，梳理和構(gòu)建全行統(tǒng)一指標體系，讓數(shù)據(jù)治理能為日常業(yè)務(wù)工作帶來實效。

至2017年年底，寧波銀行已完成客戶、公共代碼、機構(gòu)等基礎(chǔ)主題數(shù)據(jù)治理和風險管理、客戶管理及營銷等相關(guān)數(shù)據(jù)治理工作。數(shù)據(jù)治理大幅提升銀行數(shù)據(jù)質(zhì)量，滿足了當前業(yè)務(wù)經(jīng)營風險管控方面的多元化要求，同時為寧波銀行大數(shù)據(jù)應用奠定堅實基礎(chǔ)。

寧波銀行以數(shù)據(jù)標準為基礎(chǔ)，以數(shù)據(jù)指標為依托，實現(xiàn)報表開發(fā)標準化、規(guī)范化、自主化、圖形化，提升報表開發(fā)模式的轉(zhuǎn)型，形成閉環(huán)以提升全行統(tǒng)計數(shù)據(jù)的準確性、使用的便利性。以指標體系為例，“數(shù)據(jù)百度”是依托海王星平臺開發(fā)的數(shù)據(jù)標準的搜索查詢應用，在原來只可以搜索統(tǒng)計標準的基礎(chǔ)上進一步的升級，支持直接搜索到統(tǒng)計指標信息，對搜索到的統(tǒng)計指標可以加入到收藏夾中以備后續(xù)查看實際數(shù)據(jù)；有快速報表需求時，選擇一個或多個統(tǒng)計指標后，可直接在線展示各項指標的系統(tǒng)取數(shù)結(jié)果；平臺還提供了定制報表功能，進一步滿足日常工作對報表個性化設(shè)置的需求。

為推動大數(shù)據(jù)應用融入日常業(yè)務(wù)工作，以“海王星”大數(shù)據(jù)平臺的海量數(shù)據(jù)、高效處理能力為基礎(chǔ)，實現(xiàn)了數(shù)據(jù)可視化功能，借助可視化產(chǎn)品工具，方便操作人員，尤其是業(yè)務(wù)部門的使用者直觀明了的拖放產(chǎn)品分析數(shù)據(jù)，方便快速美觀的得到結(jié)果數(shù)據(jù)。

觸發(fā)行業(yè)先機，問道智能未來

在建設(shè)完整的大數(shù)據(jù)應用體系過程中，除了海量處理平臺的IT基礎(chǔ)能力和多業(yè)務(wù)場景應用的能力，寧波銀行還在數(shù)據(jù)挖掘這一尖端領(lǐng)域自主創(chuàng)新，創(chuàng)建了DVA（Data Value Added）模型，在個性化營銷和服務(wù)、產(chǎn)品優(yōu)化和精準投放、潛客的發(fā)掘、高價值客戶的流失預警、大數(shù)據(jù)風控等方面都發(fā)揮著巨大的作用，三年累計創(chuàng)造數(shù)千萬DVA。

例如在大數(shù)據(jù)獲客領(lǐng)域，能夠根據(jù)分支行所在區(qū)域的經(jīng)濟發(fā)展情況，通過引入外部數(shù)據(jù)，為各條線提供潛在客群名單，并結(jié)合分支行自身經(jīng)營情況，刻畫全面的支行畫像，支持分支行空中（E銷）地面（上門）多層次名單制營銷。例如在存量客戶提升領(lǐng)域，能夠深入分析存量客戶的特征和需求，挖掘產(chǎn)品高響應精準名單，并提供個性化服務(wù)、交叉營銷、客戶挽留以及價值評價服務(wù)。

DVA模型的創(chuàng)建標志著寧波銀行已經(jīng)從大數(shù)據(jù)的具體單點應用上升到金融業(yè)務(wù)應用方法論的高度，即通過DVA模型的建立、業(yè)務(wù)應用的實踐檢驗和反饋形成不斷優(yōu)化完善的行業(yè)方法論。

基于海王星大數(shù)據(jù)平臺的創(chuàng)新銀行大數(shù)據(jù)應用體系，其擁有一體化數(shù)據(jù)質(zhì)量管控、健全的數(shù)據(jù)安全控制體系和靈活的數(shù)據(jù)處理調(diào)度機制，在數(shù)據(jù)處理、風險管控、運營維護等諸多方面展示著重要的存在價值和意義。寧波銀行的創(chuàng)新化研究和實踐過程可作為國內(nèi)外現(xiàn)代中小型銀行轉(zhuǎn)型參考和科技創(chuàng)新學習方向。今天，“量身打造”的金融服務(wù)不再是新鮮話題，寧波銀行也將繼續(xù)問道智能未來，為更好地滿足用戶需求，進一步打造AI時代下的智能銀行。