商業(yè)銀行大數(shù)據(jù)六問六策

謝爾曼 黃旭

“大數(shù)據(jù)（Big Data）”的概念在過去幾年里引起了各個行業(yè)的充分關注。以信息處理能力作為核心競爭力之一的商業(yè)銀行，如能引入大數(shù)據(jù)的理念和相關技術，將有效提升自身的信息化水平，促進信息化銀行的建設和發(fā)展。因此，有必要基于商業(yè)銀行經(jīng)營特點和現(xiàn)有IT架構，對“大數(shù)據(jù)”的概念加以分析和探討。本文以商業(yè)銀行的視角，從大數(shù)據(jù)的核心思想、數(shù)據(jù)特點、技術要領、實施要點四個方面切入，以六組問答的形式對商業(yè)銀行大數(shù)據(jù)相關的思想、概念、方法、對策等進行辨析和討論。

大數(shù)據(jù)的核心在于“大”嗎？

體量大、維度高、形態(tài)多、價值高但密度低是公認的大數(shù)據(jù)四大特點（即大數(shù)據(jù)的“4V”定義）。需要指出的是，這四大特點的概括，是出于理論研究的需要，對“數(shù)據(jù)”本身特點進行的概括。而對于商業(yè)銀行的業(yè)務應用而言，則應從具體效用的角度來理解大數(shù)據(jù)思想及技術。

大數(shù)據(jù)之于商業(yè)銀行，在于對既有數(shù)據(jù)分析系統(tǒng)的升級，顯著提升數(shù)據(jù)分析和商業(yè)決策的效率。大數(shù)據(jù)的思想追求數(shù)據(jù)在商業(yè)決策中的“無處不在”，講求數(shù)據(jù)分析與具體業(yè)務的緊密銜接。從商業(yè)智能（Business Intelligence， BI）的角度來看，大數(shù)據(jù)技術是原有BI的升級，將傳統(tǒng)的“具體業(yè)務—商業(yè)數(shù)據(jù)—BI分析—報表—決策—具體業(yè)務”的BI流程進行了再造，壓縮了整個流程的信息鏈條，同時提升了鏈條各個環(huán)節(jié)及整體的運轉(zhuǎn)效率。

大數(shù)據(jù)之于商業(yè)銀行，在于提供了一種有效的手段，提高商業(yè)銀行對客戶的理解與認知能力。大數(shù)據(jù)技術支持商業(yè)銀行對大量日志數(shù)據(jù)進行統(tǒng)計和建模，從而了解客戶的行為習慣、風險偏好、健康情況、消費能力、渠道喜好、信用狀況及人口統(tǒng)計學等多方面的信息，進而為客戶“貼標簽”、“畫像”;亦可整合多種信息反饋渠道的數(shù)據(jù)，幫助商業(yè)銀行實時關注、理解客戶的真正業(yè)務需求。

大數(shù)據(jù)之于商業(yè)銀行，在于能夠低成本、批量地實現(xiàn)較高水準的個性化客戶服務，增加客戶粘性。如能有效地將大數(shù)據(jù)分析系統(tǒng)與移動互聯(lián)網(wǎng)技術、線上線下一體化服務體系進行緊密融合，就可為商業(yè)銀行的客戶提供“千人千面”的個性化服務。例如，對于低凈值長尾客戶，可用較低的成本，批量化地通過電子渠道提供隨身的知心服務，提高產(chǎn)品和服務的覆蓋率;對于高凈值客戶，提供“客戶經(jīng)理+電子渠道”的隨身貼心服務，提升客戶的業(yè)務貢獻。

可見，從具體效用的角度來看，衡量一個商業(yè)銀行是否真正應用了大數(shù)據(jù)、發(fā)揮了大數(shù)據(jù)的價值，就是要看其大數(shù)據(jù)系統(tǒng)是否能夠顯著提升數(shù)據(jù)分析和商業(yè)決策的效率，是否能夠提高對客戶的理解與認知能力，是否能夠低成本、批量地實現(xiàn)較高水準的個性化客戶服務。如果商業(yè)銀行的大數(shù)據(jù)系統(tǒng)未能實現(xiàn)上述效用，那就需要認真審視自身的大數(shù)據(jù)戰(zhàn)略并加以調(diào)整。

大數(shù)據(jù)就是外部數(shù)據(jù)嗎？

在國內(nèi)，以阿里、騰訊、百度為代表的互聯(lián)網(wǎng)企業(yè)，以各自的核心業(yè)務（例如，阿里的電子商務、騰訊的社交娛樂、百度的網(wǎng)絡搜索）為切入點，通過并購、自主開發(fā)等方式，不斷推出種類繁多的網(wǎng)絡服務，在網(wǎng)絡空間中搭建了“全業(yè)務”的數(shù)據(jù)平臺，收集了海量的客戶數(shù)據(jù)，并以此為基礎開發(fā)出了一系列客戶征信、消費貸款、網(wǎng)絡保險等大數(shù)據(jù)產(chǎn)品，向商業(yè)銀行的相關產(chǎn)品提出挑戰(zhàn)。

與上述互聯(lián)網(wǎng)企業(yè)相比，商業(yè)銀行在網(wǎng)絡空間中缺少類似的“全業(yè)務”平臺，因此短期內(nèi)難以依靠自身的電子渠道獲取類似的客戶信息。對此，商業(yè)銀行是否應該將大數(shù)據(jù)的戰(zhàn)略重點放在從自身體系之外獲取客戶數(shù)據(jù)呢？應從以下三個角度進行分析。

數(shù)據(jù)價值的角度。京東白條、天貓分期、阿里小貸、支付寶運費險、百分點個人征信、金電聯(lián)行“企業(yè)客觀信用”等業(yè)務的成功實踐已經(jīng)驗證了互聯(lián)網(wǎng)客戶大數(shù)據(jù)在維度、粒度、活性方面的優(yōu)勢和價值，如果這些數(shù)據(jù)能與商業(yè)銀行的既有數(shù)據(jù)進行融合分析，將有望獲得更加精準的數(shù)據(jù)分析結果。

自身大數(shù)據(jù)體系的建設。一方面，應以內(nèi)部數(shù)據(jù)為重點，做好自身既有數(shù)據(jù)的價值深鉆和分析架構的大數(shù)據(jù)改造，而不應以引入外部數(shù)據(jù)作為大數(shù)據(jù)發(fā)展的戰(zhàn)略重點;另一方面，要放開眼界，積極引入外部數(shù)據(jù)，增強商業(yè)銀行與互聯(lián)網(wǎng)企業(yè)IT架構方面的交流，以期加快自身大數(shù)據(jù)體系的建設進度，提升其兼容性與可用性。

數(shù)據(jù)交換的合規(guī)性?？蛻粼谑褂没ヂ?lián)網(wǎng)服務期的行為信息、購物記錄、健康信息等數(shù)據(jù)理應屬于隱私數(shù)據(jù)，客戶在注冊期間簽署的網(wǎng)絡服務協(xié)議是否能夠有效支持互聯(lián)網(wǎng)企業(yè)采集、商用并交換，尚屬法律空白。因此，商業(yè)銀行在引進外部數(shù)據(jù)之前，應首先做好合規(guī)工作。

可見，對于商業(yè)銀行而言，合規(guī)合理地引入外部數(shù)據(jù)，有助于提升自身數(shù)據(jù)的多樣性、細化數(shù)據(jù)粒度，并可通過數(shù)據(jù)交換提升自身大數(shù)據(jù)體系的兼容性與可用性。但是也應充分認識到，商業(yè)銀行多年積累的業(yè)務數(shù)據(jù)的價值還遠未完全發(fā)揮，尚待深鉆、分析和應用，應將基于內(nèi)部數(shù)據(jù)的分析應用作為當前自建大數(shù)據(jù)能力的核心;與此同時，也要及時開展預研預估，做好外部數(shù)據(jù)交換的合規(guī)準備工作，為“內(nèi)外兼修”的大數(shù)據(jù)平臺建設做好準備。

大數(shù)據(jù)是否等同于非結構化數(shù)據(jù)？

“非結構化數(shù)據(jù)”是在大數(shù)據(jù)的“4V”定義中作為數(shù)據(jù)多樣性的一個典型例子而被提出的，因此受到了普遍關注，在眾多關于大數(shù)據(jù)的文獻中，“非結構化數(shù)據(jù)”也占據(jù)著比較重要的地位。那么，商業(yè)銀行是否也應將“非結構化數(shù)據(jù)”的處理作為現(xiàn)階段自建大數(shù)據(jù)體系的重點？

對于這一問題，要結合“非結構化數(shù)據(jù)”的特性進行分析。非結構化數(shù)據(jù)的本質(zhì)特性是所包含信息的豐富、復雜程度遠遠高于結構化數(shù)據(jù)。典型的“非結構化數(shù)據(jù)”包括文本、音樂、語音、圖像、視頻等類型的數(shù)據(jù)，這些數(shù)據(jù)所包含的信息極其豐富，不能使用數(shù)據(jù)表進行無損耗轉(zhuǎn)化。因此，非結構化數(shù)據(jù)無法使用數(shù)據(jù)表或者類似的結構化的方式進行無損轉(zhuǎn)化，所以只能以數(shù)據(jù)包、文件集的方式進行存儲，也無法使用與結構化數(shù)據(jù)相同的數(shù)據(jù)分析方法進行統(tǒng)計、分析、建模，往往需要通過專門設計的預處理算法將其轉(zhuǎn)化為結構化數(shù)據(jù)。這就增加了數(shù)據(jù)管理和分析的難度，也提高了對數(shù)據(jù)存儲、計算資源的需求。對于非結構化數(shù)據(jù)的分析，至今仍是學術界的研究熱點，在學術領域尚屬“進行時”，在商用領域的應用則更是鳳毛麟角。

可見，現(xiàn)階段自建大數(shù)據(jù)體系，對于非結構化數(shù)據(jù)應按照“量體裁衣”的原則，根據(jù)自身IT架構的存儲、計算資源和技術人員投入分步實施。對于資源緊張的商業(yè)銀行，可采取“存儲—外購預處理模塊—自行研發(fā)”三步走的路徑積累非結構化數(shù)據(jù)的分析能力;對于資源較豐富的商業(yè)銀行，則可按照“預研一批、實用一批、儲備一批”的策略，采用“外購預處理模塊+產(chǎn)學研合作+自行研發(fā)”的方式進行嘗試，緊跟技術前沿，適時引入成熟的非結構化處理技術（例如語音識別技術、基于詞頻統(tǒng)計的自然語音理解技術等），但也應注意資源配比，不應將非結構化數(shù)據(jù)作為現(xiàn)階段自建大數(shù)據(jù)體系的重點。

大數(shù)據(jù)等同于數(shù)據(jù)倉庫嗎？

如前所述，商業(yè)銀行是否具備大數(shù)據(jù)能力，應依據(jù)數(shù)據(jù)及數(shù)據(jù)分析系統(tǒng)所發(fā)揮的具體效用來判斷。以“顯著提升數(shù)據(jù)分析和商業(yè)決策的效率”，“顯著提高對客戶的理解與認知能力”，“低成本、批量地實現(xiàn)較高水準的個性化客戶服務”三條標準來衡量，目前商業(yè)銀行數(shù)據(jù)倉庫建設還需在以下幾個方面加以強化。

建設異構的數(shù)據(jù)倉庫平臺。多年來，商業(yè)銀行的數(shù)據(jù)倉庫以存儲業(yè)務、交易數(shù)據(jù)為主，因此采購了存儲成本較高的專業(yè)數(shù)據(jù)倉庫服務，數(shù)據(jù)在進入倉庫之前的ETL規(guī)則相對比較嚴格，并采用了“時間換空間”的策略進行主題拆分以節(jié)約存儲空間，這就導致在執(zhí)行諸如交易鏈恢復、交易場景還原等分析任務時消耗較高的計算資源，降低整體的分析效率。與用戶行為數(shù)據(jù)緊密相關的日志數(shù)據(jù)，具有典型的“數(shù)據(jù)量大、頻度高但價值密度低”的特點，可針對這一需求，搭建低成本的PC集群、內(nèi)存數(shù)據(jù)庫等，與既有的數(shù)據(jù)倉庫融合起來，構成對數(shù)據(jù)源和分析端透明的異構數(shù)據(jù)倉庫，提高其響應速度和處理能力。

搭建業(yè)務指標提取邏輯的共享平臺。目前商業(yè)銀行基礎數(shù)據(jù)的標準化工作已經(jīng)取得了長足的進展，但在實際應用中，尚存在“業(yè)務邏輯信息孤島”現(xiàn)象（即由于缺乏一個共享平臺，而造成不同的分析師之間無法互通業(yè)務指標的提取邏輯，每個分析師、每個數(shù)據(jù)分析部門就形成了一座座孤島）。這一現(xiàn)象不僅造成業(yè)務指標“多態(tài)”問題，也誘發(fā)了數(shù)據(jù)倉庫訪問請求的重復提交，影響數(shù)據(jù)分析的效率和準確性，因此需盡快搭建權限控制合理的業(yè)務指標提取邏輯分享平臺，解決“業(yè)務邏輯信息孤島”問題。

建立由信息治理部門主導、以業(yè)務部門為中心的大數(shù)據(jù)創(chuàng)新立項機制。大數(shù)據(jù)應用要求盡量壓縮數(shù)據(jù)分析業(yè)務鏈條，進一步提高具體業(yè)務與數(shù)據(jù)分析環(huán)節(jié)結合的緊密程度，對此，可以探索建立由信息治理部門主導、以業(yè)務部門為中心的大數(shù)據(jù)創(chuàng)新立項機制。簡言之，就是將數(shù)據(jù)分析師融入具體業(yè)務部門，由數(shù)據(jù)分析師和具體業(yè)務部門共同發(fā)起大數(shù)據(jù)應用的創(chuàng)新項目立項，經(jīng)信息治理部門審批后，給予相應的計算資源，并依據(jù)數(shù)據(jù)應用項目在具體業(yè)務中產(chǎn)生的效果進行評估和激勵。

大數(shù)據(jù)只需要海杜普平臺嗎？

Apache 軟件基金會（ASF）旗下的海杜普（Hadoop）開源項目對于大數(shù)據(jù)應用無疑有著巨大的推動作用，基于Hadoop的HDFS系統(tǒng)也是目前主流大數(shù)據(jù)平臺的重要基礎設施，那么是不是有了Hadoop平臺，商業(yè)銀行就擁有了大數(shù)據(jù)處理能力了呢？

首先，從軟硬件平臺的完備性來看，還需持續(xù)投入，配置更多的軟件模塊，以提升大數(shù)據(jù)分析平臺的能力。Hadoop只是大數(shù)據(jù)分析平臺的基礎設施，除了基于Hadoop及Yarn的Hive、HBase、Pig、Storm之外，mahout、Hadoop-R、Hadoop-weka等數(shù)據(jù)分析、數(shù)據(jù)挖掘套件對于大數(shù)據(jù)分析也是必不可少的，另外速度更快、性能更高的Spark體系也在互聯(lián)網(wǎng)企業(yè)獲得了成功的應用，值得商業(yè)銀行關注和借鑒。

其次，從數(shù)據(jù)的來源來看，還需改造前端，以獲取更多維度、更高頻次、更細粒度的數(shù)據(jù)。商業(yè)銀行的數(shù)據(jù)分析系統(tǒng)長期以來重視業(yè)務數(shù)據(jù)的存儲，而對于系統(tǒng)運行狀態(tài)的日志、客戶個人信息的收集并不重視，而這些信息恰恰是大數(shù)據(jù)分析得以理解客戶、排查業(yè)務問題的關鍵所在。因此，商業(yè)銀行需要系統(tǒng)性地進行應用前端改造，借鑒互聯(lián)網(wǎng)企業(yè)、電商企業(yè)的做法，設法獲取更多維度、更高頻次、更細粒度的數(shù)據(jù)，更好地滿足大數(shù)據(jù)分析對數(shù)據(jù)源的需求。

最后，從項目的執(zhí)行過程來看，還須形成“數(shù)據(jù)分析+業(yè)務應用”的數(shù)據(jù)分析模式，以迭代方式優(yōu)化分析結果和具體業(yè)務。傳統(tǒng)的BI模式下，數(shù)據(jù)分析的業(yè)務流程可以概括為：接受業(yè)務部門提出的分析需求=>數(shù)據(jù)分析=>形成報告。而大數(shù)據(jù)分析的很多項目需要數(shù)據(jù)分析師與業(yè)務人員一起進行持續(xù)迭代，有的項目甚至很難確立一個明確的終止時間點（例如電商的推薦系統(tǒng)一般由一個團隊持續(xù)優(yōu)化），這就需要商業(yè)銀行能夠允許在特定的大數(shù)據(jù)分析項目上，采取“數(shù)據(jù)分析+業(yè)務應用”的數(shù)據(jù)分析模式，以迭代方式優(yōu)化分析結果和具體業(yè)務。

可見，Hadoop平臺并不是商業(yè)銀行具備大數(shù)據(jù)能力的充要條件，商業(yè)銀行不僅需要在軟硬件平臺上持續(xù)投入，還需要在前端設計、數(shù)據(jù)分析模式等方面加以改造，才能更加適應大數(shù)據(jù)分析的要求。

大數(shù)據(jù)只是數(shù)據(jù)分析部門的事？

如前所述，大數(shù)據(jù)能力是以數(shù)據(jù)分析為基礎的，融合商業(yè)決策、客戶感知、個性化服務為一體的綜合競爭力，因此，大數(shù)據(jù)能力建設就不應僅由數(shù)據(jù)分析部門來承擔。

要從戰(zhàn)略層面將大數(shù)據(jù)能力建設納入發(fā)展規(guī)劃。應做好頂層設計，把大數(shù)據(jù)能力建設與信息化銀行建設結合起來，與線上線下一體化建設結合起來，與互聯(lián)網(wǎng)金融發(fā)展戰(zhàn)略結合起來，協(xié)同業(yè)務、渠道、科技、數(shù)據(jù)分析等多個部門，做好頂層設計和統(tǒng)籌規(guī)劃，形成“全員大數(shù)據(jù)”的氛圍，從數(shù)據(jù)源梳理、數(shù)據(jù)分析平臺搭建、分析模式確立、外部數(shù)據(jù)交換規(guī)則等多個層次制定明確的方針與操作標準，加快大數(shù)據(jù)能力建設的進度。

要重視數(shù)據(jù)分析流程的效率提升。大數(shù)據(jù)分析的效用大小，很大程度上取決于數(shù)據(jù)的活性以及分析結果投入具體業(yè)務的速度，因此，要盡可能壓縮傳統(tǒng)BI的業(yè)務鏈條?？稍陔娮忧篮妥灾辣M可能地實現(xiàn)數(shù)據(jù)采集與分析結果應用的一體化（例如，基于客戶個性的產(chǎn)品關聯(lián)推薦、基于場景的實時定價、自助設備界面?zhèn)€性化自適應等），也可在傳統(tǒng)的BI領域中，應用大數(shù)據(jù)的處理模式，以高實時性的中間數(shù)據(jù)層為媒介，建立效率更高、實時性更強、管理者自定義程度更深的商業(yè)智能系統(tǒng)，實現(xiàn)商業(yè)報表的實時化、移動化、定制化。

要重視人才儲備和技術積累。大數(shù)據(jù)技術的發(fā)展日新月異，數(shù)據(jù)的人才儲備和技術積累卻不能一蹴而就，需要相當力度的持續(xù)投入。人才儲備方面，應本著“引進一批，培養(yǎng)一批，儲備一批”的原則，引進一小批高層次技術人才，通過具體的項目實施，培養(yǎng)大量的存量技術人員，并通過面向高校和社會的大數(shù)據(jù)技術競賽、資助開源社區(qū)等方式，形成廣泛而有效的人才儲備。技術積累方面，應按照“開放并包，為我所用”的思路，組成大數(shù)據(jù)預研團隊，積極開展開源項目的篩選、驗證、吸收工作，沿著“引入并消化大數(shù)據(jù)開源項目—資助大數(shù)據(jù)開源項目—提出并主導大數(shù)據(jù)開源項目”的路徑，不斷強化自身在大數(shù)據(jù)技術方面的優(yōu)勢，形成自身的核心競爭力。

文章為作者本人觀點，不代表單位意見。

（作者單位：中國工商銀行城市金融研究所）