用大數據技術實現(xiàn)數據綜合分析利用

勵躍

隨著大數據時代的來臨，黨中央、國務院提出加快實施國家大數據戰(zhàn)略，把大數據作為基礎性戰(zhàn)略資源，全面實施《促進大數據發(fā)展行動綱要》。按照“打造數字央行”的精神，作為人民銀行信息處理中樞，金融信息中心以國家發(fā)展改革委促進國家大數據發(fā)展重大工程項目為契機，推進、構建金融大數據分析及服務平臺，實現(xiàn)金融數據的有機整合，為經濟金融平穩(wěn)運行和健康發(fā)展提供數據支撐，提升國家金融監(jiān)管與金融宏觀調控的預見性、針對性和有效性。

人民銀行數據治理現(xiàn)狀

目前，人民銀行已經建成、運行了多個重要業(yè)務系統(tǒng)，基本實現(xiàn)了中央銀行業(yè)務的全覆蓋，完成貨幣金銀、征信、國庫、金融統(tǒng)計、反洗錢等業(yè)務的全國數據集中，為制定和執(zhí)行貨幣政策、維護金融穩(wěn)定、提供金融服務給予了有力的技術支撐。金融信息中心在調研中發(fā)現(xiàn)，人民銀行各業(yè)務司局的數據以條線化管理為主，數據只能被各自的應用系統(tǒng)讀取，各類業(yè)務系統(tǒng)之間未實現(xiàn)互聯(lián)互通，實際形成一個個數據孤島。各業(yè)務司局在數據共享方面缺少制度和機制，全行層面缺乏統(tǒng)一的數據規(guī)劃，數據綜合利用水平較低。

建設金融大數據分析及服務平臺的必要性

從技術發(fā)展趨勢方面分析。2010年前后，大數據的出現(xiàn)將大數據分析技術從傳統(tǒng)的數據分析技術中分離開來，傳統(tǒng)的數據分析、數據挖掘通常是基于結構化、關系型的數據，而且往往是通過抽樣分析對整個數據集進行預測和判斷，這就要求提供抽樣的樣本必須是高質量的，否則預測的結果會出現(xiàn)很大偏差。而大數據分析，是對全量數據的分析，數據可以有一定程度的冗余。另外，傳統(tǒng)數據分析往往是某種因果關系的推理過程，而大數據分析更關注規(guī)律性挖掘和關聯(lián)性分析，屬于認知方法上的轉變。

從綜合決策效果方面分析

在掌握全量數據的情況下，相對于使用單一業(yè)務條線的數據而言，決策的前瞻性和精準性能得到顯著提升。針對人民銀行數據綜合治理現(xiàn)狀，亟須組織開展全行范圍的數據規(guī)劃和治理工作，盤活存量數據資產，更加有效地挖掘數據價值。同時，近年來金融科技（FinTech）的快速發(fā)展催生出第三方支付、網絡借貸、股權眾籌融資等新興金融業(yè)態(tài)，對于中央銀行而言，需要及時和全面地掌握這些機構的業(yè)務數據，通過綜合分析不斷細化和完善監(jiān)管要求，及時防范和應對各類風險。

從提升精準施策能力方面分析

按照人民銀行科技工作會議的決策部署，金融信息中心將開展金融大數據分析及服務平臺建設，對人民銀行各業(yè)務條線、外部機構的數據資源進行梳理和整合，為各業(yè)務司局、分支機構提供基于全量數據的服務，協(xié)助其提升整體數據分析能力，從而實現(xiàn)對經濟、金融運行更為準確的監(jiān)測、分析、預測和預警，提高綜合決策的前瞻性和精準性。

關于金融大數據分析及服務平臺建設的思考

建設金融大數據分析及服務平臺是一項復雜的系統(tǒng)工程。一方面，大數據技術本身涉及內容廣泛，包括大數據基礎架構、基于業(yè)務需求的建模和挖掘技術、數據治理方法等，需要各領域的專業(yè)知識和人才儲備;另一方面，業(yè)務部門對條線化的數據分析模式已經固化，難以適應當前形勢發(fā)展要求，技術部門需要與業(yè)務部門充分溝通，引導其轉變觀念，共同建立高效的協(xié)作機制。借鑒國外央行及國內各行業(yè)具體案例，金融大數據分析及服務平臺建設實施大體可分為三個階段。

基礎平臺建設。基礎平臺為海量數據的采集、存儲、分析和加工提供基礎環(huán)境，超大數據和超強計算能力是基礎平臺的必要條件，平臺的規(guī)劃和建設是工程實施的第一步。

與以業(yè)務流水數據為主的商業(yè)銀行不同，人民銀行的數據資源更為復雜，既有針對具體業(yè)務的細節(jié)流水數據，也有監(jiān)管上報與調查統(tǒng)計得到的綜合統(tǒng)計匯總數據。根據人民銀行的數據治理需求，基礎平臺要實現(xiàn)對各類海量結構化數據、半結構化數據、非結構數據的實時或批量的采集、存儲和建模計算，因此平臺的計算能力、容量、高可用性、可擴展性、安全性、災難應對能力和自動化運維能力是規(guī)劃階段需要關注的重點。在IT架構規(guī)劃和設計過程中，要廣泛調研和開展技術交流，借鑒國際國內大數據技術標準，采用Hadoop、Spark等主流的大數據處理框架，能同時支持批處理和流式處理模式，確保IT架構對應用架構和數據架構的有效支撐。

在產品選型方面，基礎平臺將采用業(yè)界成熟、通用且符合國家安全可控要求的軟硬件產品，避免在硬件與軟件、軟件與應用上的強依賴關系，掌握關鍵技術的選擇權，擺脫在關鍵信息和網絡基礎設施領域對單一技術和產品的依賴。

數據資源整合

在基礎平臺搭建完成后，下一步是將分散在各業(yè)務司局、外部機構的數據資源逐步“遷移”到基礎平臺上，實現(xiàn)數據的整合與共享，構建全行統(tǒng)一的數據視圖，為數據綜合利用奠定基礎。

在這個環(huán)節(jié)中，一方面，要主動與各業(yè)務司局、外部單位溝通，全面地梳理分散在各司局、各機構不同業(yè)務系統(tǒng)的數據資源，在業(yè)務部門的協(xié)助下，掌握各類業(yè)務數據之間的邏輯關系和層次結構，為數據“遷移”作好準備;另一方面，在技術實施層面，制定統(tǒng)一的數據接口規(guī)范，通過數據清理、轉換和標準化等手段，按照“梳理完畢一個、遷移一個”的思路，將各類業(yè)務系統(tǒng)的數據資源逐步“遷移”到基礎平臺上。同時，與業(yè)務司局共同研究建立數據采集和共享利用機制，根據中央銀行監(jiān)管需要不斷擴大數據采集范圍，豐富數據采集方式。在采集范圍上，除現(xiàn)有業(yè)務系統(tǒng)的數據資源外，還需要關注金融科技（FinTech）新業(yè)態(tài)下各類機構的經營數據;在采集方式上，可考慮從指定的機構中直接抓取數據，提高數據采集效率。

這項工作完成后，各類系統(tǒng)相互分割隔離的狀況將從根本上得到改善，從而實現(xiàn)中央銀行數據資源的集中展示，為業(yè)務司局、分支機構數據分析人員提供全行統(tǒng)一的數據視圖具備了條件。

應用場景開發(fā)和設計

在掌握全量數據的基礎上，結合業(yè)務需求，綜合利用各類數據建模和挖掘技術，為各業(yè)務司局、分支機構提供差異化的數據及分析服務，形成并逐步提升大數據平臺的服務能力。

在這個環(huán)節(jié)中，為各業(yè)務司局、分支機構提供全量數據的使用環(huán)境，根據其業(yè)務需求，設計和開發(fā)相應的大數據應用分析場景，通過機器學習等技術從海量數據中分析和洞察經濟、金融運行規(guī)律，作出更加科學、精準的決策。通過與服務對象的充分交流，使業(yè)務司局、分支機構改變其固有的、條線化的數據管理模式，真正從全量數據分析中受益，進而主動地推動數據資源共享。

此外，針對不同層級的數據分析人員，設置不同的使用權限，應用專業(yè)工具對操作人員日常操作進行記錄和事后審計，確保數據使用的合理合規(guī)，防范數據泄露事件的發(fā)生。除對各業(yè)務司局、分支機構提供數據服務外，金融大數據分析及服務平臺還將考慮面向政府部門、司法機關、金融機構、社會公眾等提供不同層面的數據服務，推動數據資源帶來更大的經濟效益和社會效益。

未來，金融信息中心將按照人民銀行信息化工作部署，推進平臺建設，并持續(xù)關注以下幾個問題：把握好近期目標、中期目標和遠期目標的關系;加快推進金融大數據標準體系建設;與業(yè)務司局保持良好的協(xié)作關系;加強央行大數據人才隊伍建設。