分布式數(shù)據(jù)庫(kù)在金融業(yè)的應(yīng)用分析
——以銀行業(yè)為例

田海熠，張青青

（南京審計(jì)大學(xué) 金審學(xué)院，江蘇 南京 210000）

0 引言

在互聯(lián)網(wǎng)的高速滲透下，數(shù)據(jù)管理已經(jīng)成為重中之重。數(shù)據(jù)庫(kù)技術(shù)是組成應(yīng)用系統(tǒng)的重要的一部分，幾乎所有的計(jì)算機(jī)應(yīng)用都沒有辦法離開數(shù)據(jù)庫(kù)系統(tǒng)的支持，尤其是金融行業(yè)［1］。數(shù)據(jù)量的提升，促使人們?nèi)?chuàng)建一個(gè)可以降低成本，滿足線性擴(kuò)容以及能夠處理交易事務(wù)的新型數(shù)據(jù)庫(kù)，提升數(shù)據(jù)的儲(chǔ)存能力成為不得不去面對(duì)的挑戰(zhàn)?；ヂ?lián)網(wǎng)的快速發(fā)展也要求金融數(shù)據(jù)庫(kù)系統(tǒng)的性能有所提升，其必須具備高性能、高容錯(cuò)性以及可擴(kuò)展性能。為了應(yīng)對(duì)這些挑戰(zhàn)，分布式數(shù)據(jù)庫(kù)成了金融行業(yè)發(fā)展和創(chuàng)新的主流。

1 數(shù)據(jù)庫(kù)的來源以及其發(fā)展歷程

數(shù)據(jù)庫(kù)系統(tǒng)的萌芽出現(xiàn)于20世紀(jì)60年代，數(shù)據(jù)庫(kù)技術(shù)從起源以來，在這短短的不到半個(gè)世紀(jì)的時(shí)間里，形成了較為成熟的商業(yè)產(chǎn)品、一定的理論基礎(chǔ)以及產(chǎn)生了廣泛的應(yīng)用領(lǐng)域，它的起源和發(fā)展給計(jì)算機(jī)信息管理以及技術(shù)管理帶來了一場(chǎng)翻天覆地的變化。

數(shù)據(jù)庫(kù)的發(fā)展歷程一共經(jīng)歷了3個(gè)階段，分別是人工管理階段、文件系統(tǒng)階段和數(shù)據(jù)庫(kù)系統(tǒng)階段［2］。具體各階段的發(fā)展特點(diǎn)如表1所示，每個(gè)階段的使用模型如圖1所示。

圖1 數(shù)據(jù)庫(kù)的發(fā)展歷程

表1 各階段的發(fā)展特點(diǎn)

總之，在不同階段，為了解決產(chǎn)生的新問題，數(shù)據(jù)庫(kù)的功能需要不斷提升，不斷在其發(fā)展的領(lǐng)域做出適應(yīng)大眾的改變。

2 目前金融行業(yè)常使用的數(shù)據(jù)庫(kù)及其優(yōu)缺點(diǎn)分析

商業(yè)銀行業(yè)務(wù)的模式和特點(diǎn)使它使用的信息系統(tǒng)和普通企業(yè)使用的信息系統(tǒng)產(chǎn)生了區(qū)別，如果所要處理的數(shù)據(jù)很多，就可以考慮DB2，因?yàn)樗鼡碛泻軓?qiáng)的擴(kuò)展性。Oracle可以在目前較為流行的操作系統(tǒng)上運(yùn)行，而且它具有性能較為完備的數(shù)據(jù)庫(kù)存儲(chǔ)服務(wù)。MySQL在互聯(lián)網(wǎng)公司中使用的較多，在銀行業(yè)中使用的并不多，因?yàn)樗鼪]有成熟的高可用可解決方案，但是有一些銀行會(huì)將一些可用的成熟組件和MySQL聯(lián)合起來使用，也取得了想要得到的效果。目前比較常用的數(shù)據(jù)庫(kù)有以下幾種，如表2所示。

表2 常用的數(shù)據(jù)庫(kù)

總而言之，銀行端在進(jìn)行業(yè)務(wù)系統(tǒng)開發(fā)時(shí)，應(yīng)該要根據(jù)需要處理的業(yè)務(wù)的特點(diǎn)來選擇不同的數(shù)據(jù)庫(kù)類型，這樣可以提高數(shù)據(jù)處理的效率，也可以縮短系統(tǒng)所做出的反應(yīng)時(shí)間。同時(shí)可以提高客戶體驗(yàn)感，也可以節(jié)約相應(yīng)的成本。而傳統(tǒng)數(shù)據(jù)庫(kù)在面對(duì)銀行業(yè)務(wù)需求時(shí)，不同的數(shù)據(jù)庫(kù)暴露了不同的性能弱勢(shì)，很難完全迎合業(yè)務(wù)需求，所以目前很多銀行都采用分布式數(shù)據(jù)庫(kù)。

3 分布式數(shù)據(jù)庫(kù)

這些年來，隨著海量交易數(shù)據(jù)的出現(xiàn)以及交易復(fù)雜度的增加，傳統(tǒng)數(shù)據(jù)庫(kù)在處理這些問題時(shí)，在擴(kuò)展性、性能、吞吐量和可靠性方面遇到了明顯的瓶頸，并且只能通過拆分業(yè)務(wù)、升級(jí)軟件的方式來提升相關(guān)方面的性能，導(dǎo)致了設(shè)備和人員方面成本的提升［3-6］。面對(duì)互聯(lián)網(wǎng)金融行業(yè)的發(fā)展，數(shù)據(jù)的交互和存儲(chǔ)呈大幅度增長(zhǎng)，這樣是無法保證業(yè)務(wù)連續(xù)性的。因此，許多商業(yè)銀行紛紛展開了對(duì)分布式數(shù)據(jù)庫(kù)的研發(fā)應(yīng)用。分布式數(shù)據(jù)庫(kù)的應(yīng)用場(chǎng)景主要特征是海量并發(fā)，所以從理論上來說，業(yè)務(wù)規(guī)模越大，使用分布式數(shù)據(jù)庫(kù)的需求也就更加的急迫。相對(duì)于傳統(tǒng)數(shù)據(jù)庫(kù)來說，分布式數(shù)據(jù)庫(kù)具有靈活的體系結(jié)構(gòu)，高可靠性和可用性以及優(yōu)越的可擴(kuò)展性和易于集成現(xiàn)有的系統(tǒng)。

(1）何為分布式數(shù)據(jù)庫(kù)。分布式數(shù)據(jù)庫(kù)是由一組數(shù)據(jù)組成的，這組數(shù)據(jù)分布在計(jì)算機(jī)網(wǎng)絡(luò)的不同計(jì)算機(jī)上，網(wǎng)絡(luò)中每個(gè)節(jié)點(diǎn)具有獨(dú)立處理的能力［7］，每個(gè)節(jié)點(diǎn)也能通過網(wǎng)絡(luò)通信子系統(tǒng)執(zhí)行全局應(yīng)用。銀行業(yè)中常見的分布式數(shù)據(jù)庫(kù)有：MySQL，Redis，MongoDB以及Hadoop。

(2）分布式數(shù)據(jù)庫(kù)的優(yōu)點(diǎn)?？蓴U(kuò)展性：隨著銀行業(yè)務(wù)數(shù)據(jù)不斷擴(kuò)大，原來的傳統(tǒng)數(shù)據(jù)庫(kù)性能方面出現(xiàn)瓶頸，無法通過增加硬件資源獲得提升時(shí)，分布式數(shù)據(jù)庫(kù)可以通過將數(shù)據(jù)拆分橫向擴(kuò)充的方法來解決問題?？煽啃裕悍植际綌?shù)據(jù)庫(kù)具備多副本的特性，并且基于協(xié)議可以確保副本中數(shù)據(jù)的一致性。可用性［8］：節(jié)點(diǎn)發(fā)生故障時(shí)，可以自動(dòng)切換，不需要人工進(jìn)行操控，對(duì)于應(yīng)用是透明的。

(3）分布式數(shù)據(jù)庫(kù)的不足［9-11］。對(duì)于帶寬要求高：由于分布式數(shù)據(jù)庫(kù)是通過網(wǎng)絡(luò)來連接各數(shù)據(jù)節(jié)點(diǎn)的，對(duì)網(wǎng)絡(luò)帶寬的要求較高，任何一種因?yàn)榫W(wǎng)絡(luò)延遲而造成的問題都會(huì)被放大。有一定損耗：由于分布式事物大部分是使用2PC(二階段提交協(xié)議，一種分層式通信算法）的方式，雖然產(chǎn)品都做過優(yōu)化，但是仍受原理、性能的牽制，還是會(huì)有一定的損耗。存在限制：對(duì)特定的對(duì)象和語法存在限制，對(duì)開發(fā)來說有一定的改造成本。技術(shù)不夠成熟：成熟度相對(duì)較低，學(xué)習(xí)和運(yùn)維成本較高。

4 分布式數(shù)據(jù)庫(kù)的應(yīng)用實(shí)例——以銀行為例

4.1 工商銀行

在大數(shù)據(jù)時(shí)代的需求下，工商銀行對(duì)數(shù)據(jù)庫(kù)實(shí)現(xiàn)轉(zhuǎn)型。通過構(gòu)架轉(zhuǎn)型，他們?cè)谧灾髂芰Ψ矫?，初步建立了企業(yè)級(jí)的基于MySQL的分布式解決的自主能力：首先是分布式框架＋MySQL的應(yīng)用及分布式解決方案，承載了很多從主機(jī)下來的應(yīng)用［12］。其次是基于分布式中間件構(gòu)成了所謂聯(lián)機(jī)交易的數(shù)據(jù)庫(kù)，在應(yīng)對(duì)一些不是很復(fù)雜的場(chǎng)景時(shí)，通過良好設(shè)計(jì)的分庫(kù)分表方案就可以滿足需求。

在信息輔助服務(wù)中，通過DBLE實(shí)現(xiàn)分布式數(shù)據(jù)庫(kù)。這是一個(gè)數(shù)據(jù)量很大的系統(tǒng)，它的交易特征是：高并發(fā)、低延時(shí)、日均交易量2億，交易相應(yīng)延時(shí)小于10 ms，業(yè)務(wù)數(shù)據(jù)量20 T，并且要求7×24小時(shí)的聯(lián)機(jī)服務(wù)。工商銀行通過分布式中間件做MySQL的分庫(kù)分表，共計(jì)128個(gè)分片，并對(duì)分片進(jìn)行合并部署，使資源使用上的收益增加。

通過轉(zhuǎn)型可以看到，工商銀行在主機(jī)上的成本投入明顯下降，雖然業(yè)務(wù)交易量每年以20%的速度增長(zhǎng)，但是主機(jī)并沒有進(jìn)行擴(kuò)容，投入還逐年降低。商業(yè)產(chǎn)品的數(shù)據(jù)庫(kù)的使用不僅實(shí)現(xiàn)零增長(zhǎng)，還有所下降。總的來看，經(jīng)費(fèi)下降幅度很大。

4.2 招商銀行

在AI技術(shù)和大數(shù)據(jù)技術(shù)的推動(dòng)下，招商銀行正向數(shù)據(jù)驅(qū)動(dòng)的方向發(fā)展，因此對(duì)數(shù)據(jù)庫(kù)的要求也發(fā)生了變化，但由于現(xiàn)在市場(chǎng)上缺乏滿足要求的成熟產(chǎn)品，通常情況下是會(huì)采取在開源數(shù)據(jù)庫(kù)上進(jìn)行分表，但是仍然有明顯的不足。另一方面，各種新型數(shù)據(jù)庫(kù)也都存在著缺陷，所以招商銀行和華為公司雙方共同合作打造了一款數(shù)據(jù)庫(kù)產(chǎn)品，名為GaussDB。

使用GaussDB分布式聯(lián)機(jī)事務(wù)處理過程(On-Line Transaction Processing，OLTP）數(shù)據(jù)庫(kù)后，招商銀行的綜合交易流水平臺(tái)、風(fēng)險(xiǎn)預(yù)警平臺(tái)以及重資產(chǎn)營(yíng)銷平臺(tái)的管理數(shù)據(jù)容量提升了10倍，AI的故障恢復(fù)速度提升了30倍，相較其他產(chǎn)品30秒的恢復(fù)時(shí)間目標(biāo)，Gauss可以在1秒以內(nèi)做到。

4.3 江蘇銀行

隨著大數(shù)據(jù)時(shí)代的到來，江蘇銀行在數(shù)據(jù)存儲(chǔ)方面也遇到了問題，傳統(tǒng)數(shù)據(jù)庫(kù)迎來了性能瓶頸時(shí)期。江蘇銀行原有的事后監(jiān)督系統(tǒng)是基于Oracle開發(fā)的，在大數(shù)據(jù)量下，存在性能瓶頸，于是開始使用分布式數(shù)據(jù)庫(kù)GoldenDB，進(jìn)行遷移改造。

GoldenDB通過完善的導(dǎo)數(shù)工具和并行處理架構(gòu)，實(shí)現(xiàn)了對(duì)數(shù)據(jù)的高性能處理。與此同時(shí)，他還提供兼容結(jié)構(gòu)化查詢語言(Structured Query Language，SQL）和Oracle語法的業(yè)務(wù)。在江蘇銀行使用分布式數(shù)據(jù)庫(kù)GoldenDB后，系統(tǒng)性能高于原有系統(tǒng)的3倍。

分布式數(shù)據(jù)庫(kù)給銀行業(yè)所帶來的益處是肉眼可見的，在費(fèi)用方面，他一改傳統(tǒng)數(shù)據(jù)庫(kù)增加硬件資源的做法，而是對(duì)數(shù)據(jù)結(jié)構(gòu)進(jìn)行劃分，橫向擴(kuò)充，這大大地降低了對(duì)硬件設(shè)施的投資，從而達(dá)到了降低經(jīng)費(fèi)的標(biāo)準(zhǔn)。在數(shù)據(jù)處理方面，他不僅擁有大數(shù)據(jù)存儲(chǔ)容量還具有很快的數(shù)據(jù)處理速度。

大部分銀行在選擇所使用的分布式數(shù)據(jù)庫(kù)時(shí)，會(huì)結(jié)合自身需求，在現(xiàn)階段所存在的數(shù)據(jù)庫(kù)中進(jìn)行選擇。若沒有符合要求的，他們會(huì)尋找技術(shù)商進(jìn)行合作，共同打造一個(gè)全新的、全面符合自身要求的分布式數(shù)據(jù)庫(kù)。雖然分布式數(shù)據(jù)庫(kù)出現(xiàn)的時(shí)間不夠長(zhǎng)，但是相對(duì)于之前的傳統(tǒng)數(shù)據(jù)庫(kù)來說，他能夠提供之前傳統(tǒng)數(shù)據(jù)庫(kù)所不能提供的便利和快捷，而且也能夠在降低成本的同時(shí)做到滿足銀行各項(xiàng)業(yè)務(wù)所需要的基本性能?，F(xiàn)在所存在的分布式數(shù)據(jù)庫(kù)可能還存在一些不足，但是在未來的發(fā)展過程中，是值得期待的。

5 展望

分布式數(shù)據(jù)庫(kù)從研發(fā)到應(yīng)用這個(gè)過程的時(shí)間是很短的，不管是從建設(shè)還是成熟度上來說，它相對(duì)于傳統(tǒng)數(shù)據(jù)庫(kù)是遠(yuǎn)遠(yuǎn)不足以相提并論的。大部分的分布式數(shù)據(jù)庫(kù)都是應(yīng)運(yùn)而生，是為了滿足生產(chǎn)者的自身業(yè)務(wù)要求而產(chǎn)生的，所以還是需要在以后的使用過程中逐步完善，補(bǔ)齊差距。

(1）對(duì)于產(chǎn)品硬件方面可以提高兼容性，分布式數(shù)據(jù)庫(kù)對(duì)于傳統(tǒng)Oracle和DB2等數(shù)據(jù)庫(kù)的兼容能力很低，這是須需技術(shù)人員去改善的一大缺陷，盡快提高兼容性，降低使用者在轉(zhuǎn)換方面的難度，提高兼容性的同時(shí)，也需要提供一套能夠幫助使用者遷移的工具。

(2）對(duì)于產(chǎn)品性能方面可以提高安全性能，完整的安全能力是目前國(guó)產(chǎn)分布式數(shù)據(jù)庫(kù)產(chǎn)品相對(duì)不足的地方，在數(shù)據(jù)加密、數(shù)據(jù)審計(jì)、精細(xì)權(quán)限管理方面，都需要進(jìn)行相應(yīng)的優(yōu)化和提高，防止敏感數(shù)據(jù)泄露，杜絕誤操作行為。

(3）對(duì)于管理方面可以提高管理能力，大部分的分布式數(shù)據(jù)庫(kù)都是由互聯(lián)網(wǎng)廠商研發(fā)的，所以在運(yùn)營(yíng)維護(hù)方面欠缺較多，研發(fā)時(shí)一般只為了迎合業(yè)務(wù)需求，并沒有考慮到后續(xù)的管理問題，所以需要加強(qiáng)完整的管理能力，使操作該數(shù)據(jù)庫(kù)的數(shù)據(jù)庫(kù)管理人員、負(fù)責(zé)人以及相關(guān)團(tuán)隊(duì)能夠擁有良好的掌控能力。

6 結(jié)語

隨著互聯(lián)網(wǎng)金融高潮的襲來，銀行業(yè)中的數(shù)據(jù)管理已經(jīng)開始變得復(fù)雜和多樣化，所以需要利用新的分布式構(gòu)架所構(gòu)建的數(shù)據(jù)業(yè)務(wù)來適應(yīng)發(fā)展業(yè)務(wù)所提出的要求。相信在不斷地改進(jìn)和完善中，分布式數(shù)據(jù)庫(kù)的應(yīng)用會(huì)和傳統(tǒng)數(shù)據(jù)庫(kù)一樣為金融業(yè)廣泛、熟練地使用。