淺析銀行高性能查詢平臺的解決方案

(國家開發(fā)銀行 北京 100000)

淺析銀行高性能查詢平臺的解決方案

龐冠廷

(國家開發(fā)銀行北京100000)

一、銀行系統(tǒng)面臨的問題

銀行系統(tǒng)自誕生之日起，就承擔了對內(nèi)完成業(yè)務(wù)處理(寫數(shù)據(jù)庫操作)、對外提供查詢服務(wù)(讀數(shù)據(jù)庫操作)的任務(wù)，隨著互聯(lián)網(wǎng)技術(shù)的迅猛發(fā)展和業(yè)務(wù)的不斷創(chuàng)新，查詢需求越來越多，頻率越來越高，業(yè)務(wù)處理和查詢集于一體的系統(tǒng)已經(jīng)越來越無法滿足要求，對系統(tǒng)原有的業(yè)務(wù)功能造成了挑戰(zhàn)，甚至某些情況下出現(xiàn)了系統(tǒng)故障。如何在滿足客戶高效、及時、準確的查詢需求的同時，確保對業(yè)務(wù)系統(tǒng)的運行影響較小，是當前銀行業(yè)面臨的一個課題。多數(shù)銀行采取的主流方式是將數(shù)據(jù)庫的讀寫操作進行分離，形成負責業(yè)務(wù)處理的寫數(shù)據(jù)庫和負責對外提供服務(wù)的讀數(shù)據(jù)庫，而高性能查詢平臺就是基于這一方案建設(shè)。

二、高性能查詢平臺的解決方案

當前，大多數(shù)銀行使用ORACLE數(shù)據(jù)庫，本文提到的高性能查詢平臺的建設(shè)方案就基于這一前提。其采用了ORACLE 提供的同步技術(shù)，實時將原業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)同步至專用查詢數(shù)據(jù)庫中，通過該數(shù)據(jù)庫向其他系統(tǒng)提供查詢服務(wù)。高性能查詢平臺可以對外提供查詢服務(wù)(比如查詢賬戶信息)和推送服務(wù)(比如告知客戶余額變動情況)。

(一)推送服務(wù)

1.當源系統(tǒng)的數(shù)據(jù)庫中表數(shù)據(jù)發(fā)生變化時，會觸發(fā)表的觸發(fā)器(TRIGGER)，將變化的數(shù)據(jù)備份到以“_高頻”結(jié)尾的表中。

2.通過使用OGG同步技術(shù)，將源數(shù)據(jù)庫中以“_高頻”結(jié)尾的表變化信息，同至高性能查詢平臺的數(shù)據(jù)庫中。

3.高性能查詢平臺系統(tǒng)建立一個守護進程，此進程每隔一定時間查詢是否需要推送數(shù)據(jù)，如果需要推送，則篩選數(shù)據(jù)。

4.數(shù)據(jù)組織完畢后，通過TCP將需要推送的數(shù)據(jù)發(fā)送到高性能查詢平臺應(yīng)用，高性能查詢平臺應(yīng)用將數(shù)據(jù)推送給第三方系統(tǒng)。

(二)查詢服務(wù)

將數(shù)據(jù)從源系統(tǒng)數(shù)據(jù)庫同步至高性能查詢平臺數(shù)據(jù)庫的流程與推送服務(wù)相同。后續(xù)流程如下：

1.外圍系統(tǒng)發(fā)起一個查詢(如賬戶信息)；

2.高性能查詢平臺應(yīng)用解析該報文，并進行相應(yīng)轉(zhuǎn)化后，發(fā)送至高性能查詢平臺的查詢服務(wù)；

3.高性能查詢平臺查詢服務(wù)組織相關(guān)信息，通過TCP反饋給應(yīng)用；

4.高性能查詢平臺應(yīng)用組成報文，發(fā)送給第三方。

三、高性能查詢平臺的優(yōu)點

(一)采用OGG技術(shù)同步數(shù)據(jù)，實現(xiàn)數(shù)據(jù)庫間實時同步，靠性高。

采用成熟的Oracle Golden Gate軟件，實現(xiàn)不同數(shù)據(jù)庫間的同步，該技術(shù)是一種基于日志的結(jié)構(gòu)化數(shù)據(jù)復(fù)制備份軟件，可通過解析源數(shù)據(jù)庫在線日志或歸檔日志獲得數(shù)據(jù)的增量變化，再將這些變化應(yīng)用到目標數(shù)據(jù)庫，從而實現(xiàn)源數(shù)據(jù)庫與目標數(shù)據(jù)庫同步。Oracle Golden Gate可以在異構(gòu)的IT基礎(chǔ)結(jié)構(gòu)(包括幾乎所有常用操作系統(tǒng)平臺和數(shù)據(jù)庫平臺)之間實現(xiàn)大量數(shù)據(jù)亞秒一級的實時復(fù)制,可以實現(xiàn)一對一、廣播(一對多)、聚合(多對一)、雙向、點對點、級聯(lián)等多種靈活的拓撲結(jié)構(gòu)。具有以下三個特點：一是保證在源數(shù)據(jù)庫與目標數(shù)據(jù)庫按照相同的事務(wù)提交，確保在目標數(shù)據(jù)的完整性和讀一致性，為實時查詢和事務(wù)處理創(chuàng)造了條件。二是抽取和復(fù)制進程使用檢查點機制記錄完成復(fù)制的位置。對于抽取進程，其檢查點記錄當前已經(jīng)抽取日志的位置和寫隊列文件的位置；對于投遞進程，其檢查點記錄當前讀取隊列文件的位置。檢查點機制可以保證在系統(tǒng)、網(wǎng)絡(luò)或OGG進程故障重啟后數(shù)據(jù)無丟失。三是用應(yīng)答機制傳輸交易數(shù)據(jù)，只有在得到確認消息后才認為數(shù)據(jù)傳輸完成，否則將自動重新傳輸數(shù)據(jù)，從而保證了抽取出的所有數(shù)據(jù)都能發(fā)送到備份端。

選取了一個系統(tǒng)，業(yè)務(wù)存量約100萬筆，每日發(fā)生業(yè)務(wù)10萬筆。對其中常用的21張數(shù)據(jù)表模擬執(zhí)行增、刪、改等10萬次數(shù)據(jù)庫操作，所有數(shù)據(jù)均正確、及時的同步。

(二)經(jīng)過性能測試驗證，該方案增量資源要求低。

對使用高性能查詢平臺的前后的系統(tǒng)進行了測試，主要集中于兩個方面：一是對于原系統(tǒng)的資源消耗是情況；二是對于高性能查詢平臺的資源消耗情況。為此選取了一個臺小機作為測試環(huán)境，基本配置為4C16G，系統(tǒng)仍然不變，測試結(jié)果如下：

場景一：應(yīng)用進行交易處理時啟用OGG，應(yīng)用服務(wù)器CPU平均使用率為17.4%，內(nèi)存空閑率為0.12%；不啟用OGG，應(yīng)用服務(wù)器CPU平均使用率為17.8%，內(nèi)存空閑率為0.15%。

場景二：執(zhí)行10萬條DML操作時啟用OGG，應(yīng)用服務(wù)器CPU平均使用率為39.11內(nèi)存空閑率為2.31%；不啟用OGG，應(yīng)用服務(wù)器CPU平均使用率為37.03%，內(nèi)存空閑率為6.94%。

交易類別啟用、不啟用OGG服務(wù)器CPU使用率服務(wù)器內(nèi)存使用率進行交易處理啟用OGG17.4%0.12%不啟用OGG17.8%0.15%執(zhí)行10萬DML操作啟用OGG39.11%2.31%不啟用OGG30.03%6.94%

四、總結(jié)

高性能查詢平臺方案通過采用OGG、守護進程等技術(shù)，可以實時的向客戶提供高效、及時、準確的查詢需求和信息推送服務(wù)，形成負責業(yè)務(wù)處理的寫數(shù)據(jù)庫和負責對外提供服務(wù)的讀數(shù)據(jù)庫，構(gòu)建了符合新一代銀行業(yè)務(wù)系統(tǒng)的主流技術(shù)架構(gòu)。如果系統(tǒng)查詢資源消耗大于原資源消耗量的10%，且查詢服務(wù)簡單且種類單一，高性能查詢平臺提供了一種簡單明了的解決方案。

龐冠廷(1980-)，男，漢族，河北唐山人，碩士，國家開發(fā)銀行，研究方向：金融信息化。