基于交易報文的數(shù)據(jù)實時同步方法研究

尚 海 鷹

(上海久譽軟件系統(tǒng)有限公司 上海 200233)

基于交易報文的數(shù)據(jù)實時同步方法研究

尚 海 鷹

(上海久譽軟件系統(tǒng)有限公司 上海 200233)

概括并分析了計算機信息系統(tǒng)中常見的異地數(shù)據(jù)同步方法。針對事務(wù)處理系統(tǒng)的大業(yè)務(wù)量場景，純系統(tǒng)級的數(shù)據(jù)實時同步方法受限于線路帶寬的制約。提出的基于交易報文的數(shù)據(jù)實時同步方法，將事務(wù)處理系統(tǒng)的交易報文歸納為應(yīng)用級的報文重做日志，采用報文分解與封裝、報文同步與緩沖池管理等方法與策略，以很低的線路帶寬實現(xiàn)業(yè)務(wù)數(shù)據(jù)的實時同步目標。通過真實業(yè)務(wù)數(shù)據(jù)系統(tǒng)性的實驗與分析，驗證了方法的可行性與有效性?；谔岢龅姆椒?，大業(yè)務(wù)量下應(yīng)用級容災(zāi)備份的實現(xiàn)成本可顯著降低。

事務(wù)處理系統(tǒng) 容災(zāi)備份 重做日志 數(shù)據(jù)復(fù)制 數(shù)據(jù)恢復(fù)目標

0 引 言

隨著計算機信息系統(tǒng)在互聯(lián)網(wǎng)時代的業(yè)務(wù)模式不斷創(chuàng)新，人們對網(wǎng)絡(luò)應(yīng)用的依賴愈益緊密。各類金融信息、隱私信息散布在網(wǎng)絡(luò)化的信息系統(tǒng)中，這些數(shù)據(jù)關(guān)系著廣大用戶及企業(yè)的切身利益。近幾年來，黑客入侵、業(yè)務(wù)數(shù)據(jù)竊密、數(shù)據(jù)篡改偽造、蠕蟲與勒索病毒等非法行為在網(wǎng)絡(luò)上的施虐已引起社會各界的高度警覺[1]，信息安全形勢日趨嚴峻，信息系統(tǒng)的業(yè)務(wù)持續(xù)性及業(yè)務(wù)數(shù)據(jù)保護絲毫不可懈怠。

依照國家有關(guān)計算機信息系統(tǒng)安全保護等級劃分準則，關(guān)鍵業(yè)務(wù)信息系統(tǒng)擬在異地建立一個應(yīng)用級的災(zāi)難備份中心，通過數(shù)據(jù)同步技術(shù)，保持兩地業(yè)務(wù)數(shù)據(jù)的一致性與完整性。

數(shù)據(jù)同步作為異地災(zāi)難備份的核心任務(wù)，需要部署相應(yīng)的設(shè)備設(shè)施及租用廣域網(wǎng)線路。企業(yè)在這類信息安全措施上的投入是沒有直接回報的，年復(fù)一年的運行費用，對企業(yè)是個負擔(dān)。

對于大業(yè)務(wù)量的事務(wù)處理系統(tǒng)，為避免業(yè)務(wù)數(shù)據(jù)的丟失，異地數(shù)據(jù)實時同步需要占用很高的線路帶寬，甚至依賴于裸光纖上的波分復(fù)用技術(shù)，這樣的成本對于效益一般的企業(yè)或者非營利性的公用事業(yè)單位均難以承受。

本文提出基于交易報文的數(shù)據(jù)實時同步方法，其目的就是化解大業(yè)務(wù)量事務(wù)處理系統(tǒng)中數(shù)據(jù)實時同步與實現(xiàn)成本之間的矛盾，以低帶寬的線路條件實現(xiàn)業(yè)務(wù)數(shù)據(jù)零丟失的備份與恢復(fù)目標。

1 事務(wù)處理系統(tǒng)的數(shù)據(jù)復(fù)制技術(shù)

事務(wù)處理系統(tǒng)的業(yè)務(wù)數(shù)據(jù)一般由關(guān)系型數(shù)據(jù)庫系統(tǒng)管理，主備數(shù)據(jù)庫之間需要維持數(shù)據(jù)同步。數(shù)據(jù)同步技術(shù)的目的就是維持主備數(shù)據(jù)庫業(yè)務(wù)數(shù)據(jù)的一致性。

數(shù)據(jù)庫系統(tǒng)管理著各類數(shù)據(jù)表，其存儲空間依照邏輯關(guān)系大致映照為數(shù)據(jù)庫表空間及相關(guān)的數(shù)據(jù)文件、文件系統(tǒng)及相關(guān)的邏輯卷或裸設(shè)備、磁盤陣列邏輯分配單元LUN及相對應(yīng)的磁盤卷組(RAID組)。各層面供應(yīng)商在數(shù)據(jù)復(fù)制這個細分領(lǐng)域各顯神通，維持數(shù)據(jù)一致性的技術(shù)與開銷也十分復(fù)雜，其典型的技術(shù)方案，如表1所示。

表1 數(shù)據(jù)復(fù)制技術(shù)的分類

磁盤陣列層面的數(shù)據(jù)復(fù)制技術(shù)對于上層的操作系統(tǒng)及數(shù)據(jù)庫基本透明，具體的數(shù)據(jù)復(fù)制策略一般可由系統(tǒng)管理員配置與實施。數(shù)據(jù)復(fù)制可以采用異步方式或?qū)崟r同步方式。該方法采用的技術(shù)與存儲設(shè)備有關(guān)，需要存儲設(shè)備廠商專門軟件授權(quán)，費用高、靈活性差。鑒于其塊結(jié)構(gòu)存儲的特點，復(fù)制數(shù)據(jù)的冗余率高[2]，復(fù)制流量大，其實時同步方式通常對線路帶寬的要求很高。另外，該層面缺乏與數(shù)據(jù)庫事務(wù)保護機制的溝通，異步復(fù)制方式恢復(fù)時容易導(dǎo)致業(yè)務(wù)數(shù)據(jù)的丟失，嚴重時可導(dǎo)致數(shù)據(jù)庫的恢復(fù)失敗。

文件系統(tǒng)或邏輯卷的數(shù)據(jù)復(fù)制技術(shù)與磁盤陣列的數(shù)據(jù)復(fù)制技術(shù)相似，但無需依賴特定的存儲設(shè)備，軟件授權(quán)成本低。該技術(shù)增加了宿主服務(wù)器的處理器資源負擔(dān)，在復(fù)雜的計算環(huán)境下數(shù)據(jù)復(fù)制的穩(wěn)定性較差，容易造成備份端系統(tǒng)的數(shù)據(jù)不一致而導(dǎo)致恢復(fù)失敗。

面向數(shù)據(jù)庫系統(tǒng)的復(fù)制技術(shù)通過在線日志或歸檔日志同步數(shù)據(jù)，具有顯著的穩(wěn)定性與可恢復(fù)性，數(shù)據(jù)傳輸?shù)娜哂喽容^低，異步日志傳遞對線路帶寬沒有特別要求，一般關(guān)系型數(shù)據(jù)庫的內(nèi)核均支持該方式的數(shù)據(jù)同步。大交易量的數(shù)據(jù)庫系統(tǒng)若采用實時同步方式傳遞在線日志記錄，則對線路的帶寬及穩(wěn)定性亦有較高的要求。其同步機制相當(dāng)于跨數(shù)據(jù)庫的二階段事務(wù)提交，異地數(shù)據(jù)庫未成功接收到在線交易日志或未能返回成功的事務(wù)重做信息，則本地數(shù)據(jù)庫系統(tǒng)相關(guān)事務(wù)便會掛起，進而引起業(yè)務(wù)系統(tǒng)停頓。

數(shù)據(jù)表的復(fù)制一般用于兩個獨立活動的數(shù)據(jù)庫系統(tǒng)，以維持某類業(yè)務(wù)數(shù)據(jù)的一致性。復(fù)制哪些表或表中的哪些數(shù)據(jù)行，與應(yīng)用系統(tǒng)的設(shè)計密切相關(guān)[3]，故數(shù)據(jù)表的復(fù)制由應(yīng)用程序開發(fā)者或業(yè)務(wù)系統(tǒng)維護人員來配置與管理。鑒于數(shù)據(jù)表管理的復(fù)雜性，大型事務(wù)處理系統(tǒng)很少采用表級復(fù)制技術(shù)來實現(xiàn)系統(tǒng)級的異地容災(zāi)備份。

本文基于對事務(wù)處理系統(tǒng)及其業(yè)務(wù)流程的深入理解，以應(yīng)用軟件開發(fā)及數(shù)據(jù)庫管理的雙視角，提出一種融入到應(yīng)用程序框架的業(yè)務(wù)數(shù)據(jù)實時同步方法，意在克服純系統(tǒng)級數(shù)據(jù)同步技術(shù)的局限性，化解數(shù)據(jù)同步技術(shù)在完整性、實時性與實現(xiàn)成本之間的矛盾，體驗異地容災(zāi)備份的最佳實踐。

2 事務(wù)處理系統(tǒng)中的數(shù)據(jù)流分析

一個規(guī)?；氖聞?wù)處理系統(tǒng)由若干層次構(gòu)成，如前置通信層或者業(yè)務(wù)界面層、事務(wù)邏輯處理層、業(yè)務(wù)數(shù)據(jù)管理層等。業(yè)務(wù)界面層的服務(wù)程序部署在后臺的一般為B/S架構(gòu)，部署在客戶端的一般為C/S架構(gòu)。C/S架構(gòu)需要在平臺測部署前置通信程序，以接收客戶端提交的事務(wù)交易報文。無論何種架構(gòu)，前端系統(tǒng)通常將事務(wù)封裝成約定的交易報文格式交付給后端系統(tǒng)進一步處理。

B/S架構(gòu)的系統(tǒng)由于界面呈現(xiàn)的元素，如頁面、表單、圖片等需從后臺系統(tǒng)實時獲取，互聯(lián)網(wǎng)業(yè)務(wù)門戶一般部署較高的帶寬，但業(yè)務(wù)界面上的瀏覽與操作并不會持續(xù)產(chǎn)生事務(wù)的提交，B/S架構(gòu)實際事務(wù)的提交流量與C/S架構(gòu)下事務(wù)的提交流量相仿。

本文在后續(xù)章節(jié)中將各類架構(gòu)的交易報文形成端，統(tǒng)稱為交易報文層。

事務(wù)處理系統(tǒng)每個層面的數(shù)據(jù)流量呈金字塔形態(tài)，從前端交易報文的形成至后臺業(yè)務(wù)數(shù)據(jù)的落地，數(shù)據(jù)流量以量級遞增。如表2所示。百字節(jié)的單筆業(yè)務(wù)交易有可能牽動百K字節(jié)存儲塊的變更。

表2 業(yè)務(wù)數(shù)據(jù)的層次與流量

各事務(wù)處理系統(tǒng)之間通常租用點到點專線進行業(yè)務(wù)數(shù)據(jù)交換。三大通信運營商以2 M帶寬的DDN、SDH、MSTP等各類型線路為租賃及計費單元，符合實際應(yīng)用中的業(yè)務(wù)數(shù)據(jù)流量需求[4]。單個業(yè)務(wù)網(wǎng)點通常采用更低的9600 bps～64 Kbps帶寬線路或采用逐漸流行的GPRS無線APN方式接入，事務(wù)處理后臺系統(tǒng)以E1線路或運營商無線APN專網(wǎng)線路等實現(xiàn)廣域網(wǎng)鏈路匯聚，匯聚線路總帶寬一般在2 Mbps至30 Mbps之間。

顯然，事務(wù)處理系統(tǒng)在交易報文的收發(fā)端其數(shù)據(jù)流量甚少，數(shù)據(jù)冗余度極低，交易報文以精簡的格式包羅了事務(wù)處理系統(tǒng)的業(yè)務(wù)變更信息。通常單個交易報文從幾十字節(jié)到幾百字節(jié)不等，100萬筆的業(yè)務(wù)量才產(chǎn)生幾十兆至幾百兆的總數(shù)據(jù)流量。若將主生產(chǎn)系統(tǒng)收到的交易報文實時復(fù)制到異地備份系統(tǒng)，理論上以最小的代價實現(xiàn)了業(yè)務(wù)數(shù)據(jù)的同步。

3 交易報文的同步方法實現(xiàn)

3.1 融合同步的策略

交易報文必須經(jīng)過業(yè)務(wù)邏輯層的處理才能落地為持久態(tài)的業(yè)務(wù)數(shù)據(jù)。單純采用交易報文的同步方式，需要在異地開啟活動的應(yīng)用系統(tǒng)及相應(yīng)的數(shù)據(jù)庫。這種雙活的應(yīng)用模式實際運用十分復(fù)雜。建立在實際業(yè)務(wù)環(huán)境中的數(shù)據(jù)庫管理系統(tǒng)還承擔(dān)著日常業(yè)務(wù)管理的訪問需求。這些后臺管理業(yè)務(wù)，通過不同的程序?qū)訑?shù)據(jù)庫系統(tǒng)，如此，本地數(shù)據(jù)庫與異地數(shù)據(jù)庫隨著活動時間的積累將存在很大的差異性。采用存儲系統(tǒng)層面雙向數(shù)據(jù)實時同步的機制，雖可以消除差異，但結(jié)構(gòu)復(fù)雜且成本巨大[5]。實際上異地雙活應(yīng)用系統(tǒng)也非必要的業(yè)務(wù)需求。

為避免兩地數(shù)據(jù)庫的差異性，本文提出的交易報文同步方法并非孤立地應(yīng)用在實際系統(tǒng)中。該方法的核心思想是在數(shù)據(jù)流量大的底層(如數(shù)據(jù)庫層)采用數(shù)據(jù)異步復(fù)制技術(shù)，在數(shù)據(jù)流量小的上層(交易報文層)采用數(shù)據(jù)實時同步復(fù)制技術(shù)，從而彌補系統(tǒng)層數(shù)據(jù)異步復(fù)制造成的近期交易數(shù)據(jù)的缺失，使數(shù)據(jù)同步完整性、實時性與技術(shù)成本之間的矛盾得以化解。

3.2 交易報文同步方法的構(gòu)成

本文提出的交易報文實時同步方法建立在事務(wù)處理系統(tǒng)應(yīng)用軟件及數(shù)據(jù)庫管理系統(tǒng)的環(huán)境下[6]。

生產(chǎn)數(shù)據(jù)庫系統(tǒng)將歸檔日志傳遞到異地數(shù)據(jù)庫系統(tǒng)，異地數(shù)據(jù)庫系統(tǒng)將接收到的歸檔日志重做回備份數(shù)據(jù)庫，這是一個穩(wěn)定的、成本低廉的備份數(shù)據(jù)庫同步與恢復(fù)機制，但備份數(shù)據(jù)庫與生產(chǎn)數(shù)據(jù)庫始終存在著差異(在線日志或未歸檔日志中的事務(wù)數(shù)據(jù))。

交易報文的同步方法旨在兩地事務(wù)處理系統(tǒng)中部署一對交易報文的同步管理程序與交易同步報文緩沖池，簡稱交易報文同步系統(tǒng)。主系統(tǒng)同步程序?qū)⒋幚淼慕灰讏笪姆纸?、驗證與再封裝，封裝后的交易同步報文增加了交易識別號、時間戳、會話標識號等必要的信息[7]，可理解為應(yīng)用級的交易重做日志，并按設(shè)定的工作模式持續(xù)地將應(yīng)用級的交易同步報文傳遞到異地系統(tǒng)。本地應(yīng)用系統(tǒng)在處理交易報文的后續(xù)流程中將交易識別號等相關(guān)信息隨數(shù)據(jù)庫事務(wù)的提交同步記錄到交易狀態(tài)表。

在災(zāi)難恢復(fù)過程中，異地備份數(shù)據(jù)庫通過歸檔日志恢復(fù)后，通常處于不完全恢復(fù)狀態(tài)，此時異地應(yīng)用系統(tǒng)比較交易狀態(tài)表與交易同步報文緩沖池的相關(guān)信息，將差額交易數(shù)據(jù)提取并重新交付后續(xù)應(yīng)用程序處理，這可理解為適時恢復(fù)數(shù)據(jù)的策略，從而實現(xiàn)業(yè)務(wù)數(shù)據(jù)的零丟失目標。交易狀態(tài)表用來識別備份數(shù)據(jù)庫歸檔日志已恢復(fù)了哪些成功提交的事務(wù)[8]。

交易同步報文緩沖池實際上是一個先進先出交易同步報文存儲區(qū)，簡稱FIFO緩沖區(qū)，用以保存事務(wù)處理系統(tǒng)近期產(chǎn)生的交易數(shù)據(jù)或稱交易重做日志。主備系統(tǒng)兩端各維持一個交易同步報文緩沖池，以滿足不同工作模式下的報文同步需求。

同步管理程序由同步通信程序、緩沖池管理程序等組成。同步通信程序負責(zé)兩地系統(tǒng)之間的交易同步報文的封裝與傳輸，緩沖池管理程序負責(zé)管理FIFO緩沖區(qū)，定時判別備份數(shù)據(jù)庫中歸檔日志的恢復(fù)狀態(tài)，清除緩沖池內(nèi)過時的交易同步報文。

3.3 交易報文的分解規(guī)則

規(guī)則1：針對批量交易事務(wù)，設(shè)T為原始交易報文，i為當(dāng)前交易識別序號，n為T中包含的面向數(shù)據(jù)庫的事務(wù)對象數(shù)量。若n>1，則多個事務(wù)對象依次序拆分成多個交易同步報文，即{Ti，Ti+1,…,Ti+n-1}。

規(guī)則2：針對聯(lián)機會話事務(wù)，多個交易報文對應(yīng)一個數(shù)據(jù)庫事務(wù)對象，則標記事務(wù)起始報文及事務(wù)結(jié)束報文，以會話識別號為關(guān)聯(lián)值，識別整體事務(wù)對象。標示為：Tb為會話起始報文，Te為會話結(jié)束報文，k為會話識別號，交易同步報文子集{Ti.SessionID=k，i=b,b+1,b+2,…,e}被識別為整體事務(wù)。

規(guī)則3：針對文件收發(fā)事務(wù)，建立事務(wù)起始報文及事務(wù)結(jié)束報文。識別文件對象收發(fā)的完整性，支持大文件斷點續(xù)傳。

3.4 交易報文同步的工作模式

為滿足特定的業(yè)務(wù)需求，交易報文同步系統(tǒng)設(shè)計為多種工作模式，各模式工作方式,如表3所示。

表3 交易報文同步系統(tǒng)的工作模式

最高一致性模式下，主系統(tǒng)交易報文層的應(yīng)用程序必須確認交易同步報文寫入本地及異地的FIFO緩沖區(qū)后，再將交易報文交付后續(xù)應(yīng)用程序處理。此時，若數(shù)據(jù)同步線路故障，則該應(yīng)用程序掛起，不再繼續(xù)工作，直至故障恢復(fù)或同步工作模式切換。這種模式可保持兩地系統(tǒng)最高的事務(wù)數(shù)據(jù)一致性。

最高可用性模式下，主系統(tǒng)交易報文層的應(yīng)用程序?qū)⒔灰淄綀笪膶懭氡镜谾IFO緩沖區(qū)后，交易報文隨即交付后續(xù)應(yīng)用程序處理。同步管理程序以后臺任務(wù)方式將本地FIFO緩沖區(qū)的交易同步報文傳遞到對端系統(tǒng)，或稱異步模式。此時若數(shù)據(jù)同步線路故障，主系統(tǒng)業(yè)務(wù)處理流程不受影響。這種模式符合生產(chǎn)系統(tǒng)絕對優(yōu)先原則，任何備份措施的故障不應(yīng)該造成生產(chǎn)系統(tǒng)的停頓。

自動管理模式在同步線路故障時事務(wù)處理流程有短暫的延時，延時時間取決于兩地交易報文同步系統(tǒng)之間設(shè)定的健康檢查條件。一般情形下，設(shè)定單位時間內(nèi)數(shù)次獲取不到對端系統(tǒng)的正常應(yīng)答信息，則判定通信故障。自動管理模式體現(xiàn)了備份措施能用則用，但備份措施故障時業(yè)務(wù)系統(tǒng)還得繼續(xù)工作的原則。這個模式也是應(yīng)用實踐中的推薦模式。

4 實驗與分析

實驗數(shù)據(jù)源自于特大型城市的公共交通一卡通支付清算業(yè)務(wù)系統(tǒng)。實驗環(huán)境由該系統(tǒng)的原型測試系統(tǒng)組成，主系統(tǒng)及備系統(tǒng)各由二臺HPUX小型機及一臺HP XP20000存儲構(gòu)成，其中一臺小型機部署Oracle數(shù)據(jù)庫系統(tǒng)，另一臺部署清算業(yè)務(wù)應(yīng)用系統(tǒng)。二臺小型機及存儲系統(tǒng)具備較高配置，滿足每秒處理800筆業(yè)務(wù)交易的能力。

為了便于實驗環(huán)境的搭建及各種實驗條件的控制，主備系統(tǒng)均位于同一機房。兩個系統(tǒng)之間采用專屬以太網(wǎng)線路連接，并通過以太網(wǎng)接口速率的協(xié)商控制，滿足千兆、百兆及十兆等數(shù)據(jù)同步線路帶寬的實驗條件。

測試數(shù)據(jù)庫表空間基礎(chǔ)容量2 TB左右，沉淀3年以上的業(yè)務(wù)數(shù)據(jù)。每個在線日志200 MB。6 000萬筆測試業(yè)務(wù)數(shù)據(jù)來自實際生產(chǎn)系統(tǒng)3至4個交易日業(yè)務(wù)數(shù)據(jù)的積累。實驗環(huán)境下測試輔助程序通過讀取交易累積目錄下的業(yè)務(wù)數(shù)據(jù)文件形成原始交易報文直接交付給應(yīng)用系統(tǒng)的前置通信程序。

實驗共分三輪，每輪使用2 000萬筆交易業(yè)務(wù)測試數(shù)據(jù)。

第一輪測試采用數(shù)據(jù)庫在線日志實時同步方式，實驗觀察該方式下對系統(tǒng)性能的影響及網(wǎng)絡(luò)帶寬的要求。該輪實驗主備數(shù)據(jù)庫運行在Oracle Dataguard最大保障模式下(無數(shù)據(jù)丟失)，主備系統(tǒng)之間網(wǎng)絡(luò)帶寬千兆。2 000萬筆交易處理用了近30個小時，平均每秒處理約200筆交易。鑒于這個結(jié)果，更低帶寬的同步條件已無測試必要。

第二輪測試采用數(shù)據(jù)庫歸檔日志異步傳輸方式及交易報文實時同步方式。實驗觀察該方式下對系統(tǒng)性能的影響及網(wǎng)絡(luò)帶寬的要求。該輪實驗主備數(shù)據(jù)庫運行在Oracle Dataguard最大性能模式，應(yīng)用層交易報文同步系統(tǒng)工作在最高一致性模式。主備系統(tǒng)之間網(wǎng)絡(luò)帶寬按預(yù)估帶寬百兆設(shè)定。2 000萬筆交易處理用了約8個小時，平均每秒處理約700筆，該性能達到單系統(tǒng)峰值處理能力的87.5%，已滿足異地容災(zāi)備份的預(yù)定技術(shù)要求。

第三輪測試與第二輪測試工作方式基本一樣。但本輪實驗應(yīng)用層交易報文同步系統(tǒng)工作在自動管理模式。實驗觀察該方式下網(wǎng)絡(luò)帶寬對數(shù)據(jù)同步狀態(tài)的影響及業(yè)務(wù)數(shù)據(jù)的恢復(fù)能力。測試情況如表4所示。

表4 各階段網(wǎng)絡(luò)帶寬及系統(tǒng)同步狀態(tài)

本輪最后階段結(jié)束后(主系統(tǒng)處理完2 000萬筆交易)，中斷二個系統(tǒng)之間的網(wǎng)絡(luò)連接，此時，備系統(tǒng)僅恢復(fù)到已傳輸完成的歸檔日志。將備份數(shù)據(jù)庫激活，應(yīng)用層交易報文重做恢復(fù)機制介入，備系統(tǒng)的交易報文同步管理程序通過比較備庫的交易狀態(tài)表與備系統(tǒng)交易同步報文緩沖池的相關(guān)報文信息，將差額交易數(shù)據(jù)從備系統(tǒng)交易報文同步緩沖區(qū)中提取并交付備系統(tǒng)應(yīng)用程序處理，適時恢復(fù)備系統(tǒng)的業(yè)務(wù)數(shù)據(jù)。差額交易共用時30分鐘，處理150萬筆交易。最后，通過主備兩個數(shù)據(jù)庫系統(tǒng)一卡通賬務(wù)表，交易明細表，業(yè)務(wù)清算表等對比，主備系統(tǒng)業(yè)務(wù)數(shù)據(jù)完全一致。

實驗表明，本文方法有效，并具有較高的寬容度，在極低的同步線路帶寬下仍能穩(wěn)定工作，高達百萬筆的業(yè)務(wù)交易差異能有效識別并適時恢復(fù)，恢復(fù)后的事務(wù)處理系統(tǒng)業(yè)務(wù)數(shù)據(jù)一致性和完整性能切實保障。

5 容災(zāi)備份中的實際應(yīng)用

上海與北京兩個特大型城市的公共交通一卡通支付系統(tǒng)，日均業(yè)務(wù)量均在2 000萬筆左右，地鐵、公交、出租等公共交通支付服務(wù)事關(guān)民生與社會穩(wěn)定，建立異地容災(zāi)備份系統(tǒng)刻不容緩。2004年上海一卡通系統(tǒng)率先采用應(yīng)用級的交易報文同步技術(shù)，實現(xiàn)同城異地的容災(zāi)備份。2007年北京一卡通系統(tǒng)采用改進后的交易報文同步技術(shù)，也建立了同城異地的容災(zāi)備份體系。兩大異地容災(zāi)備份系統(tǒng)均采用百兆以太網(wǎng)的數(shù)據(jù)同步線路，數(shù)據(jù)庫歸檔日志日均產(chǎn)生量100 GB左右，數(shù)據(jù)庫系統(tǒng)在百兆網(wǎng)絡(luò)條件下以最大性能模式異步傳輸歸檔日志。一卡通支付業(yè)務(wù)系統(tǒng)平均每筆交易長度控制在150 B，交易報文日均產(chǎn)生量低于3 GB。交易報文數(shù)據(jù)實時同步在百兆以太網(wǎng)線路條件下對實際應(yīng)用系統(tǒng)性能的影響低至忽略不計。主數(shù)據(jù)同步線路故障時，僅2 Mbps帶寬的數(shù)據(jù)同步備份線路的條件下，數(shù)據(jù)庫歸檔日志傳遞已處于卡頓狀態(tài)，基于交易報文的數(shù)據(jù)同步方法還能正常工作，此時一旦災(zāi)難發(fā)生，異地系統(tǒng)仍可依賴應(yīng)用級的交易報文重做機制保障業(yè)務(wù)數(shù)據(jù)的完整性。二大系統(tǒng)經(jīng)歷了2008年奧運及2010年世博會期間大業(yè)務(wù)量的考驗，十余年來穩(wěn)定運行，基于應(yīng)用層的交易報文同步技術(shù)不斷改進、日趨成熟，逐漸形成了目前完整的、可重用的數(shù)據(jù)同步應(yīng)用體系。

實際上，本地備份數(shù)據(jù)庫的恢復(fù)過程也可以通過應(yīng)用程序重做本地緩沖池內(nèi)的交易報文，實現(xiàn)業(yè)務(wù)數(shù)據(jù)的完整恢復(fù)，進一步增強應(yīng)用系統(tǒng)自身結(jié)構(gòu)上的業(yè)務(wù)恢復(fù)能力。

6 結(jié) 語

本文給出的基于交易報文的數(shù)據(jù)實時同步方法，將事務(wù)處理系統(tǒng)的交易報文歸納為應(yīng)用級的重做日志，結(jié)合數(shù)據(jù)庫的歸檔日志恢復(fù)機制，在大業(yè)務(wù)量的應(yīng)用系統(tǒng)中，無需高成本、高帶寬的數(shù)據(jù)同步線路，即可實現(xiàn)異地備份系統(tǒng)業(yè)務(wù)數(shù)據(jù)的完整性與一致性。經(jīng)實際案例的測試與分析，該方法的可行性、有效性得到了充分驗證。該方法在特定事務(wù)處理系統(tǒng)的異地容災(zāi)備份實踐中具有較強的可操作性和實用價值。

[1] 陳文捷，蔡立志．大數(shù)據(jù)安全及其評估[J]．計算機應(yīng)用與軟件，2016，33(4)：34-38，71．

[2] 楊天明，吳海濤．一種批處理塊級數(shù)據(jù)去重方法[J]．計算機應(yīng)用與軟件，2016，33(5)：44-46，60．

[3] 馮凌穎，陳耀武，蔣榮欣．一種異構(gòu)主從模式數(shù)據(jù)同步園區(qū)停車系統(tǒng)的設(shè)計與實現(xiàn)[J]．計算機應(yīng)用與軟件，2016，33(4)：64-67，75．

[4] 張澤鑫，李俊，常向青. 互聯(lián)網(wǎng)流量的演化研究[J]. 計算機應(yīng)用與研究，2015，32(11):3215-3221.

[5] 丁建立，王斌強，張超．異地雙活數(shù)據(jù)中心服務(wù)區(qū)域劃分優(yōu)化[J]．計算機應(yīng)用與軟件，2016，33(2)：30-32，54．

[6] 王晨光，王靜，張超，等．面向航空物流的數(shù)據(jù)交換平臺設(shè)計方法研究[J]．計算機應(yīng)用與軟件，2015，32(12)：34-37．

[7] 郝平，林原沖．一種移動網(wǎng)絡(luò)下基于雙時間戳的數(shù)據(jù)增量同步研究[J]．計算機應(yīng)用與軟件，2016，33(4)：143-145，226．

[8] 王德軍，何征，王麗娜. 基于事件的連續(xù)數(shù)據(jù)保護系統(tǒng)研究[J].計算機應(yīng)用研究，2014,31(2):465-471，475.

RESEARCHONREAL-TIMEDATASYNCHRONOUSMETHOD
BASEDONTRANSACTIONMESSAGE

Shang Hai Ying

(ShanghaiJiuyuSoftwareSystemCo.,Ltd.,Shanghai200233,China)

This paper presents the common methods of remote data synchronization in computer information system. Under the large volume business scene of a transaction processing system, traditional data replication technology is limited by high network bandwidth. Therefore, we propose a real-time data synchronization method based on transaction message. The transaction messages of transaction processing system were classified as application level message redo logs, and the methods and strategies of packet decomposition and encapsulation, message synchronization and buffer pool management were adopted. Finally, the real-time synchronization target of business data was realized with very low line bandwidth. Through the implementation of disaster recovery case practice, we fully verified the feasibility and effectiveness of the method. The proposed method can significantly reduce the implementation cost of application-level disaster recovery in large traffic.

Transaction processing system Disaster recovery Redo log Data replication Recovery point objective

2017-06-09。尚海鷹，工程師，主研領(lǐng)域：事務(wù)處理系統(tǒng)，系統(tǒng)集成，數(shù)據(jù)庫管理。

TP3

A

10.3969/j.issn.1000-386x.2017.11.025