Oracle GoldenGate+DXP 技術(shù)實(shí)現(xiàn)關(guān)鍵業(yè)務(wù)系統(tǒng)容災(zāi)的解決方案*

宰旭昕，康 凱，許廣文

（公安部戶政管理研究中心，北京 100070）

0 引言

為保證關(guān)鍵業(yè)務(wù)系統(tǒng)的安全平穩(wěn)運(yùn)行，確保各類一線業(yè)務(wù)正常辦理及相關(guān)信息準(zhǔn)確、安全，在北京兩個(gè)數(shù)據(jù)中心建立安全有效的關(guān)鍵業(yè)務(wù)系統(tǒng)和相應(yīng)的容災(zāi)備份系統(tǒng)。當(dāng)部署關(guān)鍵業(yè)務(wù)的主機(jī)房發(fā)生重大故障導(dǎo)致業(yè)務(wù)無法辦理、數(shù)據(jù)安全受到影響的情況下，備份環(huán)境可立即啟用，保障業(yè)務(wù)的正常辦理和數(shù)據(jù)的完整、準(zhǔn)確與鮮活。

1 設(shè)計(jì)思路

1.1 備份環(huán)境

考慮到該關(guān)鍵業(yè)務(wù)系統(tǒng)的技術(shù)路線和應(yīng)用的繼承性，災(zāi)備系統(tǒng)采用同等架構(gòu)的設(shè)計(jì)，數(shù)據(jù)結(jié)構(gòu)相同，搭建為物理獨(dú)立的災(zāi)備系統(tǒng)環(huán)境，保持原有數(shù)據(jù)抓取、傳輸、入庫以及對賬的數(shù)據(jù)維護(hù)機(jī)制，通過數(shù)據(jù)同步工具保證主備系統(tǒng)之間的數(shù)據(jù)同步，業(yè)務(wù)應(yīng)用模式和新增需求開發(fā)模式不變。

1.2 數(shù)據(jù)初始化及同步

1.2.1 Oracle GoldenGate 技術(shù)

Oracle GoldenGate 簡稱OGG。OGG 是一款實(shí)時(shí)訪問、捕捉日志變化數(shù)據(jù)且在異構(gòu)平臺(tái)之間進(jìn)行數(shù)據(jù)傳輸?shù)漠a(chǎn)品，主要用于同構(gòu)、異構(gòu)數(shù)據(jù)平臺(tái)之間的數(shù)據(jù)同步[1]。

（1）Oracle GoldenGate 主要特點(diǎn)。第一，高性能。實(shí)時(shí)讀取數(shù)據(jù)庫日志，由特定程序在占用源數(shù)據(jù)庫極少資源的情況下，實(shí)現(xiàn)大量數(shù)據(jù)快速實(shí)時(shí)復(fù)制，以實(shí)現(xiàn)多并發(fā)執(zhí)行。第二，高可靠性。數(shù)據(jù)的同步以交易為單位，使數(shù)據(jù)同步保證一致性。第三，靈活性。支持一對一、一對多、多對一、多對多和雙向復(fù)制等。如圖1 所示，通過在跟蹤文件（trail文件）中臨時(shí)存儲(chǔ)數(shù)據(jù)，OGG 將數(shù)據(jù)源和目標(biāo)分離開來以提供異構(gòu)支持。這種分離的架構(gòu)支持每個(gè)模塊（捕獲、路由、轉(zhuǎn)換和交付4 個(gè)模塊）獨(dú)立執(zhí)行自己的任務(wù)，實(shí)現(xiàn)了高性能、高可靠和靈活性。第四，安全性。具有數(shù)據(jù)壓縮和加密功能，減少對數(shù)據(jù)傳輸帶寬的壓力，同時(shí)大大提高了數(shù)據(jù)傳輸?shù)陌踩訹2]。第五，斷點(diǎn)傳輸。OGG 生成了一種新的文件格式trail 文件，而trail 文件能夠防止產(chǎn)生單點(diǎn)故障，將事務(wù)信息持續(xù)化，具有checkpoint 機(jī)制來記錄當(dāng)前讀寫位置，當(dāng)出現(xiàn)故障時(shí)，通過checkpoint記錄的位置能夠重新準(zhǔn)確傳輸數(shù)據(jù)[3]。第六，OGG支持在異構(gòu)操作系統(tǒng)下、異構(gòu)數(shù)據(jù)庫中進(jìn)行同步，支持主流的操作系統(tǒng)和數(shù)據(jù)庫平臺(tái)[4]，主要支持的異構(gòu)環(huán)境如圖2 所示。

圖1 OGG 分離架構(gòu)

圖2 OGG 支持的異構(gòu)環(huán)境

（2）Oracle GoldenGate 工作原理。OGG 工作原理如圖3 所示。首先由捕獲進(jìn)程（Capture Process）對源數(shù)據(jù)庫的在線日志或歸檔日志進(jìn)行讀取并解析[5]，對涉及SQL 變更表操作的語句或者相關(guān)變化信息轉(zhuǎn)換為OGG 自定義的中間格式存放于隊(duì)列文件。傳送進(jìn)程將隊(duì)列文件通過網(wǎng)絡(luò)傳送到目標(biāo)數(shù)據(jù)，然后由捕獲進(jìn)程進(jìn)行checkpoint，記錄當(dāng)前完成捕捉的log 位置。檢查點(diǎn)的存在可使出現(xiàn)問題時(shí)從檢查點(diǎn)位置繼續(xù)復(fù)制[6]。投遞進(jìn)程從接收到的隊(duì)列中讀取數(shù)據(jù)變化情況，創(chuàng)建相關(guān)的數(shù)據(jù)庫語句，通過數(shù)據(jù)庫的本地接口執(zhí)行。成功執(zhí)行后更新檢查點(diǎn)，記錄完成復(fù)制的信息[6]。

圖3 OGG 工作原理

（3）Oracle GoldenGate 應(yīng)用。綜上所述，OGG是一種能夠支持異構(gòu)環(huán)境的數(shù)據(jù)庫復(fù)制技術(shù)，源端與目標(biāo)端可以是不同的硬件平臺(tái)、操作系統(tǒng)、數(shù)據(jù)庫平臺(tái)以及數(shù)據(jù)庫版本。OGG 執(zhí)行數(shù)據(jù)庫復(fù)制過程中，目標(biāo)端數(shù)據(jù)庫可以是打開運(yùn)行的狀態(tài)，可以支持任何數(shù)據(jù)庫的讀寫操作。OGG 具有高性能、高可靠、安全性以及斷點(diǎn)續(xù)傳等特性。OGG 能夠支持Oracle 數(shù)據(jù)庫中的數(shù)據(jù)復(fù)制容災(zāi)，可以滿足關(guān)鍵業(yè)務(wù)災(zāi)備系統(tǒng)業(yè)務(wù)數(shù)據(jù)備份的需求。

1.2.2 數(shù)據(jù)初始化

應(yīng)用服務(wù)器搭建Cloud Foundy 的PaaS 云平臺(tái)環(huán)境，數(shù)據(jù)庫服務(wù)器搭建Oracle 庫，實(shí)現(xiàn)主系統(tǒng)至備庫的歷史數(shù)據(jù)初始化功能，并使用ETL 工具（Informatica）完成數(shù)據(jù)初始化。通過批量數(shù)據(jù)入庫的方式加載數(shù)據(jù)。按照目前網(wǎng)絡(luò)環(huán)境條件下每天800 萬行（含照片類數(shù)據(jù)）計(jì)算，需要人工干預(yù)，且需要分批次進(jìn)行，無法一次性完成所有類型數(shù)據(jù)的加載。

1.2.3 數(shù)據(jù)增量同步

在完成初始化后，使用實(shí)時(shí)增量數(shù)據(jù)同步工具Oracle GoldenGate 完成日常增量數(shù)據(jù)的同步。通過判斷新增數(shù)據(jù)增量方式，主要按照日志方式，按照實(shí)時(shí)提取主庫增量信息維護(hù)至備庫。增量維護(hù)支持周期調(diào)整、數(shù)據(jù)變化調(diào)整、增量維護(hù)監(jiān)控以及故障診斷等功能。數(shù)據(jù)同步架構(gòu)，如圖4 所示。

圖4 數(shù)據(jù)同步架構(gòu)

1.2.4 數(shù)據(jù)同步監(jiān)控

在災(zāi)備庫中實(shí)現(xiàn)新增數(shù)據(jù)同步監(jiān)控和對賬管理功能。按照周期維護(hù)至備庫，需要對每個(gè)批次維護(hù)信息進(jìn)行數(shù)據(jù)同步監(jiān)控，包括數(shù)據(jù)維護(hù)監(jiān)控、數(shù)據(jù)維護(hù)增量統(tǒng)計(jì)、同步故障報(bào)警以及故障分析解決等功能。

1.3 數(shù)據(jù)安全

為保證確保數(shù)據(jù)傳輸?shù)陌踩c可靠，主要實(shí)現(xiàn)如下功能。

（1）數(shù)據(jù)獲取安全。利用防火墻等技術(shù)對Oracle 訪問的IP、端口進(jìn)行保護(hù)，防止源數(shù)據(jù)維護(hù)視圖被非法訪問。

（2）數(shù)據(jù)傳輸安全。使用SSL 加密傳輸通道進(jìn)行數(shù)據(jù)傳輸，保證數(shù)據(jù)傳輸安全性。

（3）數(shù)據(jù)傳輸可靠：確保傳輸過程不丟包以及傳輸驗(yàn)證等可靠性保護(hù)功能；

（4）斷點(diǎn)續(xù)傳，即支持?jǐn)帱c(diǎn)續(xù)傳。

（5）大文件傳輸，即支持大文件傳輸。

（6）智能路由，即對網(wǎng)絡(luò)上的傳輸節(jié)點(diǎn)實(shí)現(xiàn)智能路由。

1.4 災(zāi)備系統(tǒng)切換要求

單節(jié)點(diǎn)出現(xiàn)問題時(shí)，業(yè)務(wù)切換至另一節(jié)點(diǎn)，必要時(shí)可做服務(wù)降級(jí)，保證關(guān)鍵業(yè)務(wù)系統(tǒng)中的主要業(yè)務(wù)正常服務(wù)。所有業(yè)務(wù)應(yīng)用在能夠在4 h 內(nèi)切換至災(zāi)備系統(tǒng)，數(shù)據(jù)維護(hù)管理應(yīng)用在48 h內(nèi)切換至災(zāi)備系統(tǒng)。

2 備庫的搭建

2.1 基礎(chǔ)環(huán)境準(zhǔn)備

OGG 可實(shí)現(xiàn)異構(gòu)庫之間的數(shù)據(jù)同步，在此選用HPE 的服務(wù)器，數(shù)據(jù)庫依舊使用Oracle 數(shù)據(jù)庫，版本略有不同，使用版本略有新特性的Oracle 12C。GoldenGate 安裝運(yùn)行需要調(diào)用Oracle 的數(shù)據(jù)庫產(chǎn)品的類庫文件，所以安裝GoldenGate 的系統(tǒng)用戶在系統(tǒng)的Oracle:dba 用戶組中也可以直接使用系統(tǒng)Oracle 用戶進(jìn)行安裝。為數(shù)據(jù)安全，隱藏?cái)?shù)據(jù)庫相關(guān)配置信息，硬件配置參照主環(huán)境進(jìn)行配置，支撐環(huán)境基本信息如表1 所示。

表1 環(huán)境配置信息

2.2 數(shù)據(jù)庫準(zhǔn)備

2.2.1 源 端

在主環(huán)境AIX7.1 操作系統(tǒng)上為Oracle 用戶環(huán)境增加參數(shù)“LIBPATH”：

LIBPATH=/goldengate:$ORACLE_HOME/lib:/usr/libOGG 要求源數(shù)據(jù)庫必須處于歸檔以及強(qiáng)制日志模式，且需要開啟數(shù)據(jù)庫表的附加日志（開啟數(shù)據(jù)庫表的附加日志會(huì)導(dǎo)致數(shù)據(jù)庫日志大大增加）。

2.2.2 目標(biāo)端

在HP-UNIX 操作系統(tǒng)為Oracle 用戶環(huán)境增加參數(shù)“SHLIB_PATH”：

SHLIB_PATH=/goldengate:$ORACLE_HOME/lib:/usr/lib

2.3 Oracle GoldenGate 安裝注意事項(xiàng)

2.3.1 Oracle Goldengate 用戶權(quán)限

兩端數(shù)據(jù)庫建立OGG 數(shù)據(jù)庫用戶GoldenGate，如果對用戶權(quán)限要求不嚴(yán)格，可以直接授予DBA權(quán)限，否則需要賦予GoldenGate 用戶CONNECT、ALTER ANY TABLE、ALTER SESSION、CREATE SESSION、FLASHBACK ANY TABLE、SELECT ANY DICTIONARY、SELECT ANY TABLE、RESOURCE以及DROP ANY TABLE 等權(quán)限。

2.3.2 數(shù)據(jù)庫歸檔日志要求

OGG 要求源數(shù)據(jù)庫必須處于歸檔以及強(qiáng)制日志模式，且需要開啟數(shù)據(jù)庫表的附加日志（開啟數(shù)據(jù)庫表的附加日志會(huì)導(dǎo)致數(shù)據(jù)庫日志大大增加，用戶級(jí)別的附加日志和表級(jí)別的附加日志可以在最后配置，即啟動(dòng)同步服務(wù)前一步進(jìn)行配置）。

2.3.3 配置存儲(chǔ)空間

為OGG 創(chuàng)建文件系統(tǒng)，也可在現(xiàn)有文件系統(tǒng)中建立一個(gè)目錄。OGG 對于安裝目錄沒有任何限制，OGG 軟件本身占用不到200 MB 空間。

2.3.4 數(shù)據(jù)隊(duì)列存儲(chǔ)空間

需要在共享陣列上為OGG 軟件劃分一定的存儲(chǔ)空間來存儲(chǔ)OGG 隊(duì)列。

OGG 存儲(chǔ)空間的計(jì)算方法大致如下：

3 災(zāi)備數(shù)據(jù)庫中的問題及解決方案

3.1 關(guān)鍵問題

3.1.1 OGG 進(jìn)程時(shí)間延遲

關(guān)鍵業(yè)務(wù)系統(tǒng)主備庫的OGG 正常運(yùn)行后，只需要進(jìn)入/oracle/ogg 目錄，運(yùn)行./ggsci 進(jìn)入OGG管理控制臺(tái)，在控制臺(tái)輸入info all，即可查看當(dāng)前查看配置在服務(wù)器上的所有進(jìn)程的信息，包括Program（所屬進(jìn)程）、Status（運(yùn)行狀態(tài)）、Group（進(jìn)程名稱）、lag at Chkpt（延遲時(shí)間）以及Time Since Chkpt（檢查點(diǎn)信息）。

在數(shù)據(jù)同步過程中發(fā)現(xiàn)，OGG 進(jìn)程的檢查點(diǎn)總是存在延遲時(shí)間較長的問題。使用info all 命令發(fā)現(xiàn)EXT2 抽取進(jìn)程的延遲過高，持續(xù)居高不下，最高超過1 000 h，詳細(xì)信息如下：

3.1.2 數(shù)據(jù)差異

對主庫與備庫中的數(shù)據(jù)進(jìn)行數(shù)據(jù)對賬工作，發(fā)現(xiàn)存在大量的差異數(shù)據(jù)。目前，備庫和主庫存在約7 500 萬數(shù)據(jù)差異，其中主要包括A 信息1 000 萬、B 信息約5 400 萬、C 信息1 100 萬和D 信息1.6 萬。數(shù)據(jù)差異情況如表2 所示。

3.2 關(guān)鍵問題分析

經(jīng)綜合分析認(rèn)為，在關(guān)鍵業(yè)務(wù)數(shù)據(jù)中存在BLOB 字段類型數(shù)據(jù)。因業(yè)務(wù)原因，時(shí)常會(huì)有大批量數(shù)據(jù)上報(bào)，而當(dāng)日增量超過400 萬時(shí)，OGG 延時(shí)明顯持續(xù)增高。延遲不斷增長會(huì)造成以下問題：一是數(shù)據(jù)抽取過程中，影響抽取的速度和質(zhì)量，而在修復(fù)這個(gè)延遲的過程中，切換到下一個(gè)文件又將導(dǎo)致兩邊數(shù)據(jù)量不一致；二是隨著延遲增高，待同步數(shù)據(jù)累計(jì)增多，OGG 中的trail 文件會(huì)越來越大，給主庫的歸檔造成了大量的存儲(chǔ)資源占用，同時(shí)trail文件的增大和延遲修復(fù)所做的切換將造成備庫與主庫的差異數(shù)據(jù)增多，因此在備庫進(jìn)行數(shù)據(jù)分析業(yè)務(wù)時(shí)，數(shù)據(jù)無法達(dá)到完整、準(zhǔn)確和鮮活的要求。

綜上所述，在大型災(zāi)備系統(tǒng)進(jìn)行數(shù)據(jù)同步的過程中，OGG 在進(jìn)行大規(guī)模BLOB 字段類型數(shù)據(jù)同步時(shí)性能存在問題。一是數(shù)據(jù)同步效率降低，增量數(shù)據(jù)過大時(shí)存在很高的延遲；二是數(shù)據(jù)質(zhì)量下降，BLOB 字段類型數(shù)據(jù)會(huì)出現(xiàn)缺失，如照片存在半張臉問題，OGG 在數(shù)據(jù)同步時(shí)保證了數(shù)據(jù)表的行數(shù)一致，卻丟失了某些字段信息；三是維護(hù)難度較大，沒有可操作的圖形化界面；四是OGG 數(shù)據(jù)同步對DDL 語句進(jìn)行同步，當(dāng)主庫的表結(jié)構(gòu)發(fā)生變化時(shí)，備庫相應(yīng)的表的同步會(huì)停止，當(dāng)需要進(jìn)行字段修改時(shí)需要先停止進(jìn)程。

3.3 數(shù)據(jù)對賬

在缺少數(shù)據(jù)對賬方式的情況下，發(fā)現(xiàn)數(shù)據(jù)維護(hù)存在問題會(huì)比較麻煩。只能通過人工定時(shí)對各類數(shù)據(jù)進(jìn)行統(tǒng)計(jì)來發(fā)現(xiàn)問題，或是等上層應(yīng)用反饋錯(cuò)誤時(shí)才倒查出數(shù)據(jù)維護(hù)中的問題，導(dǎo)致工作十分被動(dòng)。使用OGG進(jìn)行數(shù)據(jù)對賬補(bǔ)償操作非常煩瑣且復(fù)雜，為減少關(guān)鍵業(yè)務(wù)系統(tǒng)備庫與主庫數(shù)據(jù)差異，需在原有數(shù)據(jù)維護(hù)機(jī)制基礎(chǔ)上增加數(shù)據(jù)對賬和差異數(shù)據(jù)補(bǔ)償機(jī)制，開展數(shù)據(jù)對賬及差異數(shù)據(jù)補(bǔ)償工作，保障數(shù)據(jù)的完整性、一致性和鮮活性。

3.3.1 DXP 數(shù)據(jù)傳輸運(yùn)行平臺(tái)

DXP 數(shù)據(jù)傳輸運(yùn)行平臺(tái)通過Web 瀏覽器客戶端監(jiān)控、管理以及維護(hù)系統(tǒng)，快速全面掌握數(shù)據(jù)差異情況，可在備份系統(tǒng)、主備數(shù)據(jù)庫和其他類型的冗余數(shù)據(jù)系統(tǒng)中實(shí)現(xiàn)數(shù)據(jù)一致性。在數(shù)據(jù)不同步時(shí)，它能夠快速、自動(dòng)發(fā)現(xiàn)差異數(shù)據(jù)，且不會(huì)中斷數(shù)據(jù)庫可用性，不再需要運(yùn)行復(fù)雜的查詢并投入大量的人力資源，在某些情況下可節(jié)省數(shù)周的時(shí)間，可根據(jù)需要設(shè)置檢查頻率在主備數(shù)據(jù)庫之間執(zhí)行定期檢查，無需使任一系統(tǒng)、數(shù)據(jù)庫脫機(jī)，且對正常運(yùn)行的業(yè)務(wù)無影響。

（1）DXP 數(shù)據(jù)傳輸運(yùn)行平臺(tái)特點(diǎn)。第一，高效。超速多線程融合，提升數(shù)據(jù)處理速度；多緩存容器，減少鎖開銷，提升采集效率；多協(xié)同輔助線程，縮短整體數(shù)據(jù)處理時(shí)間；根據(jù)CPU 數(shù)量計(jì)算線程池，CPU 利用率達(dá)到最大化，提高對計(jì)算機(jī)硬件的利用率。第二，靈活。支持?jǐn)?shù)據(jù)不斷變化的實(shí)時(shí)數(shù)據(jù)庫，支持跨網(wǎng)絡(luò)跨機(jī)房的比對，對硬件和網(wǎng)絡(luò)資源的影響低。第三，易操作。自動(dòng)分批比對數(shù)據(jù)，實(shí)現(xiàn)總量、條目以及數(shù)據(jù)項(xiàng)的差異數(shù)據(jù)落地；系統(tǒng)由于斷網(wǎng)導(dǎo)致運(yùn)行中斷、斷電出現(xiàn)服務(wù)宕機(jī)等，系統(tǒng)恢復(fù)后可自動(dòng)完成恢復(fù)操作，減少人工干預(yù)。

（2）DXP 數(shù)據(jù)傳輸運(yùn)行平臺(tái)工作原理。DXP數(shù)據(jù)傳輸運(yùn)行平臺(tái)在初始對賬（或行散列）步驟中，利用查詢從源表和目標(biāo)表檢索行。如果源數(shù)據(jù)庫與目標(biāo)數(shù)據(jù)庫屬于不同的類型，列將轉(zhuǎn)換為標(biāo)準(zhǔn)化的數(shù)據(jù)類型格式，以進(jìn)行準(zhǔn)確比較。默認(rèn)情況下，在比較行時(shí)，會(huì)以值一一對應(yīng)的方式比較主鍵的所有列，而對所有非鍵列使用散列值，用于計(jì)算散列值獨(dú)特的數(shù)字簽名縮小通過網(wǎng)絡(luò)傳輸以進(jìn)行比較的數(shù)據(jù)，保持高效和準(zhǔn)確，但是并不能絕對確定兩行列值是否相同。為完全確保發(fā)現(xiàn)不同步的行，DXP 數(shù)據(jù)傳輸運(yùn)行平臺(tái)可配置為以列一一對應(yīng)的方式比較非鍵行而不使用散列，在不斷變化的環(huán)境中確認(rèn)行狀態(tài)，從而確保結(jié)果準(zhǔn)確，執(zhí)行確認(rèn)處理的線程與初始比較步驟并行執(zhí)行，但每行的確認(rèn)直到超出指定的復(fù)制延遲閾值后才執(zhí)行。這一步的最后會(huì)給出對隊(duì)列中的行的評(píng)估結(jié)果。DXP 數(shù)據(jù)傳輸運(yùn)行平臺(tái)通過表結(jié)構(gòu)比對識(shí)別結(jié)構(gòu)化差異、數(shù)據(jù)量比對識(shí)別數(shù)量差異以及數(shù)據(jù)項(xiàng)比對識(shí)別信息內(nèi)容差異，支持表、視圖以及自定義SQL 等方式。

（3）DXP 數(shù)據(jù)傳輸運(yùn)行平臺(tái)應(yīng)用。DXP 數(shù)據(jù)傳輸運(yùn)行平臺(tái)是對OGG 在數(shù)據(jù)對賬和補(bǔ)償方面的補(bǔ)充，支持多種數(shù)據(jù)源和多種比對方式，適用于各種網(wǎng)絡(luò)。多樣化完全基于Web 方式實(shí)現(xiàn)配置、管理和監(jiān)控，可高效處理大量數(shù)據(jù)，支持?jǐn)?shù)據(jù)不斷變化的實(shí)時(shí)數(shù)據(jù)庫，支持跨網(wǎng)絡(luò)跨機(jī)房的比對，對硬件和網(wǎng)絡(luò)資源的影響低，可用來對關(guān)系型數(shù)據(jù)庫和列存儲(chǔ)數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行比對和同步，實(shí)現(xiàn)其備份系統(tǒng)、主從數(shù)據(jù)庫和其他類型的冗余數(shù)據(jù)系統(tǒng)中實(shí)現(xiàn)數(shù)據(jù)一致性，能夠?qū)崿F(xiàn)關(guān)鍵業(yè)務(wù)數(shù)據(jù)對賬及差異補(bǔ)償，確保數(shù)據(jù)的安全、可靠，滿足業(yè)務(wù)方面的需求調(diào)度方式。

3.3.2 數(shù)據(jù)對賬

使用DXP 數(shù)據(jù)傳輸運(yùn)行平臺(tái)在識(shí)別出差異數(shù)據(jù)后，實(shí)現(xiàn)差異數(shù)據(jù)修復(fù)、查看差異數(shù)據(jù)報(bào)告以及基于個(gè)性化配置的數(shù)據(jù)補(bǔ)齊過程，確保兩端數(shù)據(jù)的一致性。在進(jìn)行數(shù)據(jù)對賬前，要對數(shù)據(jù)建立哈希索引和主鍵，通過哈希驗(yàn)證主鍵是否重復(fù)，確認(rèn)在數(shù)據(jù)對賬補(bǔ)償過程中唯一性是否破壞。哈希值能夠在邏輯上確保數(shù)據(jù)的唯一性，選擇差異數(shù)據(jù)表中的某個(gè)字段作為主鍵，通過主鍵的功能索引和唯一性特點(diǎn)加快數(shù)據(jù)庫的運(yùn)行速度，對大規(guī)模數(shù)據(jù)和多個(gè)數(shù)據(jù)庫比對開展數(shù)據(jù)對賬工作，驗(yàn)證數(shù)據(jù)一致性。

3.3.3 環(huán)境搭建

關(guān)鍵業(yè)務(wù)系統(tǒng)的主備庫部署于不同的數(shù)據(jù)中心，需要進(jìn)行兩個(gè)中心的防火墻安全策略的開通。在備份環(huán)境的支撐平臺(tái)上新建兩臺(tái)虛擬機(jī)（系統(tǒng)版本為Windows2012 R2，CPU8C，內(nèi)存32 GB，存儲(chǔ)300 GB）作為DXP 數(shù)據(jù)傳輸運(yùn)行平臺(tái)的基礎(chǔ)支撐環(huán)境。使用主庫和備庫上已經(jīng)存在的數(shù)據(jù)庫賬號(hào)作為數(shù)據(jù)對賬基礎(chǔ)賬號(hào)，權(quán)限為CONNECT、RESOURCE 和CREATE VIEW。在備庫中，新建數(shù)據(jù)庫賬戶SJDZ_DXP 及默認(rèn)表空間384 GB，作為對賬差異數(shù)據(jù)中間存儲(chǔ)池。部署環(huán)境如圖5 所示。

圖5 主備庫環(huán)境部署

3.3.4 數(shù)據(jù)對賬補(bǔ)償步驟

在原有數(shù)據(jù)同步機(jī)制基礎(chǔ)上增加數(shù)據(jù)對賬和差異數(shù)據(jù)補(bǔ)償機(jī)制，根據(jù)數(shù)據(jù)差異情況定期進(jìn)行數(shù)據(jù)對賬補(bǔ)償，能夠保障備庫與主庫數(shù)據(jù)的一致性。

（1）通過Web 瀏覽器，用戶可以連接到數(shù)據(jù)對賬服務(wù)器，并配置備庫與主庫數(shù)據(jù)對賬任務(wù)及其關(guān)聯(lián)對象。在配置相應(yīng)的數(shù)據(jù)對賬任務(wù)后，即可等待任務(wù)執(zhí)行。

（2）使用Web 瀏覽器手動(dòng)執(zhí)行數(shù)據(jù)對賬任務(wù)或用周期調(diào)度自動(dòng)執(zhí)行數(shù)據(jù)對賬任務(wù)，根據(jù)數(shù)據(jù)差異數(shù)量和資源使用情況，按批次進(jìn)行數(shù)據(jù)補(bǔ)償工作。數(shù)據(jù)對賬補(bǔ)償過程如圖6 所示。

圖6 數(shù)據(jù)對賬補(bǔ)償過程

（3）完成任務(wù)后，可以通過使用Web 界面或直接查看文件來分析對賬報(bào)告和不同步報(bào)告，然后根據(jù)日常數(shù)據(jù)維護(hù)情況分析數(shù)據(jù)差異，制定關(guān)鍵業(yè)務(wù)數(shù)據(jù)對賬補(bǔ)償周期。數(shù)據(jù)差異分析合并，如圖7所示。

3.3.5 數(shù)據(jù)對賬補(bǔ)償結(jié)果

本次以存在差異數(shù)據(jù)最多的一類數(shù)據(jù)對賬補(bǔ)償工作為例，按數(shù)據(jù)上報(bào)單位分別制定數(shù)據(jù)對賬補(bǔ)償計(jì)劃，將某一數(shù)據(jù)字段作為主鍵。數(shù)據(jù)對賬計(jì)劃執(zhí)行時(shí)間受數(shù)據(jù)量、字段數(shù)量和字段屬性不同的影響，所消耗的時(shí)間不同。其中，差異數(shù)據(jù)最少為11 586 559 條，對賬耗時(shí)5 分59 秒，差異數(shù)量1 458 392 條，差異存儲(chǔ)耗時(shí)3 分46 秒，差異補(bǔ)償耗時(shí)29 分25 秒；差異數(shù)據(jù)最多為46 797 874條，對賬耗時(shí)23分31秒，差異數(shù)量44 26 995 條，差異存儲(chǔ)耗時(shí)18 分35 秒，差異補(bǔ)償耗時(shí)10 小時(shí)35 分19 秒。

圖7 數(shù)據(jù)差異分析合并

關(guān)鍵業(yè)務(wù)主備系統(tǒng)中比對的總數(shù)據(jù)量大約625 016 662 條，對賬總耗時(shí)8 小時(shí)零9 分，差異總數(shù)量111 827 873 條，差異存儲(chǔ)總耗時(shí)7 小時(shí)，差異補(bǔ)償總耗時(shí)506 小時(shí)43 分。綜上所述，DXP 數(shù)據(jù)傳輸運(yùn)行平臺(tái)一共運(yùn)行25 天4 小時(shí)完成此次對比任務(wù)。經(jīng)測試無對賬差錯(cuò)，補(bǔ)償完整率為100%。

3.4 保障機(jī)制

經(jīng)前期驗(yàn)證，通過數(shù)據(jù)對賬補(bǔ)償方式已將備庫差異數(shù)據(jù)對賬補(bǔ)償，制定保障機(jī)制如圖8 所示。

圖8 數(shù)據(jù)對賬補(bǔ)償保障機(jī)制

（1）在DXP 數(shù)據(jù)傳輸平臺(tái)創(chuàng)建定時(shí)數(shù)據(jù)對賬任務(wù)，將關(guān)鍵業(yè)務(wù)主備系統(tǒng)的A 信息、B 信息、C信息以及D 信息4 類關(guān)鍵業(yè)務(wù)數(shù)據(jù)按數(shù)據(jù)上報(bào)單位分批進(jìn)行對賬；

（2）根據(jù)數(shù)據(jù)對賬結(jié)果，形成差異數(shù)據(jù)；

（3）創(chuàng)建數(shù)據(jù)補(bǔ)償任務(wù)，將A 信息、B 信息、C 信息以及D 信息4 類關(guān)鍵業(yè)務(wù)數(shù)據(jù)按數(shù)據(jù)上報(bào)單位分批進(jìn)行補(bǔ)償；（4）根據(jù)數(shù)據(jù)差異情況，設(shè)置定時(shí)數(shù)據(jù)對賬補(bǔ)償周期為30 天。

3.5 解決方案優(yōu)點(diǎn)

3.5.1 OGG+DXP 技術(shù)行業(yè)案例

Oracle GoldenGate+DXP 技術(shù)保證了對業(yè)務(wù)系統(tǒng)持續(xù)性的訪問，提供了對業(yè)務(wù)持續(xù)性的高度支持，滿足跨地域、跨網(wǎng)絡(luò)的各種復(fù)雜復(fù)制需求。無論從網(wǎng)絡(luò)資源占用、執(zhí)行效率和對系統(tǒng)性能影響等方面考慮，它都具有獨(dú)特的優(yōu)勢，可以滿足實(shí)時(shí)切換的備份需求和在業(yè)務(wù)發(fā)展過程中對數(shù)據(jù)安全的需求，以最短的時(shí)間縮小數(shù)據(jù)差異率直到數(shù)據(jù)統(tǒng)一，更好地完善了數(shù)據(jù)維護(hù)的工作內(nèi)容，提高了數(shù)據(jù)維護(hù)方面的完整性、準(zhǔn)確性以及鮮活性。

3.5.2 RPO、RTO 均達(dá)到最優(yōu)化

OGG+DXP 技術(shù)實(shí)現(xiàn)了主備數(shù)據(jù)庫中數(shù)據(jù)的一致性，當(dāng)主環(huán)境出現(xiàn)問題時(shí)，業(yè)務(wù)即刻切換至備份環(huán)境，保證主要業(yè)務(wù)系統(tǒng)正常運(yùn)行。本次案例中，業(yè)務(wù)應(yīng)用可在4 小時(shí)內(nèi)切換至災(zāi)備系統(tǒng)，數(shù)據(jù)維護(hù)管理應(yīng)用可在48 小時(shí)內(nèi)切換至災(zāi)備系統(tǒng)，實(shí)現(xiàn)了最短時(shí)間內(nèi)恢復(fù)業(yè)務(wù)辦理，在實(shí)現(xiàn)業(yè)務(wù)連續(xù)性和準(zhǔn)確性具有重要意義。需要說明的是，該關(guān)鍵業(yè)務(wù)容災(zāi)系統(tǒng)建設(shè)達(dá)到了RTO 和RPO 最優(yōu)化。

4 結(jié)語

當(dāng)前關(guān)鍵業(yè)務(wù)系統(tǒng)運(yùn)行穩(wěn)定、日漸成熟，業(yè)務(wù)數(shù)據(jù)維護(hù)形成了相對穩(wěn)定、可靠的工作機(jī)制并對外提供查詢服務(wù)。在北京建立關(guān)鍵業(yè)務(wù)主備庫及數(shù)據(jù)對賬補(bǔ)償機(jī)制，一旦主數(shù)據(jù)庫宕機(jī)，備數(shù)據(jù)庫將能立即接管主數(shù)據(jù)庫工作，繼續(xù)提供服務(wù)，保證業(yè)務(wù)系統(tǒng)不間斷，數(shù)據(jù)維護(hù)、數(shù)據(jù)服務(wù)等工作正常運(yùn)行，保障業(yè)務(wù)的連續(xù)性、高可用性以及數(shù)據(jù)的完整、準(zhǔn)確、鮮活。本次案例中的Oracle GoldenGate+DXP 技術(shù)符合該行業(yè)對數(shù)據(jù)和業(yè)務(wù)的高要求，對相關(guān)行業(yè)在實(shí)現(xiàn)關(guān)鍵業(yè)務(wù)系統(tǒng)容災(zāi)方面有一定的借鑒價(jià)值。