基于隔離網(wǎng)閘的異構(gòu)數(shù)據(jù)庫同步技術(shù)研究與實現(xiàn)

崔恒香 馮徑 馬瑋駿 張慶 龐琨 余堃

摘 要：數(shù)據(jù)同步是分布式環(huán)境中維護(hù)各節(jié)點數(shù)據(jù)庫數(shù)據(jù)一致性的一項關(guān)鍵技術(shù)。本文針對存在物理隔離網(wǎng)閘的應(yīng)用環(huán)境，提出一種基于觸發(fā)器的SQL文件級異構(gòu)數(shù)據(jù)庫同步方法，該方法適用于企業(yè)異構(gòu)數(shù)據(jù)庫同步。文中將闡述隔離網(wǎng)閘環(huán)境下異構(gòu)數(shù)據(jù)庫同步的工作原理，提出同步系統(tǒng)的總體框架，給出變化捕獲、SQL文件生成、文件傳輸、數(shù)據(jù)更新和故障處理這五個環(huán)節(jié)的實現(xiàn)細(xì)節(jié)。最后通過在洪水預(yù)報系統(tǒng)中的實際應(yīng)用，驗證本文方法的高效性及可靠性。

關(guān)鍵詞：數(shù)據(jù)同步；網(wǎng)閘；異構(gòu)數(shù)據(jù)庫；觸發(fā)器；SQL

中圖分類號：TP302.7 文獻(xiàn)標(biāo)識碼：A

1 引言（Introduction）

網(wǎng)絡(luò)技術(shù)的飛速發(fā)展和分布式計算的廣泛應(yīng)用，大大方便了企業(yè)的跨地域發(fā)展，許多企業(yè)通過不斷重組和分散經(jīng)營來提高效率，形成了分散、異構(gòu)的環(huán)境特點。這些機(jī)構(gòu)在地域上雖然分散，但在管理上相對集中，往往既要有各機(jī)構(gòu)的局部控制和分散管理，又要求各機(jī)構(gòu)之間的信息能靈活交流和共享，能統(tǒng)一管理和使用[1]。所以對于異構(gòu)數(shù)據(jù)庫同步技術(shù)的研究是十分有必要的。

絕大多數(shù)企業(yè)并不是把這些地域上分散的應(yīng)用數(shù)據(jù)庫通過直接的傳輸通道進(jìn)行連接，考慮到網(wǎng)絡(luò)傳輸?shù)陌踩?，往往在傳輸通道上添加物理隔離網(wǎng)閘，將兩者隔離，建立單向連接，來保證信息傳遞的安全。網(wǎng)閘對應(yīng)用的支持主要是通過對應(yīng)用協(xié)議的剝離和重建來完成的，能夠在保證安全的情況下盡可能支持?jǐn)?shù)據(jù)交換，如果不安全則斷開，可以解決數(shù)據(jù)庫保護(hù)所需要的完整性，可用性，保密性，可鑒別和防抵賴等特性，因此被廣泛應(yīng)用在數(shù)據(jù)庫保護(hù)上[2]。目前，在物理隔離網(wǎng)閘的特定網(wǎng)絡(luò)環(huán)境下，如何有效地解決異構(gòu)數(shù)據(jù)庫間的數(shù)據(jù)同步問題已成為企業(yè)數(shù)據(jù)庫系統(tǒng)應(yīng)用的重要環(huán)節(jié)。

本文在物理隔離網(wǎng)閘的環(huán)境下，設(shè)計出一種效率高、可靠性強的異構(gòu)數(shù)據(jù)庫同步方法，實現(xiàn)企業(yè)內(nèi)外網(wǎng)間的數(shù)據(jù)同步。

2 相關(guān)工作（Related work）

2.1 異構(gòu)數(shù)據(jù)庫同步的基本方法

數(shù)據(jù)同步大致可分為存儲系統(tǒng)層同步、操作系統(tǒng)層同步和數(shù)據(jù)庫系統(tǒng)層同步[3]，本文所涉及的是數(shù)據(jù)庫系統(tǒng)層同步技術(shù)的研究。變化捕獲作為數(shù)據(jù)庫系統(tǒng)層面數(shù)據(jù)同步的基礎(chǔ)，直接決定了數(shù)據(jù)庫的更新方式，其方法包括以下幾種：基于觸發(fā)器法、基于快照法、基于日志法、基于API法等。

基于觸發(fā)器法是在源數(shù)據(jù)庫為同步對象創(chuàng)建觸發(fā)器，當(dāng)對同步對象進(jìn)行增刪改等DML命令時，觸發(fā)器被喚醒將變化傳播到目標(biāo)數(shù)據(jù)庫；基于日志法是通過分析數(shù)據(jù)庫日志信息來捕獲同步對象的變化序列；基于快照是指數(shù)據(jù)庫中存儲對象在某一時刻的即時映像，通過為同步對象定義一個快照或采用類似方法將它的當(dāng)前映像作為更新副本；基于API法是指在應(yīng)用程序和數(shù)據(jù)庫之間引入中間件，由它提供一系列API（例如JDBC驅(qū)動程序）這些中間件，在完成應(yīng)用程序?qū)?shù)據(jù)庫修改的同時，也把同步對象的變化序列記錄下來從而達(dá)到捕獲的目的[4]。

對于不同數(shù)據(jù)庫而言，數(shù)據(jù)庫的體系結(jié)構(gòu)、數(shù)據(jù)類型、所支持的標(biāo)準(zhǔn)都不盡相同，所以上述幾種方法在實際應(yīng)用中都有或多或少的缺陷。

2.2 數(shù)據(jù)庫廠商解決異構(gòu)數(shù)據(jù)庫同步的方法

目前學(xué)術(shù)界對于異構(gòu)數(shù)據(jù)庫同步的研究并不夠多。相比之下，產(chǎn)業(yè)界對異構(gòu)數(shù)據(jù)庫同步研究取得了不少技術(shù)成果，其中一些已經(jīng)得到了廣泛應(yīng)用，詳見表1。

四大數(shù)據(jù)庫廠商提出的方案均重點關(guān)注異構(gòu)數(shù)據(jù)源向自身的數(shù)據(jù)同步，在實現(xiàn)上也采用與DBMS（DataBase Management System）密切結(jié)合的技術(shù)，并且具有成本高、實現(xiàn)復(fù)雜、缺少靈活性等缺點。設(shè)計并實現(xiàn)一種新型的靈活性強、成本小且復(fù)雜性較低的異構(gòu)數(shù)據(jù)庫同步方法十分有必要。

3 基于觸發(fā)器的SQL文件級異構(gòu)數(shù)據(jù)庫同步方法

（SQL file level heterogeneous database

synchronization method based on trigger）

基于觸發(fā)器的SQL文件級異構(gòu)數(shù)據(jù)庫同步方法的基本思想就是為源數(shù)據(jù)庫創(chuàng)建觸發(fā)器，當(dāng)源庫數(shù)據(jù)發(fā)生變化時，觸發(fā)器在變更表中通過SQL語句的重組記錄目標(biāo)庫能夠直接執(zhí)行的SQL語句，然后將SQL語句定時導(dǎo)出到文件，并通過網(wǎng)閘將文件傳輸?shù)侥繕?biāo)端，目標(biāo)庫定時執(zhí)行SQL文件將源庫中的變更數(shù)據(jù)更新到目標(biāo)庫，同時在生成SQL文件、文件傳輸以及數(shù)據(jù)更新等步驟執(zhí)行完后將結(jié)果狀態(tài)向源數(shù)據(jù)庫端反饋，針對同步過程中出現(xiàn)的不同失敗狀態(tài)采取不同措施，以實現(xiàn)整個數(shù)據(jù)同步過程的故障定位與恢復(fù)。

3.1 異構(gòu)數(shù)據(jù)庫同步設(shè)計方案

整個系統(tǒng)由變化捕獲、SQL文件生成、文件傳輸、數(shù)據(jù)更新和故障處理五個功能模塊組成。變化捕獲模塊負(fù)責(zé)以SQL語句記錄變化，SQL文件生成模塊把SQL語句定時導(dǎo)出到數(shù)據(jù)文件，文件傳輸模塊負(fù)責(zé)將SQL文件傳輸?shù)侥繕?biāo)端，數(shù)據(jù)更新模塊負(fù)責(zé)把傳送過來的數(shù)據(jù)更新到目標(biāo)數(shù)據(jù)庫，故障處理模塊將根據(jù)各個模塊的狀態(tài)反饋，對同步流程中出現(xiàn)的故障點實施針對性的補救措施。下面將對系統(tǒng)主要模塊的實現(xiàn)方法進(jìn)行詳細(xì)闡述，同步系統(tǒng)流程設(shè)計如圖1所示。

3.2 各模塊具體設(shè)計

3.2.1 基于觸發(fā)器的變化捕獲

變化捕獲是捕獲源表的變化序列的過程。觸發(fā)器法和日志法是最基本的變化捕獲的方法，目前流行的商用數(shù)據(jù)庫都提供觸發(fā)器機(jī)制或日志分析工具。而本文需要在捕獲變化的同時重寫目標(biāo)庫能執(zhí)行的SQL語句并記錄下來，因此本方法將采用觸發(fā)器法，能夠在觸發(fā)器程序塊中編寫重組SQL語句的程序。

基于Oracle觸發(fā)器重組SQL語句的基本原理：

Oracle觸發(fā)器機(jī)制中使用了兩個特殊的臨時駐留內(nèi)存的關(guān)鍵字：New和Old。New用于存儲INSERT和UPDATE操作所影響的行的副本；Old用于存儲DELETE和UPDATE操作所影響的行的副本。當(dāng)執(zhí)行INSERT操作時，新建記錄被同時添加到觸發(fā)器表和New中；當(dāng)執(zhí)行DELETE操作時，記錄從觸發(fā)器所在表中刪除，并傳輸?shù)絆ld中；當(dāng)執(zhí)行UPDATE操作時，舊記錄被移到Old中，新紀(jì)錄被添加到New和觸發(fā)器表中。因此通過獲得Old和New中行的副本再進(jìn)行重組便能夠得到目標(biāo)庫可直接執(zhí)行的SQL語句。

3.2.2 SQL文件生成的方法

上文通過觸發(fā)器捕獲變化并將重組后的SQL語句記錄在變更表中，那么只要通過建立操作系統(tǒng)層的定時任務(wù)程序?qū)?shù)據(jù)庫建立連接按規(guī)則獲得變更表中的SQL語句輸出到數(shù)據(jù)文件，即完成了SQL文件的生成。

基于Oracle的sql*plus工具生成SQL文件的基本原理：

sql*plus是與Oracle進(jìn)行交互的客戶端工具，通過Spool命令將數(shù)據(jù)導(dǎo)出到SQL文件是它的主要功能之一，可以通過編寫批處理程序（Windows平臺）登錄sql*plus并執(zhí)行帶有輸出控制設(shè)置的Spool命令的ctl文件，再通過操作系統(tǒng)自帶的定時任務(wù)功能定時執(zhí)行bat文件就可以實現(xiàn)SQL文件的定時導(dǎo)出。

3.2.3 文件傳輸及數(shù)據(jù)更新

文件傳輸模塊主要包括源庫端、網(wǎng)閘和目標(biāo)庫端，源庫端定時將生成的SQL數(shù)據(jù)文件從導(dǎo)出文件目錄移動到網(wǎng)閘的內(nèi)網(wǎng)存儲單元，同時復(fù)制一份存放到數(shù)據(jù)備份單元，并且在任務(wù)執(zhí)行失敗的情況下向故障處理模塊發(fā)送類型為failure的消息文件（用于故障處理模塊進(jìn)行故障分析）；網(wǎng)閘定時將內(nèi)網(wǎng)存儲單元的SQL文件轉(zhuǎn)移到外網(wǎng)存儲單元；目標(biāo)庫端定時將外網(wǎng)存儲單元的SQL文件移到目標(biāo)庫文件系統(tǒng)，并且在任務(wù)執(zhí)行失敗的情況下向故障處理單元發(fā)送類型為failure的消息文件，文件傳輸模塊如圖2所示。

圖2 文件傳輸模塊構(gòu)成圖

Fig.2 File transfer module

目標(biāo)庫端同樣創(chuàng)建定時任務(wù)，由于目標(biāo)庫文件系統(tǒng)所存放的就是目標(biāo)庫可直接執(zhí)行的SQL文件，通過定時執(zhí)行SQL文件即能完成數(shù)據(jù)的同步更新。并且在任務(wù)執(zhí)行失敗時向故障處理單元發(fā)送類型為failure的消息文件；同步成功則發(fā)送類型為success的消息文件。

3.2.4 基于預(yù)先配置策略的故障處理

源庫端根據(jù)總結(jié)的歷史經(jīng)驗配置不同failure狀態(tài)故障類型的應(yīng)對措施，故障處理模塊通過讀取同步系統(tǒng)各模塊實時反饋的同步狀態(tài)消息文件，根據(jù)不同的failure狀態(tài)故障類型實施相應(yīng)的應(yīng)對的措施，使得故障點恢復(fù)運行保證同步系統(tǒng)的正常運行，從而提高數(shù)據(jù)同步系統(tǒng)的穩(wěn)定性和可靠性。

4 實際實現(xiàn)與應(yīng)用（Practical implementation and

application）

實際應(yīng)用中考慮到現(xiàn)有的軟硬件環(huán)境，實現(xiàn)工作主要放在從源端Oracle到目標(biāo)端Sql Server數(shù)據(jù)庫業(yè)務(wù)數(shù)據(jù)表的數(shù)據(jù)同步。并根據(jù)同步系統(tǒng)各模塊以及主要工作創(chuàng)新點闡述實現(xiàn)與應(yīng)用。

4.1 變化捕獲的實現(xiàn)

一般的觸發(fā)器內(nèi)部不能夠?qū)NSERT、DELETE、UPDATE分別觸發(fā)。由于使用觸發(fā)器是為了變化捕獲的高效和靈活，如果為每張表分別建立INSERT、DELETE、UPDATE三個觸發(fā)器，這無疑會對數(shù)據(jù)庫系統(tǒng)的查詢速度、性能帶來影響。因此必須減少觸發(fā)器的數(shù)量。

4.1.1 優(yōu)化后的觸發(fā)器編寫

解決方法是在源表上只創(chuàng)建一個包含INSERT、DELETE、UPDATE操作的觸發(fā)器，本文將觸發(fā)器開頭設(shè)計為：

觸發(fā)器程序內(nèi)部通過獲取關(guān)鍵字Old和New中的行數(shù)據(jù)副本來判斷具體是INSERT、DELETE還是UPDATE操作。

4.1.2 基于觸發(fā)器重組SQL語句解決數(shù)據(jù)庫異構(gòu)的問題

因為UPDATE操作原理上就等于一個DELETE操作加上INSERT操作順序執(zhí)行的，因此通過UPDATE操作來說明會更全面，本文SQL語句重組流程如下：

Step1：Old.colname字符獲取觸發(fā)器表UPDATE之前（將被update影響）行的列值；New.colname字符獲取觸發(fā)器表UPDATE之后行的列值。

Step2：通過CONCAT函數(shù)拼接Delete語句。

Step3：接Insert語句，由于Insert操作涉及表每列值的插入，因此我們必須考慮源庫表中每列與目標(biāo)異構(gòu)庫表的數(shù)據(jù)類型差異以及存在的表結(jié)構(gòu)差異（表結(jié)構(gòu)差異與具體企業(yè)業(yè)務(wù)相關(guān)聯(lián)）。

本文列舉了數(shù)字、字符串、時間等常用數(shù)據(jù)類型，在Oracle中存儲類型分別為number、varchar2、date；對應(yīng)SQL Server中為int、varchar、datetime；并且兩表的表結(jié)構(gòu)存在差異：目標(biāo)端用單個id列存儲源端id、num兩列的連接值。詳見表2和表3。

Part1：解決數(shù)據(jù)類型的差異，Oracle到SQL Server需把date類型時間轉(zhuǎn)換成datetime類型：通過將date類型數(shù)據(jù)轉(zhuǎn)換為字符串，再將字符串拼接到Cast函數(shù)中，其中Cast函數(shù)是SQL Server的類型轉(zhuǎn)換函數(shù)。

Part2：解決數(shù)據(jù)庫表結(jié)構(gòu)的差異，本文主要解決表字段合并操作，因此需要將源端的id和num字段按照順序拼接在一起進(jìn)行存儲來完成字段值的連接。

Step4：將拼接好的Delete、Insert語句記錄到變更表中，詳見表4。

變更表temptable中sql字段存儲的便是重組后的SQL語句，并且記錄了操作類型和變更時間便于根據(jù)不同的策略取得相應(yīng)的數(shù)據(jù)。

4.2 SQL文件生成的實現(xiàn)

SQL文件生成主要步驟：配置操作系統(tǒng)定時任務(wù)，任務(wù)執(zhí)行對象為bat文件；編寫包含登錄sql*plus且執(zhí)行Spool命令的bat文件：Path1＼sqlplus username/password Path2＼filename.ctl，其中，Path1為sql*plus的路徑；Path2為ctl文件的路徑；ctl文件分為輸出控制設(shè)置和Spool導(dǎo)出語句兩部分：

Part1：輸出控制設(shè)置部分：例如設(shè)置每行的長度、腳本中命令執(zhí)行結(jié)果是否顯示、標(biāo)準(zhǔn)輸出每行的拖尾空格是否去除等等設(shè)置。

Part2：Spool導(dǎo)出語句部分如下

Spool filepath/filename.sql

//導(dǎo)出SQL文件名稱及位置

Select colname From tablename Where_statement

//導(dǎo)出的內(nèi)容為查詢結(jié)果

根據(jù)條件查詢結(jié)果按設(shè)置導(dǎo)出到文件。4.1中將重組后的SQL語句記錄在表temptable的sql字段，因此此處直接對sql字段內(nèi)容查詢便實現(xiàn)了源表數(shù)據(jù)變更對應(yīng)SQL的導(dǎo)出。

Spool命令的優(yōu)化：一方面，在導(dǎo)出SQL語句的同時添加刪除已導(dǎo)出數(shù)據(jù)的delete語句，實時刪除臨時變更表冗余的數(shù)據(jù)，減少對系統(tǒng)資源的過多占用，達(dá)到優(yōu)化性能的效果；另一方面，Spool導(dǎo)出命令中通過獲取臨時變更表最新記錄時間MaxInsertTime，在取數(shù)據(jù)的select語句和刪除數(shù)據(jù)的delete語句where條件中均添加變更時間小于等于MaxInsertTime的條件，在導(dǎo)出MaxInsertTime時間點之前的數(shù)據(jù)同時刪除的也保持一致，這樣做的好處相比直接select、delete表的所有數(shù)據(jù)，避免了在取完數(shù)據(jù)后刪除數(shù)據(jù)之前剛好有數(shù)據(jù)插入表中所帶來的數(shù)據(jù)誤刪。

4.3 SQL文件的傳輸與執(zhí)行以及相關(guān)的故障處理

SQL文件的傳輸模塊主要靠物理隔離網(wǎng)閘進(jìn)行源端到目標(biāo)端的搬運，以及移動文件和生成反饋狀態(tài)文件的程序。目標(biāo)端SQL文件執(zhí)行模塊同樣是配置定時任務(wù)來完成，本文目標(biāo)端為SQL Server庫，那么通過定時任務(wù)打開cmd.exe執(zhí)行語句：osql-S127.0.0.1-Usa-Psa-ipath＼filename.sql便可完成數(shù)據(jù)的更新，其中osql為SQL Server的命令行工具，-i表示要執(zhí)行SQL文件路徑。

當(dāng)同步過程中某模塊出現(xiàn)故障時會向故障處理模塊發(fā)送消息文件，故障處理模塊通過讀取文件中故障類型，根據(jù)故障類型從策略表獲取應(yīng)對策略，并向發(fā)生故障的模塊發(fā)送應(yīng)對策略指令使其實施相應(yīng)的措施恢復(fù)運行，從而提高數(shù)據(jù)同步系統(tǒng)的穩(wěn)定性和可靠性。策略表預(yù)先配置，詳見表5。

4.4 實際應(yīng)用

本文的“基于觸發(fā)器的SQL文件級同步法”已經(jīng)成功地應(yīng)用于某地區(qū)洪水預(yù)報系統(tǒng)中。該系統(tǒng)包括內(nèi)、外兩個網(wǎng)絡(luò)，內(nèi)網(wǎng)是一個水流量信息采集系統(tǒng)；外網(wǎng)是一個B/S架構(gòu)洪水預(yù)報信息系統(tǒng)，提供洪水預(yù)報的計算處理與查詢。由于內(nèi)、外網(wǎng)兩個應(yīng)用系統(tǒng)的數(shù)據(jù)分別放置于不同的數(shù)據(jù)庫上，因此為了保持內(nèi)、外網(wǎng)兩個數(shù)據(jù)庫的一致性，須將內(nèi)網(wǎng)的數(shù)據(jù)及時地同步到外網(wǎng)，并且需要考慮數(shù)據(jù)傳輸?shù)陌踩?，這就是一個典型的基于網(wǎng)閘的異構(gòu)數(shù)據(jù)庫間數(shù)據(jù)同步的問題。

運行結(jié)果表明，隨著記錄數(shù)的增長，“基于觸發(fā)器的SQL文件級同步法”的時間復(fù)雜度呈線性增長，空間復(fù)雜度主要為內(nèi)存消耗，基本上保持常量，因而總體性能比較理想，并且相對于原先系統(tǒng)采用的“基于API的傳統(tǒng)輪詢同步法”，效率提高明顯，可靠性、穩(wěn)定性都得到了保障。

5 結(jié)論（Conclusion）

本文針對物理網(wǎng)絡(luò)隔離的應(yīng)用環(huán)境，提出了一種“基于觸發(fā)器的SQL文件級同步法”適合于企業(yè)數(shù)據(jù)同步。該方法運用觸發(fā)器對源數(shù)據(jù)庫變化進(jìn)行捕獲，并轉(zhuǎn)換成目標(biāo)庫可直接執(zhí)行的SQL語句記錄下來且定時導(dǎo)出到數(shù)據(jù)文件，通過執(zhí)行數(shù)據(jù)文件更新目標(biāo)數(shù)據(jù)庫，從而達(dá)到數(shù)據(jù)同步。該方法具有適應(yīng)異構(gòu)系統(tǒng)、效率高、可靠性強、穩(wěn)定性佳的特點。

參考文獻(xiàn)（References）

[1] 鄭海明.基于SQL還原法的異構(gòu)數(shù)據(jù)庫同步技術(shù)的研究與實

現(xiàn)[J].計算機(jī)時代，2008（10）：15-18.

[2] 張暉，歐陽慎.基于oracle的跨網(wǎng)閘數(shù)據(jù)同步方案研究[R].鄭州

鐵路局“十百千”人才培育助推工程論文集，會議時間：2011.

[3] 王新偉.基于Oracle數(shù)據(jù)庫的邏輯數(shù)據(jù)同步技術(shù)在實踐中的

應(yīng)用研究[J].電子技術(shù)與軟件工程，2015（08）：195-198.

[4] 張大朋，陳馳，徐震.異構(gòu)數(shù)據(jù)庫復(fù)制技術(shù)的研究與實現(xiàn)[J].中

國科學(xué)院研究生院學(xué)報，2012（01）：101-108.

作者簡介：

崔恒香（1987-），男，碩士，學(xué)生.研究領(lǐng)域：信息與系統(tǒng)

集成.

馮 徑（1962-），女，博士，教授.研究領(lǐng)域：系統(tǒng)集成與

應(yīng)用.

馬瑋駿（1980-），男，博士，講師.研究領(lǐng)域：系統(tǒng)集成與

應(yīng)用.

張 慶（1978-），男，本科，工程師.研究領(lǐng)域：信息工程.

龐 琨（1980-），男，碩士，工程師.研究領(lǐng)域：信息與系統(tǒng)

集成.

余 堃（1983-），男，碩士，工程師.研究領(lǐng)域：信息與系統(tǒng)

集成.