淺談跨內(nèi)外網(wǎng)交換平臺海量卡口數(shù)據(jù)實(shí)時(shí)同步交換方法

摘 要：著力探討海量數(shù)據(jù)如何跨網(wǎng)閘實(shí)時(shí)同步復(fù)制的方式，通過對多種跨網(wǎng)閘數(shù)據(jù)交換方式的性能和安全評測，選擇使用oracle goldengate實(shí)現(xiàn)海量卡口數(shù)據(jù)實(shí)時(shí)同步交換，在實(shí)際應(yīng)用中，交換通道運(yùn)行穩(wěn)定，性能高、安全可靠、維護(hù)成本低，滿足了海量數(shù)據(jù)交換應(yīng)用的需求，對同類問題的解決具有借鑒作用。

關(guān)鍵詞：網(wǎng)閘；數(shù)據(jù)復(fù)制；goldengate；海量數(shù)據(jù)交換

中圖分類號：TP311

上?？谙到y(tǒng)部署在獨(dú)立的網(wǎng)上，各分縣局負(fù)責(zé)建設(shè)本轄區(qū)的系統(tǒng)，采集本轄區(qū)的卡口過車數(shù)據(jù)，并存貯在本地。市局在圖像網(wǎng)上對各分縣局卡口系統(tǒng)的過車記錄數(shù)據(jù)進(jìn)行了抽取整合，集中存儲。根據(jù)統(tǒng)計(jì)，全市每日卡口過車數(shù)據(jù)增量接近5000千萬條，存儲容量日均增長10GB。

上海公安卡口系統(tǒng)網(wǎng)和公安網(wǎng)完全物理隔離，而公安業(yè)務(wù)信息系統(tǒng)主要部署在公安網(wǎng)上，為了開展卡口數(shù)據(jù)在公安網(wǎng)上共享應(yīng)用，需要將圖像網(wǎng)中的卡口過車記錄數(shù)據(jù)同步交換到公安網(wǎng)。目前，在兩張網(wǎng)之間搭建了基于網(wǎng)閘的內(nèi)外網(wǎng)交換系統(tǒng)，但采用什么方式通過網(wǎng)閘進(jìn)行海量卡口數(shù)據(jù)安全、實(shí)時(shí)的交換是本文主要討論的問題。

1 內(nèi)外網(wǎng)交換情況分析

1.1 上海公安內(nèi)外網(wǎng)交換平臺簡介

為了實(shí)現(xiàn)公安網(wǎng)和圖像網(wǎng)數(shù)據(jù)共享交換，市局在兩張網(wǎng)之間部署了基于網(wǎng)閘的數(shù)據(jù)交換平臺。交換產(chǎn)品采用合眾軟硬件一體化的安全數(shù)據(jù)交換系統(tǒng)，提供數(shù)據(jù)庫、文件、流數(shù)據(jù)安全交換，并提供文件格式檢查、病毒查殺、數(shù)據(jù)加密、交換審計(jì)等安全服務(wù)。

合眾安全數(shù)據(jù)交換系統(tǒng)從硬件上由兩部分組成：外網(wǎng)交換服務(wù)器（OES）和內(nèi)網(wǎng)交換服務(wù)器（IES）。在OES和IES之間部署網(wǎng)閘實(shí)現(xiàn)隔離，其拓?fù)鋱D如圖1所示：

圖1 上海公安內(nèi)外網(wǎng)交換平臺拓?fù)浣Y(jié)構(gòu)

1.2 在可用交換方式下，對海量數(shù)據(jù)實(shí)時(shí)交換方式的測試研究。

1.2.1 數(shù)據(jù)庫交換方式效率的測試與評估

針對卡口過車記錄數(shù)據(jù)海量增長特性，對交換平臺提供的數(shù)據(jù)交換方式進(jìn)行評估分析，測試驗(yàn)證各種可行的數(shù)據(jù)交換方式，通過實(shí)際評測后，確定最終可以選用的技術(shù)方案。

首先，評估數(shù)據(jù)庫交換方式的可行性。從合眾內(nèi)外網(wǎng)數(shù)據(jù)交換平臺的性能特性可知，在理想條件下，即不考慮源庫、目標(biāo)庫、交換平臺性能瓶頸條件下，該平臺每秒鐘最高可交換數(shù)據(jù)記錄數(shù)為4000條，但在實(shí)際測試中，每秒鐘只能實(shí)現(xiàn)300余條數(shù)據(jù)記錄的交換，原因分析是源庫和目標(biāo)庫的io性能差所致。而卡口過車記錄一天生產(chǎn)大約5000萬條，平均每秒鐘產(chǎn)生600條，若考慮上下班高峰時(shí)段，每秒鐘實(shí)際過車記錄數(shù)目可能超過2000條，可見交換平臺的數(shù)據(jù)庫交換方式不能滿足實(shí)際需求。

其次，對于文件交換方式，通過實(shí)際測試每小時(shí)可以實(shí)現(xiàn)近2TB的數(shù)據(jù)交換。而卡口系統(tǒng)數(shù)據(jù)庫存儲容量日均增長約為10GB，每小時(shí)增長450MB；卡口系統(tǒng)數(shù)據(jù)庫的歸檔日志日均生產(chǎn)量為500GB，每小時(shí)接近20GB，可見無論采用數(shù)據(jù)庫導(dǎo)入導(dǎo)出方式還是采用日志挖掘復(fù)制方式的文件交換方式均可以實(shí)現(xiàn)海量卡口過車記錄數(shù)據(jù)交換。

1.2.2 數(shù)據(jù)交換方式的選擇

可以文件交換方式實(shí)現(xiàn)數(shù)據(jù)同步實(shí)時(shí)復(fù)制的主要技術(shù)有數(shù)據(jù)復(fù)制類工具和數(shù)據(jù)導(dǎo)入導(dǎo)出工具。

分析數(shù)據(jù)庫復(fù)制類技術(shù)，其中一種數(shù)據(jù)庫復(fù)制方式是挖掘數(shù)據(jù)庫操作日志，解析出數(shù)據(jù)庫操作命令和數(shù)據(jù)，打包成特定格式的文件后，傳輸?shù)侥繕?biāo)端，按照事務(wù)執(zhí)行順序在目標(biāo)庫執(zhí)行數(shù)據(jù)庫操作命令，實(shí)現(xiàn)數(shù)據(jù)復(fù)制，采用該技術(shù)的主要工具有oracle goldengate、stream、dds等cdc工具；第二種方式是采用數(shù)據(jù)庫恢復(fù)技術(shù)，通過傳輸數(shù)據(jù)庫的歸檔日志和在線日志到目標(biāo)數(shù)據(jù)庫，在目標(biāo)庫端進(jìn)行數(shù)據(jù)庫恢復(fù)操作，實(shí)現(xiàn)數(shù)據(jù)復(fù)制，采用該技術(shù)的工具有oracle dataguard等；第三種方式利用oracle導(dǎo)出導(dǎo)入工具定時(shí)從源庫導(dǎo)出數(shù)據(jù)，生成dump文件，通過交換平臺交換dump文件到公安網(wǎng)的目標(biāo)庫，利用oracle導(dǎo)入工具在目標(biāo)庫中導(dǎo)入源庫數(shù)據(jù)，達(dá)到數(shù)據(jù)復(fù)制目的，通過編寫數(shù)據(jù)導(dǎo)出，交換和導(dǎo)入程序，實(shí)現(xiàn)自動(dòng)的數(shù)據(jù)導(dǎo)出、交換和導(dǎo)入工作，達(dá)到數(shù)據(jù)復(fù)制目的。

通過對上述三種文件交換方式評估和實(shí)際測試，得出如下結(jié)論：（1）采用dump文件交換的方式，需要編寫程序，工作量大，整個(gè)交換通路運(yùn)行并不穩(wěn)定，缺少有效的數(shù)據(jù)監(jiān)控方法和工具，時(shí)常會造成數(shù)據(jù)丟失，數(shù)據(jù)復(fù)制難以達(dá)到實(shí)時(shí)性。（2）在公安網(wǎng)建Dataguard方式，需要通過編程的方式對dataguard的工作機(jī)制進(jìn)行修改，人工傳輸圖像網(wǎng)數(shù)據(jù)庫的歸檔日志和聯(lián)機(jī)日志到公安網(wǎng)的備庫，另外dataguard作為oracle庫的一種容災(zāi)方式，在備庫應(yīng)用日志過程中，數(shù)據(jù)庫不能正常打開，不適合數(shù)據(jù)共享應(yīng)用的實(shí)際需求；（3）通過goldengate等數(shù)據(jù)同步復(fù)制工具，可較好的實(shí)現(xiàn)數(shù)據(jù)同步復(fù)制，一是避免了數(shù)據(jù)丟失，二是增強(qiáng)了數(shù)據(jù)實(shí)時(shí)性，三是可以對整個(gè)交換過程進(jìn)行有效監(jiān)控。通過實(shí)地測試和科學(xué)評估，上海公安選用goldengate實(shí)現(xiàn)海量卡口過車記錄數(shù)據(jù)在圖像網(wǎng)到公安網(wǎng)交換。

1.3 goldengate跨交換平臺部署及配置

1.3.1 goldengate原理介紹

Oracle Golden Gate軟件是一種基于日志的結(jié)構(gòu)化數(shù)據(jù)復(fù)制備份軟件，它的捕捉進(jìn)程在源系統(tǒng)讀取在線日志文件或歸檔日志后，進(jìn)行解析，提取其中數(shù)據(jù)的變化，將相關(guān)信息轉(zhuǎn)換為自定義的中間格式存在隊(duì)列文件中，傳送進(jìn)程將隊(duì)列文件通過tcp/ip傳送到目標(biāo)系統(tǒng)。目標(biāo)系統(tǒng)接收數(shù)據(jù)變化并緩存到隊(duì)列中，應(yīng)用進(jìn)程從隊(duì)列中讀取數(shù)據(jù)變化并創(chuàng)建對應(yīng)的sql語句，通過數(shù)據(jù)庫的本地接口執(zhí)行。Golden Gate數(shù)據(jù)集成技術(shù)實(shí)施主要含數(shù)據(jù)抽取進(jìn)程、傳輸進(jìn)程和應(yīng)用進(jìn)程，源數(shù)據(jù)庫和目標(biāo)數(shù)據(jù)庫3個(gè)進(jìn)程，以及源庫和目標(biāo)庫的2個(gè)文件。

1.3.2 goldengate的部署方式

雖然goldengate可以通過在防火墻和網(wǎng)閘打開指定的端口來實(shí)現(xiàn)TCP通信，但這些打開的端口都是大家熟知的。而且其通信協(xié)議在網(wǎng)絡(luò)中都是明文的，攻擊者非常容易，通過分析協(xié)議報(bào)文科得到數(shù)據(jù)庫的IP地址、用戶名、密碼、數(shù)據(jù)表結(jié)構(gòu)，存在嚴(yán)重的安全隱患。

利用文件交換相比在防火墻和網(wǎng)閘上打開知名端口進(jìn)行協(xié)議代理安全的多，攻擊者可以利用的機(jī)會會少很多。應(yīng)用系統(tǒng)將需要傳輸?shù)臄?shù)據(jù)打包成為文件，存放在指定文件夾目錄中。然后通過網(wǎng)閘將文件擺渡到內(nèi)網(wǎng)指定的文件夾目錄中，內(nèi)網(wǎng)應(yīng)用系統(tǒng)再到目錄中獲取，最終實(shí)現(xiàn)了跨網(wǎng)絡(luò)的數(shù)據(jù)交換目的。

因此，為了實(shí)現(xiàn)數(shù)據(jù)的安全交換，不能使用打開網(wǎng)閘端口的方法直接聯(lián)通兩個(gè)物理網(wǎng)絡(luò)，而是通過網(wǎng)閘交換goldengate源端輸出文件的方式實(shí)現(xiàn)跨網(wǎng)閘數(shù)據(jù)同步交換的方式。

根據(jù)goldengate的工作原理，在位于圖像網(wǎng)的源端和位于公安網(wǎng)的目標(biāo)端數(shù)據(jù)庫分別部署配置goldengate軟件，源端的軟件用來挖掘日志中的變化信息，并生成隊(duì)列文件，緩存在指定的目錄中。內(nèi)外網(wǎng)交換平臺讀取目錄中的隊(duì)列文件，通過安全交換后的隊(duì)列文件，緩存在公安網(wǎng)目標(biāo)端指定的目錄中，提供部署在目標(biāo)端的goldengate軟件應(yīng)用進(jìn)程，實(shí)現(xiàn)數(shù)據(jù)在公安網(wǎng)交換入庫。

1.3.3 卡口數(shù)據(jù)在公安網(wǎng)的入庫方式

因卡口數(shù)據(jù)量大且增長快，為了減輕數(shù)據(jù)存儲壓力和平衡數(shù)據(jù)讀寫負(fù)載，公安網(wǎng)的卡口數(shù)據(jù)分散存儲在三臺pc服務(wù)器中。在三個(gè)庫中分別部署goldengate軟件，分別創(chuàng)建并啟動(dòng)replicat應(yīng)用進(jìn)程，配置應(yīng)用進(jìn)程replicat的filter參數(shù)，實(shí)現(xiàn)隊(duì)列文件中的變化數(shù)據(jù)合理分流實(shí)時(shí)入庫在三個(gè)數(shù)據(jù)庫中。Filter 參數(shù)類似于sql語句的where子句，可以實(shí)現(xiàn)數(shù)據(jù)的條件過慮，具體配置是在應(yīng)用進(jìn)程的參數(shù)文件中添加如下參數(shù)map viewall.sjkk_gcjl，target kksj.sjkk_gcjl，filter（xzqh=\"116\" or xzqh=\"117\" or xzqh=\"118\" or xzqh=\"120\" or xzqh=\"230\"）；

圖2為整個(gè)數(shù)據(jù)復(fù)制交換系統(tǒng)的原理框圖：

圖2 上海公安卡口數(shù)據(jù)跨網(wǎng)閘安全交換框圖

2 結(jié)束語

通過采用數(shù)據(jù)同步復(fù)制軟件，實(shí)現(xiàn)了海量數(shù)據(jù)跨網(wǎng)閘安全實(shí)時(shí)同步交換，克服了市局內(nèi)外網(wǎng)交換平臺通過數(shù)據(jù)庫連接交換方式效率低的問題，解決了通過dump文件交換缺乏實(shí)時(shí)性、穩(wěn)定性差，數(shù)據(jù)丟失的難題。對于公安等其他行業(yè)跨網(wǎng)絡(luò)安全交換海量數(shù)據(jù)具有借鑒作用。

參考文獻(xiàn)：

[1]杭州合眾信息技術(shù)股份有限公司.合眾安全數(shù)據(jù)交換系統(tǒng)[Z].2014.

[2]吳璐，楊健.基于Oracle Dataguard和網(wǎng)閘的內(nèi)外網(wǎng)數(shù)據(jù)交換平臺[J].計(jì)算機(jī)應(yīng)用于軟件，2010.

[3]oracle.Oracle GoldenGate Documentation Release 10.4.2010.

作者簡介：梁昌明（1970.08-），男，山西霍州人，高級工程師，工學(xué)碩士，研究方向：數(shù)據(jù)庫架構(gòu)設(shè)計(jì)、數(shù)據(jù)庫應(yīng)用、數(shù)據(jù)庫管理。

作者單位：上海市公安局科技處，上海 200042