基于內(nèi)存數(shù)據(jù)庫的海量數(shù)據(jù)實時處理策略

劉寶華

（連云港杰瑞深軟科技有限公司，連云港222006）

0 引 言

隨著信息化建設(shè)的發(fā)展，傳統(tǒng)的磁盤數(shù)據(jù)庫（DRDB）在對數(shù)據(jù)進(jìn)行維護(hù)和管理上扮演了十分重要的角色。然而，在目前的大型作戰(zhàn)指揮信息系統(tǒng)中，隨著數(shù)據(jù)和信息量的劇增，不僅要求數(shù)據(jù)庫系統(tǒng)具有強大而完備的功能和復(fù)雜的事物處理能力，更需要在指定的時間內(nèi)對海量數(shù)據(jù)進(jìn)行采集、處理，并能實時、高效、快速地做出反應(yīng)。對于傳統(tǒng)的磁盤數(shù)據(jù)庫而言，需要頻繁地訪問磁盤來進(jìn)行數(shù)據(jù)的操作，當(dāng)處理海量數(shù)據(jù)時，大量的I／O操作成為海量數(shù)據(jù)實時處理性能的瓶頸，很難提供高性能的實時處理能力，而內(nèi)存數(shù)據(jù)庫（MMDB，也叫主存數(shù)據(jù)庫）將應(yīng)用程序需要的實時數(shù)據(jù)存儲在內(nèi)存中，由于數(shù)據(jù)庫的操作都在內(nèi)存中進(jìn)行，從而有效地解決了磁盤I／O操作的瓶頸問題。當(dāng)然，內(nèi)存數(shù)據(jù)庫也有自身特性的限制，很難將大量的數(shù)據(jù)完全存儲到內(nèi)存數(shù)據(jù)庫中，因此研究一種新的基于內(nèi)存數(shù)據(jù)庫的海量數(shù)據(jù)實時處理框架十分必要。

目前，解決海量數(shù)據(jù)實時處理的問題，一般采用對Oracle數(shù)據(jù)庫的優(yōu)化策略，并結(jié)合共享緩存區(qū)來緩解海量數(shù)據(jù)的壓力，然而指揮作戰(zhàn)系統(tǒng)對實時處理的要求非常高，簡單地將Oracle數(shù)據(jù)庫優(yōu)化與設(shè)立共享緩存區(qū)結(jié)合很難滿足高效、快速的反應(yīng)能力。為此，本文介紹通過改進(jìn)內(nèi)存數(shù)據(jù)庫事務(wù)處理、采用訂閱分發(fā)機制和多模式容災(zāi)的高可用性（HA）模式等技術(shù)，建立一種新的基于內(nèi)存數(shù)據(jù)庫的海量數(shù)據(jù)實時處理框架，并很好地應(yīng)用在指揮作戰(zhàn)系統(tǒng)中，通過試驗證明新框架的優(yōu)勢所在。

1 內(nèi)存數(shù)據(jù)庫的引用

1.1 傳統(tǒng)基于Oracle海量數(shù)據(jù)處理

現(xiàn)有的指揮作戰(zhàn)信息系統(tǒng)中，數(shù)據(jù)維護(hù)和處理基于單一Oracle數(shù)據(jù)庫系統(tǒng)，在處理海量實時數(shù)據(jù)時，通過分區(qū)存儲、批量存取和分頁查詢等數(shù)據(jù)存儲訪問策略來改善實時性能［1］。在試驗過程中，將情報處理后的數(shù)據(jù)存儲到Oracle數(shù)據(jù)庫中，同時各個臺位也從Oracle數(shù)據(jù)庫中獲取相應(yīng)的信息；另外，在重演重放過程中，實時報文重演模塊從Oracle數(shù)據(jù)庫中提取報文數(shù)據(jù)。外部情報批量不是很密時，該應(yīng)用框架能夠很好地滿足試驗數(shù)據(jù)處理的需要。

隨著作戰(zhàn)指揮系統(tǒng)中裝備種類和數(shù)量越來越多，外部情報更加復(fù)雜，信息量也越來越大，在密集報文情況下，很容易發(fā)生網(wǎng)絡(luò)阻塞甚至嚴(yán)重的報文丟失［2］。另外，隨著試驗的頻繁進(jìn)行，數(shù)據(jù)存儲量越來越大，當(dāng)數(shù)據(jù)量不斷突破GB、TB甚至PB、EB級時，Oracle數(shù)據(jù)庫檢索操作越來越慢，相對高時效的要求，基于磁盤存儲的Oracle數(shù)據(jù)庫很難在可控的響應(yīng)時間內(nèi)完成相應(yīng)的操作。

1.2 內(nèi)存數(shù)據(jù)庫技術(shù)

磁盤數(shù)據(jù)庫對海量數(shù)據(jù)實時處理存在大量的I／O操作，而內(nèi)存數(shù)據(jù)庫將應(yīng)用程序需要的實時數(shù)據(jù)存儲到內(nèi)存中。由于數(shù)據(jù)庫的操作都在內(nèi)存中進(jìn)行，所以能夠?qū)γ芗瘓笪暮秃Ａ繑?shù)據(jù)做出及時響應(yīng)，提高時效性。

1.2.1 內(nèi)存數(shù)據(jù)庫的概念

對于內(nèi)存數(shù)據(jù)庫而言，很多人認(rèn)為將所有的數(shù)據(jù)庫都存儲在內(nèi)存數(shù)據(jù)庫中，而且在對數(shù)據(jù)庫的操作過程中，任何時刻整個數(shù)據(jù)庫都存儲在內(nèi)存中，這樣就可以避免I／O操作；然而，這樣的設(shè)計具有很大的局限性，這種情況只能解決特定要求的實時數(shù)據(jù)，而對海量數(shù)據(jù)的處理則無能為力，因為內(nèi)存數(shù)據(jù)庫根本無法滿足在任何時刻都能容納整個試驗過程中的所有數(shù)據(jù)。

針對海量數(shù)據(jù)實時處理來說，簡單的內(nèi)存數(shù)據(jù)庫無法解決內(nèi)存存儲量的問題，而內(nèi)存數(shù)據(jù)庫的本質(zhì)特征是其主拷貝或“工作版本”常駐內(nèi)存，故被廣泛認(rèn)可的內(nèi)存數(shù)據(jù)庫定義為［3］：

設(shè)有數(shù)據(jù)庫系統(tǒng)（DBS），DB為DBS中的數(shù)據(jù)庫，DDBM（t）為在t時刻DB在內(nèi)存的數(shù)據(jù)集，DDBM（t）是DB的子集。Ts為DBS中所有可能的事務(wù)的集合，A（t）為在時刻t處于活動狀態(tài)的事務(wù)集，A（t）是Ts的子集。Dt（T）為事務(wù)T在時刻t所操作的數(shù)據(jù)集，Dt（T）是DB的子集。若在任何一時刻t，均有：對任意T∈A（t），Dt（T）是DDBM（t）的子集成立，則稱DBS為一個內(nèi)存數(shù)據(jù)庫系統(tǒng)（MMDBS），DB為一個內(nèi)存數(shù)據(jù)庫（MMDB）。

也就是說，內(nèi)存數(shù)據(jù)庫并不是存儲整個試驗的所有數(shù)據(jù)，但在任何時刻至少能存儲一個事務(wù)所要求的數(shù)據(jù)集。

1.2.2 內(nèi)存數(shù)據(jù)庫和Oracle數(shù)據(jù)庫的結(jié)合

要達(dá)到MMDBS的要求，只把數(shù)據(jù)存儲到內(nèi)存數(shù)據(jù)庫中是無法實現(xiàn)的，一定要有外部存儲。在作戰(zhàn)指揮信息系統(tǒng)中，隨著試驗的頻繁啟動，系統(tǒng)中的數(shù)據(jù)是在不斷地變化和積累的，尤其在試驗階段結(jié)束時需要將數(shù)據(jù)存儲到磁盤數(shù)據(jù)庫Oracle中，而下次試驗開始后又需要從Oracle數(shù)據(jù)庫中提取實時性要求高的數(shù)據(jù)到內(nèi)存數(shù)據(jù)庫中，這就涉及內(nèi)存數(shù)據(jù)庫和Oracle數(shù)據(jù)庫的結(jié)合。因為在試驗過程中，有些后臺程序的事務(wù)操作是直接針對Oracle數(shù)據(jù)庫的，這樣就出現(xiàn)Oracle和內(nèi)存數(shù)據(jù)庫中數(shù)據(jù)的同步問題。保證Oracle數(shù)據(jù)到內(nèi)存數(shù)據(jù)庫的同步可以采用增量表的方式，當(dāng)Oralce中新增或更新需要實時處理的數(shù)據(jù)時，在增量表中添加1條記錄，同步處理模塊發(fā)現(xiàn)增量表為非空時就將這些數(shù)據(jù)更新到內(nèi)存數(shù)據(jù)庫對應(yīng)的表中。

2 新型基于內(nèi)存數(shù)據(jù)庫的海量數(shù)據(jù)處理方案

2.1 內(nèi)存數(shù)據(jù)庫系統(tǒng)的改進(jìn)

根據(jù)MMDBS的定義可以看出，由于內(nèi)存數(shù)據(jù)庫很難保證在任何時刻都存儲整個數(shù)據(jù)庫，畢竟內(nèi)存數(shù)據(jù)庫開辟的內(nèi)存容量是有限的，所以MMDBS提出，內(nèi)存數(shù)據(jù)庫存儲的是“工作版本”，也就是在任何時刻都能存儲1個或多個事務(wù)所需要的數(shù)據(jù)集，并不要求存儲整個數(shù)據(jù)庫，這樣也就解決了內(nèi)存容量的問題。當(dāng)然，要保證任何時刻都能使事務(wù)操作有效，就要事先做好優(yōu)化策略。

在作戰(zhàn)指揮信息系統(tǒng)中，根據(jù)數(shù)據(jù)的使用特性可以分為實時數(shù)據(jù)和動態(tài)數(shù)據(jù)2種。實時數(shù)據(jù)主要是由實時報文信息組成，這類數(shù)據(jù)在同一時間會非常密集，甚至每秒可能會達(dá)到成千上萬批次，對其響應(yīng)的速度將直接影響系統(tǒng)的可用性；動態(tài)數(shù)據(jù)是那些變更頻繁的數(shù)據(jù)，而且其數(shù)據(jù)量可能會很大，甚至包括一些歷史數(shù)據(jù)，所以這些數(shù)據(jù)一般存儲在磁盤數(shù)據(jù)庫Oracle中，但其頻繁的變更也會要求較高的實時性。實時數(shù)據(jù)除了應(yīng)用層實時處理外，有時也會要求存儲到Oracle數(shù)據(jù)庫中作為歷史數(shù)據(jù)，而磁盤歷史數(shù)據(jù)也會在重演、重放模式下由Oracle數(shù)據(jù)庫導(dǎo)入到內(nèi)存數(shù)據(jù)庫中成為實時數(shù)據(jù)。在大型作戰(zhàn)指揮信息系統(tǒng)中，由于海量數(shù)據(jù)的存儲，MMDBS要求在內(nèi)存數(shù)據(jù)庫和Oracle數(shù)據(jù)庫之間尋求最佳的平衡點，來達(dá)到對海量數(shù)據(jù)實時處理的要求。

要達(dá)到內(nèi)存數(shù)據(jù)庫和Oracle數(shù)據(jù)庫的平衡，最主要的目的是保證任何時刻內(nèi)存數(shù)據(jù)庫中都能找到至少1個事務(wù)所要求的數(shù)據(jù)集。

2.1.1 實時數(shù)據(jù)處理

對實時數(shù)據(jù)而言，由于報文的處理效率略低于報文載入的效率，而其在試驗過程中，報文基本是密集型的，這樣在內(nèi)存數(shù)據(jù)庫中會保證處理事務(wù)操作的有效性。在作戰(zhàn)指揮信息系統(tǒng)中，這樣的實時報文數(shù)據(jù)為非持久性數(shù)據(jù)，也就是說在對這些數(shù)據(jù)處理結(jié)束后將其在內(nèi)存數(shù)據(jù)庫中清除，或者根據(jù)需求轉(zhuǎn)存到Oracle數(shù)據(jù)中成為歷史數(shù)據(jù)，從而保證內(nèi)存的可用。當(dāng)然，這種實時報文處理的方式有可能會出現(xiàn)2種情況：一是內(nèi)存數(shù)據(jù)庫中的數(shù)據(jù)為空，這說明信息處理端將所有的數(shù)據(jù)處理完畢，而內(nèi)存數(shù)據(jù)庫中沒有新的報文信息載入，這時信息處理需要進(jìn)入等待狀態(tài)；另一種是內(nèi)存數(shù)據(jù)庫被寫滿，出現(xiàn)這種情況的主要原因是信息處理程序未啟動，這時就需要一種淘汰算法，如用先進(jìn)先出（FIFO）算法淘汰內(nèi)存駐留時間最長的數(shù)據(jù)、用最近最少使用（LRU）算法淘汰最近最少使用的數(shù)據(jù)，或者根據(jù)具體需求自定義淘汰算法。

2.1.2 動態(tài)數(shù)據(jù)處理

對于動態(tài)數(shù)據(jù)而言，數(shù)據(jù)量非常大，所以一定要依據(jù)特定的數(shù)據(jù)交換策略，將數(shù)據(jù)在內(nèi)存數(shù)據(jù)庫和Oracle數(shù)據(jù)之間裝入和換出，并確保信息處理事務(wù)執(zhí)行時無I／O操作，為達(dá)到這個目標(biāo)，要做到以下幾點［4］：

（1）建立事務(wù)表，并根據(jù)事務(wù)等級建立優(yōu)先級；

（2）根據(jù)事務(wù)表，采集事務(wù)數(shù)據(jù)，并以事務(wù)數(shù)據(jù)集作為基本裝入單位，進(jìn)行內(nèi)存數(shù)據(jù)庫載入；

（3）接納新事物時，事務(wù)優(yōu)先級重新排序，并調(diào)整事務(wù)集數(shù)據(jù)的換入；

（4）啟動定時數(shù)據(jù)載入；

（5）建立增量表，記錄數(shù)據(jù)新增或更新的數(shù)據(jù)，一致性處理模塊通過讀取增量表保證Oracle數(shù)據(jù)庫和內(nèi)存數(shù)據(jù)庫中數(shù)據(jù)的一致性。

2.2 分布式內(nèi)存數(shù)據(jù)庫

根據(jù)對內(nèi)存數(shù)據(jù)的改進(jìn)，可以很好地解決內(nèi)存數(shù)據(jù)庫和磁盤數(shù)據(jù)庫Oracle的平衡，保證實時處理程序在內(nèi)存數(shù)據(jù)中完成各種事務(wù)處理。然而在大型作戰(zhàn)指揮信息系統(tǒng)中，情報處理目標(biāo)越來越多，導(dǎo)致磁盤數(shù)據(jù)庫中的數(shù)據(jù)量逐漸增大，在處理海量數(shù)據(jù)時，內(nèi)存數(shù)據(jù)庫和Oracle數(shù)據(jù)庫的簡單結(jié)合已經(jīng)無法滿足實時性的要求，必須尋找一種新型的基于內(nèi)存數(shù)據(jù)庫的海量數(shù)據(jù)實時處理方案。

在大型作戰(zhàn)指揮信息系統(tǒng)中，根據(jù)試驗要求把系統(tǒng)分為很多功能臺位，每個臺位處理相應(yīng)的任務(wù)，這樣根據(jù)各個臺位的功能建立分布式內(nèi)存數(shù)據(jù)庫系統(tǒng)。分布式數(shù)據(jù)庫是指物理上分散在計算機網(wǎng)絡(luò)的各個結(jié)點上、而邏輯上屬于同一個系統(tǒng)的數(shù)據(jù)集合［5］。在這個系統(tǒng)中，要滿足：

（1）各結(jié)點內(nèi)存數(shù)據(jù)庫有其自治性；

（2）分發(fā)給各結(jié)點內(nèi)存數(shù)據(jù)庫的數(shù)據(jù)具有排他性，這樣可以減少相同數(shù)據(jù)的多次載入；

（3）各結(jié)點內(nèi)存數(shù)據(jù)庫間相互協(xié)調(diào)，最好的辦法是每個內(nèi)存數(shù)據(jù)庫都可以作為其他結(jié)點的服務(wù)端；

（4）保持?jǐn)?shù)據(jù)分布的透明性。

這樣分布式內(nèi)存數(shù)據(jù)庫系統(tǒng)就能很好地滿足數(shù)據(jù)的分布性和數(shù)據(jù)庫間的協(xié)調(diào)性兩大特點［6］，再結(jié)合內(nèi)存數(shù)據(jù)庫和Oracle之間平衡的改進(jìn)，就能很好地解決海量數(shù)據(jù)實時處理的要求了。

3 作戰(zhàn)指揮信息系統(tǒng)中實時數(shù)據(jù)的處理

在作戰(zhàn)指揮信息系統(tǒng)中，根據(jù)臺位功能的不同，將來自外部情報的報文和Oracle數(shù)據(jù)庫中的實時信息采集到傳輸總線，同步處理模塊再根據(jù)各臺位訂閱的信息主題，將總線中的實時信息按照主題分類，并載入到對應(yīng)的內(nèi)存數(shù)據(jù)庫中，這個過程通過訂閱／分發(fā)來實現(xiàn)。

3.1 應(yīng)用框架設(shè)計

內(nèi)存數(shù)據(jù)應(yīng)用于作戰(zhàn)指揮信息系統(tǒng)中的模型框架（如圖1所示），各臺位中的軟件模塊訂閱本模塊需要的信息主題，將這些訂閱信息存儲到訂閱表中統(tǒng)一維護(hù)［7］。當(dāng)外部有情報發(fā)送或者Oracle數(shù)據(jù)庫中有需要提升為實時處理的數(shù)據(jù)時，將這些信息傳送給數(shù)據(jù)總線，然后訂閱分發(fā)模塊根據(jù)訂閱表中的信息，將這些信息按照主題存儲到相應(yīng)的內(nèi)存數(shù)據(jù)庫中，并通知各臺位中的應(yīng)用端軟件模塊到內(nèi)存數(shù)據(jù)庫中提取相應(yīng)信息。

圖1 內(nèi)存數(shù)據(jù)庫應(yīng)用于作戰(zhàn)指揮系統(tǒng)的應(yīng)用框架

3.2 訂閱分發(fā)

訂閱分發(fā)（又稱為發(fā)布／訂閱）是一種匿名服務(wù)機制，依據(jù)語義特性將事件流從發(fā)送者傳播到接收者。發(fā)布消息的客戶端只需要簡單地將消息以主題的形式發(fā)送出去，而訂閱客戶端只需要訂閱需要的信息主題，發(fā)送者和訂閱者之間并不需要建立直接的專用信息通道。他們之間的通信通過消息代理來完成，消息代理可以參照J(rèn)ava消息服務(wù)（JMS）規(guī)范，一個特定的JMS實現(xiàn)可以提供基于傳輸控制協(xié)議／互聯(lián)網(wǎng)協(xié)議（TCP／IP）、超文本傳輸協(xié)議（HTTP）、安全套接層（SSL）等其它通訊協(xié)議［4］。在訂閱分發(fā)模式下，用戶被分為2類：發(fā)布者和訂閱者。發(fā)布者不關(guān)心信息流向何方，只需要發(fā)出信息就可以了；而訂閱者只關(guān)心自己需要的信息，并訂閱這些信息，也就是提出信息申請，當(dāng)有發(fā)布者發(fā)布該信息的時候，信息就可以送達(dá)訂閱者。當(dāng)然1個用戶也可以作為發(fā)布者和訂閱者，訂閱分發(fā)模型框架如圖2所示。

圖2 訂閱分發(fā)模型框架

在作戰(zhàn)指揮信息系統(tǒng)中，除了實時報文外，還需要解決大量來自O(shè)racle數(shù)據(jù)庫中的實時數(shù)據(jù)，所以形成一種特殊的訂閱分發(fā)形式，一方面處理實時報文，另一方面提取Oracle中的數(shù)并轉(zhuǎn)換為基于主題的形式，從而實現(xiàn)統(tǒng)一的訂閱分發(fā)。另外，為了支持異步方式，將實時發(fā)送的報文和來自O(shè)racle的數(shù)據(jù)以主題的形式存儲到內(nèi)存數(shù)據(jù)庫中圖1所示的整體框架，直到所有的訂閱者收到信息。如果訂閱者離線，則在下次啟動時由消息代理通知訂閱者去讀取信息。

3.3 內(nèi)存數(shù)據(jù)庫的安全處理

內(nèi)存數(shù)據(jù)庫系統(tǒng)的安全隱患主要來自于數(shù)據(jù)的永久性存儲和斷電等異常處理。在嵌入式系統(tǒng)中，系統(tǒng)資源緊湊，常規(guī)數(shù)據(jù)庫無法使用，導(dǎo)致可以選擇的數(shù)據(jù)管理方案少。而且要保證數(shù)據(jù)的持久性，通過內(nèi)存數(shù)據(jù)庫的引擎技術(shù)，將對數(shù)據(jù)庫的操作信息存儲到日志緩沖區(qū)中，然后由后臺進(jìn)程同步到磁盤上的日志文件中。同時每隔一段時間將內(nèi)存中變化的數(shù)據(jù)增量寫到磁盤上的數(shù)據(jù)文件中，最后清除已經(jīng)同步的日志文件，這樣，當(dāng)數(shù)據(jù)庫重啟后可以通過這些文件進(jìn)行自動恢復(fù)。另外為了防止異常掉電數(shù)據(jù)丟失引起的整個作戰(zhàn)指揮信息系統(tǒng)的崩潰，采用多模式容災(zāi)的HA模式，將內(nèi)存數(shù)據(jù)庫進(jìn)行一對多或者多對多的備份，當(dāng)主站異常掉電后，會有其它副站自動升級為主站，維持系統(tǒng)的正常運作。主站和副站之間通過初始同步定時器、心跳檢測定時器、發(fā)送定時器和接收定時器來保證主站和復(fù)雜的同步。

4 結(jié)束語

在大型的作戰(zhàn)指揮信息系統(tǒng)中，根據(jù)對龐大的雷達(dá)情報、指揮控制、模擬仿真等信息以及來自磁盤數(shù)據(jù)庫中的數(shù)據(jù)實時處理的要求，本文提出基于內(nèi)存數(shù)據(jù)庫的海量實時處理新方案，對內(nèi)存數(shù)據(jù)庫系統(tǒng)進(jìn)行改進(jìn)，并結(jié)合內(nèi)存數(shù)據(jù)庫的集群處理，將海量數(shù)據(jù)分擔(dān)到多個內(nèi)存數(shù)據(jù)庫中并發(fā)控制；另外，根據(jù)訂閱分發(fā)將實時數(shù)據(jù)按照主題的形式存儲到相應(yīng)的內(nèi)存數(shù)據(jù)庫中，保證了海量數(shù)據(jù)的實時處理，同時也解決了系統(tǒng)的通訊問題。目前，基于內(nèi)存數(shù)據(jù)庫的海量數(shù)據(jù)實時處理模型成功地應(yīng)用于作戰(zhàn)指揮系統(tǒng)中，證明了其高效性和可靠性。

［1］唐志軍.基于Oracle的海量實時報文存儲訪問策略［J］.指揮信息系統(tǒng)與技術(shù)，2011（3）：41－48.

［2］張未平.指揮信息系統(tǒng)體系作戰(zhàn)結(jié)構(gòu)研究［M］.北京：國防大學(xué)出版社，2011.

［3］Hector Garcia Molina，Kenneth Salem.Main memory database system：an overview［J］.IEEE Transactions on Knowledge and Data Engineering，1992，4（6）：509－516.

［4］廖國瓊.嵌入式移動實時數(shù)據(jù)庫事務(wù)處理技術(shù)［M］.北京：中國鐵道出版社，2010.

［5］歐陽京武.分布式數(shù)據(jù)庫系統(tǒng)概論［M］.北京：航天工業(yè)出版社，1989.

［6］肖迎元.分布式實時數(shù)據(jù)庫技術(shù)［M］.北京：科學(xué)出版社，2009.

［7］夏火松.數(shù)據(jù)倉庫與數(shù)據(jù)挖掘技術(shù)［M］.北京：科學(xué)出版社，2011.