實時數(shù)據(jù)庫技術(shù)探究

唐 宇

（1.北京全路通信信號研究設(shè)計院集團有限公司，北京 100070 2.北京市高速鐵路運行控制系統(tǒng)工程技術(shù)研究中心，北京 100070）

1 概述

近些年來，軌道交通行業(yè)迎來了更加廣闊的市場機遇，同時也面臨著更加嚴峻的市場競爭。產(chǎn)品要得到客戶的認可，就必須要快速響應(yīng)市場變化。如何利用信息技術(shù)和控制技術(shù)，提高系統(tǒng)及平臺的信息化水平，進而提高產(chǎn)品的綜合競爭力，是許多產(chǎn)商當前面臨的重要課題。

信息是以數(shù)據(jù)的形式進行存儲與傳輸?shù)?，要實現(xiàn)產(chǎn)品的信息化，數(shù)據(jù)的存取是必不可少的一環(huán),而要提升產(chǎn)品信息化水平，數(shù)據(jù)的存取能力就必須得到保障。在軌道交通行業(yè)，產(chǎn)品信息化水平還有很大的提升空間。而關(guān)系型數(shù)據(jù)庫數(shù)據(jù)處理速度低，關(guān)系數(shù)據(jù)模型無法對生產(chǎn)過程數(shù)據(jù)進行高效的處理、存儲與檢索，難以為軌道交通運營、管理過程中產(chǎn)生的海量實時數(shù)據(jù)提供快速的存取服務(wù)。因此，如何面向海量實時數(shù)據(jù)提供高效的數(shù)據(jù)存取成為一個亟待解決的重要問題。

本文將介紹實時數(shù)據(jù)庫如何滿足實時數(shù)據(jù)的存取需求，并根據(jù)綜合監(jiān)控系統(tǒng)需求提出一種實時數(shù)據(jù)庫解決方案。

2 實時數(shù)據(jù)庫

實時數(shù)據(jù)庫是一種面向海量實時數(shù)據(jù)存儲的數(shù)據(jù)庫系統(tǒng)，可用于存儲并管理來自各種控制系統(tǒng)和總線的設(shè)備狀態(tài)與過程數(shù)據(jù)，提供系統(tǒng)級、甚至企業(yè)級的統(tǒng)一實時數(shù)據(jù)平臺。

除了要滿足經(jīng)典數(shù)據(jù)庫系統(tǒng)的數(shù)據(jù)正確性、安全性及可靠性之外，實時數(shù)據(jù)庫還要滿足一些其他特性。在學術(shù)研究領(lǐng)域，實時數(shù)據(jù)庫需要保證數(shù)據(jù)及事務(wù)的定時限制，例如一個更新操作必須在規(guī)定時間內(nèi)完成等，這是由于在實時應(yīng)用環(huán)境中，數(shù)據(jù)的價值會隨著時間增加而減小[1]。因此，很多學術(shù)工作致力于建立模型來研究事務(wù)的調(diào)度、事務(wù)執(zhí)行時間預(yù)測等，以盡量保證數(shù)據(jù)的實時性。然而市場上很多實時數(shù)據(jù)庫產(chǎn)品往往并不強調(diào)事務(wù)調(diào)度、執(zhí)行時間預(yù)測等特性，往往更關(guān)注吞吐量、數(shù)據(jù)壓縮比等指標，因為現(xiàn)代實時數(shù)據(jù)庫已經(jīng)能實現(xiàn)ms級的操作響應(yīng)，這已經(jīng)能滿足絕大多數(shù)生產(chǎn)環(huán)境應(yīng)用的需求，而過于復(fù)雜的事務(wù)調(diào)度、時間預(yù)測算法反而可能會影響數(shù)據(jù)庫操作執(zhí)行效率。

生產(chǎn)環(huán)境中的實時數(shù)據(jù)庫一般包含以下主要特點：

1) 支持分布式數(shù)據(jù)采集。數(shù)據(jù)的來源包括分布在不同地理位置的大量設(shè)備、傳感器，并能有效兼容多種異構(gòu)的通信協(xié)議。

2) 海量數(shù)據(jù)的高效存取。數(shù)據(jù)庫在內(nèi)存中緩存數(shù)據(jù)并異步將數(shù)據(jù)持久化至磁盤，保證數(shù)據(jù)存取性能；同時提供壓縮比高的有損壓縮技術(shù)，節(jié)省磁盤空間，能夠在線保存海量歷史數(shù)據(jù)。

3) 支持動態(tài)報警閾值調(diào)整。在系統(tǒng)不停機的情況下，數(shù)據(jù)庫支持在線修改報警觸發(fā)條件，以便在第一時間發(fā)現(xiàn)緊急情況。

4) 實時數(shù)據(jù)的整合與發(fā)布。實時數(shù)據(jù)可以通過配套的數(shù)據(jù)整合工具發(fā)布到符合ODBC標準的關(guān)系數(shù)據(jù)庫及EXCEL電子表格中，支持動態(tài)報表生成，并方便用戶根據(jù)業(yè)務(wù)需求進行二次開發(fā)、信息集成。

從妍妍父母的話語得知，妍妍以前一直都很健康，他們也知道妍妍是在裝病找借口，但女兒是他們的心頭肉，他們不愿意勉強妍妍，所以只能給妍妍請假了。看來，我得先從妍妍父母做工作。我告訴他們，愛孩子也應(yīng)該有原則，如果我們不能在開學這個階段處理好孩子的“上學恐懼癥”，繼續(xù)這樣一味地妥協(xié)下去，只會助長孩子以后遇事逃避的壞習慣，甚至會影響孩子的人生。

5) 開放的開發(fā)接口。實時數(shù)據(jù)庫往往會為用戶提供完整的數(shù)據(jù)存取編程接口，方便用戶根據(jù)業(yè)務(wù)需求進行二次開發(fā)。

6) 時鐘同步。提供時鐘同步功能保證數(shù)據(jù)采集服務(wù)器與數(shù)據(jù)庫服務(wù)器的時間一致，避免時間不一致導(dǎo)致的數(shù)據(jù)異常。

實時數(shù)據(jù)庫可用于生產(chǎn)過程數(shù)據(jù)的自動采集、存儲、監(jiān)視和報警。一個成熟的實時數(shù)據(jù)庫，通過高壓縮比算法可在線存儲所有數(shù)據(jù)采集點多年收集的數(shù)據(jù)。因此，用戶既可以瀏覽當前生產(chǎn)的實時情況，也可回顧生產(chǎn)的歷史情況。可以這么理解，實時數(shù)據(jù)庫對于企業(yè)來說就如同飛機上的“黑匣子”。通過實時數(shù)據(jù)庫可集成ERP、設(shè)備維護管理、管理信息系統(tǒng)（MIS）、模擬與優(yōu)化等應(yīng)用程序，在業(yè)務(wù)管理和實時生產(chǎn)之間起到橋梁作用，實現(xiàn)企業(yè)信息化、數(shù)字化管理。實時數(shù)據(jù)庫系統(tǒng)在工業(yè)生產(chǎn)領(lǐng)域的應(yīng)用市場前景極其廣闊，目前已廣泛應(yīng)用于石油化工、冶金、電力、石化、交通、電信、證券、飛行控制、航空航天、智能建筑、氣象等諸多領(lǐng)域，國內(nèi)市場需求、潛力較大。

3 綜合監(jiān)控系統(tǒng)的數(shù)據(jù)存取需求

軌道交通綜合監(jiān)控（ISCS）系統(tǒng)是以計算機技術(shù)、網(wǎng)絡(luò)技術(shù)、自動化技術(shù)和信息技術(shù)等為基礎(chǔ)的計算機集成系統(tǒng)。該系統(tǒng)需要集成多個自動化專業(yè)子系統(tǒng)，并對各專業(yè)子系統(tǒng)進行統(tǒng)一監(jiān)控，實現(xiàn)各專業(yè)系統(tǒng)的信息共享及系統(tǒng)之間的聯(lián)動控制功能，提高運營效率，為實現(xiàn)軌道交通現(xiàn)代化運營管理提供信息化基礎(chǔ)。本章主要分析綜合監(jiān)控系統(tǒng)對數(shù)據(jù)存取提出的需求。

綜合監(jiān)控系統(tǒng)的數(shù)據(jù)存取功能主要由實時數(shù)據(jù)庫與關(guān)系數(shù)據(jù)庫共同完成。其中，實時數(shù)據(jù)庫專門用來提供高效的實時數(shù)據(jù)存取，是系統(tǒng)運行、處理的核心；關(guān)系數(shù)據(jù)庫負責歷史數(shù)據(jù)、系統(tǒng)運行參數(shù)等數(shù)據(jù)的存取。根據(jù)所存儲數(shù)據(jù)的作用來劃分，綜合監(jiān)控系統(tǒng)中的關(guān)系數(shù)據(jù)庫又可分為參數(shù)庫與歷史庫，前者存儲著綜合監(jiān)控系統(tǒng)運行所需的部分參數(shù)，后者則主要存放系統(tǒng)監(jiān)測到的歷史數(shù)據(jù)，供統(tǒng)計及追溯用。

實時數(shù)據(jù)庫在綜合監(jiān)控系統(tǒng)中起著承上啟下的作用，是綜合監(jiān)控系統(tǒng)運行時的核心服務(wù)之一。如圖1所示，一方面，參數(shù)庫中的參數(shù)內(nèi)容在實時數(shù)據(jù)庫啟動時會被加載進實時庫表中，并且隨著系統(tǒng)運行，一些需要保存?zhèn)浞莸膶崟r數(shù)據(jù)會被存入歷史庫中；另一方面，實時庫為界面顯示、交互操作、應(yīng)用處理服務(wù)等提供實時數(shù)據(jù)支持。

圖1 實時數(shù)據(jù)庫與其他模塊的交互示意圖Fig.1 Interaction between real-time databases and other modules

保證數(shù)據(jù)存取的響應(yīng)速度。實時數(shù)據(jù)庫主要以內(nèi)存為存儲介質(zhì)，而關(guān)系數(shù)據(jù)庫的存儲介質(zhì)為磁盤。因此，實時數(shù)據(jù)庫可以提供更快速的操作響應(yīng)，不會因為參數(shù)庫或者歷史庫的時耗而影響界面操作以及應(yīng)用處理的響應(yīng)速度。

保證系統(tǒng)可用性。實時數(shù)據(jù)庫的運行狀態(tài)可獨立于參數(shù)庫、歷史庫的運行狀態(tài)；因此，在參數(shù)庫、歷史庫不可使用的情況下，綜合監(jiān)控系統(tǒng)依然能在實時庫的數(shù)據(jù)支持下持續(xù)運行。

綜合監(jiān)控系統(tǒng)需要實時數(shù)據(jù)庫滿足下列核心功能。

1) 海量數(shù)據(jù)高效的存取。包括監(jiān)控點的屬性信息（名稱、數(shù)據(jù)類型、描述信息、計量單位、是否保存歷史數(shù)據(jù)等）及監(jiān)控到的數(shù)據(jù)的增刪查改。

2) 與關(guān)系庫的交互。包括在啟動時從參數(shù)庫中加載參數(shù)數(shù)據(jù)、將點屬性及監(jiān)控數(shù)據(jù)持久化到歷史庫。

3) 數(shù)據(jù)的訂閱/發(fā)布。允許其他模塊訂閱相應(yīng)的數(shù)據(jù)并指定數(shù)據(jù)發(fā)布的條件，具體條件包括有更新即發(fā)布、數(shù)據(jù)絕對值超過閾值即發(fā)布以及數(shù)據(jù)的改變值超過閾值即發(fā)布。

綜合監(jiān)控系統(tǒng)還需要實時數(shù)據(jù)庫提供一定的二維表結(jié)構(gòu)支持。此外，實時數(shù)據(jù)庫還需要提供消息處理、連接驗證、內(nèi)存管理、日志管理、主從管理等功能，以確保系統(tǒng)完整性、安全性、可靠性、可用性及可擴展性。

在非功能屬性上，實時數(shù)據(jù)庫要滿足單點數(shù)據(jù)讀寫響應(yīng)時間在數(shù)百ms內(nèi)的需求，能夠在線存儲一條典型軌道交通線路所包含數(shù)據(jù)采集點的實時數(shù)據(jù)量，滿足相應(yīng)的實時數(shù)據(jù)更新吞吐量需求。

4 面向綜合監(jiān)控系統(tǒng)的實時數(shù)據(jù)庫解決方案

當前商用實時數(shù)據(jù)庫均為閉源軟件，客戶只能通過數(shù)據(jù)庫暴露的API進行二次開發(fā)，而不能自主修改實時數(shù)據(jù)庫的特性。另外，購買商用實時數(shù)據(jù)庫的價格不菲，例如對于一個擁有5 000監(jiān)測點的系統(tǒng)，主流實時數(shù)據(jù)庫PI的報價為10萬美金左右，而軌道交通領(lǐng)域中，一個車站的數(shù)據(jù)收集點個數(shù)就不止5 000，一條軌道交通線路包含的各種監(jiān)測點數(shù)則往往是數(shù)十萬級的。如果依賴市場上的商業(yè)實時數(shù)據(jù)庫構(gòu)建綜合監(jiān)控系統(tǒng)將會導(dǎo)致巨大的成本開銷。因此，自主研發(fā)實時數(shù)據(jù)庫系統(tǒng)可以為企業(yè)節(jié)約軟件成本。此外，鑒于實時數(shù)據(jù)庫在其他領(lǐng)域的廣泛應(yīng)用，實時數(shù)據(jù)庫產(chǎn)品還有為企業(yè)創(chuàng)造利潤的價值。另一方面，實時數(shù)據(jù)庫是基礎(chǔ)軟件數(shù)據(jù)庫的一個分支，也是工業(yè)控制領(lǐng)域的核心服務(wù)之一，自主研發(fā)實時數(shù)據(jù)庫可以提升企業(yè)在信息技術(shù)、工業(yè)控制領(lǐng)域的核心競爭力。

為節(jié)省開發(fā)時間成本，實時數(shù)據(jù)庫可以基于內(nèi)存數(shù)據(jù)庫進行擴展。內(nèi)存數(shù)據(jù)庫主要以內(nèi)存為存儲介質(zhì)提供數(shù)據(jù)的存取服務(wù)，不支持關(guān)系數(shù)據(jù)模型。內(nèi)存數(shù)據(jù)庫的優(yōu)點在于存取效率高、性能好，缺點在于功能相對比較單一。根據(jù)綜合監(jiān)控系統(tǒng)的需求，實時數(shù)據(jù)庫功能模塊框如圖2所示。

對于這些模塊，實時數(shù)據(jù)庫需要基于內(nèi)存數(shù)據(jù)庫添加或修改的功能主要包括（按模塊劃分）：

1) 消息監(jiān)聽模塊：將添加數(shù)據(jù)訂閱接口以支持與數(shù)據(jù)值相關(guān)的訂閱規(guī)則；

圖2 實時數(shù)據(jù)庫功能模塊框圖Fig.2 Functional modules of real-time databases

2) 消息發(fā)送模塊：支持向關(guān)系庫發(fā)送加載數(shù)據(jù)、持久化數(shù)據(jù)的請求，支持點數(shù)據(jù)的發(fā)布；

3) 存取引擎模塊：在更新點數(shù)據(jù)時，支持將歷史數(shù)據(jù)進行緩存；

4) 數(shù)據(jù)持久化模塊：支持將緩存的點數(shù)據(jù)持久化到歷史庫中；

5) 數(shù)據(jù)加載模塊：支持將系統(tǒng)運行參數(shù)、點屬性、點的歷史值等數(shù)據(jù)從參數(shù)庫、歷史庫中獲取；

6) 訂閱/發(fā)布模塊：支持一定的與數(shù)據(jù)值相關(guān)的訂閱規(guī)則，包括設(shè)定點數(shù)據(jù)值閾值、點數(shù)據(jù)值變動閾值等；當更新的點數(shù)據(jù)值滿足規(guī)則時，會將點數(shù)據(jù)值發(fā)布給訂閱者；

7) 內(nèi)存管理模塊：可清理緩存的歷史數(shù)據(jù)；

8) 日志管理模塊：支持與實時庫業(yè)務(wù)相關(guān)的日志管理，日志會記錄應(yīng)用報警、參數(shù)加載、數(shù)據(jù)持久化等信息；

9) 主從管理模塊：采用主從的方式保存數(shù)據(jù)，避免出現(xiàn)單點故障。

另外，為使客戶端連接到實時庫服務(wù)，還需要為應(yīng)用程序提供客戶端庫?？蛻舳藥煨枰峁┑墓δ苤饕校?/p>

1) 管理、維護與實時庫的連接，包括建立、維護、關(guān)閉與服務(wù)器的連接，出現(xiàn)連接故障時會自動重連，在主服務(wù)器出現(xiàn)故障時可連接到備用服務(wù)器等；

2) 管理與實時庫的讀寫請求的傳輸，并支持數(shù)據(jù)操作的批量提交以提升系統(tǒng)吞吐量；

3) 若應(yīng)用程序希望以操作二維數(shù)據(jù)表的方式存取數(shù)據(jù)，客戶端庫需實現(xiàn)對二維數(shù)據(jù)操作的降維及恢復(fù)，包括將對二維表的數(shù)據(jù)操作轉(zhuǎn)換為對一維特定格式字符串的操作及其逆轉(zhuǎn)換。這是因為實時庫采用了高效的鍵值數(shù)據(jù)模型來存取數(shù)據(jù)而不是傳統(tǒng)的二維表模型。為同時保證應(yīng)用程序操作數(shù)據(jù)的便利性及實時庫處理數(shù)據(jù)的高性能，客戶端庫需要支持對二維數(shù)據(jù)操作與對字符串操作的相互轉(zhuǎn)換。

5 結(jié)束語

如何利用信息化技術(shù)提升產(chǎn)品信息化水平，以提升產(chǎn)品競爭力是工業(yè)領(lǐng)域中諸多企業(yè)所面臨的重要問題。作為信息的儲存及傳播的載體，數(shù)據(jù)不可避免地會成為各方關(guān)注的重點，而傳統(tǒng)的關(guān)系型數(shù)據(jù)庫在實時應(yīng)用場景中難以滿足數(shù)據(jù)高效存取的需求。實時數(shù)據(jù)庫，一種能夠快速存取實時數(shù)據(jù)的數(shù)據(jù)庫系統(tǒng)，則能夠很好地滿足該類需求。本文根據(jù)軌道交通綜合監(jiān)控系統(tǒng)所提出的需求，分析形成了一種實時數(shù)據(jù)庫解決方案。