實時監(jiān)管系統(tǒng)中數(shù)據(jù)庫分段存取更新方法研究

朱琪 黎亞炎 付江泳 夏克愚 張良斌 黃文明

摘 要

針對本次大學(xué)生創(chuàng)新創(chuàng)業(yè)項目中的我們項目的數(shù)據(jù)庫存取查詢效率要求，近年來數(shù)據(jù)庫的一般使用方法對于本次設(shè)計使用的系統(tǒng)存在一些缺陷。為此，設(shè)計提出了一種適用的分段式數(shù)據(jù)庫實時存取方法。本次數(shù)據(jù)庫設(shè)計時，在通過數(shù)據(jù)庫請求數(shù)據(jù)方面有兩個主要請求方式，一個是通過遠(yuǎn)程終端連接服務(wù)器并實時寫入位置信息，另一個是通過客戶端遠(yuǎn)程連接數(shù)據(jù)庫進(jìn)行數(shù)據(jù)的各種管理操作，通過對于本項目數(shù)據(jù)進(jìn)入數(shù)據(jù)庫的不同的存取方式，時間等的不同要求，將第一個存取數(shù)據(jù)庫方式設(shè)置為通過一個依附于數(shù)據(jù)庫的控制端，使用控制端完成接收遠(yuǎn)程終端傳輸?shù)奈恢眯畔?，并引入緩沖技術(shù)，在數(shù)據(jù)量突增是觸發(fā)報警并開啟雙倍緩沖，緩沖數(shù)據(jù)到指定數(shù)量后由控制端完成多個信息一次寫入數(shù)據(jù)庫的操作。另一個數(shù)據(jù)請求分支由于請求量小，因此直連到數(shù)據(jù)庫進(jìn)行操作。實驗結(jié)果表明，所提方法對于數(shù)據(jù)庫的平均負(fù)荷量較一般直連負(fù)荷量低，存取性能優(yōu)。

關(guān)鍵詞

數(shù)據(jù)分段式存取;實時;自動化

中圖分類號： TP393.09 ? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識碼： A

DOI：10.19694/j.cnki.issn2095-2457.2020.15.006

數(shù)據(jù)庫是依照某種數(shù)據(jù)模型組織起來并存放二級存儲器中的數(shù)據(jù)集合。從發(fā)展的歷史看，數(shù)據(jù)庫是數(shù)據(jù)管理的高級階段，它是由文件管理系統(tǒng)發(fā)展起來的。當(dāng)數(shù)據(jù)庫對遠(yuǎn)程信息進(jìn)行管理和操作時，選擇適用于數(shù)據(jù)存取，存取效率高的數(shù)據(jù)庫非常有必要，在本次項目對于數(shù)據(jù)的實時性和準(zhǔn)確性有一定的要求，設(shè)計一款適合本次項目的配套數(shù)據(jù)庫存取方案顯得尤為重要，它能夠保持進(jìn)入數(shù)據(jù)庫的數(shù)據(jù)在準(zhǔn)確性的前提下，使得數(shù)據(jù)庫不因為大量的小數(shù)據(jù)片段的插入而導(dǎo)致數(shù)據(jù)庫負(fù)荷量過載，從另一方面也是保證了數(shù)據(jù)庫的安全可靠運行。

文獻(xiàn)[2]提出了一種基于信息流分析的數(shù)據(jù)庫存取方法，對于數(shù)據(jù)的進(jìn)入進(jìn)行語義上下文的分析，該控制方法雖然控制效果好，但對于本項目中對于角色的控制并不多，此種方法將增加數(shù)據(jù)庫負(fù)荷，其也需要驗證存取和系統(tǒng)日志，運行效率較低;文獻(xiàn)[3]提出了一種大規(guī)模數(shù)據(jù)庫實時自主控制的存取方法，其對于用戶控制和數(shù)據(jù)的高效穩(wěn)定存取都做了很好的改善，但針對本次設(shè)計的系統(tǒng)所使用來說，其所使用的貝爾-拉帕丟拉模型的密級劃分對于此次少用戶的系統(tǒng)并不適用，反而導(dǎo)致對于用戶控制方面的判斷較多，影響運行效率。

根據(jù)以上文獻(xiàn)所提出的方法對于本次系統(tǒng)中所存在的不足，提出一種適用于實時大量小數(shù)據(jù)存取數(shù)據(jù)庫的存取控制方法，其對于角色控制并不深究，通過單次插入數(shù)據(jù)和批量插入數(shù)據(jù)的時空消耗對比實現(xiàn)了在實時系統(tǒng)中的分段批量插入數(shù)據(jù)，提高了運行效率，在控制端設(shè)置緩沖池，保證了數(shù)據(jù)的可靠性和當(dāng)數(shù)據(jù)出現(xiàn)波動時的數(shù)據(jù)安全性。

1 分段式實時數(shù)據(jù)庫存取控制方法

1.1 項目場景

本次所開發(fā)的項目所需要的數(shù)據(jù)庫為實時存取效率高的數(shù)據(jù)庫，在遠(yuǎn)程終端將位置信息發(fā)送到數(shù)據(jù)庫時，數(shù)據(jù)庫必須將位置信息實時記錄，在設(shè)計中必須避免因為數(shù)據(jù)庫負(fù)荷量過大而導(dǎo)致的數(shù)據(jù)丟失，嚴(yán)重還可導(dǎo)致數(shù)據(jù)庫停止工作此類問題，在設(shè)計過程中，因為項目所需要的數(shù)據(jù)庫必須穩(wěn)定可靠，所以開發(fā)一款依附于數(shù)據(jù)庫運行的控制端顯得尤為重要。

1.2 分段式存取模型

分段式存儲模型在數(shù)據(jù)的存取上使用緩沖技術(shù)，將實時的數(shù)據(jù)緩沖分段進(jìn)行存儲，在其控制機(jī)制中有緩沖池，其可以將接收到的數(shù)據(jù)暫時保存，當(dāng)緩沖的數(shù)據(jù)量達(dá)到指定數(shù)量時，將開啟與數(shù)據(jù)庫的連接，然后使用一條sql語句將緩沖到的數(shù)據(jù)一次插入數(shù)據(jù)庫中，同時緩沖池也還在繼續(xù)工作，當(dāng)插入完畢后，等待下一段數(shù)據(jù)緩沖完成，再次插入。當(dāng)數(shù)據(jù)庫插入速度慢于數(shù)據(jù)接收速度時，此模型將會發(fā)送報警信息，并自動調(diào)整到雙倍緩沖數(shù)量，降低數(shù)據(jù)庫的負(fù)荷，根據(jù)數(shù)據(jù)庫中存取一次數(shù)據(jù)時間的消耗分析，在數(shù)據(jù)庫進(jìn)行連接和斷開時消耗的時間占總時間的70%以上，所以在雙倍緩沖的情況下，在數(shù)據(jù)量不是劇增多倍時，可以有效地保護(hù)數(shù)據(jù)庫并保護(hù)數(shù)據(jù)。

此次模型的實現(xiàn)方式是設(shè)計依附于數(shù)據(jù)庫的控制端，控制端主要有以下幾點功能，其與數(shù)據(jù)庫隨時保持連接，并檢測數(shù)據(jù)庫的狀態(tài)，當(dāng)數(shù)據(jù)庫有任何問題時都會將報警信息發(fā)送到客戶端、控制端接收遠(yuǎn)程終端所發(fā)來的位置信息，并將其進(jìn)行緩沖，后插入，緩沖在插入執(zhí)行時若滿，則執(zhí)行雙倍緩沖并報警。

2 實驗結(jié)果分析

2.1 測試環(huán)境

為了驗證此模型的有效性和實用性，需要進(jìn)行相關(guān)的實驗分析，實驗將直連數(shù)據(jù)庫直接插入和設(shè)置控制端緩沖插入進(jìn)行對比，在如圖所示的實驗拓?fù)洵h(huán)境下進(jìn)行。

實驗測試環(huán)境如下數(shù)據(jù)庫所依存PC機(jī)處理器為Intel酷睿i7，主頻2.2GHz，物理內(nèi)存為8G，硬盤500G。

2.2 數(shù)據(jù)插入測試

針對數(shù)據(jù)庫中插入數(shù)據(jù)的速度進(jìn)行兩種連接方式的對比，實驗使用1條/秒、10條/秒、100條/秒， 1000條/秒的數(shù)據(jù)量進(jìn)行測試，其中，控制端緩沖池的緩沖一倍數(shù)量為100。分別用兩種連接方式插入時數(shù)據(jù)庫和數(shù)據(jù)完整性對比如表1所示

分析數(shù)據(jù)量可得，在分段式存儲插入的情況下，緩沖并批量插入數(shù)據(jù)庫較直連插入數(shù)據(jù)庫有著很大的優(yōu)勢，其最大限度地保護(hù)了數(shù)據(jù)的完整性和數(shù)據(jù)庫的安全性，具有可靠性，適用于實時大量數(shù)據(jù)插入處理項目中的數(shù)據(jù)庫配套使用。

3 結(jié)論

提出一種實用新型的實時監(jiān)控系統(tǒng)中數(shù)據(jù)庫存取控制方法，在解決實時存取數(shù)據(jù)庫中插入時連接和斷開頻繁操作所產(chǎn)生的巨大時間消耗的問題上，分段式存取方式引入緩沖技術(shù)，將每次頻繁需要插入的數(shù)據(jù)進(jìn)行緩沖整理，后批量插入，并在此基礎(chǔ)上加入數(shù)據(jù)接收量超常緩沖數(shù)量自動翻倍并報警的機(jī)制，使得在存取數(shù)據(jù)是保證了數(shù)據(jù)的完整性，同時也保證了數(shù)據(jù)庫的安全可靠運行。通過實驗數(shù)據(jù)表明，本文所提方法存取效率高，數(shù)據(jù)安全可靠，數(shù)據(jù)庫安全穩(wěn)定運行。

參考文獻(xiàn)

[1]彭建華，李臣明，邱軍林，等.接收與處理分離的實時大數(shù)據(jù)處理模型[J].計算機(jī)科學(xué)與探索，2015%9（8）：906-913.

[2]Wu C，Zhu Q，Xu W，et a l A real-time geo-processing database engine linking calculations and storage for VGE.Annals of Gis，2015%21（4）：1-10.

[3]徐艷，董濤.大規(guī)模數(shù)據(jù)庫實時自主存取控制方法研究[J].科學(xué)技術(shù)與工程，2017：205-209.