大型橋梁健康監(jiān)測(cè)系統(tǒng)數(shù)據(jù)存儲(chǔ)優(yōu)化設(shè)計(jì)

王代君，華鵬

(江西省交通運(yùn)輸科學(xué)研究院有限公司，江西 南昌 330052)

對(duì)于大型橋梁，健康監(jiān)測(cè)是保證橋梁結(jié)構(gòu)安全的關(guān)鍵措施。但橋梁結(jié)構(gòu)狀態(tài)的識(shí)別是建立在大量監(jiān)測(cè)數(shù)據(jù)的基礎(chǔ)上，因而大型橋梁一般都安裝了幾百至上千個(gè)不同類型的傳感器，將同時(shí)產(chǎn)生海量的監(jiān)測(cè)數(shù)據(jù)，這給橋梁健康的在線監(jiān)測(cè)帶來了很大的技術(shù)挑戰(zhàn)。為了解決監(jiān)測(cè)系統(tǒng)的大數(shù)據(jù)存儲(chǔ)問題，目前一些學(xué)者采用了云計(jì)算、Hadoop、ODPS、多級(jí)緩沖等方法來提高各類監(jiān)測(cè)系統(tǒng)的數(shù)據(jù)存儲(chǔ)效率，但這些方法無疑直接增加了系統(tǒng)的開發(fā)成本。從文獻(xiàn)檢索結(jié)果來看，目前專門針對(duì)橋梁健康監(jiān)測(cè)系統(tǒng)大數(shù)據(jù)存儲(chǔ)管理的文獻(xiàn)并不多見。該文以九江長(zhǎng)江公路大橋的監(jiān)測(cè)系統(tǒng)維護(hù)為例，設(shè)計(jì)一套低成本、高效率、高可靠的大型橋梁健康監(jiān)測(cè)系統(tǒng)數(shù)據(jù)存儲(chǔ)管理的優(yōu)化方案，希望對(duì)橋梁健康監(jiān)測(cè)系統(tǒng)的相關(guān)研究提供幫助。

1 工程概況

九江長(zhǎng)江公路大橋全長(zhǎng)25 km，主橋長(zhǎng)1 405 m，為雙塔混合梁斜拉橋，主跨818 m，于2013年正式通車，其結(jié)構(gòu)健康監(jiān)測(cè)系統(tǒng)也同時(shí)投入運(yùn)營(yíng)。九江長(zhǎng)江公路大橋健康監(jiān)測(cè)系統(tǒng)采用了B/S和C/S 相結(jié)合的設(shè)計(jì)理念，將查詢和訪問功能放在 B/S 架構(gòu)體系中，而需要進(jìn)行大量運(yùn)算的數(shù)據(jù)處理與采集控制則由C/S 架構(gòu)軟件完成。全橋共安裝包括振動(dòng)、FBG、GPS、振弦式應(yīng)變、壓力變送器等在內(nèi)的13種傳感器，共計(jì)525個(gè)(表1)。

經(jīng)過4年的連續(xù)運(yùn)行，九江長(zhǎng)江公路大橋監(jiān)測(cè)系統(tǒng)也隨之進(jìn)入一期維護(hù)階段，原有軟件系統(tǒng)在對(duì)所有監(jiān)測(cè)數(shù)據(jù)進(jìn)行保存的情況下存在CPU占用率高、運(yùn)行內(nèi)存空間占用大、數(shù)據(jù)通信壓力大、界面顯示卡頓等問題。另外，由于原始數(shù)據(jù)是以二進(jìn)制文件存儲(chǔ)的，在提取數(shù)據(jù)時(shí)比較麻煩。該文將對(duì)上述問題進(jìn)行優(yōu)化。

表1 九江長(zhǎng)江公路大橋主要傳感器數(shù)據(jù)量統(tǒng)計(jì)

從表1可以看出：數(shù)據(jù)量最多的傳感器每秒鐘可產(chǎn)生幾萬個(gè)采樣數(shù)據(jù)，而數(shù)據(jù)量少的則可忽略不計(jì)。這些數(shù)據(jù)被采集出來后通常以原始數(shù)據(jù)、調(diào)試數(shù)據(jù)、統(tǒng)計(jì)數(shù)據(jù)和界面數(shù)據(jù)4種形式復(fù)現(xiàn)并存儲(chǔ)，如果全部數(shù)據(jù)都通過網(wǎng)絡(luò)傳輸并存儲(chǔ)起來，不但會(huì)給軟件的通信過程帶來巨大壓力，也會(huì)嚴(yán)重消耗工控機(jī)和服務(wù)器的硬盤空間，還會(huì)造成WEB端的數(shù)據(jù)刷新出現(xiàn)卡頓現(xiàn)象。因此很有必要重新制定一個(gè)高效、方便、可靠的數(shù)據(jù)存儲(chǔ)管理體系。

2 數(shù)據(jù)管理方案設(shè)計(jì)

2.1 數(shù)據(jù)庫(kù)選用

目前主流數(shù)據(jù)庫(kù)主要有SQL Server、Oracle、MySql和SQLite等。根據(jù)大型橋梁健康監(jiān)測(cè)系統(tǒng)的應(yīng)用特點(diǎn)，采集站的原始數(shù)據(jù)量非常大，但并發(fā)性不高，而且需要滿足可查詢的功能，這些要求與SQLite的輕量級(jí)、單一文件等特點(diǎn)十分吻合，因此采集站的原始數(shù)據(jù)保存選用SQLite數(shù)據(jù)庫(kù)。對(duì)于數(shù)據(jù)服務(wù)中心，由于數(shù)據(jù)需要永久保存，并且要求為管理者的決策提供數(shù)據(jù)支持，對(duì)數(shù)據(jù)的查詢和分析要求非常高，考慮到服務(wù)器一般具有較大的硬盤容量，因此Oracle數(shù)據(jù)庫(kù)成為最佳選擇。

2.2 數(shù)據(jù)管理方案設(shè)計(jì)

該文對(duì)九江長(zhǎng)江公路大橋健康監(jiān)測(cè)系統(tǒng)的數(shù)據(jù)存儲(chǔ)方式進(jìn)行了調(diào)整，包括原始數(shù)據(jù)、調(diào)試數(shù)據(jù)、統(tǒng)計(jì)數(shù)據(jù)和顯示數(shù)據(jù)的存儲(chǔ)優(yōu)化，總體方案如圖1所示。

圖1 數(shù)據(jù)存儲(chǔ)優(yōu)化總體方案

首先由運(yùn)行在各采集站的客戶端軟件對(duì)所有傳感器進(jìn)行數(shù)據(jù)采集，采集到的原始數(shù)據(jù)直接保存一份至SQLite數(shù)據(jù)庫(kù)中，然后分為兩路，一路經(jīng)過重采樣后以動(dòng)態(tài)曲線的形式供調(diào)試用；另一路經(jīng)過有效性檢測(cè)、物理量換算、數(shù)據(jù)統(tǒng)計(jì)等復(fù)雜處理過程后發(fā)送至數(shù)據(jù)服務(wù)中心，由服務(wù)端程序接收并保存至Oracle數(shù)據(jù)庫(kù)的相應(yīng)表中，作為前臺(tái)WEB界面的數(shù)據(jù)源?？紤]到調(diào)試數(shù)據(jù)與界面數(shù)據(jù)并不參與任何計(jì)算，僅僅是用于顯示觀察，為了降低界面刷新頻率，減少CPU資源占用，采用不大于1 Hz的頻率進(jìn)行暫存。

各類數(shù)據(jù)存儲(chǔ)方式見表2，具體說明如下：

表2 各類數(shù)據(jù)存儲(chǔ)方案設(shè)計(jì)

(1)原始數(shù)據(jù)的保存

原始數(shù)據(jù)是指采集客戶端直接采集回來的各類傳感器數(shù)據(jù)，原始數(shù)據(jù)主要用于問題追溯，當(dāng)對(duì)數(shù)據(jù)處理結(jié)果有疑問時(shí)，可通過查詢?cè)紨?shù)據(jù)進(jìn)行問題確認(rèn)。原始數(shù)據(jù)的特點(diǎn)是數(shù)據(jù)量大，并且沒進(jìn)行過任何的處理直接存儲(chǔ)在計(jì)算機(jī)硬盤中。根據(jù)JT/T 1037-2016的要求，后處理數(shù)據(jù)保持不少于3個(gè)月。考慮到程序?qū)υ紨?shù)據(jù)的后處理可能出現(xiàn)異常，因此在橋梁健康監(jiān)測(cè)工程應(yīng)用中，通常保存近3個(gè)月左右的原始數(shù)據(jù)。

大型數(shù)據(jù)庫(kù)雖然功能強(qiáng)大，但對(duì)于客戶端的原始數(shù)據(jù)存儲(chǔ)而言就顯得功能嚴(yán)重過剩，并且會(huì)給管理者帶來額外的數(shù)據(jù)庫(kù)維護(hù)工作。二進(jìn)制存儲(chǔ)方式由于空間占用非常小，已被許多監(jiān)測(cè)系統(tǒng)所采用，然而二進(jìn)制的存儲(chǔ)是基于計(jì)算機(jī)存儲(chǔ)結(jié)構(gòu)來考慮的，它并不支持對(duì)文件中的數(shù)據(jù)進(jìn)行高效篩選與檢索，只有通過第三方軟件編程才能完成數(shù)據(jù)查詢。而SQLite數(shù)據(jù)庫(kù)作為輕量級(jí)的文件型數(shù)據(jù)庫(kù)，可以在很大程度上彌補(bǔ)二進(jìn)制存儲(chǔ)方式的不足，另外，SQLite是一種通用數(shù)據(jù)庫(kù)，具備最基本的數(shù)據(jù)庫(kù)存儲(chǔ)結(jié)構(gòu)，并且可以通過SQL語(yǔ)句直接對(duì)文件的數(shù)據(jù)進(jìn)行篩選與初步分析。這一點(diǎn)是二進(jìn)制文件所無法比擬的。為了解決SQLite數(shù)據(jù)庫(kù)文件占用存儲(chǔ)空間較大的問題，該文對(duì)其進(jìn)行了壓縮處理，壓縮后的文件大小比原來減少了90%。對(duì)于采集頻率大于1 Hz的傳感器，按1 Hz對(duì)原始數(shù)據(jù)進(jìn)行重采樣后發(fā)送至數(shù)據(jù)服務(wù)中心。對(duì)于根據(jù)原始數(shù)據(jù)計(jì)算而得的物理量，則全部發(fā)送至數(shù)據(jù)服務(wù)中心。

(2)調(diào)試數(shù)據(jù)的處理

調(diào)試數(shù)據(jù)用于現(xiàn)場(chǎng)安裝實(shí)施人員調(diào)試傳感器，當(dāng)傳感器安裝完畢后，需要對(duì)傳感器進(jìn)行調(diào)試與校準(zhǔn)，這就需要將傳感器數(shù)據(jù)以表格、圖形或曲線的形式動(dòng)態(tài)、直觀地顯示出來。顯然，這些數(shù)據(jù)不需要保存到硬盤，只需暫存在內(nèi)存中，數(shù)據(jù)一旦顯示出來，就會(huì)被后續(xù)的數(shù)據(jù)所覆蓋。然而圖表插件的調(diào)用需要占用較多CPU資源，為了減輕資源消耗，對(duì)于數(shù)據(jù)量特別大的傳感器，對(duì)其原始數(shù)據(jù)進(jìn)行1 Hz的重采集再顯示出來，滿足數(shù)據(jù)觀察要求即可。

(3)WEB監(jiān)測(cè)數(shù)據(jù)的保存

WEB監(jiān)測(cè)數(shù)據(jù)是為了遠(yuǎn)程管理員監(jiān)測(cè)傳感器實(shí)時(shí)數(shù)據(jù)而在瀏覽器中顯示的數(shù)據(jù)。由于WEB頁(yè)面中的數(shù)據(jù)也是以數(shù)據(jù)有無和數(shù)據(jù)變化趨勢(shì)的判斷為目的的，因而也不需要對(duì)全部數(shù)據(jù)進(jìn)行顯示。對(duì)于采集頻率大于1 Hz的傳感器，按1 Hz進(jìn)行重采樣進(jìn)行顯示。

(4)分層統(tǒng)計(jì)數(shù)據(jù)的保存

如果數(shù)據(jù)服務(wù)中心僅保存重采樣之后的數(shù)據(jù)，很有可能將一些超標(biāo)的數(shù)據(jù)忽略；而如果為了數(shù)據(jù)可靠而將所有原始數(shù)據(jù)都發(fā)送到數(shù)據(jù)服務(wù)中心保存，又會(huì)占用大量的硬盤空間。為了解決硬盤空間占用率和數(shù)據(jù)監(jiān)測(cè)可靠性之間的矛盾，該文提出了對(duì)海量數(shù)據(jù)進(jìn)行“分層統(tǒng)計(jì)”的概念，即在采集客戶端中將原始數(shù)據(jù)和各物理量按每10 min、每0.5 h和每天3個(gè)尺度進(jìn)行統(tǒng)計(jì)。尺度越大，統(tǒng)計(jì)粒度也越大。為了使統(tǒng)計(jì)值盡量精確地反映原始值，應(yīng)采用較小的統(tǒng)計(jì)尺度，于是采用10 min統(tǒng)計(jì)，每1 h可以取得6組統(tǒng)計(jì)值；按小時(shí)統(tǒng)計(jì)和按天統(tǒng)計(jì)，一方面是考慮到時(shí)間段的完整性；另一方面是為統(tǒng)計(jì)某些物理量的“時(shí)均值”、“日均值”等常用參量的變化情況提供數(shù)據(jù)源。分層統(tǒng)計(jì)過程中主要統(tǒng)計(jì)最大值、最小值、平均值、中值、均方差等參數(shù)，并將這些參數(shù)發(fā)送至數(shù)據(jù)服務(wù)中心，而原始數(shù)據(jù)則留在客戶端所在的工控機(jī)中進(jìn)行備份。這樣就將層內(nèi)的大量數(shù)據(jù)轉(zhuǎn)化為少數(shù)幾個(gè)特征參數(shù)，從而大大減少存儲(chǔ)空間的占用。當(dāng)數(shù)據(jù)超標(biāo)時(shí)，必然會(huì)在最大值或最小值中體現(xiàn)出來，這就解決了數(shù)據(jù)可靠性的問題。

(5)歷史數(shù)據(jù)的保存

分層統(tǒng)計(jì)數(shù)據(jù)發(fā)送至數(shù)據(jù)服務(wù)中心后，由服務(wù)端程序?qū)⑵浔４嬷翑?shù)據(jù)庫(kù)表中，作為永久保存的數(shù)據(jù)。在進(jìn)行問題追溯時(shí)，如果原始數(shù)據(jù)由于超過保存期限而被刪除，就可以在歷史數(shù)據(jù)中進(jìn)行檢索，查得相應(yīng)時(shí)間段的分層統(tǒng)計(jì)參數(shù)，也能在很大程度上對(duì)問題進(jìn)行反推。

3 數(shù)據(jù)管理方案實(shí)現(xiàn)

在程序其他模塊邏輯不改變的情況下，對(duì)系統(tǒng)軟件的運(yùn)行參數(shù)進(jìn)行對(duì)比，如表3所示。

表3 優(yōu)化前后運(yùn)行參數(shù)對(duì)比

從表3可以發(fā)現(xiàn)，優(yōu)化后的系統(tǒng)軟件在運(yùn)行過程中CPU占用率、內(nèi)存占用和總數(shù)據(jù)量都大幅減小，優(yōu)化效果明顯。

4 結(jié)論

在原有監(jiān)測(cè)系統(tǒng)其他功能模塊邏輯不改變的情況下，該文的優(yōu)化方案使CPU占用率、內(nèi)存占用和總數(shù)據(jù)量都大幅減小。雖然數(shù)據(jù)服務(wù)中心沒有保存完整的原始數(shù)據(jù)，但對(duì)分層統(tǒng)計(jì)后的主要特征值進(jìn)行了永久保存，因此這是一個(gè)兼顧硬盤容量和數(shù)據(jù)可靠性的優(yōu)化方案。另外，在對(duì)系統(tǒng)進(jìn)行優(yōu)化的過程中，并未引進(jìn)新的硬件設(shè)備和復(fù)雜的算法，未明顯增加維護(hù)成本，達(dá)到了預(yù)期的設(shè)計(jì)目標(biāo)。