大壩可視化數(shù)據(jù)的存儲(chǔ)與管理

摘 要：針對(duì)大壩可視化處理中的監(jiān)測(cè)和分析數(shù)據(jù)量較大，用于觀測(cè)分析的成果、屬性以及圖形等數(shù)據(jù)之間的關(guān)系較為復(fù)雜的問題，提出了觀測(cè)大數(shù)據(jù)的存儲(chǔ)和管理模式，采用了測(cè)點(diǎn)時(shí)序索引表的數(shù)據(jù)管理方法，較好地解決了數(shù)據(jù)可視化檢索速度慢的問題，便于數(shù)據(jù)處理和繪圖所需的靈活存取，實(shí)現(xiàn)快速可視化。

關(guān)鍵詞：觀測(cè)數(shù)據(jù)；數(shù)據(jù)存儲(chǔ)； 數(shù)據(jù)管理

中圖分類號(hào)：TP311.13 文獻(xiàn)標(biāo)識(shí)碼：A

Abstract：Considering that the monitoring and analysis data of dam in visual processing is great，and the relationship between the results data in observation and analysis，attribute and graphic data is complicated，the mode in the large amount of observation storage data and management data is proposed.The data management method of sequential index table in observation points is used.The method resolves preferably the problem of searching in slow data retrieval.It is good for flexible and easy access to data processing and drawing required to achieve visualization rapidly.

Keywords：observation data；data storage；data management

1 引言（Introduction）

三十年來，國(guó)內(nèi)外就大壩觀測(cè)資料的分析已進(jìn)行了多方面的研究，大壩觀測(cè)資料分析產(chǎn)生的數(shù)據(jù)量巨大，雖然目前已有多種軟件投入運(yùn)行，但現(xiàn)存的大壩分析軟件在實(shí)際工程計(jì)算時(shí)，只能利用已知的幾個(gè)控制層參數(shù)，而不能得出大壩在任意部位處相應(yīng)的分析數(shù)據(jù)；同時(shí)在分析過程中的計(jì)算機(jī)圖形處理技術(shù)主要針對(duì)二維數(shù)據(jù)的可視化分析，而所有數(shù)據(jù)的可視化分析大多數(shù)是以二維圖形效果展示，缺乏立體、直觀效果[1]。

大壩應(yīng)力成果分析數(shù)據(jù)、儀器所測(cè)得的監(jiān)測(cè)數(shù)據(jù)量非常龐大，應(yīng)力成果、屬性和圖形數(shù)據(jù)之間的關(guān)系比較復(fù)雜。采取何種數(shù)據(jù)結(jié)構(gòu)，實(shí)現(xiàn)對(duì)數(shù)據(jù)一致的存儲(chǔ)管理，方便數(shù)據(jù)檢索和可視化需要進(jìn)行靈活存取，實(shí)現(xiàn)其三維可視化表達(dá)，是對(duì)大壩應(yīng)力成果可視化檢索、測(cè)量數(shù)據(jù)處理可視化的最為關(guān)鍵的環(huán)節(jié)，本文就大壩數(shù)據(jù)可視化研究課題的數(shù)據(jù)存儲(chǔ)管理做一探討。

2 大壩觀測(cè)數(shù)據(jù)存儲(chǔ)和管理（Dams observationdata storage and management）

大壩應(yīng)力分析和觀測(cè)數(shù)據(jù)是一個(gè)動(dòng)態(tài)的數(shù)據(jù)，而且信息量非常龐大，甚至是海量數(shù)據(jù)，有關(guān)大壩數(shù)據(jù)可視化中的信息不僅僅是由數(shù)字、文字組成的，同時(shí)還有一系列的圖表等非文字性質(zhì)的數(shù)據(jù)。大壩的分析成果和監(jiān)測(cè)到的數(shù)據(jù)一般具有較為穩(wěn)定和動(dòng)態(tài)更新兩種情況，一般工程的特征信息、樞紐信息、觀測(cè)設(shè)備的坐標(biāo)、屬性等資料不會(huì)經(jīng)常變動(dòng)，是屬于較為穩(wěn)定的數(shù)據(jù)；而應(yīng)力的監(jiān)測(cè)數(shù)據(jù)、位移監(jiān)測(cè)數(shù)據(jù)和分析的成果數(shù)據(jù)等是動(dòng)態(tài)變化更新的。對(duì)較為穩(wěn)定的數(shù)據(jù)，因數(shù)據(jù)容量不大，系統(tǒng)處理中較為常定，以存放在穩(wěn)定表中處理；而對(duì)觀測(cè)和分析到的數(shù)據(jù)則是存儲(chǔ)容量大，檢索頻率高，而且速度較慢，所以對(duì)這部分的數(shù)據(jù)如何存儲(chǔ)和管理，直接影響到系統(tǒng)可視化檢索的性能。

2.1 大壩數(shù)據(jù)存儲(chǔ)方式

由于大壩有限元分析的工況節(jié)點(diǎn)數(shù)據(jù)非常多，一個(gè)工況的節(jié)點(diǎn)數(shù)據(jù)就達(dá)到20000多個(gè)，而分析的工況數(shù)一般達(dá)到40多個(gè)，同時(shí)，大壩監(jiān)控的監(jiān)測(cè)項(xiàng)目類型多，需要用到各類監(jiān)測(cè)儀，一般大壩安置的儀器少則十幾種，多至幾十種，為了利于數(shù)據(jù)庫的管理和維護(hù)，有限元分析數(shù)據(jù)按工況種類分表存放，監(jiān)測(cè)數(shù)據(jù)按儀器類型分表存放。這樣，存放有限元應(yīng)力成果數(shù)據(jù)和監(jiān)測(cè)數(shù)據(jù)的基礎(chǔ)數(shù)據(jù)表就有工況表、工況節(jié)點(diǎn)表、儀器特征表、監(jiān)測(cè)值表等。

就課程研究的某大壩中布置了近200個(gè)監(jiān)測(cè)儀，大壩一年的監(jiān)測(cè)數(shù)據(jù)就有上萬條，隨著時(shí)間的推移，表中的數(shù)據(jù)將達(dá)到上千萬，從該類型表中檢索某些時(shí)間段和方位點(diǎn)的數(shù)據(jù)值，檢索速度是一個(gè)大問題。雖然當(dāng)前流行的數(shù)據(jù)庫管理平臺(tái)都提供快速檢索的索引功能，但不能滿足大壩監(jiān)控?cái)?shù)據(jù)的檢索速度和時(shí)間段檢索，為解決這個(gè)問題，本課程采用了下面解決方法。

（1）建立有效的索引機(jī)制。

（2）對(duì)表結(jié)構(gòu)進(jìn)行優(yōu)化管理。表設(shè)計(jì)的標(biāo)準(zhǔn)要求達(dá)到3NF，冗余度降。大壩觀測(cè)數(shù)據(jù)表由點(diǎn)名、時(shí)間、上下游水位和觀測(cè)值等屬性字段，其國(guó)點(diǎn)名和時(shí)間字段組合為主碼，以保持?jǐn)?shù)據(jù)完整性，工況節(jié)點(diǎn)表有12個(gè)字段：正應(yīng)力3個(gè)字段、剪應(yīng)力3個(gè)字段、位移3個(gè)字段、節(jié)點(diǎn)坐標(biāo)3個(gè)字段，以z和y軸字段作為主鍵。

（3）使用視圖。

2.2 數(shù)據(jù)管理方式

2.2.1 數(shù)據(jù)檢索

檢索數(shù)據(jù)可通過SQL和緩沖區(qū)快照兩種方式。使用SQL是順序檢索數(shù)據(jù)，而緩沖區(qū)快照則是在附加檢索條件下把數(shù)據(jù)表中全部或部分記錄映射到內(nèi)存區(qū)，緩沖區(qū)數(shù)據(jù)保持與原表數(shù)據(jù)完全一致的索引性質(zhì)。通過該快照數(shù)據(jù)既能進(jìn)行順序查詢，又能通過索引值定位檢索，讀取某些特殊數(shù)據(jù)。

2.2.2 數(shù)據(jù)操作

對(duì)數(shù)據(jù)庫的主要操作是數(shù)據(jù)錄入和查詢。大壩監(jiān)測(cè)數(shù)據(jù)通常是按采集時(shí)間先后順序存儲(chǔ)。在對(duì)大壩進(jìn)行數(shù)據(jù)分析時(shí)，需要對(duì)各測(cè)點(diǎn)和各時(shí)間段內(nèi)的觀測(cè)數(shù)據(jù)進(jìn)行不斷讀取，若通過緩沖區(qū)快照附加檢索條件，具有一定的靈活度，但分析效果較慢，檢索條件的改變將需頻繁連接數(shù)據(jù)庫，重新生成快照，緩沖區(qū)數(shù)據(jù)刷新率高，這對(duì)系統(tǒng)效率是一大打擊。為此可通過測(cè)點(diǎn)時(shí)序檢索表優(yōu)化數(shù)據(jù)結(jié)構(gòu)，以降低緩沖區(qū)快照的刷新頻率[2-5]。endprint

2.2.3 測(cè)點(diǎn)時(shí)序索引表

根據(jù)大壩對(duì)觀測(cè)數(shù)據(jù)的檢索是按測(cè)點(diǎn)和時(shí)間查詢的特點(diǎn)以及觀測(cè)數(shù)據(jù)的存儲(chǔ)特點(diǎn)，建立了測(cè)點(diǎn)時(shí)序索引表。測(cè)點(diǎn)時(shí)序索引表是按時(shí)間序列劃分原始觀測(cè)值表，從原始觀測(cè)值表中找到測(cè)點(diǎn)時(shí)序的邏輯行，存入測(cè)點(diǎn)時(shí)序索引表中。檢索時(shí)以測(cè)點(diǎn)時(shí)序索引表中的測(cè)點(diǎn)時(shí)序邏輯號(hào)作為索引值，在原始觀測(cè)表中定位數(shù)據(jù)段。索引表具有測(cè)點(diǎn)名、時(shí)序起點(diǎn)年和終點(diǎn)年、觀測(cè)點(diǎn)值在原表中的起始邏加行、觀測(cè)值記錄條數(shù)等屬性組成，其中以測(cè)點(diǎn)名和時(shí)序起點(diǎn)年作為主碼。

在檢索觀測(cè)值時(shí)，先用緩沖區(qū)快照方式生成全部觀測(cè)數(shù)據(jù)的全映射。根據(jù)緩沖區(qū)快照數(shù)據(jù)與原始表具有一致的順序規(guī)律，索引值對(duì)緩沖區(qū)的劃分也相同。檢索測(cè)點(diǎn)觀測(cè)數(shù)據(jù)時(shí)，先識(shí)別該數(shù)據(jù)的觀測(cè)時(shí)間在測(cè)點(diǎn)時(shí)序索引中所在的時(shí)序記錄；再?gòu)倪@些時(shí)序記錄中，查到該測(cè)點(diǎn)時(shí)序的原數(shù)據(jù)記錄行號(hào)和記錄條數(shù)；然后從緩沖快照區(qū)中相應(yīng)記錄段中讀出所需的數(shù)據(jù)，從而完成一次檢索。在這種檢索機(jī)制下，每次檢索不同的測(cè)點(diǎn)時(shí)序數(shù)據(jù)，只是改變一下索引值，就可以檢索到所需觀測(cè)數(shù)據(jù)，不需重新生成快照，而不需要不斷更新緩沖區(qū)快照。大大提高快照的使用率，優(yōu)化了系統(tǒng)整體性能。

為保證索引表的正確性和有效性，測(cè)點(diǎn)時(shí)序索引表與原始表應(yīng)保持同步更新管理。根據(jù)觀測(cè)數(shù)據(jù)的存儲(chǔ)是按時(shí)間次序采集入庫的，所以在有觀測(cè)點(diǎn)數(shù)據(jù)入庫時(shí)，需要先在索引中增加這一新時(shí)序觀測(cè)數(shù)據(jù)的索引記錄，然后根據(jù)增加的記錄數(shù)目，修改其后各索引記錄的起始行數(shù)值，以保證索引表各索引條目中記錄的原始數(shù)據(jù)起點(diǎn)位置的正確性；刪除原始觀測(cè)數(shù)據(jù)也用一樣的原理，先找到刪除數(shù)據(jù)在索引表中的索引記錄，若跨多條時(shí)序索引條目，則刪除前面的時(shí)序條目，修改最后一條索引條目記錄的起點(diǎn)行數(shù)值，否則只修改找到的第一條索引的起點(diǎn)行數(shù)值，然后同樣需修改后面各索引條目中記錄的起始行數(shù)值。

在原數(shù)據(jù)入庫有時(shí)間順序這一特征，索引的維護(hù)簡(jiǎn)單容易，能夠快速更新管理，可通過觸發(fā)器實(shí)現(xiàn)索引自動(dòng)維護(hù)更新。

3 數(shù)據(jù)入庫處理（ Data loading and processing）

儀器測(cè)得的數(shù)據(jù)和有限元分析數(shù)據(jù)，經(jīng)過前處理軟件進(jìn)行前處理之后，得到.txt類型文件和.out類型文件，根據(jù)系統(tǒng)數(shù)據(jù)的存儲(chǔ)特點(diǎn)，這些數(shù)據(jù)入庫存儲(chǔ)的表名按規(guī)定的格式命名，如：工況節(jié)點(diǎn)表數(shù)據(jù)的文件名格式：“y上游數(shù)據(jù)_下游數(shù)據(jù)”，若工況是上游24m，下游10m的節(jié)點(diǎn)數(shù)據(jù)表名為：y24_10；監(jiān)測(cè)數(shù)據(jù)以監(jiān)測(cè)儀類型規(guī)格命名。每個(gè)數(shù)據(jù)文件在入庫前都必須按照一定的格式記錄數(shù)據(jù)。工況節(jié)點(diǎn)數(shù)據(jù)和監(jiān)測(cè)數(shù)據(jù)有自動(dòng)入庫和手工入庫（即編輯）兩種方法。

主要數(shù)據(jù)的入庫方法是：

首先，用戶確定入庫數(shù)據(jù)的類型（應(yīng)力成果數(shù)據(jù)或觀測(cè)數(shù)據(jù)）、文件路徑和數(shù)據(jù)存儲(chǔ)名稱（工況表名或儀器類型規(guī)格）。

然后，系統(tǒng)在工況表或儀器特征表中搜索該數(shù)據(jù)資料：

（1）若未找到信息，則提示用戶繼續(xù)輸入完整資料，實(shí)現(xiàn)對(duì)工況表和監(jiān)測(cè)儀器特征表的數(shù)據(jù)的輸入，利用recordset對(duì)象的addnew方法和update方法實(shí)現(xiàn)，然后系統(tǒng)自動(dòng)生成新表，并把數(shù)據(jù)文件加載到庫表中（用BULK INSERT … FROM…WITH實(shí)現(xiàn)）。

（2）若找到信息，系統(tǒng)自動(dòng)識(shí)別數(shù)據(jù)文件記錄是否已經(jīng)存在，若不存在，則加載入庫。

4 結(jié)論（Conclusion）

本文就大壩可視化數(shù)據(jù)主要針對(duì)大壩應(yīng)力數(shù)據(jù)和觀測(cè)數(shù)據(jù)的特點(diǎn)，在數(shù)據(jù)庫存儲(chǔ)方式和管理技術(shù)方面進(jìn)行了詳細(xì)的研究和論述，根據(jù)大壩咨詢系統(tǒng)的需求，對(duì)數(shù)據(jù)庫表的分類管理、數(shù)據(jù)結(jié)構(gòu)以及數(shù)據(jù)的入庫方法提出了詳細(xì)的解決方法。并對(duì)大壩數(shù)據(jù)量大而造成訪問速度低、數(shù)據(jù)利用率低的現(xiàn)狀，提出了采用測(cè)點(diǎn)時(shí)序索引的數(shù)據(jù)管理方法，較好地解決了數(shù)據(jù)查詢速度慢的問題，有利于快速生成大壩數(shù)據(jù)可視化分析視圖。

參考文獻(xiàn)（References）

[1] 李曙光，劉天佑，楊波.基于OpenGL的綜合地球物理可視化及其應(yīng)用[J].工程地球物理學(xué)報(bào)，2008，5（2）：205-209.

[2] SHASHI S，著.謝昆青，等，譯.空間數(shù)據(jù)庫[M].北京：機(jī)械工業(yè)出版社，2004.

[3] 郭薇，郭箐，胡志勇.空間數(shù)據(jù)庫索引技術(shù)[M].上海：上海交通大學(xué)出版社，2006.

[4] 史文中，郭薇，彭奕彰.一種面向地理信息系統(tǒng)的空間索引方法[J].測(cè)繪學(xué)報(bào)，2001，30（2）：156-16.

[5] 史萬明，等.數(shù)據(jù)分析[M].北京：北京理工大學(xué)出版社，2002.

作者簡(jiǎn)介：

何小苑（1971-），女，碩士，副教授.研究領(lǐng)域：空間數(shù)據(jù)庫技術(shù)，空間索引技術(shù)，數(shù)據(jù)庫系統(tǒng).endprint