基于氣象數(shù)據(jù)收集分發(fā)系統(tǒng)的RDBMS設(shè)計(jì)分析

周永吉,黃 博，孟祥龍

（1.黑龍江省氣象數(shù)據(jù)中心，黑龍江 哈爾濱 150030；2.呼蘭區(qū)氣象局，黑龍江 哈爾濱 150500）

1 引言

氣象數(shù)據(jù)收集與分發(fā)系統(tǒng)簡(jiǎn)稱CTS，是全國(guó)氣象數(shù)據(jù)在傳輸與共享過(guò)程中的主體承載系統(tǒng)， 不但承擔(dān)從基層臺(tái)站到省級(jí)節(jié)點(diǎn)再到國(guó)家級(jí)節(jié)點(diǎn)的縱向通信業(yè)務(wù)，也承擔(dān)省際之間的數(shù)據(jù)傳輸共享業(yè)務(wù)，這使得其中衍生的氣象觀測(cè)數(shù)據(jù)及各尺度產(chǎn)品在量級(jí)上呈現(xiàn)指數(shù)倍增長(zhǎng)，對(duì)后臺(tái)數(shù)據(jù)庫(kù)的壓力與需求巨大，傳統(tǒng)的數(shù)據(jù)存儲(chǔ)管理技術(shù)力有不逮， 因此建立在RDBMS（關(guān)系數(shù)據(jù)庫(kù)管理系統(tǒng)）基礎(chǔ)上的合理設(shè)計(jì)顯得尤為重要[1]。 在數(shù)據(jù)庫(kù)整體設(shè)計(jì)上，對(duì)于收發(fā)信息、節(jié)目表、處理日志、用戶信息、管理信息、統(tǒng)計(jì)信息以及各種數(shù)據(jù)字典等，采用RDBMS 進(jìn)行存儲(chǔ)，RDBMS設(shè)計(jì)的好壞直接關(guān)系到系統(tǒng)執(zhí)行的效率和系統(tǒng)的穩(wěn)定性。 在軟件開(kāi)發(fā)過(guò)程中，數(shù)據(jù)庫(kù)設(shè)計(jì)應(yīng)遵循必要的數(shù)據(jù)庫(kù)范式理論，以確保數(shù)據(jù)的一致性與完整性，同時(shí)也要適當(dāng)增加冗余，達(dá)到以空間換時(shí)間的目的，提高數(shù)據(jù)庫(kù)的運(yùn)行效率。

2 RDBMS分布式管理

在數(shù)據(jù)收集分發(fā)系統(tǒng)數(shù)據(jù)庫(kù)的總體建設(shè)上引入了Oracle 關(guān)系數(shù)據(jù)庫(kù)技術(shù)， 關(guān)系型數(shù)據(jù)可以滿足氣象數(shù)據(jù)以及各類日志數(shù)據(jù)、 信息數(shù)據(jù)在子數(shù)據(jù)庫(kù)的結(jié)構(gòu)層面能夠保持清晰的邏輯關(guān)系， 同時(shí)在面向用戶的過(guò)程中又能完整呈現(xiàn)。 在前臺(tái)用戶的眼中，Oracle RDBMS 的存儲(chǔ)架構(gòu)是不可見(jiàn)的， 是一個(gè)整體，因此對(duì)于軟件層面的調(diào)度完全可以看做是對(duì)單一數(shù)據(jù)庫(kù)的操作， 而實(shí)際上后臺(tái)的多個(gè)子庫(kù)則在Oracle RDBMS 的合理設(shè)計(jì)下協(xié)調(diào)運(yùn)作，保證子庫(kù)間相對(duì)獨(dú)立安全的數(shù)據(jù)環(huán)境，從而可以做到邏輯嚴(yán)密、架構(gòu)清晰、協(xié)調(diào)統(tǒng)一、安全獨(dú)立。

3 設(shè)計(jì)原則與容量評(píng)估

針對(duì)氣象數(shù)據(jù)收集與分發(fā)系統(tǒng)， 考慮到氣象數(shù)據(jù)的特殊性，在RDBMS 設(shè)計(jì)中需要遵守如下幾條原則：

（1）在名稱設(shè)計(jì)上，數(shù)據(jù)庫(kù)、表、索引等命名要體現(xiàn)氣象要素的規(guī)范性， 從整體設(shè)計(jì)上制定統(tǒng)一規(guī)范,并沿用全國(guó)， 在面向各級(jí)分系統(tǒng)工程師的過(guò)程中要有對(duì)應(yīng)的詳細(xì)說(shuō)明，以滿足部署和運(yùn)維需求。 表名分為兩個(gè)部分，中間以下劃線分割。 第一個(gè)部分分四種類型，分別為 TB(業(yè)務(wù)表)、TW(監(jiān)控表)、TD(字典表)、TS(統(tǒng)計(jì)表)。 第二個(gè)部分對(duì)數(shù)據(jù)表的具體功能描述，功能分割用下劃線。索引的命名為IDX_表_字段縮寫(xiě)(字段 1，字段 2……)。

（2）在設(shè)計(jì)數(shù)據(jù)的過(guò)程中，應(yīng)當(dāng)分析選擇適用的設(shè)計(jì)工具。

（3）詳細(xì)調(diào)研分析業(yè)務(wù)特征，對(duì)數(shù)據(jù)庫(kù)進(jìn)行合理分區(qū)。 并進(jìn)行必要的表單拆分，預(yù)估出合理的表單調(diào)用頻率，拆分設(shè)計(jì)。 同時(shí)優(yōu)化索引算法[2]。

根據(jù)數(shù)據(jù)收集與分發(fā)系統(tǒng)的業(yè)務(wù)特點(diǎn)以及各種信息在數(shù)據(jù)庫(kù)中的存取頻度、存儲(chǔ)生命周期、數(shù)據(jù)的穩(wěn)定性等屬性， 同時(shí)也為了增強(qiáng)數(shù)據(jù)庫(kù)結(jié)構(gòu)的可讀性， 在設(shè)計(jì)過(guò)程中RDBMS 從邏輯上被分為4 個(gè)子庫(kù)，包括：收發(fā)業(yè)務(wù)子庫(kù)、配置與系統(tǒng)管理子庫(kù)、系統(tǒng)監(jiān)控子庫(kù)、統(tǒng)計(jì)分析子庫(kù)。

以收發(fā)業(yè)務(wù)子庫(kù)為例， 其容量估算主要是根據(jù)需求階段對(duì)進(jìn)入數(shù)據(jù)收集與分發(fā)系統(tǒng)的數(shù)據(jù)量的調(diào)研，國(guó)家級(jí)CTS 每天約有200 萬(wàn)個(gè)文件收發(fā)。將數(shù)據(jù)表中每個(gè)字段的長(zhǎng)度相加，得出每條記錄的大小。 通過(guò)記錄數(shù)和記錄大小的乘積， 算出每個(gè)數(shù)據(jù)庫(kù)表每天的存儲(chǔ)容量， 收發(fā)業(yè)務(wù)子庫(kù)每天產(chǎn)生基本數(shù)據(jù)55 G[3]。

同樣的算法加以沿用可以估算出配置與系統(tǒng)管理子庫(kù)產(chǎn)生基本數(shù)據(jù)為64 M， 系統(tǒng)監(jiān)控子庫(kù)每天產(chǎn)生基本數(shù)據(jù)9 G， 統(tǒng)計(jì)分析子庫(kù)每天產(chǎn)生基本數(shù)據(jù)883 M。

根據(jù)以上對(duì)四個(gè)邏輯存儲(chǔ)區(qū)域的容量估算匯總，平均每天增長(zhǎng)的容量約為64 G，為了保證數(shù)據(jù)管理的性能，每月清除一次數(shù)據(jù)，這樣數(shù)據(jù)庫(kù)的存儲(chǔ)容量為64G/d*30 d=1.9 T，按30%的冗余量，存儲(chǔ)容量約為2.5T[3-5]。

4 結(jié)論

綜上所述， 針對(duì)氣象數(shù)據(jù)尤其是海量的觀測(cè)數(shù)據(jù)以及數(shù)據(jù)產(chǎn)品，Oracle RDBMS 的存儲(chǔ)架構(gòu)可以有效解決邏輯管理和并發(fā)訪問(wèn)的業(yè)務(wù)需求， 在結(jié)構(gòu)設(shè)計(jì)和容量估算方面加以合理分析， 可以大大提高訪問(wèn)效率， 從而實(shí)現(xiàn)數(shù)據(jù)收集與分發(fā)業(yè)務(wù)系統(tǒng)的高效穩(wěn)定運(yùn)轉(zhuǎn)。