海南省數(shù)字海洋數(shù)據(jù)庫建設(shè)總結(jié)與探討

張金華，尹小磊，朱萬里

（1.海南省海洋監(jiān)測(cè)預(yù)報(bào)中心?？?570206；2.黃河勘測(cè)規(guī)劃設(shè)計(jì)有限公司鄭州 450008）

海南省數(shù)字海洋數(shù)據(jù)庫建設(shè)總結(jié)與探討

張金華1，尹小磊2，朱萬里1

（1.海南省海洋監(jiān)測(cè)預(yù)報(bào)中心海口 570206；2.黃河勘測(cè)規(guī)劃設(shè)計(jì)有限公司鄭州 450008）

2011年5月海南省“數(shù)字海洋”908-03項(xiàng)目通過了國(guó)家海洋局908項(xiàng)目辦組織的會(huì)議驗(yàn)收，整體工作有了一個(gè)階段性的完結(jié)。在國(guó)家908項(xiàng)目統(tǒng)一的信息標(biāo)準(zhǔn)規(guī)范下，海南省省級(jí)節(jié)點(diǎn)建設(shè)了一系列海洋相關(guān)數(shù)據(jù)庫，符合海洋信息基礎(chǔ)平臺(tái)建設(shè)要求，為海洋綜合管理與服務(wù)信息應(yīng)用系統(tǒng)的開發(fā)奠定了堅(jiān)實(shí)的數(shù)據(jù)基礎(chǔ)。本篇文章主要是以海洋環(huán)境基礎(chǔ)資料數(shù)據(jù)庫的建設(shè)作為示例，說明該省數(shù)據(jù)庫建設(shè)的經(jīng)驗(yàn)，并探討不足之處，以便改進(jìn)后續(xù)的工作。

數(shù)字海洋；908-03項(xiàng)目；海洋環(huán)境基礎(chǔ)資料數(shù)據(jù)庫

海南省“數(shù)字海洋”信息基礎(chǔ)框架建設(shè)是我國(guó)“數(shù)字海洋”工程建設(shè)的重要組成部分，通過“數(shù)字海洋”建設(shè)使該省的海洋信息化能力和水平適應(yīng)海洋事業(yè)發(fā)展的需要，與國(guó)內(nèi)相關(guān)行業(yè)領(lǐng)域的信息化建設(shè)相接軌，為該省海洋行政管理事業(yè)服務(wù)。海南省“數(shù)字海洋”建設(shè)始終以保護(hù)海洋環(huán)境、提高海洋管理水平、促進(jìn)海洋經(jīng)濟(jì)發(fā)展為目標(biāo)，緊緊圍繞海域使用管理、海洋防災(zāi)減災(zāi)和海洋環(huán)境保護(hù)等業(yè)務(wù)工作開展實(shí)施。在數(shù)據(jù)庫建設(shè)方面相繼建設(shè)了基礎(chǔ)地理信息庫、海洋環(huán)境基礎(chǔ)資料數(shù)據(jù)庫、專題信息庫等各有特色的數(shù)據(jù)庫系統(tǒng)。其中，海洋環(huán)境基礎(chǔ)資料數(shù)據(jù)庫建設(shè)是任務(wù)最重、規(guī)模最大，也相對(duì)復(fù)雜的數(shù)據(jù)庫系統(tǒng)，因此主要對(duì)其進(jìn)行探討研究。該數(shù)據(jù)庫包括海洋水文、海洋氣象、海洋物理、海洋化學(xué)、海洋生物生態(tài)、海洋底質(zhì)、懸浮體、海洋地球物理、海洋地形地貌9個(gè)方面的內(nèi)容，形成了一個(gè)涵蓋眾多海洋相關(guān)調(diào)查資料的數(shù)據(jù)系統(tǒng)，為后續(xù)的應(yīng)用程序開發(fā)、數(shù)據(jù)查詢、分析提供基礎(chǔ)數(shù)據(jù)平臺(tái)。

1 數(shù)據(jù)庫建設(shè)過程

海洋環(huán)境基礎(chǔ)資料數(shù)據(jù)庫的建設(shè)主要包括建空庫、數(shù)據(jù)審核整理、數(shù)據(jù)錄入3個(gè)方面的工作。詳細(xì)流程如圖1所示。

圖1 海洋環(huán)境基礎(chǔ)資料數(shù)據(jù)庫建設(shè)流程圖

1.1 檢查數(shù)據(jù)庫模型

首先在服務(wù)器上安裝好oracle數(shù)據(jù)庫管理系統(tǒng)[1]，以國(guó)家下發(fā)的物理數(shù)據(jù)模型PDM[2]為基礎(chǔ)進(jìn)行建庫，并以國(guó)家下發(fā)的建庫標(biāo)準(zhǔn)和相關(guān)技術(shù)方案作為這一模型檢查的依據(jù)。雖然物理數(shù)據(jù)模型是嚴(yán)格按照建庫標(biāo)準(zhǔn)和相關(guān)技術(shù)方案建立的，但是在對(duì)整個(gè)模型進(jìn)行檢查的過程中仍發(fā)現(xiàn)存在些許錯(cuò)誤，并進(jìn)行最后改正，同時(shí)通過檢查也更進(jìn)一步了解整個(gè)數(shù)據(jù)庫模型。其中物理數(shù)據(jù)模型PDM（Physical Data Model）是由Powerdesigner軟件建立的數(shù)據(jù)庫物理實(shí)現(xiàn)模型，包括軟件和數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)，其對(duì)象主要有：表（Table）、表中的列（Table column）、主碼和外碼（Primary key and Foreign key），參照（Reference）、索引（Index）、視圖（View）等。它用圖形的形式表示數(shù)據(jù)的物理組織，并生成數(shù)據(jù)庫的創(chuàng)建和修改腳本，定義完整性觸發(fā)器和約束，生成擴(kuò)展屬性，使得數(shù)據(jù)在數(shù)據(jù)庫中能夠保持完整性和一致性[3]。通過Powerdesigner軟件，把改正后的PDM物理數(shù)據(jù)模型轉(zhuǎn)化成SQL數(shù)據(jù)庫腳本文件。以海洋環(huán)境基礎(chǔ)資料數(shù)據(jù)庫中的生物數(shù)據(jù)PDM模型為例，如圖2所示，主要表示出各個(gè)數(shù)據(jù)表之間的關(guān)系。其中1∶n表示的一對(duì)多的關(guān)系，一個(gè)生物采樣航次信息對(duì)應(yīng)多個(gè)站位，同時(shí)一個(gè)站位又采集多種類別水樣等原始資料，通過試驗(yàn)得到浮游動(dòng)物和葉綠素等多種類別信息數(shù)據(jù)，而一個(gè)采樣信息，如微生物采樣信息又分別對(duì)應(yīng)一個(gè)測(cè)定信息和一個(gè)鑒定信息，當(dāng)然有的只有其中的一項(xiàng)。

圖2 數(shù)據(jù)表結(jié)構(gòu)示例圖

1.2 建設(shè)空庫

通過已安裝好的oracle數(shù)據(jù)庫管理軟件，運(yùn)行生成的SQL腳本，生成各個(gè)表及相關(guān)的約束條件等，建設(shè)空庫。利用oracle數(shù)據(jù)庫管理系統(tǒng)，對(duì)建立的數(shù)據(jù)庫系統(tǒng)進(jìn)行檢查，查看表格完整性、約束完整性、表格字段及相關(guān)屬性信息，達(dá)到完全符合國(guó)家此項(xiàng)目的建庫要求。

1.3 數(shù)據(jù)分析

由于收集到的數(shù)據(jù)格式不能直接導(dǎo)入數(shù)據(jù)庫，要對(duì)數(shù)據(jù)進(jìn)行審核，數(shù)據(jù)文件類型有txt和excel兩種形式。格式上總體結(jié)構(gòu)按照國(guó)家的標(biāo)準(zhǔn)執(zhí)行，但是具體要求則完全沒有按照標(biāo)準(zhǔn)。由于國(guó)家規(guī)定的標(biāo)準(zhǔn)數(shù)據(jù)格式經(jīng)過一次大的改動(dòng)，所以一些收集的數(shù)據(jù)是按照舊的格式要求處理的數(shù)據(jù)，收集的數(shù)據(jù)無法直接利用國(guó)家下發(fā)的數(shù)據(jù)導(dǎo)入軟件導(dǎo)入。因此要對(duì)數(shù)據(jù)進(jìn)行整理，采用了兩種方法處理：第一，把數(shù)據(jù)加工成國(guó)家軟件要求的格式；第二，把數(shù)據(jù)加工成自己規(guī)定的數(shù)據(jù)格式。

1.4 數(shù)據(jù)錄入

將數(shù)據(jù)加工成國(guó)家下發(fā)錄入軟件要求格式的數(shù)據(jù)，可以直接利用此軟件錄入；加工成自定義數(shù)據(jù)格式，通過計(jì)算機(jī)和人工處理生成與數(shù)據(jù)庫表相對(duì)應(yīng)的文本文件，使用SQLLoader編寫代碼有很強(qiáng)的靈活性，正好適合現(xiàn)有數(shù)據(jù)格式多樣[6]的特點(diǎn)，因此采用SQLLoader自由格式數(shù)據(jù)的裝載[4]方式，編寫代碼導(dǎo)入文本文件數(shù)據(jù)。SQLLoader是Oracle提供的一個(gè)將外部文本文件的數(shù)據(jù)裝載到表中的工具，該工具可以在一個(gè)裝載會(huì)話中將數(shù)據(jù)裝載到多張表中，也可以從多個(gè)文件中讀取數(shù)據(jù)，并且可以有選擇地裝載數(shù)據(jù)[4]。同時(shí)SQLLoader在裝載數(shù)據(jù)時(shí)會(huì)形成輸出文件，包括日志文件、壞文件和丟棄文件，從中我們可以清楚地查看數(shù)據(jù)的錄入情況，對(duì)不能錄入的數(shù)據(jù)查找錯(cuò)誤，修改后重新裝載，避免了數(shù)據(jù)的丟失。生物微生物采樣數(shù)據(jù)錄入部分代碼如下：

OPTIONS（ERRORS=-1）

LOAD DATA

INFILE'C：shengwuweishengwushuju.txt'

INTO TABLE shengwuweishengwutable APPEND

TRAILING NULLCOLS

（

字段1 TERMINATED BY"，"，

字段2 TERMINATED BY"，"，

字段3 TERMINATED BY"，"，

...

字段4 TERMINATED BY"，"）

2 海洋環(huán)境基礎(chǔ)資料數(shù)據(jù)庫建設(shè)探討

探討了國(guó)家數(shù)據(jù)庫模型建設(shè)的依據(jù)和方法，以及在錄入數(shù)據(jù)時(shí)的經(jīng)驗(yàn)和不足。

2.1 數(shù)據(jù)庫模型建設(shè)依據(jù)探討

國(guó)家數(shù)據(jù)庫建設(shè)模型主要是依據(jù)《海洋數(shù)據(jù)應(yīng)用記錄格式》GB/T12460-2006[5]國(guó)家標(biāo)準(zhǔn)建立。仍以生物為例，其包括初級(jí)生產(chǎn)力、葉綠素、微生物等多個(gè)類別的采樣信息、測(cè)定信息、鑒定信息等。在國(guó)標(biāo)中對(duì)于生物的每一類信息都分別有一個(gè)航次站位信息表，一個(gè)測(cè)定數(shù)據(jù)表和一個(gè)說明記錄表，但是在實(shí)際情況中一個(gè)航次不可能只做一個(gè)類別的采樣，比如只做微生物或初級(jí)生產(chǎn)力采樣，更多的情況是多個(gè)類別在一個(gè)航次一起采樣，這種情況下航次站位表對(duì)于這幾個(gè)類別就會(huì)基本相同，因此為避免數(shù)據(jù)冗余，國(guó)家數(shù)據(jù)庫建模專家采用了把生物各個(gè)類別的航次站位表抽取其中共同的字段建立了航次表和站位表兩個(gè)表，同時(shí)根據(jù)各個(gè)類別采樣的特殊性結(jié)合測(cè)定數(shù)據(jù)表建立各個(gè)類別采樣信息表，再根據(jù)測(cè)定數(shù)據(jù)表建立了測(cè)定信息表，一些類別再加一個(gè)鑒定信息表。最后抽象成了多個(gè)生物類別共有一個(gè)航次信息表和一個(gè)站位表，有自己的采樣信息表和測(cè)定信息表及鑒定信息表，如圖2，其中箭頭是外鍵表指向主鍵表。這種處理方式雖然避免了數(shù)據(jù)冗余，在數(shù)據(jù)庫建模上是最好的一種方式，能夠使整個(gè)數(shù)據(jù)入庫后形成一個(gè)相互聯(lián)系的整體，有助于后續(xù)的應(yīng)用開發(fā)，但是在約束完整性上提出了更高的要求，數(shù)據(jù)的格式更加復(fù)雜，對(duì)數(shù)據(jù)錄入也提出了更高的要求。

2.2 數(shù)據(jù)庫主外鍵設(shè)計(jì)探討

雖然有了圖2中的一種關(guān)系，但是如何在數(shù)據(jù)庫中體現(xiàn)這種關(guān)系，把不在一個(gè)數(shù)據(jù)表中但在一個(gè)航次中的數(shù)據(jù)組成一個(gè)整體，方便查詢、修改等操作，這就引入了數(shù)據(jù)庫中一個(gè)非常重要的概念主外鍵[2]，而在數(shù)據(jù)庫模型中很難且沒有必要用有實(shí)際意義的字段設(shè)置為主外鍵來完成約束完整性，所以專家在建模時(shí)采用了加一個(gè)沒有實(shí)際意義的虛字段作為主外鍵字段，目的就是完整性約束，達(dá)到目的。如圖3中PKEY字段和FKEY字段，分別是該表的主鍵字段和外鍵字段。另外主鍵字段也作為首鍵字段，類型是NUMBER，同時(shí)也作為索引字段，可以大副提高數(shù)據(jù)的查詢效率。

2.3 數(shù)據(jù)錄入探討

一部分?jǐn)?shù)據(jù)是國(guó)家下發(fā)的軟件完成入庫的，但是國(guó)家下發(fā)的軟件格式要求苛刻，把數(shù)據(jù)加工成符合國(guó)家軟件的要求再錄入費(fèi)時(shí)長(zhǎng)，效率低，所以對(duì)數(shù)據(jù)進(jìn)行了另外的格式處理，用SQLloader編寫代碼導(dǎo)入數(shù)據(jù)，不斷完善數(shù)據(jù)錄入代碼，方便及時(shí)地錄入數(shù)據(jù)。但是這也存在一定的問題，就是匯交上的數(shù)據(jù)呈多源性、多態(tài)性和多樣性特點(diǎn)[7]，整理數(shù)據(jù)很難有一種統(tǒng)一的模式，在自動(dòng)化處理方面很難實(shí)現(xiàn)。同時(shí)無論是國(guó)家下發(fā)軟件錄入，還是編寫代碼錄入，都要進(jìn)行數(shù)據(jù)整理，數(shù)據(jù)重復(fù)加工必然有數(shù)據(jù)丟失的問題。

圖3 約束完整性示例圖

3 總結(jié)與展望

各項(xiàng)數(shù)據(jù)庫已經(jīng)建立完成，部分?jǐn)?shù)據(jù)已經(jīng)錄入，但是整個(gè)“數(shù)字海洋”系統(tǒng)是一個(gè)要長(zhǎng)期運(yùn)行的系統(tǒng)，后續(xù)數(shù)據(jù)的收集入庫將是一個(gè)非常重要的工作，如何使數(shù)據(jù)準(zhǔn)確、格式明確、數(shù)據(jù)錄入方便是整個(gè)系統(tǒng)豐富充實(shí)的前提。對(duì)于整個(gè)系統(tǒng)，數(shù)據(jù)是基礎(chǔ)，應(yīng)用是目標(biāo)。第一，在數(shù)據(jù)上應(yīng)該理清以下工作思路，首先是明確數(shù)據(jù)來源：哪些數(shù)據(jù)是一次性的數(shù)據(jù)，哪些是定期數(shù)據(jù)，找到數(shù)據(jù)來源，理順數(shù)據(jù)提交制度；其次是規(guī)范數(shù)據(jù)格式，與數(shù)據(jù)制作單位溝通好確定一種合理的數(shù)據(jù)格式，一方以此制作數(shù)據(jù)，一方以此驗(yàn)收，避免多方加工數(shù)據(jù)造成數(shù)據(jù)丟失和扭曲；最后是數(shù)據(jù)錄入，這一項(xiàng)與前兩項(xiàng)環(huán)環(huán)相扣，做到數(shù)據(jù)及時(shí)有效錄入。第二，明確數(shù)據(jù)的開發(fā)應(yīng)用方向，首先清晰認(rèn)識(shí)數(shù)據(jù)的性質(zhì)，做到定期更新的數(shù)據(jù)動(dòng)態(tài)應(yīng)用，一次性的數(shù)據(jù)得到合理展示；其次明確服務(wù)對(duì)象，加深對(duì)服務(wù)對(duì)象需求的分析，同時(shí)清楚數(shù)據(jù)的功能，做到對(duì)服務(wù)對(duì)象確實(shí)起到服務(wù)作用；第三，開發(fā)海南特色，以有利于自身和相關(guān)應(yīng)用部門的工作開展為目標(biāo)，開發(fā)實(shí)用的應(yīng)用系統(tǒng)。海南省節(jié)點(diǎn)系統(tǒng)是一個(gè)數(shù)據(jù)不斷充實(shí)、功能不斷完善、新功能逐步添加、在很長(zhǎng)一段時(shí)間內(nèi)動(dòng)態(tài)改進(jìn)的系統(tǒng)。主要以海洋環(huán)境基礎(chǔ)資料數(shù)據(jù)庫為例，論述了海南省“數(shù)字海洋”節(jié)點(diǎn)數(shù)據(jù)庫建設(shè)的過程和對(duì)一些問題的解決方法，因知識(shí)有限，可能所采用的方法不是最好的，一些地方的處理有不適當(dāng)?shù)那闆r，望批評(píng)指正。

[1]路川，胡欣杰.oracle 10g寶典[M].北京：電子工業(yè)出版社，2008.

[2]趙韶平，徐茂生，周勇華，等.PowerDesigenr系統(tǒng)分析與建模[M].北京：清華大學(xué)出版社，2010.

[3]劉紅玉，杜清運(yùn)，蔡忠亮.基于PowerDesigner的空間數(shù)據(jù)庫建庫技術(shù)[J].測(cè)繪信息與工程，2001，32（3）：24-26.

[4]張巖，趙霽.Oracle中數(shù)據(jù)裝載與數(shù)據(jù)重組的研究[J].計(jì)算機(jī)應(yīng)用，2004，24（4）：185-187.

[5]GB/T 12460-2006.海洋數(shù)據(jù)應(yīng)用記錄格式[S].北京：中國(guó)標(biāo)準(zhǔn)出版社，2006.

[6]薛惠芬，張義鈞.海洋資料基礎(chǔ)數(shù)據(jù)庫模式設(shè)計(jì)技術(shù)[J].海洋信息，2003（2）：1-4.

[7]張峰，石綏祥，殷汝廣，等.數(shù)字海洋中數(shù)據(jù)體系結(jié)構(gòu)研究[J].海洋通報(bào)，2009，28（4）：1-8.

2011-10-24