海洋地球物理數(shù)據(jù)庫設(shè)計與實現(xiàn)

崔愛菊, 王建村, 蘇天赟

(1.國家海洋局 第一海洋研究所, 山東 青島 266061; 2.國家深?；毓芾碇行? 山東 青島 266061)

近幾十年來, 國家有關(guān)部門投入了大量的人力、物力和財力, 在中國海域和鄰近大洋地區(qū)相繼開展了多次大規(guī)模的海洋地球物理調(diào)查工作, 獲得了大量珍貴的基礎(chǔ)資料。但是, 海洋地球物理數(shù)據(jù)與其他海洋專業(yè)數(shù)據(jù)相比, 有著數(shù)據(jù)類型繁多、格式復(fù)雜和數(shù)據(jù)量大等特點, 為海洋地球物理數(shù)據(jù)的有效管理和共享提出了挑戰(zhàn)。經(jīng)過長期的探索與實踐, 許多海洋地學(xué)數(shù)據(jù)庫和數(shù)據(jù)中心已經(jīng)建立, 并且為海洋科研和工作人員提供便捷、高效的數(shù)據(jù)共享服務(wù), 如美國NGDC的Marine Geology & Geophysics數(shù)據(jù)庫、英國斯科特極地研究所的極地與冰川數(shù)據(jù)庫等。

目前, 已建成或正在建設(shè)的海洋科學(xué)數(shù)據(jù)庫主要是基于業(yè)務(wù)信息(如項目、航次等)對海洋專業(yè)要素進(jìn)行組織和管理, 而專業(yè)要素的空間特征則作為屬性信息分別存儲在各個相關(guān)的數(shù)據(jù)表中, 強(qiáng)調(diào)數(shù)據(jù)的最小冗余度和最大一致性約束, 并沒有建立空間索引機(jī)制。這種數(shù)據(jù)庫雖然能夠滿足基于屬性信息的海洋專業(yè)要素查詢和共享的應(yīng)用需求, 但是當(dāng)基于空間特征對海洋綜合信息進(jìn)行空間檢索、分析和可視化表達(dá)等功能時, 系統(tǒng)效率會明顯降低, 甚至無法滿足應(yīng)用需求?？臻g數(shù)據(jù)倉庫能夠?qū)崿F(xiàn)對分散的、各自獨立的包含空間信息的數(shù)據(jù)集進(jìn)行統(tǒng)一集成和管理, 形成統(tǒng)一空間標(biāo)準(zhǔn)(如坐標(biāo)系統(tǒng)、投影方式、比例尺等)和空間索引機(jī)制, 支持面向主題的大數(shù)據(jù)量的空間分析和空間數(shù)據(jù)挖掘等操作[1-2]。經(jīng)過10多年的發(fā)展, 空間數(shù)據(jù)倉庫的相關(guān)理論和技術(shù)得到了蓬勃的發(fā)展, 并且已經(jīng)出現(xiàn)了一些成熟的空間數(shù)據(jù)倉庫產(chǎn)品, 如美國 ESRI公司的 ArcSDE、美國MapINFO公司的 SpatialWare、美國 Microsoft公司的 TerraServer等, 從而促使空間數(shù)據(jù)倉庫在眾多領(lǐng)域展開研究、示范和實質(zhì)性應(yīng)用[3-11]。

本文面向海洋地球物理數(shù)據(jù)管理和共享的應(yīng)用需求, 對海洋地球物理數(shù)據(jù)庫進(jìn)行設(shè)計, 開發(fā)和實現(xiàn)了適合于海洋科學(xué)研究和海洋資源勘探開發(fā)等工作的海洋地球物理綜合數(shù)據(jù)庫系統(tǒng)。

1 海洋地球物理數(shù)據(jù)

根據(jù)調(diào)查方法, 海洋地球物理數(shù)據(jù)可以劃分為導(dǎo)航定位、水深探測、側(cè)掃聲吶探測、淺地層剖面探測、海洋地震勘探(單道、多道或OBS)、海洋重力探測、海洋磁力探測、海底熱流探測等數(shù)據(jù)。另外, 根據(jù)調(diào)查和研究階段的不同, 海洋地球物理數(shù)據(jù)又可以劃分為原始數(shù)據(jù)(Raw Data)和二次數(shù)據(jù)(Secondary Data)。具體內(nèi)容及類型如圖1所示。

2 海洋地球物理數(shù)據(jù)庫設(shè)計

2.1 數(shù)據(jù)庫總體設(shè)計

海洋地球物理數(shù)據(jù)庫主要包括3部分: 元數(shù)據(jù)庫、基礎(chǔ)數(shù)據(jù)庫和空間數(shù)據(jù)倉庫。元數(shù)據(jù)管理是構(gòu)建、管理、維護(hù)和使用數(shù)據(jù)庫和數(shù)據(jù)倉庫的核心部件[2], 元數(shù)據(jù)庫主要對基礎(chǔ)數(shù)據(jù)庫和空間數(shù)據(jù)倉庫中的數(shù)據(jù)進(jìn)行描述和管理, 便于系統(tǒng)對數(shù)據(jù)的檢索和獲取; 基礎(chǔ)數(shù)據(jù)庫主要存儲和管理海洋地球物理調(diào)查與研究過程中獲得的基礎(chǔ)數(shù)據(jù)和產(chǎn)品; 空間數(shù)據(jù)倉庫主要根據(jù)一定的應(yīng)用主題, 從基礎(chǔ)數(shù)據(jù)庫中進(jìn)行數(shù)據(jù)提取、清洗和再組織, 基于空間特征對各專業(yè)數(shù)據(jù)要素進(jìn)行管理, 為面向網(wǎng)絡(luò)的空間信息提取和表達(dá)提供必要的支持。

圖1 海洋地球物理數(shù)據(jù)分類Fig.1 The classification of marine geophysical data

2.2 元數(shù)據(jù)庫設(shè)計

海洋地球物理元數(shù)據(jù)需要對數(shù)據(jù)庫的內(nèi)容、質(zhì)量、條件和其他特征進(jìn)行描述和說明, 從而幫助用戶有效地定位、評價、比較、獲取和使用其綜合數(shù)據(jù)。目前我國海洋領(lǐng)域不同學(xué)科或項目為了滿足特定應(yīng)用需求都制定了自己的元數(shù)據(jù)標(biāo)準(zhǔn)。為了確保系統(tǒng)的兼容性, 主要依據(jù)現(xiàn)有成熟的國際海洋元數(shù)據(jù)標(biāo)準(zhǔn)(如 FGDC[12]、Dublin Core 等), 同時參考了我國“海洋信息元數(shù)據(jù)標(biāo)準(zhǔn)”, 對元數(shù)據(jù)的核心要素進(jìn)行了確定。設(shè)計并制定適合于海洋地球物理數(shù)據(jù)庫的元數(shù)據(jù)標(biāo)準(zhǔn)體系, 對基礎(chǔ)數(shù)據(jù)庫和空間數(shù)據(jù)庫中的數(shù)據(jù)集進(jìn)行描述和管理。

2.3 基礎(chǔ)數(shù)據(jù)庫設(shè)計

海洋地球物理基礎(chǔ)數(shù)據(jù)庫主要以調(diào)查任務(wù)(項目)為紐帶, 以調(diào)查專業(yè)和方法為類別, 參考國內(nèi)外海洋地質(zhì)環(huán)境數(shù)據(jù)庫標(biāo)準(zhǔn)和規(guī)范, 對海洋地球物理基礎(chǔ)數(shù)據(jù)庫結(jié)構(gòu)進(jìn)行設(shè)計。建模語言采用基于面向?qū)ο蠹夹g(shù)的UML(Unified Modeling Language), 統(tǒng)一了面向?qū)ο蠼５幕靖拍?、術(shù)語及其圖形符號, 可以方便地分析和描述對象之間的各種關(guān)系(圖2)。

2.3.1 全局分類

對工作流程以及數(shù)據(jù)內(nèi)容進(jìn)行整理和分析, 首先從全局上對數(shù)據(jù)對象進(jìn)行抽象和分類。海洋地球物理數(shù)據(jù)總體上可以劃分為基礎(chǔ)信息、專業(yè)信息以及文檔資料三類。其中, 基礎(chǔ)信息包括項目、調(diào)查航次、站位、測線等信息, 這些信息是專業(yè)信息的基礎(chǔ),也是元數(shù)據(jù)的重要組成部分; 專業(yè)信息包括: 水深測量、海底地貌探測、淺地層剖面勘測、單道或多道地震勘探、重力場和磁力場調(diào)查等數(shù)據(jù); 文檔資料主要包括項目合同、實施方案、航次計劃、航次報告、航海日志、資料處理報告、研究報告、驗收報告以及相關(guān)圖件等。

2.3.2 逐步細(xì)化

根據(jù)全局分類的結(jié)果, 針對每一類局部的數(shù)據(jù)對象進(jìn)行逐步細(xì)化, 確定數(shù)據(jù)對象的屬性和相互之間的關(guān)系, 并向數(shù)據(jù)庫管理系統(tǒng)所支持的關(guān)系模式(即數(shù)據(jù)庫關(guān)系表)進(jìn)行映射, 確定關(guān)系模式的屬性和碼, 用于數(shù)據(jù)庫的創(chuàng)建工作。數(shù)據(jù)對象向數(shù)據(jù)庫關(guān)系表的映射應(yīng)注意以下問題: (1)每一個對象類映射為一個關(guān)系模式, 即數(shù)據(jù)庫中的關(guān)系表(Table), 實體的屬性就是關(guān)系表的屬性字段(Field), 實體的碼就是關(guān)系表的關(guān)鍵字; (2)聯(lián)系集(一對一、一對多以及多對多)的映射可以映射為一個表[13], 也可以在對象類表間定義相應(yīng)的外鍵進(jìn)行關(guān)聯(lián); (3)當(dāng)數(shù)據(jù)實體之間是繼承(分為父類和子類)的關(guān)系時, 可以對父類、子類分別映射表, 也可以不定義父類表而讓子類表擁有父類屬性, 反之, 也可以不定義子類表而讓父類表擁有全部子類屬性; (4)對映射后的庫表進(jìn)行冗余控制調(diào)整, 使其達(dá)到合理的關(guān)系范式。設(shè)計后的數(shù)據(jù)庫結(jié)構(gòu)如圖2所示。

2.4 空間數(shù)據(jù)倉庫設(shè)計

海洋地球物理數(shù)據(jù)中包含大量的空間信息, 這些空間信息對于數(shù)據(jù)的空間統(tǒng)計分析和可視化表達(dá)具有重要的應(yīng)用價值?？臻g目標(biāo)除了具有最基本的空間坐標(biāo)位置(x,y)信息之外, 還具有與之相關(guān)的屬性信息, 同時空間目標(biāo)之間還具有特殊的空間關(guān)系——空間拓?fù)潢P(guān)系。為了滿足對海洋地球物理空間數(shù)據(jù)進(jìn)行分析和可視化表達(dá)的應(yīng)用需求, 需要基于空間特征對空間目標(biāo)進(jìn)行設(shè)計、組織和管理, 進(jìn)一步對空間目標(biāo)之間的拓?fù)潢P(guān)系進(jìn)行定義, 創(chuàng)建合理的空間索引機(jī)制。在實現(xiàn)空間數(shù)據(jù)存儲和管理的同時, 為空間分析和可視化表達(dá)等應(yīng)用提供高效的空間數(shù)據(jù)支持。

圖2 邏輯結(jié)構(gòu)圖(基礎(chǔ)數(shù)據(jù)表)Fig.2 Logic structure diagram (Basic data table)

2.4.1 空間數(shù)據(jù)引擎

本文主要利用了數(shù)據(jù)庫管理系統(tǒng) ORACLE和ESRI公司開發(fā)的空間數(shù)據(jù)引擎 ArcSDE, 為海洋地球物理空間數(shù)據(jù)倉庫提供空間數(shù)據(jù)存儲、查詢與管理解決方案, 保障了數(shù)據(jù)庫具有較高的存儲效率和完整性。其中, ORACLE負(fù)責(zé)在關(guān)系表中存儲數(shù)據(jù),ArcSDE則為前端的GIS應(yīng)用服務(wù)器解釋數(shù)據(jù)庫表中的數(shù)據(jù)。

2.4.2 空間數(shù)據(jù)存儲結(jié)構(gòu)

海洋地球物理空間數(shù)據(jù)倉庫在設(shè)計上, 主要依照 ArcSDE提供的空間數(shù)據(jù)管理的技術(shù)方案[14], 通過矢量和柵格兩種數(shù)據(jù)結(jié)構(gòu)來實現(xiàn)空間數(shù)據(jù)的管理和表達(dá)?；跂鸥竦目臻g模型主要用來表達(dá)分布連續(xù)的空間對象, 把空間看作像元的劃分, 像元的大小表示空間對象的分辨率, 每個像元的值都與所包含的空間對象的一個屬性記錄有關(guān), 如水深、重力場值等; 基于矢量的空間模型主要用來表示離散的空間要素個體, 由點、線和面來描述空間要素, 有一個或多個(x,y)坐標(biāo)來表示, 可以較好地表達(dá)空間要素之間的拓?fù)潢P(guān)系。

2.4.2.1 矢量數(shù)據(jù)組織結(jié)構(gòu)

海洋地球物理空間數(shù)據(jù)倉庫主要以層(Layer)的方式來管理地理數(shù)據(jù)。具有共同屬性項的一類要素可以放到同一層中, ArcSDE為數(shù)據(jù)庫中各層建立了格網(wǎng)(Grid)索引。格網(wǎng)索引是將層從邏輯上分成一個個小塊, 稱為單元(cell)。層中的要素則分解到各單元中加以描述, 并將此描述信息寫到索引表中。落到多個單元上的要素將在每個單元對應(yīng)的索引記錄中加以描述, 沒有數(shù)據(jù)的單元不包括在索引表中。

ArcSDE將空間要素數(shù)據(jù)分別存儲在業(yè)務(wù)表、要素特征表和空間索引表中, 其中, 業(yè)務(wù)表主要存放空間要素的屬性信息, 對于屬性信息比較復(fù)雜的空間要素, 則通過 ID標(biāo)識與外部關(guān)系屬性表關(guān)聯(lián); 要素特征表以二進(jìn)制形式存放要素的地理坐標(biāo)、高程、拓?fù)潢P(guān)系等空間信息; 空間索引表主要存儲要素類的索引格網(wǎng)和封裝邊界, 為空間數(shù)據(jù)提供優(yōu)化的索引機(jī)制, 從而有效地降低空間查詢所需的時間。業(yè)務(wù)表和要素特征表實現(xiàn)統(tǒng)一的關(guān)鍵就是要素的ID標(biāo)識碼。矢量數(shù)據(jù)組織結(jié)構(gòu)如圖3所示。

圖3 矢量數(shù)據(jù)組織結(jié)構(gòu)Fig.3 Organization structure of vector data

2.4.2.2 柵格數(shù)據(jù)組織結(jié)構(gòu)

海洋地球物理空間數(shù)據(jù)倉庫可存儲管理多種格式的柵格數(shù)據(jù)層, 主要有GRID、TIFF 6.0 GeoTIFF、ESRI ASCII GRID、MrSID等格式的數(shù)據(jù), 這些數(shù)據(jù)主要通過空間數(shù)據(jù)引擎和數(shù)據(jù)庫管理系統(tǒng)(DBMS)按照統(tǒng)一格式進(jìn)行存儲, 以便于管理與訪問。柵格數(shù)據(jù)的存儲過程如圖4所示, 具體的存儲方式有3種。

分塊存儲: 在將柵格數(shù)據(jù)加載到基于 ArcSDE的數(shù)據(jù)庫中時, SDE將整個柵格數(shù)據(jù)分割成N×M像素大小的柵格塊(Tile), 每個 Tile對應(yīng)于 raster block表中的一條記錄, 而這N×M個像素的值則以二進(jìn)制大對象(BLOB)格式存儲在該表的 Block_data字段中。

圖4 柵格數(shù)據(jù)的存儲過程Fig.4 The storing procedure of Raster Datasets

壓縮存儲: 在存儲柵格數(shù)據(jù)時, 針對不同的應(yīng)用需求, 采用不同的壓縮算法對圖像進(jìn)行壓縮。對于那些像素值很重要的數(shù)據(jù), 如分類數(shù)據(jù)或用于分析的數(shù)據(jù)來說, 采用無損壓縮算法(如 LZSS)來進(jìn)行壓縮存儲, 而對于像素值不是很重要的數(shù)據(jù)則可以采用有損壓縮算法(如JPEG)來進(jìn)行壓縮存儲。

金字塔結(jié)構(gòu): 通過 ArcSDE將柵格數(shù)據(jù)生成金字塔結(jié)構(gòu)進(jìn)行存儲。金字塔是柵格數(shù)據(jù)的一組逐級降低分辨率的“拷貝”, 空間數(shù)據(jù)引擎(SDE)根據(jù)用戶的需求確定能夠在客戶端窗口上顯示柵格數(shù)據(jù)的最佳分辨率, 從而把相應(yīng)的金字塔分塊傳輸給客戶端,從而提高柵格數(shù)據(jù)的顯示效率和速度。

3 系統(tǒng)實現(xiàn)

本文采用 ORACLE數(shù)據(jù)庫管理系統(tǒng)和ArcSDE空間數(shù)據(jù)引擎, 開發(fā)實現(xiàn)了基于C/S和B/S架構(gòu)的海洋地球物理數(shù)據(jù)庫系統(tǒng)。C/S架構(gòu)的海洋地球物理數(shù)據(jù)庫系統(tǒng)(圖5)重點針對海洋地球物理元數(shù)據(jù)和基礎(chǔ)數(shù)據(jù), 提供了便捷、友好的數(shù)據(jù)錄入、編輯、自定制格式批量導(dǎo)入、數(shù)據(jù)查詢和下載等功能, 使用戶能夠方便、快捷地將數(shù)據(jù)錄入到數(shù)據(jù)庫, 并且對數(shù)據(jù)進(jìn)行檢索和共享。B/S架構(gòu)的海洋地球物理數(shù)據(jù)庫系統(tǒng)(圖6)重點基于海洋地球物理空間數(shù)據(jù)倉庫, 通過網(wǎng)絡(luò)瀏覽器(如Internet Explorer、360瀏覽器、FireFox、Chrome等)提供基于電子地圖的數(shù)據(jù)瀏覽、檢索和下載等服務(wù)[15], 使用戶不必安裝任何軟件即可實現(xiàn)直觀、便捷的海洋地球物理數(shù)據(jù)的瀏覽和共享。

該系統(tǒng)在“我國近海海洋綜合調(diào)查與評價”專項海洋地球物理調(diào)查過程中進(jìn)行了應(yīng)用實踐, 能夠?qū)Λ@得到的海洋地球物理綜合信息進(jìn)行統(tǒng)一管理, 并且可以向用戶提供便捷、直觀的數(shù)據(jù)瀏覽和共享服務(wù), 提高了數(shù)據(jù)的使用效率。

圖5 C/S架構(gòu)的海洋地球物理數(shù)據(jù)庫系統(tǒng)Fig.5 Marine geophysics database system in C/S architecture

圖6 B/S架構(gòu)的海洋地球物理數(shù)據(jù)庫系統(tǒng)Fig.6 Marine geophysics database system in B/S architecture

4 結(jié)論

本文面向海洋地球物理調(diào)查和研究工作的應(yīng)用需求, 在對海洋地球物理數(shù)據(jù)進(jìn)行分類整理的基礎(chǔ)上, 對海洋地球物理數(shù)據(jù)庫進(jìn)行設(shè)計, 并開發(fā)實現(xiàn)了C/S架構(gòu)和B/S架構(gòu)的海洋地球物理數(shù)據(jù)庫系統(tǒng)。應(yīng)用實踐表明, 該系統(tǒng)能夠面向多源、異構(gòu)、海量的海洋地球物理綜合數(shù)據(jù)提供統(tǒng)一管理、直觀瀏覽和便捷共享等服務(wù), 提高了數(shù)據(jù)的使用效率, 滿足海洋調(diào)查、科研、管理等工作的需求。同時, 海洋地球物理數(shù)據(jù)庫系統(tǒng)的開發(fā)和實現(xiàn), 也為其他海洋學(xué)科數(shù)據(jù)的管理和共享提供了借鑒, 為我國“數(shù)字海洋”數(shù)據(jù)管理平臺的建設(shè)進(jìn)行了有益的嘗試。

[1]鄒逸江.空間數(shù)據(jù)倉庫研究綜述[J].測繪學(xué)院學(xué)報,2002, 19(4): 287-289.

[2]陳述彭, 魯學(xué)軍, 周成虎.地理信息系統(tǒng)導(dǎo)論[M].北京: 科學(xué)教育出版社, 2000.

[3]李振華, 胡光道, 王淑華.一個地學(xué)數(shù)據(jù)倉庫的初步設(shè)計與實現(xiàn)[J].地質(zhì)與勘探, 2002, 38(5): 67-70.

[4]劉展, 李津, 楊作升, 等.適于“數(shù)字海底”的GIS數(shù)據(jù)倉模型初探[J].西安石油大學(xué)學(xué)報(自然科學(xué)版), 2004, 19(1):77-81.

[5]于煥菊, 謝傳節(jié), 李云嶺, 等.中國華北地區(qū)地震空間數(shù)據(jù)倉庫的構(gòu)建與分析[J].地球信息科學(xué), 2006,8(3): 88-93.

[6]Pecar-Ilic J, Ruzic I.Application of GIS and Web technologies for Danube waterway data management in Croatia[J].Environmental Modelling & Software, 2006,21(11): 1562-1571.

[7]Nilakanta S, Scheibe K, Rai A.Dimensional issues in agricultural data warehouse designs [J].Computers and Electronics in Agriculture, 2008, 60(2): 263-278.

[8]Zhou W, Chen G, Li H, et al.GIS application in mineral resource analysis-A case study of offshore marine placer gold at Nome, Alaska[J].Computers &Geosciences, 2007, 33(6): 773-788.

[9]Rai A, Dubey V, Chaturvedi K K, et al.Design and development of data mart for animal resources[J].Computers and Electronics in Agriculture, 2008, 64(2): 111-119.

[10]蘇天贅, 崔愛菊, 梁瑞才, 等.海洋地球物理空間數(shù)據(jù)倉庫系統(tǒng)的設(shè)計與實現(xiàn)[J].地球物理學(xué)進(jìn)展, 2011,26(4): 1478-1484.

[11]張明華, 黃冬梅, 熊中敏, 等.多源異構(gòu)海量海洋數(shù)據(jù)綜合管理平臺構(gòu)建研究[J].海洋科學(xué), 2012, 36(2):110-115.

[12]FGDC-STD-001-1998, Content standard for digital geospatial metadata ( Revised June 1998 ) [ S ].

[13]周立柱, 張志強(qiáng), 李超, 等譯.數(shù)據(jù)庫管理系統(tǒng)[M].北京: 清華大學(xué)出版社.2004.

[14]Robert W.Understanding ArcSDE[M].Redlands: ESRI Press, 2001: 5–6.

[15]周林, 劉海行, 宋轉(zhuǎn)玲, 等.基于 WebGIS技術(shù)的PANDA斷面海洋主題數(shù)據(jù)庫系統(tǒng)可視化查詢的設(shè)計與實現(xiàn)[J].海洋科學(xué), 2009, 33(5): 86-91.