上海市海洋數(shù)據(jù)基礎(chǔ)平臺(tái)框架設(shè)計(jì)

李靜芳

[摘 要] 分析了上海市海洋數(shù)據(jù)基礎(chǔ)平臺(tái)建設(shè)的必要性和建設(shè)背景；設(shè)計(jì)了海洋數(shù)據(jù)基礎(chǔ)平臺(tái)的總體框架；海洋數(shù)據(jù)中心管理系統(tǒng)、海洋數(shù)據(jù)處理系統(tǒng)、海洋數(shù)據(jù)檢索系統(tǒng)、海洋數(shù)據(jù)分析系統(tǒng)、海洋數(shù)據(jù)交換與更新體系。

[關(guān)鍵詞] 上海；海洋；基礎(chǔ)數(shù)據(jù)平臺(tái)；框架設(shè)計(jì)

doi ： 10 . 3969 / j . issn . 1673 - 0194 . 2018. 23. 070

[中圖分類號(hào)] TP315 [文獻(xiàn)標(biāo)識(shí)碼] A [文章編號(hào)] 1673 - 0194（2018）23- 0166- 04

1 前 言

近年來，上海市海洋局通過海洋數(shù)據(jù)資源管理、網(wǎng)絡(luò)基礎(chǔ)設(shè)施建設(shè)和業(yè)務(wù)應(yīng)用系統(tǒng)開發(fā)等一系列專項(xiàng)工作的開展，海洋信息化建設(shè)取得了長(zhǎng)足發(fā)展，初步搭建起上海市“數(shù)字海洋”管理框架，發(fā)揮了重要的信息支撐保障作用。

上海市“數(shù)字海洋”管理框架主要包括海洋數(shù)據(jù)基礎(chǔ)平臺(tái)框架、基于ArcGis的數(shù)字海洋原型系統(tǒng)框架、海洋綜合管理與服務(wù)信息框架和海洋網(wǎng)絡(luò)與安全框架。其中海洋數(shù)據(jù)基礎(chǔ)平臺(tái)框架是整個(gè)“數(shù)字海洋”管理框架的支撐和基礎(chǔ)。

由于上海市海洋局的數(shù)據(jù)來自多方單位，包括國(guó)家海洋局、國(guó)家海洋局東海分局信息中心、國(guó)家海洋局東海分局預(yù)報(bào)中心、國(guó)家海洋局東海分局監(jiān)測(cè)中心、上海市海洋局歷史數(shù)據(jù)、各局屬單位和各涉海單位等，原有數(shù)據(jù)歸各單位獨(dú)立存儲(chǔ)、獨(dú)立管理，最后形成了一個(gè)個(gè)的信息“孤島”，各方數(shù)據(jù)標(biāo)準(zhǔn)不統(tǒng)一、數(shù)據(jù)結(jié)構(gòu)不統(tǒng)一、數(shù)據(jù)字典各不同，無法實(shí)現(xiàn)海洋數(shù)據(jù)的共享共用和統(tǒng)一管理。海洋數(shù)據(jù)基礎(chǔ)平臺(tái)的建設(shè)將來各方結(jié)構(gòu)不統(tǒng)一，內(nèi)容及形式復(fù)雜多樣的數(shù)據(jù)，通過一套針對(duì)多源、異構(gòu)數(shù)據(jù)進(jìn)行處理和整合技術(shù)方案，以數(shù)字海洋基礎(chǔ)平臺(tái)的方式實(shí)現(xiàn)各應(yīng)用系統(tǒng)之間海洋數(shù)據(jù)交換和共享，并將各應(yīng)用系統(tǒng)中產(chǎn)生的分析和成果數(shù)據(jù)集中存儲(chǔ)到海洋數(shù)據(jù)中心。

2 總體框架設(shè)計(jì)

上海市海洋數(shù)據(jù)基礎(chǔ)平臺(tái)的規(guī)劃和建設(shè)依據(jù)“統(tǒng)一規(guī)劃、統(tǒng)一標(biāo)準(zhǔn)、統(tǒng)一設(shè)計(jì)、數(shù)據(jù)共享”的基本原則，海洋數(shù)據(jù)基礎(chǔ)平臺(tái)架構(gòu)主要分三個(gè)層次。首先經(jīng)過數(shù)據(jù)交換和更新體系將各行業(yè)數(shù)據(jù)對(duì)象進(jìn)行規(guī)范定義，從而形成行業(yè)基礎(chǔ)數(shù)據(jù)，其次對(duì)海洋基礎(chǔ)數(shù)據(jù)進(jìn)行整合后形成市海洋局核心數(shù)據(jù)，最后按照不同的業(yè)務(wù)需求對(duì)核心數(shù)據(jù)進(jìn)行分析應(yīng)用，形成數(shù)據(jù)分析與應(yīng)用部分。

3 海洋數(shù)據(jù)中心管理系統(tǒng)設(shè)計(jì)

海洋數(shù)據(jù)中心管理系統(tǒng)是決策支持系統(tǒng)和各業(yè)務(wù)管理系統(tǒng)的數(shù)據(jù)基礎(chǔ)，信息主要來源于國(guó)家海洋局、國(guó)家海洋局東海分局信息中心、東海分局預(yù)報(bào)中心、東海分局監(jiān)測(cè)中心、上海市海洋局、局屬單位、涉海單位等。各單位提供的海洋基礎(chǔ)數(shù)據(jù)是海洋數(shù)據(jù)中心管理系統(tǒng)中數(shù)據(jù)中心的一個(gè)重要來源，這些數(shù)據(jù)主要分為四類：實(shí)時(shí)類數(shù)據(jù)、基礎(chǔ)類數(shù)據(jù)、核心類數(shù)據(jù)、元數(shù)據(jù)類數(shù)據(jù)。海洋數(shù)據(jù)中心管理系統(tǒng)整體結(jié)構(gòu)采用“集中與分布相結(jié)合”的方式，將數(shù)據(jù)按照支撐不同的業(yè)務(wù)分成四個(gè)區(qū)域：互聯(lián)網(wǎng)區(qū)、核心業(yè)務(wù)區(qū)、東海分局?jǐn)?shù)據(jù)區(qū)以及交換區(qū)。通過使用DataExchange對(duì)數(shù)據(jù)進(jìn)行抽取、傳輸、匯總、整合到海洋數(shù)據(jù)中心管理系統(tǒng)中。

3.1 互聯(lián)網(wǎng)區(qū)

互聯(lián)網(wǎng)區(qū)存儲(chǔ)的是科技服務(wù)類數(shù)據(jù)、海洋經(jīng)濟(jì)類數(shù)據(jù)和行政許可辦理類等需要對(duì)涉海單位、涉海企業(yè)、社會(huì)公眾公開的數(shù)據(jù)，以及涉海單位、涉海企業(yè)上報(bào)的數(shù)據(jù)，這部分?jǐn)?shù)據(jù)通過交換區(qū)與核心數(shù)據(jù)區(qū)進(jìn)行交換。

3.2 核心業(yè)務(wù)區(qū)

核心業(yè)務(wù)區(qū)存儲(chǔ)的是上海市海洋局的業(yè)務(wù)核心數(shù)據(jù)，有來自國(guó)家海洋局東海分局信息中心、監(jiān)測(cè)中心和預(yù)報(bào)中心的基礎(chǔ)地理數(shù)據(jù)、基礎(chǔ)資料數(shù)據(jù)、專題數(shù)據(jù)、產(chǎn)品數(shù)據(jù)以及業(yè)務(wù)數(shù)據(jù)等；還有上海市海洋局的歷史數(shù)據(jù)以及海洋的實(shí)時(shí)監(jiān)測(cè)數(shù)據(jù)，它們是支撐上海示范區(qū)業(yè)務(wù)的核心數(shù)據(jù)，這些數(shù)據(jù)根據(jù)業(yè)務(wù)特點(diǎn)，通過設(shè)置關(guān)鍵標(biāo)志位的方式，為原型系統(tǒng)和綜合管理信息系統(tǒng)提供數(shù)據(jù)支撐。

3.3 東海分局?jǐn)?shù)據(jù)區(qū)

東海分局?jǐn)?shù)據(jù)區(qū)存儲(chǔ)的是上海示范區(qū)前期國(guó)家投資部分的數(shù)據(jù)，主要是908專項(xiàng)數(shù)據(jù)，這些數(shù)據(jù)按照上海市海洋局的數(shù)據(jù)標(biāo)準(zhǔn)進(jìn)行整理、歸類，并成功遷移到上海市海洋局?jǐn)?shù)據(jù)中心。

3.4 交換區(qū)

交換區(qū)存儲(chǔ)的是臨時(shí)數(shù)據(jù)，交換區(qū)是數(shù)據(jù)交換的中轉(zhuǎn)站，是交換數(shù)據(jù)臨時(shí)存放的區(qū)域。交換區(qū)的數(shù)據(jù)來源于國(guó)家海洋局、國(guó)家海洋局東海分局、上海市海洋局、實(shí)時(shí)監(jiān)測(cè)數(shù)據(jù)以及互聯(lián)網(wǎng)區(qū)。

海洋數(shù)據(jù)中心管理系統(tǒng)的建設(shè)過程中，形成了上海市海洋局?jǐn)?shù)據(jù)庫(kù)管理規(guī)范，制定了響應(yīng)的數(shù)據(jù)標(biāo)準(zhǔn)和管理規(guī)范，保證了各業(yè)務(wù)系統(tǒng)的正常運(yùn)行，并為以后的業(yè)務(wù)擴(kuò)展提供數(shù)據(jù)接口，實(shí)現(xiàn)了海洋數(shù)據(jù)共享共用、統(tǒng)一管理、統(tǒng)一規(guī)范的項(xiàng)目目的。

4 海洋數(shù)據(jù)處理系統(tǒng)

海洋數(shù)據(jù)處理系統(tǒng)按照國(guó)家海洋局統(tǒng)一的《“數(shù)字海洋”信息基礎(chǔ)框架構(gòu)建總體實(shí)施方案》、《海洋環(huán)境基礎(chǔ)數(shù)據(jù)庫(kù)標(biāo)準(zhǔn)》、《海洋綜合管理專題數(shù)據(jù)庫(kù)標(biāo)準(zhǔn)》和《“數(shù)字海洋”上海示范區(qū)（地方配套）項(xiàng)目數(shù)據(jù)庫(kù)詳細(xì)設(shè)計(jì)》通過對(duì)海洋數(shù)據(jù)調(diào)查和評(píng)價(jià)、海洋觀測(cè)站和其他重大歷史專項(xiàng)資料的收集，這些數(shù)據(jù)格式多為文檔（DOC），表格（XLS）、圖片文件（JPG）、圖層數(shù)據(jù)，圍繞示范區(qū)的應(yīng)用系統(tǒng)需求，對(duì)數(shù)據(jù)按照數(shù)據(jù)中心的數(shù)據(jù)庫(kù)結(jié)構(gòu)、屬性結(jié)構(gòu)將這些數(shù)據(jù)進(jìn)行分類、格式轉(zhuǎn)換、柵格圖片矢量化、圖幅拼接等操作，然后入庫(kù)保存，進(jìn)行結(jié)構(gòu)化存儲(chǔ)，利用導(dǎo)入程序自行轉(zhuǎn)化入庫(kù)工作，實(shí)現(xiàn)上海海洋數(shù)據(jù)交換與共享。海洋數(shù)據(jù)主要有以下幾類：海洋基礎(chǔ)地理及908專項(xiàng)調(diào)查數(shù)據(jù)、海洋環(huán)境類監(jiān)測(cè)數(shù)據(jù)、海洋氣象及災(zāi)害類數(shù)據(jù)、其他908調(diào)查數(shù)據(jù)、機(jī)關(guān)業(yè)務(wù)數(shù)據(jù)等。

還對(duì)相關(guān)的海洋數(shù)據(jù)依據(jù)海洋數(shù)據(jù)中心的入庫(kù)規(guī)范，將數(shù)據(jù)按照相應(yīng)的要求，按基礎(chǔ)地理類、基礎(chǔ)資料類、產(chǎn)品信息類、專題信息類、業(yè)務(wù)運(yùn)行類、元數(shù)據(jù)類等進(jìn)行分類整理，規(guī)范并入庫(kù)。

其數(shù)據(jù)處理流程見圖3。

5 海洋數(shù)據(jù)檢索系統(tǒng)

海洋各類數(shù)據(jù)經(jīng)過海洋數(shù)據(jù)處理系統(tǒng)處理后，形成具有規(guī)則的數(shù)據(jù)結(jié)構(gòu)，數(shù)據(jù)檢索系統(tǒng)分別針對(duì)結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化進(jìn)行檢索，結(jié)構(gòu)化數(shù)據(jù)的檢索通過目錄管理模塊進(jìn)行分類管理，海洋數(shù)據(jù)目錄管理模塊將海洋數(shù)據(jù)分為基礎(chǔ)資料數(shù)據(jù)、基礎(chǔ)地理數(shù)據(jù)、專題數(shù)據(jù)、產(chǎn)品數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)。結(jié)構(gòu)化數(shù)據(jù)檢索通過建立數(shù)據(jù)加載集群、查詢機(jī)集群和元數(shù)據(jù)集群，實(shí)現(xiàn)高效率的數(shù)據(jù)檢索系統(tǒng)。非結(jié)構(gòu)化數(shù)據(jù)檢索是用戶通過文件屬性、關(guān)鍵字及分類等信息來搜索所需要的文件，基于平臺(tái)的數(shù)據(jù)索引，快速給用戶展示出相關(guān)查詢結(jié)果。其檢索流程見圖4。

非結(jié)構(gòu)化數(shù)據(jù)查詢的步驟主要包括：①對(duì)查詢內(nèi)容進(jìn)行解析，區(qū)分查詢內(nèi)容中單詞和關(guān)鍵字，根據(jù)查詢語法的語法規(guī)則形成一棵樹；②搜索索引，得到符合語法樹的文檔集合；③根據(jù)查詢語句與文檔的相關(guān)性，對(duì)結(jié)果進(jìn)行排序，將查詢結(jié)果按順序展現(xiàn)給用戶。其查詢邏輯見圖5。

6 海洋數(shù)據(jù)分析系統(tǒng)

海洋數(shù)據(jù)分析系統(tǒng)利用分析方法對(duì)數(shù)據(jù)進(jìn)行檢查、變換和建模，從中提取數(shù)據(jù)潛在價(jià)值。其中使用的數(shù)據(jù)分析技術(shù)有：分類、聚類、關(guān)聯(lián)規(guī)則、時(shí)間序列分析和優(yōu)化等技術(shù)。通過建立海洋數(shù)據(jù)分析模型，實(shí)現(xiàn)對(duì)海洋水文、海洋氣象、海洋化學(xué)、懸浮體等專業(yè)數(shù)據(jù)按指定的方法、要素、分布位置或者空間網(wǎng)格大小、時(shí)間間隔、空間層次進(jìn)行統(tǒng)計(jì)計(jì)算，并對(duì)統(tǒng)計(jì)分析的結(jié)果進(jìn)行客觀分析開發(fā)。

6.1 海洋數(shù)據(jù)分析

將海洋數(shù)據(jù)管理中心的數(shù)據(jù)通過特征分析后，采用Java語言作為處理語言，根據(jù)海洋數(shù)據(jù)特點(diǎn)，開發(fā)數(shù)據(jù)統(tǒng)計(jì)分析工具，如：日月年及任意時(shí)間范圍的統(tǒng)計(jì)、自定義公式方法的統(tǒng)計(jì)分析、滑動(dòng)數(shù)據(jù)統(tǒng)計(jì)、數(shù)據(jù)比對(duì)統(tǒng)計(jì)分析、任意參數(shù)和數(shù)據(jù)類型的長(zhǎng)期值。

對(duì)海洋相關(guān)大量的數(shù)據(jù)進(jìn)行數(shù)據(jù)分類存儲(chǔ)，分級(jí)管理，建設(shè)數(shù)據(jù)自動(dòng)同步平臺(tái)，實(shí)現(xiàn)各個(gè)數(shù)據(jù)源之間的數(shù)據(jù)交換和同步，形成一套分級(jí)管理、綜合應(yīng)用的信息挖掘和應(yīng)用機(jī)制。同時(shí)建設(shè)一套數(shù)據(jù)審核機(jī)制和規(guī)則，實(shí)現(xiàn)對(duì)各類數(shù)據(jù)的審核和整理加工，提高數(shù)據(jù)的可靠性和完整性，并以標(biāo)準(zhǔn)的數(shù)據(jù)交換格式提供給模型，提高模型預(yù)報(bào)時(shí)效和精度，以實(shí)現(xiàn)各類數(shù)據(jù)的交換、審核、整編、挖掘、刷選等需求，并為各類信息發(fā)布和模型調(diào)用提供精確、完整、高效的數(shù)據(jù)服務(wù)。

6.2 數(shù)據(jù)可視化

海洋數(shù)據(jù)經(jīng)過分析后，采用Echarts完成分析數(shù)據(jù)的可視化，ECharts是一款開源、功能強(qiáng)大的數(shù)據(jù)可視化產(chǎn)品，緊跟著大數(shù)據(jù)時(shí)代的步伐。ECharts是商業(yè)級(jí)數(shù)據(jù)圖表，一個(gè)純Javascript的圖表庫(kù)，可以流暢地運(yùn)行在PC和移動(dòng)設(shè)備上，兼容當(dāng)前絕大部分瀏覽器（IE 6/7/8/9/10/11，chrome，firefox，Safari等），底層依賴輕量級(jí)的Canvas類庫(kù)ZRender，提供直觀，生動(dòng)，可交互，可高度個(gè)性化定制的數(shù)據(jù)可視化圖表。創(chuàng)新的拖拽重計(jì)算、數(shù)據(jù)視圖、值域漫游等特性大大增強(qiáng)了用戶體驗(yàn)，賦予了用戶對(duì)數(shù)據(jù)進(jìn)行挖掘、整合的能力。其分析顯示界面見圖6。

支持折線圖（區(qū)域圖）、柱狀圖（條狀圖）、散點(diǎn)圖（氣泡圖）、K線圖、餅圖（環(huán)形圖）、雷達(dá)圖（填充雷達(dá)圖）、和弦圖、力導(dǎo)向布局圖、地圖、儀表盤、漏斗圖、事件河流圖等12類圖表，同時(shí)提供標(biāo)題，詳情氣泡、圖例、值域、數(shù)據(jù)區(qū)域、時(shí)間軸、工具箱等7個(gè)可交互組件，支持多圖表、組件的聯(lián)動(dòng)和混搭展現(xiàn)。

在實(shí)現(xiàn)海洋數(shù)據(jù)分析系統(tǒng)時(shí)，預(yù)留了將來對(duì)業(yè)務(wù)數(shù)據(jù)進(jìn)行分析的業(yè)務(wù)接口，并對(duì)上海市海洋局目前所建有的“水之云”中的數(shù)據(jù)也預(yù)留有數(shù)據(jù)分析接口，實(shí)現(xiàn)對(duì)上海市水務(wù)局（海洋局）業(yè)務(wù)分析系統(tǒng)的統(tǒng)一規(guī)劃。

7 海洋數(shù)據(jù)交換與更新體系

海洋數(shù)據(jù)交換和更新系統(tǒng)用于實(shí)現(xiàn)系統(tǒng)間數(shù)據(jù)交換和數(shù)據(jù)同步的數(shù)據(jù)集成平臺(tái)，能夠訪問主流的數(shù)據(jù)庫(kù)、結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)，并可以從中提取、轉(zhuǎn)換、加載到指定的數(shù)據(jù)源中，在復(fù)雜網(wǎng)絡(luò)環(huán)境下，提供安全控制、錯(cuò)誤處理、斷點(diǎn)恢復(fù)與續(xù)傳等數(shù)據(jù)傳輸能力。

系統(tǒng)以元數(shù)據(jù)服務(wù)為支撐，基于 CWM-XMI、W3C-XML Schema 規(guī)范，提供對(duì)傳統(tǒng)的數(shù)據(jù)庫(kù)、半結(jié)構(gòu)化和非結(jié)構(gòu)化文件數(shù)據(jù)的支持，以及對(duì)分布式存儲(chǔ)等新興技術(shù)的支持。

在運(yùn)維層面上，提供了基于 Web 的管理與監(jiān)控工具； 在開發(fā)層面上，提供了圖形化的配置工具。

在組件層面上，系統(tǒng)提供了數(shù)據(jù)訪問服務(wù)、錯(cuò)誤處理服務(wù)、數(shù)據(jù)轉(zhuǎn)換與清洗服務(wù)、數(shù)據(jù)傳輸服務(wù)、任務(wù)調(diào)度服務(wù)、元數(shù)據(jù)管理服務(wù)、管理監(jiān)控服務(wù)等服務(wù)。其體系如圖7所示。