大數(shù)據(jù)理念在海洋環(huán)境觀測(cè)數(shù)據(jù)共享中的應(yīng)用研究＊

宋坤

（國(guó)家海洋技術(shù)中心 天津 300112）

1 引言

海洋是關(guān)系國(guó)家領(lǐng)土、海洋權(quán)益和軍事對(duì)抗的戰(zhàn)略空間和主題，其具有重要的政治、經(jīng)濟(jì)和軍事意義。海洋環(huán)境是指以人類生存與發(fā)展為中心，相對(duì)其存在并產(chǎn)生直接或間接影響的海洋自然和非自然全部要素的整體。海洋環(huán)境數(shù)據(jù)來源于人們對(duì)海洋環(huán)境的了解、觀測(cè)和掌握，是人類進(jìn)行海洋開發(fā)、海洋環(huán)境保護(hù)、軍事保障和海洋管理的主要決策依據(jù)。

海洋環(huán)境數(shù)據(jù)覆蓋了水文、氣象、化學(xué)、生物、地質(zhì)、地球物理等多個(gè)學(xué)科，主要包括大氣（氣溫、風(fēng)、雨、云、霧等）、水文（海水溫度、鹽度、深度、潮汐、海浪、海流等）以及海底地形、地貌、地質(zhì)、重力、磁力、海底擴(kuò)張等各種數(shù)據(jù)信息［1］。由于數(shù)據(jù)采集的分布性、多源性和多樣性等，海洋環(huán)境觀測(cè)數(shù)據(jù)具有類型復(fù)雜、結(jié)構(gòu)多樣等顯著特征。有效地組織管理數(shù)據(jù)信息，實(shí)現(xiàn)觀測(cè)數(shù)據(jù)共享，對(duì)海洋環(huán)境科學(xué)研究和應(yīng)用具有重要的意義和價(jià)值。

大數(shù)據(jù)（Big Data）是指無法在一定時(shí)間內(nèi)用傳統(tǒng)數(shù)據(jù)庫(kù)軟件工具對(duì)其內(nèi)容進(jìn)行抓取、管理和處理的數(shù)據(jù)集合。而海洋環(huán)境觀測(cè)數(shù)據(jù)的多樣性、多源性、復(fù)雜性與大數(shù)據(jù)的主要特征數(shù)據(jù)量巨大（Volume）、數(shù)據(jù)類型多（Variety）、數(shù)據(jù)流動(dòng)快（Velocity）和數(shù)據(jù)潛在價(jià)值（Value）相一致。在海洋環(huán)境觀測(cè)數(shù)據(jù)共享應(yīng)用中引入大數(shù)據(jù)的理念不止是為了更好地組織管理龐大的數(shù)據(jù)信息，其主要意義還在于更大地挖掘其潛在的應(yīng)用價(jià)值。

2 大數(shù)據(jù)理念

當(dāng)氣象學(xué)家在做氣象地圖分析、物理學(xué)家在建立大物理仿真模型等過程中，由于數(shù)據(jù)量巨大而不能再用傳統(tǒng)的計(jì)算技術(shù)來實(shí)現(xiàn)時(shí)，大數(shù)據(jù)的概念在這些科學(xué)研究領(lǐng)域首先被提出來。隨著互聯(lián)網(wǎng)和電子商務(wù)的快速發(fā)展，大數(shù)據(jù)的理念和技術(shù)開始被實(shí)際應(yīng)用。大數(shù)據(jù)的新技術(shù)和新架構(gòu)也在面臨解決數(shù)據(jù)量大、數(shù)據(jù)種類多、數(shù)據(jù)流動(dòng)速度快、數(shù)據(jù)不完備甚至不可理解等問題中得以不斷開發(fā)出來。

大數(shù)據(jù)應(yīng)用真正要實(shí)現(xiàn)的是“用數(shù)據(jù)說話”，而不再是直覺或者經(jīng)驗(yàn)。其主要包括以下3 個(gè)方面：一是發(fā)現(xiàn)過去沒有發(fā)現(xiàn)的數(shù)據(jù)潛在價(jià)值；二是通過不同數(shù)據(jù)集的整合創(chuàng)造新的數(shù)據(jù)價(jià)值；三是把在一個(gè)領(lǐng)域已經(jīng)發(fā)揮過價(jià)值的數(shù)據(jù)再次應(yīng)用在新的領(lǐng)域創(chuàng)造出新的價(jià)值［2］。

3 海洋環(huán)境觀測(cè)數(shù)據(jù)共享需求

（1）隨著國(guó)家對(duì)海洋科學(xué)研究重視程度的提高，國(guó)家公益性專項(xiàng)、“863”計(jì)劃等的支持創(chuàng)建了許多海洋工程項(xiàng)目，對(duì)海洋生物、化學(xué)、物理等各領(lǐng)域進(jìn)行了探究，同時(shí)也產(chǎn)生了許多的數(shù)據(jù)資料。但由于我國(guó)海洋觀測(cè)平臺(tái)的條塊管理模式使得觀測(cè)數(shù)據(jù)具有分布式、區(qū)域化的特征，很多數(shù)據(jù)只在某一個(gè)領(lǐng)域或某一個(gè)課題中得以利用，并未能充分挖掘數(shù)據(jù)的價(jià)值。考慮到數(shù)據(jù)資源的分布式特征需要引入大數(shù)據(jù)的理念，建立數(shù)據(jù)共享機(jī)制，實(shí)現(xiàn)數(shù)據(jù)的重復(fù)利用，挖掘數(shù)據(jù)的潛在價(jià)值。

（2）由于海洋環(huán)境觀測(cè)數(shù)據(jù)獲取的手段不同、表述的方式不同，使得數(shù)據(jù)的類型多樣。按照數(shù)據(jù)結(jié)構(gòu)分為結(jié)構(gòu)化數(shù)據(jù)即存儲(chǔ)在數(shù)據(jù)庫(kù)中、可以用二維表結(jié)構(gòu)來邏輯表達(dá)實(shí)現(xiàn)的數(shù)據(jù)；半結(jié)構(gòu)化數(shù)據(jù)即格式較為規(guī)范的，可以通過某種方式解析得到每項(xiàng)的數(shù)據(jù)；無結(jié)構(gòu)的非結(jié)構(gòu)化數(shù)據(jù)是指非純文本類數(shù)據(jù)，沒有標(biāo)準(zhǔn)格式，無法直接解析出來相應(yīng)的值，如圖像、視頻等。基于海洋環(huán)境觀測(cè)數(shù)據(jù)的異構(gòu)性特征，需要借鑒大數(shù)據(jù)的數(shù)據(jù)存儲(chǔ)理念對(duì)異構(gòu)數(shù)據(jù)進(jìn)行整合、對(duì)其存儲(chǔ)進(jìn)行重新的規(guī)劃和部署。

（3）在傳感器技術(shù)、海洋觀測(cè)技術(shù)、通信技術(shù)的飛速發(fā)展形勢(shì)下，海洋環(huán)境觀測(cè)數(shù)據(jù)的獲取頻率在不斷提高，如何快速地完成數(shù)據(jù)的更新、分析并提供相應(yīng)的應(yīng)用及產(chǎn)品，是實(shí)現(xiàn)數(shù)據(jù)共享需要解決的重要問題。在數(shù)據(jù)存儲(chǔ)和計(jì)算中，可以采用大數(shù)據(jù)的分布式存儲(chǔ)＋計(jì)算平臺(tái)的模式，以滿足觀測(cè)數(shù)據(jù)的快速流動(dòng)性。

4 海洋環(huán)境觀測(cè)數(shù)據(jù)共享平臺(tái)框架設(shè)計(jì)

依據(jù)海洋環(huán)境觀測(cè)數(shù)據(jù)共享的需求，結(jié)合近年來蓬勃發(fā)展的大數(shù)據(jù)的概念和技術(shù)，本研究提出了一種基于大數(shù)據(jù)理念的海洋環(huán)境觀測(cè)數(shù)據(jù)共享平臺(tái)框架，如圖1所示。

該框架主要由數(shù)據(jù)源、數(shù)據(jù)操作、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)訪問、數(shù)據(jù)分析、應(yīng)用服務(wù)以及相關(guān)數(shù)據(jù)共享管理制度和安全機(jī)制等組成。各層相對(duì)獨(dú)立，層間的耦合性比較小。

數(shù)據(jù)源處于框架的最底層主要包括需要共享的基礎(chǔ)數(shù)據(jù)、各類歷史資料、各項(xiàng)目和區(qū)域獲得的實(shí)時(shí)數(shù)據(jù)和延時(shí)數(shù)據(jù)，以及獲取和制作的信息產(chǎn)品等，作為整個(gè)平臺(tái)運(yùn)行的基礎(chǔ)。

數(shù)據(jù)操作是對(duì)異構(gòu)的多源數(shù)據(jù)進(jìn)行抽取、排序／過濾、轉(zhuǎn)換等處理，以實(shí)現(xiàn)數(shù)據(jù)的重新整合、部署，完成數(shù)據(jù)的規(guī)范化存儲(chǔ)。

數(shù)據(jù)訪問是各數(shù)據(jù)集與數(shù)據(jù)分析之間的橋梁，實(shí)現(xiàn)數(shù)據(jù)的提取以及分析信息的加載。

數(shù)據(jù)分析是根據(jù)應(yīng)用的需要對(duì)存儲(chǔ)的數(shù)據(jù)進(jìn)行檢索、統(tǒng)計(jì)分析、信息產(chǎn)品制作、數(shù)據(jù)同化融合等分析處理，為應(yīng)用服務(wù)提供后臺(tái)并行計(jì)算。數(shù)據(jù)的操作、存儲(chǔ)、訪問及分析都要以元數(shù)據(jù)管理為依托。

應(yīng)用服務(wù)是平臺(tái)最終能提供給用戶的功能以及與用戶交互的接口，包括數(shù)據(jù)查詢、信息可視化、信息共享及數(shù)據(jù)評(píng)價(jià)與反饋等。

數(shù)據(jù)管理、安全和備份恢復(fù)是幫助進(jìn)行數(shù)據(jù)治理、實(shí)現(xiàn)數(shù)據(jù)保護(hù)。

數(shù)據(jù)共享管理制度是指與海洋環(huán)境觀測(cè)數(shù)據(jù)共享相關(guān)的各種法律、法規(guī)和文件。

整個(gè)框架以多源數(shù)據(jù)為基礎(chǔ)，以提供各類應(yīng)用服務(wù)為目標(biāo)，以數(shù)據(jù)管理、安全和共享管理制度為運(yùn)行保障，最終實(shí)現(xiàn)海洋環(huán)境觀測(cè)數(shù)據(jù)的共享。

圖1 海洋環(huán)境觀測(cè)數(shù)據(jù)共享平臺(tái)框架

4．1 分布式數(shù)據(jù)存儲(chǔ)

為了有效地避免數(shù)據(jù)重復(fù)建設(shè)和信息孤島，以及海洋環(huán)境觀測(cè)數(shù)據(jù)異構(gòu)性的特征，需要基于基礎(chǔ)數(shù)據(jù)和元數(shù)據(jù)對(duì)多源異構(gòu)海洋環(huán)境觀測(cè)數(shù)據(jù)信息進(jìn)行整合，并對(duì)信息資源的存儲(chǔ)進(jìn)行重新部署［3］。根據(jù)數(shù)據(jù)涉及學(xué)科的不同、安全等級(jí)的不同和應(yīng)用需求的不同，將海洋觀測(cè)數(shù)據(jù)分為多個(gè)數(shù)據(jù)集，并通過關(guān)鍵數(shù)據(jù)集來維護(hù)其間的關(guān)系。關(guān)鍵數(shù)據(jù)集主要包括元數(shù)據(jù)、基礎(chǔ)數(shù)據(jù)等。結(jié)合觀測(cè)數(shù)據(jù)應(yīng)用的情況，從管理和應(yīng)用效率的角度出發(fā)，采用數(shù)據(jù)集中存儲(chǔ)與分散存儲(chǔ)相結(jié)合的方式，共享頻率高公開數(shù)據(jù)存放在本地?cái)?shù)據(jù)庫(kù)中。對(duì)于某項(xiàng)目或地區(qū)的非公開數(shù)據(jù)則存儲(chǔ)在數(shù)據(jù)生產(chǎn)者的數(shù)據(jù)庫(kù)中，其數(shù)據(jù)源的生產(chǎn)、維護(hù)更新和所有權(quán)歸數(shù)據(jù)生產(chǎn)者。該平臺(tái)只在元數(shù)據(jù)的描述中提供該類數(shù)據(jù)的數(shù)據(jù)標(biāo)志信息、內(nèi)容信息及發(fā)布信息等。

4．2 信息共享機(jī)制

根據(jù)共享內(nèi)容的粒度差異，信息共享需求分為數(shù)據(jù)級(jí)共享和應(yīng)用級(jí)共享［4］。數(shù)據(jù)級(jí)共享指共享的內(nèi)容為數(shù)據(jù)，是粒度較低的共享，主要是純數(shù)據(jù)庫(kù)級(jí)的數(shù)據(jù)提取和發(fā)送。在該共享平臺(tái)中體現(xiàn)為以元數(shù)據(jù)為核心建立信息目錄，通過數(shù)據(jù)檢索提供數(shù)據(jù)查詢、信息共享等服務(wù)。應(yīng)用級(jí)共享指從應(yīng)用層面依據(jù)用戶需求提供經(jīng)數(shù)據(jù)統(tǒng)計(jì)分析、同化融合和科學(xué)計(jì)算等處理分析后的信息產(chǎn)品及資料，雖然展示的是信息產(chǎn)品，但實(shí)質(zhì)提供的是在Web Services技術(shù)規(guī)范下的與邏輯相關(guān)的通用服務(wù)共享功能，是粒度較高的共享。

4．3 數(shù)據(jù)更新和維護(hù)策略

海洋環(huán)境觀測(cè)數(shù)據(jù)的流動(dòng)速度很快，數(shù)據(jù)的更新和維護(hù)關(guān)系到共享平臺(tái)的運(yùn)行效果。在海洋信息交換領(lǐng)域數(shù)據(jù)源非常廣泛，新數(shù)據(jù)源的添加也是不可避免的，所以該平臺(tái)對(duì)數(shù)據(jù)的更新和維護(hù)采用動(dòng)態(tài)管理的方式，對(duì)數(shù)據(jù)的加載、檢索、分析等，使用數(shù)據(jù)配置的關(guān)聯(lián)方式和管理方式，以適應(yīng)海洋數(shù)據(jù)源的變動(dòng)，提高平臺(tái)對(duì)數(shù)據(jù)的支持能力。

5 結(jié)束語(yǔ)

所謂信息共享指信息的雙向流動(dòng)，即任何單位或個(gè)人履行了把所掌握的全部或部分?jǐn)?shù)據(jù)貢獻(xiàn)出來作為社會(huì)發(fā)展之用的義務(wù)，就有權(quán)利獲得其他人提供的數(shù)據(jù)或信息，只有形成信息的雙向流動(dòng)才能促進(jìn)海洋事業(yè)的發(fā)展［5］。本研究以海洋觀測(cè)數(shù)據(jù)共享的需求為依托，引入了大數(shù)據(jù)的理念，提出了一種海洋環(huán)境觀測(cè)數(shù)據(jù)共享平臺(tái)的框架，在理論與技術(shù)層面上為海洋觀測(cè)數(shù)據(jù)的共享提供了一種模型，以實(shí)現(xiàn)數(shù)據(jù)的共享及其潛在價(jià)值的挖掘。該平臺(tái)的搭建和運(yùn)行還需要海洋信息管理制度的完善和海洋信息共享相關(guān)法律的建立，以保障數(shù)據(jù)生產(chǎn)者的利益和敏感數(shù)據(jù)的安全。

［1］李琳，郝建新，湯曉安，等．基于GML的海洋空間數(shù)據(jù)共享研究［J］．現(xiàn)代電子技術(shù)，2009（6）：147－153．

［2］趙剛．大數(shù)據(jù)技術(shù)與應(yīng)用實(shí)踐指南［M］．北京：電子工業(yè)出版社，2013：1－21．

［3］丁火平，陳建平，余劍平，等．基于SOA 架構(gòu)的數(shù)字城市信息共享方法研究［J］．計(jì)算機(jī)工程與設(shè)計(jì)，2009，30（20）：4632－4625．

［4］錢大君，吳建平，余柏蒗，等．上海市資源與環(huán)境數(shù)據(jù)共享平臺(tái)的實(shí)現(xiàn)［J］．計(jì)算機(jī)工程，2008，34（10）：283－285．

［5］常虹，于華明，鮑獻(xiàn)文，等．我國(guó)海洋數(shù)據(jù)信息共享現(xiàn)狀及立法建議［J］．海洋開發(fā)與管理，2008，25（1）：134－138．