大數(shù)據(jù)技術下海洋測繪數(shù)據(jù)的存儲與挖掘

孫 偉 苗炳迪 吳二立

（1.寧波海洋研究院 浙江寧波315042；2.浙江大京生態(tài)環(huán)境科技有限公司 浙江寧波315042；3.寧波市天一測繪設計研究有限公司 浙江寧波315100）

1 引言

在計算機信息技術快速發(fā)展的背景下，社會已經進入了信息化時代，大量的數(shù)據(jù)產生于社會中的各個領域，同時大數(shù)據(jù)技術在數(shù)據(jù)信息的處理上也得到了普遍的應用。在對海洋資源進行開發(fā)的過程中，對海洋環(huán)境的變化進行有效的測繪，就需要實現(xiàn)采集、存儲和處理相應的海洋測繪數(shù)據(jù)，這時對于海量海洋測繪數(shù)據(jù)的處理和應用也成為了越來越多學者關注的問題。隨著大數(shù)據(jù)技術的出現(xiàn)，在海洋測繪數(shù)據(jù)的采集、存儲和處理方面，大數(shù)據(jù)技術都發(fā)揮著越來越重要的作用。

1 大數(shù)據(jù)技術概述

隨著計算機信息技術以及物聯(lián)網技術的快速發(fā)展，大數(shù)據(jù)技術在社會眾多領域中都得到了較為普遍的應用，而在當前環(huán)境下，應用較為廣泛的大數(shù)據(jù)技術包括Hadoop、Hbase、Hive 等技術。其中Hadoop作為一種分布式計算平臺，其結構中主要包含HDFS文件系統(tǒng)以及Map Re duce 計算框架，其中HDFS文件系統(tǒng)是一個并行的文件系統(tǒng)，具有高擴展性和高容錯性的功能，能夠保證分布式系統(tǒng)的正常穩(wěn)定運行和對大量的海洋測繪數(shù)據(jù)進行存儲和管理[1]。大數(shù)據(jù)技術概述圖如圖1 所示。

圖1 大數(shù)據(jù)技術概述圖

HDFS 作為一個分布式文件系統(tǒng)，其具有較好的擴展性，在對大量的海洋測繪數(shù)據(jù)進行存儲的時候，不再需要一個額外的服務器集中存放海洋測繪數(shù)據(jù)，而是可以進行分散存儲于系統(tǒng)的不同節(jié)點。HDFS 文件系統(tǒng)的應用目的主要就是對海量的海洋測繪數(shù)據(jù)進行存儲，所以對于大量的海洋測繪數(shù)據(jù)，HDFS 文件系統(tǒng)能夠很好滿足其使用的需求[2]。而Hadoop 分布式計算平臺的Map Re duce 計算框架作為Hadoop 的核心組件，其作為一種并行的計算模型能夠利用大量計算機的運算處理能力，從而解決一些比較復雜的技術問題。

Hbase 作為一個分布式NoSQL 數(shù)據(jù)庫，和傳統(tǒng)的關系型數(shù)據(jù)庫具有一定的差異，其主要的目的就是處理大量的數(shù)據(jù)，同時其具有非常高的數(shù)據(jù)處理能力，通常Hbase 會與HDFS 文件系統(tǒng)有效結合在一起，對海量的數(shù)據(jù)進行相應的處理。Hbase 中的映射表是稀疏的并且具有多維度的，數(shù)據(jù)庫中的行索引包括了行關鍵字、列關鍵字以及時間戳，數(shù)據(jù)庫中的所有數(shù)據(jù)的類型都是字符串類型?；贖DFS 文件系統(tǒng)的Hive 是一種數(shù)據(jù)倉庫框架，在其組成中包括ETL 工具，其能夠實現(xiàn)數(shù)據(jù)的存儲管理以及查詢大型的數(shù)據(jù)集，其中對于數(shù)據(jù)集的查詢是通過相應的HiveQL 來實現(xiàn)的。

2 海洋測繪數(shù)據(jù)分析

我國具有遼闊的海洋面積以及豐富的海洋資源，在對海洋資源進行相應的測繪時會得到海水的溫度、鹽度以及海洋的深度等各種信息，不同類型的數(shù)據(jù)具有不同的特點，在對這些海量測繪數(shù)據(jù)進行存儲和處理的時候，就需要對不同類型數(shù)據(jù)的處理需求以及存儲的格式進行充分的考慮[3]。

2.1 海洋測繪的基本特征

在陸地上進行測繪的過程中，對點三維坐標的測量需要采用不同裝置以及利用不同的方法進行分別測量。而在海洋測量中對船體下深度即垂直坐標進行測量時，需要與船體平面的位置進行一起測量。在海洋測繪中一般不容易建立相應的控制點，這個時候就需要盡可能的選擇相應的海島作為監(jiān)測點，或者在海底建立相應的控制點，具有較大的間隔距離。所以海洋測繪要比陸地測繪具有較長的測量作用距離，普通陸地的測量作用距離最長不會超過50km，而普通海洋的測量作用距離一般在50km～500km，有的甚至會超過1000km 的測量作用距離。

海洋的測繪與陸地的測繪進行比較，海洋測繪會處于一種動態(tài)變化的過程，需要相關測量人員進行不間斷的觀測，需要隨時將觀測的結果裝換成點位，與陸地觀測相比具有較低的精確性。由于海洋測繪一般具有較長的測量作用距離，所以與陸地測量相比較，在測量期間選擇的傳播信號會表現(xiàn)出一定的差異性。一般在海洋測繪過程中會使用到低頻電磁波信號，但是其傳播速度不能夠簡單的做勻速運動，所以只海水中需要選擇聲波作為信號源。

2.2 海洋測繪數(shù)據(jù)的特點分析

通過對大量的海洋測繪數(shù)據(jù)進行相應的分析，可以發(fā)現(xiàn)海洋測繪數(shù)據(jù)具有以下的一些特點：

（1）數(shù)量巨大。對海洋進行測繪的時候需要布置大量的監(jiān)測點，而不同的監(jiān)測點所采集到的海洋數(shù)據(jù)具有較為復雜的結構，并且是處于一種動態(tài)變化的過程，這就導致在進行測繪的過程中會出現(xiàn)大量的數(shù)據(jù)，而面對這些海量的海洋測繪數(shù)據(jù)，僅僅使用本地存儲已經很難滿足大量數(shù)據(jù)的存儲要求。

（2）海洋測繪數(shù)據(jù)的結構和格式存在一定的差異。在進行海洋測繪的時候會使用到大量的監(jiān)測點，而對于不同的測繪數(shù)據(jù)，其記錄格式也是不同的，同時其存儲結構也會發(fā)生相應的變化，這就造成了大量的海洋測繪數(shù)據(jù)并沒有一個統(tǒng)一規(guī)范的數(shù)據(jù)結構標準來進行相應的存儲。

在采集到的大量的海洋測繪數(shù)據(jù)中，一般都包含地址以及水文等多個方面的數(shù)據(jù)信息，所以在對采集到的數(shù)據(jù)進行相應的積累、存儲時就需要進行特別的考慮，要充分考慮海洋測繪數(shù)據(jù)的不同特點，通過利用相應的技術來提高數(shù)據(jù)存儲以及處理的效率，同時也要保證數(shù)據(jù)的安全性，以及確保海洋測繪數(shù)據(jù)的穩(wěn)定性。不同于以往的單一的海洋測繪，現(xiàn)如今的海洋測繪會采集到種類繁多的測繪數(shù)據(jù)，在這些數(shù)據(jù)中一般包括海底的地形數(shù)據(jù)、海岸帶的遙感數(shù)據(jù)以及海岸線的測量數(shù)據(jù)等。對于不同種類的數(shù)據(jù)一般都具有不同的數(shù)據(jù)特點，在對這些數(shù)據(jù)進行處理的時候就需要充分考慮到數(shù)據(jù)之間存在的差異性。

3 大數(shù)據(jù)技術下海洋測繪數(shù)據(jù)的存儲與挖掘

3.1 數(shù)據(jù)的存儲分析

對于采集到的海洋測繪數(shù)據(jù)，一般都會先保存在本地系統(tǒng)之中，然后在大數(shù)據(jù)技術的支持下，借助Hadoop 所提供的API 將采集到的有關數(shù)據(jù)上傳到HDFS 文件系統(tǒng)中。對于測繪過程中所布置不同的測繪點而言，在大數(shù)據(jù)技術下能夠以一個統(tǒng)一的身份將采集到的海洋測繪數(shù)據(jù)傳送到HDFS 文件系統(tǒng)中，并且能夠成功上傳到HDFS 文件系統(tǒng)的數(shù)據(jù)一般都是以一種透明的組織形式存在的，即HDFS 文件系統(tǒng)會與本地存儲系統(tǒng)擁有一個對應的位置，而采集到的海洋測繪數(shù)據(jù)會不間斷地傳送到這個位置上，同時會按照固定的時間間隔傳送到HDFS 文件系統(tǒng)中[4]。數(shù)據(jù)傳送到HDFS 文件系統(tǒng)的過程如圖2所示。

圖2 數(shù)據(jù)傳送到HDFS 文件系統(tǒng)的過程圖

3.2 數(shù)據(jù)挖掘分析

經過一系列的過程將采集到的海洋測繪數(shù)據(jù)上傳到HDFS 文件系統(tǒng)中后，就要面對存儲的大量的海洋測繪數(shù)據(jù)進行相應的數(shù)據(jù)挖掘分析，從而找到有價值并滿足相關需求的數(shù)據(jù)信息，而在這個過程中就會用到相應的數(shù)據(jù)挖掘工具。

數(shù)據(jù)挖掘工具的管理層主要作用是用于海洋測繪數(shù)據(jù)和用戶之間進行信息交互的交互界面，相關用戶通過借助數(shù)據(jù)挖掘工具的管理層，就可以實現(xiàn)對采集到的海洋測繪數(shù)據(jù)進行上傳、下載或者瀏覽等操作，從而對數(shù)據(jù)進行有效的處理。數(shù)據(jù)挖掘工具的計算層通常會給用戶提供常用的數(shù)據(jù)挖掘分析算法，用戶通過使用相應的和數(shù)據(jù)挖掘分析算法，就可以對大量的海洋測繪數(shù)據(jù)進行相應的計算，從而得到自己需要的數(shù)據(jù)信息。而用戶通過數(shù)據(jù)挖掘工具的存儲層，可以借助HDFS 文件系統(tǒng)對海洋測繪數(shù)據(jù)相關的文件進行很好的保存，并且在存儲大量的海洋測繪數(shù)據(jù)的同時，也能夠實現(xiàn)數(shù)據(jù)的冗余備份。

通常在進行數(shù)據(jù)挖掘的時候，Hadoop 分布式計算平臺中的HDFS 分布式文件系統(tǒng)內，并沒有與之相關的文件，這個時候就需要將海洋測繪數(shù)據(jù)上傳到HDFS 文件系統(tǒng)中。在對大量的海洋測繪數(shù)據(jù)進行相應的數(shù)據(jù)挖掘后，就會得到相應的中間文件和結果文件，這兩種文件也都是保存在HDFS 文件系統(tǒng)中，如果用戶想要在本地對這些文件進行訪問來獲取相應的信息，就需要再將這些文件下載到本地的文件系統(tǒng)中，然后進行相應的查詢[5]。

4 結束語

由于我國的海洋面積遼闊，在進行海洋測繪的過程中就會出現(xiàn)種類繁多并且復雜的數(shù)據(jù)，海量的海洋測繪數(shù)據(jù)在存儲方面也是值得重點關注的問題，而在當今計算機信息技術和物聯(lián)網技術快速發(fā)展的背景下，大數(shù)據(jù)技術已經普遍的應用于社會中的多個領域，在數(shù)據(jù)的處理方面表現(xiàn)出強大的能力。

在本文中介紹了在海洋測繪過程中所應用到的大數(shù)據(jù)技術，對目前情況下常常用到的大數(shù)據(jù)技術做了相應的介紹，其中應用最廣泛的是大數(shù)據(jù)技術是Hadoop 技術。用戶可以很好地對采集到的海洋測繪數(shù)據(jù)進行存儲、處理等操作，在海洋測繪數(shù)據(jù)的處理上表現(xiàn)出了很大的優(yōu)勢。本研究結論針對海量的海洋測繪數(shù)據(jù)所存在的復雜性、異構性，采用具有并行存儲、分布數(shù)計算等特點的大數(shù)據(jù)技術，能夠幫助用戶有效地解決海洋測繪數(shù)據(jù)所存在的問題，從而為海洋資源的開發(fā)和利用提供相應的保障。