基于云存儲的海量海洋監(jiān)測數(shù)據(jù)平臺設計

趙芳云，張明富（貴州工程應用技術學院 信息工程學院，貴州 畢節(jié) 551700）

基于云存儲的海量海洋監(jiān)測數(shù)據(jù)平臺設計

趙芳云，張明富
（貴州工程應用技術學院 信息工程學院，貴州 畢節(jié) 551700）

海洋監(jiān)測數(shù)據(jù)規(guī)模較大，當前平臺處理數(shù)據(jù)能力較低，無法有效處理海量海洋監(jiān)測數(shù)據(jù)，不能滿足監(jiān)控實時性的要求，為此，設計一種基于云存儲的海量海洋監(jiān)測數(shù)據(jù)平臺，給出了平臺的總體結構，主要包括海洋數(shù)據(jù)監(jiān)測子系統(tǒng)和云存儲子系統(tǒng)。針對海洋數(shù)據(jù)監(jiān)測子系統(tǒng)，詳細分析了數(shù)據(jù)采集卡、傳感器、AD7606 芯片的設計過程，傳感器將得到的海洋監(jiān)測數(shù)據(jù)發(fā)送至數(shù)據(jù)采集卡中，采集卡將結果傳輸至 AD7076 芯片中，對數(shù)據(jù)進行處理，將處理后的結果存儲至云存儲子系統(tǒng)中。針對云存儲子系統(tǒng)，給出了其詳細架構和工作流程，設計了關鍵的實現(xiàn)代碼。實驗結果表明，所設計系統(tǒng)具有較高的運行效率，且采集的海洋數(shù)據(jù)較真實，監(jiān)測結果可靠。

云存儲；海量；監(jiān)測數(shù)據(jù)；平臺

0　引 言

海洋在地球上所占的面積超過 70％，蘊藏著非常豐富的資源，但近年來，隨著人們大規(guī)模開發(fā)利用海洋資源，部分海域赤潮頻發(fā)，對人們的生命財產(chǎn)安全造成了很大威脅［1-3］。所以，研究一種有效的海洋監(jiān)測數(shù)據(jù)平臺具有重要意義，已經(jīng)成為相關學者研究的重點課題，受到越來越廣泛的關注［4-6］。

目前，有關海洋監(jiān)測數(shù)據(jù)平臺的研究有很多，相關研究也取得了一定成果，其中，文獻［7］提出一種基于閾值的海洋數(shù)據(jù)監(jiān)測方法，該方法對海洋數(shù)據(jù)的變化幅度進行閾值約束，若采集到的海洋數(shù)據(jù)變化幅值高于既定閾值，則認為可能會出現(xiàn)赤潮現(xiàn)象。采用該方法對海洋數(shù)據(jù)進行監(jiān)測實現(xiàn)過程較為簡單，但閾值的確定沒有精確方法，只能依靠經(jīng)驗，導致監(jiān)測結果可靠性低。文獻［8］提出一種基于模糊邏輯的海洋數(shù)據(jù)監(jiān)測方法，該方法針對不同傳感器建立獨立的模糊邏輯模型，用模糊規(guī)則代替實際值的海洋數(shù)據(jù)，通過模糊推理對節(jié)點的狀態(tài)進行決策，從而實現(xiàn)海洋數(shù)據(jù)的監(jiān)測。該方法運行時間較短，但需給出用于判斷海洋數(shù)據(jù)是否存在赤潮現(xiàn)象的模糊規(guī)則，導致監(jiān)測結果不準確；文獻［9］提出一種基于成分分析的海洋數(shù)據(jù)監(jiān)測方法，該方法首先針對赤潮海洋數(shù)據(jù)構建一組特征流，利用得到的特征流對海洋數(shù)據(jù)進行分析，從而實現(xiàn)海洋數(shù)據(jù)的監(jiān)測。然而該方法在進行層次分析時，不能準確得到多個海洋數(shù)據(jù)特征之間的聯(lián)系，導致最終得到的監(jiān)測結果較為粗糙，無法達到精度要求；文獻［10］提出一種基于模擬信號的監(jiān)測方法，該方法對赤潮信號進行模擬，獲取其特征信息，將得到的特征信息和海洋數(shù)據(jù)進行比對，從而實現(xiàn)海洋數(shù)據(jù)的監(jiān)測。但該方法監(jiān)測形式過于單一，且運行時間較長，不適于實際應用。

針對上述方法的弊端，本文設計一種基于云存儲的海量海洋監(jiān)測數(shù)據(jù)平臺，給出了平臺的總體結構，主要包括海洋數(shù)據(jù)監(jiān)測子系統(tǒng)和云存儲子系統(tǒng)。實驗結果表明，所設計系統(tǒng)具有較高的運行效率，且采集的海洋數(shù)據(jù)較真實，監(jiān)測結果可靠。

1　基于云存儲的海量海洋監(jiān)測數(shù)據(jù)平臺總體設計

海洋監(jiān)測數(shù)據(jù)平臺與其他信息平臺不同，其整個設計、監(jiān)理、實施均是以海洋資源這一特殊工業(yè)生產(chǎn)背景為核心展開的。所以，為了使基于云存儲的海量海洋監(jiān)測數(shù)據(jù)平臺最終能夠實現(xiàn)業(yè)務化運行，平臺的設計必須以標準的海洋數(shù)據(jù)監(jiān)測流程為依據(jù)，所設計平臺總體結構如圖1所示。

圖1　平臺總體結構圖Fig.1　Platform overall structure

如圖1所示，所設計的基于云存儲的海量海洋監(jiān)測數(shù)據(jù)平臺主要包括海洋數(shù)據(jù)監(jiān)測子系統(tǒng)和云存儲子系統(tǒng) 2 部分。平臺工作原理如下：傳感器將得到的海洋監(jiān)測數(shù)據(jù)發(fā)送至數(shù)據(jù)采集卡中，采集卡將結果傳輸至 AD7076 芯片中，對數(shù)據(jù)進行處理，將處理后的結果存儲至云存儲子系統(tǒng)中。

2　海洋數(shù)據(jù)監(jiān)測子系統(tǒng)設計

海洋數(shù)據(jù)監(jiān)測子系統(tǒng)為整個平臺的基礎，主要包括數(shù)據(jù)采集模塊、數(shù)據(jù)集成模塊和傳感器，子系統(tǒng)結構用圖2進行描述。

如圖2所示，數(shù)據(jù)采集模塊通過和傳感器的交互實現(xiàn)海洋數(shù)據(jù)的采集和監(jiān)測，將采集到的數(shù)據(jù)傳輸至AD7606 芯片中，進行集成數(shù)據(jù)處理，最后將處理結果發(fā)送至上層監(jiān)測臺站。

圖2　海洋數(shù)據(jù)監(jiān)測子系統(tǒng)Fig.2　Platform overall structure

2.1傳感器設計

本節(jié)選用 SHT75 傳感器對海洋數(shù)據(jù)（例如溫度、鹽度、浮游生物含量等）進行采集，SHT75 傳感器采用專利的工業(yè) COMS 過程微加工技術，能夠保證海洋數(shù)據(jù)的采集精度。SHT75 傳感器電路圖如圖3所示。

如圖3所示，SHT75 傳感器中含有 1個電容式聚合體測鹽度元件、1個能隙式測溫度元件和 1個電壓式測浮游生物含量元件，通過 1個 14 位的A/D 轉換器將得到的測試結果統(tǒng)一轉換成數(shù)值的形式進行輸出。SHT75 傳感器體積小、能耗低，完全符合平臺的設計要求。

圖3　SHT75傳感器電路圖Fig.3　SHT75 sensor circuit diagram

2.2數(shù)據(jù)采集卡設計

選用由 NI 公司生產(chǎn)的PCI-6224 數(shù)據(jù)采集卡，其是一款依據(jù) PCI 總線的多功能數(shù)據(jù)采集卡，能夠采集 32路模擬信號，工作原理如圖4所示：

系統(tǒng)要求數(shù)據(jù)采集卡能夠同步采集 64 路數(shù)字信號，同時實現(xiàn)外部觸發(fā)功能，而 PCI6224的數(shù)字口沒有時鐘源，也沒有觸發(fā)功能，且只能采集 32 路模擬信號，所以本節(jié)采用外部觸發(fā)的形式對采集卡進行控制。采集卡 1 將自身輸出脈沖頻率看作是外部時鐘源，采集卡 2的接線端子經(jīng)外部連線和采集卡 1的接線端子相連，利用軟件編程對 PC 機進行管理，從而保證采集卡 2的同步采集。

圖4　數(shù)據(jù)采集卡工作原理圖Fig.4　Working principle of the data acquisition card

2.3AD7606 芯片內(nèi)部結構設計

AD7606 芯片為數(shù)據(jù)集成模塊的核心，主要用于接收不同數(shù)據(jù)采集卡的現(xiàn)場監(jiān)測數(shù)據(jù)，同時具備數(shù)據(jù)校驗、匯總功能。

AD7606 芯片主要由 ADC、采集保持器構成，片外提供 5 V 基準參考電壓、基準緩沖器以及高速的并行接口。詳細電路如圖5所示。

圖5　AD7606芯片電路圖Fig.5　AD7606 chip circuit diagram

AD7606 芯片 CPU 選用 DSP28335，DSP28335 利用GPIO 引腳為 AD7606 提供 PWM 信號，也就是轉換信號。

AD7606的工作過程如下：開始對數(shù)據(jù)進行處理后，控制邏輯電路首先將寄存器的最高位置 1，其地位置 0，通過模數(shù)轉換器對其進行轉換獲取電壓值。將該值和輸入信號相比，在下一次比較前對其進行修正，直至完成最低有效位數(shù)據(jù)的處理。

3　云存儲子系統(tǒng)設計

3.1云存儲子系統(tǒng)架構

海洋監(jiān)測數(shù)據(jù)規(guī)模大，平臺自身處理能力不足，因此，本節(jié)引入云存儲子系統(tǒng)。針對海量海洋監(jiān)測數(shù)據(jù)平臺的實際需要，本節(jié)設計了1 種云存儲架構，如圖6所示。

圖6　云存儲子系統(tǒng)架構圖Fig.6　Cloud storage subsystem architecture diagram

分析圖6可知，云存儲子系統(tǒng)架構主要包括訪問層、應用接口層、基礎管理層和存儲層。下面進行詳細分析。

第1層為最底層的存儲層，該層是一個海洋數(shù)據(jù)中心，為構建云存儲架構的基礎，主要由服務器、存儲器與網(wǎng)絡設施等構成。存儲層利用底層的存儲管理平臺使海量海洋數(shù)據(jù)被保存至各存儲設備，通常采用的存儲設備是價格較低的PC 機，它們利用高速網(wǎng)絡互聯(lián)。

第2層為基礎管理層，該層主要負責提供操作系統(tǒng)服務，為云存儲子系統(tǒng)的核心，也是最難實現(xiàn)的部分。基礎管理層利用集群、海洋數(shù)據(jù)分布式文件系統(tǒng)與邏輯管理等技術，使多個存儲設備協(xié)同工作，對外提供相同的服務，增強海量海洋數(shù)據(jù)的訪問性能。

第3層為應用接口層，該層為海洋數(shù)據(jù)專線局域網(wǎng)與數(shù)據(jù)庫層的數(shù)據(jù)接口。接口層首先對用戶的需求進行分析，依據(jù)具體的需求提供相應的服務接口，使用戶得到需要的服務，該層為云存儲架構最靈活的部分。

第4層為訪問層，負責提供自助管理軟件服務，主要包括輔助決策展示服務、優(yōu)化路徑展示服務、共享海洋數(shù)據(jù)資源服務、海洋數(shù)據(jù)備份服務、監(jiān)控臺站服務、海量海洋數(shù)據(jù)融合服務等。訪問層能夠為用戶提供專用的計算環(huán)境，使用戶完全擁有海洋數(shù)據(jù)與程序的控制權。所有授權用戶均可登錄訪問云存儲子系統(tǒng)，享受云存儲服務。

3.2云存儲子系統(tǒng)流程

云存儲子系統(tǒng)利用內(nèi)部 IP 地址完成海量海洋數(shù)據(jù)的傳輸與交互，使得用戶運行的應用程序在各種實例間均可互相處理通信資源，提高工作效率。為了通過云存儲子系統(tǒng)實現(xiàn)海量海洋實時監(jiān)測數(shù)據(jù)的處理，并且實時解析數(shù)據(jù)流中的屬性值保存到不同類型海洋專題數(shù)據(jù)庫，本節(jié)設計的云存儲子系統(tǒng)工作流程用圖7所示。

圖7　云存儲子系統(tǒng)流程圖Fig.7　The flow chart of cloud storage subsystem

3.3關鍵代碼設計

依據(jù)上述分析的云存儲子系統(tǒng)流程圖對云存儲代碼進行設計，部分關鍵代碼如下：

object

div style=text-indent：2em；

//驗證用戶身份

font color=red；

div style=text-indent：2-9；

//限制文件大小

div class="wikiClear"；

div style=margin-top：10px；

span class="btn btn-guide" style="float：left；

//開始存儲

divclass="like" style=margin-top：0；

class=bdlikebutton；

div class=bdlikebutton-inner；

div id="dislike"；

style=margin-top：4px；display：block；end。

4　實驗結果分析

4.1實驗運行環(huán)境

為了驗證本文設計的基于云存儲的海量海洋監(jiān)測數(shù)據(jù)平臺的有效性，需要進行相關的實驗分析。實驗將嵌入式平臺作為對比，在圖8描述的環(huán)境下進行實驗分析。

圖8　實驗環(huán)境圖Fig.8　Experimental environment

為了便于實驗分析，通過數(shù)據(jù)生成工具 DatGen 生成海洋赤潮監(jiān)測要素的種類與范圍。實驗環(huán)境如下：中心站點選用 Intel 奔 PC 機，本地站點由 sitsang 開發(fā)板于 Intel 奔 PC 機構成。

4.2運行時間測試

運行時間是衡量平臺運行效率的重要指標，在圖8描述的實驗環(huán)境中，分別采用本文平臺和嵌入式平臺對海量海洋數(shù)據(jù)進行監(jiān)測，得到的結果如圖9所示。

圖9　兩種平臺運行時間比較Fig.9　Two platforms running time

分析圖9可以看出，隨著待監(jiān)測海洋數(shù)據(jù)量的逐漸增加，本文平臺和嵌入式平臺的運行時間均逐漸升高。但和嵌入式平臺相比，本文平臺的增長幅度明顯更低，說明本文平臺的運行時間較短，運行效率較高。

4.3交互數(shù)據(jù)量測試

在實際的海洋監(jiān)測環(huán)境中，復雜的外界條件可能會引起較長的時間延遲，大大降低海洋數(shù)據(jù)監(jiān)測的實時性，因此，需對平臺交互數(shù)據(jù)量進行測試，交互數(shù)據(jù)量越大，反映的海洋數(shù)據(jù)分布越真實，得到的監(jiān)測結果越準確。表1描述的是 2 種平臺監(jiān)測過程中產(chǎn)生的交互數(shù)據(jù)量與準確率。

分析表1可看出，不論數(shù)據(jù)集數(shù)量的多少，本文平臺的交互數(shù)據(jù)量一直高于嵌入式平臺，說明本文平臺采集的海洋數(shù)據(jù)分布更加真實。

表1　兩種平臺交互數(shù)據(jù)量比較結果Tab.1 Two platforms，interactive data comparison results

4.4海洋數(shù)據(jù)監(jiān)測結果比較

圖10為本文平臺和嵌入式平臺與實際海洋數(shù)據(jù)監(jiān)測結果的比較圖。

分析圖10 可知，采用本文平臺對海洋數(shù)據(jù)進行監(jiān)測共出現(xiàn)了2次赤潮，和實際監(jiān)測結果相同。而嵌入式平臺的監(jiān)測結果中只出現(xiàn)了1次赤潮，和實際結果不符。說明本文平臺的監(jiān)測結果更加可靠。

圖10　監(jiān)測結果比較圖Fig.10　Monitoring results comparison chart

5　結 語

本文設計了一種基于云存儲的海量海洋監(jiān)測數(shù)據(jù)平臺，給出了平臺的總體結構，主要包括海洋數(shù)據(jù)監(jiān)測子系統(tǒng)和云存儲子系統(tǒng)。針對海洋數(shù)據(jù)監(jiān)測子系統(tǒng)，詳細分析了數(shù)據(jù)采集卡、傳感器、AD7606 芯片的設計過程，傳感器將得到的海洋監(jiān)測數(shù)據(jù)發(fā)送至數(shù)據(jù)采集卡中，采集卡將結果傳輸至 AD7076 芯片中，對數(shù)據(jù)進行處理，將處理后的結果存儲至云存儲子系統(tǒng)中。針對云存儲子系統(tǒng)，給出了其詳細架構和工作流程，設計了關鍵的實現(xiàn)代碼。實驗結果表明，所設計系統(tǒng)具有較高的運行效率，且采集的海洋數(shù)據(jù)較真實，監(jiān)測結果可靠。

［1］張海山.基于云存儲視頻監(jiān)控系統(tǒng)的研究［J］.電子設計工程，2015，23（10）：169-171.ZHANG Hai-shan.Research of video surveillance system based on cloud storage［J］.Electronic Design Engineering，2015，23（10）：169-171.

［2］黃冬梅，隨宏運，賀琪，等.云計算環(huán)境下基于數(shù)據(jù)關聯(lián)度的海洋監(jiān)測大數(shù)據(jù)布局策略［J］.計算機工程與科學，2015，37（11）：1989-1996.HUANG Dong-mei，SUI Hong-yuan，HE Qi，et al.A marine monitoring big data placement strategy in cloud computing environment based on data dependency［J］.Computer Engineering and Science，2015，37（11）：1989-1996.

［3］李林陽，呂志平，陳正生，等.海量連續(xù)運行參考站網(wǎng)數(shù)據(jù)云存儲模型［J］.導航定位學報，2014，2（3）：64-70，86.LI Lin-yang，LV Zhi-ping，CHEN Zheng-sheng，et al.Cloud storage model of massive continuous operating reference station system data［J］.Journal of Navigation and Positioning，2014，2（3）：64-70，86.

［4］雷德龍，郭殿升，陳崇成，等.基于MongoDB的矢量空間數(shù)據(jù)云存儲與處理系統(tǒng)［J］.地球信息科學學報，2014，16（4）：507-516.LEI De-long，GUO Dian-sheng，CHEN Chong-cheng，et al.Vector spatial data cloud storage and processing based on MongoDB［J］.Journal of Geo-information Science，2014，16（4）：507-516.

［5］徐芳辰，沈蘇彬.一種基于OpenStack的云存儲方案［J］.計算機技術與發(fā)展，2015，25（11）：76-81，86.XU Fang-chen，SHEN Su-bin.A cloud storage solution based on OpenStack［J］.Computer Technology and Development，2015，25（11）：76-81，86.

［6］屈志堅，陳閣.容錯存儲的電力系統(tǒng)監(jiān)測數(shù)據(jù)查詢優(yōu)化技術［J］.電網(wǎng)技術，2015，39（11）：3221-3227.QU Zhi-jian，CHEN Ge.Query optimization for power system monitoring data with fault-tolerant storage［J］.Power System Technology，2015，39（11）：3221-3227.

［7］杜雅杰，姚炎明，焦建格.基于數(shù)值模擬的海洋水質監(jiān)測數(shù)據(jù)同步化研究［J］.科技通報，2015，31（3）：258-262.DU Ya-jie，YAO Yan-ming，JIAO Jian-ge.Study on synchronization of the sea water quality monitoring data based on numerical simulation［J］.Bulletin of Science and Technology，2015，31（3）：258-262.

［8］李浩琦，王海斌，汪俊.基于CUDA的海洋監(jiān)測數(shù)據(jù)并行壓縮技術研究［J］.海洋技術學報，2014，33（1）：39-44.LI Hao-qi，WANG Hai-bin，WANG Jun.Study on the parallel compression technique for marine monitoring data based on CUDA［J］.Journal of Ocean Technology，2014，33（1）：39-44.

［9］王斌，葉穎，郭海，等.基于混合通信的海洋環(huán)境綜合監(jiān)測系統(tǒng)軟件設計［J］.計算機測量與控制，2015，23（12）：4225-4228.WANG Bin，YE Ying，GUO Hai，et al.Design of ocean environment comprehensive monitoring system software based on multi-communication［J］.Computer Measurement & Control，2015，23（12）：4225-4228.

［10］周恩光，李舟軍，郭華，等.一個改進的云存儲數(shù)據(jù)完整性驗證方案［J］.電子學報，2014，42（1）：150-154.ZHOU En-guang，LI Zhou-jun，GUO Hua，et al.An improved data integrity verification scheme in cloud storage system［J］.Acta Electronica Sinica，2014，42（1）：150-154.

Based on monitoring data of vast ocean cloud storage platform design

ZHAO Fang-yun，ZHANG Ming-fu
（Guizhou University of Engineering Science，School of Information Engineering，Bijie 551700，China）

The large scale marine monitoring data，the current platform data processing ability is low，cannot effectively handle huge amounts of marine monitoring data，cannot satisfy the requirement of monitoring real time，therefore，we design a massive marine monitoring data based on cloud storage platform，presented the general structure of the platform，mainly including marine data monitoring subsystem and the cloud storage subsystem.In view of the ocean data monitoring subsystem，detailed analysis of the data acquisition card，sensors，AD7606 chip design process，marine monitoring data of the sensor will be sent to the data acquisition card，the acquisition card to transmit the results to AD7076 chip to deal with data，the processed results stored to cloud storage subsystem.For the cloud storage subsystem，gives the detailed structure and working process，design the key implementation code.Experimental results show that the designed system has high efficiency，and ocean data is real，reliable monitoring results.

cloud storage；mass；monitoring data；platform

TP393

A

1672-7619（2016）07-0143-06

10.3404/j.issn.1672-7619.2016.07.032

2016-05-06

貴州省科學技術基金資助項目（黔科合LH字［2014］7536號）；西南大學基本科研業(yè)務費專項資金資助項目（XDJK2014C109）

趙芳云（1975-），女，碩士，副教授，研究方向為物聯(lián)網(wǎng)技術與嵌入式系統(tǒng)。