海洋3S數(shù)據(jù)存儲(chǔ)處理系統(tǒng)研究

趙樹(shù)平　禹小弦

摘要：針對(duì)大量海洋3S數(shù)據(jù)的存儲(chǔ)處理復(fù)雜和低效率的問(wèn)題，提出了一種海洋3S數(shù)據(jù)存儲(chǔ)處理的設(shè)計(jì)方案。該系統(tǒng)通過(guò)海洋遙感ORS連續(xù)影像處理和GPS立體測(cè)量，建立三維形狀模型，然后提取目標(biāo)特征更新海洋地理系統(tǒng)MGIS的數(shù)據(jù)，并將收集到的海洋3S數(shù)據(jù)通過(guò)Hadoop架構(gòu)的HDFS進(jìn)行存儲(chǔ)、MapReduce進(jìn)行處理。該系統(tǒng)運(yùn)用Hadoop技術(shù)進(jìn)行海洋3S數(shù)據(jù)存儲(chǔ)與處理并提供了可行性的方案。

關(guān)鍵詞：海洋3S數(shù)據(jù);存儲(chǔ)處理;Hadoop;HDFS;MapReduce

中圖分類號(hào)：P73 ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2019）13-0003-03

Abstract： Aiming at the complexity and low efficiency of storage processing of a large number of marine 3S data， a design scheme of marine 3S data storage processing is proposed. The system uses the remote sensing ORS continuous image processing and GPS stereo measurement to establish a three-dimensional shape model， and then extracts the target feature to update the marine geographic system MGIS data， and collects the collected marine 3S data through the Hadoop architecture HDFS for storage and MapReduce processing. The system uses Hadoop technology to store and process marine 3S data and provides a viable solution.

Key words： Marine 3S data; storage processing; Hadoop; HDFS; MapReduce

隨著人們對(duì)海洋環(huán)境和資源的高度重視，越來(lái)越多的海洋數(shù)據(jù)被大量發(fā)掘出來(lái)，包括水文信息，還有地形，地貌等地質(zhì)數(shù)據(jù)，還有各種衛(wèi)星遙感和浮標(biāo)等獲得的海洋數(shù)據(jù)。海洋3S數(shù)據(jù)是通過(guò)海洋遙感ORS采集或通過(guò)海洋中的各種傳感器捆綁GPS定位數(shù)據(jù)采集和海洋遙感ORS數(shù)據(jù)及GPS定位數(shù)據(jù)通過(guò)海洋地理系統(tǒng)MGIS分析處理得到的綜合海洋數(shù)據(jù)。它具有屬性多樣性，動(dòng)態(tài)不穩(wěn)定性，復(fù)雜性和無(wú)序性等特點(diǎn)[1-4]。

本文主要是以大量海洋3S數(shù)據(jù)作為基礎(chǔ)，結(jié)合海洋3S數(shù)據(jù)和Hadoop，構(gòu)建一個(gè)簡(jiǎn)單的包含數(shù)據(jù)的存儲(chǔ)部分以及數(shù)據(jù)的處理部分的海洋3S數(shù)據(jù)存儲(chǔ)處理系統(tǒng)的整體框架[5-7]。

1 海洋3S數(shù)據(jù)存儲(chǔ)處理系統(tǒng)框圖

海洋3S數(shù)據(jù)存儲(chǔ)處理系統(tǒng)分為數(shù)據(jù)收集模塊、數(shù)據(jù)在HDFS存儲(chǔ)模塊、數(shù)據(jù)轉(zhuǎn)換模塊和MapReduce數(shù)據(jù)處理模塊。數(shù)據(jù)收集模塊是以海洋3S技術(shù)探測(cè)為背景，通過(guò)連續(xù)影像處理和立體測(cè)量，建立三維形狀模型，然后提取目標(biāo)特征更新MGIS數(shù)據(jù)并獲得數(shù)據(jù)，并將收集到的海洋3S數(shù)據(jù)按照特定的原則暫時(shí)存儲(chǔ)在本地上;數(shù)據(jù)在HDFS上的存儲(chǔ)模塊包含了數(shù)據(jù)存儲(chǔ)功能和重復(fù)數(shù)據(jù)的刪除功能。所有監(jiān)測(cè)獲取的數(shù)據(jù)文件最終都會(huì)自動(dòng)存儲(chǔ)進(jìn)HDFS分布式文件系統(tǒng)中。如果在傳輸過(guò)程中遇到被破損的文件或者重復(fù)多次傳輸?shù)那闆r，那么為了節(jié)省HDFS的有限存儲(chǔ)空間，此模塊將對(duì)傳輸?shù)乃袛?shù)據(jù)進(jìn)行去重工作;數(shù)據(jù)轉(zhuǎn)換模塊是因?yàn)榇鎯?chǔ)在HDFS中的數(shù)據(jù)并不是接收所有格式的文件，因此，此模塊將不接收的數(shù)據(jù)格式，轉(zhuǎn)換為HDFS接收的數(shù)據(jù)格式，使數(shù)據(jù)正常進(jìn)入數(shù)據(jù)庫(kù)中。MapReduce處理模塊是轉(zhuǎn)換格式后的數(shù)據(jù)將在此模塊中進(jìn)行數(shù)據(jù)的格式轉(zhuǎn)換操作，并將數(shù)據(jù)傳入HDFS中存儲(chǔ)。根據(jù)海洋數(shù)據(jù)的不同種類進(jìn)行數(shù)據(jù)的處理，提供并保證了數(shù)據(jù)處理的功能[8-9]。

如圖1所示，此系統(tǒng)可以看成4個(gè)層次，由上至下分別為數(shù)據(jù)層，過(guò)渡層，處理層，存儲(chǔ)層[10]。。首先數(shù)據(jù)層是通過(guò)海洋遙感及GPS精確定位對(duì)海洋3S數(shù)據(jù)進(jìn)行初始的收集以及對(duì)其數(shù)據(jù)進(jìn)行相應(yīng)的簡(jiǎn)單處理并進(jìn)行物理上的存儲(chǔ)，在過(guò)渡層，可以輸入的格式將直接通過(guò)DFS外殼的過(guò)渡將數(shù)據(jù)轉(zhuǎn)到HDFS中存儲(chǔ)，不可以輸入的格式將會(huì)通過(guò)數(shù)據(jù)格式的轉(zhuǎn)換后轉(zhuǎn)到HDFS中存儲(chǔ)，起到了對(duì)服務(wù)的過(guò)渡以及相應(yīng)的格式轉(zhuǎn)換調(diào)用的作用，而處理層包括MapReduce，它與HDFS的數(shù)據(jù)相互交互以及共同作用是對(duì)海洋數(shù)據(jù)進(jìn)行高效處理的主要部分，同時(shí)也擁有著存儲(chǔ)的作用，處理完的所有的數(shù)據(jù)最終都會(huì)存儲(chǔ)在HDFS上，最后放在存儲(chǔ)層上的為HDFS服務(wù)器，其中存儲(chǔ)著所有的數(shù)據(jù)。在對(duì)數(shù)據(jù)進(jìn)行存儲(chǔ)處理的過(guò)程中，應(yīng)該先把所有通過(guò)監(jiān)測(cè)點(diǎn)收集到的數(shù)據(jù)全部存儲(chǔ)到HDFS分布式文件存儲(chǔ)系統(tǒng)中，對(duì)數(shù)據(jù)進(jìn)行去重的操作， 然后進(jìn)行數(shù)據(jù)格式的轉(zhuǎn)換和轉(zhuǎn)換后數(shù)據(jù)的處理操作，并根據(jù)查詢條件MapReduce實(shí)現(xiàn)對(duì)數(shù)據(jù)的查詢操作。

2 海洋3S數(shù)據(jù)存儲(chǔ)處理軟件流程圖

2.1 數(shù)據(jù)存儲(chǔ)軟件流程圖

海洋3S數(shù)據(jù)存儲(chǔ)部分采用了主從結(jié)構(gòu)，此部分包含有一個(gè)主元數(shù)據(jù)節(jié)點(diǎn)，一個(gè)輔助元數(shù)據(jù)節(jié)點(diǎn)和幾個(gè)數(shù)據(jù)分節(jié)點(diǎn)。主元數(shù)據(jù)節(jié)點(diǎn)是整個(gè)HDFS的主節(jié)點(diǎn)，有且只能有一個(gè)，其中存儲(chǔ)著HDFS的元數(shù)據(jù)信息。它的作用多且強(qiáng)大，它可以用來(lái)管理文件的數(shù)據(jù)信息，如文件的屬性、大小、位置、名稱等;在用戶對(duì)文件的修改、刪除、增加等操作的相關(guān)部分信息也可以起到維護(hù)的作用，同時(shí)保持文件與數(shù)據(jù)塊之間的對(duì)應(yīng)關(guān)系也可以用到它。輔助元數(shù)據(jù)節(jié)點(diǎn)雖然可以看作是主元數(shù)據(jù)節(jié)點(diǎn)的備份，但并不是主元數(shù)據(jù)節(jié)點(diǎn)的備份，因?yàn)楫?dāng)主元數(shù)據(jù)節(jié)點(diǎn)出現(xiàn)故障時(shí)，輔助元數(shù)據(jù)節(jié)點(diǎn)并不能迅速、徹底頂替它的位置。輔助元數(shù)據(jù)節(jié)點(diǎn)會(huì)定期合并元數(shù)據(jù)信息，并推送給主元數(shù)據(jù)節(jié)點(diǎn)，當(dāng)主元數(shù)據(jù)節(jié)點(diǎn)出現(xiàn)故障時(shí)，它會(huì)暫時(shí)接替主元數(shù)據(jù)節(jié)點(diǎn)繼續(xù)進(jìn)行工作。 數(shù)據(jù)分節(jié)點(diǎn)是HDFS中的從屬節(jié)點(diǎn)，存儲(chǔ)實(shí)際的數(shù)據(jù)塊并執(zhí)行數(shù)據(jù)塊的讀寫(xiě)功能。HDFS客戶端可以實(shí)現(xiàn)數(shù)據(jù)的等量拆分，它是通過(guò)與主元數(shù)據(jù)節(jié)點(diǎn)之間的相互交流來(lái)確定文件的具體位置信息，還通過(guò)與數(shù)據(jù)分節(jié)點(diǎn)的相互交流來(lái)讀寫(xiě)入數(shù)據(jù)。在HDFS當(dāng)中，文件會(huì)被分割為很多的等大的數(shù)據(jù)塊，且這些數(shù)據(jù)塊的默認(rèn)值為64MB，所有的數(shù)據(jù)塊會(huì)根據(jù)特定的方案存儲(chǔ)在數(shù)據(jù)分節(jié)點(diǎn)上，同時(shí)，這些數(shù)據(jù)文件的存儲(chǔ)位置以及相關(guān)信息會(huì)記入主元數(shù)據(jù)節(jié)點(diǎn)中，如果其中有分節(jié)點(diǎn)出了問(wèn)題，可以在其他的節(jié)點(diǎn)中獲取一樣的數(shù)據(jù)。具體存儲(chǔ)過(guò)程為，首先，數(shù)據(jù)分節(jié)點(diǎn)1以數(shù)據(jù)包的形式從HDFS客戶端收進(jìn)數(shù)據(jù)時(shí)會(huì)立刻在本地存儲(chǔ)，同時(shí)給數(shù)據(jù)分節(jié)點(diǎn)2傳送數(shù)據(jù)，同樣當(dāng)數(shù)據(jù)分節(jié)點(diǎn)2收到數(shù)據(jù)時(shí)在本地存儲(chǔ)并發(fā)給數(shù)據(jù)分節(jié)點(diǎn)3，以此類推，數(shù)據(jù)包就會(huì)被所有的數(shù)據(jù)分節(jié)點(diǎn)備份上，那么所有數(shù)據(jù)分節(jié)點(diǎn)都收到數(shù)據(jù)后都會(huì)向自己的前一個(gè)數(shù)據(jù)分節(jié)點(diǎn)發(fā)一個(gè)確認(rèn)消息，直到數(shù)據(jù)分節(jié)點(diǎn)1發(fā)送給HDFS客戶端，此時(shí)，HDFS客戶端會(huì)與主元數(shù)據(jù)節(jié)點(diǎn)進(jìn)行數(shù)據(jù)存儲(chǔ)到所有節(jié)點(diǎn)的相互確認(rèn)。

數(shù)據(jù)存儲(chǔ)流程圖見(jiàn)圖2，數(shù)據(jù)監(jiān)測(cè)點(diǎn)采集到數(shù)據(jù)后先把數(shù)據(jù)放在本地，然后將海洋數(shù)據(jù)存儲(chǔ)到HDFS上面，系統(tǒng)通過(guò)Hadoop提供的接口把本地獲取的3S數(shù)據(jù)上傳并存儲(chǔ)到HDFS上。每個(gè)監(jiān)測(cè)點(diǎn)都作為一個(gè)端口，將海洋3S數(shù)據(jù)上傳到HDFS端口中，實(shí)時(shí)更新中的數(shù)據(jù)文件們將被監(jiān)測(cè)點(diǎn)收集并不間斷存儲(chǔ)進(jìn)特定的文件中。因?yàn)閿?shù)據(jù)是在不斷更新中的，所以要設(shè)置一個(gè)合理的時(shí)間間隔，那么每到達(dá)一次指定時(shí)間，數(shù)據(jù)就會(huì)從本地再次向HDFS通道進(jìn)行數(shù)據(jù)的存儲(chǔ)。并且在確認(rèn)文件存儲(chǔ)完成時(shí)直接刪除已經(jīng)進(jìn)行過(guò)操作的本地文件。按照上面的過(guò)程反復(fù)執(zhí)行，可以將實(shí)時(shí)更新的數(shù)據(jù)，準(zhǔn)時(shí)、高效的存儲(chǔ)到HDFS中[11-15]。

首先收集的文件開(kāi)始存儲(chǔ)，因?yàn)閿?shù)據(jù)是在不斷地更新中，因此設(shè)置了一個(gè)時(shí)間的間隔，那么每到達(dá)這個(gè)時(shí)間間隔時(shí)將會(huì)進(jìn)行數(shù)據(jù)的更新同時(shí)再次存儲(chǔ)文件，此時(shí)要判斷文件是否存儲(chǔ)成功，如果不是，則直接結(jié)束并刪除掉數(shù)據(jù)，反之存儲(chǔ)成功則直接進(jìn)行本地文件存儲(chǔ)，并建立HDFS存儲(chǔ)通道，此時(shí)判斷該數(shù)據(jù)文件是否為可以讀取的信息，是則將本地文件存儲(chǔ)到HDFS通道后進(jìn)行下一批次的判斷，反復(fù)執(zhí)行，直到出現(xiàn)不是，然后結(jié)束存儲(chǔ)，并關(guān)閉HDFS的通道，同時(shí)直接刪除掉已經(jīng)成功存儲(chǔ)完成的本地文件數(shù)據(jù)，避免空間的過(guò)度浪費(fèi)。反復(fù)執(zhí)行以上操作，這樣可以實(shí)時(shí)的更新HDFS的數(shù)據(jù)，保證完整性以及準(zhǔn)確度。上述的流程，在存儲(chǔ)數(shù)據(jù)的過(guò)程中，系統(tǒng)的故障和網(wǎng)絡(luò)傳輸延遲都可能會(huì)導(dǎo)致發(fā)送處理中的數(shù)據(jù)的波動(dòng)，導(dǎo)致海洋3S數(shù)據(jù)文件被反復(fù)的上傳到HDFS中。這樣會(huì)極大浪費(fèi)存儲(chǔ)空間，所以在數(shù)據(jù)存儲(chǔ)之前需要進(jìn)行數(shù)據(jù)的檢查和去重工作，使每個(gè)文件在HDFS中只有一個(gè)，保證數(shù)據(jù)的唯一性。

2.2 數(shù)據(jù)處理軟件流程圖

數(shù)據(jù)處理部分以Map和Reduce為核心。首先是Map階段把輸入的數(shù)據(jù)按照標(biāo)準(zhǔn)切分，每個(gè)輸入分塊的大小都應(yīng)該是一樣的。在沒(méi)有手動(dòng)更改的情況下，數(shù)據(jù)塊的大小與輸入塊的大小是一樣的。如果以數(shù)據(jù)塊的大小是初始的默認(rèn)值64MB，輸入文件有兩個(gè)，一個(gè)大于64MB，一個(gè)小于64MB。那么大文件會(huì)分為兩個(gè)數(shù)據(jù)塊，也就是兩個(gè)分塊，而小的文件是一個(gè)分塊，一共會(huì)產(chǎn)生三個(gè)文件的分塊。每一個(gè)分塊會(huì)由一個(gè)Mapper進(jìn)程處理，三個(gè)數(shù)據(jù)分塊，就會(huì)有三個(gè)Mapper進(jìn)程處理。然后是對(duì)數(shù)據(jù)分塊中的內(nèi)容依靠一定的方法分解成為鍵值對(duì)，其中把每一行文本內(nèi)容解析成默認(rèn)規(guī)定的鍵值對(duì)， “鍵”是每行的初始位置，“值”是本行的內(nèi)容。接下來(lái)是運(yùn)用Map方法，在前面解析出來(lái)的每一個(gè)鍵值對(duì)，都使用一次Map方法，有多少個(gè)鍵值對(duì)就會(huì)使用多少次，每一次使用Map方法都會(huì)不定的輸出多個(gè)或者零個(gè)鍵值對(duì)。然后在一定的原則基礎(chǔ)上對(duì)上面得出的鍵值對(duì)進(jìn)行詳細(xì)分區(qū)，分區(qū)是基于鍵進(jìn)行的，相同的鍵值對(duì)放到一個(gè)區(qū)域中。在默認(rèn)的情況下只有一個(gè)區(qū)， Reduce任務(wù)運(yùn)行的數(shù)量與分區(qū)的數(shù)量有著直接的關(guān)系，因此默認(rèn)只有一個(gè)Reduce任務(wù)。下一步是對(duì)每個(gè)分區(qū)當(dāng)中的鍵值對(duì)進(jìn)行排序。按照鍵的優(yōu)先級(jí)比值高來(lái)進(jìn)行排序，那么對(duì)于鍵值對(duì)的鍵一樣的情況下，按照值的大小來(lái)進(jìn)行排序。

在上面的處理結(jié)束后，來(lái)到Reduce任務(wù)階段，首先Reduce任務(wù)會(huì)主動(dòng)從Mapper任務(wù)輸出的鍵值對(duì)復(fù)制，因?yàn)镸apper任務(wù)可能并不是只有一個(gè)，所以Reduce可能會(huì)復(fù)制多個(gè)Mapper的輸出作為輸入鍵值對(duì)。然后把整理得到的鍵值對(duì)復(fù)制到Reduce本地，把所有的鍵值對(duì)進(jìn)行合并，也就是把分散開(kāi)的數(shù)據(jù)合并成一個(gè)大的完整的數(shù)據(jù)，再次對(duì)合并后的數(shù)據(jù)進(jìn)行重新排序。最后將排序完成的鍵值對(duì)使用Reduce方法，鍵相等的鍵值對(duì)使用一次Reduce方法，每次使用都會(huì)產(chǎn)生零個(gè)或者多個(gè)鍵值對(duì)，最后把這些輸出的鍵值對(duì)寫(xiě)入到HDFS文件中。

數(shù)據(jù)處理的流程圖如圖3所示，開(kāi)始進(jìn)行數(shù)據(jù)處理，對(duì)NetCDF格式的數(shù)據(jù)的處理就是讀取出文件中的各種要素并且將讀取的數(shù)據(jù)保存成.txt格式的數(shù)據(jù)，所以先讀取了NetCDF數(shù)據(jù)，然后經(jīng)過(guò)Hadoop的處理平臺(tái)中的數(shù)據(jù)格式轉(zhuǎn)換模塊將無(wú)法讀取的格式的數(shù)據(jù)進(jìn)行數(shù)據(jù)格式的轉(zhuǎn)換，然后通過(guò)Map操作，將切分好的數(shù)據(jù)進(jìn)行并行處理后結(jié)合中間數(shù)據(jù)傳遞給Reduce，當(dāng)Reduce接到數(shù)據(jù)后再次進(jìn)行深層次的匯總處理工作，然后輸出判斷是否讀取完成，如果沒(méi)有讀取完成則重新反復(fù)地進(jìn)行數(shù)據(jù)處理操作，反之，將讀取完成的數(shù)據(jù)以不同的格式存儲(chǔ)到HDFS上，處理完成[16-20]。

3 結(jié)論

本文探討了海洋3S數(shù)據(jù)存儲(chǔ)與處理的可行性方案。首先將HDFS搭建在一個(gè)便宜的設(shè)備上面，然后采用HDFS分布式的存儲(chǔ)系統(tǒng)對(duì)海洋3S數(shù)據(jù)進(jìn)行了存儲(chǔ)，實(shí)現(xiàn)了大量3S海洋數(shù)據(jù)的存儲(chǔ)，并且使用MapReduce來(lái)對(duì)數(shù)據(jù)進(jìn)行了讀取及相應(yīng)處理，最后輸入回HDFS進(jìn)行存儲(chǔ)，實(shí)現(xiàn)了部分?jǐn)?shù)據(jù)處理的功能。利用MapReduce實(shí)現(xiàn)了數(shù)據(jù)的并行處理，便于數(shù)據(jù)的分類存儲(chǔ)，解決了3S海洋數(shù)據(jù)動(dòng)態(tài)變化，多樣性和復(fù)雜性的問(wèn)題。

參考文獻(xiàn)：

[1]劉金鳳. 基于Hadoop的海洋數(shù)據(jù)存儲(chǔ)處理系統(tǒng)[D].中國(guó)海洋大學(xué)，2015.

[2]池亞平，楊垠坦，許萍，楊建喜.基于Hadoop的監(jiān)控?cái)?shù)據(jù)存儲(chǔ)與處理方案設(shè)計(jì)和實(shí)現(xiàn)[J].計(jì)算機(jī)應(yīng)用與軟件，2018，35（06）：58-63+157.

[3]林文輝. 基于Hadoop的海量網(wǎng)絡(luò)數(shù)據(jù)處理平臺(tái)的關(guān)鍵技術(shù)研究[D].北京郵電大學(xué)，2014.

[4]邰建華. Hadoop平臺(tái)下的海量數(shù)據(jù)存儲(chǔ)技術(shù)研究[D].東北石油大學(xué)，2012.

[5]朱珠. 基于Hadoop的海量數(shù)據(jù)處理模型研究和應(yīng)用[D].北京郵電大學(xué)，2008.

[6]張弛，龔茂珣.基于云存儲(chǔ)的海洋數(shù)據(jù)存儲(chǔ)策略研究[J].海洋信息，2014（01）：21-24.

[7]沈飛飛，郭忠文，胡克勇.一種海洋環(huán)境數(shù)據(jù)存儲(chǔ)模型設(shè)計(jì)與應(yīng)用[J].中國(guó)海洋大學(xué)學(xué)報(bào)（自然科學(xué)版），2015，45（06）：122-127.

[8]謝紹鋒，肖化順.森林資源時(shí)態(tài)GIS數(shù)據(jù)存儲(chǔ)與時(shí)空分析方法研究[J].西北林學(xué)院學(xué)報(bào)，2011，26（01）：181-186.

[9]沈飛飛，郭忠文，胡克勇.一種海洋環(huán)境數(shù)據(jù)存儲(chǔ)模型設(shè)計(jì)與應(yīng)用[J].中國(guó)海洋大學(xué)學(xué)報(bào)（自然科學(xué)版），2015，45（06）：122-127.

[10]黃明哲，王巧藝.“3S技術(shù)”在海洋漁業(yè)中的應(yīng)用[J].福建水產(chǎn)，2011，33（01）：77-81.

[11]姜鳳輝，李樹(shù)軍，姜鳳嬌.“3S”技術(shù)在海洋氣象信息處理中的應(yīng)用[J].測(cè)繪科學(xué)，2010，35（S1）：186-187+238.

[12]李丹. 土地整理項(xiàng)目中3S數(shù)據(jù)的處理與應(yīng)用[D].中南大學(xué)，2011.

[13]楊海軍，邵全琴.GIS空間分析技術(shù)在地理數(shù)據(jù)處理中的應(yīng)用研究[J].地球信息科學(xué)，2007（05）：70-75.

[14]趙春宇. 高性能并行GIS中矢量空間數(shù)據(jù)存取與處理關(guān)鍵技術(shù)研究[D].武漢大學(xué)，2006.

[15]陳軍，蔣捷.多維動(dòng)態(tài)GIS的空間數(shù)據(jù)建模、處理與分析[J].武漢測(cè)繪科技大學(xué)學(xué)報(bào)，2000（03）：189-195.

[16]溫玉波，黃全中.基于XML的海洋環(huán)境基礎(chǔ)數(shù)據(jù)格式轉(zhuǎn)換的研究[J].海洋通報(bào)，2017，36（06）：700-705.

[17]鄒鶴敏，黃海于.大文件分塊上傳和下載軟件的設(shè)計(jì)與實(shí)現(xiàn)[J].電子技術(shù)應(yīng)用，2013，39（08）：137-139.

[18]馬同星. 網(wǎng)絡(luò)型海洋環(huán)境監(jiān)測(cè)數(shù)據(jù)挖掘和動(dòng)態(tài)發(fā)布信息系統(tǒng)研究[D].山東大學(xué)，2006.

[19]逯晨. 海量空間環(huán)境數(shù)據(jù)分布式并行處理關(guān)鍵技術(shù)研究[D].電子科技大學(xué)，2014

[20]黃冬梅，杜艷玲，王振華.海洋大數(shù)據(jù)分級(jí)存儲(chǔ)中遷移模型的研究[J].計(jì)算機(jī)應(yīng)用與軟件，2014，31（09）：45-47.

【通聯(lián)編輯：王力】