海洋剖面要素?cái)?shù)據(jù)處理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)＊

張麗婷，張洪欣，段康弘，張小波，劉婷婷

（1.國(guó)家海洋局北海海洋技術(shù)保障中心 青島 266033；2.山東省海洋生態(tài)環(huán)境與防災(zāi)減災(zāi)重點(diǎn)實(shí)驗(yàn)室 青島 266033）

1 引言

隨著海洋技術(shù)的發(fā)展和調(diào)查設(shè)備的進(jìn)步與完善，海洋科學(xué)考察尤其是剖面連續(xù)觀測(cè)的數(shù)據(jù)種類和數(shù)量日益增加。調(diào)查所得為原始數(shù)據(jù)，并不能直接應(yīng)用于科學(xué)研究，需要經(jīng)過(guò)調(diào)查設(shè)備配套軟件預(yù)處理后再進(jìn)行規(guī)范化處理存檔［1］。同時(shí)，海洋剖面要素?cái)?shù)據(jù)具有較強(qiáng)的時(shí)效性，需要對(duì)數(shù)據(jù)本身包含的科學(xué)信息進(jìn)行發(fā)掘和提取，并且需要不斷地應(yīng)用于科學(xué)實(shí)踐中去，否則，無(wú)異于對(duì)于資源的極大浪費(fèi)和對(duì)數(shù)據(jù)科學(xué)價(jià)值的忽視。與此同時(shí)，大量的數(shù)據(jù)處理過(guò)程極大地影響了海洋科考尤其是剖面調(diào)查的工作效率。因此，研究一種高效的海洋環(huán)境剖面要素?cái)?shù)據(jù)平臺(tái)，對(duì)國(guó)家海洋調(diào)查數(shù)據(jù)及時(shí)有效利用具有重要的現(xiàn)實(shí)意義。

本研究以O(shè)racle數(shù)據(jù)庫(kù)為基礎(chǔ)數(shù)據(jù)庫(kù)，在Visual Studio開(kāi)發(fā)工具的支持下綜合運(yùn)用WPF技術(shù)構(gòu)建C／S架構(gòu)模式的海洋剖面要素?cái)?shù)據(jù)處理平臺(tái)［2］。一方面針對(duì)海洋調(diào)查中CTD（Conductivity Temperature Depth）［3］、LADCP（Lowered Acoustic Doppler Current Profiler）［4］、ADCP（Acoustic Doppler Current Profilers）［5］、自動(dòng)氣象站等調(diào)查設(shè)備獲取的海洋環(huán)境剖面要素?cái)?shù)據(jù)［6］進(jìn)行綜合處理；另一方面，結(jié)合海洋調(diào)查相應(yīng)規(guī)范標(biāo)準(zhǔn)對(duì)處理數(shù)據(jù)進(jìn)行質(zhì)量控制［7］。

2 海洋剖面要素?cái)?shù)據(jù)分類及數(shù)據(jù)結(jié)構(gòu)設(shè)計(jì)

對(duì)于海洋剖面數(shù)據(jù)處理過(guò)程來(lái)說(shuō)，需要統(tǒng)籌考慮包括調(diào)查數(shù)據(jù)、航次信息數(shù)據(jù)、站點(diǎn)信息數(shù)據(jù)等多種來(lái)源多種結(jié)構(gòu)的要素?cái)?shù)據(jù)。因此，在統(tǒng)籌處理海洋剖面要素?cái)?shù)據(jù)前，需要根據(jù)數(shù)據(jù)的類型和用途，對(duì)各種數(shù)據(jù)進(jìn)行分類，并結(jié)合質(zhì)量控制體系規(guī)定規(guī)范相應(yīng)數(shù)據(jù)結(jié)構(gòu)，以便數(shù)據(jù)庫(kù)管理和數(shù)據(jù)后續(xù)處理需要。

2.1 航次信息數(shù)據(jù)

航次信息數(shù)據(jù)是海洋調(diào)查過(guò)程中的共享數(shù)據(jù)信息，包括航次號(hào)、調(diào)查機(jī)構(gòu)、調(diào)查船名等。航次信息數(shù)據(jù)以航次信息表的形式進(jìn)行存儲(chǔ)和使用，航次信息表的數(shù)據(jù)結(jié)構(gòu)如表1所示。

表1 航次信息表數(shù)據(jù)結(jié)構(gòu)

2.2 站點(diǎn)信息數(shù)據(jù)

海洋剖面觀測(cè)過(guò)程中依據(jù)剖面特點(diǎn)設(shè)置多個(gè)調(diào)查站點(diǎn)，針對(duì)每個(gè)站點(diǎn)包含物理海洋調(diào)查、生物拖網(wǎng)、高空氣象等多種觀測(cè)項(xiàng)目，因此，站點(diǎn)信息數(shù)據(jù)主要包括站位號(hào)、作業(yè)時(shí)區(qū)以及作業(yè)項(xiàng)目等。站點(diǎn)信息數(shù)據(jù)以站位信息表的形式進(jìn)行存儲(chǔ)和使用，站位信息表的數(shù)據(jù)結(jié)構(gòu)如表2所示。

表2 站位信息表數(shù)據(jù)結(jié)構(gòu)

2.3 調(diào)查數(shù)據(jù)

海洋剖面調(diào)查數(shù)據(jù)通常以特定格式的文件存在，屬于非結(jié)構(gòu)化數(shù)據(jù)類型，因此，在處理過(guò)程中通過(guò)文件索引形式對(duì)已有調(diào)查數(shù)據(jù)文件進(jìn)行讀取和處理，調(diào)查數(shù)據(jù)索引表數(shù)據(jù)結(jié)構(gòu)如表3所示。

表3 調(diào)查數(shù)據(jù)索引表數(shù)據(jù)結(jié)構(gòu)

3 系統(tǒng)框架設(shè)計(jì)

3.1 數(shù)據(jù)處理框架設(shè)計(jì)

處理平臺(tái)軟件在處理完成原始數(shù)據(jù)口，通過(guò)ADO（activeX data object）接口訪問(wèn)Oracle數(shù)據(jù)庫(kù)，完成對(duì)已經(jīng)分類的航次信息表、站點(diǎn)信息表和環(huán)境參數(shù)數(shù)據(jù)的分類存儲(chǔ)和管理，從而完成對(duì)整個(gè)海洋剖面要素原始數(shù)據(jù)的獲取和預(yù)處理過(guò)程，并在處理完成后提供對(duì)處理數(shù)據(jù)的檢索和二次利用支持。數(shù)據(jù)處理框架如圖1所示。

圖1 數(shù)據(jù)處理框架

3.2 處理平臺(tái)架構(gòu)設(shè)計(jì)

海洋剖面要素?cái)?shù)據(jù)處理平臺(tái)的架構(gòu)如圖2所示。

圖2 處理平臺(tái)架構(gòu)圖

（1）平臺(tái)為海洋剖面要素處理提供圖形化的應(yīng)用程序界面，同時(shí)與Oracle數(shù)據(jù)庫(kù)互聯(lián)，根據(jù)用戶需求命令獲取并處理船載儀器設(shè)備的資料數(shù)據(jù)，并將獲取后的數(shù)據(jù)按照相應(yīng)分類和數(shù)據(jù)格式傳送至數(shù)據(jù)庫(kù)，以備后續(xù)使用和進(jìn)一步處理。

（2）平臺(tái)的內(nèi)核主要包括兩個(gè)功能模塊：命令解析模塊和數(shù)據(jù)重組模塊。兩個(gè)模塊的功能機(jī)組成如下：①命令解析模塊。命令解析模塊根據(jù)用戶需求命令，解析用戶所需的數(shù)據(jù)類型并確定數(shù)據(jù)來(lái)源，之后根據(jù)不同廠商的儀器設(shè)備數(shù)據(jù)命令格式生成相應(yīng)的查詢命令，并發(fā)送至相應(yīng)的儀器設(shè)備。②數(shù)據(jù)重組模塊。數(shù)據(jù)重組模塊通過(guò)數(shù)據(jù)通信接口接收設(shè)備數(shù)據(jù)，并針對(duì)相應(yīng)數(shù)據(jù)格式進(jìn)行有效性檢測(cè)，檢測(cè)通過(guò)后提取數(shù)據(jù)當(dāng)中的有效字段并重組，將重組后的數(shù)據(jù)進(jìn)行校驗(yàn)后發(fā)送至應(yīng)用程序接口。

（3）平臺(tái)數(shù)據(jù)通信接口建立在船舶網(wǎng)絡(luò)之上，主要參照RS－232接口和RJ－45接口通信標(biāo)準(zhǔn)。按應(yīng)用邏輯分為命令接口和數(shù)據(jù)接口，分別完成對(duì)于數(shù)據(jù)查詢命令發(fā)送和源數(shù)據(jù)接收的功能。

3.3 應(yīng)用效果

本平臺(tái)已試驗(yàn)性應(yīng)用于常規(guī)深遠(yuǎn)海調(diào)查和船舶保障中，主要優(yōu)勢(shì)表現(xiàn)在以下幾個(gè)方面。

（1）實(shí)時(shí)性。得益于網(wǎng)絡(luò)傳輸和串口傳輸速度的保障以及船載集控處理系統(tǒng)硬件水平的提高，該平臺(tái)在數(shù)據(jù)存儲(chǔ)和預(yù)處理上具有較好的實(shí)時(shí)性，以一次CTD下放過(guò)程為例（水深約500m），可以保證在無(wú)人值守情況下，在CTD回收出水前完成對(duì)應(yīng)船舶信息數(shù)據(jù)的處理，同時(shí)在單操作員情況下，能夠在5min內(nèi)完成全部數(shù)據(jù)的處理和存儲(chǔ)，基本可滿足海洋剖面處理尤其是站點(diǎn)密集航次對(duì)于數(shù)據(jù)預(yù)處理的需要。

（2）有效性好。通過(guò)對(duì)原始數(shù)據(jù)的有效性檢驗(yàn)和重組數(shù)據(jù)發(fā)送前校驗(yàn)，很好地保障了最終存儲(chǔ)數(shù)據(jù)的質(zhì)量，從而提高了整體海洋剖面要素?cái)?shù)據(jù)的質(zhì)量，具有較好的有效性。

（3）節(jié)約人力資源。海洋調(diào)查尤其是深遠(yuǎn)海調(diào)查過(guò)程中，調(diào)查隊(duì)員通常要在多個(gè)崗位上進(jìn)行工作，本研究提及的處理平臺(tái)具有較高的自動(dòng)化程度和較好的自檢自糾能力，因此能夠在一定程度上節(jié)約人力資源，保障整個(gè)調(diào)查過(guò)程的順利進(jìn)行。

4 總結(jié)與展望

結(jié)合海洋剖面調(diào)查數(shù)據(jù)特點(diǎn)和現(xiàn)階段剖面數(shù)據(jù)處理相關(guān)技術(shù)，提出了一種海洋剖面要素?cái)?shù)據(jù)處理平臺(tái)的設(shè)計(jì)方法。在設(shè)計(jì)過(guò)程中，貫徹模塊化和功能化思想：將命令處理與數(shù)據(jù)處理模塊化、用戶界面與處理內(nèi)核分層化。使系統(tǒng)具有結(jié)構(gòu)清晰、易維護(hù)、易擴(kuò)展和易重用等優(yōu)點(diǎn)，取得了較好的試驗(yàn)應(yīng)用效果。

此外，隨著船舶信息系統(tǒng)的發(fā)展和移動(dòng)終端種類的增多，如何采用推送方式向航次科考隊(duì)員提供數(shù)據(jù)和檢索服務(wù)已經(jīng)逐漸吸引了海洋研究者和計(jì)算機(jī)學(xué)家的重視，同時(shí)，也為網(wǎng)絡(luò)化海洋剖面要素?cái)?shù)據(jù)處理平臺(tái)的進(jìn)一步發(fā)展提供了方向。

［1］于慧彬，齊鵬，梁捷，等.內(nèi)存映射文件在大數(shù)據(jù)量海洋調(diào)查數(shù)據(jù)處理中的應(yīng)用［J］.海洋技術(shù)，2010（1）：37－40.

［2］趙毅，朱鵬，遲學(xué)斌，等.淺析高性能計(jì)算應(yīng)用的需求與發(fā)展［J］.計(jì)算機(jī)研究與發(fā)展，2007（10）：13－22.

［3］陳淼，李占橋，袁延茂，等.海鳥(niǎo)系列CTD數(shù)據(jù)預(yù)處理分析［J］.海洋測(cè)繪，2004（16）：62－64.

［4］熊學(xué)軍，郭炳火，胡筱敏.LADCP觀測(cè)和資料后處理的關(guān)鍵技術(shù)［J］.海洋技術(shù)，2002（4）：32－36.

［5］段文義，張堅(jiān)樑.河口、淺海 ADCP定點(diǎn)海流觀測(cè)資料的比較與整理［J］.浙江水利科技，2006（5）：18－21.

［6］蔡樹(shù)群，張文靜，王盛安.海洋環(huán)境觀測(cè)技術(shù)研究進(jìn)展［J］.熱帶海洋學(xué)報(bào)，2007（3）：78－83.

［7］韓春花，耿姍姍，楊錦坤.海洋綜合調(diào)查數(shù)據(jù)集成管理方法研究：以廣東省近海海洋綜合調(diào)查與評(píng)價(jià)數(shù)據(jù)集集成為例［J］.海洋開(kāi)發(fā)與管理，2013，30（3）：29－32.