海洋底質(zhì)標準化處理系統(tǒng)設計與開發(fā)

劉志杰，梁建峰

（1.中國海洋大學 青島市 266003；2.國家海洋信息中心 天津市 300171）

海洋底質(zhì)標準化處理系統(tǒng)設計與開發(fā)

劉志杰1，2，梁建峰2

（1.中國海洋大學 青島市 266003；2.國家海洋信息中心 天津市 300171）

介紹海洋底質(zhì)標準化處理系統(tǒng)的開發(fā)背景、總體結構、功能及特點。該系統(tǒng)基于海洋底質(zhì)標準化數(shù)據(jù)記錄格式，解決了數(shù)據(jù)格式轉換繁瑣和不規(guī)范等問題，具有代碼及格式維護、轉換規(guī)則配置、數(shù)據(jù)格式轉換、文件瀏覽和錯誤日志生成等功能，在實現(xiàn)人機交互和高度集成的基礎上，具有靈活性和可擴展性。應用結果表明，該系統(tǒng)操作簡單、使用方便、運行穩(wěn)定，是海洋底質(zhì)標準化處理的一種有效工具。

海洋底質(zhì) 標準化處理 系統(tǒng)設計

隨著我國“海洋開發(fā)戰(zhàn)略”的實施，海洋調(diào)查項目日益增多，海洋數(shù)據(jù)的積累呈加速態(tài)勢，海洋底質(zhì)數(shù)據(jù)也不例外。如何實現(xiàn)大量不同時期、不同來源的數(shù)據(jù)統(tǒng)一和科學管理是資料管理工作者面臨的一個首要任務。為滿足數(shù)據(jù)整合需求，海洋數(shù)據(jù)標準化是實現(xiàn)數(shù)據(jù)科學管理的一個重要環(huán)節(jié)。海洋數(shù)據(jù)標準化處理就是指將海洋數(shù)據(jù)從多源、不同數(shù)據(jù)格式的文件通過格式變換、代碼轉換、字段添加、異常處理等操作轉變?yōu)榻y(tǒng)一、標準的數(shù)據(jù)文件的過程。

一直以來，底質(zhì)資料標準化處理缺乏規(guī)范的處理軟件。底質(zhì)分析數(shù)據(jù)類型眾多，包括沉積物粒度、碎屑礦物、沉積物化學成分和化學元素、工程物理力學性質(zhì)以及古生物等十多種數(shù)據(jù)類型[1]。然而，由于分析手段和測試方法的不同，即使同一類型數(shù)據(jù)，不同單位匯交格式也不盡一致。因此，在進行標準化處理之前，需要進行預處理，將原始資料整理成格式相對固定或一致的格式，然后才能通過程序進行判讀、轉換和數(shù)據(jù)庫的加載。資料整理過程繁雜、各程序模塊功能單一、相互獨立、缺乏系統(tǒng)性，因此，難以保證數(shù)據(jù)處理效率，數(shù)據(jù)格式變換易存在誤差隱患，難以滿足數(shù)據(jù)處理業(yè)務工作的需要。

隨著我國近海綜合調(diào)查與評價項目的開展，底質(zhì)調(diào)查數(shù)據(jù)作為一種重要的信息源，廣泛應用于環(huán)境與資源評價和數(shù)字海洋建設中。為滿足不同形式格式的處理，保持數(shù)據(jù)轉換最大限度的靈活，以海洋基礎數(shù)據(jù)庫平臺創(chuàng)建為契機，在底質(zhì)標準數(shù)據(jù)格式基礎上，設計開發(fā)數(shù)據(jù)標準化處理系統(tǒng)是當前業(yè)務工作所需。該系統(tǒng)為底質(zhì)數(shù)據(jù)標準化處理提供了一種快捷、方便的使用工具，從而使繁雜的數(shù)據(jù)整理工作得以簡化，提高了數(shù)據(jù)處理的效率和標準化程度。

1 軟件系統(tǒng)設計與開發(fā)原則

系統(tǒng)以Microsoft Visual Studio.NET 為開發(fā)平臺，以面向對象程序設計語言 C# 和 XML作為開發(fā)工具[2,3]?？傮w設計以需求為導向，采用構件設計思想，實施“總體規(guī)劃、分模塊實施”的策略。通過轉換規(guī)則配置（字段自動查找與匹配、站位匹配、代碼匹配與轉換）、數(shù)據(jù)格式轉換、錯誤日志的生成、文件瀏覽等功能的開發(fā)，實現(xiàn)系統(tǒng)的功能及性能需求，另外還需滿足系統(tǒng)更新和擴展需要。為保證設計目標的實現(xiàn)，系統(tǒng)在設計和實施過程中主要遵循如下原則：

(1)一致性：在系統(tǒng)的設計和建設過程中，以現(xiàn)有的底質(zhì)標準數(shù)據(jù)記錄格式為設計基礎，力求標準化、規(guī)范化和統(tǒng)一化。軟件應具有統(tǒng)一的結構化組織、界面風格和操作模式，對變量的設置、模塊的調(diào)用塊間的相互關系等問題應做出統(tǒng)一安排。

(2)擴充性：采用面向對象和模塊化開發(fā)的設計思想，保證用戶的需求發(fā)生變化時，使系統(tǒng)代碼和數(shù)據(jù)修改量減到最小。

(3)通用性：底質(zhì)數(shù)據(jù)標準化處理系統(tǒng)要處理多種類型底質(zhì)數(shù)據(jù)，各不同類型數(shù)據(jù)均采用通用的處理模塊，且不受操作系統(tǒng)限制。

(4)實用性：系統(tǒng)設計充分考慮到海洋底質(zhì)數(shù)據(jù)標準化處理的實際需要，在設計中構造靈活的體系結構，便于更改。軟件系統(tǒng)的人機交互界面友好、操作簡便，能滿足使用者的要求；另一方面，盡可能將用戶所需要的操作包含在同一界面內(nèi)。

2 系統(tǒng)結構與功能介紹

底質(zhì)數(shù)據(jù)標準化處理系統(tǒng)采用菜單操作和界面選擇結合方式，方便用戶的使用。主界面包括菜單區(qū)、目錄區(qū)、配置區(qū)、轉換規(guī)則區(qū)、文件瀏覽和錯誤日志區(qū)（見圖 1 ）。菜單區(qū)包括瀏覽源/目標文件夾、標準格式維護、代碼表維護、站位信息瀏覽及目錄設置等功能。系統(tǒng)結構設計如圖 2 所示。

圖1 底質(zhì)標準化處理系統(tǒng)主界面

系統(tǒng)維護功能包括標準記錄格式的維護和代碼表維護。標準數(shù)據(jù)文件是數(shù)據(jù)入庫的重要接口，為使數(shù)據(jù)庫查詢檢索方便和數(shù)據(jù)格式規(guī)范，對于一些公共信息，標準數(shù)據(jù)集中一般用代碼來替代字符。根據(jù)用戶的需要，標準數(shù)據(jù)記錄格式需要定期維護更新，比如字段長度的增加，字段類型的添加等等，代碼也會不斷增加和完善。系統(tǒng)為標準數(shù)據(jù)記錄格式配置和代碼維護提供了接口，各類代碼通過 ACCESS 數(shù)據(jù)庫存儲管理，標準數(shù)據(jù)記錄格式通過 Excel 文件進行維護。用戶可以根據(jù)實際需要增加、修改或刪除字段，無需修改程序代碼，增加了數(shù)據(jù)處理的靈活性。

圖2 系統(tǒng)結構圖

系統(tǒng)配置功能主要包括系統(tǒng)目錄設置、表頭字段的配置、轉換規(guī)則設置和特殊轉換配置。系統(tǒng)配置的目的是快速完成標準數(shù)據(jù)格式的轉換。以往在資料處理過程中一般采用程序讀取源文件字段，然后將其轉換到標準格式中相應的位置。由于源文件格式不統(tǒng)一，轉換程序也需要不斷調(diào)試修改，降低了工作效率。為解決這一問題，該軟件采用系統(tǒng)配置功能，通過人機交互方式讓源文件表頭字段自動與標準格式字段查找匹配，根據(jù)匹配結果再進行個別字段匹配修改。轉換規(guī)則的設置包括直接轉換、不轉換、代碼轉換和站位匹配 4 個規(guī)則，系統(tǒng)默認為直接轉換，用戶可以根據(jù)字段格式的要求進行選擇。此外，對于一些源文件中不包含的特殊字段，需要在處理過程中增加，也可以通過人機交互界面選擇的方式來完成。這樣可以減少對源文件處理的步驟，且轉換過程中不易造成字段的遺漏。

數(shù)據(jù)格式轉換功能是指對選定的源文件轉換為標準化文件。數(shù)據(jù)格式轉換是標準化處理的關鍵一步，就是根據(jù)標準格式設計將原來不規(guī)則的源文件格式轉成統(tǒng)一的、規(guī)范的文本文件的過程。處理程序功能實現(xiàn)主要步驟如下：用戶首先要從左側類型目錄區(qū)選擇所要處理的資料類型，然后設置源文件和轉換后文件存放路徑及文件名（轉換后的標準數(shù)據(jù)文件名會自動記憶源文件名，僅后綴發(fā)生改變）；讀取相應數(shù)據(jù)標準記錄格式；根據(jù)字段配置，輸入特殊轉換規(guī)則；最后通過格式轉換命令完成格式轉換。

系統(tǒng)錯誤提示功能可以隨時記錄數(shù)據(jù)處理過程中出現(xiàn)的一些錯誤信息。源文件在錄入或處理過程中會不可避免地出現(xiàn)一些錯誤，一般很難通過人工審查發(fā)現(xiàn)。出現(xiàn)的錯誤類型主要包括字符串長度越界、站位不匹配、代碼轉換不匹配、數(shù)值轉換異常等幾種。錯誤日志可以將錯誤的字段名稱、所在行號以及數(shù)值和錯誤類型給出，方便用戶查找和修改，減少程序調(diào)試的麻煩。

文件瀏覽功能可快速地幫助用戶查看源文件及標準數(shù)據(jù)文件，無論文件存放在幾級目錄下，都能直接找到目標文件。結合系統(tǒng)錯誤提示功能，可以快速查找、處理錯誤信息，方便對源文件的預處理。

3 系統(tǒng)特點

3.1 系統(tǒng)集成性

底質(zhì)資料類型眾多，涉及沉積物粒度、碎屑礦物和化學成分等十多種數(shù)據(jù)類型，針對每一種數(shù)據(jù)類型進行程序設計工作量龐大，且系統(tǒng)不夠優(yōu)化?？紤]到底質(zhì)各類數(shù)據(jù)格式的共同特點，采用高度的集成方式是系統(tǒng)開發(fā)的一大特點。源文件輸入、標準數(shù)據(jù)文件輸出、數(shù)據(jù)存儲結構設計、各種要素字段的轉換、錯誤日志的輸出和轉換規(guī)則的匹配都采用集成統(tǒng)一的程序模塊。

3.2 系統(tǒng)靈活性和可擴展性

根據(jù)底質(zhì)源數(shù)據(jù)特點，基于Excel 文件讀取數(shù)據(jù)，是系統(tǒng)開發(fā)靈活性考慮的一個方面。用戶可以直接對Excel文件進行操作，無需再將源文件轉換成文本格式后進行處理，減少處理環(huán)節(jié)，方便了用戶的使用。系統(tǒng)的配置功能也極大地增強了系統(tǒng)的靈活性，用戶可以通過數(shù)據(jù)表頭字段的自動匹配，轉換規(guī)則設置和代碼自動轉換來實現(xiàn)格式轉換過程，從而提高了數(shù)據(jù)處理的效率。此外系統(tǒng)還具有很強的可擴展性，比如在調(diào)整字段個數(shù)、字段長度或位置等標準數(shù)據(jù)記錄格式改變的情況下，僅需要調(diào)整標準數(shù)據(jù)記錄格式配置文件，無需對源程序進行修改。

3.3 系統(tǒng)交互性

系統(tǒng)提供了友好的人機交互界面，改變過去傳統(tǒng)的后臺程序運行的模式，極大地方便了用戶的使用。系統(tǒng)結構設計合理，操作流程簡單，資料處理的整個過程都提供可視化的人機交換操作界面，并很好地解決了處理過程中的流程控制和異常控制。

4 結論

海洋底質(zhì)標準化處理系統(tǒng)基于海洋數(shù)據(jù)處理的業(yè)務工作實際需求設計開發(fā)，解決了長期以來的海洋底質(zhì)數(shù)據(jù)格式不規(guī)范的問題。系統(tǒng)根據(jù)海洋底質(zhì)標準數(shù)據(jù)記錄格式設計，具有字段配置、轉換規(guī)則設置、代碼及格式維護、數(shù)據(jù)格式轉換、文件瀏覽和錯誤提示功能。軟件系統(tǒng)高度的集成性、靈活性、適用性以及可視化人機交互的操作界面，使繁雜的數(shù)據(jù)處理過程變得簡單易于操作，能夠快速、準確完成底質(zhì)數(shù)據(jù)的標準化處理，應用前景廣闊。經(jīng)測試和應用檢驗證明：軟件運行穩(wěn)定、使用方便，提高了數(shù)據(jù)標準化處理效率和質(zhì)量。目前，該系統(tǒng)已應用于海洋底質(zhì)數(shù)據(jù)標準化處理工作中。

[1]國家海洋局908辦公室. 海洋底質(zhì)調(diào)查技術規(guī)程[S].北京：海洋出版社，2006.

[2]Benny Johansen. Windows應用程序高級編程——C#編程篇[M]. 北京：清華大學出版社，2003.

[3]Didier Martin. XML高級編程[M].北京：機械工業(yè)出版社，2001.

[4]高瑩，陸建華，狄建華.上海洋山港水文數(shù)據(jù)處理系統(tǒng)的建立[J]. 交通科技，2007(5)：115-116.

2011年4月14日

國家海洋局908專項(18070609C)