海事大數(shù)據(jù)收集與利用方式研究

程勝利

（北海航海保障中心天津航標(biāo)處，中國天津 300456）

“大數(shù)據(jù)”指的是超過常規(guī)存儲級別的巨量數(shù)據(jù)資料，通常要達(dá)到PB（1PB=1024TB）或 EB（1EB=1024PB）乃至 ZB（1ZB=1024EB）級別。國際數(shù)據(jù)公司（IDC）的研究結(jié)果表明，2008年全球產(chǎn)生的數(shù)據(jù)量為0.49ZB，2009年的數(shù)據(jù)量為0.8ZB，2010年增長為1.2ZB，2011年的數(shù)量更是高達(dá)1.82ZB。而到2012年為止，人類生產(chǎn)的所有印刷材料的數(shù)據(jù)量僅為200PB，全人類歷史上說過的所有話的數(shù)據(jù)量也只是5EB。預(yù)計(jì)到2020年，全世界所產(chǎn)生的數(shù)據(jù)總量將達(dá)到今天的44倍。這就意味著，未來的數(shù)據(jù)規(guī)模將遠(yuǎn)遠(yuǎn)超越現(xiàn)有IT架構(gòu)和基礎(chǔ)設(shè)施的承載能力，實(shí)時(shí)性要求也將大大超越現(xiàn)有的計(jì)算能力，人類社會即將步入“大數(shù)據(jù)時(shí)代”。

單純的數(shù)據(jù)膨脹并不能帶來任何直接效益，但是在這些海量數(shù)據(jù)中，有著對某一事件源自不同角度、不同認(rèn)知方式、不同變化因素的記錄，大量的同類數(shù)據(jù)疊加分析便極有可能預(yù)示出該事件的變化規(guī)律，利用專業(yè)數(shù)據(jù)處理方式，從中加工提取有價(jià)值的信息資訊，即可對事件變化趨勢作出預(yù)判。大數(shù)據(jù)技術(shù)的戰(zhàn)略意義即在于此，在現(xiàn)代社會商業(yè)、經(jīng)濟(jì)及其他領(lǐng)域中，決策將日益基于數(shù)據(jù)和分析而作出，而并非基于經(jīng)驗(yàn)和直覺。

目前世界上對大數(shù)據(jù)的研究利用已經(jīng)取得了一定進(jìn)展，在某些領(lǐng)域也有不錯(cuò)的表現(xiàn)。在2014年巴西世界杯期間，谷歌公司通過數(shù)據(jù)模型成功預(yù)測了世界杯8強(qiáng)每場比賽結(jié)果；2012美國大選中Nate Silver公司的大數(shù)據(jù)模型預(yù)測對了所有50個(gè)州的選舉結(jié)果，選舉人票數(shù)和得票率都驚人地準(zhǔn)確，這些事例都充分展示了大數(shù)據(jù)與數(shù)學(xué)模型的魔力。

在未來的海事監(jiān)管和航海保障服務(wù)工作中，隨著電子計(jì)算機(jī)、傳感器、遙感衛(wèi)星等信息化系統(tǒng)設(shè)備的不斷增加，數(shù)據(jù)的來源及獲取方式變得更加多樣化，日常管理工作中會產(chǎn)生巨量的、離散的數(shù)據(jù)資料，這些看似沒有關(guān)聯(lián)的信息通過加工提煉，可以產(chǎn)生在某些方面具有一定價(jià)值的信息資源，形成幫助海上交通參與者經(jīng)營決策的積極資訊，提高其對海洋和陸地環(huán)境變化趨勢的預(yù)判，使海事工作具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力。

1 海事大數(shù)據(jù)內(nèi)涵

大數(shù)據(jù)只是一個(gè)較為抽象的概念，正如信息學(xué)領(lǐng)域大多數(shù)新興概念，大數(shù)據(jù)至今尚無確切、統(tǒng)一的定義。當(dāng)前，較為統(tǒng)一的認(rèn)識是大數(shù)據(jù)有四個(gè)基本特征：數(shù)據(jù)規(guī)模大(Volume)，數(shù)據(jù)種類多(Variety)，數(shù)據(jù)要求處理速度快(Velocity)，數(shù)據(jù)價(jià)值密度低(Value)，即所謂的“四V”特性。這些特性使得大數(shù)據(jù)區(qū)別于傳統(tǒng)的數(shù)據(jù)概念。大數(shù)據(jù)的概念與“海量數(shù)據(jù)”并不同，后者只強(qiáng)調(diào)數(shù)據(jù)的量，而大數(shù)據(jù)不僅用來描述大量的數(shù)據(jù)，還更進(jìn)一步指出數(shù)據(jù)的復(fù)雜形式、數(shù)據(jù)的快速時(shí)間特性以及對數(shù)據(jù)的分析、處理等專業(yè)化處理，最終獲得有價(jià)值信息的能力。

就海事監(jiān)管與航海保障工作而言，狹義上的大數(shù)據(jù)資源可以分為船舶基礎(chǔ)數(shù)據(jù)、航標(biāo)基礎(chǔ)數(shù)據(jù)、海洋測繪數(shù)據(jù)和通信數(shù)據(jù)，涵蓋海事關(guān)鍵業(yè)務(wù)資源；而廣義上的大數(shù)據(jù)概念則是指與海事活動(dòng)相關(guān)的一切數(shù)據(jù)資源，除關(guān)鍵業(yè)務(wù)資源外，還包括管理者的一切公務(wù)活動(dòng)、隨時(shí)測量和傳遞有關(guān)位置、運(yùn)動(dòng)、震動(dòng)、氣象乃至潮流信息變化的傳感器數(shù)據(jù)等。這些數(shù)據(jù)資源規(guī)模量大、數(shù)據(jù)格式種類多、要求處理及觀測的速度快、具有很高的利用價(jià)值，符合大數(shù)據(jù)“四V”特性。

本文著重就狹義上的海事大數(shù)據(jù)資源整合利用作探討研究。

2 海事大數(shù)據(jù)收集方式研究

大數(shù)據(jù)的一個(gè)重要特點(diǎn)就是多樣性，這就意味著數(shù)據(jù)來源極其廣泛，數(shù)據(jù)類型極為繁雜，這種復(fù)雜的數(shù)據(jù)環(huán)境給大數(shù)據(jù)的處理帶來極大的挑戰(zhàn)。要想處理大數(shù)據(jù)，首先必須對所需數(shù)據(jù)源的數(shù)據(jù)進(jìn)行抽取和集成，從中提取出關(guān)系和實(shí)體，經(jīng)過關(guān)聯(lián)和聚合之后采用統(tǒng)一定義的結(jié)構(gòu)來存儲這些數(shù)據(jù)。在數(shù)據(jù)集成和提取時(shí)需要對數(shù)據(jù)進(jìn)行清洗，保證數(shù)據(jù)質(zhì)量及可信性。

由于大數(shù)據(jù)的運(yùn)用已經(jīng)突破了傳統(tǒng)物理存儲的概念，動(dòng)輒PB、EB級別的數(shù)據(jù)資源已經(jīng)無法單純依靠存儲設(shè)備的增加來滿足其需求，這里就要用到“云”的概念。

所謂“云”，就是借助網(wǎng)絡(luò)上大量的分布式計(jì)算機(jī)來處理、存儲、加工數(shù)據(jù)，實(shí)現(xiàn)本地資源的對外開放共享和網(wǎng)絡(luò)資源的獲取利用。對于海事系統(tǒng)而言，每一個(gè)行政單位區(qū)劃或核心業(yè)務(wù)部門相對于自身可以稱為“地端”，相對于其他行政單位稱為“云端”。“地端”負(fù)責(zé)提供本地的核心業(yè)務(wù)數(shù)據(jù)和外部接入方式，并保證所轄數(shù)據(jù)更新的及時(shí)性和權(quán)威性；“云端”則根據(jù)工作需要，帶有明確指向性地從相關(guān)“地端”中抽取數(shù)據(jù)進(jìn)行監(jiān)測或加工處理，形成自己需要的信息資源。正是云計(jì)算技術(shù)在數(shù)據(jù)存儲、管理與分析等方面的支撐，才使得大數(shù)據(jù)有用武之地。

具體來講，每個(gè)行政單位可以根據(jù)自身需要和保密等級對所轄業(yè)務(wù)劃分1個(gè)或多個(gè)基礎(chǔ)信息數(shù)據(jù)庫，即所謂“地端”。該“地端”作為內(nèi)部核心數(shù)據(jù)平臺，存儲本單位履行公共服務(wù)職責(zé)產(chǎn)生的公開數(shù)據(jù)，如海事監(jiān)管信息、船舶AIS信息、航標(biāo)信息、海圖信息等，并保證相關(guān)數(shù)據(jù)的準(zhǔn)確性和及時(shí)性。之后，所有“地端”依托海事專網(wǎng)或者互聯(lián)網(wǎng)對外提供準(zhǔn)入接口，供“云端”數(shù)據(jù)調(diào)取使用。同時(shí)為保證“地端”數(shù)據(jù)不被惡意篡改或刪除，還應(yīng)對其設(shè)置相應(yīng)的訪問控制策略和使用權(quán)限，使之符合工作需要。

基于“云存儲”概念的海事大數(shù)據(jù)可以使任意“地端”通過合理的方式訪問“云端”數(shù)據(jù)資源，實(shí)現(xiàn)一定范圍內(nèi)數(shù)據(jù)資源的開放共享。條件允許的情況下，“云存儲”甚至還可以拓展到與海事相關(guān)的更多單位部門，如氣象、搜救、海洋、海關(guān)、漁業(yè)、海警等部門，實(shí)現(xiàn)更大范圍內(nèi)的聯(lián)系互動(dòng)和更多資源的共享利用，滿足多元化、多層次的用戶需求。

3 建立海事大數(shù)據(jù)專業(yè)化處理機(jī)制

前文提到，單純的數(shù)據(jù)膨脹并不能帶來直接效益，大數(shù)據(jù)價(jià)值的完整體現(xiàn)需要多種技術(shù)的協(xié)同。文件系統(tǒng)提供最底層存儲能力的支持。為了便于數(shù)據(jù)管理，需要在文件系統(tǒng)之上建立數(shù)據(jù)庫系統(tǒng)。通過索引等的構(gòu)建，對外提供高效的數(shù)據(jù)查詢等常用功能。最終通過數(shù)據(jù)分析技術(shù)從數(shù)據(jù)庫中的大數(shù)據(jù)提取出有益的知識。

海事大數(shù)據(jù)的利用可以分為兩個(gè)方向，一種是“地端”對“云端”的數(shù)據(jù)需求，另一種是“云中心”對全局情況的掌控。下面結(jié)合二者所需不同的處理方式予以分別介紹。

3.1 “地端”對“云端”的數(shù)據(jù)需求

建立大數(shù)據(jù)專業(yè)化處理機(jī)制，常用的功能即是實(shí)現(xiàn)“地端”對“云端”數(shù)據(jù)的訪問。以航標(biāo)處為例，作為“地端”的航標(biāo)處，本身掌握所轄區(qū)域航標(biāo)的全部屬性信息，如航標(biāo)位置、燈質(zhì)、運(yùn)行狀態(tài)等數(shù)據(jù)，如果單純在這些數(shù)據(jù)基礎(chǔ)上進(jìn)行加工，很難產(chǎn)生更多、有效的利用價(jià)值，更談不上對未來環(huán)境變化趨勢的預(yù)判和為海上交通參與者提供積極資訊。但是如果借助“海事大數(shù)據(jù)”的“云端”訪問獲取到其他信息進(jìn)行深度加工處理，則可以實(shí)現(xiàn)拓展更多的利用空間。

比如，航標(biāo)位置數(shù)據(jù)與船舶AIS數(shù)據(jù)的互動(dòng)。通過“云端”調(diào)取的AIS船舶信息可以清楚掌握船舶的航行軌跡，用航標(biāo)位置數(shù)據(jù)與船舶位置數(shù)據(jù)進(jìn)行實(shí)時(shí)的匹配計(jì)算，可以計(jì)算出船舶航線內(nèi)與航標(biāo)發(fā)生碰撞的可能性，提早發(fā)出預(yù)警信號，降低碰撞事故發(fā)生概率。再如，傳統(tǒng)的船舶安全管理工作更多地是通過規(guī)章制度以及現(xiàn)場經(jīng)驗(yàn)等模式進(jìn)行。海事人員可能會根據(jù)工作流程，并結(jié)合時(shí)間、現(xiàn)場情況等因素決定是否對一艘到崗船舶實(shí)施檢查，這種方式受外界因素制約較大，影響船舶安全查驗(yàn)的覆蓋性和準(zhǔn)確性。應(yīng)用“大數(shù)據(jù)”專業(yè)化處理機(jī)制后，很可能會產(chǎn)生一種新型的、基于風(fēng)險(xiǎn)等級的分類分級管理方式：由于每一條船舶的出廠信息以及在各個(gè)港口接受檢驗(yàn)信息都能夠以電子數(shù)據(jù)的形式存儲在“地端”，另一個(gè)地方的海事部門可以基于對“云端”的訪問，通過計(jì)算機(jī)系統(tǒng)對某一條船舶以往違章情況、安全檢查情況、所屬公司信息、證書等級、船舶種類、裝載貨物類別等數(shù)據(jù)綜合分析后得出“客觀判斷”，給予其劃分“高風(fēng)險(xiǎn)”、“中風(fēng)險(xiǎn)”、“低風(fēng)險(xiǎn)”等級，海事人員即可根據(jù)需要，有針對性的對重點(diǎn)船舶進(jìn)行安全檢查，使“大數(shù)據(jù)”成為海事監(jiān)管的重要參考依據(jù)。

利用“地端”對“云端”的數(shù)據(jù)訪問，可以實(shí)現(xiàn)自身工作的科學(xué)化、精細(xì)化管理，拓展和提高“地端”本身業(yè)務(wù)功能以及工作效率。這種方式可以由各單位自行設(shè)計(jì)平臺流程，通過不同的數(shù)據(jù)組合、不同情況的對比分析產(chǎn)生更多對自身有益的價(jià)值資訊。

3.2 “云中心”對全局情況的掌控

大數(shù)據(jù)的另一種專業(yè)化處理方式即是通過建立“云中心”，對所轄全部“地端”進(jìn)行數(shù)據(jù)整合分析，加強(qiáng)對全局情況的掌控。

例如，“云中心”可以從航標(biāo)部門實(shí)時(shí)提取航標(biāo)位置信息，與測繪部門電子海圖標(biāo)注的航標(biāo)位置信息以及通信部門播發(fā)的航行信息作對比分析，由此判斷相關(guān)部門是否及時(shí)履行公共服務(wù)職責(zé)。此外，還可以通過建立每個(gè)“地端”關(guān)鍵業(yè)務(wù)數(shù)據(jù)完成情況和完成質(zhì)量的量化考核指標(biāo)，由“云中心”綜合計(jì)算得出每個(gè)“地端”的綜合得分，替代定期績效考核和人工檢查，使工作量化考核更加標(biāo)準(zhǔn)、規(guī)范；“云中心”還可以立足更高的服務(wù)層面，與國內(nèi)國際上相關(guān)部門共享交換數(shù)據(jù)，快速獲取對自身有價(jià)值的參考信息并與“地端”共享，拓展更多服務(wù)應(yīng)用。

通過“云中心”處理機(jī)制，不僅可以實(shí)現(xiàn)對所轄“地端”工作質(zhì)量、工作流程的監(jiān)督管理，還可以突破數(shù)據(jù)資源限制，實(shí)現(xiàn)“云中心”內(nèi)部對不同層級間數(shù)據(jù)信息的獲取，建立更廣泛的“云互聯(lián)”，這將使未來的信息資源得到更加充分合理的利用。

4 結(jié)語

當(dāng)前，國際國內(nèi)對大數(shù)據(jù)的研究已經(jīng)進(jìn)入實(shí)質(zhì)性階段，技術(shù)和手段日臻成熟，海事監(jiān)管和航海保障工作未來也不可避免地要經(jīng)歷大數(shù)據(jù)帶來的沖擊和挑戰(zhàn)。開展海事大數(shù)據(jù)收集及利用方式研究，是立足為用戶提供多元化、多層次、多角度的服務(wù)，更好地滿足單位發(fā)展與用戶需求二者之間的供需關(guān)系的一種有效實(shí)現(xiàn)途徑，對于提高單位發(fā)展質(zhì)量、實(shí)現(xiàn)科學(xué)決策具有重要的現(xiàn)實(shí)意義。

［1］馬建光,姜巍.大數(shù)據(jù)的概念、特征及其應(yīng)用[J].國防科技,2013,34(02)：10-17.

［2］孟小峰,慈祥.大數(shù)據(jù)管理：概念、技術(shù)與挑戰(zhàn)[J].計(jì)算機(jī)研究與發(fā)展,2013,50：146-169.

［3］王書偉.大數(shù)據(jù)時(shí)代政府部門間信息資源共享策略研究[D].吉林大學(xué),2013.

［4］李國杰,程學(xué)旗.大數(shù)據(jù)的研究現(xiàn)狀與未來思考[J].戰(zhàn)略與決策研究,2012,10：58-63.

［5］劉宇雄.暢想：“大數(shù)據(jù)”沖擊下 海事發(fā)展的“四大方向[J].珠江水運(yùn),201，03：10-13.