錢雁

摘要：本文簡要分析和描述了大數(shù)據(jù)在海事管理中的場(chǎng)景及應(yīng)用，并就面臨的挑戰(zhàn)探討相關(guān)對(duì)策。

關(guān)鍵詞：大數(shù)據(jù) 海事管理 場(chǎng)景及應(yīng)用挑戰(zhàn) 對(duì)策

0 引 言

大數(shù)據(jù)（big data）是具有5V特征--Volume（大量）、Velocity（高速）、Variety（多樣）、Value（價(jià)值）、Veracity（真實(shí)性）的數(shù)據(jù)，涉及的數(shù)據(jù)集合規(guī)模非常龐大，需要更強(qiáng)的決策力、洞察力和流程優(yōu)化能力對(duì)其進(jìn)行運(yùn)算。

李克強(qiáng)總理在2015年政府工作報(bào)告中，首次提出“互聯(lián)網(wǎng)+”行動(dòng)計(jì)劃，推動(dòng)移動(dòng)互聯(lián)網(wǎng)、云計(jì)算、大數(shù)據(jù)、物聯(lián)網(wǎng)等的發(fā)展。同時(shí)，國務(wù)院印發(fā)了《促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要》，可見大數(shù)據(jù)在當(dāng)今信息化時(shí)代的巨大影響力。海事管理機(jī)構(gòu)在這樣的背景下，應(yīng)積極嘗試將大數(shù)據(jù)與海事管理相結(jié)合，深入開展數(shù)據(jù)挖掘，讓大數(shù)據(jù)應(yīng)用到海事現(xiàn)代化監(jiān)管與服務(wù)中。

1大數(shù)據(jù)在海事管理中的應(yīng)用

交通運(yùn)輸部海事局組織編制的《海事信息系統(tǒng)頂層設(shè)計(jì)報(bào)告》，制定了“一個(gè)目標(biāo)、二個(gè)模型、四套體系”的總體架構(gòu)，根據(jù)系統(tǒng)頂層設(shè)計(jì)的核心精神。楊浦海事局利用大數(shù)據(jù)在船舶動(dòng)態(tài)評(píng)價(jià)體系建設(shè)上做出了積極探索和實(shí)踐，將船舶管理系統(tǒng)、AIS信息服務(wù)平臺(tái)和船載危險(xiǎn)貨物申報(bào)系統(tǒng)等數(shù)據(jù)整合到“國內(nèi)航行船舶現(xiàn)場(chǎng)監(jiān)管和自動(dòng)選船系統(tǒng)”（簡稱“選船系統(tǒng)”），AIS識(shí)別到的船舶被自動(dòng)計(jì)算出風(fēng)險(xiǎn)值和優(yōu)先等級(jí)，目標(biāo)船及現(xiàn)場(chǎng)監(jiān)管重點(diǎn)變得一目了然，避免了重復(fù)檢查，改變過去人工選船的盲目低效，變?yōu)橄到y(tǒng)自動(dòng)“抓取”的精準(zhǔn)高效，實(shí)現(xiàn)了海事監(jiān)管從“汗水型”向“智慧型”的轉(zhuǎn)變，“選船系統(tǒng)”于2016年7月1日已在上海、天津、山東海事局試點(diǎn)運(yùn)行，積累了一定的現(xiàn)場(chǎng)應(yīng)用經(jīng)驗(yàn)。

1.1開發(fā)選船的數(shù)學(xué)模型，用數(shù)據(jù)進(jìn)行客觀的決策

在信息不對(duì)稱的條件下，經(jīng)驗(yàn)可有效提高工作效率，但隨著數(shù)據(jù)的積累，經(jīng)驗(yàn)明顯滯后，對(duì)不同個(gè)體也不盡適用，對(duì)新事物新變化無法把握。目前設(shè)計(jì)的選船系統(tǒng)充分考慮了船舶的各項(xiàng)信息，并結(jié)合船舶綜合管理的理念來進(jìn)行數(shù)據(jù)建模，通過船舶、公司、風(fēng)險(xiǎn)、績效等多維度交叉分析實(shí)現(xiàn)數(shù)字化選船，讓數(shù)據(jù)進(jìn)行客觀決策，通過“互聯(lián)網(wǎng)+海事監(jiān)管與服務(wù)”思維運(yùn)用，實(shí)現(xiàn)海事現(xiàn)場(chǎng)監(jiān)管的智能化、信息化。選船系統(tǒng)模型開發(fā)遵循：

（1）符合海事監(jiān)管與服務(wù)的相關(guān)規(guī)范要求

（2）系統(tǒng)設(shè)計(jì)應(yīng)嚴(yán)格執(zhí)行有關(guān)規(guī)范并充分考慮用戶的需求

（3）綜合考慮各種資源，避免重復(fù)建設(shè)，降低運(yùn)營成本

（4）系統(tǒng)應(yīng)具有較強(qiáng)的容錯(cuò)能力，具有完善的系統(tǒng)恢復(fù)和安全機(jī)制

（5）系統(tǒng)方案在滿足現(xiàn)狀的情況下，充分考慮將來的發(fā)展，具備良好的擴(kuò)展性。

1.2多維度建立數(shù)據(jù)關(guān)聯(lián)，解決數(shù)據(jù)孤島問題

海事管理涉及人、船、環(huán)境等多個(gè)方面，與之相配套的管理系統(tǒng)各地不盡相同，信息不聯(lián)通也未實(shí)現(xiàn)共享，海事監(jiān)管雖然積累了眾多數(shù)據(jù)，但信息孤島現(xiàn)象也逐漸凸現(xiàn)出來。如何將船舶基本數(shù)據(jù)、安全檢查、事故調(diào)查、行政處罰、重點(diǎn)跟蹤及協(xié)查船舶等分類信息有效集中并加以利用，是重中之重。楊浦海事局探索了一套行之有效的數(shù)據(jù)關(guān)聯(lián)方法，建立集中數(shù)據(jù)服務(wù)，以船舶為中心，與之相關(guān)的船員、公司以及歷史信息進(jìn)行收集、整理、漂洗后有機(jī)結(jié)合在一起，形成用于選船的數(shù)據(jù)集市，不但解決了數(shù)據(jù)孤島問題，而且可以構(gòu)建開放的數(shù)據(jù)流動(dòng)生態(tài)。

1.3讓數(shù)據(jù)發(fā)揮其效能

如何在有限的資源條件下讓海事數(shù)據(jù)的效益得以最大化是非常值得研究的課題，通過對(duì)船舶數(shù)據(jù)進(jìn)行更深入的統(tǒng)計(jì)分析和預(yù)測(cè)，則會(huì)有很多有價(jià)值的信息可以開發(fā)，讓船舶監(jiān)控逐步智能化，發(fā)揮海事機(jī)構(gòu)更大管理效能，提高監(jiān)管針對(duì)性，讓船舶更安全。

2 大數(shù)據(jù)對(duì)海事管理的挑戰(zhàn)

2.1 數(shù)據(jù)共享難以實(shí)現(xiàn)

海事管理的大數(shù)據(jù)覆蓋范圍很廣，比如船舶基本數(shù)據(jù)、登記注冊(cè)信息、安全檢查、事故調(diào)查、行政處罰、重點(diǎn)跟蹤及協(xié)查船舶等分類管理信息，目前散亂分布在各個(gè)業(yè)務(wù)系統(tǒng)、各港口海事部門，而各港口之間的信息并沒有全部互聯(lián)互通，各港口海事部門僅掌握本轄區(qū)船舶在本港的數(shù)據(jù)信息，無法獲得該船舶的全部營運(yùn)狀況信息。數(shù)據(jù)不能共享使用，對(duì)大數(shù)據(jù)的價(jià)值挖掘形成桎梏，在建立健康、有效的海事大數(shù)據(jù)生態(tài)圈過程中，數(shù)據(jù)共享問題亟待解決。

2.2 數(shù)據(jù)有待挖掘利用

海事管理信息系統(tǒng)經(jīng)過十幾年的發(fā)展，無論從業(yè)務(wù)還是技術(shù)的角度看都是一個(gè)復(fù)雜的大集合系統(tǒng)，信息覆蓋范圍廣、信息量大、來源分散、結(jié)構(gòu)復(fù)雜，特別是系統(tǒng)中既有結(jié)構(gòu)化數(shù)據(jù)，也有非結(jié)構(gòu)化數(shù)據(jù)。面對(duì)龐大的數(shù)據(jù)金礦，數(shù)據(jù)挖掘與數(shù)據(jù)分析已經(jīng)成為發(fā)展大數(shù)據(jù)的“瓶頸”。

首先，在當(dāng)前的技術(shù)條件下，往往處理數(shù)據(jù)和形成報(bào)告需要花費(fèi)大量時(shí)間，而忽略了挖掘，大數(shù)據(jù)若不經(jīng)過挖掘、提煉，便無法體現(xiàn)其價(jià)值。目前，海事管理系統(tǒng)數(shù)據(jù)庫對(duì)大量的海事數(shù)據(jù)利用程度不夠，對(duì)數(shù)據(jù)的關(guān)聯(lián)性和精確性也未引起足夠關(guān)注，不斷增加的數(shù)據(jù)不但沒有帶來價(jià)值卻帶來巨大的存儲(chǔ)負(fù)擔(dān)。

其次，隨著網(wǎng)絡(luò)技術(shù)的發(fā)展，特別是Internet和Intranet技術(shù)的飛快發(fā)展，使得非結(jié)構(gòu)化數(shù)據(jù)的量級(jí)日趨增大，之前用于管理的結(jié)構(gòu)化數(shù)據(jù)關(guān)系數(shù)據(jù)庫的局限性日益明顯，數(shù)據(jù)庫技術(shù)也步入了“后關(guān)系數(shù)據(jù)庫時(shí)代”。對(duì)大量非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行有效的數(shù)據(jù)挖掘，將是海事管理信息系統(tǒng)的一項(xiàng)挑戰(zhàn)。非結(jié)構(gòu)化文本處理可以通過三種途徑展開：

（1）智能化理解，對(duì)文本進(jìn)行量化，確定一段文字的信息要素，再進(jìn)一步分析，并轉(zhuǎn)化成結(jié)構(gòu)化的數(shù)據(jù)輸出到預(yù)測(cè)模型。

（2）處理復(fù)雜文本，可以將兩種或更多數(shù)據(jù)源一起進(jìn)行分析，以獲得深刻的見解。

（3）實(shí)體提取和語義分析，并以圖表的方式存儲(chǔ)在一個(gè)關(guān)系型數(shù)據(jù)庫中。

再者，對(duì)數(shù)據(jù)進(jìn)行合理分類分析。按海事管理的要求對(duì)大數(shù)據(jù)的特征進(jìn)行標(biāo)注，與合適的大數(shù)據(jù)進(jìn)行模式匹配，包括：如何收集、分析和處理數(shù)據(jù)。下圖詳細(xì)的說明了數(shù)據(jù)分類方法及層次劃分。endprint

最后，選擇合適的技術(shù)框架以適應(yīng)業(yè)務(wù)場(chǎng)景來有效地提高工作效率。與傳統(tǒng)的數(shù)據(jù)分析相比，大數(shù)據(jù)在分析模型和算法本身沒有大的突破，但數(shù)據(jù)的處理能力與應(yīng)用方式具有革命性變化，特別是大數(shù)據(jù)量下的執(zhí)行效率及處理能力的并行化。目前比較成熟的技術(shù)框架，有MapReduce、Spark等。

（1）Hadoop的MapReduce框架，通過優(yōu)化資源調(diào)度與利用將任務(wù)分解成適合執(zhí)行的映射-整理-歸納過程，分布在不同的機(jī)器上運(yùn)行，同時(shí)加強(qiáng)了容錯(cuò)性和可用性，實(shí)現(xiàn)了對(duì)海量數(shù)據(jù)的處理。

（2）Spark采用了基于有向圖（DAG）的計(jì)算框架，將計(jì)算任務(wù)分解為多個(gè)并行任務(wù)，使用RDD（彈性分布數(shù)據(jù)集）數(shù)據(jù)模型，中間數(shù)據(jù)放入內(nèi)存高效共享，避免頻繁磁盤讀寫對(duì)處理速度的損耗，實(shí)現(xiàn)高效率計(jì)算，對(duì)社交網(wǎng)絡(luò)分析、機(jī)器學(xué)習(xí)、流處理等場(chǎng)景具備良好支撐能力。

2.3 數(shù)據(jù)安全需關(guān)注

由于海事管理信息數(shù)據(jù)的極速增長，也給數(shù)據(jù)安全防護(hù)和信息隱私保護(hù)帶來極大的挑戰(zhàn)。若系統(tǒng)遭黑客入侵帶來信息安全隱患甚至導(dǎo)致信息系統(tǒng)崩潰。究其原因，主要來自對(duì)系統(tǒng)數(shù)據(jù)監(jiān)督管理不嚴(yán)、制度標(biāo)準(zhǔn)不銜接等問題，可從以下技術(shù)上予以改進(jìn)：

（1）完全控制數(shù)據(jù)流從一個(gè)應(yīng)用系統(tǒng)到另一個(gè)系統(tǒng)的流程，清晰密鑰管理和訪問管理的界限，完善的關(guān)鍵控制策略。

（2）控制好內(nèi)部的數(shù)據(jù)中心私有云、混合環(huán)境中公共云的數(shù)據(jù)存儲(chǔ)安全控制。

（3）使用足夠安全的驗(yàn)證加密算法。在大數(shù)據(jù)應(yīng)用中，采集數(shù)據(jù)，數(shù)據(jù)交互，保護(hù)隱私，都是大數(shù)據(jù)安全的責(zé)任所在。

2.4 海事管理數(shù)據(jù)標(biāo)準(zhǔn)仍缺失

在海事管理大數(shù)據(jù)的背景下，數(shù)據(jù)標(biāo)準(zhǔn)不統(tǒng)一問題是制約海事管理智能化發(fā)展的掣肘?，F(xiàn)有的多套海事管理信息系統(tǒng)由不同的企業(yè)開發(fā)提供，沒有制式標(biāo)準(zhǔn)，數(shù)據(jù)不能貫通，無法統(tǒng)一整合。若想構(gòu)建一體化的海事集成數(shù)據(jù)平臺(tái)，需要在數(shù)據(jù)規(guī)范上進(jìn)行統(tǒng)一，實(shí)現(xiàn)數(shù)據(jù)的標(biāo)準(zhǔn)化。

3 加快發(fā)展海事大數(shù)據(jù)的對(duì)策

3.1 加強(qiáng)組織領(lǐng)導(dǎo)

在發(fā)展海事監(jiān)管大數(shù)據(jù)工作中，海事各級(jí)管理機(jī)構(gòu)應(yīng)按照交通運(yùn)輸部海事局在數(shù)據(jù)頂層設(shè)計(jì)上的思路，統(tǒng)一思想，把發(fā)展海事大數(shù)據(jù)作為重要任務(wù)來執(zhí)行，明確發(fā)展目標(biāo)、通過科學(xué)建設(shè)步驟、規(guī)范化的配套措施，強(qiáng)有力的組織保證，堅(jiān)持高質(zhì)量建設(shè)、高水平管理、高效益使用，科學(xué)有序地發(fā)展海事大數(shù)據(jù)。

3.2 完善配套法規(guī)制度

海事大數(shù)據(jù)需依靠完善的規(guī)章制度，明確責(zé)任分工，從制度建設(shè)上優(yōu)化資源配置，實(shí)行數(shù)據(jù)共享和安全保護(hù)，實(shí)現(xiàn)數(shù)據(jù)的規(guī)范管理及有效利用。在數(shù)據(jù)安全方面，建立強(qiáng)而可靠的攻擊防范措施，最大程度控制信息泄露風(fēng)險(xiǎn)，保障網(wǎng)絡(luò)數(shù)據(jù)安全。在保證數(shù)據(jù)安全的前提下，通過數(shù)據(jù)共享模式，促進(jìn)數(shù)據(jù)資源流通，提高數(shù)據(jù)資源使用率。

3.3 建立健全行業(yè)標(biāo)準(zhǔn)

加快制定統(tǒng)一的海事管理數(shù)據(jù)標(biāo)準(zhǔn)，對(duì)數(shù)據(jù)分類、數(shù)據(jù)接口、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全、數(shù)據(jù)共享、數(shù)據(jù)開放等通過標(biāo)準(zhǔn)的方式進(jìn)行規(guī)范管理，并與國際標(biāo)準(zhǔn)對(duì)接，集約整合、協(xié)同開發(fā)，提高海事大數(shù)據(jù)的精準(zhǔn)性和有效性，滿足海事監(jiān)管與服務(wù)的多樣化需求。

3.4 重視人才隊(duì)伍建設(shè)

人才在海事大數(shù)據(jù)建設(shè)過程中的推動(dòng)作用不言而喻，必須充分重視培養(yǎng)既懂海事業(yè)務(wù)又懂?dāng)?shù)據(jù)的專業(yè)性人才，鼓勵(lì)、引導(dǎo)創(chuàng)新，建立多層次、復(fù)合型的大數(shù)據(jù)人才隊(duì)伍，引進(jìn)社會(huì)先進(jìn)資源，共同交流研發(fā)，培養(yǎng)符合社會(huì)發(fā)展需要的海事創(chuàng)新型人才。

參考文獻(xiàn)：

[1] 劉智慧.張泉靈.大數(shù)據(jù)技術(shù)研究綜述[J].浙江大學(xué)學(xué)報(bào)：工學(xué)版，2014，48（6）：1-16.

[2] 陶雪嬌，胡要峰，劉洋.大數(shù)據(jù)研究綜述[J].系統(tǒng)仿真學(xué)報(bào).2013（S1）：142-146.

[3] 中國計(jì)算機(jī)協(xié)會(huì)大數(shù)據(jù)委員會(huì).中國大數(shù)據(jù)技術(shù)與產(chǎn)業(yè)發(fā)展白皮書[R].2013.

[4] 董西成.hadoop技術(shù)內(nèi)幕：深入解析YARN架構(gòu)設(shè)計(jì)與實(shí)現(xiàn)原理[M].北京：機(jī)械工業(yè)出版社，2013.endprint