港口物流大數(shù)據(jù)管理方法

王妍妍，劉佳新

（1.燕山大學(xué) 經(jīng)濟(jì)管理學(xué)院，河北 秦皇島 066004；2.燕山大學(xué) 信息科學(xué)與工程學(xué)院，河北 秦皇島 066004）

0 引言

港口作為綜合物流服務(wù)中心，數(shù)據(jù)呈現(xiàn)爆炸式的增長趨勢，大數(shù)據(jù)的管理和應(yīng)用越來越受到重視。大數(shù)據(jù)作為不可或缺的重要資產(chǎn)，在市場拓展、個性化服務(wù)和降低成本等方面給港口帶來了經(jīng)濟(jì)利益。通過大數(shù)據(jù)技術(shù)優(yōu)化港口業(yè)務(wù)的過程和方法，提供全方位、多層次的港口物流體系，充分發(fā)掘數(shù)據(jù)潛在的價值，對港口的發(fā)展具有重要意義。

近年來，大數(shù)據(jù)技術(shù)在物流領(lǐng)域的研究十分廣泛。王柏誼，等[1]研究物流信息大數(shù)據(jù)平臺的構(gòu)建，在大數(shù)據(jù)的運(yùn)用能力、創(chuàng)新經(jīng)營模式、安全防護(hù)和人才引進(jìn)等方面給出對策。付平德[2]基于大數(shù)據(jù)技術(shù)構(gòu)建了智慧物流系統(tǒng)，分析了智慧物流的關(guān)鍵技術(shù)。白歷如，等[3]為了優(yōu)化物流企業(yè)的供應(yīng)鏈管理，應(yīng)用大數(shù)據(jù)完善了數(shù)據(jù)管理、健全了人才培養(yǎng)機(jī)制、培育了企業(yè)核心競爭力。萬艷春，等[4]分析發(fā)現(xiàn)，我國在物流大數(shù)據(jù)應(yīng)用研究的深度上還低于國外，大數(shù)據(jù)技術(shù)的應(yīng)用將趨于具體化和現(xiàn)實(shí)化。李佳慧[5]提出航運(yùn)大數(shù)據(jù)提升了企業(yè)的服務(wù)效率，還應(yīng)向精細(xì)化和清晰化的方向發(fā)展。曾小嬌，等[6]提出大數(shù)據(jù)促進(jìn)了各港口以及物流企業(yè)之間的合作，但在智能化運(yùn)營、協(xié)同化服務(wù)等方面有待完善。曾露玲，等[7]認(rèn)為港口的信息壁壘限制了數(shù)據(jù)的共享和流動，大數(shù)據(jù)的應(yīng)用還沒有形成新的利潤來源。由此可見，港口物流大數(shù)據(jù)的整合和應(yīng)用初具規(guī)模，但尚未形成綜合、完整的數(shù)據(jù)中心，大數(shù)據(jù)資源創(chuàng)造的經(jīng)濟(jì)價值也十分有限。

港口作為物流過程的重要節(jié)點(diǎn)，依托大數(shù)據(jù)技術(shù)來提高數(shù)據(jù)的管理水平和能力勢在必行。本文分析港口物流大數(shù)據(jù)的特點(diǎn)和組成，建立大數(shù)據(jù)管理模型以分析業(yè)務(wù)數(shù)據(jù)和數(shù)據(jù)價值，充分利用大數(shù)據(jù)進(jìn)行深度分析，達(dá)到降低企業(yè)運(yùn)營成本、提高運(yùn)營效率的目的。

1 港口物流大數(shù)據(jù)的組成和特點(diǎn)

港口物流大數(shù)據(jù)既包括企業(yè)內(nèi)部的運(yùn)營數(shù)據(jù)、管理數(shù)據(jù)和財務(wù)數(shù)據(jù)等，也包括企業(yè)外部的各種數(shù)據(jù)，可分為日志數(shù)據(jù)、業(yè)務(wù)主題數(shù)據(jù)和業(yè)務(wù)往來數(shù)據(jù)。日志數(shù)據(jù)是系統(tǒng)操作過程中產(chǎn)生的各種日志文件。業(yè)務(wù)主題數(shù)據(jù)是業(yè)務(wù)生產(chǎn)過程中的各種信息資源，其類型十分豐富，包括文本數(shù)據(jù)、圖片數(shù)據(jù)、音頻數(shù)據(jù)、視頻數(shù)據(jù)和位置數(shù)據(jù)等。業(yè)務(wù)往來數(shù)據(jù)多為一些共享數(shù)據(jù)。這些數(shù)據(jù)中港口內(nèi)部數(shù)據(jù)的質(zhì)量最高、最重要，是大數(shù)據(jù)管理的主要數(shù)據(jù)來源和重點(diǎn)。隨著信息化進(jìn)程的推進(jìn)和業(yè)務(wù)的發(fā)展，港口各類信息系統(tǒng)數(shù)量繁多，數(shù)據(jù)量越來越大，對實(shí)時性的要求也越來越強(qiáng)。港口物流大數(shù)據(jù)涉及企業(yè)生產(chǎn)經(jīng)營的重要信息，這些數(shù)據(jù)的涉密等級較高。所以，港口物流大數(shù)據(jù)表現(xiàn)出數(shù)據(jù)量大、實(shí)時性強(qiáng)和涉密等級高的主要特點(diǎn)。

2 基于Hadoop的港口物流大數(shù)據(jù)管理

大數(shù)據(jù)管理涉及數(shù)據(jù)異構(gòu)、處理速度快等問題，考慮港口大數(shù)據(jù)的特點(diǎn)，結(jié)合Hadoop在架構(gòu)和技術(shù)類別上的優(yōu)勢，建立了港口大數(shù)據(jù)管理模型，提供集數(shù)據(jù)建設(shè)、數(shù)據(jù)分析和數(shù)據(jù)服務(wù)為一體的綜合大數(shù)據(jù)管理系統(tǒng)?；贖adoop的港口物流大數(shù)據(jù)管理模型分為數(shù)據(jù)采集層、數(shù)據(jù)預(yù)處理及存儲層、數(shù)據(jù)分析層和數(shù)據(jù)應(yīng)用層，分別完成數(shù)據(jù)的采集、存儲、分析和應(yīng)用，主要完成港口業(yè)務(wù)數(shù)據(jù)分析和數(shù)據(jù)價值分析功能，為港口提供有效的決策支持功能。該模型如圖1所示。

2.1 港口業(yè)務(wù)數(shù)據(jù)分析

業(yè)務(wù)數(shù)據(jù)分析是整合港口的用戶行為、經(jīng)營數(shù)據(jù)等多種數(shù)據(jù)源，對數(shù)據(jù)進(jìn)行多維度的、智能化的分析。業(yè)務(wù)數(shù)據(jù)分析是港口大數(shù)據(jù)管理的核心功能，是發(fā)現(xiàn)數(shù)據(jù)中隱含有用信息的過程。業(yè)務(wù)數(shù)據(jù)分析主要包括基礎(chǔ)數(shù)據(jù)分析、深度數(shù)據(jù)分析和實(shí)時數(shù)據(jù)分析三個方面：

（1）基礎(chǔ)數(shù)據(jù)分析采用統(tǒng)計分析方法對收集到的數(shù)據(jù)進(jìn)行匯總、理解和消化。針對港口的各種類型數(shù)據(jù)，進(jìn)行求平均數(shù)、最值、變化率等基礎(chǔ)運(yùn)算，實(shí)現(xiàn)對數(shù)據(jù)的初步認(rèn)識和了解。

圖1 基于Hadoop的港口大數(shù)據(jù)管理模型

（2）深度數(shù)據(jù)分析分為橫向分析和縱向分析，橫向分析是港口業(yè)務(wù)數(shù)據(jù)屬性之間表現(xiàn)出來的關(guān)聯(lián)性?？v向分析是不同業(yè)務(wù)類型或業(yè)務(wù)環(huán)節(jié)之間的相互影響關(guān)系。深度數(shù)據(jù)分析從以下幾方面進(jìn)行：

第一、生產(chǎn)業(yè)務(wù)數(shù)據(jù)分析。港口逐漸形成了以生產(chǎn)業(yè)務(wù)系統(tǒng)為核心的信息化布局，港口的集裝箱業(yè)務(wù)、散雜貨業(yè)務(wù)、物流業(yè)務(wù)、服務(wù)業(yè)務(wù)等會產(chǎn)生大量的數(shù)據(jù)，這些數(shù)據(jù)對港口的業(yè)務(wù)開展有重大的影響。通過利用數(shù)據(jù)挖掘技術(shù)發(fā)掘不同業(yè)務(wù)之間的關(guān)聯(lián)關(guān)系，可有效發(fā)現(xiàn)業(yè)務(wù)中的浪費(fèi)，為企業(yè)業(yè)務(wù)的調(diào)配和開展提供理論依據(jù)。

第二、客戶數(shù)據(jù)分析?？蛻舴治鍪峭诰蚩蛻舢?dāng)前和潛在的價值，了解客戶的需求偏好和關(guān)注點(diǎn)，進(jìn)而幫助港口制定客戶管理策略。通過分析港口客戶的業(yè)務(wù)往來數(shù)據(jù)，梳理客戶基本信息、客戶關(guān)注信息和客戶業(yè)務(wù)類型信息，適時調(diào)整港口服務(wù)內(nèi)容。

第三、共享數(shù)據(jù)分析。以港口為中心節(jié)點(diǎn)的物流鏈體系，各個企業(yè)之間的業(yè)務(wù)來往會產(chǎn)生大量的共享數(shù)據(jù)。清洗并統(tǒng)計分析這些數(shù)據(jù)，向合作企業(yè)和社會提供共享數(shù)據(jù)服務(wù)，可以有效打通物流鏈各個環(huán)節(jié)，更好地服務(wù)社會。

第四、設(shè)備資源數(shù)據(jù)分析。設(shè)備數(shù)據(jù)是設(shè)備工作和管理的基本數(shù)據(jù)，以結(jié)構(gòu)化的數(shù)據(jù)居多，主要包括設(shè)備的工作日志數(shù)據(jù)、故障數(shù)據(jù)和維修數(shù)據(jù)等。其中，設(shè)備的工作日志數(shù)據(jù)多為實(shí)時數(shù)據(jù)，反映了設(shè)備的工作狀況，設(shè)備的故障數(shù)據(jù)和維修數(shù)據(jù)反映了設(shè)備的使用情況。分析設(shè)備資源數(shù)據(jù)，為港口設(shè)備的保養(yǎng)、維護(hù)和更新提供有效支持，從而保證港口高效安全運(yùn)轉(zhuǎn)。

第五、管理數(shù)據(jù)分析。港口管理涉及戰(zhàn)略管理、組織管理、計劃管理、流程管理和財務(wù)管理等，分析管理數(shù)據(jù)為企業(yè)合作和業(yè)務(wù)開展提供保障服務(wù)。深挖港口管理數(shù)據(jù)，可根據(jù)不同的客戶需要提供相應(yīng)不同的服務(wù)內(nèi)容，幫助客戶獲得最大價值。

（3）實(shí)時數(shù)據(jù)分析：針對具有較強(qiáng)時效性的數(shù)據(jù)，進(jìn)行實(shí)時分析處理以獲取有效信息。Storm 是實(shí)時的、分布式的在線實(shí)時流處理模型，被稱為“實(shí)時的Hadoop”?；赟torm的實(shí)時數(shù)據(jù)分析分為數(shù)據(jù)采集與預(yù)處理、數(shù)據(jù)計算和結(jié)果展示三個階段，港口物流大數(shù)據(jù)的實(shí)時分析過程如圖2所示。其中，NoSQL數(shù)據(jù)庫用于存儲實(shí)時數(shù)據(jù)處理的結(jié)果，以支持結(jié)果的更新、查詢操作，并作為結(jié)果的展示基礎(chǔ)。

圖2 港口數(shù)據(jù)實(shí)時分析流程圖

2.2 港口數(shù)據(jù)價值分析

數(shù)據(jù)的價值分析是盤點(diǎn)和繪制出所有數(shù)據(jù)形成的資產(chǎn)。從港口數(shù)據(jù)源來看，內(nèi)部數(shù)據(jù)是各部門生產(chǎn)和管理系統(tǒng)產(chǎn)生的數(shù)據(jù)，這些數(shù)據(jù)可信度高，是數(shù)據(jù)價值分析的關(guān)鍵所在。同時，數(shù)據(jù)的價值受到數(shù)據(jù)類型、數(shù)據(jù)質(zhì)量、數(shù)據(jù)體量等多方面的影響。港口企業(yè)的數(shù)據(jù)價值體現(xiàn)在數(shù)據(jù)的可信度和數(shù)據(jù)的定價上。

（1）數(shù)據(jù)的可信度。數(shù)據(jù)的可信度與數(shù)據(jù)的質(zhì)量息息相關(guān)，高質(zhì)量的數(shù)據(jù)是保證數(shù)據(jù)可靠性的基礎(chǔ)。數(shù)據(jù)的質(zhì)量受到數(shù)據(jù)產(chǎn)生的業(yè)務(wù)流程、數(shù)據(jù)的控制制度和數(shù)據(jù)的管理制度等多方面共同影響。對港口企業(yè)來說，完備的業(yè)務(wù)流程要有完整的業(yè)務(wù)文檔和記錄。完善的管理制度要從硬件管理制度、軟件管理制度和安全管理制度等多方面約束。有效的控制制度要以港口的各類管理系統(tǒng)中代碼的控制機(jī)制和安全保密措施為基礎(chǔ)，這些因素將共同保證數(shù)據(jù)的質(zhì)量。

（2）數(shù)據(jù)的定價。數(shù)據(jù)定價是從資產(chǎn)的角度評估數(shù)據(jù)的價值，讓數(shù)據(jù)成為可以交易商品流動起來。數(shù)據(jù)資產(chǎn)定價時需要在資產(chǎn)法律的限制下，考慮資產(chǎn)的實(shí)物特征，例如類型、質(zhì)量、數(shù)量、實(shí)時性、可靠性、可獲得性和時間跨度等。同時考慮將資產(chǎn)轉(zhuǎn)換的成本，即交易該數(shù)據(jù)資產(chǎn)能否產(chǎn)生足夠的收益，能否滿足市場參與者對投資回報目標(biāo)的要求。

2.3 港口物流大數(shù)據(jù)應(yīng)用

大數(shù)據(jù)管理推動企業(yè)實(shí)現(xiàn)數(shù)據(jù)化運(yùn)營，將企業(yè)的運(yùn)營管理方式從“業(yè)務(wù)驅(qū)動”逐步轉(zhuǎn)換為“數(shù)據(jù)驅(qū)動”。數(shù)據(jù)作為無形資產(chǎn)在企業(yè)的運(yùn)營流程和決策中發(fā)揮著舉足輕重的作用，大數(shù)據(jù)管理是港口實(shí)現(xiàn)從粗放式經(jīng)營到精細(xì)化經(jīng)營管理的有效途徑。大數(shù)據(jù)管理的核心是為資產(chǎn)形態(tài)的數(shù)據(jù)，建立應(yīng)用管理的標(biāo)準(zhǔn)和流程，加強(qiáng)數(shù)據(jù)管理的相關(guān)技術(shù)、體制和手段的建設(shè)。港口企業(yè)大數(shù)據(jù)管理將在原有技術(shù)手段和制度體系上，建立符合無形資產(chǎn)特性的管理技術(shù)和體制，保證大數(shù)據(jù)的合理配置和有效利用，充分發(fā)揮大數(shù)據(jù)的應(yīng)用價值。

3 建設(shè)數(shù)據(jù)管理保障體系

為了保障全面大數(shù)據(jù)管理的高效開展，需要調(diào)整港口管理機(jī)構(gòu)的設(shè)置和職能，大數(shù)據(jù)管理機(jī)構(gòu)可按照數(shù)據(jù)管理架構(gòu)的層次進(jìn)行設(shè)置。由數(shù)據(jù)庫管理員或者專門的數(shù)據(jù)采集員負(fù)責(zé)數(shù)據(jù)采集及相關(guān)工作，再配備數(shù)據(jù)安全管理員、數(shù)據(jù)質(zhì)量管理員和數(shù)據(jù)運(yùn)行維護(hù)管理員保證數(shù)據(jù)的存儲。在數(shù)據(jù)管理中心的統(tǒng)一調(diào)度安排下，數(shù)據(jù)分析管理員完成數(shù)據(jù)的分析，并形成可視化分析報告。數(shù)據(jù)管理機(jī)構(gòu)的隊伍設(shè)立如圖3所示。

圖3 數(shù)據(jù)管理隊伍結(jié)構(gòu)圖

4 結(jié)語

大數(shù)據(jù)管理和應(yīng)用對港口的決策制定、業(yè)務(wù)發(fā)展和客戶關(guān)系管理具有重要的影響?；贖adoop建立港口物流大數(shù)據(jù)管理模型，為港口實(shí)施全面大數(shù)據(jù)管理提供了解決方案。有效的大數(shù)據(jù)管理能為港口決策提供更準(zhǔn)確、更及時的信息，但在實(shí)際應(yīng)用時也受到一些限制。數(shù)據(jù)的隱私和權(quán)屬問題是制約大數(shù)據(jù)管理和應(yīng)用的首要因素。同時，大數(shù)據(jù)管理涉及到很多技術(shù)和安全問題，港口的技術(shù)保障力量也有待增強(qiáng)。只有轉(zhuǎn)變港口管理觀念，大數(shù)據(jù)管理才有可操作性，然而，由于大數(shù)據(jù)無形資產(chǎn)的特殊性，大數(shù)據(jù)應(yīng)用的效果考量尚無有效方法。