基于大數(shù)據(jù)的港口煤炭物流可視化分析平臺

賈婷

摘要：基于大數(shù)據(jù)的可視分析理論與技術(shù)已經(jīng)被應(yīng)用于很多不同的領(lǐng)域。大數(shù)據(jù)時代背景下，秦皇島港已經(jīng)實現(xiàn)了生產(chǎn)業(yè)務(wù)信息化，并且積累了大量的生產(chǎn)作業(yè)數(shù)據(jù)。蘊含在港口生產(chǎn)業(yè)務(wù)數(shù)據(jù)中的潛在價值有待挖掘。為了使港口能更有效地管理和應(yīng)用數(shù)據(jù)資源，本文結(jié)合港口業(yè)務(wù)與數(shù)據(jù)特點，提出了基于大數(shù)據(jù)的港口煤炭物流可視化分析平臺，分析了平臺總體設(shè)計思路，介紹了該平臺的總體架構(gòu)，闡述了該平臺在秦皇島港的應(yīng)用效果。實際應(yīng)用表明，該平臺實現(xiàn)了港口企業(yè)內(nèi)部數(shù)據(jù)的全面管理和應(yīng)用，為港口企業(yè)管理、決策、預(yù)警等提供全面可靠的數(shù)據(jù)支撐。

關(guān)鍵詞：大數(shù)據(jù) 港口 煤炭物流 可視化分析

0 引 言

近年來，秦皇島港面臨愈加激烈的競爭環(huán)境。作為國內(nèi)的百年大港，秦皇島港具有深厚的基礎(chǔ)設(shè)施優(yōu)勢、網(wǎng)絡(luò)設(shè)備優(yōu)勢、數(shù)據(jù)資源優(yōu)勢以及客戶資源優(yōu)勢，尤其是秦皇島港所積淀的海量數(shù)據(jù)資源是新建港口碼頭所無法比擬的。充分發(fā)揮港口底蘊優(yōu)勢，通過物聯(lián)網(wǎng)、云計算、數(shù)據(jù)挖掘等技術(shù)手段對港口供應(yīng)鏈上的信息進行感知、存儲、歸納、整理并盤活；分析煤炭物流數(shù)據(jù)資源的消費趨勢，從中發(fā)現(xiàn)優(yōu)質(zhì)貨源；對客戶進行分析，以制定有效的客戶政策，優(yōu)化港口生產(chǎn)作業(yè)各環(huán)節(jié)和供應(yīng)鏈流程，以推動形成基于大數(shù)據(jù)的增值信息服務(wù)新業(yè)態(tài)。

1 問題分析

1.1 必要性分析

作為煤炭供應(yīng)鏈的樞紐節(jié)點，秦皇島港在生產(chǎn)調(diào)度、煤炭生產(chǎn)、貨運費收等生產(chǎn)過程中積淀了海量的數(shù)據(jù)。這些生產(chǎn)數(shù)據(jù)背后蘊藏著高價值的信息，然而，由于港口業(yè)務(wù)數(shù)據(jù)具有海量、高維、網(wǎng)絡(luò)化及地理相關(guān)等數(shù)據(jù)特性，使得數(shù)據(jù)分析人員很難在現(xiàn)有數(shù)據(jù)資源的基礎(chǔ)上洞察港口現(xiàn)已積累數(shù)據(jù)的潛藏價值，無法全面地掌握、理解、分析港口業(yè)務(wù)情況。生產(chǎn)管理數(shù)據(jù)價值增值環(huán)節(jié)的缺失，導(dǎo)致不能為港口生產(chǎn)經(jīng)營決策管理提供有效的數(shù)據(jù)支撐。為此，亟待通過有效的可視化技術(shù)來解決上述問題，實現(xiàn)港口的數(shù)據(jù)增值應(yīng)用。

1.2 港口數(shù)據(jù)分析

本文主要從結(jié)合港口煤炭物流數(shù)據(jù)多源性、異構(gòu)性和多維性的特征，通過對海量煤炭物流數(shù)據(jù)進行分析。

（1）多源性

秦皇島港在信息化發(fā)展過程中，在不同的歷史時期，為滿足不同的業(yè)務(wù)需求，采用不同的數(shù)據(jù)庫技術(shù)構(gòu)建系統(tǒng)，為此，港口煤炭物流數(shù)據(jù)具有多源屬性。

（2）異構(gòu)性

一方面，港口數(shù)據(jù)的多源屬性使得獲取的數(shù)據(jù)格式、數(shù)據(jù)組成具有異構(gòu)性。其次，不同信息系統(tǒng)所采用的采集系統(tǒng)并不相同，導(dǎo)致所采集獲得的數(shù)據(jù)模型具有異構(gòu)性。

（3）多維性

港口數(shù)據(jù)具有異構(gòu)、多源等特征，使得數(shù)據(jù)的描述可以從多個不同維度展開。例如，針對一個車次的煤炭調(diào)進數(shù)據(jù)描述，包括煤種、噸數(shù)、車次、發(fā)貨人、委托人、所屬分公司等信息。

結(jié)合港口煤炭物流數(shù)據(jù)的實際特點，以發(fā)現(xiàn)煤炭物流趨勢、規(guī)則等潛藏在數(shù)據(jù)背后的有價值信息。

2 技術(shù)思路

以港口煤炭物流大數(shù)據(jù)的結(jié)構(gòu)特征為基礎(chǔ)，綜合運用數(shù)據(jù)挖掘技術(shù)、基于OLAP的多維分析技術(shù)及可視化交互等技術(shù)，實現(xiàn)對數(shù)據(jù)多維度、深層次的挖掘，以實現(xiàn)對信息的洞察，避免在信息中迷航，在盡可能短的時間內(nèi)，以最自然的方式獲得和理解所需信息并做出決策。

（1）港口煤炭物流大數(shù)據(jù)經(jīng)過可視化模型處理后，可以得到可視化數(shù)據(jù)，通過對可視化數(shù)據(jù)建模分析，利用數(shù)據(jù)挖掘等數(shù)據(jù)分析技術(shù)，實現(xiàn)數(shù)據(jù)的實時分析與管理，可為港口的決策提供及時、準(zhǔn)確、權(quán)威的數(shù)據(jù)依據(jù)，使秦港能及時掌握市場環(huán)境的需求變化，從而能夠及時進行戰(zhàn)略調(diào)整，贏得市場先機。

港口煤炭物流大數(shù)據(jù)分析模型如圖1所示。

（2）基于OLAP的大數(shù)據(jù)多維分析技術(shù)

通過采用多維分析技術(shù)對港口煤炭物流大數(shù)據(jù)進行上卷、下鉆、切片、切塊、旋轉(zhuǎn)等分析操作，實現(xiàn)了數(shù)據(jù)從高維度抽象至低維度細節(jié)的全方位剖析展示，使分析者、決策者能從多個角度、多個側(cè)面觀察數(shù)據(jù)庫中的數(shù)據(jù)，有利于鉆取、挖掘數(shù)據(jù)潛藏的信息價值與內(nèi)涵。

以秦港煤炭調(diào)進數(shù)據(jù)為例，應(yīng)用多維分析技術(shù)可從委托人、公司、時間各維度分析數(shù)據(jù)，如下圖所示：

（3）系統(tǒng)可視化開發(fā)技術(shù)框架

采用商業(yè)智能軟件Tableau，沒有復(fù)雜的代碼編輯，控制臺可完全自定義配置。在控制臺上，不僅能夠監(jiān)測信息，而且還提供完整的分析能力，通過導(dǎo)入業(yè)務(wù)系統(tǒng)數(shù)據(jù)信息，簡單拖放數(shù)據(jù)字段信息即可形成可視化圖形。

3 平臺構(gòu)成

港口煤炭物流大數(shù)據(jù)可視化分析平臺主要基于數(shù)據(jù)挖掘、中間件、可視化等技術(shù)實現(xiàn)港口煤炭物流大數(shù)據(jù)的集成、管理與應(yīng)用。平臺總體架構(gòu)可以分為感知層、網(wǎng)絡(luò)層、數(shù)據(jù)存儲層、數(shù)據(jù)分析層與展示層。

（1）感知層：以秦皇島港物聯(lián)網(wǎng)設(shè)備、PLC等數(shù)據(jù)采集設(shè)備為基礎(chǔ)，實現(xiàn)數(shù)據(jù)的自動化采集，為數(shù)據(jù)應(yīng)用提供數(shù)據(jù)來源。

（2）網(wǎng)絡(luò)層：以港口網(wǎng)絡(luò)為核心，基于互聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)、WIFI等，實現(xiàn)數(shù)據(jù)通訊與實時數(shù)據(jù)采集。

（3）數(shù)據(jù)存儲層：面向業(yè)務(wù)構(gòu)建主題數(shù)據(jù)庫，通過整個各個系統(tǒng)數(shù)據(jù)，構(gòu)建基于數(shù)據(jù)挖掘的數(shù)據(jù)倉庫，大數(shù)據(jù)分析挖掘提供數(shù)據(jù)支撐。

（4）數(shù)據(jù)分析層：采用數(shù)據(jù)分析模型，利用數(shù)據(jù)挖掘、OLAP等技術(shù)，挖掘數(shù)據(jù)的關(guān)聯(lián)關(guān)系，實現(xiàn)數(shù)據(jù)聚類分析與預(yù)測，發(fā)現(xiàn)數(shù)據(jù)潛藏的規(guī)律與價值，通過蓋層實現(xiàn)整個平臺數(shù)據(jù)的增值應(yīng)用。

（5）數(shù)據(jù)展示層： 利用系統(tǒng)可視化開發(fā)框架，從數(shù)據(jù)多維分析、數(shù)據(jù)交互等多個方面對港口煤炭大數(shù)據(jù)進行挖掘、分析與展示，從而實現(xiàn)港口煤炭物流大數(shù)據(jù)的可視化管理。

4 實施效果

以港口煤炭物流數(shù)據(jù)為研究對象，對其進行業(yè)務(wù)建模，分析煤炭調(diào)進數(shù)據(jù)維度之間的關(guān)系，并利用可視化開發(fā)框架對數(shù)據(jù)進行可視化展現(xiàn)與交互，可以得到如圖4所示的煤炭可視化分析結(jié)果。

通過對煤炭調(diào)進數(shù)據(jù)進行挖掘、分析，可以從委托人層面分析煤炭調(diào)進業(yè)務(wù)量排名，各公司所占比例；從子公司層面，可以分析子公司各煤種調(diào)進業(yè)務(wù)量所占的比例；還可分析出煤炭從不同發(fā)貨公司按月或按日的調(diào)進詳細趨勢。

實際應(yīng)用表明，平臺為港口企業(yè)管理、決策、預(yù)警等提供全面可靠的數(shù)據(jù)支撐。

5 結(jié) 論

本文以日益增長的秦皇島港海量生產(chǎn)業(yè)務(wù)數(shù)據(jù)為研究對象，綜合運用大數(shù)據(jù)技術(shù)、可視化開發(fā)技術(shù)框架、數(shù)據(jù)挖掘技術(shù)，對生產(chǎn)數(shù)據(jù)進行多維分析挖掘與交互動態(tài)展示，促進了系統(tǒng)的智能思考，實現(xiàn)了秦皇島港煤炭大數(shù)據(jù)的增值輸出，為管理者的理性決策提供可靠、直觀的數(shù)據(jù)依據(jù)，有效地滿足了新形勢下港口的決策管理需要，促進了港口生產(chǎn)從勞動密集型向集約型管理的轉(zhuǎn)變。

參考文獻：

[1] 任磊，杜一，馬帥.大數(shù)據(jù)可視分析綜述[J].軟件學(xué)報，2014（9）：1909-1936.

[2] 沈漢威，張小龍，陳為.可視化及可視分析專題前言[J].軟件學(xué)報，2016（5）：1059-1060.

[3] 何賢國，孫國道，高家全.出租車GPS大數(shù)據(jù)的道路行車可視分析[J].計算機輔助設(shè)計與圖形學(xué)學(xué)報.2014（12）：2163-2172.

[4] 張繁，袁兆康，肖凡平.基于Spark的大數(shù)據(jù)熱圖可視化方法[J].計算機輔助設(shè)計與圖形學(xué)學(xué)報2016（11）：1881-1886.

[5] 徐計，王國胤，于洪.基于粒計算的大數(shù)據(jù)處理[J].計算機學(xué)報.2015（8）：1497-1517.

[6] 王元卓，靳小龍，程學(xué)旗.網(wǎng)絡(luò)大數(shù)據(jù)：現(xiàn)狀與展望[J].計算機學(xué)報，2013（6）：1125-1138.

[7] 沈國輝，孫麗卿，游大寧.智能調(diào)度系統(tǒng)信息綜合可視化方法[J].電力系統(tǒng)保護與控制，2014（13）：129-134.

[8] 郭曉波，趙書良，王長賓.一種新的面向普通用戶的多值屬性關(guān)聯(lián)規(guī)則可視化挖掘方法[J].電子學(xué)報，2015（2）：344-352.