自動(dòng)化集裝箱碼頭數(shù)據(jù)湖系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

孔席超 張 騰 張 煜 楊彩云

1天津港第二集裝箱碼頭有限公司 天津 120000 2武漢理工大學(xué)交通與物流工程學(xué)院 武漢 430063 3武漢理工大學(xué)韶關(guān)研究院 韶關(guān) 512000

0 引言

近年來(lái)，集裝箱碼頭吞吐量逐年增加，大規(guī)模、高強(qiáng)度的進(jìn)出口量對(duì)碼頭整體運(yùn)營(yíng)能力提出了新的要求。隨著新興技術(shù)在碼頭自動(dòng)化建設(shè)中的不斷應(yīng)用，碼頭數(shù)據(jù)來(lái)源及結(jié)構(gòu)的復(fù)雜程度也逐漸提高。

隨著大數(shù)據(jù)、云計(jì)算等數(shù)據(jù)智能處理技術(shù)的發(fā)展，越來(lái)越多的集裝箱碼頭開始應(yīng)用數(shù)據(jù)挖掘、大數(shù)據(jù)分析等技術(shù)，通過(guò)對(duì)自身數(shù)據(jù)資產(chǎn)進(jìn)行整理，對(duì)碼頭作業(yè)進(jìn)行生產(chǎn)指導(dǎo)，有效提升了碼頭運(yùn)營(yíng)能力。因此，如何合理利用自動(dòng)化集裝箱碼頭數(shù)據(jù)資產(chǎn)，通過(guò)數(shù)據(jù)智能化技術(shù)，提升自動(dòng)化集裝箱碼頭數(shù)據(jù)可視化程度，成為了新的研究方向。

數(shù)據(jù)湖是數(shù)據(jù)存儲(chǔ)技術(shù)的一個(gè)重要方向，多層管控信息通過(guò)數(shù)據(jù)湖在分布式節(jié)點(diǎn)單元之間快速流動(dòng)，實(shí)現(xiàn)港口物流智能工作的可知可控可共享。在自動(dòng)化集裝箱碼頭生產(chǎn)作業(yè)過(guò)程中，為有效保障碼頭自動(dòng)化作業(yè)數(shù)據(jù)通訊，實(shí)現(xiàn)數(shù)據(jù)的有效傳輸整合，需對(duì)數(shù)據(jù)湖系統(tǒng)進(jìn)行合理設(shè)計(jì)，進(jìn)而為碼頭整體運(yùn)營(yíng)提供相關(guān)分析和決策。

在以往的文獻(xiàn)中包含了大量的關(guān)于生產(chǎn)數(shù)據(jù)湖構(gòu)建方法的研究。黃家凱[1]結(jié)合地質(zhì)行業(yè)海量數(shù)據(jù)的特點(diǎn)，提出按照數(shù)據(jù)摸底、技術(shù)選型、數(shù)據(jù)接入、應(yīng)用治理來(lái)構(gòu)建地質(zhì)數(shù)據(jù)湖的主要步驟，為地質(zhì)大數(shù)據(jù)平臺(tái)的下一步建設(shè)方向開闊了技術(shù)思路；針對(duì)數(shù)據(jù)共享帶來(lái)的隱私問(wèn)題，謝裕清等[2]提出一種數(shù)據(jù)共享與訪問(wèn)模型，對(duì)區(qū)塊鏈中的智能合約模塊進(jìn)行優(yōu)化，實(shí)現(xiàn)了數(shù)據(jù)訪問(wèn)控制與安全共享問(wèn)題；譚景信等[3]定義了適應(yīng)分散、碎片化數(shù)據(jù)收集場(chǎng)景的數(shù)據(jù)虛擬化模型及模型驅(qū)動(dòng)下的數(shù)據(jù)庫(kù)間協(xié)作流程，緩解了集中式數(shù)據(jù)湖構(gòu)建方法所存在的數(shù)據(jù)更新時(shí)效性差等問(wèn)題；針對(duì)企業(yè)數(shù)字化轉(zhuǎn)型要求及大數(shù)據(jù)平臺(tái)面臨的挑戰(zhàn)，劉志勇等[4]提出了采用邏輯統(tǒng)一、物理分散、應(yīng)用解耦融合的統(tǒng)一數(shù)據(jù)湖建設(shè)方案；陸生強(qiáng)[5]提出了時(shí)空數(shù)據(jù)湖的設(shè)計(jì)理念，給出了物理上分布式存儲(chǔ)、邏輯上集中式管理的混搭式存儲(chǔ)結(jié)構(gòu)，結(jié)果表明，時(shí)空數(shù)據(jù)湖能夠在智慧城市精細(xì)化管理中取得良好的效果；針對(duì)海量數(shù)據(jù)存儲(chǔ)及高效利用問(wèn)題，陳永南[6]提出了采用數(shù)據(jù)湖處理大數(shù)據(jù)的設(shè)計(jì)思路，為行業(yè)大數(shù)據(jù)的高效共享利用提供建議和啟發(fā)。

上述文獻(xiàn)對(duì)數(shù)據(jù)湖的研究主要集中在大數(shù)據(jù)存儲(chǔ)、利用和數(shù)據(jù)虛擬化模型方面，缺少對(duì)自動(dòng)化集裝箱碼頭數(shù)據(jù)湖設(shè)計(jì)及管理方法的研究。因此，本文在分析自動(dòng)化碼頭作業(yè)流程的基礎(chǔ)上，提出一種數(shù)據(jù)湖設(shè)計(jì)及管理方法，該方法結(jié)合數(shù)據(jù)挖掘等技術(shù)，憑借碼頭數(shù)據(jù)資產(chǎn)對(duì)碼頭作業(yè)進(jìn)行生產(chǎn)指導(dǎo)，同時(shí)，通過(guò)數(shù)據(jù)湖管理各模塊間的高效銜接，實(shí)現(xiàn)碼頭運(yùn)營(yíng)數(shù)據(jù)資產(chǎn)管理。

1 自動(dòng)化集裝箱碼頭數(shù)據(jù)傳輸

自動(dòng)化集裝箱碼頭主要作業(yè)分為裝船作業(yè)與卸船作業(yè)。在裝船作業(yè)中，船舶到港靠泊后，智能運(yùn)輸機(jī)器人（Artificial Intelligence Robot of Transportation，以下簡(jiǎn)稱ART）前往堆場(chǎng)取箱，集裝箱門式起重機(jī)（以下簡(jiǎn)稱場(chǎng)橋）將出口集裝箱放置于ART上后，ART載箱前往岸邊集裝箱起重機(jī)（以下簡(jiǎn)稱岸橋）作業(yè)區(qū)進(jìn)行裝船作業(yè)；在卸船作業(yè)中，岸橋?qū)⑦M(jìn)口集裝箱放置于ART上，ART載箱前往堆場(chǎng)指定貝位，場(chǎng)橋從ART卸箱并放置在堆場(chǎng)指定箱位。在該作業(yè)流程中，各數(shù)據(jù)模塊之間不斷進(jìn)行數(shù)據(jù)的收集與交換。

1.1 數(shù)據(jù)模塊構(gòu)成

自動(dòng)化集裝箱碼頭數(shù)據(jù)模塊主要由集裝箱智能閘口數(shù)據(jù)、核心生產(chǎn)管理數(shù)據(jù)、生產(chǎn)作業(yè)數(shù)據(jù)及輔助作業(yè)數(shù)據(jù)等構(gòu)成。其中，輔助作業(yè)數(shù)據(jù)包含電子商務(wù)、單證信息及集港預(yù)約數(shù)據(jù)；集裝箱智能閘口數(shù)據(jù)具體包括人員預(yù)約、集港登記、車輛識(shí)別、箱號(hào)識(shí)別、箱型驗(yàn)殘等，車輛按預(yù)約信息中預(yù)定時(shí)間進(jìn)入智能閘口，進(jìn)港及出港閘口進(jìn)行車牌號(hào)、箱號(hào)信息自動(dòng)采集后記錄在場(chǎng)箱信息數(shù)據(jù)，并利用視頻監(jiān)控系統(tǒng)記錄出入通道監(jiān)控?cái)?shù)據(jù)。同時(shí)對(duì)集裝箱箱型進(jìn)行檢驗(yàn)，記錄集裝箱殘損數(shù)據(jù)；生產(chǎn)作業(yè)數(shù)據(jù)由智能扭鎖站、設(shè)備監(jiān)控、水平運(yùn)輸管理、智能交通等系統(tǒng)數(shù)據(jù)組成，各系統(tǒng)之間通過(guò)無(wú)線網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)通訊和信息傳輸，實(shí)現(xiàn)集裝箱卡車精準(zhǔn)定位導(dǎo)航、智能駕駛運(yùn)輸任務(wù)；核心生產(chǎn)管理數(shù)據(jù)由交班、外圍、泊位、全自動(dòng)碼頭操作管理、智能理貨等系統(tǒng)數(shù)據(jù)組成，負(fù)責(zé)創(chuàng)建航線、船舶信息、船期信息及指泊計(jì)劃。

1.2 數(shù)據(jù)傳遞過(guò)程

基于數(shù)據(jù)模塊組成自動(dòng)化集裝箱碼頭數(shù)據(jù)傳遞過(guò)程如圖1所示，輔助作業(yè)模塊將車輛預(yù)約信息數(shù)據(jù)發(fā)送至集裝箱智能閘口系統(tǒng)，并將車輛、集裝箱、貨物、人員等信息發(fā)送給核心生產(chǎn)管理模塊；集裝箱智能閘口系統(tǒng)根據(jù)輔助作業(yè)模塊發(fā)來(lái)的車輛預(yù)約信息，對(duì)人員、車牌號(hào)以及箱號(hào)等信息進(jìn)行驗(yàn)證，并將車輛數(shù)據(jù)、集裝箱數(shù)據(jù)發(fā)送至核心生產(chǎn)管理模塊；核心生產(chǎn)管理模塊向生產(chǎn)作業(yè)模塊發(fā)布生產(chǎn)作業(yè)任務(wù)狀態(tài)數(shù)據(jù)、設(shè)備執(zhí)行指令，并接受反饋信息；生產(chǎn)作業(yè)模塊接收作業(yè)信息、驅(qū)動(dòng)設(shè)備執(zhí)行指令，同時(shí)監(jiān)控設(shè)備運(yùn)行狀態(tài)并向管理系統(tǒng)反饋?zhàn)鳂I(yè)信息及設(shè)備狀態(tài)數(shù)據(jù)。

圖1 數(shù)據(jù)傳遞過(guò)程

2 數(shù)據(jù)湖構(gòu)建方法

基于自動(dòng)化集裝箱碼頭作業(yè)流程，提出一種基于云架構(gòu)的自動(dòng)化集裝箱碼頭數(shù)據(jù)湖構(gòu)建方法（見圖2），不同于碼頭傳統(tǒng)數(shù)據(jù)管理模式，該方法通過(guò)碼頭數(shù)據(jù)管理、可視化分析、數(shù)據(jù)挖掘等技術(shù)手段實(shí)現(xiàn)碼頭數(shù)據(jù)資產(chǎn)管理，提高碼頭運(yùn)營(yíng)能力。該數(shù)據(jù)湖構(gòu)建方法由自動(dòng)化集裝箱碼頭數(shù)據(jù)通信及自動(dòng)化集裝箱碼頭數(shù)據(jù)湖構(gòu)成。

圖2 數(shù)據(jù)湖整體框架圖

2.1 數(shù)據(jù)通信

自動(dòng)化集裝箱碼頭數(shù)據(jù)通信采用多通訊協(xié)議混合通信的策略，分別對(duì)生產(chǎn)作業(yè)、運(yùn)輸裝卸設(shè)備、樓宇資源以及視頻監(jiān)控等數(shù)據(jù)進(jìn)行數(shù)據(jù)通訊。其中，多通訊協(xié)議協(xié)同通信策略主要步驟為：數(shù)據(jù)信息采集、判斷數(shù)據(jù)來(lái)源與數(shù)據(jù)類型、根據(jù)數(shù)據(jù)通信表選擇對(duì)應(yīng)的通訊協(xié)議與數(shù)據(jù)庫(kù)。在該策略中，自動(dòng)化集裝箱碼頭水平運(yùn)輸系統(tǒng)數(shù)據(jù)經(jīng)Kafka傳輸至ES數(shù)據(jù)庫(kù)中存儲(chǔ)；碼頭生產(chǎn)作業(yè)系統(tǒng)數(shù)據(jù)與輔助生產(chǎn)系統(tǒng)數(shù)據(jù)經(jīng)API通訊在Oracle或MySQL數(shù)據(jù)庫(kù)中存儲(chǔ)；碼頭機(jī)械設(shè)備數(shù)據(jù)經(jīng)Kafka傳輸在HBase數(shù)據(jù)庫(kù)中存儲(chǔ)；碼頭樓宇數(shù)據(jù)經(jīng)Kafka通訊在Oracle或MySQL數(shù)據(jù)庫(kù)中存儲(chǔ)；碼頭視頻圖像數(shù)據(jù)經(jīng)Rtsp傳輸至文件系統(tǒng)中存儲(chǔ)。在調(diào)試和運(yùn)營(yíng)過(guò)程中，可根據(jù)實(shí)際情況對(duì)通信協(xié)議進(jìn)行調(diào)整，提升數(shù)據(jù)通信效率。

2.2 數(shù)據(jù)湖

自動(dòng)化集裝箱碼頭數(shù)據(jù)湖以物聯(lián)網(wǎng)與云端服務(wù)器數(shù)據(jù)通訊為基礎(chǔ)，通過(guò)數(shù)據(jù)湖管理方法分析整合數(shù)據(jù)，實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)有效管理，提升碼頭智能化運(yùn)維。主要由自動(dòng)化集裝箱碼頭各類型數(shù)據(jù)云端數(shù)據(jù)庫(kù)模塊、碼頭作業(yè)調(diào)度管理模塊及資源調(diào)度管理模塊等構(gòu)成（見圖3）。

圖3 數(shù)據(jù)湖構(gòu)成

1）云端數(shù)據(jù)庫(kù)模塊 將自動(dòng)化集裝箱碼頭運(yùn)營(yíng)數(shù)據(jù)如岸橋、無(wú)人集卡、船舶?？康葦?shù)據(jù)信息，經(jīng)過(guò)云端服務(wù)器通信，匯入數(shù)據(jù)湖。

2）碼頭作業(yè)調(diào)度模塊 自動(dòng)化碼頭數(shù)據(jù)湖以碼頭數(shù)據(jù)為基礎(chǔ)，通過(guò)分析各類數(shù)據(jù)信息，實(shí)現(xiàn)大數(shù)據(jù)分析下的各類作業(yè)調(diào)度（水平運(yùn)輸任務(wù)、裝卸任務(wù)等），提升自動(dòng)化集裝箱碼頭整體運(yùn)營(yíng)能力。

3）資源調(diào)度管理模塊 自動(dòng)化集裝箱碼頭資源不局限于生產(chǎn)作業(yè)所需資源，還包括水電能耗、樓宇管控、設(shè)備維修等。

3 數(shù)據(jù)湖管理方法

自動(dòng)化碼頭數(shù)據(jù)湖管理包括數(shù)據(jù)入湖、數(shù)據(jù)連接、采集任務(wù)和任務(wù)監(jiān)控4個(gè)子模塊（見圖4）。

圖4 數(shù)據(jù)湖管理

1）數(shù)據(jù)入湖 數(shù)據(jù)入湖分為入湖模板、入湖引擎、文件格式以及數(shù)據(jù)湖存儲(chǔ)4部分。其中，入戶模板用于定于常見的數(shù)據(jù)入湖方式，目前主要包括全量數(shù)據(jù)庫(kù)、增量數(shù)據(jù)庫(kù)文件格式轉(zhuǎn)換等，用戶根據(jù)不同的數(shù)據(jù)源選擇相應(yīng)的入湖模板，然后填寫相關(guān)參數(shù)信息，即可完成入湖模板創(chuàng)建。

2）數(shù)據(jù)連接 元數(shù)據(jù)管理支持對(duì)數(shù)據(jù)連接的創(chuàng)建、編輯、連通性測(cè)試以及刪除，通過(guò)配置數(shù)據(jù)源信息建立數(shù)據(jù)連接，數(shù)據(jù)連接可被采集任務(wù)使用。

3）采集任務(wù) 通過(guò)新建采集任務(wù)可以配置元數(shù)據(jù)采集策略，不同類型數(shù)據(jù)源的采集策略不盡相同，可以是整個(gè)數(shù)據(jù)庫(kù)，也可以是單庫(kù)或者單表。

4）任務(wù)監(jiān)控 監(jiān)控元數(shù)據(jù)采集任務(wù)運(yùn)行情況，支持查看采集日志、重跑采集任務(wù)。

通過(guò)上述各模塊高效銜接，實(shí)現(xiàn)碼頭運(yùn)營(yíng)數(shù)據(jù)資產(chǎn)管理，從而對(duì)碼頭運(yùn)營(yíng)進(jìn)行數(shù)據(jù)層面監(jiān)控。

4 結(jié)論

自動(dòng)化集裝箱碼頭數(shù)據(jù)湖系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)方法集數(shù)據(jù)通信、數(shù)據(jù)湖構(gòu)建方法、數(shù)據(jù)湖管理方法于一體，其優(yōu)點(diǎn)主要體現(xiàn)在：

1）數(shù)據(jù)通信采用多通訊協(xié)議混合通信的策略，具有大規(guī)模、高時(shí)效的數(shù)據(jù)通信能力，能有效保障各數(shù)據(jù)與云端服務(wù)器的快速通信。

2）數(shù)據(jù)湖采用云端數(shù)據(jù)庫(kù)，能實(shí)時(shí)傳輸前端設(shè)備采集的數(shù)據(jù)信息，保障設(shè)備數(shù)據(jù)通信時(shí)效性。

3）數(shù)據(jù)湖管理方法對(duì)自動(dòng)化集裝箱碼頭元數(shù)據(jù)進(jìn)行管理，保證數(shù)據(jù)湖中的數(shù)據(jù)質(zhì)量，為后續(xù)數(shù)據(jù)存儲(chǔ)與分析提供便利。