數(shù)據(jù)中臺關鍵技術在港口行業(yè)的應用研究

第一作者簡介：周延（1984-），男，碩士，政工師，黨委書記，董事，總經(jīng)理。研究方向為港口物流、企業(yè)綜合治理、設備技術、信息化管理等。

DOI：10.19981/j.CN23-1581/G3.2024.21.009

摘" 要：該文深入探討數(shù)據(jù)中臺技術在港口智慧安防領域的應用，從研究背景、關鍵能力、軟件框架及應用分析等方面進行詳盡闡述，著重闡述多港口智慧安防數(shù)據(jù)的采集、清洗、存儲、轉(zhuǎn)發(fā)的實用框架。基于此數(shù)據(jù)中臺的相關技術方法，已在智慧安防總控平臺、智慧照明及安全生產(chǎn)分析等領域得到初步應用和實際落地，為港口安防領域的多級平臺架構模式提供有益的工程實踐參考。數(shù)據(jù)中臺為系統(tǒng)間的數(shù)據(jù)融合、能力融合及分析融合提供優(yōu)質(zhì)的前端計算服務和數(shù)據(jù)中心的信息共享與存儲服務。

關鍵詞：數(shù)據(jù)中臺；智慧安防管控；自動化碼頭；微服務；MQTT協(xié)議；設備控制管理系統(tǒng)；碼頭作業(yè)管理系統(tǒng)

中圖分類號：TP311.13" " " 文獻標志碼：A" " " " " 文章編號：2095-2945（2024）21-0036-05

Abstract： This paper discusses the application of data center technology in the field of port smart security， and expounds in detail from the aspects of research background， key capabilities， software framework and application analysis. This paper focuses on the practical framework of multi-port smart security data collection， cleaning， storage and forwarding. Based on this data， the relevant technical methods of the platform have been initially applied and landed in the fields of smart security control platform， intelligent lighting and safety production analysis， which provides a useful engineering practice reference for the multi-level platform architecture model in the field of port security. The data center provides high-quality front-end computing services and data center information sharing and storage services for data fusion， capability fusion and analysis fusion between systems.

Keywords： data center; smart security control; automated terminal; micro-service; MQTT protocol; equipment control management system; terminal operation management system

近年來，隨著港口業(yè)務的發(fā)展和碼頭智能化水平的提升需求，智慧安防系統(tǒng)的建設在各個碼頭逐步展開，在輔助安全生產(chǎn)作業(yè)方面發(fā)揮越來越重要的作用，數(shù)據(jù)是信息化系統(tǒng)最為寶貴的資產(chǎn)，因此讓數(shù)據(jù)流動起來、長期存儲起來，為后續(xù)的項目應用、數(shù)據(jù)挖掘分析提供有力保障。

目前北部灣港股份有限公司已完成欽州港、防城港、北海港的智慧安防管控分平臺建設，根據(jù)三港的碼頭類型、碼頭規(guī)模、碼頭應用場景的不同產(chǎn)生了不同類型的信息數(shù)據(jù)。因此，建設一套北部灣港智慧安防總控平臺的數(shù)據(jù)中臺，可與三港的智慧安防管控平臺無縫互聯(lián)，完成重要業(yè)務數(shù)據(jù)的匯總?cè)诤?、統(tǒng)一管理，以“能用、可用、實用、共享”為目標的智慧安防數(shù)據(jù)中臺服務引擎，可打破信息壁壘，成為安防數(shù)字化的重要基石。

1" 港口智慧安防數(shù)據(jù)中臺關鍵能力

數(shù)據(jù)中臺既是一個技術架構也是一個應用平臺，提供了統(tǒng)一的數(shù)據(jù)標準、統(tǒng)一的建模方法和開放的OpenAPI接口，將數(shù)據(jù)管理、采集、計算、存儲及應用有機地組織起來，為港口安防數(shù)據(jù)的統(tǒng)一管理打下了基礎，應具備6項重要的關鍵能力指標。

1.1" 數(shù)據(jù)匯總能力

針對不同安防系統(tǒng)的業(yè)務數(shù)據(jù)類型、業(yè)務系統(tǒng)技術架構，實現(xiàn)不同的數(shù)據(jù)采集策略、數(shù)據(jù)同步規(guī)范、數(shù)據(jù)控制規(guī)范和數(shù)據(jù)存儲方案等，實現(xiàn)多源異構數(shù)據(jù)的存儲與匯總。

1.2" 數(shù)據(jù)存儲能力

基于關系型/非關系型、列式存儲/行式存儲等技術實現(xiàn)對結(jié)構化和非結(jié)構化數(shù)據(jù)存儲。

1.3" 數(shù)據(jù)訂閱與分發(fā)能力

基于標準的MQTT協(xié)議實現(xiàn)數(shù)據(jù)總線，支持數(shù)據(jù)訂閱和分發(fā)，支持數(shù)據(jù)實時可靠傳輸，多路消息訂閱分發(fā)；通過簡單靈活的配置，無侵入接入源端數(shù)據(jù)，對各個系統(tǒng)在業(yè)務流程中產(chǎn)生的數(shù)據(jù)進行匯集，并統(tǒng)一處理轉(zhuǎn)換成通過JSON描述的格式，提供給不同下游應用或第三方訂閱和消費。

1.4" 對外接口能力

基于RESTful規(guī)范對外提供數(shù)據(jù)服務，通過該類接口提供高并發(fā)、快響應的數(shù)據(jù)服務能力；提供對外發(fā)布接口的便捷管理能力，支持接口鑒權、接口限流、服務時效和接口啟停等安全管理策略。

1.5" 數(shù)據(jù)記實能力

系統(tǒng)上線后業(yè)務數(shù)據(jù)不能覆蓋、不能修改，達到數(shù)據(jù)記實目標，自動按年按月進行分表分區(qū)，例如設備狀態(tài)告警、AI業(yè)務告警。

1.6" 系統(tǒng)性能要求

1.6.1" 系統(tǒng)響應能力

實時查詢響應時間控制在1 s內(nèi)，單節(jié)點并發(fā)用戶不低于500，單節(jié)點QPS可支撐不低于2 W級別。

1.6.2" 可用性能力

采用高可用部署方案（主備、集群），保證在出現(xiàn)故障或異常時能夠自動切換，保障系統(tǒng)的穩(wěn)定性和可靠性。

1.6.3" 可擴展性能力

采用分布式架構（微服務）的方式將功能和數(shù)據(jù)分布到多個節(jié)點或服務器上，提高系統(tǒng)的可擴展性和可靠性。

1.6.4" 安全性能力

具備統(tǒng)一的安全認證，敏感數(shù)據(jù)加密，日志監(jiān)控審計，數(shù)據(jù)的分級分類管理，數(shù)據(jù)的全生命周期管理，保證數(shù)據(jù)的隱私合規(guī)、可審計、可回溯。

1.6.5" 可維護性能力

使用容器化部署，支持開機自啟動；支持可視化監(jiān)控消息隊列、數(shù)據(jù)庫狀態(tài)、服務器運行狀態(tài)；支持系統(tǒng)日志、訪問日志查詢。

2" 數(shù)據(jù)中臺軟件框架

2.1" 技術路線

基于微服務技術，實現(xiàn)前后端分離，保障業(yè)務高性能、高并發(fā)、高可用，支持單體部署、微服務集群部署。

2.2" 軟件框架圖

基于數(shù)據(jù)采集、轉(zhuǎn)換、清洗技術，融合匯聚各業(yè)務應用的多源異構系統(tǒng)數(shù)據(jù)，對數(shù)據(jù)進行加工、治理、標準化，并通過接口服務、庫表共享、信息資源查詢等多種數(shù)據(jù)共享技術手段，促進內(nèi)部各系統(tǒng)之間的數(shù)據(jù)互通、有效共享，系統(tǒng)框架如圖1所示。

2.2.1" 物聯(lián)感知及第三方

物聯(lián)感知主要包括物聯(lián)網(wǎng)傳感器/邊緣網(wǎng)關、PLC/RTU等傳感數(shù)據(jù)，對接第三方主要包括視頻平臺（華為、?？担?、IP廣播系統(tǒng)及其他第三方數(shù)據(jù)源。

對接第三方系統(tǒng)或平臺，主要實現(xiàn)對接?？灯脚_、華為視頻平臺、廣播系統(tǒng)、TOS系統(tǒng)、ECS系統(tǒng)、門禁道閘和港口安防平臺。

2.2.2" 網(wǎng)絡驅(qū)動

支持基于HTTP、MQTT、TCP/UDP、Modbus、OPCUA協(xié)議接入物聯(lián)網(wǎng)設備及第三方服務，實現(xiàn)認證、會話及數(shù)據(jù)的編碼解析。

2.2.3" 設備注冊中心

設備注冊中心實現(xiàn)對接物聯(lián)網(wǎng)設備的注冊功能。

2.2.4" 數(shù)據(jù)存儲及持久化

數(shù)據(jù)中臺的數(shù)據(jù)存儲模塊支持關系數(shù)據(jù)庫、緩存數(shù)據(jù)庫、實時列示數(shù)據(jù)庫、搜索引擎數(shù)據(jù)庫，分布式文件存儲?？蓾M足專題數(shù)據(jù)庫和共享數(shù)據(jù)庫的存儲要求。

2.2.5" 消息中心

基于消息隊列及本地消息總線實現(xiàn)消息的內(nèi)部流轉(zhuǎn)和外部訂閱，支持消息主題的訂閱、發(fā)布、路由功能。

2.2.6" 策略引擎

策略引擎依據(jù)創(chuàng)建的策略對接入的數(shù)據(jù)進行處理，包括對事件的判別、抖動抑制、屬性轉(zhuǎn)換、報警聯(lián)動處理；根據(jù)配置的存儲策略將數(shù)據(jù)進行持久化；按照配置的轉(zhuǎn)發(fā)策略進行數(shù)據(jù)轉(zhuǎn)發(fā)；根據(jù)配置的解除策略對已發(fā)生的告警進行解除。

2.2.7" 管理應用

管理應用主要包括設備管理、接入管理、策略管理、歷時回溯、元數(shù)據(jù)管理、通知管理和運維管理等功能，同時實現(xiàn)了數(shù)據(jù)中臺監(jiān)控中心的圖形化展示。

2.2.8" 業(yè)務應用

基于數(shù)據(jù)中臺提供的OpenAPI接口實現(xiàn)內(nèi)外部系統(tǒng)間的數(shù)據(jù)傳輸與業(yè)務賦能。

3" 數(shù)據(jù)中臺應用分析

3.1" 通用應用場景分析

數(shù)據(jù)中臺可屏蔽底層連接通信的技術復雜性，形成標準格式數(shù)據(jù)，再進行存儲，形成規(guī)?；瘮?shù)據(jù)資產(chǎn)，進而提供高效、高質(zhì)量的數(shù)據(jù)查詢服務。數(shù)據(jù)中臺可快速實現(xiàn)數(shù)據(jù)融合、數(shù)據(jù)采集、數(shù)據(jù)服務，通過簡單化配置即可實現(xiàn)從數(shù)據(jù)采集、傳輸、轉(zhuǎn)換、解析和計算到分發(fā)的全過程，通過數(shù)據(jù)中臺這個工具軟件大大降低了多業(yè)務系統(tǒng)間或第三方系統(tǒng)間數(shù)據(jù)的分發(fā)以及推送難度，同時也支持跨級的數(shù)據(jù)傳輸與共享分發(fā)。

3.2" 應用流程分析

3.2.1" 物聯(lián)網(wǎng)設備接入

根據(jù)廠家提供的不同協(xié)議報文，開發(fā)解析協(xié)議包并上傳數(shù)據(jù)中臺，創(chuàng)建設備型號及網(wǎng)絡驅(qū)動，錄入設備基本信息，通過設備接入模塊完成設備接入，同時支持Modbus、OPCUA直接接入，從而實現(xiàn)物聯(lián)網(wǎng)數(shù)據(jù)的接入。

3.2.2" 第三方服務接入

根據(jù)第三方系統(tǒng)提供數(shù)據(jù)交互協(xié)議，開發(fā)解析協(xié)議包并上傳數(shù)據(jù)中臺，創(chuàng)建設備型號及網(wǎng)絡驅(qū)動，錄入設備基本信息，通過服務接入模塊完成第三方系統(tǒng)接入；數(shù)據(jù)中臺實現(xiàn)了第三方系統(tǒng)數(shù)據(jù)訂閱及功能調(diào)用，并實現(xiàn)了訂閱數(shù)據(jù)的采集、流轉(zhuǎn)、存儲、分析和實時監(jiān)控。

3.2.3" 數(shù)據(jù)處理

1）數(shù)據(jù)清洗與整理。數(shù)據(jù)中臺服務將數(shù)據(jù)按照所配置的規(guī)則進行清洗、篩選、再編碼，從而實現(xiàn)數(shù)據(jù)格式、內(nèi)容的標準化。

2）數(shù)據(jù)存儲。數(shù)據(jù)存儲按照規(guī)則分為3類：列式存儲、行式存儲、不存儲；數(shù)據(jù)存儲配置可提供數(shù)據(jù)加密算法的選擇能力。

3）數(shù)據(jù)轉(zhuǎn)發(fā)。支持通過RESTful API格式以及消息中心向外部轉(zhuǎn)發(fā)數(shù)據(jù)，轉(zhuǎn)發(fā)的數(shù)據(jù)類型支持：屬性數(shù)據(jù)、告警數(shù)據(jù)、位置數(shù)據(jù)、事件數(shù)據(jù)以及狀態(tài)數(shù)據(jù)。

4）事件告警。數(shù)據(jù)上報到數(shù)據(jù)中臺后若觸發(fā)告警配置策略，該數(shù)據(jù)將推送到應用平臺進行展示、處理；同時根據(jù)告警規(guī)則可添加聯(lián)動設備策略，當匹配到聯(lián)動策略后將報警指令發(fā)送到被聯(lián)動設備后執(zhí)行聯(lián)動，該聯(lián)動可分為設備聯(lián)動與通知聯(lián)動。

3.3" 數(shù)據(jù)流向分析

物聯(lián)網(wǎng)設備、邊緣網(wǎng)關、第三方系統(tǒng)作為數(shù)據(jù)中臺的數(shù)據(jù)來源，經(jīng)過網(wǎng)絡連接、協(xié)議解析、消息中心、策略引擎、共享API接口與第三方系統(tǒng)進行交互，做到數(shù)據(jù)的二次應用，從而最大化地發(fā)揮數(shù)據(jù)價值，保護投資，數(shù)據(jù)中臺數(shù)據(jù)流向圖如圖2所示。

1）數(shù)據(jù)來源。①來源于第三方系統(tǒng)，例如視頻平臺、廣播系統(tǒng)、TOS系統(tǒng)及ECS系統(tǒng)等；②來源于物聯(lián)網(wǎng)設備；③來源于邊緣網(wǎng)關。

2）網(wǎng)絡驅(qū)動。①網(wǎng)絡驅(qū)動負責建立網(wǎng)絡連接；②接收來自網(wǎng)絡設備、邊緣網(wǎng)關、第三方系統(tǒng)的數(shù)據(jù)；并將數(shù)據(jù)發(fā)送給相關的解析協(xié)議包。

3）解析協(xié)議。①負責接收網(wǎng)絡驅(qū)動推送的數(shù)據(jù)；②根據(jù)元數(shù)據(jù)對數(shù)據(jù)進行解析，進行數(shù)據(jù)的標準化處理；③提供設備屬性讀寫接口和功能調(diào)用接口。

4）消息中心?；赗abbitMQ消息隊列及本地消息總線實現(xiàn)消息的內(nèi)部流轉(zhuǎn)和外部訂閱，支持消息主題的訂閱、發(fā)布、路由功能。

5）策略引擎。①告警引擎依據(jù)配置的告警規(guī)則進行告警判識，并根據(jù)配置的聯(lián)動策略進行設備聯(lián)動、通知聯(lián)動和告警數(shù)據(jù)轉(zhuǎn)發(fā)；②存儲引擎依據(jù)配置的數(shù)據(jù)存儲規(guī)則對屬性、事件、告警數(shù)據(jù)進行存儲；③轉(zhuǎn)發(fā)引擎依據(jù)配置的數(shù)據(jù)轉(zhuǎn)發(fā)規(guī)則對屬性、事件、告警數(shù)據(jù)進行轉(zhuǎn)發(fā)；④告警解除引擎依據(jù)配置的告警解除規(guī)則對已經(jīng)產(chǎn)生的告警進行解除歸檔處理。

6）API接口。負責向第三方應用系統(tǒng)提供訪問接口。

3.4" 安防實例應用

為了夯實北部灣港安防數(shù)據(jù)中臺的關鍵技術能力，通過安防總控平臺（圖3）的實例應用，達到了三港安防綜合態(tài)勢的“一張圖”呈現(xiàn)，實現(xiàn)了“多域級聯(lián)、中心匯聚、共享數(shù)據(jù)、降本增效”的系統(tǒng)建設目標。

數(shù)據(jù)中臺技術為欽州港的智慧照明系統(tǒng)提供了U型堆場區(qū)域的外集卡過車數(shù)據(jù)，實現(xiàn)了“車來即亮、車走即滅”的功能，有效降低了堆場內(nèi)照明系統(tǒng)的能耗，為實現(xiàn)“雙碳”目標，北部灣港向建設“數(shù)字化、信息化、智能化”的現(xiàn)代綠色港口穩(wěn)步前進。

同時，向集團大數(shù)據(jù)平臺提供了安防前端感知數(shù)據(jù)包括人員違規(guī)停留、外集卡闖紅燈等，為集團的大數(shù)據(jù)生產(chǎn)安全分析提供有力的前端數(shù)據(jù)支撐。

4" 未來趨勢與展望

隨著全球貿(mào)易的快速發(fā)展，港口作為國際貿(mào)易的重要樞紐，其安全和效率問題日益凸顯。為了應對這些挑戰(zhàn)，港口安防數(shù)據(jù)中臺技術將更為廣泛運用。這種技術通過整合各種數(shù)據(jù)資源，實現(xiàn)對港口安防的全面監(jiān)控和管理，為港口的安全運營提供有力保障。展望未來，港口安防數(shù)據(jù)中臺技術將在以下幾個方面取得重要突破。

1）數(shù)據(jù)采集與整合能力的提升：隨著物聯(lián)網(wǎng)、大數(shù)據(jù)等技術的發(fā)展，港口安防數(shù)據(jù)中臺將能夠?qū)崟r采集和整合更多類型的數(shù)據(jù)，包括各類AI識別數(shù)據(jù)、傳感器數(shù)據(jù)、船舶信息、作業(yè)信息、設備控制信息。這將有助于提高港口安防系統(tǒng)的智能化水平，實現(xiàn)對港口全區(qū)域、全信息的安防監(jiān)管。

2）人工智能技術的廣泛應用：隨著人工智能技術的發(fā)展，通過使用深度學習等技術，可以實現(xiàn)對視頻監(jiān)控數(shù)據(jù)的智能識別，自動發(fā)現(xiàn)異常行為和安全隱患。

3）多部門協(xié)同作戰(zhàn)能力的提升：港口安防數(shù)據(jù)中臺將實現(xiàn)多個部門之間的數(shù)據(jù)共享和協(xié)同作戰(zhàn)，例如通過與海關、邊防等部門的數(shù)據(jù)對接，可以實現(xiàn)對進出口貨物的實時監(jiān)控，防止走私等違法犯罪活動。

4）預警與應急響應能力的加強：港口安防數(shù)據(jù)中臺將實現(xiàn)對港口安全事件的實時預警和快速響應。通過對各類數(shù)據(jù)的實時分析，可以及時發(fā)現(xiàn)潛在的安全隱患和風險，為港口管理者提供預警信息。同時，通過與應急預案的對接，可以實現(xiàn)對突發(fā)事件的快速響應和處理。

參考文獻：

[1] 陳璐.數(shù)據(jù)中臺在安防行業(yè)的應用與機遇[J].中國安防，2022（4）：53-57.

[2] 粟杰.2021年安防數(shù)據(jù)中臺發(fā)展的三大趨勢[Z].中國安防協(xié)會，2021：1.

[3] 張宏遠.數(shù)據(jù)中臺的通用體系架構研究[J].通信技術，2021，54（6）：1451-1455.

[4] 蘇萌，賈喜順，杜曉夢，等.數(shù)據(jù)中臺技術相關進展及發(fā)展趨勢[J].數(shù)據(jù)與計算發(fā)展前沿，2019，1（1）：116-126.

[5] 芮忠.基于數(shù)據(jù)中臺的數(shù)據(jù)治理系統(tǒng)的實現(xiàn)[J].科技創(chuàng)新與應用，2020（26）：253-254.

[6] 鄧中華.大數(shù)據(jù)大創(chuàng)新：阿里巴巴云上數(shù)據(jù)中臺之道[M].北京：電子工業(yè)出版社，2018.