基于多場景全景拼接的自動化碼頭數(shù)字艙構建方法

班宏宇 張 騰 張 煜 孫 浩

1 天津港第二集裝箱碼頭有限公司 2 武漢理工大學交通與物流工程學院

1 引言

隨著集裝箱運量快速增長，傳統(tǒng)碼頭由于應用大量人工作業(yè)設備，生產(chǎn)效率已經(jīng)不能滿足集裝箱裝卸和運輸?shù)男枨螅詣蛹b箱碼頭的建設以及傳統(tǒng)碼頭的智能化改造，可以顯著提高集裝箱集疏運效率及碼頭運營管理能力。自動化碼頭利用實時網(wǎng)絡通信、大容量數(shù)據(jù)集成及處理技術，將港口各種信息資源加以整合利用，構建港口數(shù)字化應用及決策平臺[1]。碼頭數(shù)字化平臺可以迅速建立港口虛擬環(huán)境，實時掌握和預測各種設備資源的分布、使用狀態(tài)，實現(xiàn)碼頭信息資源的充分利用，提升碼頭作業(yè)效率。

碼頭數(shù)字化建設需要多種技術的支撐，現(xiàn)有文獻包含了大量的關于碼頭數(shù)字化和自動化建設的研究。王妍綜合考慮了RFID、GPS技術在港口信息系統(tǒng)中的應用，認為這些技術可滿足碼頭數(shù)字化和智能化建設要求[2]；Rashidi H等提出一種在自動化碼頭實現(xiàn)智能運輸設備并行操作的方法，利用碼頭智能監(jiān)測及調(diào)度終端控制AGV和起重機同時作業(yè)，可縮短設備等待時間[3]；蘇志國利用VRP(Virtual Reality Platform)仿真平臺設計了三維可視化作業(yè)管理系統(tǒng)，通過將港口生產(chǎn)、運營各環(huán)節(jié)實時狀態(tài)信息進行融合及展示，實現(xiàn)作業(yè)設備的快速定位和緊急預警，保證了碼頭各項作業(yè)的順利進行[4]；孫付春等為實現(xiàn)碼頭全流程自動化作業(yè)管理，利用3D數(shù)字化管控系統(tǒng)，結合仿真、PLC控制技術，開發(fā)碼頭作業(yè)全自動化控制系統(tǒng)，實現(xiàn)碼頭作業(yè)信息的集成管理和作業(yè)指令的集中指派[1]。

由上述研究可知，對于自動化集裝箱碼頭數(shù)字信息技術的應用研究，大多停留在對運輸設備的監(jiān)控及管理上，對碼頭生產(chǎn)過程進行全流程信息整合的研究比較少。因此，提出一種基于多場景全景拼接技術的自動化碼頭數(shù)字艙構建方法，利用圖像處理及融合技術，實現(xiàn)全景信息的智能提取及展示，幫助碼頭管理人員提高對設備資源的管理控制能力，提升全自動集裝箱碼頭生產(chǎn)作業(yè)水平。

2 自動化碼頭整體布局

以我國北方某港為例，介紹自動化集裝箱碼頭整體布局方式。自動化集裝箱碼頭主要作業(yè)流程包括裝卸船、堆場裝卸、水平運輸、運輸設備充電、集裝箱解掛鎖、外集卡集疏運等，碼頭分為岸邊集裝箱起重機區(qū)(以下簡稱岸橋區(qū))、堆場區(qū)、充電區(qū)、鎖站區(qū)、內(nèi)外集卡車輛行駛車道區(qū)及輔助區(qū)等多個作業(yè)區(qū)域，整體布局見圖1。

圖1 碼頭布局

為實時監(jiān)控碼頭設備作業(yè)狀態(tài)、港區(qū)道路交通流量，在碼頭多地點布置視頻監(jiān)控裝置。碼頭前沿攝像區(qū)用于監(jiān)控岸橋、鎖站作業(yè)狀態(tài)，堆場攝像區(qū)用于監(jiān)控集裝箱堆場門式起重機作業(yè)狀態(tài)及場區(qū)道路交通流情況，碼頭后方攝像區(qū)用于監(jiān)控外集卡進出港作業(yè)活動。

單視頻監(jiān)控裝置由6臺槍機和1臺球機組成，其監(jiān)控區(qū)域有限，只能收集碼頭局部區(qū)域信息。為獲取碼頭全局作業(yè)信息，實現(xiàn)自動化集裝箱碼頭數(shù)字信息整合及可視化，利用全景拼接技術將各監(jiān)控裝置捕獲的場景進行拼接，構建自動化碼頭數(shù)字艙系統(tǒng)，將場景拼接后的數(shù)據(jù)信息與數(shù)字艙系統(tǒng)對接，達到實時監(jiān)控碼頭全局生產(chǎn)運營狀態(tài)的目的。

3 數(shù)字艙系統(tǒng)

3.1 系統(tǒng)總體架構

基于全景拼接和視頻AI的自動化碼頭數(shù)字艙系統(tǒng)總體架構見圖2，包括控制網(wǎng)絡、實時數(shù)據(jù)庫系統(tǒng)、視頻處理系統(tǒng)、三維可視化系統(tǒng)和操作臺系統(tǒng)等。實時數(shù)據(jù)庫系統(tǒng)存儲規(guī)定時間內(nèi)的碼頭監(jiān)控視頻數(shù)據(jù)以及TOS(Terminal Operation System，碼頭操作系統(tǒng))數(shù)據(jù)等；控制網(wǎng)絡實現(xiàn)碼頭數(shù)字艙系統(tǒng)各模塊間的數(shù)據(jù)信息傳輸，同時負責數(shù)字艙系統(tǒng)與各系統(tǒng)間的實時數(shù)據(jù)交互；視頻處理系統(tǒng)通過視頻關鍵幀抽取、圖像預處理、圖像變換、圖像匹配以及圖像融合等操作，完成碼頭不同場景的實時全景拼接；三維可視化系統(tǒng)將不同全景數(shù)據(jù)進行實時分類整理，并將場景、時間、方位等多標簽信息融入全景數(shù)據(jù)中，為后續(xù)全景數(shù)據(jù)處理及展示提供保障；操作臺系統(tǒng)包括操作手柄、顯示器、鼠標及鍵盤等硬件設備和三維場景模擬軟件。

圖2 系統(tǒng)總體架構

3.2 視頻處理

視頻處理系統(tǒng)包括前端視頻采集設備和后端全景拼接服務器，通過對碼頭各處監(jiān)控視頻數(shù)據(jù)進行一系列圖像采集操作，實現(xiàn)碼頭不同場景的實時全景拼接。其中，前端視頻采集設備在1個點位架設6臺槍機和1臺球機，后端全景拼接服務器則利用全景拼接與視頻AI算法完成。

3.3 全景拼接

與傳統(tǒng)圖像技術相比，全景圖像拼接技術的圖像視野更為廣闊，可為觀察者提供較為完整的環(huán)境信息。全景拼接與視頻AI算法在流程上以實時數(shù)據(jù)庫作為核心交互模塊，原始視頻數(shù)據(jù)以及拼接完成的全景圖像由前端攝像機和視頻處理系統(tǒng)完成傳遞，同時視頻AI算法對原始視頻信息進行數(shù)據(jù)清洗、轉換、增強處理后，向數(shù)據(jù)服務器進行傳輸并保存(見圖3)。通過全景拼接技術生成實時圖像，為數(shù)字艙系統(tǒng)的分析決策提供數(shù)據(jù)。

圖3 算法流程架構

3.3.1 圖像采集

利用槍機完成全景信息的拼接，調(diào)用球機進行細節(jié)聯(lián)動，部署6臺呈扇形架設的槍機實時捕獲碼頭實景視頻信息。為保障全景信息的實時展示效果，后端全景拼接服務器每秒抽取24幀視頻作為原始的圖像數(shù)據(jù)準備。

3.3.2 圖像預處理

(1)幾何變換：對采集的圖像進行平移、轉置、鏡像等操作，糾正圖像采集過程中的存在的隨機誤差。

(2)色彩校正：利用基于反向傳播的神經(jīng)網(wǎng)絡算法對圖像色調(diào)、明暗等進行調(diào)整，通過算法的訓練矯正模型的各項誤差值。

(3)圖像增強：針對集裝箱碼頭的應用環(huán)境，利用頻率域法增強圖像的有用信息，增強圖像的局部特征，改善圖像的視覺效果。

3.3.3 圖像匹配與融合

利用圖像與視頻圖像上的特征點對，通過圖像笛卡爾坐標優(yōu)化方法使特征點對在圖像展開后距離之和最小，進而獲取2個圖像的相對空間及像素位置關系。利用基于加權平均的融合方法對圖像進行融合操作，去除圖像間的冗余像素信息，保證圖像結構的完整性。

3.4 三維可視化技術

三維可視化系統(tǒng)通過對不同全景數(shù)據(jù)的實時分類，將多標簽信息融入到全景數(shù)據(jù)中，為后續(xù)全景數(shù)據(jù)處理與展示提供保障。

主要功能如下：

(1)將各種攝像機資源添加到全景畫面中，提升用戶調(diào)看攝像機視頻的便利性，通過畫面控制球機的云臺轉動，實現(xiàn)交互操作。

(2)基于港口CAD平面圖生成港口二維GIS矢量地圖，在GIS地圖上完成全景點位和港口碼頭圖標繪制，并實現(xiàn)數(shù)據(jù)可視化顯示。

(3)將報警信息設置紅色閃爍標志，并在GIS地圖與全景視頻上相應位置進行高亮提醒，同時支持各種類型的第三方業(yè)務系統(tǒng)報警信號的接入與聯(lián)動。設置報警源設備參數(shù)的閾值，通過全景實現(xiàn)控制球機的細節(jié)追蹤。

4 碼頭數(shù)字艙系統(tǒng)運行機制

碼頭數(shù)字艙系統(tǒng)以完整的流程實現(xiàn)對全港區(qū)生產(chǎn)運營狀態(tài)及緊急報警信息的實時監(jiān)控及展示，具體包含7個步驟(見圖4)。

圖4 運行流程

(1)數(shù)據(jù)感知：匯總碼頭視頻監(jiān)控、GIS二維地圖、第三方系統(tǒng)報警以及TOS系統(tǒng)等方面的信息，并利用數(shù)據(jù)傳感網(wǎng)絡向數(shù)字艙下一層信息存儲及處理模塊傳遞。

(2)數(shù)據(jù)傳輸：利用控制網(wǎng)絡實現(xiàn)作業(yè)管理系統(tǒng)、視頻處理系統(tǒng)等與數(shù)據(jù)庫系統(tǒng)之間的信息傳遞，同時負責數(shù)字艙系統(tǒng)與相關系統(tǒng)的實時數(shù)據(jù)交互。

(3)實時數(shù)據(jù)存儲：存儲規(guī)定時間內(nèi)的碼頭監(jiān)控視頻數(shù)據(jù)以及TOS系統(tǒng)的作業(yè)計劃、各設備編號及其作業(yè)狀態(tài)等信息。

(4)視頻處理：視頻處理系統(tǒng)由前端視頻采集設備和后端全景拼接服務器組成，利用槍機和球機完成前端圖像采集，并在后端利用全景拼接與視頻AI算法完成實時圖像數(shù)據(jù)的變換、匹配及融合操作。

(5)三維可視化處理：三維可視化系統(tǒng)將各種攝像機視頻數(shù)據(jù)進行實時分類整理，并將將全景點位和港口碼頭的元素圖標等融入全景數(shù)據(jù)中，為全景數(shù)據(jù)處理和展示創(chuàng)造條件。

(6)三維場景模擬：三維場景模擬系統(tǒng)將不同場景的全景數(shù)據(jù)進行拼接，再按時間順序拼接同一場景下的全景數(shù)據(jù)，形成實時全景數(shù)據(jù)流，并將此全景信息展示給用戶。

(7)全景數(shù)據(jù)展示及控制：由操作手柄完成場景順序、俯仰等調(diào)整，鼠標選擇查看任意監(jiān)控設備的視頻畫面，手柄完成球機云臺的轉動控制，由此完成全景信息的基本操作。

5 結語

該方法利用基于全景拼接的視頻圖像融合技術實現(xiàn)對自動化集裝箱碼頭三維場景的實時監(jiān)控，構建碼頭數(shù)字艙系統(tǒng)，實現(xiàn)對港區(qū)設備資源的有效監(jiān)管和合理調(diào)度，提高對碼頭設備資源的管理能力。該方法可為碼頭后續(xù)的智能化升級建設提供借鑒。