面向集裝箱港口的機(jī)器視覺智能感知系統(tǒng)

北京航天自動(dòng)控制研究所

劉燕欣 張志良 唐 波 高仕博

港口作為全球綜合運(yùn)輸網(wǎng)絡(luò)中承接內(nèi)陸與海上交通的重要節(jié)點(diǎn)，承擔(dān)著85%以上進(jìn)出口物資的裝卸運(yùn)輸工作，是國(guó)內(nèi)外貿(mào)易進(jìn)出口產(chǎn)品和物資的集散中心，在全球貿(mào)易和航運(yùn)中發(fā)揮著舉足輕重的作用。我國(guó)港口正借助“一帶一路”發(fā)展契機(jī)，以及新一輪科技和產(chǎn)業(yè)的變革機(jī)遇，在自動(dòng)化、智能化等方面朝著第五代乃至第六代港口的方向發(fā)展。

在港口作業(yè)中，安全與效率是港口管理的重中之重，然而由于各種因素，港口安全生產(chǎn)事故和影響生產(chǎn)效率的工序始終存在，難以形成一個(gè)有效的整體來(lái)進(jìn)行全流程自動(dòng)化作業(yè)。不僅如此，港口運(yùn)輸業(yè)務(wù)繁重，工作人員的勞動(dòng)強(qiáng)度較大，極易因疲勞而產(chǎn)生差錯(cuò)，因此急需一種智能化技術(shù)來(lái)代替人工操作，以降低人為操作引起的安全事故，并提高港口作業(yè)效率。

北京航天自動(dòng)控制研究所（以下簡(jiǎn)稱“研究所”）依托航天控制、導(dǎo)航及AI技術(shù)優(yōu)勢(shì)，聚焦港口安全與作業(yè)效率，提供領(lǐng)先的“航天智港”智能自主系統(tǒng)解決方案（以下簡(jiǎn)稱“航天智港”），彌補(bǔ)了傳統(tǒng)港口和自動(dòng)化港口的痛點(diǎn)，賦能港機(jī)設(shè)備，打通全自動(dòng)港口建設(shè)的最后一個(gè)環(huán)節(jié)，同時(shí)為傳統(tǒng)港口帶來(lái)變革式的作業(yè)流程創(chuàng)新。圖1為集裝箱港口機(jī)器視覺智能感知系統(tǒng)示意圖。

“航天智港”包含的面向集裝箱港口的機(jī)器視覺智能感知系統(tǒng)，將物聯(lián)網(wǎng)、智能感知、智能控制等技術(shù)相結(jié)合，通過(guò)對(duì)作業(yè)環(huán)境、作業(yè)狀態(tài)、作業(yè)流程的感知、識(shí)別與建模，實(shí)現(xiàn)對(duì)集裝箱裝卸過(guò)程輔助作業(yè)、安全預(yù)警等功能。該系統(tǒng)結(jié)合智能控制技術(shù)實(shí)現(xiàn)對(duì)集裝箱起重機(jī)的自動(dòng)化改造，減少人為干預(yù)，可大幅降低作業(yè)人員的勞動(dòng)強(qiáng)度，提高港口作業(yè)效率和作業(yè)安全，且該系統(tǒng)不僅適用于人機(jī)混合模式下的傳統(tǒng)作業(yè)模式，還適用于全自動(dòng)化的無(wú)人裝卸作業(yè)模式，為港口集裝箱裝卸作業(yè)提供多方位的態(tài)勢(shì)感知、多場(chǎng)景的監(jiān)測(cè)控制及多模式的靈活架構(gòu)。

一、多方位的態(tài)勢(shì)感知

經(jīng)過(guò)長(zhǎng)期市場(chǎng)調(diào)研發(fā)現(xiàn)，傳統(tǒng)港口缺乏系統(tǒng)的頂層規(guī)劃，使得港口的很多大型硬件設(shè)備與軟件模塊相割裂，無(wú)法形成一個(gè)有效的整體進(jìn)行全流程自動(dòng)化作業(yè)。對(duì)于以上問(wèn)題，“航天智港”系統(tǒng)僅用一套智能控制硬件便實(shí)現(xiàn)了多種功能，同時(shí)可與遠(yuǎn)程自動(dòng)化平臺(tái)實(shí)現(xiàn)互聯(lián)（5G、光纖），以最低的資金投入使港機(jī)設(shè)備具有“觀察”和“思考”能力。圖2為態(tài)勢(shì)感知系統(tǒng)示意圖。

智能感知系統(tǒng)主要是對(duì)基于可見光，同時(shí)結(jié)合紅外、激光、雷達(dá)、慣導(dǎo)等輔助設(shè)備提供的探測(cè)信息進(jìn)行融合處理，通過(guò)部署感知系統(tǒng)，實(shí)現(xiàn)對(duì)自動(dòng)化集裝箱碼頭作業(yè)對(duì)象和作業(yè)狀態(tài)的全方位數(shù)據(jù)感知，使自動(dòng)化設(shè)備可以對(duì)作業(yè)目標(biāo)進(jìn)行準(zhǔn)確的操作，以實(shí)現(xiàn)集卡防吊、箱底鎖智能識(shí)別預(yù)警、龍門吊糾偏、自動(dòng)抓放箱、集卡引導(dǎo)等功能。

二、多場(chǎng)景的監(jiān)測(cè)控制

“航天智港”主要是對(duì)集裝箱港口裝卸作業(yè)流程的數(shù)據(jù)進(jìn)行分析，包括大車行走至指定堆場(chǎng)、等待集卡就位、調(diào)整吊具使其對(duì)準(zhǔn)待作業(yè)集裝箱、吊具抓箱及點(diǎn)動(dòng)試吊、對(duì)位放箱等流程，如圖3所示。該系列作業(yè)流程中常會(huì)發(fā)生集卡連同集裝箱一同被吊起的事故，集裝箱底鎖遺留導(dǎo)致的上/下層集裝箱固聯(lián)事故，集卡反復(fù)對(duì)位耗時(shí)，誤砸車頭事故，輪胎吊大車偏離行駛路線導(dǎo)致撞箱或撞車事故等，這些問(wèn)題是傳統(tǒng)港口和自動(dòng)化港口都亟需解決的痛點(diǎn)，更是集裝箱港口實(shí)現(xiàn)自動(dòng)化作業(yè)的關(guān)鍵環(huán)節(jié)。

圖1 集裝箱港口機(jī)器視覺智能感知系統(tǒng)示意圖

圖2 態(tài)勢(shì)感知系統(tǒng)示意圖

“航天智港”面向集裝箱港口裝卸流程，針對(duì)多種作業(yè)場(chǎng)景中存在的安全事故，研發(fā)了機(jī)器視覺智能感知系統(tǒng)，該系統(tǒng)采用機(jī)器視覺技術(shù)手段，解決了集卡車架吊起、集裝箱危害性箱底鎖遺留、集卡反復(fù)對(duì)位及防砸車頭等問(wèn)題，同時(shí)提供通用化、模塊化、多樣化的智能無(wú)人集裝箱港機(jī)自動(dòng)化系統(tǒng)解決方案。

（一）集卡防吊起系統(tǒng)

港口在進(jìn)行集裝箱裝卸作業(yè)時(shí)，經(jīng)常由于人員疏忽、結(jié)構(gòu)變形等原因，導(dǎo)致集裝箱與集卡車架間扭鎖未被全部摘除，發(fā)生起重機(jī)在轉(zhuǎn)運(yùn)集裝箱過(guò)程中，因集裝箱與集卡車架固聯(lián)而被一同吊起的事故，如圖4所示。這不僅影響港口的作業(yè)效率，造成財(cái)物損失，嚴(yán)重時(shí)還會(huì)導(dǎo)致集卡車內(nèi)司機(jī)因急速下墜而傷亡。

集卡誤吊起是港口吊裝作業(yè)中發(fā)生次數(shù)最多的事故。傳統(tǒng)人工碼頭和自動(dòng)化碼頭分別通過(guò)現(xiàn)場(chǎng)人員和遠(yuǎn)程人工對(duì)該環(huán)節(jié)進(jìn)行確認(rèn)及管控，這就降低了吊裝效率和安全性。“航天智港”采用全新的技術(shù)思路，基于人工智能和機(jī)器視覺方式，全天時(shí)、全天候地感知集卡吊裝狀態(tài)，從而避免事故發(fā)生。該功能同時(shí)適用于輪胎吊、軌道吊，并成功應(yīng)用于青島港，首次實(shí)現(xiàn)了全球港口陸側(cè)集裝箱全自動(dòng)化作業(yè)。

（二）集卡引導(dǎo)與防砸車頭系統(tǒng)

集卡在進(jìn)行裝卸前需要按既定車道進(jìn)入指定區(qū)域，港口的起重設(shè)備開動(dòng)至集卡正上方后，操作人員操作吊具對(duì)集裝箱進(jìn)行裝卸，操作過(guò)程如圖5所示。在此過(guò)程中，集卡能否快速準(zhǔn)確定位不僅影響集裝箱起重機(jī)的作業(yè)效率，同時(shí)也影響到卡車司機(jī)及龍門吊的作業(yè)安全。

圖3 集裝箱主要裝卸作業(yè)流程

圖4 集卡誤吊示意圖

圖5 集卡引導(dǎo)與防砸車頭示意圖

針對(duì)該作業(yè)場(chǎng)景，系統(tǒng)同時(shí)調(diào)用側(cè)視和頂視攝像機(jī)獲取全面的作業(yè)場(chǎng)景數(shù)據(jù)，采用機(jī)器視覺技術(shù)和人工智能，以實(shí)現(xiàn)對(duì)目標(biāo)的自動(dòng)檢測(cè)、識(shí)別和跟蹤，從而達(dá)到集卡自動(dòng)定位與引導(dǎo)的要求。通過(guò)實(shí)時(shí)感知測(cè)量車頭位置與集裝箱即將落放位置的相對(duì)偏移量，控制龍門吊吊具的運(yùn)行，防止誤砸車頭事故的發(fā)生。

（三）集裝箱底鎖智能檢測(cè)系統(tǒng)

港口在運(yùn)輸集裝箱的過(guò)程中，將通過(guò)在集裝箱4個(gè)箱角下方安裝旋鎖的方式，將其與運(yùn)輸車或其他集裝箱固聯(lián)，待集裝箱碼放至堆場(chǎng)前再將其箱角下方的旋鎖全部摘除，集裝箱底鎖智能檢測(cè)如圖6所示。在該場(chǎng)景中，若集裝箱箱底鎖未被全部摘除，則會(huì)導(dǎo)致集裝箱再次轉(zhuǎn)運(yùn)過(guò)程中可能因與其下層箱固聯(lián)而產(chǎn)生堆場(chǎng)坍塌事故。

目前，國(guó)內(nèi)外各港口尚以人工摘除箱底鎖方式為主，自動(dòng)化發(fā)展的前景是采用機(jī)械臂自動(dòng)摘除，但由于全球不同公司出產(chǎn)的箱底鎖標(biāo)準(zhǔn)不完全統(tǒng)一，規(guī)格和尺寸差異較大，該方式在現(xiàn)階段仍存在一定的局限性，難以大范圍解決箱底鎖漏摘誤進(jìn)入堆場(chǎng)的狀況。該系統(tǒng)基于人工智能和機(jī)器視覺技術(shù)，根據(jù)態(tài)勢(shì)感知模塊對(duì)作業(yè)場(chǎng)景進(jìn)行識(shí)別分析，檢測(cè)是否存在箱底鎖遺留情況并進(jìn)行相應(yīng)預(yù)警控制。該功能目前已在輪胎吊、自動(dòng)化港橋吊上進(jìn)行了部署，并有效提升了作業(yè)效率。

（四）輪胎吊大車糾偏與自動(dòng)行走系統(tǒng)

根據(jù)港口作業(yè)安全要求，輪胎吊大車在行駛過(guò)程中嚴(yán)格按預(yù)定軌道行駛，并控制其前后位置偏差在±10cm內(nèi)，控制方向偏差在±5°內(nèi)。然而在實(shí)際作業(yè)中，常會(huì)發(fā)生由于路面不夠平坦導(dǎo)致大車顛簸，小車位于電氣房側(cè)導(dǎo)致電氣房側(cè)輪胎磨損大，機(jī)械結(jié)構(gòu)無(wú)法絕對(duì)對(duì)稱，作業(yè)人員誤操作等各種原因?qū)е麓筌嚻x預(yù)定軌道的現(xiàn)象。目前，主要依靠操作司機(jī)目測(cè)偏移距離，并依據(jù)經(jīng)驗(yàn)采取相應(yīng)策略來(lái)對(duì)大車行進(jìn)過(guò)程進(jìn)行糾偏。

該作業(yè)場(chǎng)景對(duì)系統(tǒng)的感知與理解、運(yùn)動(dòng)與控制技術(shù)提出了挑戰(zhàn)，智能感知系統(tǒng)中的大車行走與自動(dòng)糾偏功能采用了機(jī)器視覺、MEMS陀螺儀等方式實(shí)現(xiàn)自主運(yùn)動(dòng)精確導(dǎo)航，通過(guò)對(duì)場(chǎng)景全方位的感知與分析，計(jì)算出大車實(shí)際行駛路線與預(yù)定路線的偏差，并結(jié)合行走模式和模糊控制技術(shù)，能夠使大車始終沿預(yù)定線路行駛，如圖7所示。

圖6 集裝箱底鎖智能檢測(cè)示意圖

圖7 輪胎吊大車糾偏示意圖

（五）自動(dòng)抓箱系統(tǒng)

現(xiàn)階段港口進(jìn)行集裝箱裝卸作業(yè)時(shí)，起重機(jī)操作人員使用操作手柄手動(dòng)控制吊具，進(jìn)行集裝箱的對(duì)位和抓取。操作過(guò)程中，操作人員需注意力高度集中，長(zhǎng)時(shí)間作業(yè)會(huì)導(dǎo)致身體疲勞，進(jìn)而降低作業(yè)效率。

吊具集裝箱作業(yè)是集裝箱港口的關(guān)鍵作業(yè)環(huán)節(jié)，面向該場(chǎng)景研發(fā)的自動(dòng)抓放箱功能，基于人工智能機(jī)器視覺識(shí)別與跟蹤方式對(duì)集裝箱鎖孔、集卡車架鎖銷進(jìn)行精確定位，實(shí)現(xiàn)集裝箱自動(dòng)對(duì)位抓箱功能，從而減輕操作人員的工作強(qiáng)度，提高作業(yè)效率。

三、多模式的適應(yīng)能力

智能技術(shù)在港口行業(yè)的應(yīng)用受到港口目標(biāo)種類繁雜、平臺(tái)運(yùn)動(dòng)、態(tài)勢(shì)多樣及復(fù)雜背景等多種不利因素制約，面向集裝箱港口的機(jī)器視覺智能感知系統(tǒng)，通過(guò)搭建基于多源感知設(shè)備的邊緣計(jì)算硬件平臺(tái)，以及分層架構(gòu)的通用分布式多源信息處理軟件，在通用的架構(gòu)上可根據(jù)客戶需求定制并加載不同功能模塊，以適應(yīng)各種模式和設(shè)備的需求。

智能感知系統(tǒng)邊緣計(jì)算硬件平臺(tái)已支撐并集成不同類型傳感器，可接入如TOS、ECS等多種港口管理與調(diào)度系統(tǒng)并與之交互。該系統(tǒng)可兼容各種接口、多種數(shù)據(jù)類型、不同生產(chǎn)廠家的各類設(shè)備和系統(tǒng)，從而實(shí)現(xiàn)信息的整合共享，保證系統(tǒng)內(nèi)部數(shù)據(jù)標(biāo)準(zhǔn)統(tǒng)一。信息系統(tǒng)通過(guò)搭建分層架構(gòu)的通用分布式多源信息處理軟件，運(yùn)用智能視頻技術(shù)，實(shí)現(xiàn)對(duì)多路視頻圖像信息的采集、壓縮、編碼、傳輸，以及對(duì)采樣圖像的識(shí)別、檢測(cè)與分析等功能。采用模塊化設(shè)計(jì)模式，其接入層主要對(duì)探測(cè)設(shè)備、外部系統(tǒng)進(jìn)行接入，以實(shí)現(xiàn)數(shù)據(jù)匯聚、數(shù)據(jù)傳輸、協(xié)議適配、節(jié)點(diǎn)管理等網(wǎng)關(guān)服務(wù)。算法層針對(duì)多源信息提供支持不同功能的算法庫(kù)，并對(duì)多源信息進(jìn)行深度融合處理，向下支撐接入層，并與數(shù)據(jù)層、應(yīng)用層進(jìn)行交互。數(shù)據(jù)層主要服務(wù)存儲(chǔ)平臺(tái)系統(tǒng)產(chǎn)生的數(shù)據(jù)信息，以支撐平臺(tái)業(yè)務(wù)運(yùn)行。應(yīng)用層根據(jù)算法層分析結(jié)果執(zhí)行相應(yīng)流程，并提供設(shè)備管理、用戶管理、系統(tǒng)管理及信息回溯等功能。

四、結(jié)束語(yǔ)

“航天智港”面向集裝箱港口的機(jī)器視覺智能感知系統(tǒng)聚焦港口作業(yè)安全與效率，將機(jī)器深度學(xué)習(xí)方法與傳統(tǒng)方法相結(jié)合，實(shí)現(xiàn)了數(shù)據(jù)、模型、部署的一體化應(yīng)用，突破了港口復(fù)雜作業(yè)環(huán)境下的目標(biāo)智能識(shí)別與行為理解技術(shù)，克服了陰影、光照、震動(dòng)、集卡類型、長(zhǎng)短箱、異常模式多樣、白天夜晚、天氣等隨機(jī)性和不確定性因素的影響。該機(jī)器視覺智能感知系統(tǒng)具有良好的實(shí)時(shí)性、魯棒性和通用性，性能指標(biāo)達(dá)到國(guó)際先進(jìn)水平。

研究所項(xiàng)目組持續(xù)優(yōu)化完善現(xiàn)有產(chǎn)品形態(tài)并進(jìn)行新功能開發(fā)，目前相關(guān)產(chǎn)品已經(jīng)在天津港太平洋碼頭、蘇州太倉(cāng)港、河北京唐港、青島新前灣自動(dòng)化碼頭、上港宜東碼頭、香港HIT、深圳鹽田國(guó)際港、廈門國(guó)際港海潤(rùn)碼頭等進(jìn)行了試裝測(cè)試，并且和招商局港口國(guó)際信息公司開展智能視頻分析業(yè)務(wù)，業(yè)務(wù)覆蓋了渤海灣、長(zhǎng)三角、珠三角區(qū)域的相關(guān)港口，為后續(xù)市場(chǎng)拓展奠定了堅(jiān)實(shí)基礎(chǔ)。