張科昌 生綠偉 劉國輝 茅時群
上海振華重工(集團)股份有限公司
自動化碼頭無人化、智能化是提升港口轉(zhuǎn)運效率的關(guān)鍵。隨著廈門遠海自動化碼頭、青島新前灣自動化碼頭和上海洋山港四期自動化碼頭的相繼開港運營,在港口行業(yè)內(nèi)起到了很好的示范效果[1]。
集裝箱箱號作為集裝箱的唯一ID標識,在集裝箱各個轉(zhuǎn)運環(huán)節(jié)中,都需要被記錄。集裝箱箱號的識別手段主要有人工方式、OCR(Optical Character Recognition,光學字符識別)方式和其他信息輔助識別(如RFID)方式。不同于傳統(tǒng)集裝箱碼頭人工肉眼識別和手動記錄方式,OCR系統(tǒng)利用模式識別、深度學習等人工智能技術(shù),在集裝箱轉(zhuǎn)運環(huán)節(jié)中自動獲取箱體信息,如箱號、ISO碼、箱門方向、鉛封情況、危險品標識等。它能夠改善集裝箱碼頭作業(yè)流程,降低碼頭人力成本和設(shè)備維護成本,提高效率,同時能夠形成完善的碼頭信息鏈,合理界定責任,提高服務(wù)質(zhì)量。與其他信息輔助識別方式相比,OCR具有3個優(yōu)點:依據(jù)被識別對象自身的特征進行識別,無需安裝標簽等其他輔助設(shè)備;非接觸識別,不會造成被識別對象損壞;自動保存圖像和記錄識別信息,便于回溯分析。
箱號OCR系統(tǒng)涉及光學成像、計算機處理、網(wǎng)絡(luò)傳輸?shù)燃夹g(shù)。首先,通過圖像采集設(shè)備獲取帶有箱號的圖像,并利用網(wǎng)絡(luò)傳輸技術(shù)傳輸至計算機,然后計算機利用圖像處理和識別技術(shù),進行快速地字符切割和自動識別,精確地捕獲和記錄進出港的各類集裝箱箱號,最后傳輸給后臺,供碼頭操作系統(tǒng)或理貨系統(tǒng)使用。
箱號OCR系統(tǒng)的理想應用場景是在一個光照均勻的環(huán)境下,靜止的相機采集靜止的集裝箱箱號面,該理想工況下采集的圖像能滿足最基本的OCR算法要求。然而,在實際的碼頭戶外應用場景中,箱號OCR系統(tǒng)的應用存在很多問題,主要表現(xiàn)在7個方面:
(1)集裝箱箱號自身損壞、污染。
(2)箱號排列方式多樣,有橫排和豎排,豎排時有單列、雙列、三列,橫排時有單行、雙行、三行等方式。
(3)集裝箱箱號的背景色不統(tǒng)一,且不在同一個平面上。
(4)由于相機拍攝角度不理想,箱體褶皺容易導致箱號被遮擋及變形。
(5)系統(tǒng)的外部環(huán)境干擾因素多,因雨、雪、霧、陽光等客觀因素,導致光照不均勻而且變化很大,成像質(zhì)量差。
(6)相機視野受限、被遮擋或分辨率過低,導致成像中的箱號不完整或質(zhì)量不高。
(7)相機與集裝箱的相對運動導致采集到模糊圖像。
為了解決上述問題,對箱號OCR系統(tǒng)的研究進展進行詳細地梳理和分析,歸納出箱號OCR系統(tǒng)的基本構(gòu)成、主要設(shè)備和關(guān)鍵技術(shù),并對比典型廠商箱號OCR系統(tǒng)產(chǎn)品的優(yōu)缺點,為箱號OCR系統(tǒng)的研發(fā)和設(shè)計提供依據(jù)。
箱號OCR系統(tǒng)的識別對象是集裝箱箱號,印于集裝箱的外表面,它的作業(yè)工況依賴于集裝箱轉(zhuǎn)運過程中的各個環(huán)節(jié)。集裝箱的箱號由15位編碼構(gòu)成,第1~3位為廠商編碼(Owner Code),第4位為產(chǎn)品組編碼(Product Group Code,常見的有U、J、Z),第5~10位為注冊碼(Registration Number),第11位為校驗碼(Check Digit),校驗碼通常帶有白框,第12~15位為箱型大小和類型編碼(Size&Type Code),一般會另起一行或一列單獨排列。
箱號在集裝箱外表面所處的位置及型式依賴于集裝箱的類型,常見的集裝箱類型有干貨集裝箱、開頂集裝箱、平板集裝箱、冷凍集裝箱、罐裝箱等。以干貨集裝箱為例,其箱號分布在集裝箱的前、后、左、右和頂部5個表面的右上部區(qū)域。箱號的排列方式有橫排和豎排(見圖1)。
圖1 干貨集裝箱頂部視圖展開圖及箱號位置示意圖
在集裝箱轉(zhuǎn)運過程的不同環(huán)節(jié)中,箱號OCR系統(tǒng)的作業(yè)工況也不同。依據(jù)轉(zhuǎn)運環(huán)節(jié),箱號OCR系統(tǒng)分為岸邊集裝箱起重機(以下簡稱岸橋)箱號OCR系統(tǒng)、堆場門式起重機(以下簡稱場橋)箱號OCR系統(tǒng)和閘口箱號OCR系統(tǒng)等。
2.2.1 岸橋箱號OCR系統(tǒng)
岸橋分為常規(guī)的單小車岸橋和帶中轉(zhuǎn)平臺的雙小車岸橋。岸橋箱號OCR系統(tǒng)是針對岸橋裝卸船作業(yè)的箱號識別系統(tǒng)。單小車岸橋在船側(cè)與集卡側(cè)之間運輸集裝箱,在整個過程中集裝箱處于運動狀態(tài),無法采集到靜態(tài)集裝箱箱號圖像;而雙小車岸橋擁有中轉(zhuǎn)平臺,通常在裝卸船的過程中,集裝箱會短暫停留在中轉(zhuǎn)平臺上,因此可以采集到靜態(tài)的集裝箱箱號圖像,成像質(zhì)量高,有利于后續(xù)的箱號圖像處理與識別。岸橋OCR系統(tǒng)的成像設(shè)備通常安裝于岸橋的連系梁上方和下橫梁下方,其安裝位置與集裝箱之間的距離較大,可采集的集裝箱箱面較多,箱號識別成功率也較高。
岸橋OCR系統(tǒng)一般采集集裝箱長邊所在的2個表面和短邊所在的2個表面,共4個表面的圖像。如果是雙吊具雙箱工況,則采集集裝箱長邊所在的1個表面和短邊所在的2個表面,共3個表面的圖像。如果是單吊具雙20 ft箱工況,則采集集裝箱長邊所在的2個表面和短邊所在的1個表面,共3個表面的圖像。如果是雙吊具雙20 ft箱工況,則采集集裝箱長邊所在的1個表面和短邊所在的1個表面,共2個表面的圖像。因此,岸橋OCR系統(tǒng)的成像設(shè)備能夠保證至少采集到2個集裝箱表面的圖像。
岸橋的作業(yè)流程分為裝船作業(yè)流程和卸船作業(yè)流程,針對裝船流程,箱號OCR系統(tǒng)的圖像采集預置位位于裝船車道,在吊具抓取集裝箱時,利用吊具上的開閉鎖信息觸發(fā)相機采集帶有箱號的集裝箱圖像;針對卸船流程,為保證整個動態(tài)作業(yè)流程不被中斷,箱號OCR系統(tǒng)的圖像采集預置位位于卸船車道,利用吊具的位置、速度及加速度信息,預估集裝箱進入相機視野的時間點,觸發(fā)相機采集帶有箱號的集裝箱圖像。
2.2.2 場橋箱號OCR系統(tǒng)
場橋箱號OCR系統(tǒng)是針對堆場內(nèi)場橋裝卸集裝箱運輸車輛(典型的有集卡、AGV等)作業(yè)的箱號識別系統(tǒng)。與岸橋相比,場橋體積較小,作業(yè)空間狹小,在場橋的小車運動方向上,場橋與車輛之間的距離較近,車輛與堆場內(nèi)的集裝箱之間的距離也較近。在場橋的大車運動方向上,集裝箱的短邊幾乎與場橋齊平,故可選擇的集裝箱箱號采集面較少,并且可供成像設(shè)備的安裝位置與集裝箱之間的距離較近,大多數(shù)情況下可供采集的集裝箱表面只有1個,所以場橋OCR系統(tǒng)更難實現(xiàn),且識別成功率較低。
場橋的作業(yè)流程分為裝車作業(yè)流程和卸車作業(yè)流程,針對裝車流程,為了保證整個動態(tài)作業(yè)流程不被中斷,利用吊具的位置、速度及加速度信息,預估集裝箱進入相機視野的時間點,觸發(fā)相機采集帶有箱號的集裝箱圖像;針對卸車流程,在吊具抓取集裝箱時,利用吊具上的開閉鎖信息觸發(fā)相機采集帶有箱號的集裝箱圖像。
2.2.3 閘口箱號OCR系統(tǒng)
閘口箱號OCR系統(tǒng)是針對外集卡或火車進出港口的箱號識別系統(tǒng)。在港區(qū)內(nèi)集裝箱會經(jīng)過若干個位置固定的閘口,閘口間距相對較小,因此集裝箱的短邊所在的表面圖像不易采集。但集裝箱的上表面和長邊所在的2個側(cè)面的圖像采集相對理想,且圖像質(zhì)量較高,所以閘口箱號OCR系統(tǒng)容易實現(xiàn),且識別成功率較高。
集裝箱箱號OCR系統(tǒng)的硬件主要由成像設(shè)備、觸發(fā)設(shè)備、補光設(shè)備、供電設(shè)備、通信和處理設(shè)備、保護裝置組成。
2.3.1 成像設(shè)備
目前成像設(shè)備主要有面陣相機和線陣相機。
面陣相機的感光單元按照二維陣列排列,其成像為直觀的二維圖像。雖然每行的像素點較線陣相機少,但是列數(shù)多,進而整幅圖像的像素總數(shù)多,因此幀率通常會受到限制。目前普遍使用的面陣相機有普通的滾動快門面陣網(wǎng)絡(luò)監(jiān)控相機和特殊的全局快門面陣網(wǎng)絡(luò)工業(yè)相機。監(jiān)控相機具有品牌規(guī)格比較多、市場技術(shù)成熟、寬動態(tài)、高動態(tài)特征、價格便宜等優(yōu)點,缺點是其圖像傳感器普遍采用滾動快門,容易產(chǎn)生運動模糊,不適合抓拍高速運動目標,且圖像有編解碼的過程,傳輸延遲大。監(jiān)控相機分為槍型相機和帶云臺功能的球型或半球型相機。由于相機在岸橋上的安裝和調(diào)試不方便,通常使用帶云臺功能的球型或半球型相機,可以隨時更改拍攝角度,彌補相機安裝位置的不一致差異。但帶云臺功能的球型或半球型相機與槍型相機相比,帶有運動部件,不適合安裝在高震動場景。特殊的工業(yè)相機可以使用全局快門,更適于拍攝運動物體,但無法實現(xiàn)寬動態(tài)及高動態(tài)功能,且成本較高,圖像傳輸時未經(jīng)編解碼,網(wǎng)絡(luò)傳輸帶寬較高。
線陣相機又叫線性掃描攝像機,感光單元為一行感光元素,其成像為“帶”狀,適于大視野和高精度的應用場合。應用于箱號OCR系統(tǒng)時,無法獨立成像,需要依靠其自身運動或被拍攝集裝箱的運動,拼接成一幅二維圖像,才能夠進行箱號的識別。在閘口工況中,由于有固定的閘口,且集裝箱的運動相對規(guī)范,所以線陣攝像機主要應用于閘口OCR系統(tǒng)。它能夠完整的呈現(xiàn)集裝箱箱面信息,不會出現(xiàn)面陣攝像機因視場角偏小導致的信息不全。缺點是需要獲取集裝箱的運動信息,且待整個集裝箱通過線陣相機掃面區(qū)域才能獲得完整的箱面信息。
2.3.2 觸發(fā)設(shè)備
觸發(fā)設(shè)備是觸發(fā)相機采集圖像的裝置,它根據(jù)集裝箱運動軌跡的規(guī)律,觸發(fā)箱號OCR系統(tǒng)中相對應的相機進行抓拍圖像和識別。常見的觸發(fā)設(shè)備主要有磁鋼及激光雷達、地感線圈、線性圖像傳感器、RFID、紅外對射等幾種形式。
2.3.3 補光設(shè)備
補光設(shè)備用于彌補夜間、環(huán)境光線不足、逆光、成像設(shè)備曝光時間不足等各種復雜工況,可以提高成像質(zhì)量、保證成像的穩(wěn)定性和一致性。補光設(shè)備分獨立式補光設(shè)備和成像一體式補光設(shè)備。獨立式補光設(shè)備可采用成熟穩(wěn)定的補光燈,靈活多樣,成本相對較低;成像補光一體式云臺相機,具有成像方向與補光方向一致、結(jié)構(gòu)緊湊等優(yōu)點,但由于其運動部件太重,易導致相機預制位的丟失。補光設(shè)備又分為常亮型和智能型,常亮型補光設(shè)備不受外部因素控制,智能型補光設(shè)備是一種受控的補光設(shè)備,可以實現(xiàn)很多靈活性、場景化功能。
2.3.4 供電、通信和處理設(shè)備、保護裝置
供電設(shè)備負責各個設(shè)備的供電,對于關(guān)鍵系統(tǒng)使用UPS不間斷電源供電。通信設(shè)備主要使用TCP/IP網(wǎng)絡(luò)通信技術(shù),實現(xiàn)各個單元之間與主機之間的實時通信。處理設(shè)備負責圖像的保存、識別、結(jié)果輸出、與其他系統(tǒng)之間的銜接,主要采用工控機、嵌入式計算機、專用圖像處理器等。保護裝置是保護各個部件免遭損壞的裝置,尤其是應用在室外環(huán)境的成像設(shè)備。
箱號OCR系統(tǒng)的關(guān)鍵技術(shù)主要有觸發(fā)技術(shù)、光學成像技術(shù)、補光技術(shù)和箱號識別技術(shù)。
2.4.1 觸發(fā)技術(shù)
成像設(shè)備的觸發(fā)模式主要有連續(xù)采集模式、軟件觸發(fā)模式和硬件觸發(fā)模式。連續(xù)采集模式是指成像設(shè)備只要供電就持續(xù)輸出圖像信息,其對網(wǎng)絡(luò)傳輸帶寬的要求較高,對處理設(shè)備的資源消耗較高。軟件觸發(fā)模式主要依靠計算機軟件邏輯自動進行判斷,而硬件觸發(fā)模式依靠外部設(shè)備對作業(yè)工況進行感知與決策,然后輸出IO信號控制成像設(shè)備。例如:利用吊具的開閉鎖信息、吊具的起升高度信息及加速度信息的軟件觸發(fā)模式,以及利用光電開關(guān)檢測集裝箱經(jīng)過某一區(qū)域的硬件觸發(fā)模式。
2.4.2 成像技術(shù)
成像技術(shù)主要包括自動對焦技術(shù)、自動曝光技術(shù)、寬動態(tài)技術(shù)、高動態(tài)技術(shù)。自動對焦技術(shù)是一種依靠對圖像清晰度的判斷,自動調(diào)節(jié)相機鏡頭焦距,使其工作在最佳狀態(tài)的技術(shù)。自動曝光技術(shù)是利用圖像的亮暗程度自動對曝光時間進行調(diào)節(jié)。寬動態(tài)技術(shù)是在相機成像時,實現(xiàn)圖像較暗區(qū)域與較亮區(qū)域平滑過渡的技術(shù)。高動態(tài)技術(shù)是為獲得較高成像對比度的技術(shù)。這些技術(shù)通過軟件判斷成像圖片的清晰程度,自動調(diào)整相機成像的相關(guān)參數(shù),改善成像質(zhì)量。滾動快門相機在抓拍運動目標時,還需要增大相機光圈,減少軟件曝光時間,使生成一副圖像的幀頭與幀尾的時間差盡可能小,以避免產(chǎn)生圖像模糊、失真或疊影的現(xiàn)象。
2.4.3 補光技術(shù)
補光技術(shù)是一種主動補償光照亮度的技術(shù),可以使相機的成像更清晰。它利用光線傳感器檢測環(huán)境光,當外部光線充足時自動降低補光燈的照度,當外部光線不足時自動增強補光燈的照度。智能補光技術(shù)利用連續(xù)實時的圖像質(zhì)量智能評價程序自動調(diào)節(jié)補光燈照度,使補光設(shè)備工作在最佳成像和省電等綜合指標最優(yōu)的狀態(tài)。智能補光技術(shù)也可以工作在觸發(fā)模式,使用相機的IO接口控制補光燈使能狀態(tài),實現(xiàn)相機的幀同步曝光。
2.4.4 箱號識別技術(shù)
箱號OCR系統(tǒng)軟件主要包含圖像獲取模塊、圖像預處理模塊、箱號檢測/定位模塊、箱號識別模塊、結(jié)果分析輸出模塊。箱號識別是在箱號檢測的基礎(chǔ)上,對箱號內(nèi)容進行識別,將圖像中的箱號轉(zhuǎn)化成可編輯的文本,結(jié)合實際情況和對多幅圖像識別結(jié)果進行綜合判斷,最后輸出箱號信息。
目前國內(nèi)外箱號OCR系統(tǒng)的解決方案種類繁多,典型的OCR系統(tǒng)方案可分為以監(jiān)控相機為基礎(chǔ)和以工業(yè)相機為基礎(chǔ)的解決方案。基于監(jiān)控相機的箱號OCR系統(tǒng)方案采用普通滾動快門的網(wǎng)絡(luò)監(jiān)控相機和獨立式補光燈進行圖像采集,使用工控機作圖像處理設(shè)備,此方案被大多數(shù)廠家所采用?;诠I(yè)相機的箱號OCR系統(tǒng)方案采用特殊的全局快門的網(wǎng)絡(luò)面陣相機,一體式攝像補光設(shè)備和分布式處理設(shè)備。這2種典型箱號OCR系統(tǒng)方案的性能對比見表1。
表1 典型箱號OCR系統(tǒng)的性能對比
基于人工識別和記錄的集裝箱箱號識別技術(shù)手段已經(jīng)不能滿足日益增長的碼頭吞吐量需求。箱號OCR系統(tǒng)利用人工智能技術(shù),在集裝箱轉(zhuǎn)運環(huán)節(jié)中自動獲取箱號信息,能夠改善集裝箱碼頭作業(yè)流程,降低人力成本,提高集裝箱轉(zhuǎn)運效率和服務(wù)質(zhì)量。