基于視覺識別的自動抓箱系統(tǒng)分析及方案設計研究

張鋒鋒

（江蘇潤邦工業(yè)裝備有限公司，江蘇 蘇州 215437）

0 引言

智慧港口代表著未來港口的發(fā)展方向，目前科技的發(fā)展已經在為“智慧港口”的建設在奠定基礎。根據(jù)《交通運輸信息化“十三五”發(fā)展規(guī)劃》，全世界各大港口都在加速自動化的升級，透過5G，物聯(lián)網(wǎng)，人工智慧，無人裝載等借以提高整體運行效。隨著智慧港口建設的推進，自動化設備的發(fā)展也迎來了發(fā)展期。國內外各個碼頭及碼頭整體方案解決的主機廠都逐步進入了整個自動化的研究及實施中。AI視覺系統(tǒng)逐步的進入主機廠的視野。視覺系統(tǒng)的邊緣計算及識別要求也有傳統(tǒng)的2D模式逐步走向3D建模的形式，更加系統(tǒng)化，立體化的去讀取及識別實物。不僅僅在理想狀態(tài)情況下，這個是可以識別及實現(xiàn)功能，同時現(xiàn)場情況是復雜的，如深夜模式，地面識別顏色褪色，集裝箱有損壞，識別區(qū)域的大小等都會影響并需要調整識別算法適配需求，所以最終要具體場景進行分析處理，通過大量的數(shù)據(jù)運算及現(xiàn)場實際情況的自學習，來增加數(shù)據(jù)庫容量的積累，滿足各種極端工況的[1-2]。

1 視覺識別工作原理

隨著計算機/圖像處理等技術的發(fā)展，視覺技術的應用也越來越廣泛。通過視覺（CCD攝像頭）來識別圖像的正確信息，實時讀取部件的特征參數(shù)，識別部件類型及所處的姿態(tài)。因此，視覺技術（CCD攝像頭）目標識別和定位算法為研究方向，針對集裝箱的實現(xiàn)匹配技術和空間定位功能[3-5]。通過上位機的控制及邏輯命令，給出抓箱設備明確的大車，小車，及吊具的定位要求，設備自行運行到制定位置，并且X，Y，Z三個方向的精度都控制在50mm以內。然后通過視覺精確定位識別技術獲得準確抓箱位置定位信息。并能夠有檢測功能，實時反饋給上位機吊具在X/Y/Z三個方向的實施位置，實現(xiàn)調整檢驗功能，以達到精準定位。原理見圖1。

圖1 定位流程概念

2 自動抓箱方案設計

2.1 CCD攝像頭布置設計

通過在吊具的四個角上增加固定攝像頭，攝像頭一般為1080P的高清攝像頭。通常選取CCD攝像機，識別集裝箱鎖孔的相對位置。當?shù)蹙呶恢镁嚯x下方集裝箱約3m時，拍攝下方集裝箱照片，通過分析圖片，找到集裝箱的4個鎖孔位置并計算與標定位置的像素數(shù)偏差，再根據(jù)焦距和拍照位置，計算出集裝箱相對于吊具的偏移量，為自動著箱提供精確定位數(shù)據(jù)，見圖2。

圖2 CCD攝像頭工況示意圖

2.2 視覺識別控制邏輯

（1）上位機（RCMS）獲取來自集裝箱碼頭管 理 系 統(tǒng)（TOS）作 業(yè)執(zhí)行命令，發(fā)布抓箱的動作指令，給出明確的排位，貝位，箱號的要求。

（2）上位機（RCMS）通過解析任務指令，給設備發(fā)出大車/小車運行指令，并自動運行至指定位置，并確定位置精度要求不得低于設定值。如超出標準，反饋給上位機進行自動調節(jié)。

（3）小車到達指定位置，吊具下降一定高度，并且通過攝像頭識別集裝箱鎖孔的位置，實時讀出偏移量數(shù)據(jù)（X，Y方向），并且將數(shù)據(jù)反饋給上位機。

（4）上位機（RCMS）根據(jù)實施反饋的數(shù)據(jù)，判斷偏移量是否再符合在系統(tǒng)設定值范圍內，符合偏移量設定值要求，給出抓箱指令進行抓箱。

（5）不合符偏移量范圍設定值的要求，上位機根據(jù)反饋的偏移量使得設備自我進行姿態(tài)調整。

（6）調整結束后，通過視覺讀取與集裝箱鎖孔的偏移量進行檢驗，直至符合要求進行抓箱動作。

（7）抓箱并閉鎖，吊具起升，并運行至指定位置。

2.3 視覺識別邏輯

（1）將集裝箱堆場，集裝箱等基礎數(shù)據(jù)進行三維建模，通過掃描堆場信息，集裝箱鎖孔圖片及信息，堆場劃線圖片及信息，提前進行大量數(shù)據(jù)的自學習，積累數(shù)據(jù)庫。

（2）建立視覺識別技術下的3D坐標系。CCD攝像頭讀取到3D坐標值后，反饋給圖像處理單元并轉換成ASCII碼字符串數(shù)值，通過Profinet或CAN通訊協(xié)議發(fā)送給上位機，上位機收到ASCII碼字符串坐標后，轉換成自己可以識別的的標值，通過該坐標值實現(xiàn)精準定位。

（3）集裝箱鎖孔為標準件，集裝箱鎖孔的外形尺寸，圖像信息等，4個CCD攝像頭通過自學習的方法掌握了基本數(shù)據(jù)。將集裝箱的四個角的鎖孔分別定義為C1/C2/C3/C4，以便上位機可精準接收到各個角反饋的數(shù)據(jù)。在吊具的下降過程中（即吊具距集裝箱相對位置3m左右），4個CCD攝像頭讀取吊具和集裝箱四個鎖孔的偏移量（X/Y方向的相對數(shù)值），見圖3。

圖3 偏移量讀取示意圖

（4）4個CCD攝像頭分別建立坐標系：獲得集裝箱鎖孔視頻幀圖像，并處理轉換為二維矩陣，搜索矩陣中黑點同時結合自學習的鎖孔的外尺寸輪廓，當有一堆黑點時，確認中心點為坐標原點。

（5）坐標系如果未鎖定，發(fā)現(xiàn)的所有坐標寫到幀圖像上。

（6）坐標系如果有鎖定，將記錄鎖定時所有發(fā)現(xiàn)的坐標及當前幀的上一幀圖像發(fā)現(xiàn)的坐標上，按照（4）中步驟步獲取當前幀坐標當前坐標計算出鎖定的坐標的當前坐標，兩坐標距離。根據(jù)當鎖定的坐標，當前坐標距離在上位機已設定的值內，判斷為重合，鎖定的坐標，當前坐標寫到幀圖像上；當鎖定的坐標，當前坐標距離超過原始設定的值，鎖定的坐標，當前坐標，距離線，距離值寫到幀圖像上。

（7）圖像處理單元并轉換成ASCII碼字符串數(shù)值，上位機生成偏移數(shù)據(jù)量，X/Y方向的偏移值，需要再顯示器上顯示，并且將數(shù)據(jù)反饋給上位機。上位機根據(jù)參數(shù)設定判斷是否再可抓箱范圍內，進行動作。

（8）需調整量=偏移量絕對值-設定值，同時在系統(tǒng)中需要設置正負值來區(qū)別偏移的方向。上位機再得到調整量的方向及值后，自動進行調整。

（9）當需要完成疊箱時，吊具上帶著集裝箱，距離下層集裝箱高度約3m時，進行低速動作。4個CCD攝像頭需要完成對下層集裝箱外4個角的外邊輪廓進行掃描，獲得集裝箱4個角外邊輪廓的視頻幀圖像，進行處理，得出4個角的偏移量，反饋給上位機，控制系統(tǒng)給出指令及調整量進行自我調整，直至符合堆箱調節(jié)，進行自動堆箱。

3 結論

智慧港口行業(yè)的推進，除了傳統(tǒng)PLC控制行業(yè)的更新迭代，還需要軟件行業(yè)在工業(yè)控制領域，運用大量軟件的運算規(guī)則實現(xiàn)能源分析，工序優(yōu)化，任務分配解析等，優(yōu)化并加速自動化行業(yè)的進程。利用視覺技術，進行大量的數(shù)據(jù)自學習，邊緣計算等，可以最大化的滿足港口設備自動抓箱的功能，但是同樣需要克服設備自身震動，集裝箱破損等客觀因素，在實踐中不斷的優(yōu)化邏輯運算，優(yōu)化作業(yè)流程。