集裝箱碼頭鎖銷自動(dòng)化拆裝視覺定位系統(tǒng)研究

上海國際港務(wù)(集團(tuán))股份有限公司尚東集裝箱碼頭分公司

1 引言

自動(dòng)定位技術(shù)廣泛運(yùn)用于工業(yè)領(lǐng)域的各個(gè)環(huán)節(jié)。在工業(yè)自動(dòng)化生產(chǎn)中，需要迅速精準(zhǔn)地對(duì)零部件進(jìn)行加工和安裝，其中部分生產(chǎn)環(huán)節(jié)已經(jīng)實(shí)現(xiàn)了自動(dòng)定位，但是仍然有一些環(huán)節(jié)需要人工進(jìn)行定位，一定程度上制約了自動(dòng)化生產(chǎn)的效率。隨著科技的發(fā)展，市場(chǎng)及用戶對(duì)產(chǎn)品的精密程度和質(zhì)量的要求越來越高，傳統(tǒng)的定位方法已經(jīng)不能滿足需求，視覺定位技術(shù)應(yīng)運(yùn)而生[1]。

視覺定位系統(tǒng)是通過計(jì)算機(jī)模擬人的視覺功能，實(shí)現(xiàn)實(shí)際的檢測(cè)和控制。圖像傳感器是視覺定位系統(tǒng)中的主要裝置，分為互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)和電荷耦合器件(CCD)兩大類，可以把被采集物的圖像信息傳遞給圖像處理系統(tǒng)，圖像處理系統(tǒng)再將其中的亮度、對(duì)比度、像素分布等特征信息轉(zhuǎn)化成數(shù)字信號(hào)，并生成相應(yīng)的控制指令[2]。

視覺定位系統(tǒng)效果的好壞與圖像質(zhì)量的高低成正比，大多數(shù)情況下，視覺定位系統(tǒng)處理效果差，多是圖像質(zhì)量低、特征信息模糊導(dǎo)致的。為了采集到高質(zhì)量、特征信息明顯的可處理圖像，需要亮度、對(duì)比度以及魯棒性都較好的光源[3]。

視覺定位系統(tǒng)中，好的光源需具備合適的亮度、足夠大的對(duì)比度以及較高的魯棒性，這一方面可以保證攝像頭能夠清晰地拍攝圖像，另一方面能夠使需要處理的圖像特征信息變得明顯。具體的光源選取還在于現(xiàn)場(chǎng)的實(shí)驗(yàn)調(diào)試。

2 鎖銷自動(dòng)拆裝系統(tǒng)的工作流程

鎖銷的視覺定位系統(tǒng)在鎖銷自動(dòng)拆裝系統(tǒng)中發(fā)揮著重要作用，可以為鎖銷拆裝提供左右、前后、高低3個(gè)方向的位置信號(hào)，主要由激光測(cè)距和視覺定位2個(gè)部分構(gòu)成。激光測(cè)距負(fù)責(zé)測(cè)量鎖銷左右方向的位置，前后和高低方向的位置檢測(cè)由視覺定位系統(tǒng)實(shí)現(xiàn)(見圖1)。相機(jī)鏡頭內(nèi)目標(biāo)物包括集裝箱鎖孔和鎖銷(見圖2)。

圖1 激光和相機(jī)布置示意圖

圖2 相機(jī)鏡頭內(nèi)目標(biāo)物

2.1 拆鎖工作流程

吊具將需要拆卸鎖銷的集裝箱放置在擱架上，定位系統(tǒng)確認(rèn)有需要拆卸的鎖銷時(shí)，要對(duì)鎖銷位置進(jìn)行檢測(cè)，以便機(jī)器人拆卸鎖銷。其中，激光檢測(cè)左右方向位置，相機(jī)定位檢測(cè)前后和高低方向，以及鎖銷的存在與否。拆鎖機(jī)構(gòu)根據(jù)定位系統(tǒng)提供的位置信息，到達(dá)對(duì)應(yīng)的位置，完成鎖銷的拆卸，并將鎖銷放置在相應(yīng)的存放點(diǎn)。視覺檢測(cè)確定鎖銷拆除，集裝箱被吊運(yùn)走，重復(fù)下一循環(huán)。

2.2 裝鎖工作流程

吊具將需要安裝鎖銷的集裝箱放置在擱架上，定位系統(tǒng)確認(rèn)需要安裝鎖銷的位置沒有鎖銷，并對(duì)安裝目標(biāo)位置進(jìn)行檢測(cè)，以便機(jī)器人安裝鎖銷。裝鎖機(jī)構(gòu)從鎖銷存放點(diǎn)取出鎖銷，根據(jù)定位系統(tǒng)提供的位置信息，到達(dá)對(duì)應(yīng)的位置，完成集裝箱鎖銷的安裝。視覺檢測(cè)確定鎖銷安裝到位，集裝箱被吊運(yùn)走，重復(fù)下一循環(huán)。

3視覺定位系統(tǒng)的選擇

3.1 夾具

洋山深水港四期全自動(dòng)化碼頭鎖銷拆裝系統(tǒng)中，拆裝機(jī)器人采用專門研發(fā)的夾具系統(tǒng)，使用氣動(dòng)控制，實(shí)現(xiàn)多種夾具的自動(dòng)切換與應(yīng)用，可以適應(yīng)各種箱型，滿足市場(chǎng)80%的鎖頭拆裝需求。針對(duì)碼頭作業(yè)現(xiàn)場(chǎng)環(huán)境復(fù)雜、震動(dòng)大等特點(diǎn)，夾具部分加入了浮動(dòng)系統(tǒng)，在抓取過程中，夾具處于柔性狀態(tài)，可以有效避免抓空的情況。另外獨(dú)特的夾具快換裝置可以在面對(duì)多種鎖頭時(shí)，及時(shí)更換需要的夾具，實(shí)現(xiàn)夾具更換的自動(dòng)化。

3.2 傳動(dòng)裝置

采用獨(dú)立研發(fā)的皮帶機(jī)系統(tǒng)作為傳動(dòng)裝置，通過伺服控制精確定位，將鎖銷盒送達(dá)指定位置，等待機(jī)械手臂將拆下的鎖頭放置在盒子內(nèi)，再由程序控制將鎖頭運(yùn)送到指定的框內(nèi)存儲(chǔ)，實(shí)現(xiàn)自動(dòng)化生產(chǎn)。

3.3 激光測(cè)距

集裝箱左右兩側(cè)分別布置了激光測(cè)距限位，實(shí)時(shí)監(jiān)測(cè)箱子放置過程中的偏差，通過運(yùn)算傳遞給機(jī)械手臂，實(shí)現(xiàn)每個(gè)集裝箱的精準(zhǔn)定位。

3.4 視覺檢測(cè)

視覺檢測(cè)方面，目前有單目視覺系統(tǒng)和雙目視覺系統(tǒng)可以選擇。

(1)單目視覺系統(tǒng)。單目視覺系統(tǒng)具有設(shè)備裝置簡(jiǎn)單、安裝維護(hù)便捷、適用性好等特點(diǎn)。其視覺定位只需1臺(tái)相機(jī)即可完成，不存在雙目視覺系統(tǒng)中2臺(tái)相機(jī)特征點(diǎn)和距離選取的問題，可以很好地完成目標(biāo)位置標(biāo)定、機(jī)械手臂監(jiān)測(cè)等工作，已經(jīng)逐漸運(yùn)用在工業(yè)領(lǐng)域的各個(gè)方面[4]。

單目視覺系統(tǒng)定位分為單幀和多幀，針對(duì)碼頭鎖銷的情況，選擇多幀定位進(jìn)行討論。多幀定位是指相機(jī)在移動(dòng)過程中采集同一環(huán)境下不同時(shí)間點(diǎn)的多幀圖像，通過被采集圖像之間的像素位置差來進(jìn)行定位。其中，關(guān)鍵是進(jìn)行圖像間的對(duì)應(yīng)特征信息匹配和比對(duì)處理。

雙幀定位中，往往利用提前標(biāo)定好的相機(jī)在移動(dòng)過程中進(jìn)行圖像采集，由雙幀圖像之間的投影計(jì)算出匹配點(diǎn)對(duì)應(yīng)的基本矩陣，然后根據(jù)本質(zhì)矩陣和基本矩陣的換算關(guān)系計(jì)算出本質(zhì)矩陣，分析得到單目相機(jī)的旋轉(zhuǎn)和平移參數(shù)，最后轉(zhuǎn)換坐標(biāo)系得到目標(biāo)物的三維特征信息。對(duì)比立體視覺定位方法，可以對(duì)基本矩陣進(jìn)行迭代運(yùn)算，并根據(jù)RANSAC算法進(jìn)行魯棒性評(píng)估，獲取相機(jī)移動(dòng)的距離和圖像投影之間的8對(duì)匹配點(diǎn)，同時(shí)采集多份周圍環(huán)境的特征信息，這樣可以有效提高定位精度，但是局限性也會(huì)明顯變大[5]。尺度不變特征變換算法(SIFT)可以實(shí)現(xiàn)尺度和旋轉(zhuǎn)的不變性，不存在采集到的圖像對(duì)應(yīng)點(diǎn)匹配問題。不過該算法同樣需要先采集圖像特征信息，然后計(jì)算出三維特征信息，且其采集圖像的頻率較低，不適用于需要相機(jī)快速移動(dòng)的設(shè)備[6-7]。

此外，可以利用圖像之間的灰度信息拼接技術(shù)匹配圖像。相機(jī)進(jìn)行多次平移和旋轉(zhuǎn)，采集具有多個(gè)匹配特征點(diǎn)的圖像，通過對(duì)比特征點(diǎn)的變化實(shí)現(xiàn)相機(jī)定位。其中，拼接技術(shù)的關(guān)鍵是通過相機(jī)平移和旋轉(zhuǎn)的仿射變換推算出圖像之間的特征點(diǎn)變化關(guān)系。實(shí)驗(yàn)證明，該方法可基本實(shí)現(xiàn)相機(jī)定位，但實(shí)際應(yīng)用中，往往無法獲取相機(jī)光心和目標(biāo)物之間的距離，只能計(jì)算得出相機(jī)的運(yùn)動(dòng)方向和相機(jī)的旋轉(zhuǎn)角度，無法計(jì)算出相機(jī)準(zhǔn)確的位移量[8]。

(2)雙目視覺系統(tǒng)。雙目視覺系統(tǒng)屬于立體視覺，是基于視差原理進(jìn)行三維信息的測(cè)量，如圖3所示，相機(jī)的焦距為f，2臺(tái)相機(jī)投影中心的連線距離為基線距B。

圖3 雙目視覺系統(tǒng)原理圖

假設(shè)2臺(tái)相機(jī)分別布置在目標(biāo)物偏左和偏右的2個(gè)方向上，在同一時(shí)間點(diǎn)對(duì)物體的特征點(diǎn)P(xc，yc，zc)進(jìn)行采集，各自采集到包含點(diǎn)P的圖像。設(shè)2臺(tái)相機(jī)采集到的特征點(diǎn)P坐標(biāo)分別為Pleft=(Xleft，Yleft)，Pright=(Xright，Yright)。

因?yàn)?臺(tái)相機(jī)所采集的圖像屬于同一平面，故特征點(diǎn)P的坐標(biāo)Y坐標(biāo)應(yīng)相同，即Yleft=Yright=Y，由三角幾何關(guān)系可以得出：

(1)

則2臺(tái)相機(jī)視差為：Disparity=Xleft-Xright。由此得到出特征點(diǎn)P在相機(jī)坐標(biāo)系下的三維坐標(biāo)為：

(2)

因此，對(duì)于右側(cè)相機(jī)圖像平面上的任意一點(diǎn)，只需在左側(cè)相機(jī)圖像平面上找到對(duì)應(yīng)的匹配點(diǎn)，就能夠確定其三維坐標(biāo)。該方法是單純的點(diǎn)對(duì)點(diǎn)運(yùn)算，對(duì)于圖像平面上所有的點(diǎn)，只需要找到2臺(tái)相機(jī)上對(duì)應(yīng)的1對(duì)匹配點(diǎn)，就能夠由該方法計(jì)算出其三維坐標(biāo)[9]。

雙目視覺系統(tǒng)的工作步驟如下：

(1)圖像采集。雙臺(tái)相機(jī)布置在同一直線上或者同一平面上或者成三維立體分布，進(jìn)行圖像采集。

(2)相機(jī)標(biāo)定。推算特征點(diǎn)在相機(jī)坐標(biāo)系和空間坐標(biāo)系中的轉(zhuǎn)換關(guān)系，涉及到相機(jī)內(nèi)部的幾何和光學(xué)參數(shù)。

(3)圖像預(yù)處理和特征提取。圖像預(yù)處理主要是進(jìn)行圖像亮度和對(duì)比度的調(diào)整，以及信噪比的增大；特征提取主要包括點(diǎn)狀特征、線狀特征和區(qū)域特征提取。

(4)三維坐標(biāo)確定。通過對(duì)特征點(diǎn)的計(jì)算，建立不同圖像平面中特征點(diǎn)的對(duì)應(yīng)關(guān)系，確定特征點(diǎn)的三維坐標(biāo)。主要包括4個(gè)步驟：①在2個(gè)圖像平面中任選一個(gè)圖像平面，選擇某一需要被觀察的特征點(diǎn)；②在另外一個(gè)圖像平面中確定該特征點(diǎn)的對(duì)應(yīng)位置坐標(biāo)；③對(duì)比2個(gè)圖像平面上特征點(diǎn)的坐標(biāo)，計(jì)算得出視差；④確定該特征點(diǎn)的三維坐標(biāo)。

(5)恢復(fù)三維場(chǎng)景信息。在計(jì)算出特征點(diǎn)的三維坐標(biāo)后，進(jìn)行圖像深度確定，恢復(fù)實(shí)際三維場(chǎng)景信息。

4 結(jié)語

視覺定位系統(tǒng)的選擇需滿足對(duì)目標(biāo)物(鎖銷)的位置進(jìn)行判斷和測(cè)量的精度要求，能夠提供準(zhǔn)確的信息，以便完成鎖銷的拆卸和安裝工作。視覺定位系統(tǒng)的選擇應(yīng)具備對(duì)鎖銷的種類進(jìn)行辨別的功能，保證鎖銷和夾具的匹配，避免外界提供鎖銷種類信息錯(cuò)誤而損壞夾具，并且對(duì)鎖銷種類的辨別功能還應(yīng)具有擴(kuò)展性，以便適應(yīng)新的鎖銷種類。具體使用單目視覺系統(tǒng)還是雙目視覺系統(tǒng)，需要結(jié)合碼頭現(xiàn)場(chǎng)的實(shí)際情況做進(jìn)一步的選擇研究。