基于機(jī)器視覺的智能起重機(jī)系統(tǒng)應(yīng)用研究*

馬晶磊 姜永磊

江蘇省特種設(shè)備安全監(jiān)督檢驗(yàn)研究院 南京 210036

0 引言

起重機(jī)承擔(dān)著搬運(yùn)、抓取物料的作用，現(xiàn)有的大多數(shù)起重機(jī)為人工操作，對(duì)位的精準(zhǔn)度操作難度在于控制如何準(zhǔn)確地對(duì)準(zhǔn)目標(biāo)吊具及吊載物品。具體而言，在于準(zhǔn)確判斷相關(guān)物體之間的相對(duì)位置關(guān)系，以及判斷起重機(jī)吊具和負(fù)載的運(yùn)動(dòng)狀態(tài)，并在適當(dāng)?shù)臅r(shí)機(jī)采取正確的操作。針對(duì)此問題，國(guó)內(nèi)外的起重機(jī)制造企業(yè)一直致力于起重機(jī)自動(dòng)化運(yùn)行技術(shù)的研發(fā)工作。傳統(tǒng)起重機(jī)的自動(dòng)定位技術(shù)主要依賴于傳感部件，例如常見的限位開關(guān)和編碼器，國(guó)外某公司則偏向于使用激光、紅外線來實(shí)現(xiàn)定位功能，以檢測(cè)起重機(jī)是否到達(dá)目標(biāo)位置。此外，通過PLC 系統(tǒng)和模糊PID 算法控制變頻電動(dòng)機(jī)的運(yùn)轉(zhuǎn)，以實(shí)現(xiàn)精準(zhǔn)的起重操作[1，2]。采用該方法獲取控制數(shù)據(jù)信號(hào)存在以下缺點(diǎn)：一是起重機(jī)運(yùn)行環(huán)境大多比較惡劣，傳感器的安全性和使用壽命往往得不到保障；二是該方法無法獲取使用現(xiàn)場(chǎng)的運(yùn)行數(shù)據(jù)，無法實(shí)現(xiàn)起重機(jī)遠(yuǎn)程監(jiān)控以及對(duì)運(yùn)行誤差做進(jìn)一步的修正。

近年來，隨著智能機(jī)器視覺識(shí)別技術(shù)的迅速發(fā)展，其在起重機(jī)領(lǐng)域發(fā)揮著推動(dòng)作用。非接觸式的視頻識(shí)別，無論起重機(jī)的工作環(huán)境如何變化，機(jī)器視覺系統(tǒng)都能夠完美適應(yīng)并實(shí)時(shí)提供數(shù)據(jù)監(jiān)控。尤其是在一些特殊使用環(huán)境的起重機(jī)，其運(yùn)行過程中的定位準(zhǔn)確性與穩(wěn)定性是起重機(jī)工作運(yùn)行的重要考慮因素。

1 系統(tǒng)研究方案

本方案意在通過機(jī)器視覺系統(tǒng)測(cè)量獲取工作場(chǎng)景，對(duì)工作場(chǎng)景進(jìn)行數(shù)據(jù)建立，系統(tǒng)框架圖如圖1 所示。通過圖像傳感器（Charge Coupled Device，CCD）雙目工業(yè)相機(jī)系統(tǒng)利用視野內(nèi)的場(chǎng)景圖像信息作為輸入，然后采用高性能處理技術(shù)進(jìn)行分析和處理。工控機(jī)（Industrial Personal Computer，IPC）處理圖像單元，工業(yè)相機(jī)的參數(shù)主要包括匹配算法選擇和匹配閾值設(shè)置，利用GigE 接口獲取CCD 相機(jī)所拍攝的物料圖像數(shù)據(jù)。采用優(yōu)化算法進(jìn)行起重機(jī)路徑的自動(dòng)規(guī)劃。使用Modbus 通訊協(xié)議將數(shù)據(jù)信息傳輸?shù)竭\(yùn)動(dòng)控制器，運(yùn)動(dòng)控制器根據(jù)接收到的數(shù)據(jù)決定是否啟動(dòng)吊運(yùn)功能，計(jì)算物料與吊具之間的距離，之后利用這些計(jì)算結(jié)果控制運(yùn)動(dòng)機(jī)構(gòu)。同時(shí)，物料與吊具的實(shí)時(shí)相對(duì)坐標(biāo)作為反饋量，實(shí)現(xiàn)閉環(huán)控制[3]。

圖1 系統(tǒng)框架圖

2 選型配置

本文以一臺(tái)加裝了機(jī)器視覺的自動(dòng)化起重機(jī)為研究對(duì)象。選用InnoVision 品牌的IN-L1005 型相機(jī)，特點(diǎn)在于500 萬像素級(jí)CCD 攝像頭，高動(dòng)態(tài)范圍(High Dynamic Range，HDR) 模式可捕獲高對(duì)比度場(chǎng)景，并提供軟件開發(fā)工具包（Software Development Kit，SDK），支持C++和C#語言編寫；起重機(jī)的大小車驅(qū)動(dòng)機(jī)構(gòu)分別采用Yakawa 公司的∑系列電動(dòng)機(jī)，起重用多功能CH700 變頻器，能在電源頻率的1.5 個(gè)周期（0.025 s）以內(nèi)進(jìn)行啟動(dòng)、暫停和反轉(zhuǎn)。網(wǎng)絡(luò)攝像機(jī)（IP Camera，IPC）是為滿足高速、高功能需求而設(shè)計(jì)的，其可以分析從采集回來的數(shù)據(jù)圖像中得到的大量像素，故選擇Intel7 處理器、4 T 硬盤、獨(dú)立顯卡等配置。

3 機(jī)器視覺定位原理

為了準(zhǔn)確恢復(fù)真實(shí)空間的參數(shù)信息，需要選擇與平面參數(shù)和成像坐標(biāo)系相匹配的圖形算法函數(shù)，以便在基于圖像獲取和數(shù)字信號(hào)之間轉(zhuǎn)化的原理下獲得高精度的目標(biāo)位姿參數(shù)[4]。

3.1 坐標(biāo)系群

如圖2 和圖3 所示，在相機(jī)模型中，小孔成像模型和雙目相機(jī)模型的組成起著重要作用。若假設(shè)空間中有一個(gè)點(diǎn)P（XC，YC，ZC），則該點(diǎn)在左右相機(jī)的投影平面上的Pl和Pr是2 個(gè)投影，通過分析由2 條射線OlPl和OrPr形成的交點(diǎn)確定P點(diǎn)的位置并獲取深度信息。在使用雙目相機(jī)時(shí)，相機(jī)通常不會(huì)完全保持正對(duì)目標(biāo)，而是存在一定程度的旋轉(zhuǎn)和平移關(guān)系，故使用平移向量T和旋轉(zhuǎn)矩陣R可以相互聯(lián)系修正相機(jī)的偏差[5]。

圖3 雙目相機(jī)模型

由于人為誤差，芯片中心點(diǎn)通常偏離光軸，同時(shí)成像設(shè)備的像素形狀也由正方形變成矩形，需要引入新的參數(shù)Cx和Cv，以基于小孔成像原理實(shí)現(xiàn)更精確的成像，對(duì)屏幕投影坐標(biāo)中心點(diǎn)發(fā)生的預(yù)估偏移進(jìn)行建模。假設(shè)P點(diǎn)的坐標(biāo)為(X，Y，Z)，利用式(1)將該點(diǎn)的圖像投射到設(shè)備指定像素的位置(xs，ys)。

透過透鏡將光線彎曲，當(dāng)光線匯聚到投影點(diǎn)上時(shí)，由于透鏡形狀和加工工藝等因素的影響，會(huì)產(chǎn)生徑向畸變，導(dǎo)致離透鏡中心越遠(yuǎn)的光線曲率越大，靠近透鏡邊緣的光線畸變?cè)絿?yán)重。雖然畸變較小，但可以使用泰勒級(jí)數(shù)展開前幾項(xiàng)描述r＝0 周圍的畸變，并根據(jù)式(2)來調(diào)整成像設(shè)備上某點(diǎn)的徑向位置。切向畸變由透鏡和可讀寫的RAM 芯片（Complementary Metal Oxide Semiconductor，CMOS ）（或CCD）的安裝誤差引起，可使用2 個(gè)額外參數(shù)進(jìn)行調(diào)整。

假設(shè)xOy為圖像物理坐標(biāo)系，坐標(biāo)原點(diǎn)O，在像素圖像坐標(biāo)系x1O1y1中的坐標(biāo)為(cx，cy)，得出dx、dy分別為像素在坐標(biāo)軸上所定義的物理尺寸(mm/px)，故圖像中任意一個(gè)像素點(diǎn)轉(zhuǎn)換關(guān)系在坐標(biāo)系中體現(xiàn)為

齊次坐標(biāo)形式為

假設(shè)在空間中存在一個(gè)點(diǎn)P，其在Oc-XcYcZc雙目相機(jī)坐標(biāo)系中的坐標(biāo)點(diǎn)是(Xc，Yc，Zc)，而其在圖像上的物理坐標(biāo)是(x，y)。通過小孔成像模型，可以推算出這個(gè)結(jié)果，即

齊次坐標(biāo)形式為

將式（7）帶入式（5）中，其中K為相機(jī)內(nèi)參數(shù)矩陣，有效焦距fx和fy分別為相機(jī)焦距f除以像素大小dx和dy，分別為水平方向和垂直方向上的比值。

4 行車運(yùn)行路徑規(guī)劃

4.1 運(yùn)動(dòng)矢量計(jì)算

如圖4 所示，由于物料存儲(chǔ)在一個(gè)頂端未密封的核廢料平臺(tái)，上方?jīng)]有障礙物的存在，故需對(duì)大小車運(yùn)動(dòng)速度進(jìn)行合理給定。本文以物料在倉庫大門處的位置的坐標(biāo)為基準(zhǔn)點(diǎn)對(duì)大小車及吊具的運(yùn)行距離進(jìn)行計(jì)算[6]。

圖4 核廢料平臺(tái)

根據(jù)實(shí)際情況，整個(gè)核廢料區(qū)劃分成若干個(gè)正方形存儲(chǔ)小區(qū)，分別用1 號(hào)、2 號(hào)、…、N號(hào)表示。選取其中一塊區(qū)域進(jìn)行分析，每小格區(qū)域最多可存放5 行5 列3 層共75 個(gè)物料，將該區(qū)劃分為25 個(gè)小正方形，每個(gè)小正方形代表核廢料的一個(gè)固定存儲(chǔ)位置。為了便于存儲(chǔ)以及管理操作，分別對(duì)每個(gè)存儲(chǔ)位置進(jìn)行編號(hào)，按照從下往上、從外向內(nèi)、從左往右的順序，如圖5 所示。

圖5 核廢料存儲(chǔ)示意圖

選取任意一個(gè)存儲(chǔ)位置N，則其對(duì)應(yīng)所處的列數(shù)、行數(shù)、層數(shù)分別用x、y、z表示，轉(zhuǎn)化關(guān)系如下：

若mod(N，25)=0，則有

若mod(N，25)≠0 且mod[mod(N，25)，5]=0，則有

若mod(N，16)≠0 且mod[mod(N，16)，4]≠0，則有

在平臺(tái)內(nèi)行車自動(dòng)運(yùn)行控制算法的設(shè)計(jì)中，需要使用取整操作Int 和取余操作Mod。對(duì)于1 號(hào)區(qū)域而言，已知核廢料料桶目標(biāo)存儲(chǔ)位置序號(hào)為j且合法，其實(shí)際坐標(biāo)為（m1，n1，l1）。根據(jù)給定的公式，可以計(jì)算出其對(duì)應(yīng)的實(shí)際坐標(biāo)（mj，nj，lj）為

式中：a為劃分的核廢料桶存儲(chǔ)區(qū)域的小正方形邊長(zhǎng)，b為桶的高度，xj、yj、zj分別為由給定式（8）～式（10）推導(dǎo)出的j號(hào)位置核廢料桶所在的列數(shù)、行數(shù)以及層數(shù)。

另外，還需要知道在平臺(tái)入口位置處固料桶的坐標(biāo)為（m0，n0，l0），以便計(jì)算行車的小車在倉庫中的運(yùn)行距離Δm，大車運(yùn)行距離Δn以及吊鉤運(yùn)行距離Δl，即

根據(jù)大車運(yùn)行距離Δn以及小車運(yùn)行距離Δm的數(shù)值，為提高效率，大小車同時(shí)向選定目標(biāo)運(yùn)動(dòng)，將核廢料桶運(yùn)送至指定位置上方，然后下降吊鉤Δl將其擺放到目標(biāo)位置處。其他2 區(qū)域～25 區(qū)域的擺放工作原理與1 區(qū)域一致，只需標(biāo)定1 號(hào)存儲(chǔ)位置的實(shí)際坐標(biāo)即可實(shí)現(xiàn)對(duì)整塊平臺(tái)其他區(qū)域的定位。

4.2 雙目相機(jī)數(shù)據(jù)采集

4.2.1 圖像采集總體方案

圖像識(shí)別與測(cè)距是機(jī)器視覺起重機(jī)系統(tǒng)研究數(shù)據(jù)處理模塊的重要組成部分，該功能基于OpenCV 視覺處理算法實(shí)現(xiàn)，主要功能為：1）提取特征，圖像處理；2）識(shí)別目標(biāo)點(diǎn)；3）加載推理相機(jī)中心與目標(biāo)區(qū)域的直線距離，模塊的工作流程如圖6 所示。

圖6 雙目相機(jī)工作流程圖

其中第1 個(gè)判斷框表示在相機(jī)視野中是否出現(xiàn)目標(biāo)點(diǎn)，以此來判斷后續(xù)動(dòng)作，系統(tǒng)會(huì)提示起重機(jī)大小車電動(dòng)機(jī)繼續(xù)運(yùn)行，直至移動(dòng)到目標(biāo)點(diǎn)進(jìn)入雙目相機(jī)視野中。第2 個(gè)判斷框表示系統(tǒng)會(huì)通過調(diào)整位置跟蹤目標(biāo)點(diǎn)，使核廢料桶位于相機(jī)的視野中心，以達(dá)到提高測(cè)距精度的目的。

4.2.2 相機(jī)標(biāo)定

一般情況下，相機(jī)標(biāo)定需要使用一個(gè)標(biāo)定參照物，本文選用棋盤紙（見圖7），將其放置在相機(jī)視野范圍內(nèi)并進(jìn)行圖像特征提取。本文使用Matlab 中的Calib _Toolbox 對(duì)相機(jī)進(jìn)行標(biāo)定，該方法是通過在雙目相機(jī)獲取的圖像，利用局部檢測(cè)窗口提取特定區(qū)域的亮度、色彩、紋理或輪廓等特征點(diǎn)。具體而言，通過觀察窗口在各個(gè)方向微小移動(dòng)時(shí)的平均能量變化，并在能量變化值超過設(shè)定閾值時(shí)將窗口中心像素點(diǎn)提取為角點(diǎn)[7]。角點(diǎn)即為黑、白方格之間的交接點(diǎn)，圖7 有9×12 個(gè)角點(diǎn)。具體步驟為：

1）使用預(yù)先設(shè)置好的OpenCV 圖像采集程序，獲取大約20 張棋盤格標(biāo)定板的圖像，這些圖像具有不同的角度和距離。將這些圖像按左右圖像進(jìn)行命名，并將其拷貝到MatlabCalib_Toolbox 文件夾之中。

2）在Matlab 中設(shè)置工作目錄為Calib_Toolbox 所在的目錄，并通過點(diǎn)擊設(shè)置路徑，添加包含文件，并選中Calib_Toolbox，來完成路徑設(shè)置。

3）對(duì)左右相機(jī)進(jìn)行標(biāo)定：打開Calib.m 文件并執(zhí)行，會(huì)彈出對(duì)話框。選擇相應(yīng)版本后，在對(duì)話框中選擇要標(biāo)定的圖像文件名稱和左右相機(jī)的圖像文件名稱，并選擇圖像格式。程序?qū)⒆詣?dòng)選擇符合命名前綴和圖像格式的圖像。選擇手動(dòng)提取角點(diǎn)，并處理所有圖像，設(shè)置窗口大小，按照從左到右、從上到下的順序依次點(diǎn)擊棋盤格子圖的4 個(gè)角點(diǎn)，并設(shè)置黑白格子的實(shí)際尺寸。完成后，處理下副圖像，直到所有圖像處理完成。在提取角點(diǎn)信息后進(jìn)行標(biāo)定，程序?qū)⒆詣?dòng)計(jì)算相機(jī)的各種參數(shù)數(shù)值。

4.2.3 相機(jī)中心點(diǎn)與目標(biāo)點(diǎn)距離計(jì)算

本文采用OpenCV 中reProjectImageTo3D()函數(shù)計(jì)算出下方區(qū)域目標(biāo)點(diǎn)與相機(jī)中心的實(shí)際距離。10 次測(cè)距的數(shù)值如表1 所示，實(shí)際距離s為380 mm。

由于雙目相機(jī)的焦距會(huì)隨著目標(biāo)物距離的變化而變化，故通過測(cè)量多組數(shù)據(jù)擬合出相機(jī)的焦距，即有

式中：B為已知2 個(gè)相機(jī)之間的基線距離，B=160 mm；x2-x1為2 幀圖像的像差；H為匹配點(diǎn)的實(shí)際景深。

通過將焦距的擬合公式代入方程組，可以結(jié)合像差測(cè)量出目標(biāo)物距離。擬合公式為fx=g（s），s為實(shí)際距離，如表2 所示。

表2 實(shí)際距離與焦距的對(duì)應(yīng)關(guān)系 mm

5 現(xiàn)場(chǎng)測(cè)試

在進(jìn)行整體功能測(cè)試前，需要先檢查工控機(jī)和工業(yè)相機(jī)與系統(tǒng)的通信接口表之間的連接是否正常。通信接口表的檢查主要是用于確認(rèn)工控機(jī)和系統(tǒng)之間的通信是否正常，信息點(diǎn)位是否正確。同時(shí)，檢查工業(yè)相機(jī)的主要目的是驗(yàn)證IP 配置是否正確，以及與系統(tǒng)的通信是否正常。

由于工控機(jī)的計(jì)算資源有限，為了達(dá)到最佳效果，對(duì)圖像分辨率按比例調(diào)整為1 200×800，并提取模板圖像。

首先在平面內(nèi)任意選定一個(gè)位置的核廢料桶，記錄其坐標(biāo)。接著啟動(dòng)起重機(jī)，保證初始位置能在工業(yè)相機(jī)鏡頭中出現(xiàn)完整核廢料桶圖像。并通過移動(dòng)大小車來改變采集位置，以便觀察實(shí)際情況。試驗(yàn)采集到多個(gè)不同位置的圖像，對(duì)每個(gè)位置的核廢料桶進(jìn)行多次試驗(yàn)運(yùn)行以驗(yàn)證其準(zhǔn)確性。經(jīng)過近1 個(gè)星期的對(duì)比試驗(yàn)，選取了部分實(shí)驗(yàn)數(shù)據(jù)列于表3 中。

表3 部分測(cè)試數(shù)據(jù)

在起重機(jī)行駛過程中，運(yùn)行方向和震動(dòng)等因素會(huì)影響工業(yè)相機(jī)的外部參數(shù)，尤其是俯仰角和方向角因素[8]。從表3 可以看出系統(tǒng)識(shí)別率達(dá)到90%以上。分析發(fā)現(xiàn)，誤差的原因主要有2 方面：一方面是外部光線影響造成誤識(shí)別或識(shí)別失??；另一個(gè)方面，當(dāng)起重機(jī)瞬間移動(dòng)時(shí)，雙目相機(jī)與目標(biāo)之間的方向角度會(huì)發(fā)生變化，從而導(dǎo)致測(cè)量值與實(shí)際值產(chǎn)生誤差。

6 結(jié)語

本文對(duì)利用物聯(lián)網(wǎng)、AI 和機(jī)器視覺技術(shù)應(yīng)用于起重機(jī)領(lǐng)域進(jìn)行了分析研究，該系統(tǒng)利用雙目相機(jī)作為輔助，充分發(fā)揮可靠性強(qiáng)、價(jià)格低廉、通信信號(hào)穩(wěn)定的特點(diǎn)，具有較大推廣價(jià)值和應(yīng)用前景，為實(shí)現(xiàn)2025 工業(yè)自動(dòng)化提供有力的技術(shù)支持，為加快起重機(jī)無人化作業(yè)進(jìn)程邁向堅(jiān)定的一步[9]。