基于機(jī)器視覺的臂架式起重機(jī)極限承載性能檢測(cè)方法

曹旭陽,李 強(qiáng),張則寶,唐旭揚(yáng)

(大連理工大學(xué)機(jī)械工程學(xué)院,遼寧大連 116023)

0 引言

流動(dòng)式臂架起重機(jī)械依據(jù)標(biāo)準(zhǔn)GB0624-09進(jìn)行承載性能檢測(cè),檢測(cè)是通過吊載固定砝碼的形式進(jìn)行,這種方法需要人工配湊砝碼,試驗(yàn)效率低[1-2]。受砝碼的形制所限,檢測(cè)中載荷施加不連續(xù),無法獲得精確的極限穩(wěn)定載荷,且柔性臂架受極限載荷作用變形明顯,臂頭的偏移極易出現(xiàn)歪拉斜吊現(xiàn)象,致使砝碼離地瞬間引起力矩突變,造成失穩(wěn)傾翻和人員傷亡等嚴(yán)重后果。隨著傳感信息技術(shù)的不斷發(fā)展,研發(fā)新的起重機(jī)承載能力檢測(cè)設(shè)備,滿足精準(zhǔn)、安全和高效的檢測(cè)要求,已成為起重機(jī)制造和檢驗(yàn)單位的共識(shí)。

國(guó)內(nèi)外學(xué)者在起重機(jī)的智能化檢測(cè)方面已積累了相關(guān)的研究基礎(chǔ),文獻(xiàn)[3]利用無人機(jī)搭載相機(jī),對(duì)集裝箱碼頭起重機(jī)吊著軌道的位置進(jìn)行視覺檢測(cè)。鄭祥盤等[4]利用機(jī)器視覺對(duì)起重機(jī)的金屬結(jié)構(gòu)缺陷進(jìn)行檢測(cè),運(yùn)用深度卷積神經(jīng)網(wǎng)絡(luò)算法,實(shí)現(xiàn)了對(duì)起重機(jī)設(shè)備的機(jī)械磨損、裂紋、腐蝕等缺陷的檢測(cè),具有較好的準(zhǔn)確性和魯棒性。李哲威[5]針對(duì)原有橋式起重機(jī)主梁檢測(cè)方法存在安全隱患、操作復(fù)雜和成本高的不足,利用視覺檢測(cè)技術(shù),測(cè)量橋式起重機(jī)主梁的變形,測(cè)量精度達(dá)到mm級(jí)。

本文提出一種新的流動(dòng)式臂架起重機(jī)械承載性能檢測(cè)方法,通過吊載一輛隨動(dòng)車體來替代傳統(tǒng)實(shí)驗(yàn)吊載的砝碼。針對(duì)檢測(cè)環(huán)境光照變化的不確定性,提出了較好的適應(yīng)性解決方法,經(jīng)過模擬實(shí)驗(yàn),驗(yàn)證了視覺定位在跟蹤移動(dòng)過程中的穩(wěn)定性,視覺傳感器定位在新的檢測(cè)方案中具有可行性。

1 一種臂架起重機(jī)承載性能檢測(cè)方法

傳統(tǒng)吊載砝碼的承載性能檢測(cè)如圖1所示。

圖1 傳統(tǒng)的承載性能檢測(cè)

新的極限承載檢測(cè)方法能夠?qū)崿F(xiàn)連續(xù)精準(zhǔn)的垂直加載,模擬重物被吊起的過程,可以修正歪拉斜吊,確保試驗(yàn)安全高效進(jìn)行。如圖2所示,該檢測(cè)設(shè)備主要包括加載系統(tǒng)、隨動(dòng)車體和定位系統(tǒng)3個(gè)部分。

圖2 新的承載性能檢測(cè)方法

加載系統(tǒng)作為加載裝置,主要包括液壓系統(tǒng)和定制垂直油缸2部分,通過控制液壓系統(tǒng),模擬重物被吊起的過程,實(shí)現(xiàn)連續(xù)精準(zhǔn)的加載。

隨動(dòng)車體由麥克納姆輪及其傳動(dòng)控制系統(tǒng)、帶標(biāo)準(zhǔn)砝碼的車體框架組成,通過實(shí)時(shí)獲取臂頭位置信息,隨動(dòng)車體在地面實(shí)現(xiàn)全向移動(dòng),修正因臂架變形造成的歪拉斜吊現(xiàn)象。

定位系統(tǒng)由單目相機(jī)和激光測(cè)距傳感器組成,將定位裝置安裝在臂頭位置,用于獲取臂架受力變形后臂頭與檢測(cè)車的相對(duì)位置變化信息,將視覺定位作為先導(dǎo),激光定位補(bǔ)償視覺定位的誤差,控制隨動(dòng)車體運(yùn)動(dòng)到臂頭正下方,保證吊載力垂直。

2 視覺定位方案

2.1 基于圓形特征單目視覺定位方案的設(shè)計(jì)

隨動(dòng)車體本身缺少合適的定位特征,因此需要添加人工視覺定位特征進(jìn)行定位,如圖3所示。定位特征的選取是視覺定位的關(guān)鍵,直接關(guān)系到定位的結(jié)果,它的設(shè)計(jì)需要考慮形狀、數(shù)量和顏色等因素[6]。圓形特征垂直時(shí)的投影為一個(gè)圓形,其他不同方向的投影為一個(gè)橢圓,使用橢圓的方程進(jìn)行擬合,這種表示方式比較簡(jiǎn)單便捷。通過定位單個(gè)特定顏色的標(biāo)準(zhǔn)圓,來確定隨動(dòng)車體在二維水平地面上的位置。通過圖像處理,提取標(biāo)記邊緣的輪廓的像素坐標(biāo)信息,對(duì)這些像素坐標(biāo)信息進(jìn)行擬合,得到輪廓中心點(diǎn)的坐標(biāo),完成視覺傳感器定位計(jì)算。

圖3 隨動(dòng)車體定位標(biāo)記示意圖

首先,設(shè)橢圓的數(shù)學(xué)代數(shù)表達(dá)為

Ax2+Bxy+Cy2+Dx+Ey+F=0

(1)

在成像過程中,標(biāo)記輪廓的點(diǎn)(xi,yi)不會(huì)完全落在橢圓輪廓曲線上,所以,設(shè)輪廓成像點(diǎn)(xi,yi)到擬合橢圓曲線的誤差εi為

(2)

根據(jù)最小二乘法的原理,求解所有點(diǎn)到擬合橢圓曲線的平方和φ,并對(duì)φ求取最小值,求解得到系數(shù)A、B、C、D、E、F的數(shù)值,完成對(duì)擬合橢圓的求解,φ為最小值時(shí),其偏導(dǎo)數(shù)為0,可以得到以下方程:

(3)

(4)

建立橢圓的幾何參數(shù)模型,如圖4所示。表達(dá)式為

圖4 橢圓幾何參數(shù)模型

(5)

式中:(xo,yo)為橢圓的圓心坐標(biāo);a、b為長(zhǎng)軸和短軸半徑;θ為長(zhǎng)軸的轉(zhuǎn)角。

將式(5)展開,與橢圓的數(shù)學(xué)代數(shù)表達(dá)式進(jìn)行比較,可以得到兩個(gè)等式參數(shù)的轉(zhuǎn)化關(guān)系,其中圓心的坐標(biāo)為

(6)

2.2 基于自適應(yīng)閾值和全局色調(diào)映射的圖像分割方法

流動(dòng)式起重機(jī)械在戶外進(jìn)行承載穩(wěn)定性檢測(cè)時(shí),環(huán)境的光照變化較大,這對(duì)圖像的分割有著嚴(yán)重的干擾,不利于標(biāo)記輪廓的擬合,影響單目視覺的定位,需要一種魯棒性較好的圖像分割方法。

閾值分割是目前應(yīng)用最廣泛的一種圖像分割方法,其中固定閾值進(jìn)行分割無法適應(yīng)光照的變化,需要采用動(dòng)態(tài)閾值分割的方法消除或減弱光照的影響,根據(jù)灰度頻率找尋合適的閾值進(jìn)行分割。

在不同光照并且亮度分布不均條件下,對(duì)隨動(dòng)車體模型的藍(lán)色視覺定位標(biāo)記進(jìn)行圖像采集,如圖5所示,圖片第一行從左至右對(duì)應(yīng)光照很弱、較弱、一般狀況下采集的定位標(biāo)記圖像,圖片第二行從左到右對(duì)應(yīng)光照較強(qiáng)和很強(qiáng)兩種狀況采集的定位標(biāo)記圖像。從圖5可以看出,采集的圖像質(zhì)量不相同,這也使圖像分割算法具有更多的不確定性。

圖5 不同亮度下的拍攝結(jié)果

在圖像進(jìn)行分割前,對(duì)相機(jī)采集的圖像進(jìn)行顏色提取,將與標(biāo)記顏色不相同的區(qū)域進(jìn)行抑制,去除其他顏色噪聲的干擾,提取標(biāo)記的顏色元素有利于后續(xù)的圖像處理和分析[7]。對(duì)圖像進(jìn)行動(dòng)態(tài)閾值分割,分割的圖像如圖6所示。

圖6 動(dòng)態(tài)閾值分割處理的結(jié)果

從圖6可以看出,標(biāo)記周圍存在許多干擾點(diǎn),與標(biāo)記顏色不相同的區(qū)域未得到充分的抑制,導(dǎo)致錯(cuò)誤分割,這樣對(duì)特征輪廓的提取會(huì)造成不利的影響。在光照較強(qiáng)、很強(qiáng)和很弱情況下,標(biāo)記周圍的噪聲較多,但在光照較弱和一般情況下,噪聲較少,所以可以改進(jìn)圖像分割的算法,均化增強(qiáng)圖像,調(diào)整采集的圖像亮度值,改善圖像分割的效果[8]。

普通的動(dòng)態(tài)閾值分割在本試驗(yàn)場(chǎng)景的標(biāo)記識(shí)別中具有一定的局限性,不能較好地完成圖像分割任務(wù),因此本文基于光照變化大、亮度分布不均的情況,提出了一種基于自適應(yīng)閾值和全局色調(diào)映射的圖像分割方法。首先要根據(jù)當(dāng)前的場(chǎng)景推算出場(chǎng)景的平均亮度,根據(jù)計(jì)算的平均亮度選取一個(gè)合適的亮度域,再將整個(gè)場(chǎng)景映射到這個(gè)亮度域得到增強(qiáng)后的圖像結(jié)果。

使用log-average亮度作為場(chǎng)景的平均亮度[9-10],通過式(7)可以計(jì)算得到:

(7)

再利用圖像的全局映射函數(shù)對(duì)圖像中的每個(gè)像素的亮度值進(jìn)行映射,其表達(dá)式為

(8)

式中:Lg(x,y)為全局適應(yīng)性輸出量;Lw(x,y)為世界亮度;Lwmax(x,y)為輸入的世界亮度最大值。

在全局色調(diào)映射的基礎(chǔ)上,采用動(dòng)態(tài)閾值對(duì)圖像進(jìn)行分割,保留其對(duì)不同強(qiáng)度光照分割的適應(yīng)性,視覺標(biāo)記的分割狀況如圖7所示,在不同光照的情況下,這種方法具有較好的魯棒性。

圖7 基于自適應(yīng)閾值和全局色調(diào)映射的圖像分割方法

圖像分割后,利用Canny對(duì)分割的圖像進(jìn)行邊緣提取[11],獲取輪廓的坐標(biāo)進(jìn)行橢圓擬合,完成視覺定位,如圖8所示,將定位獲得的中心坐標(biāo)用于隨動(dòng)車體的移動(dòng)控制。

2.3 方位分析

獲取擬合輪廓的圓心坐標(biāo)(u,v)后,需要對(duì)隨動(dòng)車體進(jìn)行方位分析,分析其與起重機(jī)臂頭之間的水平距離和方向關(guān)系,為隨動(dòng)車體在地面的移動(dòng)提供決策依據(jù)。圖9為定位裝置與隨動(dòng)車體的空間位置關(guān)系,其中四邊形ABCD為定位裝置的視覺視野范圍,O′為定位器所在的空間位置,O為視覺視野范圍的中心,E為視覺標(biāo)記的中心。

圖9 定位裝置與定位標(biāo)記中心的空間位置關(guān)系

兩個(gè)坐標(biāo)系對(duì)應(yīng)的映射關(guān)系為

(9)

3 實(shí)驗(yàn)分析

首先對(duì)視覺傳感器的測(cè)量定位誤差進(jìn)行評(píng)估,評(píng)估結(jié)果可為后續(xù)視覺定位實(shí)驗(yàn)誤差提供參考。對(duì)圖10中的已知長(zhǎng)度的線段AB進(jìn)行視覺定位測(cè)量,其像素坐標(biāo)為(341.5,212.5)、(340.5,300.5),通過坐標(biāo)變換計(jì)算兩點(diǎn)世界坐標(biāo)系下的距離為128.6 mm,其真實(shí)長(zhǎng)度132 mm,定位測(cè)量的誤差為2.58%。

圖10 線段AB實(shí)際測(cè)量結(jié)果

為了進(jìn)行隨動(dòng)車體跟隨臂頭運(yùn)動(dòng)的實(shí)驗(yàn),搭建實(shí)驗(yàn)架和隨動(dòng)車體模型,如圖11所示,定位裝置固定在距地面1.5 m的同步帶上,選擇logitech c270i相機(jī)作為定位裝置的視覺傳感器[12],圖像畫面的像素大小為640×480,圖像畫面中心坐標(biāo)為(320,240)。

(a)隨動(dòng)車體模型

(b)視覺定位裝置圖11 視覺定位系統(tǒng)

采用上述的圖像分割方法,獲取標(biāo)記中心的像素坐標(biāo),設(shè)計(jì)2組實(shí)驗(yàn),第1組為定位裝置靜止,隨動(dòng)車體模型從方位角為α=40.43°,水平距離為515.312 mm位置向攝像頭正下方移動(dòng);第2組為利用同步帶以不同的速度帶動(dòng)定位裝置沿著直線方向勻速運(yùn)動(dòng),移動(dòng)速度為0.05～0.3 m/s,隨動(dòng)車體模型跟隨定位裝置移動(dòng),模擬因臂架變形臂頭發(fā)生移動(dòng)的過程,隨動(dòng)車體修正歪拉斜吊。

第1組實(shí)驗(yàn)結(jié)果:小車的定位誤差如表1所示。重復(fù)進(jìn)行5次移動(dòng)實(shí)驗(yàn),隨動(dòng)車體模型能夠移動(dòng)到圖像中心點(diǎn)附近,且有較好的重復(fù)定位精度,定位后的水平距離誤差為5 mm左右,根據(jù)上述的誤差評(píng)估,實(shí)驗(yàn)的定位精度較高。

表1 第1組實(shí)驗(yàn)視覺定位結(jié)果

第2組實(shí)驗(yàn)結(jié)果:在運(yùn)動(dòng)時(shí),標(biāo)記中心相距于圖像畫面中心在像素坐標(biāo)系下u和v坐標(biāo)值的變化,如圖12所示。

(a)速度為0.05、0.10和0.15 m/s的曲線結(jié)果

(b)速度為0.20、0.25和0.3 m/s的曲線結(jié)果圖12 第2組實(shí)驗(yàn)標(biāo)記中心的像素坐標(biāo)變化曲線圖

從圖12可以看出,運(yùn)動(dòng)時(shí),隨著移動(dòng)速度增大,定位標(biāo)記中心點(diǎn)偏離圖像中心的位移逐漸增大,偏離的最大位移在60像素左右;在攝像頭靜止后,像素值能夠較好地穩(wěn)定在圖像中心附近,實(shí)現(xiàn)對(duì)定位裝置的有效跟隨移動(dòng)。

2組實(shí)驗(yàn)驗(yàn)證了利用視覺檢測(cè)技術(shù)可以對(duì)隨動(dòng)車體實(shí)驗(yàn)?zāi)Ｐ偷倪\(yùn)動(dòng)進(jìn)行控制。相機(jī)運(yùn)動(dòng)時(shí),模型能夠跟隨定位裝置進(jìn)行移動(dòng);相機(jī)靜止后,模型能夠停在攝像頭的正下方,具有較好的重復(fù)定位性。

4 結(jié)束語

本文提出了一種新的流動(dòng)式臂架起重機(jī)械承載性能檢測(cè)方法,并對(duì)其利用視覺傳感器定位的方案進(jìn)行了研究,設(shè)計(jì)了一種藍(lán)色、圓形定位標(biāo)記,利用視覺傳感器獲取標(biāo)記圖像,對(duì)采集的圖像進(jìn)行全局色調(diào)映射處理,調(diào)整了圖像的亮度值,通過提取標(biāo)記顏色和動(dòng)態(tài)閾值分割,較好地識(shí)別出標(biāo)記的輪廓并進(jìn)行擬合,獲取中心坐標(biāo),利用坐標(biāo)系變換關(guān)系,測(cè)算出標(biāo)記與定位裝置的水平距離和方位,為隨動(dòng)車體的運(yùn)動(dòng)決策提供依據(jù)。這種視覺定位方法能夠在光照變化大、亮度分布不均情況下,穩(wěn)定地對(duì)圖像進(jìn)行分割。隨動(dòng)車體模型根據(jù)視覺定位信息,能夠?qū)Χㄎ谎b置進(jìn)行有效的跟隨移動(dòng),且實(shí)驗(yàn)?zāi)Ｐ途_地停在攝像頭正下方,驗(yàn)證了新的起重機(jī)承載性能檢測(cè)方法具有較高的可行性。