基于機(jī)械臂的食物儲(chǔ)藏室熱缺陷檢測(cè)系統(tǒng)

馬志艷 李翱翔 段宇飛 李江華

(1. 湖北工業(yè)大學(xué)，湖北 武漢 430068；2. 湖北省農(nóng)業(yè)機(jī)械工程研究設(shè)計(jì)院，湖北 武漢 430068)

目前中國(guó)的儲(chǔ)藏室大多是由老舊倉(cāng)庫(kù)或民房改建而成， 一旦食物儲(chǔ)藏室保溫圍護(hù)出現(xiàn)結(jié)構(gòu)缺陷，室內(nèi)能耗升高引起儲(chǔ)藏的物品變質(zhì)，就會(huì)造成不同程度的經(jīng)濟(jì)損失[1-2]。

食物儲(chǔ)藏室圍護(hù)結(jié)構(gòu)中出現(xiàn)因保溫材料分布不均、受潮、材料缺失等使空氣易于滲透，這種缺陷稱(chēng)為圍護(hù)結(jié)構(gòu)的熱工缺陷[3]。中國(guó)在20世紀(jì)90年代開(kāi)始了在儲(chǔ)藏室建筑熱工缺陷方面的紅外檢測(cè)研究，相比于傳統(tǒng)的熱工缺陷檢測(cè)方法(熱箱法、熱流計(jì)法)，紅外熱成像技術(shù)在檢測(cè)過(guò)程中不會(huì)損壞被檢測(cè)的墻面且具有高精度和測(cè)溫范圍廣的優(yōu)點(diǎn)[4]。劉長(zhǎng)利[5]研究了紅外熱成像技術(shù)在建筑物圍護(hù)結(jié)構(gòu)熱工缺陷中的應(yīng)用，分析了建筑圍護(hù)結(jié)構(gòu)熱工缺陷的主要類(lèi)型，更全面地推進(jìn)紅外技術(shù)在建筑圍護(hù)結(jié)構(gòu)的檢測(cè)工作。王楊洋等[6]采用紅外輻射成像儀對(duì)目標(biāo)墻面實(shí)行檢測(cè)，通過(guò)發(fā)現(xiàn)建筑物外墻熱工缺陷所在處，以確定熱工損耗部位，對(duì)墻體的質(zhì)量進(jìn)行評(píng)價(jià)，但紅外檢測(cè)每次僅能掃描被測(cè)墻面的小部分區(qū)域，而且需要人工推動(dòng)成像儀來(lái)完成整個(gè)室內(nèi)的掃描，人的頻繁活動(dòng)不僅會(huì)干擾儲(chǔ)藏室的制冷環(huán)境，還會(huì)降低檢測(cè)的準(zhǔn)確程度。在紅外檢測(cè)探析中，中國(guó)已經(jīng)存在諸多的研究成果，但其主要集中于熱工缺陷的定性分析方面[7-9]，對(duì)保溫墻體的熱工缺陷檢測(cè)目前尚未存在整體的檢測(cè)系統(tǒng)，且人工紅外檢測(cè)效率較低，存在一定的局限性[10]，有待通過(guò)機(jī)械裝置提升其檢測(cè)效率。研究擬采用機(jī)械臂搭載熱紅外相機(jī)和履帶式行走機(jī)構(gòu)為一體的檢測(cè)機(jī)構(gòu)，對(duì)食物儲(chǔ)藏室的圍護(hù)機(jī)構(gòu)進(jìn)行熱工缺陷檢測(cè)，結(jié)合改進(jìn)的紅外圖像處理判別方法，以實(shí)現(xiàn)對(duì)墻體“缺陷”的高效、智能檢測(cè)。

1 檢測(cè)裝置結(jié)構(gòu)設(shè)計(jì)與選用

1.1 總體結(jié)構(gòu)設(shè)計(jì)

檢測(cè)裝置包括智能行走平臺(tái)和檢測(cè)系統(tǒng)兩個(gè)部分。履帶式機(jī)構(gòu)優(yōu)勢(shì)在于其支撐面積大，適合在冷庫(kù)的地面上行駛，而且履帶支撐面上有履齒，不易打滑造成小車(chē)軌跡偏移，具有較強(qiáng)的地形適應(yīng)能力。小車(chē)行走機(jī)構(gòu)由一臺(tái)步進(jìn)電機(jī)驅(qū)動(dòng)底盤(pán)的兩條履帶同時(shí)移動(dòng)，小車(chē)前端配置了兩部由電缸組成的剎車(chē)裝置，當(dāng)小車(chē)需要進(jìn)行轉(zhuǎn)彎動(dòng)作時(shí)即可通過(guò)上位機(jī)發(fā)送指令使控制小車(chē)剎車(chē)的電缸運(yùn)動(dòng)，進(jìn)而使其中一條履帶剎車(chē)抱死達(dá)到讓裝置轉(zhuǎn)彎的目的，冷庫(kù)圍護(hù)結(jié)構(gòu)檢測(cè)小車(chē)的結(jié)構(gòu)如圖1所示。

1. 熱紅外相機(jī) 2. 6軸機(jī)械臂 3. 機(jī)械臂固定平臺(tái) 4. 激光測(cè)距儀 5. 行走小車(chē) 6. 電源 7. 電控柜

1.2 機(jī)械臂最大工作空間距離指標(biāo)

在考慮機(jī)械臂的各個(gè)桿長(zhǎng)時(shí)，延長(zhǎng)不同部位的桿長(zhǎng)會(huì)影響機(jī)械臂的工作空間，而縮短機(jī)械臂的桿長(zhǎng)又會(huì)很大程度縮小工作空間。根據(jù)GB/T 12642—2013《工業(yè)機(jī)械人性能規(guī)范及其試驗(yàn)方法》對(duì)機(jī)械臂工作空間的設(shè)定，假設(shè)機(jī)械臂手腕中心到基本坐標(biāo)系原點(diǎn)的距離為X，定義P=(px,py,pz)T表示機(jī)械臂末端在基礎(chǔ)坐標(biāo)系下的位置矢量。

(1)

(2)

Rmax=Xmax-Xmin，

(3)

式中：

Xmax、Xmin——機(jī)械臂手腕中心到基坐標(biāo)系原點(diǎn)的最大、最小距離，cm；

Rmax——機(jī)械臂的最大工作空間，cm。

1.3 機(jī)械臂D-H坐標(biāo)系建立及參數(shù)設(shè)定

對(duì)選用的六自由度機(jī)械臂的運(yùn)動(dòng)特性進(jìn)行分析，首先要建立參數(shù)模型。根據(jù)1955年由Denavit與Hartenberg所提出的D-H參數(shù)法，在每個(gè)機(jī)械臂的桿件關(guān)節(jié)上建立坐標(biāo)系[11-13]用來(lái)描述相鄰連接桿件的坐標(biāo)系關(guān)系(圖2)，桿件的D-H參數(shù)如表1所示。

表1 UR5機(jī)械臂的D-H參數(shù)

圖2 機(jī)械臂仿真

1.4 履帶式行走機(jī)構(gòu)設(shè)計(jì)

為了簡(jiǎn)化結(jié)構(gòu)的設(shè)計(jì)，僅由一臺(tái)電機(jī)提供驅(qū)動(dòng)力，獨(dú)立的電機(jī)置于底架的前端，傳動(dòng)經(jīng)過(guò)減速器和行走支架到達(dá)驅(qū)動(dòng)輪，縮短了傳動(dòng)路線(xiàn)有利于機(jī)身平衡，方便維修和檢查。履帶式行走機(jī)構(gòu)結(jié)構(gòu)設(shè)計(jì)圖如圖3所示。

1. 導(dǎo)向輪 2. 傳動(dòng)連桿 3. 張緊輪 4. 小負(fù)重輪 5. 連接鋼板 6. 大負(fù)重輪 7. 驅(qū)動(dòng)輪 8. 支重輪 9. 履帶 10. 無(wú)刷電機(jī) 11. 變速箱 12. 進(jìn)退開(kāi)關(guān) 13. 電池 14. 油門(mén)踏板 15. 電缸

檢測(cè)小車(chē)采用履帶式機(jī)構(gòu)，在儲(chǔ)藏室的冰面上行走也不打滑，且具有較好的承重性。電池放置在5(連接鋼板)內(nèi)部的凹槽中用于向機(jī)構(gòu)供電。選用無(wú)刷電機(jī)作為履帶行走的驅(qū)動(dòng)電機(jī)，采用霍爾元件與油門(mén)踏板的配合控制電機(jī)的速度輸出，霍爾元件控結(jié)構(gòu)圖及驅(qū)動(dòng)電路圖如圖4所示。

圖4 霍爾元件

2 檢測(cè)路徑設(shè)計(jì)與規(guī)劃

2.1 熱紅外相機(jī)成像模型

熱紅外相機(jī)對(duì)被測(cè)墻面的單次成像如圖5所示。熱紅外相機(jī)與被測(cè)墻面之間的垂直距離、熱紅外相機(jī)在機(jī)械臂上的水平和垂直視場(chǎng)角可計(jì)算出熱紅外相機(jī)視野區(qū)域的面積大小。

C. 熱紅外相機(jī) A. 視野區(qū)域 V. 視野區(qū)域長(zhǎng)度 H. 視野區(qū)域?qū)挾?L. 視距 α. 相機(jī)垂直視角 β. 相機(jī)水平視角

計(jì)算公式：

(4)

(5)

(6)

式中：

A——視野區(qū)域，cm2；

V——視野區(qū)域長(zhǎng)度，cm；

H——視野區(qū)域?qū)挾龋琧m；

L——視距，cm；

α——相機(jī)垂直視角，°；

β——相機(jī)水平視角，°。

確定相機(jī)視野面積大小后即可確定對(duì)整面墻體的采集次數(shù)，從而確定檢測(cè)小車(chē)的前進(jìn)步距和機(jī)械臂的抬升距離。

2.2 檢測(cè)路徑規(guī)劃

首先在上位機(jī)中輸入室內(nèi)的墻體尺寸，選擇熱紅外相機(jī)的成像距離，根據(jù)其成像距離確定每次步進(jìn)距離。假設(shè)檢測(cè)小車(chē)與被測(cè)冷庫(kù)圍護(hù)墻體的距離為d，被測(cè)的冷庫(kù)圍護(hù)結(jié)構(gòu)墻體的面積為H×W(高、寬)，根據(jù)視野區(qū)域計(jì)算熱紅外相機(jī)單次所能拍攝到的熱紅外圖像尺寸為h×v。則理論上所需要機(jī)械臂所需抬升(下降)的次數(shù)為X=W÷v；所需要的檢測(cè)小車(chē)上下的次數(shù)為Y=H÷h。檢測(cè)過(guò)程如圖6所示。

圖6 檢測(cè)路徑規(guī)劃

檢測(cè)墻體檢測(cè)路徑規(guī)劃如圖7所示。檢測(cè)過(guò)程中小車(chē)每次行走的距離為熱紅外相機(jī)所能采集的圖像大小W，每次行走后機(jī)械臂可依照?qǐng)D7中所設(shè)定的路線(xiàn)檢測(cè)所規(guī)劃好的兩列墻面。以墻角作為原點(diǎn)建立二維坐標(biāo)系，通過(guò)上位機(jī)計(jì)算出每次相機(jī)采集的位置(黑點(diǎn))將其坐標(biāo)輸入六軸機(jī)械臂進(jìn)行逆運(yùn)動(dòng)求解，進(jìn)而得到機(jī)械臂各個(gè)桿件的轉(zhuǎn)動(dòng)角度使熱紅外相機(jī)達(dá)到指定的拍攝位置。

黑點(diǎn)表示拍攝位置

3 檢測(cè)算法實(shí)現(xiàn)

3.1 紅外圖像采集與預(yù)處理

根據(jù)檢測(cè)小車(chē)的路徑規(guī)劃，通過(guò)上位機(jī)向熱紅外相機(jī)發(fā)送采集指令，在采集過(guò)程中依照?qǐng)D像的采集順序?qū)D像進(jìn)行標(biāo)號(hào)以便后續(xù)的分析處理，采用高德公司型號(hào)為IPT640的熱紅外相機(jī)，通過(guò)千兆以太網(wǎng)線(xiàn)采集圍護(hù)結(jié)構(gòu)的熱紅外圖像信息，該紅外相機(jī)附帶有自身的采集軟件NetCore采集圖像，通過(guò)相機(jī)的自帶的SDK軟件開(kāi)發(fā)工具包在Visual Studio上實(shí)現(xiàn)對(duì)冷庫(kù)圍護(hù)結(jié)構(gòu)的圖像采集。采集流程圖如圖8所示。

圖8 紅外相機(jī)采集到的溫度場(chǎng)圖像

為了增加處理的精度和效率，在進(jìn)行缺陷的識(shí)別與定位前先對(duì)采集的圖像進(jìn)行預(yù)處理，主要包括：① 對(duì)圖像進(jìn)行去噪處理，提高圖像的質(zhì)量并突出重點(diǎn)須關(guān)注的元素；② 對(duì)圖像進(jìn)行一些基本的變換，方便后續(xù)的對(duì)比。經(jīng)過(guò)灰度化后的圖像與原圖對(duì)比如圖9所示。

圖9 熱紅外圖像與灰度圖

3.2 基于改進(jìn)Otsu分割方法的缺陷定位與分級(jí)

改進(jìn)Otsu分割處理的過(guò)程是選取合適的圖像閾值使類(lèi)間方差最大化，進(jìn)而得到最好的分割圖像效果。其數(shù)學(xué)描述過(guò)程：

(7)

式中：

N——像素個(gè)數(shù)總和；

M——圖像的平均強(qiáng)度；

L——圖像的灰度級(jí)；

Ni——灰度為i的像素點(diǎn)個(gè)數(shù)。

將采集到的熱紅外圖像的目標(biāo)區(qū)域與背景區(qū)域出現(xiàn)的概率和兩者均值的數(shù)學(xué)計(jì)算：

(8)

(9)

(10)

(11)

式中：

M0、M1——圖像目標(biāo)區(qū)域與背景區(qū)域像素點(diǎn)的灰度均值，取值范圍0～255；

W0、W1——出現(xiàn)的概率，%；

t——確定的最佳閾值，數(shù)值范圍為0～L。

圖像分割類(lèi)方差可根據(jù)式(12)～式(13)得出。

δ2=(M0-M)2×W0+(M1-M)2×W1，

(12)

t=argmax{δ2(t)}。

(13)

利用信息熵確定閾值的分割準(zhǔn)則時(shí)，能夠避免圖像中對(duì)比度和亮度等信息對(duì)算法的約束，能更好地體現(xiàn)出分割算法的優(yōu)越性。根據(jù)香農(nóng)公式中對(duì)熵值的定義，結(jié)合傳統(tǒng)Otsu方式[14]得到的信息熵值為：

(14)

式中：

Q0、Q1、Q2——整體圖像、檢測(cè)目標(biāo)、圖像背景的信息熵值。

當(dāng)采用信息熵代替?zhèn)鹘y(tǒng)的Otsu準(zhǔn)則中的灰度均值，即可得到推廣形式的閾值判別函數(shù)。

(15)

式中：

S0、S1、S2——整個(gè)圖像、背景與目標(biāo)的特征；

t*——算法優(yōu)化后得出分割閾值。

式(15)為信息熵的計(jì)算公式，優(yōu)化后的閾值能清楚地分割出紅外圖像的目標(biāo)區(qū)域和背景區(qū)域。圖像處理過(guò)程如圖10所示。

圖10 圖像處理過(guò)程

通過(guò)OPENCV庫(kù)函數(shù)可找到并繪制出不同閾值下缺陷輪廓圖片，如圖11所示。

圖11 原圖及處理后的圖像

4 檢測(cè)試驗(yàn)

選用六軸機(jī)械臂與履帶式小車(chē)組成檢測(cè)裝置主體，采用SoildWorks 軟件對(duì)六軸機(jī)械臂進(jìn)行三維實(shí)體建模，完成機(jī)械臂與行走小車(chē)的組裝。試驗(yàn)中為了方便圖像的采集采用溫?zé)崴鳛椤叭毕荨睙嵩床课弧?/p>

4.1 試驗(yàn)軟硬件設(shè)置

機(jī)械臂選用的是Universal Robots所生產(chǎn)的六軸機(jī)械臂[15]，共有6個(gè)自由度，機(jī)械臂工作電壓為24 V DC，可由小車(chē)的電瓶供電。小車(chē)轉(zhuǎn)向采用電缸控制其工作電壓為24 V DC，最大負(fù)載為1 600 N，運(yùn)動(dòng)速度為7～60 cm/s。上位機(jī)檢測(cè)控制程序界面設(shè)計(jì)如圖12所示。

圖12 檢測(cè)參數(shù)設(shè)置界面圖

當(dāng)熱紅外相機(jī)、機(jī)械臂串口、激光測(cè)距儀與上位機(jī)成功連接后，上位機(jī)界面會(huì)輸出連接成功樣式的字符，此時(shí)即可開(kāi)始試驗(yàn)檢測(cè)。

4.2 圖像檢測(cè)數(shù)據(jù)分析

以某處一小型儲(chǔ)藏室檢測(cè)結(jié)果為例進(jìn)行分析，分別選取圍護(hù)結(jié)構(gòu)上5處不同位置安放熱源，測(cè)量室的內(nèi)部空間為4.7 m×2.6 m×2.2 m，當(dāng)前所測(cè)量的墻體尺寸為4.7 m×2.2 m。由于機(jī)械臂的桿長(zhǎng)與轉(zhuǎn)角的限制，試驗(yàn)選用的機(jī)械臂最大升限為3.2 m，故理論采集的墻面尺寸為3.2 m×2.2 m。

根據(jù)行走路徑規(guī)劃和相機(jī)位置，檢測(cè)裝置的水平行走步距設(shè)定為50 cm；垂直運(yùn)動(dòng)步距為42 cm；熱紅外相機(jī)和圍護(hù)結(jié)構(gòu)的距離為32 cm。為了滿(mǎn)足小車(chē)能在固定的地方(如墻角處轉(zhuǎn)彎或小車(chē)偏移后需要調(diào)整姿態(tài))進(jìn)行角度調(diào)整，根據(jù)小車(chē)的步距和垂直運(yùn)動(dòng)步距將被測(cè)量的墻體平均劃分為30塊(5×6)區(qū)域并通過(guò)相機(jī)對(duì)每塊區(qū)域進(jìn)行紅外圖像采集，所計(jì)算得出的步數(shù)值對(duì)上取整以保證檢測(cè)的完整性。為了驗(yàn)證檢測(cè)機(jī)構(gòu)的有效性，分別采取不同大小的閾值對(duì)冷庫(kù)圍護(hù)結(jié)構(gòu)進(jìn)行檢測(cè)，結(jié)果見(jiàn)表2～表4。

表2 Ta(i)設(shè)定為50時(shí)的熱缺陷檢測(cè)結(jié)果

表3 Ta(i)設(shè)定為70時(shí)的熱缺陷檢測(cè)結(jié)果

表4 Ta(i)設(shè)定為90時(shí)的熱缺陷檢測(cè)結(jié)果

試驗(yàn)中“熱源缺陷”的檢出率為100%，無(wú)漏檢情況出現(xiàn)，被檢測(cè)數(shù)據(jù)的總體缺陷檢測(cè)誤差按式(16)計(jì)算：

(16)

式中：

P——總體缺陷檢測(cè)誤差，%；

An——第n次閾值設(shè)定后單次檢測(cè)墻面后與實(shí)際缺陷面積的誤差率，%。

試驗(yàn)通過(guò)參考實(shí)時(shí)的室內(nèi)環(huán)境，選用不同的圖像閾值大小，實(shí)現(xiàn)對(duì)圍護(hù)結(jié)構(gòu)的熱紅外檢測(cè)。當(dāng)所設(shè)定的閾值為50，70，90時(shí)所得到的“熱缺陷”面積與實(shí)際的熱源面積的總體缺陷檢測(cè)誤差為93.7%。

根據(jù)表2～表4的檢測(cè)數(shù)據(jù)，可得出研究所設(shè)計(jì)的檢測(cè)裝置與圖像處理方法能準(zhǔn)確地檢測(cè)出冷庫(kù)圍護(hù)結(jié)構(gòu)的熱源缺陷，相比于人工檢測(cè)，該機(jī)構(gòu)具有檢測(cè)效率快，范圍完整等優(yōu)點(diǎn)。

5 結(jié)論

研究設(shè)計(jì)了基于機(jī)械臂與履帶行走小車(chē)配合的檢測(cè)裝置，使用改進(jìn)Ostu圖像檢測(cè)的方法分割缺陷圖像。與傳統(tǒng)的檢測(cè)手段相比，該檢測(cè)機(jī)構(gòu)能完整且高效地檢測(cè)食物儲(chǔ)藏室的圍護(hù)結(jié)構(gòu)是否存在缺陷，通過(guò)檢測(cè)得出的缺陷面積與實(shí)際缺陷面積相差較小。但研究?jī)H對(duì)機(jī)械結(jié)構(gòu)設(shè)計(jì)和圖像識(shí)別算法作了介紹，尚未考慮到障礙物對(duì)檢測(cè)過(guò)程的影響，后期應(yīng)該不斷完善檢測(cè)機(jī)構(gòu)的控制與圖像處理部分，以適應(yīng)不同的檢測(cè)環(huán)境。