微裝配中零部件搜索方法*

劉艷余, 康輝民, 胡斌梁, 許功元, 周知進(jìn)

(1.湖南科技大學(xué) 機(jī)電工程學(xué)院，湖南 湘潭 411201；2.湖南科技大學(xué) 難加工材料高效精密加工湖南省重點(diǎn)實(shí)驗(yàn)室，湖南 湘潭 411201；3.貴州理工學(xué)院 機(jī)械工程學(xué)院，貴州 貴陽(yáng) 550003)

微裝配中零部件搜索方法*

劉艷余1,2, 康輝民1,2, 胡斌梁1,2, 許功元1,2, 周知進(jìn)3

(1.湖南科技大學(xué)機(jī)電工程學(xué)院，湖南湘潭411201；2.湖南科技大學(xué)難加工材料高效精密加工湖南省重點(diǎn)實(shí)驗(yàn)室，湖南湘潭411201；3.貴州理工學(xué)院機(jī)械工程學(xué)院，貴州貴陽(yáng)550003)

針對(duì)如何快速且準(zhǔn)確地在微裝配的顯微視野中尋找到目標(biāo)零部件，并獲取目標(biāo)零部件的全局視覺(jué)信息的問(wèn)題，提出了一種基于顯微視覺(jué)倍率切換的微裝配零部件搜索機(jī)制。詳細(xì)分析了如何確定自動(dòng)搜索步長(zhǎng)；論述了自動(dòng)搜索策略的原理與過(guò)程：通過(guò)自動(dòng)掃描目標(biāo)平面，以準(zhǔn)確識(shí)別出目標(biāo)平面內(nèi)的微零部件，有效地克服了大范圍微裝配中顯微視覺(jué)范圍遠(yuǎn)小于操作域的局限性，保證了微裝配零部件目標(biāo)始終呈現(xiàn)在不同顯微倍率視野中，為微裝配機(jī)器人的進(jìn)一步操作奠定了視覺(jué)基礎(chǔ)。實(shí)驗(yàn)結(jié)果表明：提出的搜索方法搜索成功率達(dá)到了95 %，平均搜索時(shí)間為28 s。

微裝配機(jī)器人； 搜索機(jī)制； 連續(xù)變倍； 顯微視覺(jué)

0 引 言

微裝配機(jī)器人主要以工藝復(fù)雜、精度要求極高且技術(shù)難度大為技術(shù)特點(diǎn)[1]，在超精密機(jī)器、醫(yī)療、生物細(xì)胞等研究領(lǐng)域獲得廣泛應(yīng)用，近年來(lái)已成為國(guó)內(nèi)外機(jī)器人研究的熱點(diǎn)之一。其顯微視覺(jué)系統(tǒng)[2～6]是微裝配中獲取圖像信息的重要組成部分，涉及到兩大關(guān)鍵技術(shù)：1)在微裝配過(guò)程中，為了保證視野圖像細(xì)節(jié)的清晰度和精確性，通常采用提高顯微放大倍數(shù)的方法來(lái)獲得，但因顯微視場(chǎng)范圍的有限性，對(duì)于不確定分布的微裝配零部件而言，提高顯微放大倍數(shù)會(huì)降低顯微視場(chǎng)的可視范圍，不利于全局視覺(jué)信息的獲取，而且產(chǎn)生較大的視野誤差；2)為增大視野范圍而選擇降低視野倍率，目標(biāo)尺寸的減小會(huì)導(dǎo)致目標(biāo)微零部件分辨率的降低，從而增加顯微圖像處理與分析的難度，更不利于微零部件全局視覺(jué)信息的獲取。因此，如何實(shí)現(xiàn)對(duì)不確定分布整體目標(biāo)的快速自動(dòng)搜索并準(zhǔn)確獲取微零部件的全局視覺(jué)信息，是微裝配機(jī)器人研究領(lǐng)域所面臨的難題。目前，國(guó)內(nèi)外圍繞微裝配機(jī)器人的搜索識(shí)別算法和全局信息獲取進(jìn)行了大量研究[7～10]，取得了很多有價(jià)值的研究成果,但多數(shù)需要依賴(lài)操作人員的經(jīng)驗(yàn)判斷，效率較低且增加不便性。

為此，本文利用連續(xù)變倍顯微鏡本身的特點(diǎn)，提出了一種快速而有效的微零部件自動(dòng)搜索與識(shí)別方法，首先在低倍率顯微視覺(jué)中，通過(guò)對(duì)比二值化后的圖像灰度值判別微零部件是否進(jìn)入視野，經(jīng)確認(rèn)后將顯微倍率切換至高倍率視野中；然后通過(guò)基于霍夫圓檢測(cè)的顯微圖像處理方法識(shí)別微零部件，以獲取微零部件的全局視覺(jué)信息。

1 顯微視覺(jué)系統(tǒng)的構(gòu)成

顯微視覺(jué)系統(tǒng)如圖1所示，主要由CCD攝像頭、微動(dòng)平臺(tái)、上位機(jī)及單筒顯微鏡構(gòu)成。其中,CCD一端與單筒顯微鏡連接，另一端通過(guò)USB接口與上位機(jī)相連，用于采集顯微圖像并儲(chǔ)存至上位機(jī)，系統(tǒng)基于平臺(tái)已可自動(dòng)聚焦的基礎(chǔ)下進(jìn)行操作[11]。

圖1 顯微視覺(jué)系統(tǒng)

2 微零部件變倍自動(dòng)搜索策略

2.1 顯微系統(tǒng)參數(shù)

系統(tǒng)中顯微鏡光學(xué)變倍范圍為0.35～2.25倍，攝像機(jī)選擇的是黑白CCD攝像機(jī)(具備USB2.0接口)，像素尺寸為2.2μm×2.2 μm，攝像機(jī)分辨率設(shè)定為1 280×960(BIN)，可以得到22幀左右的連續(xù)動(dòng)態(tài)圖像，CCD攝像機(jī)的靶面尺寸為1/2.5 in(1in=25.4 mm)，對(duì)應(yīng)的傳感器對(duì)角線(xiàn)尺度為7.2 mm，根據(jù)數(shù)碼顯微鏡放大原理可得

(1)

表1 顯微鏡標(biāo)定結(jié)果

一般人眼可以觀測(cè)到的宏觀景物范圍應(yīng)在平方厘米(cm2)級(jí)以上，從表1可知，在0.35倍顯微鏡下，一個(gè)屏幕視野為3.796 8 cm2，所以,要在0.35倍的顯微鏡下觀測(cè)全局空間布局范圍為20 mm×20 mm，且在此范圍內(nèi)快速搜索目標(biāo)具有可行性。

2.2 搜索步長(zhǎng)確定

利用連續(xù)變倍顯微系統(tǒng)能夠提供不同視野范圍以及不同定位精度的特性，采用“全局粗搜索、局部精檢測(cè)”原則，完成了由整體到局部、由粗到精的搜索過(guò)程。同時(shí)為了滿(mǎn)足微零部件快速搜索的需要，根據(jù)目標(biāo)亞毫米級(jí)大小、顯微倍率大小以及全局空間布局(20 mm×20 mm)，初步設(shè)定粗檢測(cè)搜索步長(zhǎng)為40 μm。

由表1可知，在顯微鏡最低的光學(xué)放大倍率0.35 倍下，單位像素的尺寸為17.6 μm，視場(chǎng)范圍22.6 mm×16.8 mm，足夠包含寬視野內(nèi)一個(gè)邊長(zhǎng)的所有信息(22.6 mm>20 mm)。即目標(biāo)在0.35 倍的光學(xué)倍率下為42 μm時(shí)，不會(huì)將目標(biāo)當(dāng)噪聲忽略，亦不會(huì)遺漏目標(biāo)。

當(dāng)顯微鏡的光學(xué)放大倍率為2.25 倍時(shí)，對(duì)應(yīng)的像素尺寸為2.2 μm×2.2 μm，屏幕視野范圍為2.8 μm×2.1 μm，此時(shí)目標(biāo)放大4.5/0.7=6.43倍，目標(biāo)尺寸為42×6.73=270 μm，精檢測(cè)搜索步長(zhǎng)定為200 μm。對(duì)于此倍率下直徑為270 μm的微零部件可以保證足夠的精度，且在此步長(zhǎng)內(nèi)微零部件不可能完全越過(guò)視野，或被作為噪聲忽略，由此推斷漏判的概率很小。將視野寬闊的方向(從左至右)定為移動(dòng)搜索方向，在0.35倍的光學(xué)顯微倍率下帶動(dòng)控制平臺(tái)(載物臺(tái)移動(dòng)，即平臺(tái)從右向左移動(dòng))搜索。

2.3 自動(dòng)搜索策略

基本原理是在對(duì)目標(biāo)范圍進(jìn)行搜索時(shí)，根據(jù)整幅圖像的平均灰度值判斷微零部件是否在視野范圍內(nèi)。當(dāng)目標(biāo)微零部件在視野之外時(shí)，整幅圖像的背景幾乎無(wú)變化，灰度值不變；當(dāng)疑似目標(biāo)進(jìn)入視野后，其平均灰度值會(huì)發(fā)生相應(yīng)變化，且變化值隨目標(biāo)的清晰度、大小和材質(zhì)的不同而異。

該算法在一定情況下對(duì)目標(biāo)微零部件是否進(jìn)入視野能夠做出正確的判斷，但也存在一定的缺陷：當(dāng)疑似目標(biāo)微零部件進(jìn)入視野之后，圖像平均灰度值會(huì)有一定的變化，但是由于目標(biāo)細(xì)小，平均灰度值的變化不大，可能作為噪聲被忽略；在搜索過(guò)程中疑似目標(biāo)進(jìn)入視野的區(qū)域不確定，微零部件可能僅有部分進(jìn)入視野，不易判斷是否為疑似目標(biāo)。

針對(duì)這上述陷，通過(guò)改變搜索步長(zhǎng)的方法獲取顯微圖像，并根據(jù)步長(zhǎng)分為全局粗檢測(cè)和局部精檢測(cè)；對(duì)顯微圖像的平均灰度值進(jìn)行閾值處理，以達(dá)到準(zhǔn)確判斷疑似目標(biāo)是否進(jìn)入視野的目的。微零部件搜索流程如圖2所示。

圖2 微零部件搜索流程

1)對(duì)系統(tǒng)進(jìn)行初始化后采集圖像，并將采集的圖像進(jìn)行實(shí)時(shí)二值化處理，以便將視野內(nèi)無(wú)目標(biāo)的起始圖像的二值化灰度值作為起始灰度值；2)在全局大范圍搜索中設(shè)定粗檢測(cè)搜索步長(zhǎng)搜索疑似目標(biāo)，當(dāng)實(shí)時(shí)二值化后的顯微圖像灰度值改變時(shí)，作為搜索到疑似目標(biāo)的視域選擇區(qū)域，并將其切換至高倍率物鏡且保證目標(biāo)在高倍視野中央，同時(shí)加大搜索步長(zhǎng)并縮小顯微視覺(jué)視野，以放大疑似目標(biāo)做局部精檢測(cè)；3)根據(jù)基于霍夫圓檢測(cè)識(shí)別是否為目標(biāo)微零部件，若不是，則重回低倍率全局大范圍搜索。

圖3 補(bǔ)充搜索流程

另一個(gè)問(wèn)題是當(dāng)開(kāi)始位置可能在視野范圍中的任何地方時(shí)，如何搜索到目標(biāo)位置。如果起始位置為目標(biāo)位置的左側(cè)，直接控制搜索平臺(tái)從右至左移動(dòng)。如果起始位置不在有效區(qū)域左側(cè)內(nèi)，沿搜索方向一直搜索均無(wú)灰度值的大變化，根據(jù)搜索方法，不能找到正確的目標(biāo)位置。此時(shí)，搜索策略中需要添加補(bǔ)充策略。如果搜索方向錯(cuò)誤，搜索位置從有效區(qū)域移動(dòng)到無(wú)效區(qū)域，則需要轉(zhuǎn)換搜索方向，進(jìn)行第二輪的搜索過(guò)程，搜索結(jié)束，灰度值最大差值處的位置為目標(biāo)位置。如圖3所示。

為了節(jié)省在轉(zhuǎn)換搜索方向后再重復(fù)已搜索過(guò)程的時(shí)間，本文設(shè)定從開(kāi)始位置獲取圖片起始，將實(shí)時(shí)所獲取的在線(xiàn)顯微圖像均按照獲取順序依次標(biāo)記序列號(hào)。如圖3所示，當(dāng)出現(xiàn)補(bǔ)充搜索策略中需要轉(zhuǎn)換搜索方向進(jìn)行第二次搜索時(shí)，實(shí)時(shí)在線(xiàn)快速搜索，根據(jù)顯微序列圖像記憶庫(kù)的信息進(jìn)行高效率的反向回到起始位置，恢復(fù)初始化時(shí)的搜索速度與搜索策略。

3 實(shí)驗(yàn)結(jié)果與分析

根據(jù)上述原理，以0.15 mm的亞毫米級(jí)鋼珠作為實(shí)驗(yàn)材料進(jìn)行搜索和識(shí)別實(shí)驗(yàn)。鋼珠的全局空間范圍20 mm×20 mm，設(shè)粗檢測(cè)搜索步長(zhǎng)為25 μm。

3.1 微零部件自動(dòng)搜索實(shí)驗(yàn)

首先對(duì)起始位置進(jìn)行一個(gè)經(jīng)過(guò)二值化的圖像灰度值計(jì)算，然后每移動(dòng)一個(gè)設(shè)定的搜索步長(zhǎng)便與初值進(jìn)行一次比較，若超過(guò)設(shè)定值，則認(rèn)為疑似目標(biāo)已進(jìn)入視野。實(shí)驗(yàn)過(guò)程中所拍攝的圖像如圖4(a)、圖4(b)所示。分別是疑似目標(biāo)尚未進(jìn)入視野和疑似目標(biāo)進(jìn)入視野時(shí)所拍攝的照片。

圖4 顯微圖像及其直方圖

對(duì)圖4(a)、圖4(b)直接求灰度值后，所得圖像分別如圖4(c)、圖4(d)所示。顯然，兩幅顯微圖像的灰度值差別太小，不足以作為目標(biāo)是否進(jìn)入視野的評(píng)判依據(jù)。在實(shí)驗(yàn)過(guò)程中，由于存在角度因素，鏡頭到跟蹤目標(biāo)的工作距離會(huì)隨移動(dòng)平臺(tái)的移動(dòng)而變化，且顯微鏡頭的景深淺會(huì)導(dǎo)致移動(dòng)過(guò)程中目標(biāo)零件成像出現(xiàn)模糊的情況。同時(shí)實(shí)驗(yàn)中存在光照變化的情況，視野越小，光線(xiàn)越暗，越容易影響判斷。故本文在獲取圖像時(shí)，首先通過(guò)對(duì)圖像背景二值化處理，保留原始圖像的基本信息，通過(guò)比較處理后的圖像灰度直方圖判斷微零部件是否進(jìn)入目標(biāo)。

圖5 二值化后的顯微圖像及其直方圖

圖5(a)、圖5(b)為目標(biāo)未進(jìn)入視野和目標(biāo)進(jìn)入視野時(shí)二值化后的顯微圖像。經(jīng)過(guò)二值化后的顯微圖像僅處理了背景，目標(biāo)依舊保持在顯微圖像中，便于進(jìn)行搜索判斷。

對(duì)圖5(a)、圖5(b)進(jìn)行灰度值的計(jì)算，結(jié)果如圖5(c)、圖5(d)所示，由圖5(c)、圖5(d)中的灰度直方圖可知，圖5(c)中的像素僅最右側(cè)存在峰值，最大值為255(代表白色)；而圖5(d)中存在3個(gè)峰值，最左側(cè)的0(代表黑色)說(shuō)明已有目標(biāo)進(jìn)入視野中。于是0峰值成為判斷是否有目標(biāo)進(jìn)入視野的關(guān)鍵依據(jù)。

3.2 微零部件檢測(cè)識(shí)別實(shí)驗(yàn)

在搜索到目標(biāo)后可通過(guò)鼠標(biāo)左鍵點(diǎn)擊目標(biāo)，即可自動(dòng)識(shí)別所跟蹤的目標(biāo)，并快速自動(dòng)且大步長(zhǎng)地將目標(biāo)置于視野中心位置。為了獲取目標(biāo)的細(xì)節(jié)信息，逐步放大顯微倍率和分辨率，縮小視野范圍，直到獲取目標(biāo)的更多細(xì)節(jié)信息。目標(biāo)的視野切換過(guò)程如圖6(a)～圖6(c)所示，分別為顯微光學(xué)放大倍率0.35倍、1倍以及2.25倍的目標(biāo)圖像，圖6(c)中得到最高分辨率圖像。

通過(guò)不同顯微倍率的連續(xù)變化，能同時(shí)獲取微零部件(鋼珠)的整體輪廓和微觀細(xì)節(jié)信息，微零部件(鋼珠)的金屬屬性和圓形特征均可在高倍率視野中清晰地觀測(cè)到。

圖6 不同層次結(jié)構(gòu)的全局視野

對(duì)最大顯微光學(xué)放大倍率下的顯微圖像進(jìn)行基于霍夫圓檢測(cè)的微零部件識(shí)別，實(shí)驗(yàn)檢測(cè)結(jié)果如圖7所示。可快速且準(zhǔn)確地識(shí)別出顯微圖像中的鋼珠為圓，用時(shí)0.05 s。

圖7 基于霍夫圓檢測(cè)的微零部件識(shí)別

實(shí)驗(yàn)過(guò)程中，顯微鏡頭的景深，視野光線(xiàn)等均對(duì)掃描有一定影響。為了排除偶然性，對(duì)10個(gè)120～180 μm的微零部件進(jìn)行了100次搜索實(shí)驗(yàn)，搜索成功率達(dá)到了95 %，平均搜索時(shí)間為28 s(人工搜索在2 min以上)，識(shí)別準(zhǔn)確性高且速度快。表明方法既提高了目標(biāo)判斷的效率，也為后續(xù)精檢測(cè)提供了準(zhǔn)確的位置信息，以便精檢測(cè)放大的同時(shí)移動(dòng)目標(biāo)至視野中央，并且在實(shí)時(shí)條件稍有光照變化干擾的情況下進(jìn)行快速準(zhǔn)確的判斷。

4 結(jié)束語(yǔ)

提出了一種基于顯微視覺(jué)倍率切換的微裝配零部件搜索機(jī)制。該搜索機(jī)制結(jié)合顯微單元參數(shù)、全局布局大小和微零部件的特征設(shè)定搜索步長(zhǎng)，快速地搜索目標(biāo)位置，根據(jù)二值化后的圖像灰度值變化判斷目標(biāo)是否進(jìn)入視野，并基于霍夫圓檢測(cè)識(shí)別，以便獲得準(zhǔn)確的全局視覺(jué)信息。實(shí)驗(yàn)結(jié)果表明：方法檢測(cè)效率高，且適應(yīng)性強(qiáng)，有效地減少了操作人員的工作量；利用單筒顯微鏡連續(xù)變倍的特點(diǎn)，使大范圍微裝配目標(biāo)的視覺(jué)信息獲取更便捷，為進(jìn)一步的微裝配中視覺(jué)伺服奠定基礎(chǔ)。

[1] 沈 飛,徐 德,唐永建,等.微操作/微裝配中微力覺(jué)的測(cè)量與控制技術(shù)研究現(xiàn)狀綜述[J].自動(dòng)化學(xué)報(bào),2014,40(5):785-797.

[2] 李海鵬,邢登鵬,張正濤,等.宏微結(jié)合的多機(jī)械手微裝配機(jī)器人系統(tǒng)[J].機(jī)器人,2015(1):35-42.

[3] 胡小平,陳國(guó)良,陽(yáng)小燕,等.微操作機(jī)器人顯微視覺(jué)系統(tǒng)研究[J].自動(dòng)化儀表,2007,28(2):5-9.

[4] 陳國(guó)良,黃心漢,王 敏.面向微裝配的顯微視覺(jué)伺服[J].機(jī)械工程學(xué)報(bào),2008,44(2):82-86.

[5] 吳葉蘭,楊 飛,劉 陽(yáng),等.基于顯微視覺(jué)的微小型零件跟蹤系統(tǒng)[J].傳感器與微系統(tǒng),2015，34(2):95-98.

[6] 吳葉蘭,秦艷紅,張之敬.基于顯微視覺(jué)的微小型零件邊緣檢測(cè)技術(shù)研究[J].計(jì)算機(jī)工程與應(yīng)用,2016,52(17):266-270.

[7] 叱干鵬飛,寧紀(jì)鋒,石武禎.基于全局搜索的實(shí)時(shí)分布場(chǎng)目標(biāo)跟蹤方法[J].計(jì)算機(jī)應(yīng)用研究,2014,31(10):3169-3172.

[8] 聶海濤,龍科慧,馬 軍,等.采用改進(jìn)尺度不變特征變換在多變背景下實(shí)現(xiàn)快速目標(biāo)識(shí)別[J].光學(xué)精密工程,2015,23(8):2349-2356.

[9] 賈 平,徐 寧,張 葉.基于局部特征提取的目標(biāo)自動(dòng)識(shí)別[J].光學(xué)精密工程,2013,21(7):1898-1905.

[10] Rosten E,Porter R,Drummond T.Faster and better:A machine learning approach to corner detection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2010,32(1):105-119.

[11] 劉 暢,甘 奇,馬 馳,等.觸控自動(dòng)化顯微成像系統(tǒng)[J].傳感器與微系統(tǒng),2015,34(3):106-109.

Methodofcomponentsearchinginmicro-assembly*

LIU Yan-yu1,2, KANG Hui-min1,2, HU Bin-liang1,2, XU Gong-yuan1,2， ZHOU Zhi-jin3

(1.CollegeofMechanicalandElectricalEngineering,HunanUniversityofScienceandTechnology,Xiangtan411201,China;2.HunanProvincialKeyLaboratoryofHighEfficiencyandPrecisionMachiningofDifficult-to-CutMaterial,HunanUniversityofScienceandTechnology,Xiangtan411201，China;3.CollegeofMechanicalEngineering,GuizhouInstituteofTechnology,Guiyang550003,China)

Aiming at problem of how to find target components quickly and accurately in microscopic field in micro-assembly,and obtain global visual information of target components,micro-assembly component search mechanism based on micro-visual magnification switching is presented.Analyze on how to determine automatic search step size.Discuss on principle and process of automatic search strategy.By automatically scanning target plane,micro-components within target plane are accurately identified,effectively overcome limitation that the micro-visual range in a wide range of micro-assembly is much less than limitation of operating domain,guarantee that the micro-assembly components target has always been presented in different micro-magnification field of view,which lay a visual basis for further operation for the micro-assembly robot.The experimental results show that the searching successful rate of the search method is 95 % and the average search time is 28 s.

micro-assembly robot； searching mechanism； zoom； microscopic vision

10.13873/J.1000—9787(2017)12—0028—04

TP 242.6

A

1000—9787(2017)12—0028—04

2017—10—23

湖南省教育廳基金資助項(xiàng)目(12B042,15A063)；湖南省自然科學(xué)基金資助項(xiàng)目(2017JJ2090)；湖南省重點(diǎn)實(shí)驗(yàn)室開(kāi)放基金資助項(xiàng)目(E21637)；湖南省研究生科研創(chuàng)新項(xiàng)目(CX2016B550)

劉艷余(1993-)，女，碩士研究生，主要研究方向?yàn)轱@微視覺(jué)系統(tǒng)，E—mail：elegancelyy@163.com?？递x民(1975-)，男，通訊作者，博士，副教授，主要從事數(shù)控技術(shù)及裝備、機(jī)器人技術(shù)研究工作，E—mail：xykanghm@163.com。