基于顯著性檢測(cè)的自適應(yīng)機(jī)器人揀選系統(tǒng)

鄒騰躍，唐小琦，宋 寶，陳吉紅

（華中科技大學(xué) 國家數(shù)控系統(tǒng)工程技術(shù)研究中心，湖北 武漢430074）

0 引 言

在現(xiàn)代化物流和流水線生產(chǎn)中，常常需要將混入的異物或不合格產(chǎn)品揀選出來，以提高成品的合格率和優(yōu)質(zhì)率。由于缺陷產(chǎn)品的復(fù)雜性和多樣性，傳統(tǒng)方法需要使用大量人力。而規(guī)?；纳a(chǎn)需要高速、高精度、穩(wěn)定持久的作業(yè)方式，純粹的手工揀選已不能滿足現(xiàn)代化生產(chǎn)的要求，高效而智能化的揀選系統(tǒng)將成為行業(yè)發(fā)展的需要。

目前現(xiàn)有的揀選系統(tǒng)，多采用幾何或紋理特征匹配的方法［1－2］，這些方法需要事先對(duì)標(biāo)準(zhǔn)樣品進(jìn)行采樣以得到其特征值，才能進(jìn)一步進(jìn)行異物或缺陷的判斷。而在有些物流輸送環(huán)境中，待揀選的物品可能經(jīng)常發(fā)生變化，這時(shí)就需要人工反復(fù)介入進(jìn)行特征的修改，從而大大降低了系統(tǒng)的工作效率和自動(dòng)化性能。

本文設(shè)計(jì)了一種基于顯著性檢測(cè)［3－4］的自適應(yīng)機(jī)器人揀選系統(tǒng)。該系統(tǒng)能利用全局和局部的兩次顯著性檢測(cè)過程將不合格目標(biāo)從多個(gè)有效前景目標(biāo)中區(qū)分出來，并利用剩余的合格物體不斷修正特征值，從而達(dá)到自適應(yīng)的目的。該方法依賴于對(duì)區(qū)域圖像特征的對(duì)比分析，可使機(jī)器人在無先驗(yàn)知識(shí)的情況下進(jìn)行揀選，并在目標(biāo)物體發(fā)生改變時(shí)，自適應(yīng)進(jìn)行揀選特征的修改，從而無需人工干預(yù)。

1 全局顯著性引導(dǎo)下的前景分割

對(duì)于視覺揀選系統(tǒng)，在分析之前首先需要將關(guān)注的前景目標(biāo)從背景中分割出來。這個(gè)步驟在目前常用的視頻預(yù)處理系統(tǒng)中，主要采用背景減除或灰度閾值化方法來完成。這兩種方法對(duì)現(xiàn)場(chǎng)光照的變化都非常敏感，時(shí)常不能很好地分辨出前景物體，再者物體的陰影或是采樣環(huán)境中的異物也會(huì)對(duì)前景的分割產(chǎn)生障礙。為克服這種缺點(diǎn)，本系統(tǒng)采用全局性的頻率調(diào)諧顯著性檢測(cè) （frequency－tuned saliency detection）算法［5］來進(jìn)行前景分割。

頻率調(diào)諧顯著性檢測(cè)算法是通過濾出滿足一定帶寬條件的邊緣、色彩和亮度信息來進(jìn)行顯著性映射的。該算法采用一系列不同參數(shù)的DoG［6－7］濾波器來保證顯著性映射的結(jié)果在頻率范圍 ［ωlc，ωhc］內(nèi)。ωlc為低頻閾值，頻率低于ωlc的特征信息將被拋棄。為了使較大的前景目標(biāo)在顯著性映射圖中能均一地顯示，檢測(cè)中應(yīng)使用小ωlc值。ωhc為高頻閾值，較高的ωhc可使前景目標(biāo)的邊緣顯示得更為清晰，因此在應(yīng)用中應(yīng)維持高ωhc值。但圖像中最高頻率的部分應(yīng)被舍棄，因其代表了不需要的噪聲、編碼失真以及紋理圖案等信息。

DoG濾波器早期主要被用于圖像目標(biāo)的邊緣檢測(cè)，后來又被應(yīng)用到關(guān)鍵點(diǎn)檢測(cè)、灰度變化檢測(cè)以及顯著性分析等領(lǐng)域。有研究表明在高斯分布標(biāo)準(zhǔn)差的比率為1：1.6時(shí)，DoG濾波器是對(duì)灰度變化最理想的檢測(cè)器。單個(gè)DoG的表達(dá)式如式 （1）所示

其中σ1和σ2都是高斯分布的標(biāo)準(zhǔn)差，σ1＞σ2。因此單個(gè)DoG濾波器可以被視為一個(gè)簡單的帶通濾波器，其濾波帶寬由高斯分布標(biāo)準(zhǔn)差的比值σ1：σ2來控制。令σ1＝ρσ，σ2＝σ則ρ＝σ1／σ2，利用參數(shù)ρ可得一組DoG濾波器的組合輸出結(jié)果，結(jié)果如式 （2）所示

其中N為正整數(shù)，則組合輸出結(jié)果可簡化為兩個(gè)高斯分布的差，而第一個(gè)高斯分布的標(biāo)準(zhǔn)差可通過比例系數(shù)K＝ρN得到。通過設(shè)定大的K值可以得到從小到大不同尺度的一組濾波器的組合輸出，從而將不同尺度的顯著性特征從圖像中提取出來。

參數(shù)σ1和σ2的選擇直接關(guān)系到濾波器的效率，σ1決定了ωlc的尺度，σ2決定了ωhc的尺度。足夠長的通頻帶和合適的高頻閾值能將圖像中的顯著特征盡可能地保留下來，因此在使用中應(yīng)選擇大σ1，以留住較多的低頻信息。我們?cè)趯?shí)驗(yàn)中使用極大的σ1值以使絕大多數(shù)低頻信號(hào)通過，形成一個(gè)近似低通濾波器的混合濾波模型。在高頻信號(hào)方面，使用小的高斯核函數(shù)來濾去噪聲以及紋理圖案信息。因?yàn)樾〉母咚购撕瘮?shù)可用二項(xiàng)式濾波函數(shù)來近似，實(shí)驗(yàn)采用濾波模板1／16 ［1，4，6，4，1］并設(shè)ωhc＝π／2.75來加速計(jì)算，從而提高算法的計(jì)算實(shí)時(shí)性。通過組合濾波器得到圖像的特征向量Iωhc，進(jìn)一步可得頻率調(diào)諧算法的顯著性值計(jì)算式 （3）

式中：Iμ——圖像特征向量均值，Iωhc—— （x，y）處的像素點(diǎn)通過濾波得到的特征向量值。｜｜ ｜｜為取L2范數(shù)，實(shí)驗(yàn)中采用歐氏距離來計(jì)算。

圖1 基于全局顯著性檢測(cè)的前景分割

系統(tǒng)采用Lab顏色空間進(jìn)行操作以提高檢測(cè)和分割的效果。并使用 mean－shift圖像分割算法［8－9］和噪聲過濾規(guī)則從映射圖中分割出前景目標(biāo)。圖1為兩例通過頻率調(diào)諧顯著性檢測(cè)算法進(jìn)行前景分割的場(chǎng)景效果。圖1（b）、（c）分別為圖1（a）的顯著性映射圖和分割效果圖。圖1（e）、（f）分別為圖1（d）的顯著性映射圖和分割效果圖。從圖中可以看出，該算法可以準(zhǔn)確地分割出場(chǎng)景中的有效前景目標(biāo)。

2 目標(biāo)特征對(duì)比與局部顯著性檢測(cè)

在獲得了有效的前景目標(biāo)后，就需要在目標(biāo)中找出缺陷物體加以揀選。由于顯著性分析的中心思想是通過對(duì)比找出與臨近環(huán)境最為不同的區(qū)域，而缺陷物體與場(chǎng)景中的其他合格物品相比在特征上往往有較大差異，因此可以通過局部顯著性檢測(cè)將其搜索出來。圖2所示為前景目標(biāo)局部顯著性檢測(cè)的過程。

系統(tǒng)首先對(duì)每個(gè)前景目標(biāo)圖像進(jìn)行特征提取，提取顏色、形狀和面積3個(gè)方面的特征內(nèi)容。顏色特征通過色度直方圖 （hue histogram）［10－11］表示，形狀通過內(nèi)距離形狀上下文 （inner－distance shape context）［12］來描述，面積通過像素點(diǎn)的數(shù)量來表達(dá)。對(duì)上述三類特征求得相應(yīng)的均值向量后，與每個(gè)前景目標(biāo)特征向量相對(duì)比，通過歐氏距離差異的大小來判別顯著性并生成映射圖。最后通過加權(quán)線性合并和閾值化得到顯著目標(biāo)映射圖并確定顯著目標(biāo)的位置。

圖2 前景目標(biāo)局部顯著性檢測(cè)過程

在特征提取中用到了色度直方圖，色度直方圖是利用HSV （hue，saturation，value）顏色空間中的色度分量構(gòu)建的直方圖。因?yàn)镠SV顏色空間將飽和度和亮度與顏色剝離開來，這種直方圖對(duì)光照的變化具有魯棒性。而內(nèi)距離形狀上下文是一種利用目標(biāo)輪廓特征點(diǎn)間相對(duì)位置來進(jìn)行形狀描述的方法。它首先使用一個(gè)邊緣特征探測(cè)器尋找出物體內(nèi)外輪廓的特征點(diǎn)，并用密集的離散點(diǎn)集來表示連續(xù)的輪廓邊線，這一過程稱為特征的離散化。接著算法根據(jù)特征點(diǎn)間的相對(duì)位置，通過log極坐標(biāo)直方圖來進(jìn)行描述。它對(duì)物體的旋轉(zhuǎn)、縮放和攝像機(jī)引起的輪廓畸變都不敏感，因此在分形識(shí)別方面具有較強(qiáng)魯棒性。圖3（b）、（e）所示分別為工件圖3（a）、 （d）的形狀輪廓，圖3 （c）、 （f）分別給出了圖3（b）、（e）中的4個(gè)標(biāo)記點(diǎn)的內(nèi)距離形狀上下文 （IDSC）值，其中每個(gè)小矩形塊都表示一個(gè)直方圖區(qū)間。通過對(duì)目標(biāo)輪廓上一系列特征點(diǎn)的IDSC值的匹配可以得到兩個(gè)形狀的相似程度。

圖3 內(nèi)距離形狀上下文描述示例

令A(yù)和B為兩個(gè)不同的形狀輪廓，pi為第一個(gè)輪廓上的特征點(diǎn)，qj為第二個(gè)輪廓上的特征點(diǎn)，令C （i，j）表示兩點(diǎn)匹配的代價(jià)，則Cij的值可由式 （3）得到

式中：hA，i（k）和hB，j（k）——pi和qj點(diǎn)處的形狀上下文直方圖，K——直方圖區(qū)間的總數(shù)量。所有可匹配特征點(diǎn)的代價(jià)總和即為兩個(gè)形狀的匹配代價(jià)。

圖4為不同前景目標(biāo)的匹配示例。圖4（a）、（c）、（e）分別展示了3個(gè)用于匹配的前景目標(biāo)圖片和輪廓。圖4（b）表示輪廓圖4（a）、（c）的匹配結(jié)果，匹配代價(jià)為79.527；圖4（d）表示輪廓圖4（a）、（e）的匹配結(jié)果，匹配代價(jià)為79.687；圖4 （f）表示輪廓圖4 （c）、（e）的匹配結(jié)果，匹配代價(jià)為32.860?？梢钥闯銎ヅ浯鷥r(jià)越小的兩個(gè)物體，其形狀越接近，因此可以使用匹配代價(jià)作為相似性的度量。通過與所有其他前景物體做形狀上下文匹配，可得該物體匹配代價(jià)總和。用單一目標(biāo)的代價(jià)和與代價(jià)和的平均值進(jìn)行比對(duì)，可為顯著性評(píng)測(cè)提供依據(jù)。

圖4 基于內(nèi)距離形狀上下文的形狀匹配示例

在生成了顏色、形狀和面積3個(gè)方面的顯著性映射后，可通過線性加權(quán)合并和閾值化得到需要揀選的顯著性目標(biāo)。圖5為圖1所示兩場(chǎng)景的顯著性檢測(cè)揀選結(jié)果，與其他前景目標(biāo)差異最大的物體已被找出，以圓圈標(biāo)志。為加快識(shí)別速度，還可從顯著性檢測(cè)后得出的合格物體中提取特征，用于快速揀選，以避免每次都進(jìn)行顯著性檢測(cè)。

圖5 顯著性檢測(cè)揀選結(jié)果示例

3 揀選系統(tǒng)識(shí)別流程與特征修正

由于顯著性檢測(cè)需要耗費(fèi)大量的系統(tǒng)時(shí)間，而其有效性和必要性往往在識(shí)別場(chǎng)景或目標(biāo)發(fā)生變化時(shí)體現(xiàn)，因此本系統(tǒng)采用如圖6所示的顯著性識(shí)別與快速識(shí)別相結(jié)合的方法。在檢測(cè)的初期和目標(biāo)發(fā)生更換的時(shí)候采用顯著性檢測(cè)方法找出缺陷目標(biāo)，然后利用剩余的合格目標(biāo)生成特征模板，并繼續(xù)進(jìn)行基于模板匹配的快速識(shí)別。在快速識(shí)別過程中，利用已經(jīng)取得的特征進(jìn)行匹配性評(píng)價(jià)測(cè)試，找出缺陷目標(biāo)。當(dāng)合格目標(biāo)數(shù)目小于2／3的時(shí)候，認(rèn)為目標(biāo)識(shí)別的環(huán)境已經(jīng)發(fā)生了變化，需要重新啟用顯著性檢測(cè)機(jī)制提取特征模板。在合格目標(biāo)數(shù)量大于2／3時(shí)，可利用合格目標(biāo)不斷修正特征模板并繼續(xù)進(jìn)行快速識(shí)別。

圖6 揀選系統(tǒng)識(shí)別流程

對(duì)于特征模板的修正采用的是區(qū)域積累的方式，每次快速識(shí)別之后對(duì)合格目標(biāo)的特征進(jìn)行采樣并求其與現(xiàn)有特征的差分，存入特定區(qū)間。區(qū)間積滿后，對(duì)區(qū)間內(nèi)的差分值進(jìn)行求和，并累加到現(xiàn)有特征上進(jìn)行修正。這樣的過程相當(dāng)于積分運(yùn)算，較大的積累區(qū)間能提高修正的準(zhǔn)確性，但是需要更大的存儲(chǔ)空間。

通過兩種識(shí)別方式相結(jié)合的檢測(cè)方法，在識(shí)別環(huán)境發(fā)生變化的時(shí)候，系統(tǒng)可以自動(dòng)大幅度調(diào)整其目標(biāo)特征來避免人工干預(yù)，從而達(dá)到自適應(yīng)的目的；在環(huán)境穩(wěn)定的情況下，又可以利用傳統(tǒng)的模板匹配方法進(jìn)行快速識(shí)別，縮短了識(shí)別時(shí)間，提高了工作效率。而對(duì)模板特征的不斷修正也是保障識(shí)別正確率的一個(gè)重要手段。

4 工業(yè)機(jī)器人揀選控制系統(tǒng)

圖7 機(jī)器人控制系統(tǒng)軟件結(jié)構(gòu)

找出缺陷目標(biāo)后，需要使用工業(yè)機(jī)器人將其揀選出來。本文基于數(shù)控中心擁有自主知識(shí)產(chǎn)權(quán)的華中數(shù)控HNC－08型數(shù)控系統(tǒng)設(shè)計(jì)了一套機(jī)器人揀選控制系統(tǒng)。該機(jī)器人數(shù)控系統(tǒng)運(yùn)動(dòng)的最小分辨率為0.001μm，最小插補(bǔ)周期為0.125ms，充分保證了機(jī)器人速度的穩(wěn)定性和運(yùn)動(dòng)的精確性。圖7所示為機(jī)器人控制系統(tǒng)軟件結(jié)構(gòu)。場(chǎng)景視頻經(jīng)由圖像識(shí)別終端分析后得到缺陷物體的圖像位置，并將所得像素坐標(biāo)經(jīng)坐標(biāo)變換轉(zhuǎn)換為機(jī)器人三維位姿坐標(biāo)后通過以太網(wǎng)傳輸給數(shù)控系統(tǒng)。數(shù)控系統(tǒng)上運(yùn)行的控制系統(tǒng)軟件通過通訊管理模塊接收到位姿坐標(biāo)，并由核心應(yīng)用模塊處理后調(diào)用機(jī)器人軟件操作接口產(chǎn)生相應(yīng)的機(jī)器人操作指令，最后通過NCUC總線驅(qū)動(dòng)模塊輸出到伺服驅(qū)動(dòng)單元控制機(jī)器人運(yùn)動(dòng)到相應(yīng)位置實(shí)現(xiàn)揀選。

圖8所示為控制系統(tǒng)的進(jìn)程結(jié)構(gòu)?？刂七M(jìn)程的工作由多個(gè)有效線程共同完成，其中網(wǎng)絡(luò)線程完成以太網(wǎng)的通訊工作；資源控制、狀態(tài)控制和異常檢測(cè)任務(wù)由監(jiān)控線程完成；實(shí)時(shí)控制線程負(fù)責(zé)機(jī)器人語言程序的解釋和位姿坐標(biāo)的解析，并可通過總線驅(qū)動(dòng)模塊向伺服驅(qū)動(dòng)單元傳遞轉(zhuǎn)動(dòng)參數(shù)，從而引導(dǎo)機(jī)器人定位抓取相應(yīng)目標(biāo)。圖9所示為使用數(shù)控中心R8405機(jī)器人進(jìn)行物品揀選的場(chǎng)景。

圖8 機(jī)器人控制系統(tǒng)進(jìn)程結(jié)構(gòu)

圖9 R8405機(jī)器人物品揀選示例

5 實(shí)驗(yàn)驗(yàn)證

將設(shè)計(jì)的工業(yè)機(jī)器人揀選系統(tǒng)應(yīng)用于數(shù)控中心R8405機(jī)器人上，并進(jìn)行水果、木塊、塑料插件等多種顏色、復(fù)雜形狀產(chǎn)品的缺陷揀選實(shí)驗(yàn)，正確揀選率可達(dá)91.67%，目標(biāo)定位精度誤差小于2mm。實(shí)驗(yàn)表明，該揀選系統(tǒng)能夠準(zhǔn)確、穩(wěn)定地完成各種不同色彩、形狀目標(biāo)的缺陷揀選工作，并對(duì)場(chǎng)景光照條件變化具有較強(qiáng)魯棒性。

6 結(jié)束語

產(chǎn)品缺陷檢測(cè)一直以來都是工業(yè)生產(chǎn)的重要環(huán)節(jié)，任何生產(chǎn)設(shè)備都不能保證生產(chǎn)出的產(chǎn)品全部合格。視覺引導(dǎo)下的機(jī)器人系統(tǒng)能夠準(zhǔn)確地將不合格產(chǎn)品揀選出來，其穩(wěn)定性和持久性都是人工無法比擬的，因此必將成為制造加工領(lǐng)域的發(fā)展趨勢(shì)。本文設(shè)計(jì)的工業(yè)機(jī)器人揀選系統(tǒng)以顯著性檢測(cè)技術(shù)為依托，實(shí)現(xiàn)了目標(biāo)場(chǎng)景的自適應(yīng)，提高了系統(tǒng)的自動(dòng)化程度和工作效率，為農(nóng)副產(chǎn)品的揀選和工業(yè)產(chǎn)品的合格檢測(cè)提供了有力的技術(shù)支持。

：

［1］ZOU J，LIU C C，ZHANG Y，et al.Object recognition using gabor cooccurrence similarity ［J］.Pattern Recognition，2013，46 （1）：434－448.

［2］Quyen Bui T T，Hong K S.Evaluating a color－based active basis model for object recognition ［J］.Computer Vision and Image Understanding，2012，116 （11）：1111－1120.

［3］Goferman S，Zelnik Manor L，Tal A.Context－aware saliency detection ［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2012，34 （10）：1915－1926.

［4］CHENG M M，ZHANG G X，Mitra N J，et al.Global contrast based salient region detection ［C］／／CVPR，Providence，RI，US，2011，409－416.

［5］Achanta R，Hemami S，Estrada F，et al.Frequency－tuned salient region detection ［C］／／CVPR Miami，F(xiàn)L，US，2009：1597－1604.

［6］Winnemller H，Kyprianidis J E，Olsen S C.XDoG：An ex－tended difference of gaussians compendium including advanced image stylization ［J］.Computers ＆ Graphics，2012，36 （6）：740－753.

［7］Einevoll G T，Plesser H E.Extended difference－of－gaussians model incorporating cortical feedback for relay cells in the lateral geniculate nucleus of cat ［J］.Cognitive Neurodynamics，2012，6 （4）：307－324.

［8］Stoutjesdijk M J，Zijp M，Boetes C，et al.Computer aided analysis of breast MRI enhancement kinetics using mean shift clustering and multifeature iterative region of interest selection ［J］.Journal of Magnetic Resonance Imaging，2012，36 （5）：1104－1112.

［9］Sunat K，Padungweang P，Chiewchanwattana S.Generalized transport mean shift algorithm for ubiquitous intelligence［J］.Simulation，2012，88 （10）：1202－1215.

［10］Sftoiu A，Gheonea D I，Ciurea T.Hue histogram analysis of real－time elastography images for noninvasive assessment of liver fibrosis ［J］.American Journal of Roentgenology，2007，189 （4）：W232－W233.

［11］Tsai S H，Tseng Y H.A novel color detection method based on HSL color space for robotic soccer competition ［J］.Computers ＆ Mathematics with Applications，2012，64 （5）：1291－1300.

［12］LING H，Jacobs D W.Shape classification using the inner－distance ［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2007，29 （2）：286－299.