基于顏色輪廓的網(wǎng)球收集機(jī)器人識(shí)別算法研究

孫金風(fēng) 申言鑫 楊智勇 陳龍

［收稿日期］20211019

［基金項(xiàng)目］國(guó)家自然科學(xué)基金（51907055）； 湖北省教育廳中青年人才項(xiàng)目（Q20191404）

［第一作者］孫金風(fēng)（1979-），男，湖北鄂州人，湖北工業(yè)大學(xué)教授，研究方向?yàn)闄C(jī)械設(shè)計(jì)及理論

［通信作者］楊智勇（1987-），男，湖北漢川人，工學(xué)博士，湖北工業(yè)大學(xué)講師，研究方向?yàn)闄C(jī)器人技術(shù)和自動(dòng)化技術(shù)

［文章編號(hào)］1003-4684（2023）02-0022-05

［摘要］針對(duì)網(wǎng)球收集機(jī)器人工作中識(shí)別準(zhǔn)確率低下問(wèn)題，提出一種基于網(wǎng)球顏色和輪廓特征的識(shí)別算法。通過(guò)分析網(wǎng)球圖像的顏色空間，得到網(wǎng)球與背景的二值圖像，結(jié)合網(wǎng)球區(qū)域特征做進(jìn)一步精準(zhǔn)識(shí)別。在重疊網(wǎng)球識(shí)別上，提出區(qū)域分割和輪廓擬合的算法，對(duì)重疊區(qū)域提取分割、擬合還原網(wǎng)球輪廓。通過(guò)實(shí)驗(yàn)驗(yàn)證算法可行性，結(jié)果表明該算法可在不同環(huán)境下精確識(shí)別網(wǎng)球。

［關(guān)鍵詞］網(wǎng)球識(shí)別；? 二值圖像；? 形態(tài)學(xué)；? 區(qū)域分割

［中圖分類號(hào)］TP242? ［文獻(xiàn)標(biāo)識(shí)碼］A

拾取散落在場(chǎng)地上的網(wǎng)球以人工為主，不僅勞動(dòng)強(qiáng)度大，而且效率低下。本文通過(guò)視覺(jué)技術(shù)對(duì)機(jī)器人目標(biāo)識(shí)別進(jìn)行研究，提出一種基于網(wǎng)球顏色與輪廓的識(shí)別算法。該算法可顯著提升網(wǎng)球識(shí)別準(zhǔn)確率，進(jìn)而提升網(wǎng)球愛(ài)好者的練球效率。

1??? 網(wǎng)球收集機(jī)器人總體方案設(shè)計(jì)

網(wǎng)球收集機(jī)器人將拾取機(jī)構(gòu)及運(yùn)輸機(jī)構(gòu)合為一體，滿足了結(jié)構(gòu)簡(jiǎn)單、易于加工等要求。其整體結(jié)構(gòu)包括拾取機(jī)構(gòu)、運(yùn)輸機(jī)構(gòu)、行走機(jī)構(gòu)等（圖1）。

網(wǎng)球收集機(jī)器人總體設(shè)計(jì)方案包括網(wǎng)球識(shí)別、定位、運(yùn)動(dòng)控制、網(wǎng)球拾取等4個(gè)方面。工作時(shí)使用雙目相機(jī)采集圖像傳輸?shù)接?jì)算機(jī)處理器，再通過(guò)識(shí)別算法對(duì)圖像進(jìn)行分析處理，實(shí)現(xiàn)網(wǎng)球目標(biāo)的識(shí)別和定位。將定位信息傳遞給下位機(jī)，下位機(jī)得到信息后便驅(qū)動(dòng)行走，使機(jī)器人到達(dá)指定位置進(jìn)行網(wǎng)球收集工作。

2??? 網(wǎng)球圖像分割與識(shí)別

通過(guò)雙目相機(jī)采集圖像傳輸給計(jì)算機(jī)進(jìn)行處理，通過(guò)顏色分析來(lái)識(shí)別網(wǎng)球。對(duì)圖片中的網(wǎng)球目標(biāo)區(qū)域進(jìn)行分割、提取、擬合，并設(shè)置輪廓特征參數(shù)進(jìn)行篩選，提高了網(wǎng)球識(shí)別效率。

2.1??? 顏色空間

顏色空間的用途是在某些標(biāo)準(zhǔn)下用平?？梢越邮艿姆绞綄?duì)彩色加以描述[1]。HSI顏色空間是從人的視覺(jué)系統(tǒng)出發(fā)，由色度、飽和度和亮度來(lái)描述色彩[2]，其中：H為色調(diào)，S為飽和度，I表示亮度。在此顏色模型中，主要因素是H分量，色調(diào)值在H發(fā)生變化時(shí)也隨之變化。S分量越小，顏色越接近純灰色；S分量越大，則顏色越純[3]。HSI顏色空間模型見(jiàn)圖2。

人類視覺(jué)對(duì)亮度的敏感程度遠(yuǎn)強(qiáng)于對(duì)顏色濃淡的敏感程度[4]。相比RGB色彩空間，HSI色彩空間更符合人類視覺(jué)特點(diǎn)，因此被廣泛用于圖像表示和處理系統(tǒng)中。

2.2??? 基于HSI顏色特征的目標(biāo)提取

在HSI空間下識(shí)別顏色具有調(diào)試簡(jiǎn)單、識(shí)別精度高等特點(diǎn)。HSI空間下的三通道值之間相互關(guān)聯(lián)，更容易分級(jí)調(diào)試閾值、修正環(huán)境影響產(chǎn)生的閾值偏移問(wèn)題。

Halcon是一款由德國(guó)MVTec公司研發(fā)的圖像處理算法軟件，有著豐富的圖像處理算子和交互開(kāi)發(fā)工具。在網(wǎng)球場(chǎng)上用攝像頭隨機(jī)捕獲一張照片，采用Halcon中decompose3（Image，ImageR，ImageG，ImageB）算子將圖片轉(zhuǎn)化為RGB色彩空間的三個(gè)通道圖像，再利用trans_from_rgb（ImageR，ImageG，ImageB，ImageH，ImageS，ImageI，'hsi'）算子將RGB三通道圖像轉(zhuǎn)化為所需要的HSI三通道圖像（圖3）。

確定網(wǎng)球在HSI顏色空間下的顏色范圍。首先從拍攝的圖像中截取網(wǎng)球部分進(jìn)行顏色分析，可以調(diào)用gen_circle（）函數(shù)和reduce_domain（）函數(shù)得到網(wǎng)球特定區(qū)域。

運(yùn)用equ_histo_image（）算子對(duì)截取出的網(wǎng)球特定區(qū)域圖像進(jìn)行顏色分析，得出HSI顏色分量統(tǒng)計(jì)直方圖（圖4）。

從直方圖中可以觀察出三通道上各顏色分量的大致分布區(qū)間，參照得到顏色分布區(qū)間，設(shè)置合理的閾值區(qū)間，對(duì)圖像進(jìn)行預(yù)切割。預(yù)切割的目的是要精確提取出網(wǎng)球，因此要利用與原圖大小相同的圖像矩陣，減小誤差，滿足閾值區(qū)域的像素點(diǎn)將被置彩色。對(duì)圖像進(jìn)行預(yù)切割效果如圖5所示。

從預(yù)切割效果圖中可以看出，通過(guò)對(duì)三顏色通道的初步閾值處理，可以將網(wǎng)球提取出來(lái)，但圖像存在網(wǎng)球影子和其他噪聲，因此還需要進(jìn)一步調(diào)整。通過(guò)threshold（）算子分別調(diào)整H、S、I三個(gè)通道的閾值大小，直到能夠去除網(wǎng)球影子的干擾，分割出網(wǎng)球目標(biāo)的基本區(qū)域?yàn)橹梗⑷コ咚乖肼?。其大體效果如圖6所示。

從圖6來(lái)看，精調(diào)到合適的閾值進(jìn)行圖像處理以及簡(jiǎn)單的濾波，基本可以除去網(wǎng)球影子噪音干擾。但是提取的網(wǎng)球目標(biāo)區(qū)域存在局部損失等缺陷，不利于識(shí)別定位，故需要進(jìn)一步形態(tài)學(xué)處理來(lái)增強(qiáng)圖像質(zhì)量提高識(shí)別精準(zhǔn)度。

2.3??? 基于形態(tài)學(xué)處理和網(wǎng)球輪廓的識(shí)別算法

2.3.1??? 形態(tài)學(xué)處理數(shù)學(xué)形態(tài)學(xué)處理中的開(kāi)運(yùn)算與閉運(yùn)算可有效解決圖像中存在的微小空隙與噪聲現(xiàn)象。由于噪聲區(qū)域與網(wǎng)球目標(biāo)區(qū)域在形狀和面積上存在明顯差異，可以利用面積和形狀特征進(jìn)行篩選，除去噪聲區(qū)域，將網(wǎng)球目標(biāo)區(qū)域分割出來(lái)。

經(jīng)閉運(yùn)算closing（）算子處理后，網(wǎng)球輪廓內(nèi)部微小的空洞雖得到填充，并且外輪廓變得平滑，但未達(dá)到理想效果（圖7）。

在閉運(yùn)算處理時(shí)，選擇模板尺寸較小，空洞修復(fù)效果不理想，而模板尺寸過(guò)大，輪廓會(huì)產(chǎn)生較大形變。單獨(dú)的閉運(yùn)算解決不了網(wǎng)球圖像內(nèi)部的較大空洞問(wèn)題，因此，需要用到空洞填充算法，即建立種子點(diǎn)的八鄰域，向鄰域內(nèi)各個(gè)方向上搜索，對(duì)每一個(gè)像素進(jìn)行修改，將輪廓范圍內(nèi)所有像素點(diǎn)修改為目標(biāo)顏色，直到遇到輪廓邊界?？斩刺畛鋐ill_up（ ）算子處理后，內(nèi)部空洞完全得到填充，外輪廓變得更加平滑（圖8）。

噪聲區(qū)域的面積與網(wǎng)球區(qū)域面積存在明顯差異，經(jīng)過(guò)調(diào)試發(fā)現(xiàn)單個(gè)網(wǎng)球目標(biāo)區(qū)域面積范圍大約為17 000～25 000 像素。設(shè)計(jì)以面積[15 000，30 000]為閾值，對(duì)二值圖像進(jìn)行面積特征閾值處理。當(dāng)區(qū)域面積低于15 000或高于30 000，則認(rèn)為該區(qū)域?yàn)樵肼?。處理過(guò)后可明顯看出噪聲被完全去除，效果如圖9所示。

考慮到有時(shí)噪聲區(qū)域會(huì)與網(wǎng)球目標(biāo)區(qū)域面積大小相當(dāng)，簡(jiǎn)單的面積濾波則會(huì)失效。由于目標(biāo)區(qū)域和噪聲區(qū)域形狀上也存在一些差異，利用區(qū)域圓度特征參數(shù)進(jìn)行篩選，進(jìn)一步提高網(wǎng)球識(shí)別算法的魯棒性和準(zhǔn)確性。

區(qū)域圓度C是區(qū)域面積與外接圓面積的比值，且

C=FπRmax2

式中：F為區(qū)域面積；Rmax為外接圓的半徑。其中，0

如圖10c所示，經(jīng)過(guò)簡(jiǎn)單面積濾波處理后，網(wǎng)球輪廓雖被清晰提取，但旁邊噪聲區(qū)域面積較大，則需利用面積和圓度兩個(gè)區(qū)域特征進(jìn)行網(wǎng)球區(qū)域提取，其中圓度閾值設(shè)置為0.5。最終效果如圖10d所示。

2.3.2??? 網(wǎng)球輪廓的識(shí)別算法對(duì)形態(tài)學(xué)處理后的灰度圖像。首先使用Canny濾波器進(jìn)行邊緣檢測(cè)，邊緣檢測(cè)具體步驟：1）利用高斯濾波器平滑圖像，過(guò)濾噪聲；2）利用sobel算子計(jì)算圖像中像素點(diǎn)的大小方向；3）使用非極大值抑制，消除邊緣檢測(cè)帶來(lái)的不利影響；4）雙閾值檢測(cè)確定真實(shí)邊緣與潛在邊緣；5）利用抑制孤立弱邊緣完成邊緣檢測(cè)。然后運(yùn)用gen-contour-region-xld（）算子提取目標(biāo)的初始輪廓（圖11a）。最后使用fit-circle-contour-xld（）算子和 gen-circle-contour-xld（）算子進(jìn)行輪廓擬合生成擬合圓形輪廓（圖11b）。

通過(guò)特征提取算子，得到每個(gè)網(wǎng)球的擬合圓形輪廓的半徑和圓心位置，再通過(guò)函數(shù)設(shè)置一個(gè)網(wǎng)球的半徑范圍。將半徑比較大和比較小的輪廓圓視為錯(cuò)誤進(jìn)行剔除，將在半徑范圍內(nèi)的網(wǎng)球視為正確的網(wǎng)球，在得到的擬合圓圖形上進(jìn)行填充操作并繪制在原圖上，得到網(wǎng)球區(qū)域識(shí)別效果圖（圖13b）。最后使用smallest_rectangle2（）算子和gen_rectangle_ccontour_xld（）算子對(duì)擬合圓區(qū)域獲取最小外包矩形框圖和幾何中點(diǎn)的像素坐標(biāo)，從而實(shí)現(xiàn)網(wǎng)球目標(biāo)的識(shí)別。識(shí)別過(guò)程如圖12所示。

2.4??? 重疊網(wǎng)球目標(biāo)的識(shí)別

用簡(jiǎn)單的形態(tài)學(xué)處理和輪廓篩選，只能識(shí)別出單個(gè)網(wǎng)球，而不會(huì)識(shí)別重疊網(wǎng)球。

網(wǎng)球從各個(gè)角度看都是一個(gè)近似于圓的橢圓。重疊網(wǎng)球區(qū)域的外輪廓都是由各網(wǎng)球未遮擋部分的外輪廓圓弧組成，只要分割出各段圓弧，就得到了每個(gè)網(wǎng)球的部分外輪廓，再根據(jù)該部分圓弧來(lái)擬合整個(gè)網(wǎng)球輪廓，即可在圖像中識(shí)別重疊部分的網(wǎng)球。所以，對(duì)于重疊網(wǎng)球的識(shí)別，提出一種輪廓分割與擬合的識(shí)別算法。

2.4.1??? 提取重疊網(wǎng)球區(qū)域重疊區(qū)域的提取同單個(gè)網(wǎng)球的識(shí)別過(guò)程相似。首先對(duì)網(wǎng)球顏色空間三通道進(jìn)行閾值分割，提取出初步的重疊區(qū)域，再利用形態(tài)學(xué)開(kāi)運(yùn)算與填充算法解決內(nèi)部空洞現(xiàn)象，提高外輪廓平滑度，最后采用面積濾波去除多余噪聲。

經(jīng)過(guò)上述步驟提取出來(lái)的重疊網(wǎng)球區(qū)域和真實(shí)圖像的網(wǎng)球區(qū)域基本重合。后續(xù)算法將針對(duì)重疊網(wǎng)球區(qū)域圖像進(jìn)一步處理，以完成對(duì)重疊網(wǎng)球的識(shí)別。

2.4.2??? 區(qū)域分割和擬合經(jīng)過(guò)上述對(duì)重疊網(wǎng)球區(qū)域的提取，接下來(lái)通過(guò)區(qū)域分割和擬合的方法對(duì)重疊區(qū)域進(jìn)行輪廓提取分割，并對(duì)分割后輪廓進(jìn)行擬合，生成完整的網(wǎng)球輪廓，利用該輪廓確定其重心，重心作為網(wǎng)球的中心，即可完成重疊網(wǎng)球識(shí)別。

重疊區(qū)域中的最大內(nèi)接圓一定包含無(wú)遮擋網(wǎng)球輪廓，對(duì)重疊網(wǎng)球區(qū)域進(jìn)行最大內(nèi)接圓操作，可得到無(wú)遮擋網(wǎng)球區(qū)域。對(duì)無(wú)遮擋網(wǎng)球區(qū)域進(jìn)行重心計(jì)算得到網(wǎng)球中心，即可完成無(wú)遮擋網(wǎng)球目標(biāo)的識(shí)別（圖14）。

得到無(wú)遮擋網(wǎng)球區(qū)域后，利用區(qū)域相減得到重疊網(wǎng)球區(qū)域（圖15a），接著提取重疊網(wǎng)球區(qū)域外輪廓（圖15b），并對(duì)其輪廓進(jìn)行擬合圓操作，再提取擬合圓區(qū)域，可得到重疊網(wǎng)球的擬合區(qū)域（圖15d），計(jì)算出擬合圓中心點(diǎn)，完成重疊網(wǎng)球識(shí)別。

3??? 實(shí)驗(yàn)結(jié)果與分析

分別在室內(nèi)外兩種環(huán)境下進(jìn)行實(shí)驗(yàn)驗(yàn)證。圖16為室內(nèi)實(shí)驗(yàn)效果。由于室內(nèi)光照穩(wěn)定，通過(guò)HSI各通道閾值調(diào)試、形態(tài)學(xué)分析處理和區(qū)域提取等操作，便可精確識(shí)別網(wǎng)球。

圖17為室外重疊網(wǎng)球識(shí)別效果。利用顏色特征和形態(tài)學(xué)處理得到的網(wǎng)球區(qū)域，再通過(guò)面積特征提取重疊網(wǎng)球區(qū)域作為感興趣區(qū)域ROI，然后單獨(dú)對(duì) ROI區(qū)域進(jìn)行輪廓分割和擬合，還原每個(gè)被遮擋網(wǎng)球的外輪廓，計(jì)算其中心點(diǎn)坐標(biāo)，完成網(wǎng)球目標(biāo)的識(shí)別。其算法平均運(yùn)行時(shí)間為0.14 s，網(wǎng)球識(shí)別速度大約為7幀/s。

從室內(nèi)外場(chǎng)地的測(cè)試可以看出，基于顏色和網(wǎng)球區(qū)域特征的識(shí)別算法在不同場(chǎng)景較為精準(zhǔn)地實(shí)現(xiàn)網(wǎng)球目標(biāo)識(shí)別。

在光照和角度等不同的環(huán)境下進(jìn)行多次網(wǎng)球識(shí)別實(shí)驗(yàn)，并對(duì)實(shí)驗(yàn)數(shù)據(jù)進(jìn)行分析（表1），圖18為部分識(shí)別效果。

4??? 結(jié)論

為提高網(wǎng)球收集機(jī)器人目標(biāo)識(shí)別效率，設(shè)計(jì)了基于網(wǎng)球顏色和輪廓特征的識(shí)別算法。該算法通過(guò)網(wǎng)球的顏色特征、輪廓特征對(duì)圖像進(jìn)行處理，篩選出網(wǎng)球區(qū)域輪廓，進(jìn)而完成對(duì)網(wǎng)球的識(shí)別。通過(guò)多次識(shí)別實(shí)驗(yàn)，網(wǎng)球整體識(shí)別正確率達(dá)到88.9%，表明基于顏色和網(wǎng)球區(qū)域特征的識(shí)別算法可以在不同場(chǎng)景較為精準(zhǔn)地實(shí)現(xiàn)網(wǎng)球識(shí)別。

［參考文獻(xiàn)］

［1］侯賓，張文志，戴源成，等.基于OpenCV的目標(biāo)物體顏色及輪廓的識(shí)別方法[J].現(xiàn)代電子技術(shù)，2014，37（24）：76-79.

[2]張志寶，孫微濤，羅文峰.基于HSI空間改進(jìn)的彩色圖像邊緣檢測(cè)方法[J].計(jì)算機(jī)與數(shù)字工程，2016，44（11）：2257-2262.

[3]席小剛，孫浩，鐘方偉，等.基于HSI模型和最大隸屬度圖像分割算法的研究[J].電視技術(shù)，2018，42（10）：12-16.

[4]湯慧.多顏色空間融合的顏色特征提取方法及應(yīng)用[D].長(zhǎng)沙：中南大學(xué)，2011.

Research on Recognition Algorithm of Tennis CollectingRobot Based on Color Contour

SUN Jinfeng， SHEN Yanxin， YANG Zhiyong， CHEN Long

（School of Mechanical Engineering， Hubei Univ. of Tech.， Wuhan 430068，China）

Abstract：Aiming at the low recognition accuracy of tennis collection robot， a tennis recognition algorithm based on tennis color and contour features is proposed. By analyzing the color space of tennis image， the binary image of tennis and background is obtained. The binary image is optimized by morphological processing， and the tennis area features are combined for further accurate tennis recognition. In the recognition of overlapping tennis balls， an algorithm of region segmentation and contour fitting is proposed to extract， segment， fit and restore the contour of tennis balls. Realize the recognition of overlapping tennis balls. Finally， the feasibility of the algorithm is verified by experiments. The results show that the recognition algorithm can accurately recognize tennis indoors and outdoors.

Keywords：tennis recognition;?? binary image; morphology; region segmentation

［責(zé)任編校： 張眾］