江殿程,蔣雪松,王皖君,張孝紅,業(yè)巧林
(南京林業(yè)大學(xué) 機(jī)械電子工程學(xué)院,江蘇 南京 210037)
我國電動(dòng)汽車行業(yè)在國家相關(guān)政策的鼓勵(lì)下蓬勃發(fā)展,且電動(dòng)公交車因其具有零排放、使用成本低、綠色環(huán)保等特點(diǎn)受到各地政府的青睞[1]。隨著電動(dòng)公交車的普及,所產(chǎn)生的充電作業(yè)也成了各地公交公司運(yùn)營時(shí)面臨的一大難題。目前,公交公司都建有專門的充電站,需要大量的人力每天對(duì)電動(dòng)公交車進(jìn)行充電與維護(hù),加上其電池容量大,要求充電時(shí)間短,采用大電流充電要求充電電纜截面積較大,充電電纜的重量隨之增大,操作人員插拔充電槍的勞動(dòng)強(qiáng)度較大。
針對(duì)該問題,已有多家公司開展對(duì)自動(dòng)充電機(jī)器人的研究。如特斯拉公司研發(fā)了一款蛇形機(jī)器人,能夠自動(dòng)尋找充電口對(duì)接充電[2];大眾汽車集團(tuán)研發(fā)的一款移動(dòng)式充電機(jī)器人可自行移動(dòng)至電動(dòng)汽車附近完成充電任務(wù)[3]。準(zhǔn)確識(shí)別充電插座是實(shí)現(xiàn)電動(dòng)公交車自動(dòng)充電的必要條件,本文將應(yīng)用圖像處理與機(jī)器視覺技術(shù)研究充電插座識(shí)別問題,為通用機(jī)械臂提供位置信息[4]。
目前機(jī)器視覺領(lǐng)域常用的識(shí)別方法主要有基于組件的模板匹配、基于相關(guān)性的模板匹配、基于灰度的模板匹配等[5],由于電動(dòng)公交車的充電作業(yè)通常在室外實(shí)施,每次停車位置離充電樁遠(yuǎn)近不一,且受地面平整度和輪胎氣壓的影響,充電插座會(huì)產(chǎn)生微小的角度偏差,而組件匹配不支持大小縮放的匹配,因此不適用于充電插座的識(shí)別。相關(guān)性匹配對(duì)光照的影響較小,且匹配速度快,但其精度較低,對(duì)于充電而言存在一定的安全隱患?;叶绕ヅ涫芄庹沼绊懘螅垢蓴_能力不強(qiáng),室外充電的電動(dòng)公交車無法滿足良好的光照條件,因此也不適用。綜合外界光照和充電插座可能存在微小傾斜角度的影響,本文提出一種基于Canny 算子的亞像素精度輪廓幾何匹配方法,實(shí)現(xiàn)充電插座的目標(biāo)識(shí)別。
電動(dòng)公交車充電插座識(shí)別過程主要包括圖像預(yù)處理和模板匹配兩個(gè)部分。首先通過相機(jī)采集充電插座的圖像,由于采集的圖像易受到相機(jī)硬件條件和光照不均勻的影響,會(huì)產(chǎn)生噪聲干擾,還需要對(duì)圖像進(jìn)行預(yù)處理提高圖像質(zhì)量,突出重要特征的顯現(xiàn)[6]。首先對(duì)采集圖像進(jìn)行顏色空間轉(zhuǎn)換,獲取有利于圖像預(yù)處理的灰度分量圖,再通過blob 分析,分割得到所需特征區(qū)域,然后對(duì)特征區(qū)域使用Canny 邊緣檢測(cè)算子獲取邊緣輪廓?jiǎng)?chuàng)建模板,最后通過模板匹配在被測(cè)圖像中識(shí)別目標(biāo),具體流程如圖1 所示。
圖1 目標(biāo)識(shí)別流程圖
通過相機(jī)直接采集的圖像由于光照及其硬件的影響,包含干擾噪聲,識(shí)別研究中,圖像質(zhì)量的好壞直接影響識(shí)別算法的設(shè)計(jì)與效果的精度,因此在圖像識(shí)別前,需要進(jìn)行預(yù)處理操作。
采集圖像中R、G、B 3 個(gè)分量都是高度相關(guān)的,對(duì)光照較為敏感。HSV 顏色空間通過色調(diào)(Hue)、飽和度(Saturation)、明度(Value)來描述顏色,與RGB 顏色空間相比,HSV 顏色空間能夠非常直觀地表達(dá)色彩的明暗、色調(diào)以及鮮艷程度,方便進(jìn)行顏色之間的對(duì)比,在圖像處理中應(yīng)用廣泛[7]。
為降低噪聲對(duì)圖像分析的影響,需要選擇適當(dāng)方法對(duì)圖像進(jìn)一步濾波處理。常用的圖像濾波方法有均值濾波、中值濾波、高斯濾波等[8]。均值濾波使用模板中全體像素的平均值來代替原來像素值,易受噪聲干擾,不能完全消除噪聲,只能相對(duì)減弱噪聲。中值濾波是將每一像素點(diǎn)的灰度值設(shè)置為該點(diǎn)某鄰域窗口內(nèi)的所有像素點(diǎn)灰度值的中值,雖然能夠較好地消除椒鹽噪聲,但容易導(dǎo)致圖像的不連續(xù)性。高斯濾波就是對(duì)整幅圖像進(jìn)行加權(quán)平均的過程,每一個(gè)像素點(diǎn)的值都由其本身和鄰域內(nèi)的其他像素值經(jīng)過加權(quán)平均后得到,在對(duì)圖像進(jìn)行平滑的同時(shí)能夠更多地保留圖像的總體灰度分布特征。高斯模板參數(shù)的計(jì)算公式如式(1)所示。
式中,G(x,y)是標(biāo)準(zhǔn)差為σ 的二維高斯核;x2和y2分別表示的是鄰域內(nèi)其他像素與鄰域內(nèi)中心像素的距離。標(biāo)準(zhǔn)差σ 越高,濾波結(jié)果就越平滑。
邊緣檢測(cè)的目的是提取圖像中的邊緣特征,邊緣檢測(cè)的算子中又分為一階檢測(cè)算子和二階檢測(cè)算子,其中,一階檢測(cè)算子包括Roberts 交叉算子[9]、Prewitt 算子[10]、Sobel 算子[11]和Canny 算子[12]等,二階檢測(cè)算子包括Lapacian 算子[13]、Marr-Hidreth 算子[14]和LoG 算 子[15]等。其中Canny 算子因其具有信噪比高、定位性能好和對(duì)邊緣僅有唯一響應(yīng)等優(yōu)點(diǎn),在邊緣檢測(cè)中具有廣泛的應(yīng)用。Canny 邊緣檢測(cè)算法步驟如下:
(1)運(yùn)用高斯濾波進(jìn)行降噪處理;
(2)計(jì)算梯度幅度和方向;
(3)對(duì)梯度值進(jìn)行非極大值抑制;
(4)雙閥值算法檢測(cè)及連接邊緣。
針對(duì)在不同光照下對(duì)充電插座的識(shí)別情況,本文首先在特定光照條件情況下采集的充電插座圖像中創(chuàng)建搜索模板,然后分別采集不同時(shí)間光照下且具有一定傾角的圖像測(cè)試本文提出的識(shí)別方法,并驗(yàn)證算法的有效性。通過對(duì)RGB 圖像進(jìn)行顏色空間轉(zhuǎn)換、blob 分析[16]、濾波處理、邊緣檢測(cè)等,得到較好的邊緣輪廓,為創(chuàng)建模板提供高質(zhì)量的圖像,根據(jù)已創(chuàng)建的模板通過模板匹配進(jìn)一步識(shí)別出采集圖像中的充電插座。充電插座在不同光照條件下的RGB 圖像如圖2 所示,從圖像中可以看出充電插座內(nèi)部結(jié)構(gòu)較為復(fù)雜,顏色以黑色為主,且相隔一定距離拍攝,插座內(nèi)部有一定的模糊性,在光線越弱的情況下,其內(nèi)部的模糊性越大,提高了識(shí)別難度,現(xiàn)有識(shí)別方式難以準(zhǔn)確識(shí)別出目標(biāo)。
圖2 不同光照下充電插座的RGB 圖像
對(duì)采集的充電插座圖像進(jìn)行顏色空間轉(zhuǎn)換,應(yīng)用Halcon中的decompose3算子得到H、S、V3個(gè)灰度分量,3個(gè)分量的灰度圖如圖3 所示。其中,V 分量灰度直方圖像素分布比較均勻,而H 分量與S 分量存在部分噪聲。
圖3 充電插座HSV 顏色空間
識(shí)別電動(dòng)公交車充電插座,首先需要根據(jù)充電插座的內(nèi)部區(qū)域創(chuàng)建模板,先對(duì)圖4 中HSV 圖的H 分量進(jìn)行blob 分析,通過灰度直方圖使用Threshold 算子設(shè)置閾值區(qū)間進(jìn)行閾值處理,使整個(gè)圖像分成若干區(qū)域;再應(yīng)用connection 算子使圖像中的若干區(qū)域斷開,形成獨(dú)立的個(gè)體;然后通過select_shape 算子和reduce_domain算子通過面積特征分割出充電插座的內(nèi)部區(qū)域,分割結(jié)果如圖4 所示。針對(duì)圖4 中仍具有一些噪聲,使用gauss_image(Image,ImageGauss,7)算子實(shí)現(xiàn)高斯平滑處理,處理效果如圖5 所示。
圖4 充電插座內(nèi)部區(qū)域
圖5 高斯濾波處理
高斯濾波處理后的充電插座內(nèi)部區(qū)域中噪聲明顯減少,有利于提取邊緣輪廓。觀察充電插座的內(nèi)部區(qū)域可以看出,內(nèi)部較為明顯的邊緣區(qū)域?yàn)閮蓚€(gè)較大的直流接口和一個(gè)PE 接地端口的外端輪廓,將其作為特征提取區(qū)域應(yīng)用gen_rectangle1 算子繪制生成一個(gè)ROI 區(qū)域,然后使用reduce_domain 算子進(jìn)行ROI 區(qū)域分割,將兩個(gè)直流接口和一個(gè)接地端口分割出來,再通過edges_sub_pix算子運(yùn)用Canny 算法實(shí)現(xiàn)對(duì)3 個(gè)接口外端輪廓的亞像素精度邊緣提取,提取結(jié)果如圖6 所示。
圖6 Canny 算子邊緣提取
將創(chuàng)建好的邊緣通過create scaled_shape_model_xld(NumLevels,AngleStart,AngleExtent,AngleStep,ScaleMin,ScaleMax,ScaleStep,Optimization,Metric,MinContrast:ModelID)算子創(chuàng)建一個(gè)可以進(jìn)行亞像素精度輪廓匹配且各向同性縮放的形狀模型,金字塔的層數(shù)由參數(shù)NumLevels確定,如果金字塔層數(shù)太大,則模板不容易被識(shí)別出來;金字塔層數(shù)太少,則找到模板的使用時(shí)間就會(huì)增加,若設(shè)為“auto”,算法會(huì)自動(dòng)計(jì)算金字塔層數(shù)。因?yàn)槌潆姴遄趯?shí)際的環(huán)境下會(huì)有微小的旋轉(zhuǎn)角度,所以參數(shù)AngleStart、AngleExtent 定義了模板可能發(fā)生旋轉(zhuǎn)的范圍。ScaleMin 和ScaleMax 分別代表了模型的最小縮放比例和最大縮放比例,這些參數(shù)需要根據(jù)實(shí)際情況進(jìn)行設(shè)置,創(chuàng)建好的匹配模板如圖7 所示。
圖7 匹配模板
實(shí)驗(yàn)裝置主要包括工業(yè)相機(jī)、工業(yè)鏡頭、固定支架、計(jì)算機(jī)。考慮到電動(dòng)公交車充電過程在室外完成,因此整個(gè)識(shí)別過程在自然光照下完成。
在Halcon 中,運(yùn)用find_scaled _shape_model(Image,ModelID,AngleStart,AngleExtent,ScaleMin,ScaleMax,Min-Score,NumMatches,MaxOverlap,SubPixel,NumLevels,Greediness,Row,Column,Angle,Scale,Score)算子進(jìn)行模板匹配,匹配的精度受其內(nèi)部參數(shù)的影響,參數(shù)中的AngleStart和AngleExtent 確定了模板搜索的旋轉(zhuǎn)角度,ScaleMin 和ScaleMax 是最小和最大縮放比例,這些參數(shù)的設(shè)置需要與create_scaled_shape_model_xld 算子中給定的值一致;將要查找模型實(shí)例的最低分?jǐn)?shù)參數(shù)MinScore 設(shè)置為0.8;參數(shù)SubPixel 用來確定找到的目標(biāo)是否使用亞像素精度提取,因?yàn)閷?duì)充電插座的識(shí)別精度要求較高,所以模板的位置應(yīng)通過最小二乘調(diào)整解決,這需要額外的計(jì)算時(shí)間,所以選用least_squares模式確保運(yùn)行時(shí)間和精度的權(quán)衡;參數(shù)Greediness 表示貪婪度,用于控制定位加速,該值越大,速度越快,丟失模板的幾率也越大,對(duì)貪婪度值的選取,可通過實(shí)驗(yàn)得到貪婪度與匹配時(shí)間的關(guān)系選取最佳值,結(jié)果如圖8 所示。根據(jù)實(shí)驗(yàn)分析,貪婪度取值0.8 可保證在較準(zhǔn)確識(shí)別的情況下匹配時(shí)間較短,平均時(shí)間為14 ms。
圖8 貪婪度與匹配時(shí)間關(guān)系
根據(jù)上述的配置進(jìn)行模板匹配的實(shí)驗(yàn)分析,因考慮到電動(dòng)公交車充電過程在室外完成,故選取天氣狀況為晴天,時(shí)間為下午兩點(diǎn)至六點(diǎn),這段時(shí)間可以明顯地反映出光照由強(qiáng)到弱的變化,且每隔一小時(shí)進(jìn)行一次目標(biāo)檢測(cè),每次檢測(cè)時(shí)將充電插座的傾斜角度分別設(shè)置為0°、5°、10°,每個(gè)度數(shù)進(jìn)行30 次檢測(cè)(部分實(shí)驗(yàn)結(jié)果如圖9 所示),觀察檢測(cè)的時(shí)間及準(zhǔn)確率,實(shí)驗(yàn)結(jié)果如表1所示。
圖9 不同偏轉(zhuǎn)角度在各個(gè)時(shí)間段的部分的實(shí)驗(yàn)結(jié)果圖
分析表1 可知,在不同的時(shí)間段對(duì)不同傾斜角度的充電插座進(jìn)行識(shí)別檢測(cè),綜合平均識(shí)別的時(shí)間為12.36 ms,平均準(zhǔn)確率達(dá)到97.8%,且實(shí)例平均分?jǐn)?shù)高達(dá)0.952以上。實(shí)驗(yàn)結(jié)果說明本文基于Canny 算子的亞像素精度輪廓幾何匹配方法能夠降低光照對(duì)充電插座的影響,在光照較弱的情況下仍具有高的識(shí)別精度和較高準(zhǔn)確率。
表1 充電插座目標(biāo)識(shí)別實(shí)驗(yàn)結(jié)果
本文將機(jī)器視覺運(yùn)用到充電插座的識(shí)別檢測(cè)中,通過Halcon 軟件對(duì)圖像中的插座進(jìn)行識(shí)別,實(shí)驗(yàn)表明基于Canny 算子的亞像素邊緣提取與幾何匹配相結(jié)合的方法對(duì)不同光照環(huán)境的抗干擾能力較強(qiáng)。該方法對(duì)實(shí)現(xiàn)電動(dòng)公交車自動(dòng)化充電具有重要意義,既克服了外界光照的影響,又保證了識(shí)別的準(zhǔn)確率。隨著對(duì)電動(dòng)公交車自動(dòng)化充電技術(shù)的發(fā)展,對(duì)充電插座的識(shí)別檢測(cè)在后續(xù)的發(fā)展中必然得到更加廣泛的研究和應(yīng)用。