紅花花絲二維中心點(diǎn)標(biāo)定方法研究

張?zhí)煊?，張立新，?云，王 歡，劉光欣

石河子大學(xué) 機(jī)械電氣工程學(xué)院，新疆 石河子 832000

1 引言

紅花是新疆主要經(jīng)濟(jì)作物之一，目前以人工采摘為主，雖然國(guó)內(nèi)外學(xué)者對(duì)紅花采摘機(jī)進(jìn)行了相關(guān)研究[1-3]，但都離不開(kāi)人力勞動(dòng)的參與。隨著農(nóng)業(yè)收獲領(lǐng)域的快速機(jī)械化發(fā)展，紅花采摘機(jī)器人的研制具有重要經(jīng)濟(jì)和社會(huì)價(jià)值，而花絲的準(zhǔn)確識(shí)別與定位是紅花采摘的重要環(huán)節(jié)。

近年來(lái)，基于計(jì)算機(jī)視覺(jué)的果蔬采摘識(shí)別與定位方法研究取得顯著成果，也成為果蔬采摘機(jī)器人研制的熱點(diǎn)和難點(diǎn)之一，不僅應(yīng)用在蘋(píng)果[4-6]、柑橘、番茄[7]、葡萄[8]等果實(shí)中，同時(shí)也出現(xiàn)在茶葉、草莓[9]、杭白菊等圖像識(shí)別中，例如在杭白菊果實(shí)的識(shí)別中，樊俊[10]等人分析了其顏色特征和紋理特征，提出了一種可以將杭白菊從復(fù)雜自然環(huán)境中快速分割出來(lái)的方法；郭艾俠[11]等人先是提取了荔枝區(qū)域的質(zhì)心、最小外接矩形等特征，然后結(jié)合母枝上的Harris特征點(diǎn)來(lái)計(jì)算荔枝采摘點(diǎn)的二維坐標(biāo)值，能夠滿(mǎn)足現(xiàn)有技術(shù)要求；張浩[12]等人為了識(shí)別自然環(huán)境下的茶葉嫩梢，提出了一種運(yùn)用色彩因子法的主動(dòng)視覺(jué)定位嫩梢的方法，此方法有效地將茶葉嫩梢進(jìn)行定位。羅陸鋒[13]等人對(duì)聚類(lèi)圖像分割算法進(jìn)行改進(jìn)，并運(yùn)用點(diǎn)線(xiàn)最小距離約束，解決了葡萄輪廓不規(guī)則、果梗顏色復(fù)雜多變等因素，提出了一種采摘點(diǎn)定位新方法。

諸如上述研究都是針對(duì)一些常見(jiàn)果蔬類(lèi)作物，其外形輪廓相對(duì)平滑、規(guī)則。而紅花屬于絲狀團(tuán)簇類(lèi)作物，盛開(kāi)期的花絲呈細(xì)管狀，橙紅色，無(wú)數(shù)花絲構(gòu)成球體外形，不規(guī)則外形的特點(diǎn)對(duì)圖像的識(shí)別與定位造成一定難度，同時(shí)國(guó)內(nèi)外學(xué)者對(duì)紅花花絲圖像的識(shí)別與定位鮮有研究。本文針對(duì)紅花盛開(kāi)期的顏色和圖簇狀特點(diǎn)[14-15]，提出了一種花絲識(shí)別與中心點(diǎn)標(biāo)定的理論方法，可為紅花采摘機(jī)器人視覺(jué)系統(tǒng)的開(kāi)發(fā)提供理論基礎(chǔ)。

2 材料與方法

2.1 圖像采集

圖像采集選用型號(hào)為Canon EOS 760D的數(shù)碼相機(jī)，為避免抖動(dòng)影響成像質(zhì)量，采集過(guò)程中輔助以相機(jī)支架固定，拍攝時(shí)與紅花成俯視角度，距離為40 cm；同時(shí)由于采集后的圖像像素過(guò)大，處理緩慢，在MATLAB R2015b圖像處理軟件上進(jìn)行統(tǒng)一調(diào)整分辨率為480像素×640像素。

采集地點(diǎn)在石河子大學(xué)試驗(yàn)農(nóng)場(chǎng)，采集環(huán)境為自然光照下的上午11點(diǎn)；紅花的開(kāi)花周期一般為7天，所以采集對(duì)象為花開(kāi)1～7天的紅花，共計(jì)210張。

2.2 圖像分割與輪廓提取

2.2.1 圖像預(yù)處理

自然環(huán)境下拍攝的紅花圖像會(huì)因光照條件的限制以及周?chē)h(huán)境的影響存在隨機(jī)噪聲，為消除圖像信號(hào)干擾，本文在比較高斯、均值、中值濾波器的處理效果后，考慮到不減小圖像對(duì)比度的同時(shí)，又可以降低異常值影響，選用中值濾波對(duì)圖像進(jìn)行預(yù)處理，以期對(duì)孤立噪聲進(jìn)行良好濾波。

2.2.2 顏色特征分析

顏色特征可以將紅花與周?chē)尘斑M(jìn)行有效區(qū)分，常用的顏色模型主要有RGB、HSV和HIS模型等，而RGB顏色模型可以直接將拍攝到的紅花圖像進(jìn)行圖像數(shù)據(jù)處理，不需要進(jìn)行其他模型間的轉(zhuǎn)換，減少圖像處理的時(shí)間，速度較快。本文在RGB模型下分別對(duì)圖像的R分量、G分量和B分量進(jìn)行提取，繪制三維模型圖，如圖1所示。

通過(guò)對(duì)比可以看出，在R分量狀態(tài)下的紅花圖像，花絲區(qū)域顏色閾值高度分布緊密，大小趨于一致，與周?chē)h(huán)境差異明顯，但由于自然光線(xiàn)的影響，存在與花絲顏色閾值相近的區(qū)域，仍需對(duì)其作進(jìn)一步的分割處理。而在提取G分量和B分量的狀態(tài)下，如圖1（b）和（c）所示，區(qū)域閾值大小不一，山峰和山谷零散分布，不能完整表示出花絲的輪廓形狀，原因是盛開(kāi)期的紅花主要以紅色為主，且色素分布集中，而綠色素和藍(lán)色素主要集中在葉子和果球中。

通過(guò)對(duì)比分析色差R-B、R-G和G-B的灰度直方圖和三維模型圖（圖2）可知，色差R-B和R-G能進(jìn)一步將紅花花絲與周?chē)h(huán)境區(qū)分，圖2（a）和圖2（b）顯示，花絲區(qū)域閾值大小與周?chē)h(huán)境差異明顯，外形輪廓突出；并且通過(guò)二者的灰度直方圖可以看出，R-B分量中波峰和波谷分布明顯，波峰之間間距更大，更容易區(qū)分，也就表明花絲與周?chē)h(huán)境在灰度特性上差異明顯，根據(jù)波谷顯示，可以選擇一個(gè)較為合適的閾值進(jìn)行分割，確定圖像中每個(gè)像素點(diǎn)所隸屬的區(qū)域是花絲還是背景，為后續(xù)的閾值分割提供條件。

2.2.3 閾值分割

考慮到花絲在不同開(kāi)放天數(shù)時(shí)的顏色差異，以R-B為特征值，運(yùn)用可自適應(yīng)確定閾值的最大類(lèi)間方差法（OTSU算法）進(jìn)行圖像分割，避免了人工取閾值的不準(zhǔn)確性[16]。

在分割過(guò)程中，以σ2B(T)代表閾值為k時(shí)的類(lèi)間方差，ωi，μi分別為Ci組μi中像素產(chǎn)生的概率和組內(nèi)所有像素點(diǎn)灰度值的均值，μ為整體圖像所有像素點(diǎn)灰度的均值。兩組間的類(lèi)間方差為[17]：

分割后的紅花圖像如圖3（b）所示，可以看出，圖像能較完整地保留紅花花絲的像素信息，但由于花絲為團(tuán)簇細(xì)條狀，存在諸多孤立小點(diǎn)、孔洞和毛刺，要實(shí)現(xiàn)花絲進(jìn)一步識(shí)別與定位還需對(duì)其進(jìn)行數(shù)學(xué)形態(tài)學(xué)處理。

2.3 花絲輪廓變換

圖3（b）顯示，分割后的圖像外輪廓雖近似為圓形，但花絲由中心向外散開(kāi)，諸多細(xì)條狀花絲圖像并不連續(xù)，圖形內(nèi)部存在孔洞，且背景區(qū)域存在孤立小點(diǎn)。利用數(shù)學(xué)形態(tài)學(xué)中的腐蝕與膨脹可對(duì)上述圖像進(jìn)行輪廓處理[18]，消除孔洞，使圖像更加平滑規(guī)則。

圖1 紅花圖像R、G、B因子三維模型圖

圖2 色差分割效果圖

圖3 Otsu分割效果圖

傳統(tǒng)形態(tài)學(xué)處理方法存在計(jì)算量大、效率低、效果不理想等缺點(diǎn)，同時(shí)由于紅花花絲為團(tuán)簇狀，圖形輪廓雖類(lèi)似圓形，但其針狀突刺明顯，以圓形結(jié)構(gòu)元素為基礎(chǔ)的膨脹、腐蝕在處理過(guò)程中不僅會(huì)增加突刺細(xì)條的像素分布面積，改變最外圍像素點(diǎn)的分布結(jié)構(gòu)（圖4（b）），且存在過(guò)腐蝕現(xiàn)象，致使圖像內(nèi)部孔洞增大，像素點(diǎn)缺失（圖4（c）），無(wú)規(guī)則分布，圖形對(duì)稱(chēng)性降低，而花絲中心點(diǎn)的獲取往往需要其具有較好的對(duì)稱(chēng)性，所以上述處理并不利于后續(xù)花絲圖像的二維中心點(diǎn)提取。

圖4 形態(tài)學(xué)處理效果圖

本文根據(jù)花絲團(tuán)簇狀特征，以開(kāi)、與、膨脹運(yùn)算相互結(jié)合的形式，提出了一種改進(jìn)的花絲圖像形態(tài)學(xué)處理方法，具體為選取不同開(kāi)放天數(shù)的花絲二值圖像A，以半徑不同的結(jié)構(gòu)元素S對(duì)其進(jìn)行開(kāi)運(yùn)算，可表示為A°S=(A ?S )⊕S ，記為圖像B（圖4（d））；然后將原二值圖像A與處理后的圖像B取交集（圖4（e）），記為C=A?B；最后對(duì)圖像C進(jìn)行膨脹運(yùn)算并填充，消除棱角和孔洞，如圖4（f）所示。在處理過(guò)程中，圖像會(huì)因開(kāi)運(yùn)算間接增加花絲的像素點(diǎn)信息，存在棱角突出，圖像不平滑等現(xiàn)象，而與原圖像進(jìn)行交集運(yùn)算后不僅消除了外圍突刺，并且還原了原始圖像花絲信息，保證了其真實(shí)性。通過(guò)此方法，極大地保留了花絲原有分布結(jié)構(gòu)，使其更加光滑規(guī)則，為后續(xù)的中心點(diǎn)定位奠定基礎(chǔ)。

2.4 二維中心點(diǎn)提取

紅花采摘機(jī)器人在采摘紅花時(shí)，需要進(jìn)行單株逐個(gè)采摘，因此在采摘時(shí)必須確定出紅花花絲的準(zhǔn)確位置。質(zhì)心法是一種常用的圖像定位算法，應(yīng)用廣泛，但其對(duì)圖像的對(duì)稱(chēng)性要求較高，將輪廓變換后圖像的黑色背景部分的像素點(diǎn)橫、縱坐標(biāo)分別設(shè)為0，白色部分像素點(diǎn)的橫、縱坐標(biāo)分別設(shè)為1。對(duì)整個(gè)圖像的像素點(diǎn)進(jìn)行識(shí)別判斷，若橫坐標(biāo)像素點(diǎn)i為1，則輸出像素點(diǎn)信息，依次累加并計(jì)算像素個(gè)數(shù)，否則為0；同樣縱坐標(biāo)像素點(diǎn) j依次進(jìn)行判斷并依據(jù)結(jié)果累加，最后將所得到的像素點(diǎn)坐標(biāo)進(jìn)行求平均值，得出花絲坐標(biāo)的二維坐標(biāo)值，其公式如下：

式中，i,j為花絲圖像像素的橫、縱坐標(biāo)；f0為花絲圖像的灰度閾值；Ω為圖像中所有像素集合。

由上式可以看出，質(zhì)心法需對(duì)花絲圖像像素點(diǎn)進(jìn)行逐一計(jì)算，計(jì)算量大，且由圖4（c）可以看出，花絲圖像內(nèi)部空隙較多，對(duì)稱(chēng)性較差，導(dǎo)致定位誤差較大。加權(quán)質(zhì)心是對(duì)質(zhì)心法的一種改進(jìn)，通過(guò)對(duì)像素累加過(guò)程中的改進(jìn)來(lái)減小計(jì)算量，其公式如下：

此時(shí)得出的(xk,yk)即為花絲的中心點(diǎn)坐標(biāo)，記為A1。同時(shí)為了改進(jìn)中心點(diǎn)定位存在的偏差，本文引入最大內(nèi)切圓法來(lái)計(jì)算花絲中心點(diǎn)坐標(biāo)，記為A2，最后取兩個(gè)中心點(diǎn)的平均值作為最終結(jié)果。最大內(nèi)切圓定位公式如下：

其中xai、yai表示花絲內(nèi)部像素點(diǎn)的橫縱坐標(biāo)；xbj、ybj表示花絲圖像邊緣像素點(diǎn)橫縱坐標(biāo)；Di表示花絲內(nèi)部像素點(diǎn)到圖像邊緣的最小距離。同時(shí)定義最大內(nèi)切圓半徑 R=maxi(Di)，相應(yīng)的 xai、yai即為中心點(diǎn)坐標(biāo)[19]，處理結(jié)果如圖5（b）所示。

圖5 花絲中心點(diǎn)標(biāo)定圖

3 實(shí)驗(yàn)對(duì)比與結(jié)果分析

3.1 對(duì)比分析

以采集到的開(kāi)放第二天的花絲為例，運(yùn)用常規(guī)方法和本文所提出的方法進(jìn)行對(duì)比實(shí)驗(yàn)，結(jié)果如圖6所示。在用質(zhì)心法進(jìn)行中心點(diǎn)標(biāo)定的過(guò)程中，遍歷整個(gè)圖像的像素點(diǎn)信息，進(jìn)行求和取平局值，計(jì)算量大，而改進(jìn)的質(zhì)心法在計(jì)算過(guò)程中以圖形灰度閾值為基準(zhǔn)進(jìn)行運(yùn)算，減小了運(yùn)算時(shí)間，提高了處理速度；但是花絲圖像為不規(guī)則圖形，會(huì)因一側(cè)的圖像突出導(dǎo)致中心點(diǎn)偏移（圖6（a）），造成定位誤差；同時(shí)因花絲圖像整體為類(lèi)圓形，最大內(nèi)切圓法通過(guò)在其內(nèi)部尋找最大內(nèi)切圓并標(biāo)記原點(diǎn)，具有一定準(zhǔn)確性，但其內(nèi)部所有邊緣點(diǎn)并非全部分布在圓上，同時(shí)圓外花絲部分不均勻?qū)ΨQ(chēng)分布，尋求最大內(nèi)切圓同樣會(huì)存在中心點(diǎn)的實(shí)際誤差（圖6（b））；而結(jié)合改進(jìn)質(zhì)心法和最大內(nèi)切圓法對(duì)花絲圖像進(jìn)行中心點(diǎn)定位，取二者平均值，一定程度降低了誤差，提高了準(zhǔn)確性，圖6（d）顯示，定位后的圖像不僅包含了花絲全部信息，將外圍花絲計(jì)算在內(nèi)，保留了圖像完整性，而且降低了單一方法對(duì)中心點(diǎn)造成的誤差，更直觀地反映出花絲中心點(diǎn)位置，準(zhǔn)確度較高。

圖6 不同方法效果對(duì)比圖

3.2 實(shí)驗(yàn)結(jié)果與分析

對(duì)采集到的1～7天的210張圖像運(yùn)用本文所述紅花花絲識(shí)別與中心點(diǎn)標(biāo)定方法進(jìn)行運(yùn)算，處理結(jié)果如表1和圖7所示。

表1 花絲二維中心點(diǎn)標(biāo)定結(jié)果表

由圖7可以看出，紅花在開(kāi)放第一天時(shí)（圖7（a）），花絲逐漸長(zhǎng)出，比較稚嫩，隨著開(kāi)放天數(shù)的增加，生長(zhǎng)態(tài)勢(shì)逐漸飽滿(mǎn)，水分增加，待開(kāi)放第三天時(shí)達(dá)最佳狀態(tài)（圖7（c）），價(jià)值最高，也最適宜采摘；而從第四天開(kāi)始，如圖7（d）所示，原先挺立的花絲開(kāi)始出現(xiàn)萎蔫現(xiàn)象，第六天時(shí)花絲幾乎全部萎蔫，水分丟失（圖7（f））；第七天時(shí)花絲干癟，分布散亂（圖7（g））。整個(gè)系列圖片顯示，花絲的開(kāi)放可以看作是一個(gè)由點(diǎn)到球再到無(wú)規(guī)則形狀的過(guò)程，所以在形狀上最容易識(shí)別的階段，即開(kāi)放2～3天的花絲，符合花絲的采摘時(shí)間段要求，正確識(shí)別率最高（100%）。顏色方面，剛開(kāi)放的紅花主要是以黃紅色為主，隨著天數(shù)增加，紅色素逐漸積累，相比較開(kāi)放第三天，第四天的花絲紅色素明顯增多，此時(shí)花絲的藥用價(jià)值減弱，紅色素提取價(jià)值增加，而市場(chǎng)上主要以收購(gòu)2～3天的花絲為主。

圖7 不同時(shí)期紅花開(kāi)放圖

通過(guò)表1可以看出，該方法對(duì)開(kāi)放1～5天的花絲可以較為準(zhǔn)確地進(jìn)行識(shí)別與標(biāo)定，而對(duì)第六天（60%）和第七天（53.3%）的具有較大偏差。這是由于花絲在開(kāi)放2～3天時(shí)，其外形輪廓規(guī)則，可以近似看成一種圓形，在進(jìn)行二值圖像的形態(tài)學(xué)處理過(guò)程中不會(huì)對(duì)原有信息進(jìn)行較大變動(dòng)，雖然從第四天開(kāi)始，花絲逐漸萎蔫，紅色素增加，但基于最大類(lèi)間方差法的分割法能夠自動(dòng)確定閾值，分割后花絲的外形輪廓也近似于圓形。而開(kāi)放第六和第七天的花絲，水分丟失，花絲干癟，無(wú)規(guī)則外形，無(wú)法準(zhǔn)確提取出中心點(diǎn)位置。

4 結(jié)束語(yǔ)

（1）在對(duì)紅花及其背景圖像提取R、G、B顏色因子的基礎(chǔ)上，利用色差法提取R-B因子，通過(guò)灰度直方圖比較，能夠快速區(qū)分紅花花絲與周?chē)尘邦伾灰罁?jù)花絲的顏色信息，運(yùn)用最大類(lèi)間方差法自動(dòng)取閾值分割，可有效進(jìn)行不同開(kāi)放天數(shù)花絲的圖像分割。

（2）針對(duì)團(tuán)簇狀、無(wú)規(guī)則外形的花絲輪廓，提出一種改進(jìn)的形態(tài)學(xué)處理方法，完整保留了原有花絲像素信息，利于中心點(diǎn)提取；并提出一種改進(jìn)質(zhì)心法和最大內(nèi)切圓法相結(jié)合的花絲二維中心點(diǎn)提取方法，提高了準(zhǔn)確度。

（3）實(shí)驗(yàn)結(jié)果表明，本文方法能較為有效地識(shí)別出不同成熟度的花絲信息，同時(shí)對(duì)比常規(guī)方法，其準(zhǔn)確度更高，尤其是開(kāi)放2～3天的花絲，準(zhǔn)確率達(dá)100%，但對(duì)第六和第七天的花絲具有偏差，尚不能滿(mǎn)足定位要求。