張 晗 閆 寧 吳旭東 王 成 羅 斌
(1.北京農(nóng)業(yè)智能裝備技術(shù)研究中心,北京 100094;2.北京農(nóng)業(yè)信息技術(shù)研究中心,北京 100094)
種子分選是為了剔除不良種子、異物等,以提高種子的精度級(jí)別和利用率,進(jìn)而提高種子質(zhì)量[1]。隨著我國種子單粒和精量播種技術(shù)的發(fā)展,對(duì)單粒種子品質(zhì)提出了更高了要求[2-3]。傳統(tǒng)種子分選是利用種子的外形的物理性質(zhì),進(jìn)行批量分篩,獲得物理性質(zhì)上一致性較高的種子[4],難以滿足單粒精播的需求。因此開發(fā)逐?;N子檢測分選系統(tǒng),逐粒化篩除霉變和破損種子,提高種子質(zhì)量,進(jìn)而提高種子發(fā)芽率,對(duì)保障生產(chǎn)具有重要意義。
早期種子分選多依靠手眼配合的人工分選,該方法依賴人工經(jīng)驗(yàn)、效率低且錯(cuò)檢率高,無法對(duì)不良品進(jìn)行有效分選[5-6]。目前種子分選設(shè)備主要是通過分選機(jī)械按照種子的物理特性,去除種子中的夾雜物質(zhì)。國內(nèi)外相關(guān)學(xué)者針對(duì)機(jī)械化分離清選裝置已開展了較為系統(tǒng)研究,通過比重選[7]、風(fēng)選[8]、重力式篩選[9-11]去除種子中的未成熟、破損及其他異類種子,該方法適用于種子批量篩選,分類方式單一、精度低,只適用于種子批量清選分級(jí)。因此,研發(fā)在線式單粒種子檢測分選裝置,是目前玉米繁育階段急需解決的問題。
近年來,隨著機(jī)器視覺技術(shù)在農(nóng)業(yè)領(lǐng)域的不斷應(yīng)用[12-20],國內(nèi)外一些研究學(xué)者嘗試通過機(jī)器視覺技術(shù)檢測種子大小、顏色、物理性狀、霉變、破損。PEARSON[21]研制了一種基于圖像的玉米種子分選裝置。該系統(tǒng)破損的玉米剔除率達(dá)到了74%,對(duì)正常玉米識(shí)別精度達(dá)到了91%。閆彬等[22]使用數(shù)學(xué)形態(tài)學(xué)處理方法識(shí)別種子裂紋,該方法平均準(zhǔn)確率為90.6%。張楠楠等[23]基于圖像HSV空間的H分量及V分量,設(shè)計(jì)了一種玉米種粒霉變程度分級(jí)方法。孟繁佳等[24]研發(fā)了一種玉米種子實(shí)時(shí)檢測分選裝置,通過HSV顏色空間差異識(shí)別霉變種子。這些研究為在線式單粒種子檢測分選裝置提供了參考。
本文基于機(jī)器視覺技術(shù)設(shè)計(jì)一種在線式單粒玉米種子檢測分選裝置。設(shè)計(jì)種子單?;狭辖Y(jié)構(gòu),使用高速工業(yè)相機(jī)采集種子的圖像獲取單粒種子顏色圖像特征,并通過偏最小二乘判別分析法構(gòu)建霉變和破損種子識(shí)別模型,實(shí)現(xiàn)種子單?;臋z測與分選。
在線式單粒種子檢測分選裝置硬件部分主要由上料單元、檢測單元、分選部件及控制系統(tǒng)組成。上料單元通過兩組振動(dòng)電機(jī)和多軌傳輸帶實(shí)現(xiàn)玉米籽粒逐粒進(jìn)入檢測單元;檢測單元由工業(yè)相機(jī)和條形光源組成,用于獲取籽粒圖像;分選部件由多個(gè)氣動(dòng)電磁閥組成,在籽粒滑落過程中通過氣動(dòng)電磁閥的開閉,將霉變或者破損籽粒吹入對(duì)應(yīng)料盒中;系統(tǒng)控制單元包含圖像分析處理的上位機(jī)和繼電器控制模塊。裝置整機(jī)結(jié)構(gòu)如圖1所示。
圖1 在線式單粒種子檢測分選裝置結(jié)構(gòu)圖Fig.1 Structure diagram of on line single seed detection and sorting device1.振動(dòng)進(jìn)料模塊 2.籽粒鋪平模塊 3.多軌傳輸帶 4.采集裝置 5.氣動(dòng)電磁閥 6.分料盒 7.系統(tǒng)控制單元
1.2.1上料單元
上料單元將玉米種子逐粒傳輸至檢測單元。上料單元包括進(jìn)料斗、鋪平料斗、振動(dòng)電機(jī)1、振動(dòng)電機(jī)2、多軌傳輸帶,如圖2所示。
圖2 上料單元結(jié)構(gòu)圖Fig.2 Structure diagram of feeding device1.進(jìn)料斗 2.振動(dòng)電機(jī)1 3.振動(dòng)電機(jī)2 4.鋪平料斗 5.多軌傳輸帶
上料單元通過兩級(jí)振動(dòng)實(shí)現(xiàn)籽粒逐?;?,振動(dòng)發(fā)生器選用140#型直線振動(dòng)器,通過調(diào)節(jié)模塊振動(dòng)頻率控制進(jìn)料斗中籽粒出料速度,將玉米籽粒均勻地輸送到籽粒鋪平模塊;籽粒鋪平模塊的鋪平料斗上開有9個(gè)倒V形溜槽,V形溜槽深度為1 cm,溜槽V形斜面與水平面的角度為45°,通過振動(dòng)在溜槽中將籽粒完成單層排列,逐粒進(jìn)入傳輸帶;傳輸帶上分布9組軌道,9組軌道通過固定桿固定于傳輸帶上方,軌道寬度為2 cm,位置與V形溜槽一一對(duì)應(yīng);通過調(diào)節(jié)種子的下落速度與傳輸帶速度,利用籽粒下落時(shí)間差,在運(yùn)動(dòng)的傳輸帶上落點(diǎn)不同,完成籽粒的單?;?。
1.2.2檢測單元
檢測單元選用中國大恒(集團(tuán))有限公司北京圖像視覺技術(shù)分公司生產(chǎn)的MER-503-79U3C系列彩色CMOS高速工業(yè)數(shù)字相機(jī)來獲取種子圖像,成像分辨率為2 448像素×2 048像素。根據(jù)玉米通道分布寬度,選用焦距為8 mm的Computar鏡頭,攝像頭安裝距離為37 cm,實(shí)際視場范圍為26 cm×21 cm。選用4只12 V條形LED白光光源作為圖像采集光源,4只光源等間隔分布于檢測單元頂部。采集背景為亞光黑的傳輸帶,其上軌道分為前后兩段,軌道從采集區(qū)域斷開,從而避免軌道影響圖像采集。
1.2.3分選單元
分選單元用于剔除識(shí)別的破損或霉變籽粒,由分選部件和空氣壓縮機(jī)組成。分選部件包括籽粒下落滑軌、電磁閥、氣管、支架、料盒、氣泵,結(jié)構(gòu)如圖3所示。種子通過傳輸帶運(yùn)輸至下落滑軌,沿滑軌下落的過程中,關(guān)閉電磁閥則落入料盒A,開啟電磁閥則落入料盒B,通過電磁閥的開閉將種子吹入對(duì)應(yīng)料盒完成種子分選。
圖3 分選部件結(jié)構(gòu)示意圖Fig.3 Structure diagram of sorting unit1.傳輸帶 2.籽粒下落滑軌 3.氣管 4.電磁閥 5.支架 6.料盒A 7.料盒B 8.氣泵
1.3.1控制單元與流程
控制單元主要由DM1600串口繼電器模塊與典籍I7 6567U工控機(jī)作為上位機(jī)組合而成??刂茊卧糜诳刂朴衩追N子進(jìn)料,并對(duì)采集的圖像信息進(jìn)行分析處理,根據(jù)分析處理的結(jié)果來觸發(fā)電磁閥完成種子分選??刂葡到y(tǒng)框圖如圖 4所示??刂葡到y(tǒng)中共使用了12個(gè)輸出信號(hào)分別對(duì)應(yīng)振動(dòng)電機(jī)1、振動(dòng)電機(jī)2、傳輸帶和9個(gè)電磁閥。
圖4 控制系統(tǒng)框圖Fig.4 Control system block diagram
裝置工作流程圖如圖 5,流程如下:①系統(tǒng)上電,工控機(jī)、空氣壓縮機(jī)和光源分別啟動(dòng),在計(jì)算機(jī)端啟動(dòng)檢測控制系統(tǒng),完成準(zhǔn)備工作。②啟動(dòng)傳輸帶,調(diào)整傳輸帶速度。③依次啟動(dòng)振動(dòng)電機(jī)1、振動(dòng)電機(jī)2,進(jìn)行種子的逐粒化上料。④啟動(dòng)檢測系統(tǒng),設(shè)置相機(jī)采集間隔時(shí)間為t。玉米籽粒隨傳輸帶進(jìn)入檢測單元,檢測單元通過分析籽粒圖像,獲取籽粒特征和籽粒橫向坐標(biāo),進(jìn)行籽粒識(shí)別并估算吹氣時(shí)間。系統(tǒng)進(jìn)入自動(dòng)檢測分選階段。⑤待全部籽粒分選完成后,從分料盒取出分選的籽粒,完成分選。
圖5 系統(tǒng)控制流程圖Fig.5 Working flow chart of device
1.3.2采集策略
通過面陣相機(jī)連續(xù)拍攝,獲取傳輸帶上全部籽粒圖像。為保證全部籽粒圖像均被獲取,采集間隔t等于相機(jī)的視場寬度減去單粒種子補(bǔ)償寬度l除以傳輸帶速度。拍照時(shí)處于圖像邊緣不完整的籽粒,可以通過補(bǔ)償寬度重復(fù)獲取,得到完整籽粒信息。不完整的籽粒將通過圖像處理進(jìn)行剔除處理。
測量的1 200粒正常玉米種子長度在8~14 mm之間,平均長度約為12 mm。補(bǔ)償寬度l應(yīng)大于單粒玉米種子的最大長度。本研究選取1.5倍的玉米籽粒平均長度作為補(bǔ)償寬度,約18 mm,約占170個(gè)像素點(diǎn)。
獲取的種子圖像如圖6a所示,紅色框所占區(qū)域?yàn)檠a(bǔ)償長度區(qū)域,圖像邊緣的170個(gè)像素點(diǎn)為重疊區(qū)域。通過玉米投影區(qū)域坐標(biāo)值判別,實(shí)現(xiàn)圖像中邊緣不完整顆粒剔除,同時(shí)剔除重復(fù)出現(xiàn)籽粒。重疊區(qū)域不完整顆粒剔除算法如下:
圖6 重疊不完整籽粒剔除Fig.6 Overlapping and incomplete grain removal
(1)提取原始種子圖像中坐標(biāo)(x∈(1,2 048),y∈(1,170);x∈(1,2 048),y∈(2 279,2 448))區(qū)域圖像,即紅色框內(nèi)補(bǔ)償長度區(qū)域圖像,如圖6a。
(2)利用閾值分割,原始種子獲取玉米種子投影區(qū)域,如圖6b。
(3)通過投影區(qū)域坐標(biāo),剔除包含坐標(biāo)(x∈(1,2 048)、y=1)和(x∈(1,2 048)、y=2 448)的投影區(qū)域,如圖6c。
(4)通過投影區(qū)域坐標(biāo),剔除補(bǔ)償長度區(qū)域中坐標(biāo)不包含(x∈(1,2 048)、y=170)投影區(qū)域,如圖6d剩余紅色覆蓋的區(qū)域?yàn)閱未尾杉瘜?duì)應(yīng)的種子顆粒。
由于單粒上料裝置籽粒間距存在隨機(jī)性,氣動(dòng)電磁閥存在最小開閉時(shí)間間隔,當(dāng)籽粒間距過小時(shí),會(huì)出現(xiàn)誤吹、漏吹,影響精度。提高傳輸帶速度可以一定程度上降低種子密集程度,但是本裝置使用面陣相機(jī)進(jìn)行采集,當(dāng)傳輸帶速度過高時(shí),會(huì)造成獲取圖像質(zhì)量下降。因此本裝置最終設(shè)置傳輸帶速度為120 mm/s,相機(jī)采集間隔為2 s。
1.3.3分選策略
氣動(dòng)分選裝置由上位機(jī)軟件根據(jù)檢測結(jié)果通過串口協(xié)議直接控制,當(dāng)判別籽粒為霉變或者破損時(shí),通過籽粒在圖像中所處的橫向坐標(biāo)X,估算電磁閥啟動(dòng)氣吹籽粒的時(shí)間T。
籽粒從采集區(qū)域到分選位置總共分為3段,如圖7所示,第1段種子隨傳輸帶勻速前進(jìn),種子通過第1段所用時(shí)間T1計(jì)算方法為
T1=L1/v
(1)
式中L1——第1段長度
v——傳輸帶距離
圖7 籽粒傳輸示意圖Fig.7 Grain transport schematic
第2段種子沿傳輸帶轉(zhuǎn)軸邊緣轉(zhuǎn)動(dòng),傳輸帶與種子的摩擦力大于重力分量,因此種子沿傳輸帶勻速轉(zhuǎn)動(dòng)。種子通過第2段所用時(shí)間T2計(jì)算方法為
(2)
式中L2——第2段長度,mm
α——下落滑軌與水平面夾角,為45°
R——傳輸帶轉(zhuǎn)動(dòng)半徑,mm
第3段種子沿下落滑軌滑落,受到重力作用加速運(yùn)動(dòng),加速度為a,種子通過第3段所用時(shí)間T3計(jì)算方法為
(3)
式中L3——第3段長度,mm
μ——下落滑軌與種子摩擦因數(shù),約為0.35
g——重力加速度,mm/s2
當(dāng)傳輸帶速度確定后,T2和T3隨之確定,籽粒氣吹分選的時(shí)間僅由第1段長度確定,第1段長度可以通過籽粒在圖像中橫向坐標(biāo)X進(jìn)行計(jì)算。故本文通過相機(jī)獲取種子在圖像中的位置,計(jì)算種子到達(dá)分選位置的時(shí)間來控制電磁閥進(jìn)行氣動(dòng)分選。
試驗(yàn)種子為2019年采購自甘肅省張掖市的無包衣鄭單958玉米種子。將玉米種子置于28℃、相對(duì)濕度85%人工氣候箱內(nèi)儲(chǔ)藏12 d以加速霉變,12 d后取出,干燥處理后得到霉變玉米種子[25]。破損種子是通過人工破損,剔除其中破損面積大于50%的種子。選取正常種子、霉變種子、破損種子各1 200粒,利用裝置自動(dòng)振動(dòng)上料,在線觸發(fā)采集圖像,提取玉米籽粒圖像如圖8所示。
圖8 玉米籽粒圖像Fig.8 Corn grain images
使用HALCON圖像處理軟件對(duì)種子圖像進(jìn)行特征信息提取,通過閾值分割將籽粒從背景中分割提取,從而將玉米種子區(qū)域識(shí)別出來。
圖9 30個(gè)特征的概率密度分布Fig.9 Probability density distributions of 30 features
本研究中除采用人眼最為敏感的RGB 顏色模型外,還加入了HSV顏色空間模型和不依賴光線的Lab顏色模型數(shù)據(jù)作為顏色信息的補(bǔ)充。通過HALCON分析軟件分別獲取每粒種子的RGB、HSV、Lab 各分量的均值和標(biāo)準(zhǔn)差等共計(jì)18個(gè)顏色特征,同時(shí)提取玉米種子的長度、寬度、投影面積、圓形度(投影面積與最大外接圓面積比)、周長、凹凸性(投影面積與最小外接凸邊型面積的比值)、矩形度、最小外接圓半徑、最大內(nèi)切圓半徑、邊心距(邊緣到形心的平均距離)、邊心差(邊緣到形心的最大距離偏差)、最長投影(輪廓區(qū)域點(diǎn)之間的最大距離)等12個(gè)形狀特征。最終獲取的3 600粒種子顏色和形態(tài)特征共計(jì)30個(gè),其特征的概率密度分布如圖9所示。
從圖9中可以看到,正常籽粒和霉變籽粒在形狀特征上的分布基本相同,其特征分布差異主要分布在18個(gè)顏色特征上。正常籽粒和破損籽粒其特征分布差異主要分布在形狀特征上,顏色特征中的S均值、S標(biāo)準(zhǔn)差、b均值、b標(biāo)準(zhǔn)差上也存在一些差異。但是正常籽粒、霉變籽粒和破損籽粒全部特征在概率密度分布上都出現(xiàn)重疊區(qū)域,因此依靠單一的特征無法實(shí)現(xiàn)全部籽粒的判別分析。
隨機(jī)散落狀態(tài)下的正常籽粒、霉變籽粒和破損籽粒各特征概率密度分布圖均存在重疊,表明根據(jù)單個(gè)特征并不能夠?qū)崿F(xiàn)正常籽粒、霉變籽粒和破損籽粒的區(qū)分。因此本文利用偏最小二乘法進(jìn)行多特征的判別分析,建立霉變種子、破損種子的檢測模型,進(jìn)行霉變種子和破損種子的識(shí)別。
2.2.1偏最小二乘判別分析法
偏最小二乘判別分析算法(Partial least squares discrimination analysis,PLSDA)是一種穩(wěn)健的判別分析統(tǒng)計(jì)方法[26],該方法結(jié)合多元線性回歸和主成分分析的優(yōu)點(diǎn),能夠在自變量數(shù)多、存在多重相關(guān)性且自變量本身相關(guān)性較差的條件下進(jìn)行回歸建模。因此,利用玉米種子特征參數(shù)建立霉變種子和破損種子識(shí)別的PLSDA模型。
2.2.2霉變、破損種子的PLSDA識(shí)別模型建立
利用Matlab 12.0軟件構(gòu)建PLSDA模型,將每種玉米圖像數(shù)據(jù)按照3∶1比例隨機(jī)分配,將每種種子1 200個(gè)樣本數(shù)據(jù)劃分為建模集和預(yù)測集,即建模集900個(gè)樣本,預(yù)測集300個(gè)樣本,混合建模。采用PLSDA算法分別建立霉變種子和破損種子識(shí)別模型,識(shí)別的結(jié)果如表1所示。
表1 PLSDA模型的識(shí)別結(jié)果Tab.1 PLSDA model recognition results
采用文中提取的顏色和性狀特征建立識(shí)別模型,最終霉變模型預(yù)測集的識(shí)別準(zhǔn)確率為99.33%,霉變種子和正常種子識(shí)別正確率均為99.33%。破損模型預(yù)測集的識(shí)別準(zhǔn)確率為91.50%,其中破損種子識(shí)別正確率為90.33%,正常種子識(shí)別正確率為92.66%。從整體上看,霉變模型種子的識(shí)別正確率高于破損模型種子的識(shí)別正確率,原因可能在于本裝置在獲取種子圖像時(shí)只能采集到種子的單表面圖像信息,種子霉變?cè)诜N子的胚面和胚乳面均有出現(xiàn)顏色變化,而部分破損種子的破損位置處于種子的單側(cè),通過相機(jī)俯拍不能很好地獲取種子的破損特征。
根據(jù)以上設(shè)計(jì)思路搭建了在線式單粒種子檢測分選裝置樣機(jī),樣機(jī)實(shí)物如圖10所示。
圖10 設(shè)備樣機(jī)Fig.10 Equipment prototype
為驗(yàn)證裝置穩(wěn)定性與可靠性,分別選取1 000粒霉變種子、1 000粒破損種子與1 000粒正常種子混合。獲得含有50%霉變種子混合樣本1和50%破損種子的混合樣本2,進(jìn)行在線式種子分選試驗(yàn)。
利用裝置樣機(jī)分別開展霉變和破損種子的分選試驗(yàn),將種子倒入進(jìn)料斗進(jìn)行自動(dòng)上料,對(duì)混合樣本進(jìn)行識(shí)別,通過噴氣將識(shí)別的霉變種子或破損種子噴入分料盒B中,完成分選,每個(gè)試驗(yàn)重復(fù)3次。
每次分選完成后分別統(tǒng)計(jì)分料盒A中霉變、破損籽粒的數(shù)量和正常籽粒數(shù)量,分料盒B種子正常籽粒數(shù)量和霉變或破損籽粒的數(shù)量,計(jì)算分選準(zhǔn)確率。通過2 000粒種子混合樣本從開始分選至分選完成全過程所耗費(fèi)總時(shí)間,計(jì)算分選速率。
種子剔除率AR、正常種子獲選率AS、準(zhǔn)確率Auc計(jì)算公式為
(4)
(5)
(6)
式中TP——盒A中正常種子數(shù)量
FN——盒A中霉變或破損種子數(shù)量
TN——盒B中霉變或破損種子數(shù)量
FP——盒B中正常種子數(shù)量
分選結(jié)果如表2所示。通過表2可以看出,本文設(shè)計(jì)的分選裝置對(duì)霉變種子分選準(zhǔn)確率為95%以上,正常種子的獲選率高于97%;破損種子分選準(zhǔn)確率為89%以上,正常種子的獲選率高于90%;裝置的分選精度主要受兩個(gè)因素影響:受檢測方式和算法精度影響,目前裝置對(duì)玉米種子進(jìn)行單面檢測,算法采用不區(qū)分胚面胚乳面的建模方式,無法準(zhǔn)確地檢測玉米破損特征;裝置氣選的精準(zhǔn)度,氣選過程中種子存在粘連或者距離太近,導(dǎo)致漏吹。因此試驗(yàn)結(jié)果呈現(xiàn)出盒A種子略多于盒B的現(xiàn)象,且樣機(jī)試驗(yàn)精度較模型精度略有下降,最終裝置分選準(zhǔn)確率略低于算法準(zhǔn)確率。
表2 分選試驗(yàn)結(jié)果Tab.2 Sorting test results
裝置的分選速率在300粒/min以上。分選速率主要受3個(gè)因素影響:①上位機(jī)的算法處理效率。目前處理單幅圖像中的采集和數(shù)據(jù)分析時(shí)間小于相機(jī)的采集間隔。②振動(dòng)上料速度。裝置采用振動(dòng)電機(jī)帶動(dòng)種盤,調(diào)節(jié)電壓,振頻增加,上料速度加快,籽粒下落越密集,單幅圖像中所能分析處理的玉米籽粒越多。同時(shí)振動(dòng)上料使得種子下落不均勻,因此分選速率會(huì)在一定范圍內(nèi)波動(dòng)。③相機(jī)的采集幀率。系統(tǒng)采用面陣相機(jī)獲取種子圖像信息,當(dāng)傳輸帶速度過高時(shí),圖像清晰度下降,獲取種子圖像邊緣會(huì)出現(xiàn)重影。因此在保證獲取高質(zhì)量圖像的前提下,提高相機(jī)采集幀率,傳輸帶最高速度也可以隨之提高,進(jìn)而提高裝置的分選速率。目前裝置分選速率主要受到相機(jī)采集幀率的影響,可通過匹配更高幀率的高速工業(yè)相機(jī)來提高傳輸帶速度上限。
試驗(yàn)結(jié)果表明本文設(shè)計(jì)的裝置能夠?qū)崿F(xiàn)玉米種子從進(jìn)料到分選的全自動(dòng)化,對(duì)霉變和破損玉米種子進(jìn)行實(shí)時(shí)檢測和分選。
(1)設(shè)計(jì)并搭建了一種在線式單粒種子檢測分選裝置,該裝置可實(shí)現(xiàn)玉米籽粒逐?;狭?、檢測和分選。
(2)使用圖像處理技術(shù)實(shí)現(xiàn)種子顏色和圖像的快速提取,通過偏最小二乘判別分析法構(gòu)建了霉變籽粒和破損籽粒判別分析模型,并通過種子在圖像中的坐標(biāo)值確定種子的氣吹剔除時(shí)機(jī),實(shí)現(xiàn)了霉變種子和破損種子的在線檢測與分選。
(3)試驗(yàn)表明,該裝置可以實(shí)現(xiàn)在線式單粒種子檢測分選,其中霉變種子分選準(zhǔn)確率為95%以上,破損種子分選準(zhǔn)確率為89%以上,分選速率高于300粒/min。