寇 淼, 鄒媛媛, 李廣偉
(1 中國科學院 沈陽自動化研究所,遼寧 沈陽110016; 2 中國科學院大學,北京 100049;3 沈陽建筑大學 機械工程學院,遼寧 沈陽 110168)
玉米育種激光切割采樣視覺檢測方法研究
寇 淼1,2, 鄒媛媛3, 李廣偉1,2
(1 中國科學院 沈陽自動化研究所,遼寧 沈陽110016; 2 中國科學院大學,北京 100049;3 沈陽建筑大學 機械工程學院,遼寧 沈陽 110168)
【目的】引入機器視覺技術引導激光切割玉米種子,實現玉米育種行業(yè)分子標記輔助育種采樣的自動化?!痉椒ā吭O計基于視覺的玉米粒形質量檢測和姿態(tài)識別系統(tǒng),提出玉米粒形質量檢測和姿態(tài)識別算法:首先,根據提取的玉米粒形特征參數,剔除粒形尺寸不合格的玉米種子,然后,計算合格玉米種子的姿態(tài),以便姿態(tài)調整裝置將種子調整到理想切割姿態(tài)。【結果】算法處理時間約0.6 s,姿態(tài)角平均絕對誤差2.00°,滿足使用的精度要求?!窘Y論】該方法有助于實現玉米分子標記輔助育種中的激光自動切割采樣。
玉米育種; 激光切割; 視覺檢測; 圖像處理; 分子標記
玉米是世界三大糧食作物之一,玉米生產發(fā)展的速度決定著我國畜牧業(yè)和肉類產業(yè)的發(fā)展[1-2],選擇適合的玉米優(yōu)良品種是直接關系到其產量的關鍵問題。分子標記輔助育種作為現代作物育種方法被應用于玉米育種,從每一粒玉米種子切取少許胚乳作為樣品進行滴定、檢測、篩選,將含有完整胚芽的種子保留用于作物種植,從而大大提高玉米育種效率、節(jié)約成本[3-6]。分子標記輔助玉米育種技術的研究中,種子切片通常采用人工制作,但手工制取種子切片的方法效率十分低下,準確率也無法保證[7-8]。因此,將高精度激光自動切割技術應用于玉米育種,實現自動化采樣,有助于提高育種的效率和質量[9-10]。在玉米育種激光切片自動化采樣中,一方面由于玉米種子外形尺寸差異大,需要對玉米種子外形質量進行檢測,篩選出尺寸合格的種子進行切割,另一方面需要在線識別出種子的姿態(tài),使種子具有一種確定的、已知的姿態(tài),以便進行精確的切割[11-12]。
本文通過對玉米外形特征進行分析,設計基于機器視覺的玉米粒形質量檢測和姿態(tài)識別系統(tǒng),研究玉米粒形質量檢測和姿態(tài)識別算法,基于圖像區(qū)域特征,通過形態(tài)學圖像處理算法和邊緣跟蹤算法提取出玉米的粒形輪廓,基于區(qū)域幾何中心和輪廓搜索相結合的方法提取出玉米粒形特征參數,進行玉米粒形質量檢測判斷,剔除粒形尺寸不合格的玉米種子,計算粒形尺寸合格的玉米種子的姿態(tài),以便姿態(tài)調整裝置將種子調整到理想切割姿態(tài)。將該系統(tǒng)應用于玉米育種激光切片取樣機器人,有助于實現玉米育種激光切片的自動化采樣。
依據玉米分子標記輔助育種對切片質量的要求,玉米胚乳的切割位置為接近頂冠位置的直線,示意圖見圖1。
1:胚芽;2:胚乳;3:切割軌跡。
為保證中國科學院沈陽自動化研究所自行研制的玉米育種激光切片取樣機器人能夠準確切割玉米種子的少許胚乳,并保留完整胚芽,需要通過視覺采集系統(tǒng)獲取玉米種子長軸長度a和方向、短軸長度b和方向以及輪廓等特征參數(圖2)。
圖2 玉米特征參數Fig.2 Feature parameters of corn seed
依據獲取的特征參數,通過計算獲得面積、圓度、長寬比等特征參數[13-14]。其中,面積A定義為玉米灰度圖像的像素之和,即玉米顆粒輪廓線內包含的像素之和,是反映玉米大小的指標之一。圖像經過區(qū)域標記和邊界跟蹤后,就可以計算若干輪廓參數。在一幅圖像中,圖像函數記為f(x,y),f(I)表示圖像中某個輪廓區(qū)域像素點I,n表示圖像中某個輪廓區(qū)域的像素個數。公式為:
圓形度R定義為玉米的邊界形狀接近圓的程度,是反映顆粒圖像投影區(qū)域不規(guī)則性的參數,由面積A和周長P計算出來,其計算公式為:
R=4πA/P2。
長寬比m定義為長軸a與短軸b的比。
2.1 視覺識別系統(tǒng)介紹
玉米育種激光切片取樣機器人由6個系統(tǒng)組成,包括分離定向系統(tǒng)、激光器系統(tǒng)、切片系統(tǒng)、標準盤系統(tǒng)、控制系統(tǒng)、動力系統(tǒng)。其中,視覺識別系統(tǒng)屬于分離定向系統(tǒng),安裝在姿態(tài)調整裝置上方,包括相機和附加照明裝置,用于種子外形質量檢測和姿態(tài)識別。視覺系統(tǒng)識別算法流程見圖3,視覺系統(tǒng)識別算法流程包括玉米外形質量檢測和玉米姿態(tài)識別,具體工作過程為:由攝像機對玉米種子原始圖像進行采集,根據采集到的圖像信息分析玉米外形質量信息,如果視覺判斷玉米外形質量不合格,則由手爪推到廢料回收區(qū)域,之后計算玉米姿態(tài),獲得姿態(tài)調整參數。
圖3 視覺識別算法流程Fig.3 Algorithm flow of visual identification
2.2 視覺識別圖像處理
玉米通過上料裝置送到指定位置進行視覺識別,因此玉米在圖像中的位置相對固定,為了提高圖像處理速度,可以首先依據圖像灰度信息確定感興趣區(qū)域,然后針對感興趣區(qū)域圖像,采用 5×5 模板的中值濾波算子進行濾波處理,去除相應噪聲影響,完成對圖像的預處理。中值濾波后的圖像見圖4a。
基于大津閾值分割法(OTSU)對濾波后的圖像二值化。OTSU 法也稱為最大類間方差法或最小類內方差法,思路是基于圖像的灰度直方圖,以目標和背景的類間方差最大或類內方差最小為閾值選取準則[15]?;玖鞒淌牵涸O置處理圖像由目標和背景組成,目標和背景灰度值不同,基于直方統(tǒng)計圖像把灰度劃分為1~L等級,從中選擇閾值等級K,將圖像分為目標(暗:C0=1~K)與背景(亮:C1=K+1-L),若2類的類間方差最大,則所求出的K為最佳閾值K。二值化的圖像基于區(qū)域面積分割出玉米粒形部分,去掉圖像中雜質影響,并利用形態(tài)學開閉運算,去除邊緣噪聲影響,處理結果見圖4b。
經過閾值分割后的玉米種子二值圖像還存在一些噪聲的干擾,進行形態(tài)學處理可以優(yōu)化玉米種子輪廓,而且還能進一步消除圖像中的噪聲。形態(tài)學的閉運算能夠使圖像的區(qū)域縮小,并能夠消除顆粒噪音,開運算能夠使圖像的輪廓變得更光滑。本系統(tǒng)采用5×5 結構元素的閉運算和5×5 結構元素的開運算對圖像進行形態(tài)學處理。基于文獻[15]中的邊緣跟蹤算法,提取出二值圖像中玉米的輪廓邊緣,見圖4c。
長軸獲取方法:首先,0~180°范圍內,每隔1°角度值所對應的斜率ki(i=1,2,…,180);設邊緣點坐標為(xj,yj),形心坐標(x0,y0),計算Xj=xj-x0和Yj=yj-y0的值(j=1,2,…,n,n為邊緣點的個數);令Mi=kiXj-Yj,求(Xj,Yj)中使Mi絕對值最小的2個點,記下這2個點所對應的邊緣點的坐標(x1i,y1i),(x2i,y2i);令Li=(x1i-x2i)2+(y1i-y2i)2,即計算兩邊緣點之間的長度,求出使Li最大的2個點,這2點即為長軸兩端點,2點間距離即為長軸長度,此時所對應的斜率即為長軸的斜率。短軸過形心且垂直于長軸,求出長軸后即可據此求出短軸,見圖4d。
圖4 特征點提取算法流程Fig.4 Procedure of feature points extraction
2.3 粒形檢測和姿態(tài)識別
依據提取出的玉米特征參數,在粒形檢測中,以長度、面積、長寬比和圓形度為特征參數,依據切割要求設定判定參數,剔除掉尺寸不合格的玉米種子。在姿態(tài)識別中,計算長軸方向和水平方向的夾角,作為玉米種子當前姿態(tài)值。
視覺識別試驗中,使用的設備有分辨率為1 626×1 236的Basler黑白攝像機、焦距為8 mm的Computar鏡頭、白色背光光源。根據前面提出的視覺識別方法,對133個玉米種子進行視覺識別試驗,包括粒形質量檢測試驗和姿態(tài)識別試驗。通過粒形檢測試驗,剔除掉不合格玉米種子39粒。合格玉米種子94粒,獲得試驗部分數據如表1所示。
表1 玉米特征的視覺識別試驗測試數據
Tab.1 Experimental data of visual identification of corn features
特征長度/像素寬度/像素面積/像素最大值250.57168.3433006.0最小值190.39119.8218552.0平均值215.37145.3525467.0均方差13.2311.913026.8
對合格的玉米種子進行姿態(tài)識別,圖5為識別的姿態(tài)角和實際姿態(tài)角對比。姿態(tài)角的誤差范圍為0~4°,平均絕對誤差為2.00°,誤差方差為1.19°,試驗結果在允許誤差范圍之內,能夠滿足玉米切割條件需要。單純一幅圖像的處理時間為0.6 s左右,滿足在線的切割時間要求(試驗樣機的切割速度要求為10個·min-1)。
圖5 姿態(tài)對比Fig.5 Comparison of corn seed posture
本研究結合自制樣機設計了基于機器視覺的玉米粒形質量檢測和姿態(tài)識別系統(tǒng),提出了玉米粒形質量檢測和姿態(tài)識別算法,基于圖像區(qū)域特征,通過形態(tài)學圖像處理算法和邊緣跟蹤算法提取出玉米的粒形輪廓,基于區(qū)域幾何中心和輪廓搜索相結合的方法提取出玉米粒形特征參數,進行玉米粒形質量檢測判斷,剔除粒形尺寸不合格的玉米種子,計算粒形尺寸合格的玉米種子姿態(tài),以便姿態(tài)調整裝置將種子調整到理想切割姿態(tài),姿態(tài)角平均絕對誤差為2.00°,處理時間約0.6 s,試驗結果表明本文提出的系統(tǒng)和方法能滿足玉米育種激光切割的精度要求,同時也能滿足在線檢測需要(切割試驗速度10個·min-1)。本文設計的視覺檢測系統(tǒng)有助于實現玉米分子標記輔助育種中的激光自動切割采樣。
[1] 張加勇. 近十五年來北京玉米育種發(fā)展的研究[D]. 北京:中國農業(yè)大學,2006.
[2] 戴景瑞, 鄂立柱. 我國玉米育種科技創(chuàng)新問題的幾點思考[J]. 玉米科學,2010,18(1):1-5.
[3] 李向拓, 毛建昌, 吳權明. 分子標記在玉米育種中的應用[J]. 玉米科學,2004,12(1):26-29.
[4] 郭景倫. 適用于分子標記輔助育種的玉米單粒胚乳DNA快速提取方法[J]. 農業(yè)與技術,2005,25(5):113-114.
[5] 曹士亮. 分子標記輔助選擇在玉米育種中的應用進展[J]. 作物雜志,2008(6):107-109.
[6] 梅曼彤. 略談植物生物技術的現狀和發(fā)展[J]. 華南農業(yè)大學學報,2013,34(3):281-286.
[7] WU L, WANG C. Application of molecular marker assisted selection in gene pyramiding and selection of new cultivars[J]. Journal of Northeast Agricultural University, 2011, 18(1): 79-84.
[8] THOMAS C O, PAUL C, JOSEPH J K. Systems and methods for processing hybrid seed:US2009061449-A1[P]. 2009-03-05.
[9] 李廣偉, 谷侃峰, 趙明揚. 育種用玉米種子切片取樣自動定向方法與試驗[J]. 農業(yè)工程學報,2016,32(4):40-47.
[10]JASON C, DAVID K. Methodologies, processes and automated devices for orientation, sampling and collections of seed tissues from individual seeds:US2008131924-A1[P]. 2008-06-05.
[11]孟山都技術有限公司. 自動種子取樣器及對種子進行取樣、試驗并散裝的方法:102742394A[P]. 2012-10-24.
[12]趙玉連. 太赫茲光譜技術在農業(yè)選種中的應用及飛秒激光自相關儀的研制[D]. 北京:首都師范大學,2004.
[13]萬鵬, 孫鐘雷, 宗力. 基于計算機視覺的玉米粒形檢測方法[J]. 中國糧油學報, 2011, 26(5): 107-110.
[14]閘建文, 陳永艷. 基于外部特征的玉米品種計算機識別系統(tǒng)[J]. 農業(yè)機械學報, 2004(6):115-118.
[15]GONZALEZ R C, WOOD R E. 數字圖像處理[M]. 3版.阮秋琦,等,譯. 北京:電子工業(yè)出版社,2002:515-516.
【責任編輯 霍 歡】
Study on visual inspection for sampling using laser cutting in corn breeding
KOU Miao1,2,ZOU Yuanyuan3,LI Guangwei1,2
(1 Shenyang Institute of Automation, Chinese Academy of Sciences, Shenyang 110016, China; 2 University of Chinese Academy of Sciences, Beijing 100049, China; 3 School of Mechnical Engineering, Shenyang Jianzhu University, Shenyang 110168, China)
【Objective】 To cut corn seed using laser guided by machine vision technology, and to automate sampling of molecular marker-assisted corn breeding. 【Method】 A system for quality inspection and posture recognition based on machine vision was designed. An algorithm was developed to inspect the shape quality and posture of corn seeds. The characteristic parameters of corn seeds were extracted to estimate if the corn seeds were qualified or not, the unqualified ones were removed, and the postures of the qualified ones were calculated so that the posture adjustment device could adjust each seed to the ideal cutting position. 【Result】 The time of algorithm process was about 0.6 s and the mean absolute error of attitude angle was 2.00°, which met the actual precision requirements. 【Conclusion】 This method is helpful to realize the automation of sampling using laser cutting in molecular marker-assisted corn breeding.
corn breeding; laser cutting; visual inspection; image procession; molecular marker
2016- 05- 11優(yōu)先出版時間:2016-12-28
寇 淼(1991—),女,碩士,E-mail:koumiao@sia.cn;通信作者:鄒媛媛(1985—),女,副教授,博士,E-mail:yyzou@sjzu.edu.cn
國家自然科學基金(51405481); 遼寧省自然科學基金(2014020084); 遼寧省農業(yè)攻關及成果產業(yè)化項目(201404236)
S331;TP23
A
1001- 411X(2017)01- 0116- 004
優(yōu)先出版網址:http://www.cnki.net/kcms/detail/44.1110.s.20161228.0922.016.html
寇 淼, 鄒媛媛, 李廣偉.玉米育種激光切割采樣視覺檢測方法研究[J].華南農業(yè)大學學報,2017,38(1):116- 119.