周麟 武威 劉濤 孫成明
摘要 ? ?作物籽粒計(jì)數(shù)是作物研究中重要的工作之一。本文在總結(jié)國內(nèi)外常用的籽粒計(jì)數(shù)方法及原理的基礎(chǔ)上,對基于計(jì)算機(jī)視覺的圖像分析法、碰撞聲音識別法以及基于紅外線的顆粒計(jì)數(shù)方法進(jìn)行綜合比較、分析。結(jié)果表明,圖像分析法和碰撞聲音法操作簡單,但易受環(huán)境影響;紅外計(jì)數(shù)法被廣泛使用,但籽粒下落速度過快時(shí),受光電信息處理電路限制。針對不同的研究需求,采用不同的研究方法是比較合理的選擇。
關(guān)鍵詞 ? ?水稻;小麥;籽粒計(jì)數(shù);圖像分析;機(jī)器視覺
中圖分類號 ? ?S511;S512 ? ? ? ?文獻(xiàn)標(biāo)識碼 ? ?A
文章編號 ? 1007-5739(2020)12-0018-03 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 開放科學(xué)(資源服務(wù))標(biāo)識碼(OSID)
Research ?Status ?and ?Prospect ?of ?Rice ?and ?Wheat ?Grain ?Counting ?Methods
ZHOU Lin 1 ? ?WU Wei 2 ? ?LIU Tao 2 ? ?SUN Cheng-ming 2 *
(1 College of Horticulture and Plant Conservation,Yangzhou University, Yangzhou Jiangsu 225009; 2 Agricultural College, Yangzhou University)
Abstract ? ?Grain count is one of the important tasks in crop research. On the basis of summarizing the common methods and principles of grain counting at home and abroad,the image analysis method based on computer vision, collision sound recognition method and the particle counting method based on infrared ray were comprehensively compared and analyzed in this paper. The results showed that the image analysis method and the impact sound method were simple but easy to be affected by the environment; the infrared counting method was widely used, but when the grains fell too fast, it was limited by the photoelectric information processing circuit. According to different research needs, it is a reasonable choice to adopt different research methods.
Key words ? ?rice; wheat; grain count; image analysis; machine vision
在農(nóng)業(yè)生產(chǎn)中,經(jīng)常要對農(nóng)作物籽粒進(jìn)行計(jì)數(shù),以評估農(nóng)作物的產(chǎn)量和品質(zhì)。傳統(tǒng)的人工計(jì)數(shù)費(fèi)時(shí)、費(fèi)力,長時(shí)間觀察計(jì)數(shù)容易引起視覺及大腦的疲勞,導(dǎo)致計(jì)數(shù)錯(cuò)誤。隨著計(jì)算機(jī)視覺技術(shù)的發(fā)展,其在農(nóng)業(yè)領(lǐng)域上已得到廣泛應(yīng)用[1-4],主要包括水果和蔬菜的檢測[5-7]、經(jīng)濟(jì)作物的檢測(煙葉、茶葉等)[8-10]、谷物的檢測(如小麥、玉米、大米等)[11-13];動(dòng)物性產(chǎn)品的檢測。依據(jù)農(nóng)產(chǎn)品檢測部位的不同,又可劃分為外部品質(zhì)檢測(形狀、大小、顏色、裂紋、表面缺陷等)、內(nèi)部品質(zhì)檢測(水分、糖酸度、機(jī)械損傷、內(nèi)部腐敗、變質(zhì)、蟲害等)[14]。
機(jī)器視覺等技術(shù)利用計(jì)算機(jī)的高速運(yùn)算能力代替人眼和人耳進(jìn)行物件的識別,結(jié)合不同算法,可以實(shí)現(xiàn)分析決策判斷等操作。水稻和小麥籽粒計(jì)數(shù)常用方法包括圖像分析法、碰撞聲音識別法以及基于紅外線的顆粒計(jì)數(shù)方法。其中,圖像分析法的難點(diǎn)在于粘連籽粒的分割,主要算法有腐蝕膨脹法、分水嶺算法、主動(dòng)輪廓模型法和特征點(diǎn)匹配法[15-16]。
本文在總結(jié)國內(nèi)外常用的籽粒計(jì)數(shù)方法及原理的基礎(chǔ)上,對基于計(jì)算機(jī)視覺的圖像分析法、碰撞聲音識別法以及基于紅外線的顆粒計(jì)數(shù)方法的優(yōu)缺點(diǎn)及其發(fā)展趨勢進(jìn)行闡述,為水稻和小麥籽粒計(jì)數(shù)的研究工作提供了相關(guān)參考。
1 ? ?籽粒計(jì)數(shù)方法
云超設(shè)計(jì)實(shí)現(xiàn)了紅外計(jì)數(shù)傳感器、基于IIC總線技術(shù)的鍵盤掃描與LED數(shù)碼管顯示、繼電器控制電路。紅外線光電計(jì)數(shù)傳感器中的紅外線對管對稱布置,對小麥、菜籽、玉米籽粒和泡沫顆粒的實(shí)際試驗(yàn)以及用遮擋紅外線對管模擬籽粒通過的方法試驗(yàn),結(jié)果表明,計(jì)數(shù)準(zhǔn)確度較高,能夠滿足計(jì)數(shù)需求[16]。應(yīng)玉明設(shè)計(jì)了一套適用于顆粒工件計(jì)數(shù)的自動(dòng)計(jì)數(shù)儀控制系統(tǒng)。該系統(tǒng)使用紅外光電傳感器作為檢測元件,當(dāng)有工件通過時(shí)紅外光被遮擋,傳感器接收端產(chǎn)生相應(yīng)的脈沖信號,通過對脈沖信號進(jìn)行計(jì)數(shù),實(shí)現(xiàn)對工件的自動(dòng)計(jì)數(shù)。對控制系統(tǒng)的硬件電路和軟件控制流程作了詳細(xì)介紹并進(jìn)行了樣機(jī)驗(yàn)證,結(jié)果表明,該系統(tǒng)能對不同直徑的顆粒工件進(jìn)行快速、準(zhǔn)確地計(jì)數(shù)[42]。
梁文俊等發(fā)明了一種高精度自動(dòng)顆粒計(jì)數(shù)器,包括紅外發(fā)射管、驅(qū)動(dòng)電路、主控制器、液晶屏、信號調(diào)理放大電路和紅外接收管,紅外發(fā)射管與驅(qū)動(dòng)電路連接,紅外接收管與信號調(diào)理放大電路連接,驅(qū)動(dòng)電路、信號調(diào)理放大電路和液晶屏均與主控制器連接。采用紅外發(fā)射和接收管作為檢測的傳感器,紅外發(fā)射管的驅(qū)動(dòng)電路采用動(dòng)態(tài)調(diào)節(jié)的電路,通過主控制器來檢測紅外接收管的信號強(qiáng)弱來動(dòng)態(tài)調(diào)節(jié)。其中,紅外接收管接收到信號后經(jīng)過信號調(diào)理放大電路,把信號進(jìn)行濾波和放大,進(jìn)入到主控制器,主控制器通過內(nèi)部的ADC轉(zhuǎn)換器讀取電壓,再識別顆粒的計(jì)數(shù)[43]。
2 ? ?籽粒計(jì)數(shù)方法比較
為了更好地認(rèn)識3種籽粒計(jì)數(shù)方法,有必要對其進(jìn)行比較,3種方法的優(yōu)缺點(diǎn)如表1所示。
在圖像分析法的基礎(chǔ)上,也有學(xué)者進(jìn)行了改進(jìn),即將待測籽粒放在電磁振動(dòng)工作臺上,經(jīng)振動(dòng)后使均勻平鋪后,固定在電磁振動(dòng)臺的攝像頭,在良好的光照條件下對平鋪后的籽粒進(jìn)行拍攝,獲得模擬信號圖像數(shù)據(jù),經(jīng)圖像采集卡轉(zhuǎn)換成數(shù)字信號后傳輸給PC機(jī),然后在PC機(jī)上利用基于虛擬儀器開發(fā)的軟件對圖像進(jìn)行處理、分析,得出測量結(jié)果輸出到顯示器[44-45]。但是該方法對硬件要求較高,組成復(fù)雜,軟件開發(fā)平臺復(fù)雜,系統(tǒng)研發(fā)與實(shí)現(xiàn)成本高,數(shù)據(jù)處理量大,不易實(shí)現(xiàn)實(shí)時(shí)在線測量[46]。
碰撞聲音識別法能夠顯著提高籽粒計(jì)數(shù)計(jì)量的效率和精度,且便于試驗(yàn)數(shù)據(jù)的分析處理,能夠?yàn)榭蒲杏N和農(nóng)業(yè)生產(chǎn)措施的制定與評價(jià)提供可靠的技術(shù)保障。根據(jù)所要計(jì)數(shù)籽粒的力學(xué)特性的不同,還可以通過改變敏感板的材料、厚度以及吸聲墊的材料、厚度來改變密閉空間的型腔結(jié)構(gòu),進(jìn)而使籽粒與敏感板的碰撞聲音特性發(fā)生變化,從而改變傳感器對籽粒碰撞響應(yīng)的靈敏度[47]。而現(xiàn)有的籽粒計(jì)數(shù)儀器多屬于光電式,先用電磁振動(dòng)器將籽粒排成單粒隊(duì)列,送入光電轉(zhuǎn)換槽后形成光電脈動(dòng),然后由計(jì)數(shù)電路獲得籽粒數(shù)目,但當(dāng)籽粒下落速度太快時(shí),受光電信息處理電路的限制,籽粒檢測誤差較大[48-50]。
3 ? ?籽粒計(jì)數(shù)方法發(fā)展趨勢
3.1 ? ?籽粒計(jì)數(shù)智能化
籽粒計(jì)數(shù)主要包括人工計(jì)數(shù)法和儀器分析法。就當(dāng)前籽粒計(jì)數(shù)相關(guān)研究結(jié)果來看,幾乎沒有研究者研究傳統(tǒng)的計(jì)數(shù)法,大多研究者均選擇精度高、操作簡單、可同時(shí)測得大批量樣品的儀器分析法。科學(xué)技術(shù)的發(fā)展已對現(xiàn)代檢測儀器提出越來越高的要求,不僅要求測量儀器及時(shí)、精密、可靠地獲取有關(guān)物質(zhì)的特征,同時(shí)還要求操作簡單,盡量避免運(yùn)用大量人力,逐漸追求儀器智能化,操作簡單化、便捷化[51]。
3.2 ? ?籽粒計(jì)數(shù)精準(zhǔn)化
從腐蝕膨脹法、分水嶺算法、主動(dòng)輪廓模型法和特征點(diǎn)匹配法等圖像分析法,到碰撞聲音識別法和紅外線計(jì)數(shù)法,研究者都在研究如何用儀器替代人工,提高檢測精準(zhǔn)化程度,擴(kuò)大測素范圍[52-53]。隨著微電子技術(shù)、計(jì)算機(jī)科學(xué)技術(shù)以及多媒體技術(shù)、人機(jī)友好交互、虛擬現(xiàn)實(shí)、模糊控制、人工神經(jīng)網(wǎng)絡(luò)等新技術(shù)的巨大進(jìn)步,實(shí)現(xiàn)了作物籽粒監(jiān)測計(jì)數(shù)精度逐步提高。特別是在不同場景、不同光照條件、不同設(shè)備性能的條件下,都能精確計(jì)算籽粒的數(shù)量[54-55]。
4 ? ?參考文獻(xiàn)
[1] LIU T,WU W,CHEN W,et al.A shadow-based method to calculate the percentage of filled rice grains[J].Biosystems Engineering,2016,150:79.
[2] 周竹,黃懿,李小昱,等.基于機(jī)器視覺的馬鈴薯自動(dòng)分級方法[J].農(nóng)業(yè)工程學(xué)報(bào),2012,28(7):178-183.
[3] 李偉,康晴晴,張俊雄,等.于機(jī)器視覺的蘋果表面紋理檢測方法[J].吉林大學(xué)學(xué)報(bào)(工學(xué)版),2008,38(5):1110-1112.
[4] 劉福.電子計(jì)算機(jī)在農(nóng)業(yè)上的應(yīng)用[J].廣西農(nóng)村金融研究,1985(1):53.
[5] SHAHIN M A,TOLLNER E W,ARABNIA H R,et al.Apple classification based on surface bruises using image processing and neural networks[J].Transactions of the ASAE,2002,45(5):1619-1628.
[6] 趙彥如,錢東平,楊世風(fēng),等.鴨梨品質(zhì)檢測計(jì)算機(jī)視覺系統(tǒng)研究[J].河北農(nóng)業(yè)大學(xué)學(xué)報(bào),2003,26(增刊1):280-282.
[7] 應(yīng)義斌,饒秀勤,馬俊福.柑橘成熟度機(jī)器視覺無損檢測方法研究[J].農(nóng)業(yè)工程學(xué)報(bào),2004,20(2):144-147.
[8] 蔡健榮.利用計(jì)算機(jī)視覺定量描述茶葉色澤[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2000,31(4):67-70.
[9] 陳全勝,趙杰文,張海東,等.利用計(jì)算機(jī)視覺識別茶葉的色澤類型[J].江蘇大學(xué)學(xué)報(bào)(自然科學(xué)版),2005,26(6):461-464.
[10] 易克傳,岳鵬翔,陳全勝,等.基于聚類分析的計(jì)算機(jī)視覺對茶葉色澤的識別[J].中國茶葉加工,2006(2):39-41.
[11] 杜世偉,李毅念,姚敏,等.基于小麥穗部小穗圖像分割的籽粒計(jì)數(shù)方法[J].南京農(nóng)業(yè)大學(xué)學(xué)報(bào),2018,41(4):742-751.
[12] 紀(jì)壽文,王榮本,陳佳娟,等.應(yīng)用計(jì)算機(jī)圖像處理技術(shù)識別玉米苗期田間雜草的研究[J].農(nóng)業(yè)工程學(xué)報(bào),2001,17(2):154-156.
[13] 馬志宏,貢亮,林可,等.基于稻穗幾何形態(tài)模式識別的在穗籽粒數(shù)估測[J].上海交通大學(xué)學(xué)報(bào),2019,53(2):239-246.
[14] 凌云.基于機(jī)器視覺的谷物外觀品質(zhì)檢測技術(shù)研究[D].北京:中國農(nóng)業(yè)大學(xué),2004.
[15] 云超,朱瑞祥,陳麗,等.離心式籽粒均布器的設(shè)計(jì)[J].農(nóng)機(jī)化研究,2009,31(2):104-106.
[16] 云超.基于單片機(jī)的籽粒計(jì)數(shù)計(jì)量系統(tǒng)設(shè)計(jì)[D].楊陵:西北農(nóng)林科技大學(xué),2009.
[17] 宋鵬,張晗,王成,等.玉米籽??挤N信息獲取裝置設(shè)計(jì)與試驗(yàn)[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2017,48(12):19-25.
[18] 張恒敢,楊四軍,顧克軍,等.基于計(jì)算機(jī)視覺的小麥籽粒計(jì)數(shù)系統(tǒng)[J].數(shù)據(jù)采集與處理,2010(增刊1):80-83.
[19] 涂其遠(yuǎn),吳建華,萬國金.動(dòng)態(tài)閾值結(jié)合全局閾值對圖像進(jìn)行分割[J].南昌大學(xué)學(xué)報(bào)(工科版),2002,24(1):37-40.
[20] 周德祥,毋桂萍,楊紅衛(wèi),等.基于數(shù)學(xué)形態(tài)學(xué)粘連糧食籽粒圖像分割算法的改進(jìn)[J].農(nóng)機(jī)化研究,2010,32(7):49-52.
[21] 權(quán)龍哲,辛伯來,奚德君,等.粘連玉米粒群的分水嶺分割與粒形的多尺度小波校正算法研究[J].中國科技論文,2016(2):191-196.
[22] 荀一,鮑官軍,楊慶華,等.粘連玉米籽粒圖像的自動(dòng)分割方法[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2010,41(4):163-167.
[23] SHATADAL P,JAYAS D S,BULLEY N R.Digital image analysis for software separation and classification of touching grains:I.disconnect algorithm[J].Transactions of the ASAE,1995,38(2):645-649.
[24] 李永鋒,周德祥,邢超,等.基于數(shù)學(xué)形態(tài)學(xué)的粘連大米籽粒分割研究[J].農(nóng)業(yè)網(wǎng)絡(luò)信息,2010(10):18-21.
[25] BLEAU A,LEON L J.Watershed-based segmentation and region merging[J].Computer Vision & Image Understanding,2000,77(3):317-370.
[26] 李永鋒,周德祥,邢超,等.基于形態(tài)分水嶺算法的粘連大米籽粒分割研究[J].計(jì)算機(jī)與信息技術(shù),2010(10):42-45.
[27] 楊蜀秦.農(nóng)作物籽粒的圖像處理和識別方法研究[D].楊陵:西北農(nóng)林科技大學(xué),2012.
[28] DOUGHERTY E R.Granulometric size density for segmented random-disk models[J].Journal of Mathematical Imaging and Vision,2002,17(3):271-281.
[29] 肖助明,馮月亮,李濤,等.形態(tài)分水嶺算法在重疊米粒圖像分割中的應(yīng)用[J].計(jì)算機(jī)工程與應(yīng)用,2007,43(24):196-199.
[30] GUO S W,TANG J H,DENG Y P,et al.An improved approach for the segmentation of starch granules in microscopic images[J].BMC Genomics,2010,11(2):S13.
[31] DUARTE A,S?譧NCHEZ A,F(xiàn)ERN?譧NDEZ F,et al.Improving image seg-mentation quality through effective region merging using a hierarchical social metaheuristic[J].Pattern Recognition Letters,2006,27(11):1239-1251.
[32] WANG W,PALIWAL J.Separation and identification of touching kernels and dockage components in digital images[J].Canadian Biosystems Eng-ineering,2006,48:1.
[33] CHOU J J,WANG Y C.Automatic segmentation of touching rice kernels with an active contour model[J].Transactions of the ASAE,2004,47(5):1803-1811.
[34] 楊蜀秦,何東健.連接大米籽粒圖像的自動(dòng)分割算法研究[J].農(nóng)機(jī)化研究,2005(3):62-65.
[35] ZHENG Y,SUN X,SUN X,et al.A geometric active contour model without re-initialization for color images[J].Image & Vision Computing,2009,27(9):1411-1417.
[36] YANG S Q,NING J F,HE D J.Image segmentation algorithm of touching rice kernels based on active contour model[J].Transactions of the Chinese Society of Agricultural Engineering,2010,26(2):207-211.
[37] 楊蜀秦,寧紀(jì)鋒,何東健.基于Harris算子的籽粒尖端識別方法[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2011,42(3):166-169.
[38] LIN P,CHEN Y M,HE Y,et al.A novel matching algorithm for splitting touching rice kernels based on contour curvature analysis[J].Computers & Electronics in Agriculture,2014,109:124-133.
[39] SONG H,ZHAO Q,LIU Y.Splitting touching cells based on concave-point and improved watershed algorithms[J].Frontiers of Computer Science,2014,8(1):156-162.
[40] 李耀明,梁振偉,趙湛.籽粒損失監(jiān)測傳感器敏感板振動(dòng)特性與試驗(yàn)[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2013,44(10):104-111.
[41] 李耀明,梁振偉,徐立章.一種基于碰撞聲音識別的籽粒計(jì)數(shù)傳感器.中國:CN104050503A[P].2014.
[42] 應(yīng)玉明.基于單片機(jī)控制的工件自動(dòng)計(jì)數(shù)系統(tǒng)設(shè)計(jì)[J].機(jī)電工程技術(shù),2011(7):47-49.
[43] 梁文俊,陳雪華,周志.一種高精度自動(dòng)顆粒計(jì)數(shù)器.中國:CN205486238U[P].2016.
[44] 劉子洲.一種電磁振源振動(dòng)機(jī).中國:CN102101107A[P].2011.
[45] 戴文華,吳翔,裘正軍,等.基于圓心定位的籽粒計(jì)數(shù)方法研究[J].農(nóng)機(jī)化研究,2015(7):198-202.
[46] 凌云,王一鳴,孫明,等.基于流域算法的谷物籽粒圖像分割技術(shù)[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2005,36(3):95-98.
[47] 蔣國珠.具有微流通道的體聲波傳感器研究[D].南京:南京大學(xué),2014.
[48] 梅海峰.紅外線光電計(jì)數(shù)器的設(shè)計(jì)及制作[J].大氮肥,2005,28(5):356-357.
[49] 王懷舟.光電式傳感器.中國:CN 201583285 U[P].2010.
[50] 張燕,曾光宇.光電式傳感器的應(yīng)用與發(fā)展[J].圖書情報(bào)導(dǎo)刊,2006,16(13):254-255.
[51] 張雪飛,王建春,彭凱,等.基于圖像處理和藍(lán)牙傳輸技術(shù)的水稻種粒計(jì)數(shù)計(jì)量系統(tǒng)[J].山東農(nóng)業(yè)科學(xué),2018,50(7):157-160.
[52] 唐忠,李耀明,趙湛,等.夾帶損失傳感器不同安裝位置對籽粒檢測精度的影響[J].農(nóng)業(yè)工程學(xué)報(bào),2012,28(10):46-52.
[53] 趙志衡,宋歡,朱江波,等.基于卷積神經(jīng)網(wǎng)絡(luò)的花生籽粒完整性識別算法及應(yīng)用[J].農(nóng)業(yè)工程學(xué)報(bào),2018,34(21):195-201.
[54] LIU T,CHE W,WANG Y F,et al.Rice and wheat grain counting method and software development based on Android system[J].Computers and Electronics in Agriculture,2017,141:302-309.
[55] WU W,LIU T,ZHOU P,et al.Image analysis-based recognition and quantification of grain number per panicle in rice[J].Plant Methods,2019,15(1):1-14.