基于多相機(jī)成像的玉米果穗考種參數(shù)高通量自動(dòng)提取方法

宋 鵬，張 晗，羅 斌，侯佩臣，王 成

?

基于多相機(jī)成像的玉米果穗考種參數(shù)高通量自動(dòng)提取方法

宋 鵬1,2，張 晗1,2，羅 斌1,2，侯佩臣1,2，王 成2,3※

（1. 北京農(nóng)業(yè)信息技術(shù)研究中心，北京 100097；2. 北京農(nóng)業(yè)智能裝備技術(shù)研究中心，北京 100097；3. 國家農(nóng)業(yè)智能裝備工程技術(shù)研究中心，北京 100097）

實(shí)現(xiàn)玉米果穗考種性狀的準(zhǔn)確、快速獲取是提高玉米育種效率的關(guān)鍵環(huán)節(jié)。該文在前期設(shè)計(jì)的玉米高通量自動(dòng)化考種裝置基礎(chǔ)上，提出了一種基于多相機(jī)的玉米果穗考種參數(shù)提取方法，通過4個(gè)等間隔均勻分布的攝像頭同時(shí)獲取果穗4個(gè)方向圖像，針對(duì)每副圖像分別經(jīng)過背景去除、投影模型構(gòu)建、籽粒跟蹤、考種參數(shù)提取等處理，最后根據(jù)4副圖像的處理結(jié)果，綜合計(jì)算穗長、穗粗、平均粒厚、穗行數(shù)、行粒數(shù)、穗粒數(shù)等考種參數(shù)。在玉米高通量自動(dòng)化考種裝置的果穗考種模塊上進(jìn)行試驗(yàn)，結(jié)果表明，該文所提方法測(cè)得的穗長、穗粗、平均粒厚與人工方法測(cè)量值之間的決定系數(shù)2分別為0.997 3、0.984和0.941 5，對(duì)穗行數(shù)、行粒數(shù)的測(cè)量精度分別為98.63%、95.35%，為玉米果穗考種參數(shù)提取提供了一種新思路，為高通量自動(dòng)考種裝置的實(shí)現(xiàn)奠定了基礎(chǔ)。

農(nóng)作物；提取；圖像分割；玉米考種；四相機(jī)；投影模型；籽粒跟蹤；穗行數(shù)

0 引 言

考種是玉米育種過程的重要環(huán)節(jié)[1]。玉米果穗考種包括果穗穗長、穗粗、穗行數(shù)、行粒數(shù)、平均粒厚、總粒數(shù)等多種性狀參數(shù)的測(cè)量，傳統(tǒng)果穗考種通過人工測(cè)量，費(fèi)時(shí)費(fèi)力[2]，果穗考種的效率和精度制約著商業(yè)化玉米育種效率的提高。

隨著信息技術(shù)的發(fā)展，越來越多的學(xué)者將機(jī)器視覺及圖像處理技術(shù)應(yīng)用于玉米檢測(cè)及分析[3-12]。在玉米考種方面，主要基于視覺技術(shù)進(jìn)行考種參數(shù)提取方法研究并形成相應(yīng)裝置[13-20]，目前主要通過2種方式進(jìn)行果穗考種參數(shù)的提?。?）使果穗和圖像采集裝置發(fā)生相對(duì)旋轉(zhuǎn)，獲取玉米果穗的全表面圖像信息后進(jìn)行考種參數(shù)提取[21-22]；2）通過拍攝靜置的玉米果穗單側(cè)圖像信息，分析估算出整個(gè)果穗的考種參數(shù)[23-26]。如柳冠伊等[27]采用2個(gè)輥筒驅(qū)動(dòng)玉米果穗勻速轉(zhuǎn)動(dòng)，用線陣CCD從2個(gè)輥筒之間間隙對(duì)玉米果穗進(jìn)行連續(xù)掃描并分析，單個(gè)果穗檢測(cè)時(shí)間大于30 s；周金輝等[28]通過高拍儀獲取玉米果穗單副圖像，通過建立投影修正模型估算果穗穗長、穗粗、穗行數(shù)、行粒數(shù)等參數(shù)，測(cè)量速度可達(dá)30穗/min。

本文針對(duì)玉米高通量自動(dòng)考種裝置的果穗考種模塊[14]，提出一種基于多相機(jī)的玉米果穗考種參數(shù)提取方法，可快速測(cè)量玉米果穗穗長、穗粗、穗行數(shù)、行粒數(shù)、總粒數(shù)等考種參數(shù)，為玉米高通量自動(dòng)考種裝置的實(shí)現(xiàn)奠定基礎(chǔ)。

1 材料與方法

1.1 樣本材料

本文試驗(yàn)所用玉米果穗均來自遼寧東亞種業(yè)有限公司東亞海南育種基地收獲的實(shí)際待考種玉米材料，部分果穗樣本如圖1所示。

圖1 果穗樣本材料

1.2 果穗圖像獲取裝置

本文在前期設(shè)計(jì)的玉米高通量自動(dòng)考種裝置的果穗考種單元獲取圖像，其結(jié)構(gòu)如圖2所示。果穗置于2根平行安裝，間隔可調(diào)的鋼絲上方，4個(gè)彩色相機(jī)以90°等間隔沿垂直于穗軸方向，距離穗軸中心30 cm處，水平分布于果穗四周[14]，以外觸發(fā)方式同時(shí)獲取果穗4個(gè)方向圖像。該裝置具體硬件型號(hào)參數(shù)如下：攝像頭為DH- HV5051Ux-M型號(hào)彩色CMOS工業(yè)數(shù)字相機(jī)，分辨率為2 942×1 944像素；鏡頭為Computar 5mm f/1.5定焦鏡頭；光源為4只條形LED白光光源。本裝置選用的PC機(jī)硬件環(huán)境為Intel(R) Core(TM) i5 CPU M 450 2.4 GHz，軟件由Visual Studio 2010 開發(fā)環(huán)境編寫。

1.攝像頭 2.光源 3. 果穗承載裝置

本裝置獲取的玉米果穗原始圖像如圖3所示。

圖3 4個(gè)相機(jī)獲取的原始果穗圖像

1.3 果穗考種參數(shù)提取方法

果穗考種參數(shù)中涉及的果穗長度、寬度、籽粒厚度等均為實(shí)際物理尺寸，而圖像處理過程通常使用像素?cái)?shù)來表示尺寸大小。在測(cè)量之前，需進(jìn)行相機(jī)標(biāo)定，將單位像素對(duì)應(yīng)的物理尺寸計(jì)為（mm/像素），經(jīng)標(biāo)定，本系統(tǒng)中4個(gè)攝像頭對(duì)應(yīng)的值均為0.126 mm/像素。

1.3.1 圖像預(yù)處理

在采集果穗圖像前，玉米果穗位于2根平行安裝的鋼絲上方，故其出現(xiàn)在攝像頭視場(chǎng)中的位置相對(duì)固定，為提高圖像處理效率，降低無效數(shù)據(jù)處理量，僅對(duì)每副圖像中包含玉米果穗的區(qū)域進(jìn)行處理。采集的果穗原始圖像分辨率為2 942×1 944像素，通過試驗(yàn)發(fā)現(xiàn)，處于圖像中間區(qū)域，長度為原始圖像長度的7/9，即2 016像素，寬度為原始圖像寬度的1/2，即972像素，此區(qū)域圖像基本包含不同尺寸玉米果穗的完整信息。

分別在RGB（red, green, blue）和HSV（hue, saturation, value）顏色空間對(duì)果穗圖像進(jìn)行分析，發(fā)現(xiàn)果穗?yún)^(qū)域與背景區(qū)域在H通道和V通道差異較大，如圖4所示，可使用V-H模型進(jìn)行果穗?yún)^(qū)域提取。

圖4 圖3a在H、V通道分量圖

通過直方圖分析發(fā)現(xiàn)，采用1.8×(V-H)+180模型二值化后進(jìn)行去噪、孔洞填充及形態(tài)學(xué)變換，將獲取的果穗?yún)^(qū)域與原圖像進(jìn)行與操作以去除背景，提取的玉米果穗圖像如圖5所示。

圖5 去背景后的玉米果穗圖像

1.3.2 果穗投影模型

本文對(duì)獲取的4副果穗圖像分別處理，綜合各圖像處理結(jié)果獲取玉米果穗考種參數(shù)。由于攝像頭以90°間隔沿垂直于穗軸方向均勻分布于果穗四周，而玉米果穗為類旋轉(zhuǎn)體，可將果穗截面等效于圓形[28]，則分布于果穗同一截面的籽粒等效于分布于圓周上的各點(diǎn)，據(jù)此原理構(gòu)建果穗投影模型，如圖6所示。

圖6中點(diǎn)所處位置為攝像頭位置，圓等效于與穗軸方向垂直的果穗截面，圓的半徑為該截面位置處的果穗半徑。為該截面處果穗邊緣投影長，為該截面處穗行數(shù)為n的籽粒所對(duì)應(yīng)的投影長。攝像頭安裝時(shí)保證其軸心線與果穗的中心軸線位置處于同一平面，故可近似認(rèn)為被攝像頭所處位置與果穗截面中心點(diǎn)的連線平分，且與垂直。將與的交點(diǎn)定為點(diǎn)。

注：A為攝像頭位置；BC為果穗邊緣投影長；DE為nr行籽粒投影長；圓O為果穗截面；θ為nr行籽粒對(duì)應(yīng)圓心角；F為AO與BC的交點(diǎn)。

假設(shè),=，，=，由直角三角公式可得到式（1）。

計(jì)算可得式（2）～（3）。

1.3.3 果穗考種參數(shù)提取流程

由果穗投影模型可知，將果穗截面等效于圓形時(shí)，可通過計(jì)算每副圖像中的穗行數(shù)ri及其所對(duì)應(yīng)圓心角θ換算出果穗的穗行數(shù)，結(jié)合式（3）可知，由該副圖像換算出的果穗穗行數(shù)ri由式（4）計(jì)算得出。

因此，為計(jì)算出果穗行數(shù)ri，需確定攝像頭所獲圖像中玉米邊緣投影長度值；單副圖像中提取的穗行數(shù)ri，ri行籽粒所對(duì)應(yīng)的投影長度值及攝像頭距離果穗中心距離值。

×|eb-ec| （5）

攝像頭距離果穗中心距離值由系統(tǒng)設(shè)計(jì)安裝確定，為常量30 mm。由于玉米果穗表面近似圓柱體，處于邊緣區(qū)域的籽粒受光線影響，難以獲取理想提取效果。為提高果穗行數(shù)檢測(cè)精度，需提取各圖像中完整有效的穗行數(shù)ri及其所對(duì)應(yīng)的投影長度。由于果穗中間區(qū)域籽粒排布較規(guī)則，在提取有效的穗行數(shù)ri時(shí)針對(duì)果穗中間區(qū)域進(jìn)行處理，具體流程如下：

1）果穗上玉米籽粒提取。針對(duì)G通道，采用自適應(yīng)閾值方法分割后進(jìn)行形態(tài)學(xué)變換，采用分水嶺方法對(duì)果穗上粘連玉米籽粒進(jìn)行分割，將所分割的單個(gè)玉米籽粒區(qū)域按照面積大小進(jìn)行排序，提取面積大小處于中間50%的籽粒，計(jì)算其平均寬度k

2）圖像輪廓及玉米籽粒中心位置提取。通過分析發(fā)現(xiàn)，果穗禿尖區(qū)域和籽粒區(qū)域在HSV空間的H通道和S通道的灰度呈現(xiàn)差異，采用2×(S-H)+30模型進(jìn)行處理后閾值分割，可實(shí)現(xiàn)凸尖區(qū)域和籽粒區(qū)域分割，利用此模型提取的果穗籽粒區(qū)域圖像如圖7a所示。提取穗上籽粒中間1/2區(qū)域的外輪廓，外輪廓上各點(diǎn)坐標(biāo)為e(ei,ei)，同時(shí)提取所分割出的獨(dú)立籽粒區(qū)域的中心點(diǎn)位置坐標(biāo)c(cj,cj)；

3）邊緣籽粒剔除。遍歷搜索與各獨(dú)立籽粒區(qū)域中心點(diǎn)c(cj,cj)橫坐標(biāo)cj相同的圖像邊緣輪廓點(diǎn)，由于圖像邊緣輪廓為封閉狀態(tài)，因此存在2個(gè)滿足條件的輪廓點(diǎn)，分別為e1(cj,ej1)及e2(cj,ej2)。定義Dist=min{|cj-ej1,cj-ej2}。當(dāng)Dist>ej1-ej2/10時(shí)，則判定中心點(diǎn)c(cj,cj)對(duì)應(yīng)的籽粒區(qū)域處于圖像邊緣，予以剔除。

4）籽粒跟蹤。針對(duì)步驟3）剔除邊緣籽粒后的圖像進(jìn)行跟蹤，跟蹤起始點(diǎn)為籽粒區(qū)域中心點(diǎn)中橫坐標(biāo)最小點(diǎn)，記為c0(c0,c0)，任一跟蹤點(diǎn)記為ci(ci,ci)。則c0與點(diǎn)ci的直線距離0i及2點(diǎn)連線的夾角0i為式（6）～（7）。

0i[(cmin-ci)2(c0ci)2]1/2（6）

0iarctan[(c0-ci)/(cmin-ci)]（7）

若點(diǎn)c1(c1,c1)，滿足012012min{0i20i2}，則認(rèn)為點(diǎn)c1(c1,c1)為起始點(diǎn)c0(c0,c0)所跟蹤到的下一點(diǎn)，以點(diǎn)c1(c1,c1)作為下一跟蹤的起始點(diǎn)繼續(xù)跟蹤，對(duì)已經(jīng)跟蹤過的點(diǎn)進(jìn)行標(biāo)記，不進(jìn)行重復(fù)跟蹤計(jì)算。單次跟蹤結(jié)束后循環(huán)進(jìn)行步驟4）操作，直至遍歷所有玉米籽粒中心點(diǎn)跟蹤結(jié)束。

根據(jù)試驗(yàn)情況，本文所設(shè)置的單次跟蹤終止條件為|0i>40°或0i3k。

5）有效穗行數(shù)ri計(jì)算。依照步驟4）跟蹤的穗行數(shù)通常大于等于1行，若所跟蹤的穗行包含的籽粒數(shù)量明顯少于其他行，則表明此行跟蹤結(jié)果不完整，為無效行，予以剔除，剔除無效行后的穗行數(shù)即為有效穗行數(shù)ri。

6）ri行對(duì)應(yīng)投影長度值計(jì)算。將步驟5）中跟蹤所得的有效果穗行數(shù)沿穗軸方向等分為10個(gè)矩形區(qū)域，每個(gè)矩形區(qū)域包含ri行對(duì)應(yīng)的穗上籽粒。每個(gè)矩形的長度用i表示，通過排序獲取i的中值m，則ri行有效穗行數(shù)對(duì)應(yīng)的投影寬度×m。

7）果穗邊緣投影長度計(jì)算。步驟6）中長度為m的矩形中心位置記為(m,m，將果穗輪廓上與其對(duì)應(yīng)的具有相同橫坐標(biāo)的2點(diǎn)記為e1(m,e1)及e2(m,e2)，則×(e1-e2)。

按照上述步驟，圖5a處理效果如圖7所示。

圖7 果穗處理過程

1.4 果穗考種參數(shù)計(jì)算

本裝置采用4個(gè)相機(jī)分別進(jìn)行玉米果穗圖像參數(shù)提取，最終測(cè)得的果穗考種參數(shù)由4副圖像提取的參數(shù)綜合計(jì)算得出。

1.4.1 果穗長、寬計(jì)算

玉米果穗的長度和寬度分別對(duì)應(yīng)玉米果穗的長軸和短軸，本文通過建立玉米果穗的最小外接矩形獲取果穗的長、寬參數(shù)[23]。對(duì)玉米果穗二值圖進(jìn)行輪廓跟蹤，基于Graham掃描法[29]建立其最小外接矩形，將果穗最小外接矩形的長記為ei，最小外接矩形的寬記為ei，則各圖像中計(jì)算的果穗長為ei×ei，果穗寬為ei×ei，同時(shí)計(jì)算4副圖像的平均果穗長、平均果穗寬、最大果穗長、最大果穗寬，并與人工測(cè)量值做對(duì)比。結(jié)果表明4幅圖像的最大果穗長、最大果穗寬與人工測(cè)量結(jié)果相關(guān)性最高，故果穗長度定義為L=max{ei,1, 2, 3, 4}，果穗寬度定義為W=max{ei,1, 2, 3, 4}。

1.4.2 穗行數(shù)提取

由于處于玉米果穗中間區(qū)域的籽粒排列相對(duì)規(guī)則，在進(jìn)行穗行數(shù)提取時(shí)，選取沿果穗最小外接矩形方向玉米籽粒中間的1/2區(qū)域進(jìn)行處理。圖5a的提取效果如圖7e所示。

1.4.3 行粒數(shù)提取

行粒數(shù)提取與有效穗行數(shù)提取采用相同的提取規(guī)則，區(qū)別在于有效穗行數(shù)提取針對(duì)果穗上全部籽粒的中間1/2區(qū)域進(jìn)行跟蹤，而行粒數(shù)提取則針對(duì)果穗上全部籽粒區(qū)域進(jìn)行跟蹤，圖7a的籽粒跟蹤效果如圖8所示。

圖8 圖7a籽粒跟蹤效果

選取所跟蹤的有效行數(shù)中，行粒數(shù)最大值作為圖8所測(cè)得的果穗行粒數(shù)ki，該果穗行粒數(shù)n由式（9）中計(jì)算的通過四舍五入法取整所得。

1.4.4 總粒數(shù)提取

1.4.5 籽粒厚度提取

根據(jù)所提出的籽粒跟蹤規(guī)則，得出每副圖像所跟 蹤的行粒數(shù)ri及該行跟蹤路徑之和D，則平均籽粒厚度為：

2 結(jié)果與分析

為驗(yàn)證本文所提方法測(cè)量的準(zhǔn)確性，進(jìn)行玉米考種試驗(yàn)。隨機(jī)選取20個(gè)待考種果穗，用人工方式統(tǒng)計(jì)各果穗長、寬、穗行數(shù)、行粒數(shù)，總粒數(shù)后，將其依次置于果穗考種單元的2根平行安裝鋼絲上方，樣本在高通量自動(dòng)考種裝備[14]上進(jìn)行自動(dòng)考種并保存測(cè)量結(jié)果，對(duì)比系統(tǒng)測(cè)量的數(shù)據(jù)與人工方式測(cè)量數(shù)據(jù)差異。

2.1 穗長、穗粗、平均粒厚測(cè)量精度分析

采用游標(biāo)卡尺（量程300 mm，精度0.02 mm）進(jìn)行測(cè)量，將測(cè)得果穗的最大長度和最大直徑作為人工測(cè)得的穗長、穗粗參數(shù)。選取果穗中間排布較為均勻的區(qū)域，測(cè)量其所包含籽粒的總厚度，并計(jì)算平均粒厚作為人工測(cè)得的平均粒厚值。與本文所提方法測(cè)量結(jié)果相關(guān)性如圖9所示。

圖9 不同方式穗長、穗粗、平均粒厚測(cè)定的相關(guān)性

結(jié)果表明，本文方法穗長測(cè)量值與人工方法測(cè)量值之間的決定系數(shù)2為0.997 3，本文方法穗粗測(cè)量值與人工方法測(cè)量值之間的決定系數(shù)2為0.984，本文方法平均粒厚測(cè)量值與人工方法測(cè)量值之間的決定系數(shù)2為0.941 5。

2.2 穗行數(shù)、行粒數(shù)、總粒數(shù)測(cè)量精度分析

采用人工方式對(duì)檢測(cè)樣本的穗行數(shù)及總粒數(shù)進(jìn)行計(jì)算，將數(shù)出的總粒數(shù)除以穗行數(shù)并取整，作為人工測(cè)量出的行粒數(shù)。本文所提方法與人工測(cè)得的穗行數(shù)、行粒數(shù)、總粒數(shù)結(jié)果如表1所示。

表1 穗行數(shù)、行粒數(shù)、總粒數(shù)測(cè)量結(jié)果

結(jié)果表明，針對(duì)所采用樣本，本文所采用的方法對(duì)穗行數(shù)測(cè)量的平均精度為98.63%，其中樣本5和樣本19由于性狀極不規(guī)則，測(cè)量結(jié)果與人工測(cè)量結(jié)果出現(xiàn)偏差。行粒數(shù)平均測(cè)量精度為95.35%。

玉米高通量自動(dòng)考種裝置在果穗考種單元和籽?？挤N單元均進(jìn)行了總粒數(shù)計(jì)算[14]。本文中果穗考種單元的總粒數(shù)通過行粒數(shù)和穗行數(shù)計(jì)算得出，其測(cè)量值受行粒數(shù)和穗行數(shù)測(cè)量精度影響較大，故測(cè)得的每個(gè)樣本總粒數(shù)與人工測(cè)量值均存在一定偏差。在籽?？挤N單元?jiǎng)t直接對(duì)果穗脫粒后的籽粒數(shù)量進(jìn)行計(jì)算[15]，因此針對(duì)單個(gè)果穗，其總粒數(shù)的測(cè)量精度優(yōu)于本文所提方法。玉米高通量自動(dòng)考種裝置考種時(shí)以籽?？挤N單元測(cè)得的總粒數(shù)作為果穗總粒數(shù)。

3 結(jié) 論

本文針對(duì)所設(shè)計(jì)玉米高通量自動(dòng)考種裝置的玉米果穗考種模塊，提出了一種基于4相機(jī)的玉米果穗考種參數(shù)快速測(cè)量方法，通過等間隔90°安裝的4個(gè)攝像頭獲取果穗四周圖像，分別構(gòu)建投影模型并分析，最終綜合4副圖像分析結(jié)果，實(shí)現(xiàn)果穗穗長、穗粗、平均粒厚、穗行數(shù)、行粒數(shù)、穗粒數(shù)等考種參數(shù)的獲取。針對(duì)隨機(jī)選取的20穗樣本，本文所提方法對(duì)穗長、穗粗、平均粒厚測(cè)量結(jié)果與人工方法測(cè)量值之間的決定系數(shù)2分別為0.997 3、0.984、0.941 5。對(duì)穗行數(shù)、行粒數(shù)的測(cè)量精度分別為98.63%、95.35%，滿足玉米高通量自動(dòng)考種 裝置作業(yè)需求，為玉米高通量自動(dòng)考種裝置的實(shí)現(xiàn)奠定基礎(chǔ)。

[1] 肖伯祥，王傳宇，郭新宇，等. 玉米考種自動(dòng)化流水線機(jī)構(gòu)設(shè)計(jì)與仿真[J]. 系統(tǒng)仿真學(xué)報(bào)，2015，27(4)：913－919. Xiao Boxiang, Wang Chuanyu, Guo Xinyu, et al. Automatic pipelining mechanism design for maize ear analysis[J]. Journal of System Simulation, 2015, 27(4): 913－919. (in Chinese with English abstract)

[2] 曹婧華，冉彥中，郭金城. 玉米考種系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J]. 長春師范學(xué)院學(xué)報(bào)：自然科學(xué)版，2011，30(4)：38－41. Cao Jinghua, Ran Yanzhong, Guo Jincheng. The design and realization of corn test system[J]. Journal of Changchun Normal University: Natural Science, 2011, 30(4): 38－41. (in Chinese with English abstract)

[3] 劉長青，陳兵旗，張新會(huì)，等. 玉米定向精播種粒形態(tài)與品質(zhì)動(dòng)態(tài)檢測(cè)方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2015，46(9)：47－54. Liu Changqing, Chen Bingqi, Zhang Xinhui, et al. Dynamic detection of corn seeds for directional precision seeding[J]. Transactions of the Chinese Society for Agricultural Machinery, 2015, 46(9): 47－54. (in Chinese with English abstract)

[4] 溫維亮，郭新宇，楊濤，等. 玉米果穗點(diǎn)云分割方法研究[J]. 系統(tǒng)仿真學(xué)報(bào)，2017，29(12)：3030－3034，3041. Wen Weiliang, Guo Xinyu, Yang Tao, et al. Point cloud segmentation method of maize ear[J]. Journal of System Simulation, 2017, 29(12): 3030－3034, 3041. (in Chinese with English abstract)

[5] 曹維時(shí)，張春慶，王金星，等. 離散小波變換和BP神經(jīng)網(wǎng)絡(luò)識(shí)別玉米種子純度[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2012，28(增刊2)：253－258. Cao Weishi, Zhang Chunqing, Wang Jinxing, et al. Purity identification of maize seed based on discrete wavelet transform and BP neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2012, 28(Supp.2): 253－258. (in Chinese with English abstract)

[6] 馬欽，江景濤，朱德海，等. 基于圖像處理的玉米果穗三維幾何特征快速測(cè)量[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2012，28(增刊2)：208－212. Ma Qin, Jiang Jingtao, Zhu Dehai, et al. Rapid measurement for 3D geometric features of maize ear based on image processing[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2012, 28(Supp.2): 208－212. (in Chinese with English abstract)

[7] Liang X, Wang K, Huang C, et al. A high-throughput maize kernel traits scorer based on line-scan imaging[J]. Measurement, 2016, 90: 453－460.

[8] 黃成龍，張雪海，吳迪，等. 基于時(shí)間序列的玉米葉片性狀動(dòng)態(tài)提取方法研究[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2017，48(5)： 174－178，198. Huang Chenglong, Zhang Xuehai, Wu Di, et al. Dynamic extraction method of maize leaf traits based on time series[J]. Transactions of the Chinese Society for Agricultural Machinery, 2017, 48(5): 174－178, 198. (in Chinese with English abstract)

[9] 楊錦忠，張洪生，郝建平，等. 玉米果穗圖像單一特征 的品種鑒別力評(píng)價(jià)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2011，27(1)： 196－200. Yang Jinzhong, Zhang Hongsheng, Hao Jianping, et al. Identifying maize cultivars by single characteristic of ears using image analysis[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2011, 27(1): 196－200. (in Chinese with English abstract)

[10] 仇瑞承，苗艷龍，季宇寒，等. 基于RGB-D相機(jī)的單株玉米株高測(cè)量方法[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2017，48(增刊1)：211－219. Qiu Ruicheng, Miao Yanlong, Ji Yuhan, et al. Measurement of individual maize height based on RGB-D camera[J]. Transactions of the Chinese Society for Agricultural Machinery, 2017, 48(Supp. 1): 211－219. (in Chinese with English abstract)

[11] Ge Y, Bai G, Stoerger V, et al. Temporal dynamics of maize plant growth, water use, and leaf water content using automated high throughput RGB and hyper spectral imaging[J]. Computers and Electronics in Agriculture, 2016, 127: 625－632.

[12] 張帆，李紹明，劉哲，等. 基于機(jī)器視覺的玉米異常果穗篩分方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2015，46(增刊)：45－49. Zhang Fan, Li Shaoming, Liu Zhe, et al. Screening method of abnormal corn ears based on machine vision[J]. Transactions of the Chinese Society for Agricultural Machinery, 2015, 46(Supp.): 45－49. (in Chinese with English abstract)

[13] 吳剛，陳曉琳，謝駕宇，等. 玉米果穗自動(dòng)考種系統(tǒng)設(shè)計(jì)與試驗(yàn)[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2016，47(增刊)：433－441. Wu Gang, Chen Xiaolin, Xie Jiayu, et al. Design and experiment of automatic variety test system for corn ear[J]. Transactions of the Chinese Society for Agricultural Machinery, 2016, 47(Supp.): 433－441. (in Chinese with English abstract)

[14] 宋鵬，張晗，王成，等. 玉米高通量自動(dòng)考種裝置設(shè)計(jì)與試驗(yàn)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2017，33(16)：41－47. Song Peng, Zhang Han, Wang Cheng, et al. Design and experiment of high throughput automatic measuring device for corn[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(16): 41－47. (in Chinese with English abstract)

[15] 宋鵬，張晗，王成，等. 玉米籽粒考種信息獲取裝置設(shè)計(jì)與試驗(yàn)[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2017，48(12)：19－25. Song Peng, Zhang Han, Wang Cheng, et al. Transactions of the Chinese Society for Agricultural Machinery, 2017, 48(12): 19－25. (in Chinese with English abstract)

[16] 汪珂，梁秀英，宗力，等. 玉米籽粒性狀高通量測(cè)量裝置設(shè)計(jì)與實(shí)現(xiàn)[J]. 中國農(nóng)業(yè)科技導(dǎo)報(bào)，2015，17(2)：94－99. Wang Ke, Liang Xiuying, Zong Li, et al. Design and realization of a high-throughput maize kernel trait extraction system[J]. Journal of Agricultural Science and Technology, 2015, 17(2): 94－99. (in Chinese with English abstract)

[17] 杜建軍，郭新宇，王傳宇，等. 基于分級(jí)閾值和多級(jí)篩分的玉米果穗穗粒分割方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2015，31(15)：140－146. Du Jianjun, Guo Xinyu, Wang Chuanyu, et al. Segmentation method for kernels of corn ear based on hierarchical threshold and multi-level screening[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(15): 140－146. (in Chinese with English abstract)

[18] 柳冠伊，劉平義，魏文軍，等. 玉米果穗粘連籽粒圖像分割方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2014，45(9)：285－290. Liu Guanyi, Liu Pingyi, Wei Wenjun, et al. Method of image segmentation for touching maize kernels[J]. Transactions of the Chinese Society for Agricultural Machinery, 2014, 45(9): 285－290. (in Chinese with English abstract)

[19] 趙春明，韓仲志，楊錦忠，等. 玉米果穗 DUS 性狀測(cè)試的圖像處理應(yīng)用研究[J]. 中國農(nóng)業(yè)科學(xué)，2009，42(11)：4100－4105. Zhao Chunming, Han Zhongzhi, Yang Jinzhong, et al. Study on application of image process in ear traits for DUS testing in maize[J]. Scientia Agricultura Sinica, 2009, 42(11): 4100－4105. (in Chinese with English abstract)

[20] 段熊春，周金輝，王思嘉. 面向玉米果穗考種測(cè)量的圖像標(biāo)定方法[J]. 農(nóng)機(jī)化研究，2014，36(1)：76－79. Duan Xiongchun, Zhou Jinhui, Wang Sijia. Image calibration method for the ear of corn measurement system[J]. Journal of Agricultural Mechanization Research, 2014, 36(1): 76－79. (in Chinese with English abstract)

[21] 杜建軍，郭新宇，王傳宇，等. 基于穗粒分布圖的玉米果穗表型性狀參數(shù)計(jì)算方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2016，32(13)：168－176. Du Jianjun, Guo Xinyu, Wang Chuanyu, et al. Computation method of phenotypic parameters based on distribution map of kernels for corn ears[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(13): 168－176. (in Chinese with English abstract)

[22] 王傳宇，郭新宇，吳升，等. 采用全景技術(shù)的機(jī)器視覺測(cè)量玉米果穗考種指標(biāo)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2013，29(24)： 155－162. Wang Chuanyu, Guo Xinyu, Wu Sheng, et al. Investigate maize ear traits using machine vision with panoramic photograyphy[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2013, 29(24): 155－162. (in Chinese with English abstract)

[23] 劉長青，陳兵旗. 基于機(jī)器視覺的玉米果穗?yún)?shù)的圖像測(cè)量方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2014，30(6)：131－138. Liu Changqing, Chen Bingqi. Method of image detection for ear of corn based on computer vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2014, 30(6): 131－138. (in Chinese with English abstract)

[24] 呂永春，馬欽，李紹明，等. 基于背景板比例尺的玉米果穗圖像特征測(cè)量[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2010，26(14)：43－47. Lü Yongchun, Ma Qin, Li Shaoming, et al. Image features measurement of maize ear based on background plate scale[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2010, 26(14): 43－47. (in Chinese with English abstract)

[25] 李偉，胡艷俠，呂岑. 基于 HSV 空間的玉米果穗性狀的檢測(cè)[J]. 湖南農(nóng)業(yè)大學(xué)學(xué)報(bào)(自然科學(xué)版)，2017，43(1)：112－116. Li Wei, Hu Yanxia, Lü Cen. Traits detection of corn ear based on HSV color space[J]. Journal of Hunan Agricultural University (Natural Sciences), 2017, 43(1): 112－116. (in Chinese with English abstract)

[26] 王慧慧，孫永海，張婷婷，等. 鮮食玉米果穗外觀品質(zhì)分級(jí)的計(jì)算機(jī)視覺方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2010，41(8)： 156－159，165. Wang Huihui, Sun Yonghai, Zhang Tingting, et al. Appearance quality grading for fresh corn ear using computer vision[J]. Transactions of the Chinese Society for Agricultural Machinery, 2010, 41(8): 156－159, 165. (in Chinese with English abstract)

[27] 柳冠伊，楊小紅，白明，等. 基于線陣掃描圖像的玉米果穗性狀檢測(cè)技術(shù)[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2013，44(11)：276－280. Liu Guanyi, Yang Xiaohong, Bai Ming, et al. Detecting techniques of maize ear characters based on line scan image[J]. Transactions of the Chinese Society for Agricultural Machinery, 2013, 44(11): 276－280. (in Chinese with English abstract)

[28] 周金輝，馬欽，朱德海，等. 基于機(jī)器視覺的玉米果穗產(chǎn)量組分性狀測(cè)量方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào), 2015，46(3)： 221－227. Zhou Jinhui，Ma Qin，Zhu Dehai，et al. Measurement method for yield component traits of maize based on machine vision[J]. Transactions of the Chinese Society for Agricultural Machinery, 2015, 46(3): 221－227. (in Chinese with English abstract)

[29] 吳文周，李利番，王結(jié)臣. 平面點(diǎn)集凸包Graham算法的改進(jìn)[J]. 測(cè)繪科學(xué)，2010，35(6)：123－125. Wu Wenzhou，Li Lifan，Wang Jiechen. An improved Graham algorithm for determining the convex hull of planar points set[J]. Science of Surveying and Mapping, 2010, 35(6): 123－125. (in Chinese with English abstract)

High throughput automatic extraction method of corn ear parameters based on multiple cameras images

Song Peng1,2, Zhang Han1,2, Luo Bin1,2, Hou Peichen1,2, Wang Cheng2,3※

(1.100097,; 2.100097,; 3.100097,)

The efficiency and accuracy of corn ear test are two of the key factors restricting the breeding efficiency seriously. Corn ear test includes the measurement, records, statistics and analysis of parameters such as ear weight, ear length, ear width, number of ear rows, kernels per row, average thickness of kernel, kernels per ear. In this paper, a corn ear parameter extraction method based on 4 cameras was proposed based on the high-throughput automatic measuring device which has been developed previously. Four high-resolution color cameras were evenly distributed around the ear with the interval of 90° to get the corn ear images from 4 directions at the same time. Every image from the corresponding camera was processed including image preprocessing, projection model building, and parameters extraction of corn ear. During image preprocessing process, center part of the original image with the length of 7/9 of the original image length, the width of 1/2 of the original image width was chosen as the processed area. Binarization processing was applied to the area to obtain binary image, and the binary image was processed by image denoising, hole filling and other morphological transform. An AND-operation was then applied between the processing result and the original image to access the corn ear images without background. The projection model was constructed after image preprocessing process, which considered ear cross-section circular, and kernels were distributed on ear cross-section as point on the circumference of a circle. Thus, number of ear rows can be easily calculated according to the relationship between number of ear rows and circumferential angle of those rows. Procedure such as kernels area acquisition, kernels center position acquisition, kernels at edge removal, reserved kernels tracking and corn ear parameters calculation are operated based on the projection model. Since there are 4 images for each ear, the final ear parameters including ear length, ear width, average thickness of kernel, number of ear rows, kernels per row, kernels per ear are calculated based on parameters measured from each image. The ear length and width are represented by the maximum length and width of the smallest external rectangle of the 4 images. Number of ear rows in each image is calculated from the valid row number and the circumferential angle which can be obtained on the basis of the projection model. Kernels per row are acquired by tracking the kernel area for each ear image, the maximum number of kernels in a row for each image is calculated as well as the average value, and the round-of number is considered as kernels per row of the ear. Kernels per ear are calculated from the valid row number, kernel number of the valid rows and corn ear rows. Average thickness of kernel is calculated according to the tracked kernel number and the total tracking path. Experiments are carried out with the high-throughput automatic measuring device for corn, and results show that the determination coefficients (2) of ear length, ear width and average thickness of kernel achieve 0.997 3, 0.984 and 0.941 5 respectively between the values obtained by the proposed method in this paper and that measured artificially. The measuring accuracies of number of ear rows and kernels per ear are 98.63% and 95.35%, respectively, which meet the requirements of corn parameters measurement during maize breeding. The proposed method also provides a new train of thought for the extraction of corn ear parameter, and it also lays a solid foundation for the realization of automatic high-throughput device for corn.

crops; extraction; image segmentation; ear parameters acquision; four cameras; projection model; kernels tracking; ear rows

10.11975/j.issn.1002-6819.2018.14.023

TP242.6；TP391.4

A

1002-6819(2018)-14-0181-07

2018-02-09

2018-05-23

國家重點(diǎn)研發(fā)計(jì)劃（2017YFD0701205）；國家自然科學(xué)基金（31601216）

宋 鵬，高級(jí)工程師，博士，主要從事農(nóng)業(yè)信息技術(shù)及裝備研究。Email：songp@nercita.org.cn

王 成，研究員，博士，主要從事農(nóng)業(yè)信息化、農(nóng)業(yè)智能裝備及儀器研究。Email：wangc@nercita.org.cn

宋 鵬，張 晗，羅 斌，侯佩臣，王 成.基于多相機(jī)成像的玉米果穗考種參數(shù)高通量自動(dòng)提取方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2018，34(14)：181－187. doi：10.11975/j.issn.1002-6819.2018.14.023 http://www.tcsae.org

Song Peng, Zhang Han, Luo Bin, Hou Peichen, Wang Cheng.High throughput automatic extraction method of corn ear parameters based on multiple cameras images[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(14): 181－187. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2018.14.023 http://www.tcsae.org