基于OpenCV的大豆籽粒多表型參數獲取算法

宋晨旭，于翀宇，邢永超,3，李素梅，賀 紅，于 慧，馮獻忠

基于OpenCV的大豆籽粒多表型參數獲取算法

宋晨旭1，于翀宇1，邢永超1,3，李素梅1，賀 紅1※，于 慧2，馮獻忠2

（1. 山東大學機電與信息工程學院，威海 264209；2. 中國科學院東北地理與農業(yè)生態(tài)研究所，長春 130102；3. 哈爾濱工業(yè)大學計算學部，哈爾濱 150001）

大豆籽粒的表型參數獲取對大豆育種具有重要的作用?，F有的深度學習算法獲取的大豆籽粒表型性狀較少，且識別表型的神經網絡模型訓練成本高。該研究基于OpenCV圖像處理庫，提出了一種提取大豆籽粒多表型參數的算法，從大豆圖像中一次性獲取籽粒的多種表型性狀參數，同時能識別大豆的優(yōu)劣品質。將每個待測大豆單株的所有籽粒拍成一張圖像，首先對大豆籽粒圖像進行二值化、去噪等預處理，然后采用分水嶺算法和改進的目標分割算法提取圖像中的大豆籽粒輪廓。根據大豆籽粒的輪廓信息，調用OpenCV圖像處理函數計算大豆籽粒的個數、長軸長度、短軸長度、面積、周長等多個表型性狀參數。引入圓形度識別殘缺大豆籽粒，使用RGB閾值判斷識別病變大豆籽粒。測試結果表明，采用該文算法計算的顆?？倲底R別率為98.4%，大豆籽粒正確識別率為95.2%，破損大豆和病變大豆的識別率分別為91.25%和88.94%，籽粒的長軸長度與短軸長度的測量精度分別為96.8%、95.8%；引入多進程并行計算，該算法處理215張圖片時間為248.9 s，相對于單進程計算縮短了約2/3，實現了低成本高通量的高精度大豆籽粒多表型性狀參數的自動獲取，為大豆籽粒自動化考種提供有效的處理方法。

大豆；圖像處理；算法；籽粒考種；多表型參數；OpenCV；并行計算

0 引 言

大豆是中國重要的糧食和油料作物，大豆嚴重依賴進口的現狀嚴重威脅國家糧油安全[1-3]。近年來，中國大豆育種專家一直致力于培育高產優(yōu)質大豆新品種[4-6]。在育種過程中，需要對培育出的大豆群體進行表型測量與分析，評估不同種質資源的表型性狀差異[7-8]，而其中大豆籽粒的表型性狀關乎下一代大豆的產量以及品質，所以大豆籽粒的表型性狀數據獲取與分析是大豆精準育種的必要條件。

傳統(tǒng)的大豆籽粒的表型性狀檢測主要依靠人工觀察、挑揀、稱量與測量，成本高，效率低下。與費用低廉且已經實現了標準化和工業(yè)化的基因型數據獲取相比，大豆籽粒的表型數據獲取與識別已經成為精準育種技術的瓶頸，亟待創(chuàng)新性的方法和策略[9-11]。

近年來，計算機視覺處理技術和人工智能技術在農作物表型識別領域的應用研究發(fā)展迅速，其在作物葉片識別、籽粒識別等領域的研究取得了顯著成果[12-13]。在作物籽粒表型識別方面，張玉榮等[14]提出了一種小麥不完善籽粒識別方法，對采集到的小麥原始圖像使用Python-OpenCV函數庫的圖像處理功能進行圖像預處理，基于Keras 框架的VGG16神經網絡模型對小麥進行不完整籽粒識別，達到了85.4%的準確率。朱榮勝等[15]提出了一種基于卷積神經網絡的大豆優(yōu)良籽粒圖像篩選分類識別方法，選擇含有4個卷積層、4個池化層、2個全連接層的6層卷積神經網絡，進行優(yōu)化后對大豆籽粒品質分類可達到98.8%的準確率。

目前作物籽粒表型識別的研究絕大部分都是用于品質分類，而對同時獲取籽粒的種皮色、長短軸長度、圓形度等多種表型性狀參數方面的研究很少。

神經網絡模型在籽粒篩選分類中應用效果很好，可以采用神經網絡模型從籽粒圖像中提取表型參數。但如果要提取新的表型參數，就必須再次標注圖像中的新表型，重新訓練神經網絡模型，算法對新增表型參數的識別不夠靈活。神經網絡訓練和測試對籽粒圖像質量要求高，拍攝圖像時需要人工調整大豆籽粒的位置，難以滿足批量處理籽粒表型鑒定的高通量要求。

基于以上問題，本文提出一種基于OpenCV[16]的大豆籽粒多表型參數獲取策略，在獲取大豆籽粒的多種表型參數的同時，完成正常和非正常品質大豆籽粒的識別篩選，實現大豆單株全部籽粒的一次性考種，為大豆籽粒自動化考種提供有效的處理方法，為選種育種提供可靠的數據支撐。

1 材料與圖像采集

1.1 樣本材料

本研究選用的大豆材料為中國科學院東北地理與農業(yè)生態(tài)研究所提供的2020年收獲的3.2萬株大豆的籽粒。

1.2 圖像采集裝置

圖像采集裝置如圖1所示，由接料盤、手機、手機支架和電腦組成。采用500萬以上像素的手機對大豆籽粒進行拍攝來實現大豆籽粒圖像采集。一株大豆植株的所有籽粒拍為一張照片。

圖1 圖像采集裝置簡圖

將一株大豆植株的所有籽粒鋪放在鋪有黑色吸光絨布的接料盤上。黑色吸光絨布不反光，質地軟，摩擦力大，可以很大程度地避免大豆籽粒聚集的現象，使大豆籽粒均勻、隨機地散落在盤上。用手機支架將手機放置于接料盤的正上方，使用電腦操控手機進行拍攝，并對拍攝的圖像進行命名。

圖像采集在光線充足且無明顯其余光噪音的環(huán)境下進行。拍攝前先放一張白紙在接料盤上，記錄環(huán)境光在各坐標上的初始值，以方便對種皮色進行準確的歸一化處理。在接料盤上放置一個3 cm×2 cm的白色比例尺，用于大豆實際尺寸的計算。在接料盤上放置黃色系比色卡，便于采集種皮色等表型參數。

2 大豆籽粒輪廓提取

2.1 輪廓提取流程

在大豆籽粒的考種過程中，大豆籽粒圖像按照一幅圖像對應一株大豆的方式進行采集，采集的原始圖像以大豆株系命名。為了準確地提取大豆籽粒的表型參數，采集的原始圖像需要進行預處理，使圖像中每粒大豆都具有清晰的邊界輪廓。圖像處理流程如圖2所示。

2.2 圖像預處理

2.2.1 圖像二值化

使用Python-OpenCV庫函數中的cv2.imread()函數讀取圖像文件。為增強圖像特征，對讀入的原始圖像進行灰度化和二值化[17-18]處理。采用cv2.cvtColor()函數對圖像灰度化，cv2.threshold()函數對灰度圖進行二值化操作。圖像的二值化可使數據量大為減少，更能凸顯目標輪廓，使圖像呈現明顯的黑白效果。由于各設備拍攝過程中光照、拍攝角度、設備的不同，算法采用了自動計算最佳二值化閾值。通過cv2.calcHist()函數計算通道灰度直方圖得到背景的灰度值范圍，如圖3所示。橫坐標0～50部分表示圖像背景為黑色，也是灰度值最多的點，橫坐標150～250部分所示表示大豆籽粒呈黃色。兩者顏色差異較大，以此為二值化閾值，可以實現圖像二值化。

圖2 圖像處理流程

圖3 灰度直方圖

2.2.2 比例尺定位與識別

接料盤上有3 cm×2 cm的白色卡片作為比例尺，根據比例尺可以計算每粒大豆的實際尺寸。根據圓形度和RGB定位比例尺，通過計算比例尺的像素面積與像素周長，進一步可得到圖像-實際比例。白色的比例尺顏色與大豆籽粒顏色比較接近，在進行籽粒識別時，計算機有可能把圖像中的比例尺識別成一堆大豆籽粒。為了不影響后續(xù)的圖像處理，將圖像中的比例尺進行了描黑處理。

2.2.3 圖像去噪

大豆籽粒的原始圖像在經過灰度化和二值化處理后，圖像細節(jié)得到了增強，對比度增加。但是，因為接料盤上的碎渣、光照不均勻等問題，部分圖像經過二值化處理后仍然存在噪聲。本研究運用圖像形態(tài)學運算進行圖像去噪，對圖像進行進一步優(yōu)化，增強圖像細節(jié)。

形態(tài)學運算是針對二值圖像依據數學形態(tài)學的集合論方法發(fā)展起來的圖像處理方法。最基本的形態(tài)學操作有腐蝕和膨脹[19-20]。在二值圖像中，目標像素點的值為255，背景像素點的值為0。腐蝕操作是在二值圖像中刪除目標邊界的某些像素為255的值，膨脹操作是在二值圖像中為目標圖像的邊界添加像素為255的值。

對二值圖像先腐蝕再膨脹稱為開運算。開運算可以去除目標外的孤立點。使用腐蝕，背景擴展，該孤立點會被腐蝕掉，但是腐蝕會導致目標縮小，再進行膨脹操作，將目標區(qū)域擴展回原來大小。對二值圖像先膨脹再腐蝕為閉運算。閉運算可以去除目標內部的小孔或小黑點。由于目標區(qū)域內存在像素點為0的值，首先進行膨脹操作，目標區(qū)域擴張一圈，將目標區(qū)域的0值去除，再進行腐蝕操作，使目標恢復之前的大小。圖 4a為原始的大豆籽粒二值圖像，存在部分目標外的孤立點，對其使用開運算后，孤立點得以去除，如圖 4b所示。

圖4 形態(tài)學運算去噪前后的圖像對比

2.3 目標輪廓分割

分水嶺算法是一種基于拓撲理論的形態(tài)學分割方法，對圖片灰度的梯度估計非常直接，便于尋找圖像的梯度波峰，目標分割實現方便[21-23]。本研究運用改進的分水嶺算法來實現大豆籽粒目標輪廓分割。

2.3.1 基于標記的分水嶺目標分割

圖4中的大豆目標區(qū)域為目標分割塊，由于原圖像中灰度變化不明顯，導致使用傳統(tǒng)的腐蝕操作區(qū)分目標界限會出現分割不全現象，如圖5a所示。

采用距離變換[24]替換腐蝕操作，根據目標區(qū)域與最近的背景區(qū)域的距離來區(qū)分目標界限，得到目標的前景區(qū)域，如圖5b所示，分割不全的現象得到明顯改善。

將膨脹后的二值圖與距離變換二值圖取差值，得到圖5c所示的非確定區(qū)域，籽粒的輪廓邊界就存在于該區(qū)域中。將非確定區(qū)域與確定的前景區(qū)域分別標記為0和1，采用分水嶺算法，從一個初始的高閾值逐漸降低，在非確定區(qū)域中尋找邊緣輪廓，將目標圖像分割為單個大豆籽粒[25]，如圖5d所示。

圖5 邊緣輪廓分割過程

2.3.2 粘連目標分割算法改進

對于高產大豆植株，單株籽粒數目多，密集鋪放的大豆籽粒圖像經傳統(tǒng)的分水嶺算法分割輪廓后，仍然會出現粘連情況，如圖6a所示。為處理這種粘連情況，本研究對分水嶺算法進行了改進，對目標籽粒進行二次判斷和輪廓分割。

引入圓形度[26]來進行輪廓判斷，圓形度計算公式為式（1）。

式中為圓形度；表示面積，mm2；表示周長，mm。若等于1，輪廓為圓形，越小，輪廓越不規(guī)律，與圓形的差距越大。如果將多個粘連著的籽粒識別成一個，其輪廓必定與圓形差別很大。當輪廓圓形度小于設定閾值時，需對其進行二次判斷。

二次判斷過程由高閾值進行降噪、分水嶺算法和二值化組成，降噪使用開運算、腐蝕、膨脹操作，過程與初次判斷類似，但參數不同。對于需要二次判斷的區(qū)域，由于背景為黑色，所以灰度值越高，二值化效果越明顯。為使邊緣輪廓切割更加明顯，需要提高二值化閾值，重新計算大豆籽粒輪廓。

采用OpenCV庫函數中的boundingRect()函數，計算目標輪廓的垂直邊界最小矩形，矩形與圖像上下邊界平行，由該矩形坐標求得矩形中心點坐標。由于大豆籽粒形狀較為規(guī)則，在圖像中呈橢圓狀或圓狀，如果矩形中心點坐標在籽粒輪廓內，則可以認為該輪廓是一個大豆籽粒，粘連目標分割成功。如果矩形中心點不在籽粒輪廓內，該輪廓就不是1個大豆籽粒，需在輪廓之間增加一條黑色邊界線進行分割，再進行二次判斷，直至目標分割成功。

經過改進分水嶺算法的大豆籽粒目標分割結果如圖 6b所示，實現了對粘連籽粒目標的分割。

圖6 粘連目標的分割處理

大豆單株的籽粒圖像經過圖像處理和輪廓參數提取后的結果如圖7所示。

圖7 大豆籽粒輪廓提取結果

3 大豆籽粒品質識別與表型參數提取

3.1 大豆籽粒品質識別

在種植大豆時，需要篩選出籽粒飽滿、無破損和病蟲害等問題的優(yōu)質大豆籽粒作為種子。不良品質的大豆主要有破損籽粒、未成熟籽粒以及各種病變籽粒，破損的大豆形狀不規(guī)則，如圖8a所示；病變大豆籽粒顏色與優(yōu)良大豆籽粒差異較大，如圖8b所示；未成熟大豆的形狀和顏色都與正常大豆有差異。因此根據大豆籽粒的形狀和顏色可以識別篩選出優(yōu)良品質大豆和不良品質大豆。

3.1.1 破損籽粒判斷識別

形狀不規(guī)則的破損大豆、蟲蝕大豆和未熟大豆都可以歸類為破損籽粒。根據籽粒的圓形度可以判斷籽粒是否破損。正常大豆籽粒的形狀接近于圓形或橢圓形，圓形度較高，形狀越不規(guī)則，圓形度越低。按照式（1）計算大豆籽粒的圓形度，根據正常大豆的圓形度設定一個閾值，若籽粒的圓形度小于閾值時就判定為破損籽粒，圖8a中的大豆籽粒即判斷識別為破損籽粒。

圖8 不良品質大豆

3.1.2病變籽粒判斷識別

產生病變的大豆籽粒顏色與正常大豆的顏色存在差異，一般病變大豆表皮呈深色或有深色斑塊，如圖 8b中的大豆籽粒。深色的RGB色值較低，計算一幅圖像中所有大豆籽粒的平均RGB，根據此平均RGB值設置一個合適的顏色閾值，當大豆籽粒有較大部分的區(qū)域RGB值低于設置的顏色閾值時，則判斷大豆籽粒產生病變。

需要根據大豆批次的籽粒表皮顏色實際情況選取合適的RGB顏色閾值以及深色區(qū)域占一個籽粒目標區(qū)域的百分比。對于本研究的大豆樣本材料，經多次試驗，當設置顏色閾值為平均RGB的0.6倍，大豆籽粒有80%的區(qū)域RGB值低于設置的顏色閾值時，判斷大豆籽粒產生病變的準確度最高。

3.2 大豆籽粒表型參數獲取

3.2.1 面積與周長計算

圖像經過處理后，得到所有大豆籽粒輪廓。采用OpenCV相關函數計算提取每個大豆籽粒的輪廓數據信息。分別采用cv2.contourArea()、cv2.arcLength(contours)函數計算大豆籽粒的面積和周長，根據面積和周長計算對應的方差、平均籽粒面積和周長。

3.2.2 長軸短軸長度與長短軸比計算

為了準確描述籽粒接近圓形的程度，本研究對大豆籽粒的長、短軸進行了計算。由于大豆籽粒的形狀接近橢圓，可以利用cv2.fitEllipse()函數對其進行擬合橢圓操作，返回值如式（2）所示。

式中(,)代表橢圓中心點位置，(,)代表長短軸的長度，mm，angle代表中心旋轉角度（°），橢圓擬合結果如圖9所示。

根據比例尺能夠計算出大豆籽粒長軸和短軸的實際長度值，進而可以算出大豆的長短軸比。對于判定為不良品質的大豆籽粒，不計算其長、短軸長度。

注：a, b分別為大豆長短軸的長度，mm。

3.3 表型數據保存

本研究處理了3.2萬幅大豆植株的籽粒圖像，共有大豆種子280萬余粒。使用了2個csv表格文件存儲獲取的大豆籽粒多表型參數數據。一個表格文件存儲每粒大豆籽粒的多表型參數，包括株系號、株號、大豆編號、面積、周長、長軸長度、短軸長度、長短軸比例、圓形度、RGB值、是否殘缺、是否患病等。另一個文件按植株存儲，存儲每個大豆植株的所有籽粒個數、優(yōu)質籽粒個數、殘缺籽粒個數、病變籽粒個數、以及面積、周長等表型參數的平均值?？梢园床煌谋硇蛯Υ蠖怪仓赀M行排序，便于尋找關鍵的某個或某幾個表型最優(yōu)異的大豆植株。

4 結果與分析

4.1 籽粒數量識別結果

為驗證本文算法的準確性，分別采用傳統(tǒng)分水嶺算法和改進的目標分割算法對每幅大豆籽粒圖像進行目標輪廓分割和籽粒個數統(tǒng)計，與人工統(tǒng)計的各幅圖像中大豆籽粒個數進行對比。表1為其中的一幅大豆圖像的大豆籽粒數量識別結果，人工統(tǒng)計的該幅圖像有194粒大豆籽粒。從表1可以得出，采用改進后的目標分割算法識別大豆籽粒數量，顆粒總數的識別率和大豆籽粒的正確識別率比采用傳統(tǒng)算法分別提高了39.4個百分點和58.1個百分點。

隨機抽取100幅大豆籽粒圖像的改進算法識別結果進行識別率統(tǒng)計，顆?？倲档淖R別率為98.4%，大豆籽粒的正確識別率為95.2%。

4.2 籽粒品質識別結果

同樣選擇上述100幅大豆籽粒圖像，用人工方式統(tǒng)計破損籽粒數量以及病變籽粒數量，與采用本文算法計算識別的不良大豆籽粒作比較，結果如表2所示，本文方法對破損大豆籽粒的識別率為91.25%，對病變大豆籽粒的識別率為88.94%。

表1 大豆籽粒數量識別率統(tǒng)計

表2 大豆籽粒品質識別率統(tǒng)計

由于選用的圖像為不同批次大豆的籽粒圖像，而且拍攝時間也不盡相同，所以不同圖片中的正常大豆顏色不一致，影響了病變大豆的識別率。

4.3 籽粒長短軸長度計算精度

隨機選擇了107粒待考種大豆作為樣本，使用游標卡尺（量程150 mm，精度0.02 mm）人工測量樣本籽粒的最大直徑和最小直徑，分別作為人工測得的籽粒長軸、短軸長度，與采用本文算法計算出的籽粒長、短軸長度進行比較，結果如圖10所示。以人工測量結果為標準，本文方法計算得出的籽粒長軸長度的平均精確度為96.8%，短軸長度的平均精確度為95.8%。

圖10 長短軸長度計算值與人工測量值比較

4.4 圖像處理速度

創(chuàng)建多個進程[27]，可以提高CPU利用率，能顯著加快計算密集型任務的數據處理速度。為了對算法的可并行化程度進行測試，本研究的計算設備是8核處理器，由此創(chuàng)建了8個進程。輸入包含大豆植株圖片的文件夾路徑后，程序自動進行并行處理，處理完成后返回程序運行時間。

經測試，單進程計算的情況下，處理215張圖片總用時722.8 s；創(chuàng)建8個進程并行執(zhí)行之后，處理相同215張圖片總用時間為248.9 s，較單進程計算情況，時間縮短了約2/3。由此可見，本算法容易被并行化并且能顯著縮短圖片處理時間。

5 結 論

本研究基于OpenCV和計算機視覺處理技術提出了1種大豆籽粒多表型參數獲取算法，對傳統(tǒng)算法進行改進，實現了對大豆單株籽粒圖像的快速處理。算法能從圖像中一次性獲取大豆籽粒的多種表型性狀參數，包括籽粒個數、籽粒周長和面積、RGB、長短軸比和圓形度等，同時能識別大豆的優(yōu)劣品質。

本文算法對單幅大豆籽粒圖像的顆?？倲档淖R別率可達到98.4%，大豆正確識別率可達到95.2%，短軸長度的精確度能達到95.8%，長軸長度的精確度能達到96.8%，對破損大豆籽粒的識別率可達到91.25%，對病變大豆籽粒的識別率可達到88.94%。相對于單進程計算，通過CPU處理器的多核多進程并行計算可使算法運行時間縮短約2/3，滿足大豆籽粒高通量自動考種，為大豆表型參數提取和選種提供了新思路。

[1] 陳男，李靜，沈祥娟，等. 大豆GmCBL7基因的克隆及生理功能分析[J]. 農業(yè)生物技術學報，2021，29(10)：1904-1913.

Chen Nan, Li Jing, Shen Xiangjuan, et al. Cloning and physiological function analysis of GmCBL7 gene in soybean (glycine max)[J]. Journal of Agricultural Biotechnology, 2021, 29(10): 1904-1913. (in Chinese with English abstract)

[2] 高雪冬，顧鑫，楊曉賀，等. 大豆優(yōu)質高產栽培技術[J]. 現代農業(yè)科技，2021(11)：14-15,17.

Gao Xuedong, Gu Xin, Yang Xiaohe, et al. High quality and high yield cultivation technology of soybean[J]. Modern Agricultural Science and Technology, 2021(11): 14-15,17. (in Chinese with English abstract)

[3] 王榮森，吳蓉，陳陽. 中國糧食進口安全與地區(qū)結構研究[J]. 當代經濟，2020(5)：4-10.

Wang Rongsen, Wu Rong, Chen Yang. Research on China's grain import security and regional structure[J]. Contemporary Economics, 2020(5): 4-10. (in Chinese with English abstract)

[4] 馮獻忠，劉寶輝，楊素欣. 大豆分子設計育種研究進展與展望[J]．土壤與作物，2014，3(4)：123-131.

Feng Xianzhong, Liu Baohui, Yang Suxin. Progress and perspective of soybean molecular design breeding research[J]. Soil and Crop, 2014, 3(4): 123-131. (in Chinese with English abstract)

[5] 徐杰飛，郭泰，王志新，等. 大豆常規(guī)育種和分子育種相結合的研究進展[J]. 現代化農業(yè)，2021(6)：2-4.

Xu Jiefei, Guo Tai, Wang Zhixin, et al. Research progress of combination of conventional breeding and molecular breeding of soybean[J]. Agricultural Modernization, 2021(6): 2-4. (in Chinese with English abstract)

[6] 吳國棟，修宇，王華芳. 優(yōu)化子葉節(jié)轉化法培育大豆MtDREB2A轉基因植株[J]．植物學報，2018，53(1)：59-71.

Wu Guodong, Xiu Yu, Wang Huafang. Breeding of MtDREB2A transgenic soybean by an optimized cotyledonary-node method[J]. Chinese Bulletin of Botany, 2018, 53(1): 59-71. (in Chinese with English abstract)

[7] Ghanem M E, Marrou H, Sinclair T R. Physiological phenotyping of plants for crop improvement[J]. Trends in Plant Science, 2015, 20(3): 139-144.

[8] 馬鴻潤. 面向人工智能育種的大豆種子表型特征數據采集與分析[D]. 威海：山東大學，2020.

Ma Hongrun. The Collection and Analysis of Soybean Seed Phenotypic Characteristic Data for Artificial Intelligence Breeding[D]. WeiHai: Shangdong University, 2020. (in Chinese with English abstract)

[9] Li S, Yan Z Z, Guo Y X, et al. SPM-IS: An auto-algorithm to acquire a mature soybean phenotype based on instance segmentation[J]. The Crop Journal, 2022, 10(5): 1412-1423.

[10] Johanna Roussel, Felix Geiger, Andreas Fischbach, et al. 3D surface reconstruction of plant seeds by volume carving: Performance and ccuracies[J]. Frontiers in Plant Science, 2016, 7: 745.

[11] Uzal L C, Grinblat G L, Namías R, et al. Seed-per-pod estimation for plant breeding using deep learning[J]. Computers and Electronics in Agriculture, 2018, 150: 196-204

[12] 國家市場監(jiān)督管理總局、中國國家標準化管理委員會. 植物品種特異性、一致性和穩(wěn)定性測試指南大豆[S]. 北京：中國標準出版社，2018.

[13] Liu N, Kan J M. Improved deep belief networks and multi-feature fusion for leaf identification[J]. Neurocomputing, 2016, 216: 460-467.

[14] 張玉榮，王強強，吳瓊，等. 基于Python-OpenCV圖像處理技術的小麥不完整粒識別研究[J]. 河南工業(yè)大學學報（自然科學版），2021，42(6)：105-112.

Zhang Yurong, Wang Qiangqiang, Wu Qiong, et al. Research on imperfect wheat grain recognition based on Python-OpenCV image processing technology[J]. Journal of Henan University of Technology(Natural Science Edition). 2021, 42(6): 105-112. (in Chinese with English abstract)

[15] 朱榮勝，閆學慧，陳慶山. 基于圖像識別和卷積神經網絡的大豆優(yōu)良籽粒篩選研究[J]. 大豆科學，2020，39(2)：189-197.

Zhu Rongsheng, Yan Xuehui, Chen Qingshan. Study on the optimization of soybean seed selection based on image recognition and convolution neural network[J]. Soybean Science, 2020: 39(2): 189-197. (in Chinese with English abstract)

[16] 張軍，孫梓豪，衛(wèi)藝冉. 基于OpenCV3的自主巡檢遠程應急機器人系統(tǒng)設計[J]. 無線互聯科技，2021，18(19)：39-41.

Zhang Jun, Sun Zihao, Wei Yiran. Design of autonomous patrol remote emergency robot system based on OpenCV3[J]. Wireless Internet Technology, 2021, 18(19): 39-41. (in Chinese with English abstract)

[17] Lins R D, Bernardino R, Barboza R S, et al. Using paper texture for choosing a suitable algorithm for scanned document image binarization[J]. Journal of Imaging, 2022, 8(10): 272.

[18] 姚俊光，余冰純，林景峰，等. 基于OpenCV的龍眼圖像合理通道選擇研究[J]. 現代計算機，2019(26)：31-35.

Yao Junguang, Yu Bingchun, Lin Jingfeng, et al. Research on reasonable channel selection of longan images based on OpenCV[J]. Modern Computer, 2019(26): 31-55. (in Chinese with English abstract)

[19] 張勤，陳建敏，李彬，等. 基于RGB-D信息融合和目標檢測的番茄串采摘點識別定位方法[J]. 農業(yè)工程學報，2021，37(18)：143-152.

Zhang Qin, Chen Jianmin, Li Bin, et al. Method for recognizing and locating tomato cluster picking points based on RGB-D information fusion and target detection[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(18): 143-152. (in Chinese with English abstract)

[20] Codaro E N, Nakazato R Z, Horovistiz A L, et al. An image processing method for morphology characterization and pitting corrosion evaluation[J]. Materials Science and Engineering, 2002, 334: 298-306.

[21] 徐偉萌，楊浩，李振洪，等. 利用無人機數碼影像進行密植型果園單木分割[J]. 武漢大學學報（信息科學版），2022，47(11)：1906-1916.

Xu Weimeng, Yang Hao, Li Zhenhong, et al. Single tree segmentation in close-planting orchard using UAV digital image[J]. Geomatics and Information Science of Wuhan University, 2022, 47(11): 1906-1916. (in Chinese with English abstract)

[22] Kornilov A S, Safonov I V. An overview of watershed algorithm implementations in open source libraries[J]. Journal of Imaging, 2018, 4(10): 123.

[23] Roudier P, Tisseyre B, Poilvé H, et al. Management zone delineation using a modified watershed algorithm[J]. Precision Agriculture, 2008, 9(5): 233-250.

[24] 蔣正帥. 番茄采摘機器人視覺系統(tǒng)的研究[D]. 杭州：中國計量學院，2014.

Jiang Zhengshuai. Research on the Vision System of Tomato Harvest Robot[D]. Hangzhou: China Jiliang University, 2014. (in Chinese with English abstract)

[25] 張亦舒，王曉娜，侯德鑫，等. 基于分水嶺算法的電感激光熱成像圖像分割[J]. 紅外技術，2021，43(4)：367-371.

Zhang Yishu, Wang Xiaona, Hou Dexin, et al. Image segmentation of inductors laser thermal imaging based on watershed algorithm[J]. Infrared Technology, 2021, 43(4): 367-371. (in Chinese with English abstract)

[26] 牛立聰，孫香花，左曉寶. 基于Matlab圖像處理的砂石顆粒圓形度計算方法[J]. 混凝土，2012(1)：10-12.

Niu Licong, Sun Xianghua, Zuo Xiaobao. Circularity calculation of sand and stone particles based on Matlab image processing[J]. Concrete, 2012(1): 10-12. (in Chinese with English abstract)

[27] 陳彬. 通用非對稱多核方案設計[J]. 計算機系統(tǒng)應用，2021，30(7)：277-282.

Chen Bin. Design of general asymmetric multiprocessing program[J]. Computer Systems, 2021, 30(7): 277-282. (in Chinese with English abstract)

Algorith for acquiring multi-phenotype parameters of soybean seed based on OpenCV

Song Chenxu1, Yu Chongyu1, Xing Yongchao1,3, Li Sumei1, He Hong1※, Yu Hui2, Feng Xianzhong2

(1.,,,264209,; 2.,,130102,;3.,,150001,)

Phenotypic trait parameters of soybean seeds were greatly contributed to the soybean breeding. Deep Learning, particularly Convolutional Neural Networks (CNN), has been introduced into the acquisition and analysis of plant phenotypes in recent years. However, the existing deep learning algorithms cannot fully meet the high requirement of large-scale production, due to the less phenotypic traits and a high-cost CNN training. A convenient high-throughput approach is required to accurately obtain the phenotypic trait parameter of soybean seeds. In this research, an acquisition algorithm was proposed to extract the multiple-phenotypic trait parameters of soybean seeds using the OpenCV image processing library and computer vision. The image collection of soybean seeds was easily and rapidly completed using the mobile phone photography during the soybean seed test. All seeds of each soybean plant to be detected were also photographed as an image. Furthermore, the grayscale histogram of the original image was firstly established to automatically generate a binary graph. The morphological processing was then used to enhance the image details and remove the image noise. The improved watershed algorithm was used to extract the contours of soybean seeds in the image. The circularity was introduced to evaluate the seed contour. The secondary contour segmentation with a higher grayscale threshold was performed for the special seed adhesion in the small areas. The seed circularity was also introduced to identify the incomplete soybean seeds, according to the contour information. The proportion of abnormal RGB areas was calculated to determine the sick soybean seeds with the epidermis discoloration. The lengths of long and short axis, cross-section area, and circumference of soybean seed were calculated using the ellipse fitting and scale bar conversion. The CSV table files were used to store for all the phenotypic trait data of each soybean seed and the average phenotypic trait data of all soybean seeds in each image. The soybean plants were also sorted to optimize the soybean plant seeds with the excellent phenotype for the breeding experiment design. The acquisition algorithm was utilized to identify the soybean seeds, and then to extract the phenotype parameters of soybean seeds. The results show that the recognition rate of the total soybean seeds in each image reached 98.4%, the correct recognition rate of the damaged and diseased soybean seeds was 95.2%, as well as the calculation accuracies of the long and short axis length of soybean seed reached 96.8%, and 95.8%, respectively. The parallel computation of the algorithm was implemented to create the multiple processes. By introducing 8-process parallel calculation, the image processing time was reduced by two-thirds compared to single-process calculation. Thus, the proposed algorithm was easily parallelized to quickly realize the accurate acquisition of multiple phenotypic trait parameters of soybean seeds, including the circumference, area, long/short axis length, roundness, and RGB value. At the same time, an accurate identification was achieved in the good and damage soybean seeds, including the incomplete and the sick seeds.

soybean; image processing; algorithm; seed test; multiple phenotypic parameters; OpenCV; parallel computing

10.11975/j.issn.1002-6819.2022.20.018

TP391.4；S126

A

1002-6819(2022)-20-0156-08

宋晨旭，于翀宇，邢永超，等. 基于OpenCV的大豆籽粒多表型參數獲取算法[J]. 農業(yè)工程學報，2022，38(20)：×156-163. doi：10.11975/j.issn.1002-6819.2022.20.018 http://www.tcsae.org

Song Chenxu, Yu Chongyu, Xing Yongchao, et al. Algorith for acquiring multi-phenotype parameters of soybean seed based on OpenCV[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(20): 156-163. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2022.20.018 http://www.tcsae.org

2021-09-22

2022-09-21

海南省崖州灣種子實驗室“揭榜掛帥”項目（B21HJ0101）“作物人工智能設計與精準育種技術”

宋晨旭，研究方向為深度學習與機器視覺。Email：202037515@mail.sdu.edu.cn

賀紅，博士，副教授，研究方向為軟件工程與數據工程，算法分析與設計，分布式高性能計算。Email：hehong@sdu.edu.cn