基于圖像分析的小麥籽粒高通量表型系統(tǒng)研究

趙華民，葛春靜，賈舉慶，張淑娟

（1.山西農業(yè)大學農業(yè)工程學院，山西 太谷 030801；2.山西農業(yè)大學農學院，山西 太谷 030801）

小麥作為全球主要的糧食作物之一，其新品種選育對于糧食產量的提高具有重要意義。如何準確快速提取小麥籽粒表型數(shù)據(jù)在小麥基因選擇過程中非常重要。傳統(tǒng)的小麥表型信息提取采用人工方式，效率低，工作量大，測量指標較少，并且不同人員測量容易產生較大誤差，因此傳統(tǒng)的表型信息提取方法被認為是影響新品種選育的主要瓶頸［1］?，F(xiàn)階段雖然有公司開發(fā)了測量籽粒的儀器，但價格昂貴。因此，開發(fā)一種成本低、使用簡單且能夠快速高效提取小麥籽粒表型信息的方式對于小麥新品種選育具有重要意義。

基于圖像分析進行表型信息提取具有提取速度快、測量結果統(tǒng)一、無需接觸等各種優(yōu)點，受到廣大植物表型研究者的關注。目前通過圖像分析獲取果實形狀［2］、大小、葉片面積［3，4］等表型信息的研究已取得較多進展［5－10］，在籽粒表型信息獲取方面也有一定的研究。Herridge等［11］利用掃描儀的掃描獲取圖像功能，開發(fā)了一種快速和高通量分析種子大小的方法，具有較高的精度和穩(wěn)定性。Kara等［12］采用圖像分析技術對12種菜豆的籽粒表型信息進行提取，并采用PCA方法分析了影響菜豆表型的主要影響因素。Tanabata等［13］研究出一款名為Smart Grain的小麥種子表型軟件，通過圖像分析方法獲取種子的長徑、短徑、面積等表型信息，并通過對水稻種子的分析驗證了其有效性。肖杰［14］、Mussadiq［15］、王娜［16］等采用Smart Grain軟件進行小麥籽粒表型分析，并成功對基因進行了定位。Daniel等［17］采用數(shù)字成像軟件，對熱帶抗Striga玉米群體的17個自交系的10個種子形態(tài)性狀進行了數(shù)字測量和計算。Sakai等［18］研究出一套大豆種子形狀三維圖像分析系統(tǒng)，采用將單個大豆種子穿在針上旋轉的方式進行拍照分析，但一次只能對一粒種子進行測量，效率較低。Baek等［19］利用兩個呈90°夾角的攝像頭，采用imageJ軟件結合python、Java語言等研究出一套用于測量大豆表型信息的系統(tǒng)，一次可以獲取多個大豆的長短徑及顏色等信息，具有較高的測試效率。Amaravadi［20］研究出基于OpenCV的手機端APP，主要用于多種作物籽粒的計數(shù)，但不能進行顏色分析。以上開發(fā)的系統(tǒng)或者軟件，大多采用較多的軟件和設備，運行環(huán)境配置復雜，所需設備價格昂貴，不利于育種專業(yè)科研工作者使用，并且大多數(shù)源代碼沒有公開，Smart Grain等公開軟件的鏈接也已失效，導致目前多數(shù)育種者還是靠手工獲取籽粒表型信息。

本研究基于小麥育種需求，采用機器視覺技術，開發(fā)一種基于matlab GUI和圖像處理算法的小麥籽粒高通量表型系統(tǒng)，可以大大提高育種者的工作效率。

1 材料與方法

1.1 系統(tǒng)功能介紹

本系統(tǒng)采用Matlab GUI開發(fā)，運行流程如圖1所示。系統(tǒng)可以通過連接在PC上的攝像頭獲取圖片，也可以直接打開已經在計算機中存在的圖片進行分析。載入圖片后，系統(tǒng)首先進行閾值分割提取小麥籽粒區(qū)域，然后進行籽粒計數(shù)，測量多個麥粒的長徑、短徑、長寬比、面積、周長等表型信息，并對多個麥粒測量值求取平均值和標準差，最后將測量結果輸出到CSV文件中。另外，本系統(tǒng)還可以單獨分析某一個指定籽粒的表型信息和顏色信息。

圖1 小麥籽粒表型分析系統(tǒng)流程

為了方便進行籽粒品種的管理和判別，本系統(tǒng)還內置了卷積神經網絡的訓練和分類程序，用戶可以自己建立數(shù)據(jù)集，然后采用本系統(tǒng)訓練自己的模型，并將獲取的小麥籽粒照片用訓練好的模型進行判別，可以作為籽粒親本判別的參考。

1.2 圖像采集設備

本系統(tǒng)圖像采集設備如圖2所示。包括暗室、攝像頭（晟悅SY8031，最高分辨率3 264×2 448）、兩條LED燈條、自動控制升降臺（可以根據(jù)籽粒的多少自由調節(jié)，以調節(jié)攝像頭的視野大小）、LED燈板（升降臺上放置）。小麥籽粒放置在LED燈板上。燈條和燈板的色溫都為5 500 K。

圖2 圖像獲取設備

1.3 主界面功能實現(xiàn)

系統(tǒng)運行主界面如圖3所示。主界面左下角第一列按鈕為圖像加載按鈕，可以通過“Turn on the camera”按鈕打開與電腦連接的攝像頭。也可以通過“Load image”加載已經存儲在PC中的小 麥籽粒照片。

圖3 系統(tǒng)主界面

小麥籽粒照片加載后，通過點擊“Separated binary image”按鍵去除麥粒背景。麥粒背景去除流程如圖4所示。

圖4 麥粒背景去除流程圖

經過試驗發(fā)現(xiàn)，本系統(tǒng)利用全局閾值分割能最完整地將小麥籽粒與背景分割開，因此采用全局閾值分割法分割小麥圖像。按下按鈕后，首先采用RGB2gray將圖像變?yōu)榛叶葓D像，然后采用imadjust函數(shù)對灰度圖像進行灰度變換增強，并使用imhist函數(shù)畫出灰度圖像的直方圖以便確定合適的閾值，最后采用全局閾值算法將灰度圖像變?yōu)槎祱D像。為了使圖像的邊緣更平滑，使用medfilt2函數(shù)對二值圖像進行3×3模板的中值濾波；圖像中還可能存在肉眼不易察覺的細小孔洞，因此使用imfill函數(shù)進行孔洞填充，然后使用bwareaopen函數(shù)把干擾面積去除，最后用imshow函數(shù)顯示分割好的高質量二值圖像，通過測量分割后的二值化橢圓區(qū)域的長徑、短徑、面積和周長，得到籽粒長徑、短徑、面積和周長。

上述操作后得到的只是小麥籽粒閾值分割后的二值圖像，為進行后續(xù)的顏色分析，還需要得到背景為黑色而目標為彩色的圖像。為此，系統(tǒng)對二值圖像先進行閉運算再進行開運算，進一步消除細小物體和填充孔洞，然后與原圖像進行差運算得到去除背景的RGB圖像，如圖3所示。圖中分離出的標號1的圓形區(qū)域為直徑25 mm、面積等同于1元人民幣硬幣的標準面積標簽，用于小麥實際面積計算。系統(tǒng)使用時默認將其放置于圖像的左上角，作為第一個分割區(qū)域，計數(shù)時減去此區(qū)域。

圖像分離后，通過Seed count按鍵進行籽粒計數(shù)。采用bwlabel函數(shù)標記出二值圖像中連通的區(qū)域，然后用max函數(shù)計算標記的個數(shù)。如圖3中區(qū)域編號8，排除標準面積標簽區(qū)域后，計數(shù)顯示 為7。依次點擊 Amean、Lmean、Smean、Rmean按鍵分別求取所有籽粒實際面積、長徑、短徑和周長的平均值；點擊Astd、Lstd、Sstd、Rstd分別求取所有籽粒面積、長徑、短徑和周長的標準差。計算采用regionprops函數(shù)，首先得到籽粒區(qū)域的像素面積，然后對標準標簽面積做比值，得到實際面積。所有籽粒表型參數(shù)都求出后，點擊“Save to CSV”可以將圖片中所有籽粒的各項表型參數(shù)以及平均值和標準差存入CSV文件，便于后期分析。本系統(tǒng)一次可以對幾十甚至上百粒籽粒進行分析和測量，只需調節(jié)升降臺高度將所有籽粒都放進相機的視野。

為方便籽粒分類和判別，本系統(tǒng)還內置了卷積神經網絡分類和訓練功能，如圖3 Model discrimination和Model training區(qū)域按鍵。系統(tǒng)預設了MATLAB Deep Learning Toolbox中 Alexnet、Vgg16、Vgg19和Resnet50四種網絡預訓練模型。用戶使用時可以按照要求建立自己的小麥籽粒數(shù)據(jù)集，存入指定目錄后，點擊想用的預訓練網絡，訓練自己的小麥籽粒分類模型。神經網絡模型訓練好后，用戶若在試驗中遇到未知種類的新品種，就可以采用此神經網絡進行判別，找到與此籽粒相似的類別，以便更好地進行后續(xù)分析。本系統(tǒng)利用7個不同品種小麥建立數(shù)據(jù)集，然后采用Vgg16網絡進行訓練，結果驗證集精度最高達到89.73%。

1.4 單籽粒表型信息分析

在主界面點擊‘Color analysis’按鈕和‘Morphological analysis’按鈕，將分別進入顏色分析子界面和單籽粒形態(tài)分析子界面（圖5、圖6）。

圖5 單籽粒顏色分析界面

圖6 單籽粒形態(tài)分析子界面

顏色分析在小麥籽粒育種過程中非常重要，兩種不同顏色的小麥籽粒雜交后可能產生介于親本顏色之間的n種顏色的籽粒，如何對這些籽粒進行排序和歸類一直是科研人員遇到的難題。以前的顏色判別方法是將小麥與標準比色卡進行比較，人眼進行判別，但不同的人會有不同的判別結果，影響歸類結果準確性。針對此問題，本系統(tǒng)專門開發(fā)了顏色提取功能，用于顏色排序。在圖5的第二行文本框中輸入想要分析的籽粒編號，依次點擊“Seed Separation”和“Color extraction”按鍵，即可在圖片顯示區(qū)域顯示出相應的籽粒分離圖，在下方的R、G、B區(qū)域顯示對應通道的直方圖。點擊‘Color’按鈕，可以提取R、G、B直方圖中的最大值，將結果顯示在最后一行的文本框中，并根據(jù)式（1）求出對應的Y（Luminance），用于科研人員對籽粒顏色進行排序。由圖5可見，顏色深的籽粒Y值更小。

Y＝0.299×R＋0.587×G＋0.114×B。（1）

在單籽粒形態(tài)分析子界面，用戶在第二行文本框中輸入想要分析的籽粒編號，然后點擊“Seed Separation”可以分離出對應編號籽粒的二值化圖像。依次點擊下面的按鈕，可以分析籽粒的長徑、短徑、面積和長寬比，還可以點擊‘Edge extraction’按鈕提取籽粒邊緣圖像。點擊‘Texture extraction’按鈕，提取籽粒的紋理信息，包括能量、熵、慣性矩、相關性、逆差距六項信息，并可輸入神經網絡用于品種判別。

2 系統(tǒng)驗證

2.1 數(shù)據(jù)獲取

為驗證系統(tǒng)測量的準確性，隨機選擇7個不同顏色和大小的小麥品種，按照試驗田內的編號分別為A90、A89、A70、A60、A51、A43、A5，每個品種隨機取30粒籽粒，分成3組，每組10粒。

首先手工測量長徑和短徑，測量方法如圖7所示，將所有小麥籽粒種臍向下首尾相接，測量總長徑和短徑，然后取平均值作為每個籽粒的長徑和短徑。每組籽粒手工測量完成后馬上用本系統(tǒng)拍照測量，照片分辨率3 264×2 448。將兩種測量結果進行對比分析。

圖7 小麥籽粒長、短徑手工測量

為了驗證籽粒擺放方式對系統(tǒng)測量準確性的影響，第一次拍照與手工測量時相同，種臍向下；第二次時種臍隨機擺放進行拍照。另外，為了驗證籽粒擺放角度對測量結果的影響，將種臍向下的籽粒拍照后隨機旋轉一定角度再次進行拍照，對比兩種不同擺放角度對結果的影響，拍照結果如圖8所示。

圖8 不同擺放方式的小麥系統(tǒng)測量照片

2.2 數(shù)據(jù)分析

以手工測量結果為標準對系統(tǒng)測量結果進行誤差分析，測量結果見表1。可以看出，長徑測量絕對誤差絕對值最大為A5第2組，為0.27 mm，平均絕對誤差為0.14 mm；相對誤差最大為3.90%，平均相對誤差2.11%。短徑測量絕對誤差絕對值最大為A43第1組，為0.20 mm，平均值為0.10 mm；相對誤差最大值為6.8%，平均值3.4%。說明系統(tǒng)測量結果與手工測量結果非常接近，能夠作為手工測量的替代測量方式。另外，系統(tǒng)測量結果中長徑測量結果大部分小于手工測量結果，短徑測量結果大部分大于手工測量結果。分析其原因為，在進行小麥籽粒背景分離時，小麥長徑頂端的絨毛被當做背景分離掉了，而手工測量時絨毛部分會被測量；短徑的手工測量則由于籽粒相互疊加，造成短徑手工測量結果偏小。

為驗證籽粒擺放角度對測量結果的影響，分析圖8（b）和（c）兩種擺放方式的測量結果，如表1所示。圖8（b）方式長徑測量絕對誤差絕對值最大為0.11 mm，平均值為0.055 mm；相對誤差最大值為0.017%，平均值為0.0082%。短徑測量絕對誤差絕對值最大為0.19 mm，平均值為0.068 mm；相對誤差最大值為0.064%，平均值為0.02%。短徑測量誤差較大是因為麥粒短徑方向曬干后表皮褶皺，導致放置方式不同時從上向下拍照投影面積有區(qū)別。圖8（c）擺放方式下，長徑絕對誤差絕對值最大為0.04 mm，平均值0.019 mm；相對誤差最大值0.006%，平均值0.003%。短徑絕對誤差絕對值最大為0.09 mm，平均值0.028 mm；相對誤差最大值0.026%，平均值0.009%。通過誤差分析可知，種臍向下和向上放置對籽粒形態(tài)分析的結果有一定影響，對短徑測量結果的影響大于對長徑的影響，但是影響很小。種臍向下時籽粒不同放置角度對形態(tài)分析的測量結果基本無影響。

表1 手工測量長短徑和系統(tǒng)測量長短徑結果

3 結論

本研究采用Matlab GUI開發(fā)了小麥籽粒高通量表型分析系統(tǒng)。該系統(tǒng)具有測量和存儲籽粒長徑、短徑、面積等形態(tài)特征和分析顏色特征的功能，還內置了神經網絡訓練和判別模塊，可以用于籽粒類別的預測分析。經過誤差分析，本系統(tǒng)與手工測量長徑平均相對誤差2.11%，短徑平均相對誤差3.4%，測量精度較高。而且該系統(tǒng)使用成本低，配置簡單，可以大大提高小麥育種基因選擇效率，為小麥育種提供了一種方便高效的表型信息提取工具。本系統(tǒng)已上傳到開源社區(qū)：https：／／github.com／dearzhaohm／Wheat-grain-phenotypic-system。