基于機器視覺辣椒截面性狀提取方法

耿澤棟, 楊萬能, 李峰, 戴雄澤, 歐立軍, 鄒學校, 馮慧

(1.華中農(nóng)業(yè)大學植物科學技術(shù)學院， 武漢 430070； 2.華中農(nóng)業(yè)大學園林學院， 武漢 430070； 3.湖南農(nóng)業(yè)科學院， 長沙 410125； 4.湖南農(nóng)業(yè)大學園藝園林學院， 長沙 410128; 5.華中農(nóng)業(yè)大學信息學院， 武漢 430070)

我國是辣椒生產(chǎn)、消費和出口大國[1]。辣椒是我國人民生活中不可或缺的蔬菜之一，其經(jīng)濟價值越來越受到人們廣泛的重視?！笆濉睍r期，我國十分重視辣椒產(chǎn)業(yè)，國家“863”計劃項目、科技支撐計劃項目等都對辣椒的研究和發(fā)展提供了強有力的支持[2]。當前，辣椒產(chǎn)業(yè)發(fā)展迅速，在遺傳育種方面都取得了突破性的成績，獲得了高產(chǎn)優(yōu)質(zhì)的優(yōu)良品種[3-4]。對辣椒農(nóng)藝性狀的分析有利于加深對辣椒性狀特征的了解，為辣椒的選育和功能基因組分析提供基礎(chǔ)。目前，我國對辣椒農(nóng)藝性狀的采集主要是通過人工方式，分析的速度較慢，嚴重浪費人力物力。

數(shù)字圖像處理技術(shù)是對圖像進行深度加工，進行有目的的改變，強調(diào)原始圖像與加工圖像之間的變換。圖像處理技術(shù)具有成像清晰、適用性廣、處理精度高等特點[5]。隨著計算機技術(shù)的提高和成本的下降，圖像處理技術(shù)在農(nóng)業(yè)方面的應用越來越廣泛，越來越向?qū)I(yè)化、系統(tǒng)化、智能化的方向發(fā)展，其可以為作物農(nóng)藝性狀的采集和分析提供強有力的工具[6]。應用數(shù)字圖像處理技術(shù)對辣椒農(nóng)藝性狀進行采集分析可以提高采集效率，節(jié)省人力資源，促進辣椒的研究。

大量研究表明，辣椒的表型特征可以反映辣椒性狀的遺傳規(guī)律，可以通過研究辣椒的農(nóng)藝性狀制定出相應的篩選機制，從而獲得高品質(zhì)的辣椒品種。曲曉斌等[7]對線辣椒農(nóng)藝性狀的研究表明，果橫徑的增加會導致單株結(jié)果數(shù)呈下降趨勢，果縱徑與單株結(jié)果數(shù)之間的相關(guān)性不大。果橫徑的增加還會導致單果果肉重，平均單果重呈明顯上升趨勢[8-9]。文錦芬等[10]和張建云[11]對辣椒徑尖的研究表明，辣椒頂部表面附生著多種病原菌，嚴重時將導致辣椒病害。王得元[12]研究表明，辣椒果形指數(shù)(果實長寬比)受基因控制，穩(wěn)定遺傳。因此,可以通過挑選厚度較大、果形指數(shù)高的辣椒來選擇高品質(zhì)的辣椒的品種。

與人工提取相比較，基于圖像處理可以更加快速地提取辣椒農(nóng)藝性狀。楊一璐等[13]基于葉綠素熒光圖像對辣椒葉片氮含量進行預測，建立了辣椒葉片熒光特征參數(shù)對氮含量的預測模型，方便對辣椒葉片含氮量進行科學合理的預測。袁開放等[14]通過圖像處理技術(shù)設(shè)計了牛角椒的大小分選系統(tǒng)，取代傳統(tǒng)的人工作業(yè)，實現(xiàn)了機器對牛角椒進行大小篩選，機器選擇正確率在95%以上。王建璽等[15]利用圖像處理技術(shù)，改進了主動輪廓模型(c-v模型)，提高了對辣椒病斑圖像分割的效果。Chupawa等[16]利用圖像處理技術(shù)對辣椒的種子進行快速質(zhì)量檢測。綜上所述，圖像處理技術(shù)可以為辣椒性狀的研究提供強有力的工具，降低人工成本，提高采集效率。

目前辣椒直徑、果型指數(shù)、心室個數(shù)等性狀提取的方式主要是人工提取，而一些利用圖像處理技術(shù)對辣椒大小、病斑等性狀的研究缺乏對辣椒內(nèi)部性狀，如圓形度、果肉厚度、橫向褶皺等綜合的檢測和提取。本研究采用機器視覺技術(shù)，詳細分析多種辣椒內(nèi)部性狀特征，包含辣椒橫截面的果長、果寬、果肉厚度、果形指數(shù)(果長/果寬)、心室數(shù)、橫向褶皺及辣椒縱截面的中線、肩寬、胸寬、腹寬、尖寬、中線曲率等性狀，對辣椒農(nóng)藝性狀的提取更加全面、快速。

本文通過圖像分析技術(shù)，基于機器視覺技術(shù)編寫了一套完整的對辣椒橫切和縱切截面的農(nóng)藝性狀的采集和分析程序。對辣椒橫切和縱切截面圖進行處理分析，可以快速、準確得出辣椒的果肩徑、直徑、心室個數(shù)、果肉厚度等性狀，實現(xiàn)了辣椒農(nóng)藝性狀高通量、自動化提取。

1 材料與方法

1.1 軟件支持

本文使用的編程軟件：Labview2015(64-bit)[17]、Microsoft Visual Studio2015(VS2015)[18]、OpenCV3.1.0[19]。

1.2 工作流程

根據(jù)辣椒的橫切、縱切截面圖特點和鑒別分類要求，建立了辣椒性狀的自動化檢測流程：背景板上放好比色板和直尺，擺放辣椒切片進行圖像采集，通過Labview編寫的程序?qū)苯窓M縱截面圖像進行分割、識別，進而提取辣椒的內(nèi)部特征；在提取過程通過對各像素點的閾值分析，將各辣椒截面的圖像數(shù)據(jù)轉(zhuǎn)變?yōu)楹唵?、易操作的像素集合；對截面進行目標識別和種類劃分，提取出二值圖、單個心室圖、輪廓圖等圖像，分析圖像得到辣椒截面直徑、圓形度、辣椒壁厚度、心室數(shù)、橫向褶皺等性狀數(shù)據(jù)。計算并分析所有截面的性狀數(shù)據(jù)后，將其自動保存至TXT文檔，供后續(xù)分析研究。對比于人工檢測，基于機器視覺的圖像處理方法更加快速、簡便，可實現(xiàn)對辣椒截面的自動化、高通量性狀檢測。

1.3 辣椒橫截面圖像性狀提取

辣椒橫截面的提取性狀如圖1所示，首先做出截面的最小外接矩形長Dx和寬Dy，再根據(jù)矩形的對角線確定辣椒橫截面的質(zhì)心(O點),黑色區(qū)域H1、H2為辣椒心室，紅線部分為提取辣椒厚度的部分(心室連接處不計算橫截面厚度)，綠色虛線部分為辣椒的橫向褶皺。

注：O—截面質(zhì)心；Dx—最小外接矩形長；Dy—最小外接矩形寬；H1和H2—心室。紅線區(qū)域為提取辣椒厚度，綠色區(qū)域為橫向褶皺。Note: O—Facet center; Dx—Minimum circumscribed rectangle length, Dy：Minimum circumscribed rectangle width; H1 and H2：Ventricle. Red domain is pepper thickness, and green domain is lateral pleate.圖1 橫截面提取指標Fig.1 Crosscutting section map extraction index

1.3.1橫截面圖像分割 本研究采用閾值分割法[20]將灰度圖像轉(zhuǎn)換成二值圖像。它的作用是減少圖像中數(shù)據(jù)量，凸顯出目標的輪廓[21]。由于背景較為固定，辣椒則有紅色、綠色、黃色等顏色，故本文中采用OTSU算法進行分割，如圖2所示。二值化處理的優(yōu)劣程度對性狀提取的準確性和合理性具有十分重要的作用[22]。

1.3.2直徑比Dx/Dy分析 直徑是反映圓特征的最直觀數(shù)據(jù)。對于不規(guī)則的圓，分別取其最小外接矩形的長和寬。對于辣椒來說，直徑的大小可以直接反映其粗細程度。如圖2D所示，首先對橫截面進行填充，然后取填充圖最小外接矩形的長和寬。對橫截面直徑比Dx/Dy，大于1表示細長的截面，等于1表示圓形的截面[23]。

1.3.3圓形度DC分析 圓形度DC是不規(guī)則圓形相對于規(guī)則圓的偏離情況，表現(xiàn)了辣椒截面的不規(guī)則程度。本文通過Labview算法模塊IMAQ Particle Analysis VI中的Area提取填充圖的面積記為A；通過Perimeter提取填充圖的周長記為L。圓形度計算公式(1)如下。

DC=4πA/L2

(1)

其中，DC為圓形度，A為外輪廓所包含面積，L為外輪廓周長。

1.3.4果肉厚度T分析 對于果肉橫截面，內(nèi)輪廓如果存在室間隔，則無法計算果肉厚度，需要去掉此部分，具體計算分為以下兩個過程。首先提取出橫截面的內(nèi)輪廓(圖2E、F)，計算內(nèi)輪廓上每一點與內(nèi)輪廓凸包上每一點之間的距離，以最小值作為內(nèi)輪廓上該點到凸包的距離。然后對此距離進行判定，給定一個閾值(此處為10個像素)，只有距離小于閾值的部分才可計算厚度。

具體過程如圖3所示，質(zhì)心以及整幅圖像的四個角點將圖像區(qū)域分為四個區(qū)域，并分別計算四個區(qū)域的面積，其中圖像高記為height，寬記為width。之所以進行區(qū)分是因為質(zhì)心點和內(nèi)輪廓上的點與圖像邊緣的交點不在同一個區(qū)域，四個區(qū)域的計算方法不同。首先根據(jù)面積判斷內(nèi)輪廓上的點在哪一塊區(qū)域內(nèi)，以內(nèi)輪廓上的點為中心，分別與相鄰的角點以及質(zhì)心相連，應用海倫公式計算S1、S2、S3三個區(qū)域的面積之和，該面積與四個區(qū)域中某一區(qū)域的面積相等，則內(nèi)輪廓上的點在該區(qū)域上。如在區(qū)域1內(nèi)，計算該直線與y=0的交點，如在區(qū)域2內(nèi)，計算該直線與x=width-1的交點，如在區(qū)域3內(nèi)，計算該直線與y=height-1的交點，如果在區(qū)域4內(nèi)計算該直線與x=0的交點。計算出交點后，統(tǒng)計從質(zhì)心點到該交點的路徑間，內(nèi)輪廓與外輪廓的交點之間的距離，則為該處的厚度。

A：原始圖；B：二值化優(yōu)化；C:單個辣椒二值圖；D：填充圖；E:內(nèi)輪廓及凸包；F：厚度輪廓；G：心室圖；H：褶皺圖。A: Original image; B: Binary optimization; C: Single pepper binary image; D: Fill image; E: Inner contour and conver hull; F: Thickness image; G: Venticular image; H: Pleated graphics.圖2 辣椒橫截面圖像處理Fig.2 Image processing of pepper slice

1.3.5心室個數(shù)H取面積最大兩塊區(qū)域均值的50%，記為心室個數(shù)的閾值A(chǔ)，公式(2)如下。

A=(a+b)/4

(2)

式中，A為心室個數(shù)閾值，a為最大區(qū)域面積，b為第二大區(qū)域面積。

若剩下的區(qū)域面積超過這個閾值，則認為是心室，小于這個閾值則去除。本文通過Labview軟件中的IMAQ Particle Analysis算法模塊提取心室圖中的粒子數(shù)，記為心室個數(shù)。對二值化心室圖像(圖2G)進行分析，計算出聯(lián)通區(qū)域的個數(shù)及其面積、圖像在X軸方向的中心坐標、在Y軸方向的中心坐標等[24]。

1.3.6橫向褶皺VWN和VWD橫向褶皺是指辣椒橫截面外輪廓產(chǎn)生的彎曲，如圖2H所示。計算橫向褶皺，用外輪廓凸包減去外輪廓填充圖，得到褶皺圖形，分別計算褶皺外接矩形的長和寬，如果其中一項超過厚度的1/2，則認為有2個交點，如果其中一項與厚度的1/2相等，則認為有1個交點。用外輪廓凸包(圖2H外圈黃線)和內(nèi)輪廓凸包(圖2H內(nèi)圈黃線)將截面輪廓(圖2H中的紅線)夾起來，做出內(nèi)外側(cè)輪廓凸包的中線(圖2H藍色實線)，藍線長度(L)為內(nèi)輪廓凸包周長和外輪廓凸包周長和的1/2，測量黃線間區(qū)域面積S為外輪廓填充面積減去內(nèi)輪廓凸包的填充面積。橫向褶皺的計算公式如下。

圖3 果肉厚度示意圖Fig.3 Skech of pulp thickness

VWN=N/L

(3)

VWD=S/L

(4)

式中，VWN為平均褶皺數(shù)量，VWD為平均褶皺面積，N為交點個數(shù)，L為內(nèi)外輪廓凸包周長和的一半(藍線長度)，S為兩黃線間的面積。

1.4 辣椒縱截面圖像性狀提取

如圖4所示，首先提取辣椒區(qū)域圖像，然后分割出單個辣椒圖像，提取辣椒骨架，并確定辣椒的兩個端點(紅色D1、D2)，即綠色萼片果肩界線(綠色虛線)的中點D1及果尖D2。不同種類辣椒端點的位置不同，如在線椒型辣椒中D1與D2大多是突出的，而在甜椒型辣椒中大多是凹陷的。對辣椒截面圖進行分割處理，提取出辣椒縱截面的性狀特征。

通過以下幾個數(shù)據(jù)可以得到辣椒的高度、寬度和彎曲程度等基本性狀信息，基本還原出辣椒縱截面的形狀。采集的性狀特征如圖4所示：果肩界線N(綠色虛線)為辣椒果柄處綠色萼片輪廓；果柄中線M(白色虛線)為果肩界線端點D1處的切線的垂線；中線長Y從D1到D2外圍輪廓的中線(藍色實線)長，隨辣椒的彎曲而彎曲；肩寬X1為端點D1切線沿果柄中線向下平移5 mm，其與輪廓線的交點間的距離；胸寬X2為辣椒果實偏上1/3處的寬度；腹寬X3為辣椒果實偏下1/3處的寬度；尖寬X4為端點D2沿中線上移5 mm處中線切線的垂線與輪廓線交點間的距離。

本文程序?qū)苯房v截面進行特征提取時，首先對整體圖片進行二值化，得到辣椒區(qū)域，然后從圖像左上方到右下方進行掃描得到單個辣椒縱截面的外接矩形，并對該外接矩形四周各加40像素值進行擴大剪切，提取出單個辣椒的二值化圖像。由于兩個辣椒截面擺放的距離較近而導致在剪切單個辣椒二值圖時會包含相鄰的辣椒部分，需要去除與邊界相連的區(qū)域，得到單個辣椒的二值圖。通過Labview模塊掃描得到單個辣椒縱截面的外接矩形，消除接觸圖像邊界的粒子;調(diào)用VS編寫的dll(采用不斷細化的方式，最后只剩下單個像素即為骨架)對辣椒縱截面二值圖提取骨架。果柄部分是綠色的，所以采用超G分割提取辣椒柄部，計算方法如公式(5)所示，閾值設(shè)為20，N≥20則認為此處是果柄。然后利用二值化圖像減去柄部圖像，得到去除果柄的辣椒圖像。

注：N—果肩界線；D1—頂部端點；D2—尖部端點；M—果柄中線；Y—中線；X1—肩寬；X2—胸寬；X3—腹寬；X4—尖寬；R—中線曲率。Note: N—Fruit shoulder line; D1—Top end point; D2—Tip end point; M—Fruit handle midline line; Y—Centerline; X1—Shoulder width; X2—Chest width; X3—Belly width; X4—Tip width; R—Midline curvature.圖4 縱截面提取指標Fig.4 Longitudinal section map extraction index

N=2G-R-B

(5)

式中，G為綠色分量，R為紅色分量，B為藍色分量。

本文通過中線形狀反映中線曲率。中線曲率即中線上每點(1/20Y間隔)切線與果柄中線M的夾角度數(shù)，如圖4中紫色虛線與白色虛線的夾角R是針對中線上點的切線方向?qū)￠L的轉(zhuǎn)動率，可以用來衡量辣椒中線的不平坦程度，是對辣椒縱截面彎曲程度更詳細的表示，曲率越大，則表示中線的彎曲程度越大，辣椒的彎曲程度越大。

本文提取辣椒中線長上每點的坐標并計算中線上所有像素點的個數(shù)，用像素個數(shù)除以20的值作為檢索值對中線坐標進行檢索，將中線進行20等分，可以找到中線上每一個20等分點的坐標。用圖像的寬度減去每一個20等分點的橫坐標可以得到共20 個中線到圖像右邊界的距離值，記為寬度W。對這些值做波形分析，可以還原辣椒的中線形狀，它的彎曲程度可以反映中線曲率的變化趨勢。

2 結(jié)果與分析

2.1 圓形度分析

如圖5所示，當DC值越接近1(0.994、0.988)時，辣椒橫截面越接近圓形；DC值越小(0.934)，表明圖形的周長越大，面積越小，與圓形的差距越大，辣椒橫截面越偏離圓形[25]。

2.2 果肉厚度分析

如圖6所示，統(tǒng)計從質(zhì)心點到內(nèi)外壁上交點的路徑距離可以得到一系列內(nèi)輪廓與外輪廓的交點之間的距離，即為果肉某一點的厚度。將所有得到的數(shù)據(jù)進行排列，得到果肉厚度變化曲線，可以形象的反映果肉厚度的變化過程。

2.3 心室個數(shù)H分析

心室內(nèi)容較少可直接準確計算心室，心室內(nèi)容較多無法準確計算。如圖7所示，本文對單個二值圖中心進行畫圓處理，如果辣椒橫截面中間果肉或籽粒較多，需去除中間的辣椒籽的部分，只提取出心室的模塊圖；如果辣椒橫截面的心室較多，需對提取的心室圖進行篩選。經(jīng)計算分析，兩個樣品1心室個數(shù)為2，兩個樣品2心室個數(shù)為3。

2.4 縱截面提取分析

本程序?qū)苯房v截面進行分析可以得到一系列辣椒二值化圖像(圖8)，用于性狀提取。

2.5 中線形狀分析

對縱截面得到的中線大小做歸一化處理，將20個寬度值放在同一坐標系下，將長度大小不同的辣椒中線變換為統(tǒng)一標準的折線圖。消除圖片大小和辣椒大小對還原中線形狀的影響，方便不同規(guī)格辣椒之間的中線形狀的比較。將不同辣椒的中線歸一化(圖9)，可以明顯觀察到不同辣椒的彎曲程度，即中線形狀。

圖5 圓形度Fig.5 Circularity

圖6 果肉厚度Fig.6 Pulp thickness

圖7 辣椒心室提取Fig.7 Processing of pepper ventricular

2.6 辣椒截面的圖像特征性狀參數(shù)分析

2.6.1橫截面特征性狀參數(shù)分析 本研究通過上述方法檢測了40個橫截圖像(800個辣椒橫截面)，58個縱截圖像(422個辣椒縱截面)，得到大量辣椒的截面表型數(shù)據(jù)，如表1所示。其中心室個數(shù)和VWN的CV值較高，其他性狀的CV值較低，表明該品種的辣椒之間差異度較小。

圖9 中線形狀分析Fig.9 Analysis of centerline shape

2.6.2縱截面特征性狀參數(shù)分析 提取到辣椒縱截面中線長Y、肩寬X1、胸寬X2、腹寬X3、尖寬X4等,如表2所示，其中肩寬CV值最大，尖寬CV值較大，表明該品種辣椒的肩部區(qū)別較大，中線長度、肩寬、腹寬基本一致。

2.7 圖片分辨率和像素個數(shù)的轉(zhuǎn)換關(guān)系

圖片分辨率是度量圖像內(nèi)像素個數(shù)多少的指標[26]。不同分辨率圖像中同一區(qū)域所包含的像素個數(shù)不同，圖片的分辨率更高，則表示該圖像的內(nèi)存占據(jù)更大，包含的數(shù)據(jù)更大，相同區(qū)域中包含的像素個數(shù)更多，能展示更多的細節(jié)。圖片的實際大小可以通過分辨率和像素來計算，如公式(6)所示。

L=2.54A/DPI

(6)

表1 辣椒橫截面圖像的特征性狀參數(shù)Table 1 Characteristics of pepper transect images

表2 辣椒縱截面圖像的特征性狀參數(shù)Table 2 Characteristic parameters of vertical cutting image of pepper

式中，L為圖片長度(cm)，A為像素個數(shù)，DPI為每英寸上的像素個數(shù)。

如圖2中通過5 mm對應的像素個數(shù)的多少來判斷肩寬、尖寬的位置。在不同分辨率的圖像中，5 mm所代表的像素個數(shù)不同，對于96 DPI，5 mm像素個數(shù)為19，對于600 DPI，5 mm像素個數(shù)為118。所以在不同分辨率的圖像中通過取不同的像素個數(shù)來表示同一長度。

3 討論

圖像處理技術(shù)在農(nóng)業(yè)中的應用十分廣泛，其本質(zhì)就是使用不同的圖像處理平臺對農(nóng)作物進行處理。孫宏佳[27]基于機器視覺利用Labview設(shè)計了花生種子自動識別系統(tǒng)，主要使用了IMAQ Vision開發(fā)環(huán)境，可以高效、準確地提取花生種子的性狀特征。Labview程序具有強大的外部程序接口能力，本文通過Labview調(diào)用多個DLL，豐富了程序的運算功能。李蓮等[28]利用基于卷積神經(jīng)網(wǎng)絡的深度學習識別方法，識別辣椒的顏色形狀，正確率有86.67%。但是該方法僅識別辣椒的特色和形狀，不能獲得更詳細的辣椒性狀特征。與之相比，本文對辣椒的多種性狀進行提取，可以獲取更完善的辣椒性狀特征。

對辣椒形態(tài)學性狀的研究表明，辣椒性狀可以反映其種植遺傳規(guī)律[7-12]。本文提供了一種可以高通量、自動化的辣椒表型性狀提取方法，提取了辣椒橫截面的果長、果寬、果肉厚度、果形指數(shù)(果長/果寬)，還增加了心室數(shù)、橫向褶皺及辣椒縱截面的中線、肩寬、胸寬、腹寬、尖寬、中線曲率等性狀。相比人工采集數(shù)據(jù)，圖像處理技術(shù)更加快捷方便，效率大大提高。與傳統(tǒng)的人工測量辣椒的農(nóng)藝性狀相比，本文采用數(shù)字圖像處理技術(shù)采集辣椒橫縱截面的性狀特征。人工采集性狀因為采集者的主觀判斷和測量方式不同，無法保證每次采集的標準一致，可能會存在誤差，導致采集的性狀出現(xiàn)偏差。而本文采用計算機圖像處理技術(shù)，采集數(shù)據(jù)有統(tǒng)一的標準，消除了主觀誤差，確保性狀采集的準確性和一致性。且該程序具有統(tǒng)一的性狀采集標準，不會受到人為因素的干擾。簡單高效，便于數(shù)據(jù)的儲存和讀取，可廣泛地應用于辣椒內(nèi)部性狀的提取。