智能手機RGB圖像檢測植物葉片葉綠素含量的通用方法

李修華，盧顯杰，奚金陽，張云皓，張木清

?農(nóng)業(yè)信息與電氣技術(shù)?

智能手機RGB圖像檢測植物葉片葉綠素含量的通用方法

李修華1,2，盧顯杰1，奚金陽1，張云皓1，張木清2

（1. 廣西大學電氣工程學院，南寧 530004；2. 廣西甘蔗生物學重點實驗室，南寧 530004）

為提高RGB（Red, Green, Blue）圖像方法在檢測植物葉片葉綠素含量的預(yù)測精度、普適性和實用性，該研究提出了一種智能手機結(jié)合輔助拍照裝置獲取植物葉片RGB圖像并即時檢測葉綠素含量的低成本方法。設(shè)計了一種內(nèi)置主動光源的低成本便攜式拍照裝置，用以降低環(huán)境光及拍照角度等因素對成像質(zhì)量的影響；并采用了基于24色Macbeth標準色卡的二階多項式回歸法構(gòu)建色差校正矩陣以減小不同手機所獲取圖像的色差；最后開發(fā)了基于微信小程序的遠程診斷系統(tǒng)以實現(xiàn)植物葉片葉綠素含量的原地、實時及無損檢測。以甘蔗葉片為例，采用了3款不同品牌的手機進行了試驗，首先分析了葉片39種顏色特征與其葉綠素含量的相關(guān)性及色差校正方法對其的影響。結(jié)果表明，該方法獲取的葉片顏色特征與葉綠素含量大多具有較強的相關(guān)性（相關(guān)系數(shù)>0.8），同時，色差校正可明顯提升多手機混合數(shù)據(jù)集的顏色特征與葉綠素含量的相關(guān)系數(shù)，其中RGB色彩空間下三個顏色通道亮度值、、的代數(shù)運算特征(--)/(+)的提升最明顯，達到了0.842 4，比校正前提高了89%。進一步結(jié)合主成分分析構(gòu)建了色差校正前與色差校正后的葉綠素含量多元線性回歸（Multivariate Linear Regression，MLR）和支持向量機回歸（Support Vector Regression，SVR）預(yù)測模型。多手機混合數(shù)據(jù)集通用預(yù)測模型中，色差校正后的SVR通用預(yù)測模型精度和穩(wěn)定性最高，相比校正前的SVR通用預(yù)測模型，五折交叉驗證的2均值達到了0.721 4，提高了14.6%，RMSE均值為0.328 8 mg/g，降低了13.3%；同時，該模型五折交叉驗證的2標準差僅為0.004 2，具有更高的穩(wěn)定性。該研究為不同手機準確預(yù)測植物葉片葉綠素含量提供了一種通用方法。

圖像識別；葉綠素；主動光源；智能手機；RGB圖像；色差校正

0 引 言

葉綠素是綠色植物進行光合作用所必需的物質(zhì)，有效獲取作物的葉綠素含量能為植物健康及作物管理提供有價值的信息[1]。目前主流葉綠素含量檢測方法有分光光度計法、專用無損速測儀、基于光譜儀或光譜成像儀的檢測法以及基于機器視覺的RGB（Red，Green，Blue）圖像識別方法。分光光度計法[2]是被認為是測量植物葉片葉綠素含量的標準方法，但需要在實驗室環(huán)境下通過專用儀器進行測量，且需要對葉片進行破壞性采樣，試驗過程繁瑣。無損式葉綠素速測儀最典型的是SPAD-502[3]，其能夠快速檢測出植物葉片的葉綠素含量，但傳感器實際測量面積小（SPAD-502的測量區(qū)域僅2 mm×3 mm），需多次測量取平均，測量結(jié)果易受葉片厚度影響，且價格昂貴（約1.5萬/臺），不利于大規(guī)模推廣。基于光譜儀或光譜成像儀的葉綠素檢測法主要通過獲取作物葉片或冠層的近紅外光譜[4]、葉綠素熒光光譜[5]或相應(yīng)的多光譜[6]、高光譜圖像[7-8]，并提取特征光譜指數(shù)（如NDVI，Normalized Difference Vegetation Index，歸一化植被指數(shù)）對葉綠素含量進行預(yù)測。但常用的光譜儀價格昂貴，多用于研究領(lǐng)域。以上3種方法都需要專用且昂貴的儀器設(shè)備，測量成本高，難以大范圍普及。

植物葉片葉綠素含量與其顏色特征具有顯著的相關(guān)性[9]。早在1988年，Spomer等[10]利用綠蘿黑白圖像提取顏色特征，并分析了其與葉綠素含量的相關(guān)性。之后，學術(shù)界對使用RGB圖像預(yù)測植物葉片葉綠素含量的方法進行了廣泛的研究[11]。2009年，Pagola等[12]使用主成分分析方法分析了大麥葉片顏色特征與SPAD的相關(guān)關(guān)系，結(jié)果達到了0.9。2010年，Yadav等[13]采用HP Scan Jet 3670掃描儀在恒定光源下獲取馬鈴薯葉片圖像并建立葉綠素預(yù)測模型，結(jié)果顯示，基于顏色特征/（為RGB色彩空間下三個顏色通道亮度值、、的代數(shù)運算結(jié)果，=/(++)，為亮度）建立的模型的2達到了0.77。2015年，Vesali等[14]通過智能手機攝像頭緊貼玉米葉片捕捉其透光的RGB圖像，并通過逐步回歸提取圖像顏色特征，建立針對葉片SPAD值的神經(jīng)網(wǎng)絡(luò)預(yù)測模型，得到2為0.82，但局限于單一手機。2017年，程立真等[15]基于蘋果葉片RGB圖像的9個敏感顏色特征建立了單變量回歸模型和多變量支持向量機回歸（Support Vector Regression，SVR）模型，結(jié)果表明SVR模型的預(yù)測精度更高，2達到0.827 5，但同樣也局限于單一圖像傳感器。類似地，在棉花[16]、微藻[17]、柑橘[18]]等植物上也進行了類似研究。結(jié)果表明，基于RGB圖像的葉綠素含量預(yù)測方法在測量成本及便利性上顯著優(yōu)于基于光譜的預(yù)測方法，但在測量精度上面臨著巨大的挑戰(zhàn)，且大都針對單一圖像傳感器，通用性不足。首先，不同環(huán)境光會對RGB圖像產(chǎn)生顯著的影響[19-20]；其次，不同拍照設(shè)備的硬件參數(shù)及內(nèi)置圖像處理算法也各不相同，對成像質(zhì)量也造成不小的差異；另外，拍照角度、拍照距離等因素對圖像的一致性也造成一定的影響。

針對上述問題，本文以智能手機為圖像采集設(shè)備，對RGB圖像檢測葉綠素含量的方法做了如下改進：1）設(shè)計并開發(fā)了一個低成本、便攜的主動光源裝置（以下簡稱為“拍照球”）用以降低環(huán)境光及拍照角度、距離對手機拍照成像的影響；2）用24色Macbeth標準色卡對不同型號手機對于拍照球環(huán)境下的成像環(huán)境進行一次性的色差校正，以降低不同手機間的顏色差異，提高模型的普適性。3）以甘蔗作物為例，選擇了3款手機采集葉片圖像，并進行了建模與驗證。分別采用多元線性回歸（Multivariate Linear Regression，MLR）、SVR方法對校正前后的圖像進行單手機建模及多手機混合建模，通過測試集的均方根誤差（Root Mean Square Error，RMSE）、平均絕對百分比誤差（Mean Absolute Percentage Error，MAPE）、決定系數(shù)（Coefficient of determination，2）這3個指標對模型進行評估。最后開發(fā)了1款基于微信小程序的軟件系統(tǒng)以實現(xiàn)葉綠素的實時檢測。

1 材料與方法

1.1 葉片圖像采集輔助裝置

為盡可能地消除不可控的環(huán)境光對圖像產(chǎn)生的影響，設(shè)計了一個具有穩(wěn)定光源、能形成封閉空間的便攜式輔助裝置作為圖像采集的場所，以下簡稱“拍照球”（如圖1所示）。拍照球為半球體形狀，最大直徑為8.5 cm，底部為一直徑6 cm的圓形平面底座；頂端有一邊長為2.5 cm的方形拍攝孔，其距離底座的高度為8.5 cm。拍照球的內(nèi)壁圍繞拍攝孔均勻排列有8個貼片式LED白光光源；內(nèi)壁為白色漫反射涂層，底座為黑色漫反射尼龍材料，其內(nèi)部放置了可充電鋰電池及穩(wěn)壓模塊。拍照球可通過底部一側(cè)的鉸鏈進行開合。拍攝時，打開拍照球，將色卡或葉片放置在黑色底座上，合上拍照球，將手機攝像頭緊貼頂部的拍攝孔進行拍攝。

1.2 葉片圖像采集

試驗于2020—2021年在廣西亞熱帶農(nóng)科新城甘蔗試驗田進行，隨機選取140株不同生長時期、不同長勢的甘蔗植株，各采集1片無明顯病蟲害、顏色均勻的葉片，共得到140個樣本。用于色差校正的色卡為型號X-RITE Colorchecker Classic Nano 的24色Macbeth標準色卡[21]，包含自然色、彩色、原色和灰度色塊，尺寸為25 mm× 40 mm× 1 mm。色卡的顏色真值依據(jù)國際照明委員會CIE（International Commission on Illumination）的規(guī)定在2°標準觀察者和標準光源C下進行比色測量，并根據(jù)孟塞爾色系進行描述所得。

試驗選取了3款不同品牌、不同價位的智能手機作為圖像采集設(shè)備，分別是iPhone 8P、iQOO Neo 855（下文簡稱iQOO）、Mi 8（各手機具體參數(shù)見表1）。首先采用3款手機分別通過拍照球?qū)ιㄟM行圖像采集，以計算各手機專屬的色差校正矩陣，實現(xiàn)后續(xù)的色差校正。然后依次將各葉片樣本放置在拍照球中，分別通過各手機對葉片進行拍攝。各手機的拍攝角度、拍攝參數(shù)保持一致，均采用原相機模式、放大倍數(shù)1、自動對焦、關(guān)閉閃光燈，圖像分辨率4 032×3 024。各手機分別采集得到1幅色卡圖像、140幅葉片樣本圖像。拍攝所得色卡及葉片圖像的示例如圖2所示，可見結(jié)合拍照球采集的圖像具有較好的色彩一致性，無明顯反光，可以很好地控制拍攝對象的遠近、角度等參數(shù)一致。

表1 試驗所用智能手機的主要參數(shù)

1.3 葉綠素含量測定

各葉片的葉綠素含量真值采用分光光度法[22]測定。葉片樣本的圖像采集完成后，將處于拍攝區(qū)域的葉片去除葉脈、剪碎，并稱取0.4 g放入25 mL按2:1混合的丙酮乙醇萃取液中萃取24 h；然后采用島津公司的分光光度計UV-2600對萃取液進行吸光度的測量，最后通過式（1）計算葉綠素含量。

式中663、645分別表示663與645 nm波長下的吸光度，Chl表示單位質(zhì)量下的葉綠素含量，mg/g。

1.4 色差校正矩陣計算與校正效果評價

本研究選取適用于穩(wěn)定光源且使用較為廣泛的二階多項式回歸矩陣法[23]構(gòu)建色差校正矩陣，用以降低智能手機差異帶來的圖像色差。

色差校正矩陣構(gòu)建方式如下：首先讀取24色色卡圖像，接著提取各色塊主體區(qū)域的平均值，構(gòu)建[1,,,,,,,2,2,2]多項式，并得到10×24的多項式回歸矩陣。同時，用24色色塊的標準值構(gòu)建另一個3×24的色卡標準矩陣。根據(jù)式（2）即可計算得到3×10的色差校正矩陣。不同手機得到的色差校正矩陣各異，均將作為用戶信息被存儲到后端服務(wù)器中，并用于對各手機拍攝的圖像進行色差校正。

式中T表示矩陣的轉(zhuǎn)置。

色差校正的效果通過色彩空間理論中評價RGB空間顏色差異的標準方法Euclidean距離[24]來量化評估，Euclidean距離的計算方法如式（3）所示。

式中1、1、1和2、2、2分別為手機1和手機2對某樣本所攝圖像的、、均值。

1.5 葉片顏色特征自動提取

本文設(shè)計了一種可實現(xiàn)自動色差校正及自動提取葉片顏色特征的圖像處理方法，采用Python語言實現(xiàn)。該方法主要包括降低分辨率、自動提取葉片主體區(qū)域即感興趣區(qū)域（Region of Interest，ROI）、色差校正、提取顏色特征這4個步驟，如圖3所示。

葉片ROI自動提取的流程為：1）計算圖像的EGI（Excess Green Index）顏色特征；2）采用Ostu大津算法進行閾值分割，去除背景；3）腐蝕膨脹以消除噪聲；4）最大內(nèi)接矩形提取葉片主體。

為提高計算速度，在提取顏色特征時僅針對ROI中的所有像素點進行遍歷及校正，并先計算ROI的、、均值，再通過色彩空間變換及代數(shù)運算計算其他顏色特征，共計39種，用于后續(xù)分析與建模，具體特征參數(shù)如表2所示。

1.6 葉綠素預(yù)測模型的構(gòu)建

首先分析各顏色特征與葉綠素含量的Pearson相關(guān)性，然后采用主成分分析對輸入變量進行降維，最后采用MLR和SVR方法分別對校正前后的各手機樣本集進行了單手機建模及多手機混合建模，并對模型性能進行比較。

表2 選取的顏色特征

注：,,分別表示歸一化的,,；,,分別表示HSV色彩空間下的色調(diào)、飽和度、明度；,,分別表示YCrCb色彩空間下的亮度信號及兩個色度信號；,,分別表示Lab色彩空間下的亮度及兩個顏色對立維度；LUV,LUV,LUV分別表示LUV色彩空間下的亮度及兩個色度；表示灰度色彩空間下灰度值；DGCI表示深綠顏色指數(shù)。

Note:,,represent normalized,,respectively;,,represent the hue, saturation and brightness of HSV color space respectively;,,represent the luma signal and two chroma signals of Lab color space respectively;,,represent brightness and two opposites in Lab color space respectively; LUV, LUV, LUVrepresent brightness and two chroma in LUV color space respectively;represents gray value in Gray color space; DGCI represents the dark green color index.

建模時采用了分層抽樣及五折交叉驗證[25]，即將數(shù)據(jù)按葉綠素含量從小到大順序排列，每5個樣本劃為1層，每次建模依次從各層中選取4個樣本作為訓練集，剩下的1個作為測試集，重復5次數(shù)據(jù)集劃分與建模。以5次模型測試集RMSE、MAPE和2的均值Mean及標準差Standard deviation（Std）評估模型精度及穩(wěn)定性。

2 結(jié)果與分析

2.1 色差校正效果評價

圖4為3款手機采集的同一葉片的原圖及色差校正后的圖像。從3張原圖可以看出，不同手機采集的圖像的色調(diào)、飽和度等差異明顯，而色差校正后的圖像顏色差異明顯縮小。

提取各葉片校正前后的、G、均值，并計算任意兩手機的RGB空間下的Euclidean距離，結(jié)果如表3所示?？梢钥闯觯钚Ｕ蟾魇謾C所獲圖像之間的Euclidean距離平均縮小了一半以上。

表3 不同手機所攝葉片的Euclidean距離統(tǒng)計結(jié)果

注：P1、P2、P3分別表示iPhone 8P、iQOO、Mi 8；P-P(=1,2;=2,3;≠)表示手機P與P針對同一葉片樣本所獲圖像的RGB空間的Euclidean距離。

Note: P1, P2 and P3 represented iPhone 8P, iQOO and Mi 8 respectively, P-P(=1,2;=2,3;≠) represents the Euclidean distance in RGB space between the images acquired by Pand Pfor same leaf sample.

2.2 顏色特征與葉綠素含量的相關(guān)性分析

對各顏色特征與葉綠素含量進行了相關(guān)性分析，部分常用顏色特征的相關(guān)性如表4所示。單一手機校正前后的大部分顏色特征與葉綠素含量均體現(xiàn)出較強的相關(guān)性，相關(guān)系數(shù)0.8以上，校正后的部分相關(guān)系數(shù)反而出現(xiàn)略微降低的現(xiàn)象。這說明色差校正對單一手機的積極影響并不明顯。主要原因是手機硬件及ISP（Image Signal Processor，圖像信號處理器）以及自帶相機軟件的圖像處理算法使得成像具有其穩(wěn)定性，色差校正會對這一穩(wěn)定性造成干擾，降低相關(guān)性。而混合集（Hybrid）的顏色特征與葉綠素含量相關(guān)性較單一手機普遍更低，校正前的相關(guān)系數(shù)在0.6以下，校正后的相關(guān)系數(shù)有明顯提升，顏色特征(--)/(+)的提升最明顯，達到了0.84，比校正前提高89%。表明色差校正能夠有效減少不同手機或不同成像傳感器間的顏色特征差異。

另外，色差校正前后各手機間的差異也不同，校正前不同手機的部分顏色特征與葉綠素含量的相關(guān)系數(shù)存在明顯的差異，如、-、的相關(guān)系數(shù)在不同手機之間的差值高于0.3；校正后，絕大多數(shù)顏色特征與葉綠素含量的相關(guān)系數(shù)在不同手機間的差異明顯減小，強相關(guān)顏色特征如-、-、、(--)/(+)等的相關(guān)系數(shù)差值基本在0.05以內(nèi)。

表4 色差校正前后各手機的顏色特征與葉綠素含量的相關(guān)系數(shù)

2.3 主成分分析

由于選取的39個顏色特征均由、、這3個基本特征經(jīng)色彩空間變換及代數(shù)運算得到，不少特征之間存在較強的相關(guān)性，不利于模型的構(gòu)建，需進行降維。采用主成分分析分別對色差校正前后的Hybrid數(shù)據(jù)集的顏色特征進行降維，得到各主成分的方差貢獻率如表5所示。

表5 主成分分析的方差貢獻率

可以看出，針對校正前后的數(shù)據(jù)，前5個主成分的累積方差貢獻度達到了99.9%，前17或前15個主成分的累積方差貢獻度達到了100%。故而本研究選取前5個主成分構(gòu)建MLR模型，選取前15個主成分構(gòu)建SVR模型。

2.4 葉綠素含量預(yù)測模型

2.4.1 MLR預(yù)測模型

由表4的相關(guān)性分析結(jié)果可知，各顏色特征與葉綠素含量具有較強的相關(guān)性，故通過顏色特征構(gòu)建MLR模型預(yù)測葉綠素含量是可行的。為有效利用各顏色特征信息，同時避免過多輸入變量導致的模型復雜度高、魯棒性低等問題，依據(jù)表5的主成分分析結(jié)果，選取前5個主成分作為模型的輸入變量，建立了MLR模型，其五折交叉驗證結(jié)果見表6中MLR模型部分。

結(jié)果表明，單手機圖像校正前后的2均值及標準差變化不大（<0.01），說明色差校正對單手機預(yù)測模型沒有意義。Hybrid數(shù)據(jù)集經(jīng)色差校正后的精度及穩(wěn)定性都明顯提升，2均值提高了15.5%，標準差降低了38.6%。

單手機預(yù)測模型中，不同型號的手機表現(xiàn)出較大的精度差異，色差校正前后精度均表現(xiàn)為iPhone 8P >iQOO >Mi 8，iPhone 8P的2均值比iQOO高0.07以上，說明單手機模型的精度受手機型號的影響。

校正后的多手機混合預(yù)測模型的2均值為0.707 6、標準差為0.034 4， RMSE的均值為0.336 3 mg/g，標準差為0.020 4 mg/g。將校正前后的Hybrid數(shù)據(jù)集按2∶1分為訓練集與測試集，建立了一個基于主成分的MLR模型如式（4）所示，測試集的預(yù)測結(jié)果散點圖見圖5。

式中p（= 1, 2, …, 17）表示第個主成分。

2.4.2 SVR預(yù)測模型

進一步采用SVR方法針對前15個主成分建立預(yù)測模型?；跀?shù)據(jù)本身展現(xiàn)出的良好線性關(guān)系，SVR模型核函數(shù)選擇linear，懲罰因子取1。其五折交叉驗證結(jié)果見表6中SVR模型部分。

表6 色差校正前后MLR與SVR模型建模結(jié)果

對比表6中的MLR模型，SVR模型在整體精度上有了一定的提升。單手機校正前后的2均值均提升了0.02以上，最高的iPhone 8P校正前后的精度均提高了約0.04，達到了0.79；而Hybrid數(shù)據(jù)集校正前后的精度也分別提高了約0.02。SVR模型在穩(wěn)定性上也體現(xiàn)了明顯的優(yōu)勢，其多次建模的2標準差在0.004～0.028之間，明顯低于多元線性模型的2標準差（0.034 4～0.060 4），校正后的Hybrid模型的標準差最低，為0.004 2，穩(wěn)定性最高。

與MLR模型相似，各手機校正前后2均值及標準差變化不大，變化幅值均在0.02以內(nèi)，而Hybrid數(shù)據(jù)集經(jīng)色差校正后精度明顯提升，2均值從0.629 6提高到0.721 4，提高了14.6%，2標準差降低了34.4%，RMSE均值為0.328 8 mg/g，降低了13.3%。進一步反映了色差校正對提高多手機混合模型精度的重要性。

同樣，將校正前后的Hybrid數(shù)據(jù)集按2:1分為訓練集與預(yù)測集，建立了基于主成分的SVR葉綠素含量預(yù)測模型，其預(yù)測結(jié)果散點圖見圖5。

2.5 智能手機微信小程序的開發(fā)

為進一步提高檢測系統(tǒng)的便利性，本研究開發(fā)了1套在線檢測系統(tǒng)，包括手機端的微信小程序和后臺的圖像分析軟件，可在現(xiàn)場對作物葉片葉綠素含量進行實時檢測。后臺分析軟件包括通信、圖像處理、色差校正、葉綠素預(yù)測等主要功能，微信小程序可免去用戶安裝專用app的繁瑣與不便，方便用戶使用。用戶可攜帶輔助拍照球與智能手機在田間針對作物葉片進行實地拍攝，并通過微信小程序與遠程服務(wù)器進行交互，即時獲取預(yù)測結(jié)果，實現(xiàn)作物葉綠素含量的原地、實時及無損的測量。微信小程序的用戶界面如圖6所示。

3 結(jié) 論

該研究立足于綠色植物葉片的葉綠素含量與其部分顏色特征之間具有高相關(guān)性的特性，嘗試建立1種以不同手機為測量工具的葉綠素含量低成本檢測方法。為克服環(huán)境光及手機成像傳感器之間的差異，設(shè)計出一可封閉的拍照球用以確保光源、拍照距離與拍照角度的一致性，同時引入標準色卡對不同成像傳感器進行一次性色差校正以降低色差。

1）通過對色差校正前后的各顏色特征與葉綠素含量的Pearson相關(guān)性分析反映出，本方法可明顯提升不同手機所得的顏色特征與葉綠素含量的相關(guān)系數(shù)，其中(--)/(+)的提升最明顯，達到了0.84，比校正前的相關(guān)性提高了89%。

2）針對自動提取的39種顏色特征進行了主成分分析，并分別采用了MLR及SVR方法構(gòu)建了葉綠素含量的預(yù)測模型，采用了分層抽樣和五折交叉驗證所得的統(tǒng)計結(jié)果進行評價。兩種建模方法下，色差校正后的多手機混合建模2均值相比色差校正前都提高了約15%，精度上SVR的結(jié)果更高，五折交叉建模2均值達到了0.721 4，RMSE均值為0.328 8 mg/g，且穩(wěn)定性更高。

該方法可進一步針對其他綠色植物進行建模及應(yīng)用。但是該研究僅選擇了3款不同的手機作為采集工具，針對其他手機的通用性有待進一步驗證。下一步可選取更多手機、更多葉片樣本進行更廣泛的驗證，還可以嘗試引入深度學習等前沿方法構(gòu)建預(yù)測模型；另外，尋找更適合植物葉片特性的色差校正算法也是下一步值得考慮的研究內(nèi)容。

[1] Yadav S P, Ibaraki Y, Gupta S D, et al. Estimation of the chlorophyll content of micropropagated potato plants using RGB based image analysis[J]. Plant Cell Tissue & Organ Culture, 2010, 100(2): 183-88.

[2] Arnon D I. Copper enzymes in isolated chloroplasts. polyphenol oxidase in beta vulgaris[J]. Plant Physiol, 1949, 24(1): 1-15.

[3] Ling Q, Huang W, Jarvis P, et al. Use of a SPAD-502 meter to measure leaf chlorophyll concentration in Arabidopsis thaliana[J]. Photosynthesis Research, 2011, 107(2): 209-214.

[4] 王璐，李偉凱，關(guān)海鷗，等. 基于多維度光譜特征波長提取大豆冠層SPAD值估算模型[J]. 江蘇大學學報：自然科學版，2020，41(3)：334-338，372.

Wang Lu, Li Weikai, Guan Hai’ou, et al. Estimation model of Soybean canopy SPAD based on multi-dimensional spectral characteristic wavelength extraction[J]. Journal of Jiangsu University: Natural Science edition, 2020, 41(3): 334-338, 372. (in Chinese with English abstract)

[5] Wang H, Zhu R, Zhang J, et al. A novel and convenient method for early warning of algal cell density by chlorophyll fluorescence parameters and its application in a highland lake[J]. Frontiers in Plant Science, 2018, 9: 869-881.

[6] Chen P, Haboudane D, Tremblay N, et al. New spectral indicator assessing the efficiency of crop nitrogen treatment in corn and wheat[J]. Remote Sensing of Environment, 2010, 114(9): 1987-1997.

[7] Li F, Mistele B, Hu Y, et al. Reflectance estimation of canopy nitrogen content in winter wheat using optimized hyperspectral spectral indices and partial least squares regression[J]. European Journal of Agronomy, 2014, 52: 198-209.

[8] Reyniers M, Walvoort D, Baardemaaker J D, et al. A linear model to predict with a multi-spectral radiometer the amount of nitrogen in winter wheat[J]. International Journal of Remote Sensing, 2006, 27(19): 4159-4179.

[9] Gupta S D, Ibaraki Y, Pattanayak A K, et al. Development of a digital image analysis method for real-time estimation of chlorophyll content in micropropagated potato plants[J], Plant Biotechnol, 2013, 7(1): 91–97.

[10] Spomer L A, Smith M, Sawwan J S, et al. nondestructive measurement of chlorophyll content in leaves with nonuniform chlorophyll distribution[J]. Photosynthesis Research, 1988, 16(3): 277-284.

[11] Rorie R L, Purcell L C, Mozaffari M, et al. Association of “greenness” in corn with yield and leaf nitrogen concentration[J]. Agronomy Journal, 2011, 103(2): 529-535.

[12] Pagola M, Ortiz R, Irigoyen I, et al. New method to assess barley nitrogen nutrition status based on image colour analysis comparison with SPAD-502[J]. Computers and Electronics in Agriculture, 2009, 65(2): 213-218.

[13] Yadav S P, Ibaraki Y, Gupta S D, et al. Estimation of the chlorophyll content of micropropagated potato plants using RGB based image analysis[J]. Plant Cell, Tissue and Organ Culture (PCTOC), 2010, 100(2): 183-188.

[14] Vesali F, Omid M, Kaleita A, et al. Development of an android app to estimate chlorophyll content of corn leaves based on contact imaging[J]. Computers and Electronics in Agriculture, 2015, 116(3): 211-220.

[15] 程立真，朱西存，高璐璐，等. 基于RGB模型的蘋果葉片葉綠素含量估測[J]. 園藝學報，2017，44(2)：381-390.

Cheng Lizhen, Zhu Xicun, Gao Lulu, et al. Estimation of chlorophyll content in apple leaves based on RGB model[J]. Acta Horticulturae Sinica, 2017, 44(2): 381-390. (in Chinese with English abstract)

[16] Suo X, Jiang Y, Yang M. Artificial neural network to predict leaf population chlorophyll content from cotton plant images[J]. Agricultural Sciences in China, 2010, 9(1): 38-45.

[17] Su C H, Fu C C, Chang Y C, et al. Simultaneous estimation of chlorophyll a and lipid contents in microalgae by three-color analysis[J]. Biotechnology and Bioengineering, 2010, 99(4): 1034-1039.

[18] Gong A, Yu J, He Y, et al. Citrus yield estimation based on images processed by an Android mobile phone[J]. Biosystems Engineering, 2013, 115(2): 162-170.

[19] You M, Liu J, Zhang J. et al. A novel chicken meat quality evaluation method based on color card localization and color correction[J]. IEEE Access, 2020, 8: 170093-170100.

[20] ?zre?bero?lu, Nurdan ?, Kahramano?lu, et al. Mathematical models for the estimation of leaf chlorophyll content based on RGB colors of contact imaging with smartphones: A pomegranate example[J]. Folia Horticulturae, 2020, 32: 57-67.

[21] Pascale D. RGB coordinates of the Macbeth ColorChecker[DB/ OL]. [2021-08-20] https://www.babelcolor.com/tutorials. htm, 2006

[22] Sudhakar P, Latha P, Reddy P V. Phenotyping Crop Plants for Physiological and Biochemical Traits[M]. London: Academic Press, 2016, 121-122

[23] Finlayson G D, Mackiewicz M, Hurlbert A, et al. Color correction using root-polynomial regression[J]. IEEE Trans Image Process, 2015, 24(5): 1460-1470.

[24] Per-Erik D, Euclidean distance mapping[J], Computer Graphics and Image Processing, 1980, 12(3): 227-248.

[25] Prabir B, A comparative study of ordinary cross-validation, v-fold cross-validation and the repeated learning-testing method[J]. Biometrika, 1989, 73: 503-514.

Univeisal method to detect the chlorophyll content in plant leaves with RGB images captured by smart phones

Li Xiuhua1,2, Lu Xianjie1, Xi Jinyang1, Zhang Yunhao1, Zhang Muqing2

(1.,,530004,; 2.,,530004,)

This study aims to propose a universal method to detect the chlorophyll content of green plant leaves using different smart phones, thereby improving the prediction accuracy and practicability of RGB（Red, Green, Blue） images. A low-cost and portable auxiliary shoot device was also designed with a built-in active light source to reduce the influence of environment light and camera angle on the imaging quality. A color correction was used to reduce the color difference of the collected images. Three smart phones with different brands and prices were selected to carry out the experiments on sugarcane leaves. After that, some prediction models were established for the leaf chlorophyll content. A remote diagnose system under the WeChat applet was then developed to realize in situ, real-time and nondestructive detection of chlorophyll content in plant leaves. An auxiliary shoot device was designed in a shape of semi-sphere, with an inside coating of white diffuse reflective material, particularly for the even white light during image acquisition. A small shooting window was opened on the top, where eight white LEDs were distributed inside. The plant leaf was placed flat at the bottom base to capture a well-controlled leaf image in the enclosed chamber. A color checker with the 24 standard colors (X-Rite Colorchecker Classic Nano) was needed in the chamber in advance to calculate the color correction matrix using polynomial regression for each smart phone. An automatic image processing procedure was conducted to extract the RGB values of the color blocks and the leaves. Subsequently, a total of 39 color features were extracted from the leaves. A Pearson correlation analysis was implemented between the leaf color features and chlorophyll content. The results showed that most of the color features presented a strong correlation greater than 0.8 for the individual smart phone in the original and color-corrected images, indicating a relatively fewer improvement. But, the color correction of hybrid images with the chlorophyll content better improved than that of the original. The color feature (--)/(+) was a correlation of 0.84, indicating the highest improvement of 89% before correction. A Principal Component Analysis (PCA) was then adopted to reduce the dimension of the color features. The first five and fifteen principal components were used to build the Multivariate Linear Regression (MLR) and the Support Vector Regression (SVR) models for the individual and all smart phones. The color correction showed that there were only a few contributions to predict the chlorophyll content with the individual smart phone. More importantly, no color correction was needed if only one sensor was used to capture the RGB images. The iPhone 8P behaved the highest of2to reach about 0.76 and 0.79 for MLR and SVR models, respectively. But, an outstanding improvement was made for the hybrid image set with all smart phones. The SVR model performed better prediction accuracy and stability. The SVR model reached a mean2of 0.721 4 under the five-fold cross-validation, with an increase of 14.6%, while the mean RMSE was 0.328 8 mg/g, with a decrease of 13.3% before the color correction. Meanwhile, the lowest standard deviation of2was only 0.0042 in the general SVR model, compared with the rest, indicating the highest stability. The prediction was integrated with a remote server, where a WeChat applet was developed to provide a convenient way of leaf chlorophyll content prediction for the users with their own smart phones. This model can be further extended to various green plants.

image recognition; chlorophyll; active light source; smart phones; RGB image; color correction

李修華，盧顯杰，奚金陽，等. 智能手機RGB圖像檢測植物葉片葉綠素含量的通用方法[J]. 農(nóng)業(yè)工程學報，2021，37(22)：145-151.doi：10.11975/j.issn.1002-6819.2021.22.016 http://www.tcsae.org

Li Xiuhua, Lu Xianjie, Xi Jinyang, et al.Univeisal method to detect the chlorophyll content in plant leaves with RGB images captured by smart phones[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(22): 145-151. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2021.22.016 http://www.tcsae.org

2021-08-20

修訂時間：2021-11-10

國家自然科學基金項目（31760342）；廣西科技重大專項（桂科2018-266-Z01、桂科AA18118037）

李修華，博士，副教授，研究方向為作物長勢及檢測。Email：lixh@gxu.edu.cn

10.11975/j.issn.1002-6819.2021.22.016

S566.1；TP391.4

A

1002-6819(2021)-22-0145-07