基于農(nóng)學參數(shù)的玉米葉片表觀建模與可視化方法

苗 騰，郭新宇，溫維亮，王傳宇，肖伯祥

?

基于農(nóng)學參數(shù)的玉米葉片表觀建模與可視化方法

苗 騰1,2,3,4，郭新宇1,3,4※，溫維亮1,3,4，王傳宇1,3,4，肖伯祥1,3,4

（1. 北京農(nóng)業(yè)信息技術研究中心，北京 100097；2. 沈陽農(nóng)業(yè)大學信息與電氣工程學院，沈陽 110866； 3. 國家農(nóng)業(yè)信息化工程技術研究中心，北京 100097；4. 數(shù)字植物北京市重點實驗室，北京 100097）

為提高農(nóng)業(yè)題材三維數(shù)字媒體內(nèi)容制作效率，提出基于SPAD（soil and plant analyzer development）和生育期農(nóng)學參數(shù)的作物葉片表觀建模與可視化方法，并以玉米為例進行實際驗證。將玉米葉片分成葉肉、一級葉脈、二級葉脈3種結構，首先獲取主要生育期下各結構表觀材質(zhì)（包括漫反射強度、透射強度、高光反射強度、粗糙度4種參數(shù)）及SPAD數(shù)據(jù)；之后構建各類表觀材質(zhì)參數(shù)與SPAD及生育期之間的定量化模型；再對玉米葉片紋理樣式進行抽象，構建參數(shù)化的玉米紋理結構幾何表達，并基于定量化模型為紋理結構分配表觀參數(shù)；最后整合實時光照計算框架，對大田光環(huán)境下玉米表觀進行可視化模擬。該文方法搭建了農(nóng)業(yè)知識與三維可視化效果間的橋梁，使用戶可以通過調(diào)整農(nóng)學參數(shù)實現(xiàn)對作物葉片表觀的快速、準確設計與制作，為農(nóng)業(yè)題材的三維數(shù)字資源開發(fā)提供技術工具。

三維；可視化；作物；葉片表觀；表觀模擬；數(shù)字植物

0 引 言

隨著農(nóng)業(yè)信息化及虛擬現(xiàn)實技術的不斷發(fā)展，三維虛擬動畫逐漸成為農(nóng)業(yè)知識科普和技術培訓的重要手段。作物是農(nóng)業(yè)題材三維虛擬動畫中最重要的載體，而對作物表觀的設計和重現(xiàn)則是重中之重。農(nóng)業(yè)行業(yè)的背景特點使得對于作物表觀設計的評價標準不再單單局限于視覺效果是否漂亮，同時對農(nóng)業(yè)現(xiàn)象等專業(yè)背景知識表達的準確性也有非常高的要求。

植物器官多屬半透明材質(zhì)，近十多年，圍繞半透明材質(zhì)可視化的研究取得了長足進步，尤其是在表觀模擬[1-5]、測量[6-8]、復雜光環(huán)境下的實時編輯[9-10]等方面研究成果頗豐。在虛擬植物及計算機領域，部分學者專門圍繞植物表觀材質(zhì)建模與可視化模擬開展了具有針對性的研究工作，從表觀模型參數(shù)的類型角度區(qū)分，可將當前方法簡單地分為基于物理模型和基于生理模型兩類。基于物理模型的方法通過抽象葉片結構，簡化葉片與光的作用方式，并構建物理模型來進行表觀顏色的模擬[11-17]，這類方法在數(shù)字娛樂領域得到了較好的應用，可以從視覺上獲得較真實的模擬結果，但其并不考慮作物內(nèi)在生理功能以及外在生長環(huán)境對表觀光學特性的影響，因此較難與農(nóng)業(yè)相關知識進行結合?；谏砟Ｐ偷姆椒╗18-23]多構建植物表觀材質(zhì)與內(nèi)在色素含量或外部環(huán)境之間的關系模型實現(xiàn)葉片表觀的模擬，該類方法與農(nóng)業(yè)研究的需求更加緊密，但在表觀可視化效果、模型效率等方面表現(xiàn)較差，因此很難應用于實際虛擬動畫的制作。

從當前三維虛擬動畫設計行業(yè)的實際情況看，現(xiàn)有的表觀編輯技術或軟件工具多采用基于物理模型的方法，提供給設計人員的材質(zhì)編輯接口多為計算機圖形學技術的專業(yè)參數(shù)，動畫設計者可利用它們編輯出漂亮的作物外觀可視化結果，但由于對作物本身生物學特性并不了解，常導致可視化結果與作物實際表觀不符；農(nóng)學、植物學等生命科學類專業(yè)人員雖然了解相關知識，能夠明確告知設計者畫面是否符合特定知識要求，但是并不清楚表觀設計參數(shù)與相關知識的具體關系，對設計者幫助有限，經(jīng)常會出現(xiàn)動畫設計者與生命科學類專業(yè)人員交流不暢，作品反復修改的現(xiàn)象，最終導致農(nóng)業(yè)題材三維動畫的制作效率非常低。

針對上述問題，本文以玉米葉片為例，以SPAD（soiland plant analyzer development）和生育期2個常用農(nóng)學概念作為模型參數(shù)，提出基于農(nóng)學參數(shù)的作物表觀建模與可視化方法。大量研究表明作物葉片表觀會隨色素含量以及時間發(fā)生較顯著變化，因此本文以SPAD和生育期為參數(shù)構建玉米葉片的表觀模型，搭建農(nóng)業(yè)知識與可視化效果間的橋梁，實現(xiàn)作物表觀的快速、準確設計與制作，為農(nóng)業(yè)題材的三維虛擬動畫研發(fā)提供技術工具。

1 數(shù)據(jù)采集

夏玉米葉片表觀數(shù)據(jù)獲取試驗于2015年5-10月份在北京市農(nóng)林科學院試驗田進行。試驗品種選為鄭單958，種植密度設為60 000株/hm2，施氮量按200 kg/hm2設置，其中60%用于基肥，40%在拔節(jié)期追肥施入。分別在拔節(jié)期、大喇叭口期、開花期、灌漿期、成熟期以及衰老時期開展數(shù)據(jù)采集工作。每個時期選擇長勢均勻的植株5株，自上部第一片完全展開葉至底部最后一片完全展開葉進行數(shù)據(jù)測量，為了使被測葉片區(qū)域盡量平展，通過打孔器在葉片上打出10個圓片作為樣本，利用2.1.1節(jié)介紹的方法采集不同光照條件下的葉片顏色圖像，利用美國SPECTRUM公司生產(chǎn)的SPAD-502 型手持式葉綠素儀測量每個圓片的SPAD值。

2 玉米葉片表觀建模與可視化方法

2.1 玉米葉片表觀材質(zhì)模型

作物葉片表觀反映其與光的作用方式。如圖1所示，葉片作為半透明物質(zhì)，入射光射到表面點之后，部分光線會直接在點處反射形成光澤反射（未進入葉片內(nèi)部，在葉片表面即被反射出的光線）；剩余部分則折射進入葉片內(nèi)部，在組織之間形成多次散射和吸收，一部分在點周圍區(qū)域以漫反射離開葉片，其余部分則在葉片另一側以透射形式射出。

注：L為入射光線； P為葉片上一點。

利用雙向反射分布函數(shù)（bidirectional reflectance distribution function，BRDF）及雙向透射分布函數(shù)（bidirectional transmittance distribution function，BTDF）表示作物葉片對光的反射及透射作用。研究表明，葉片的回射現(xiàn)象可忽略不計，透射以漫反射特征為主，因此葉片表觀材質(zhì)可利用如下數(shù)學形式進行表示

植物葉片主要由葉肉和各級葉脈構成，它們的BRDF/BTDF參數(shù)不同，導致表觀特征具有明顯的差異性，因此葉片表觀可視化需對各種結構均進行建模。本文主要考慮玉米葉片的葉肉、主葉脈、二級葉脈3類結構，后文中出現(xiàn)的葉片表觀參數(shù)均為3種結構表觀參數(shù)的總稱。

2.1.1 表觀材質(zhì)參數(shù)測量

利用線形光源反射系統(tǒng)獲取不同光源方向下玉米葉片的表觀圖像，并采用文[25]的方法擬合玉米葉片的漫反射強度、高光反射強度和粗糙度參數(shù)。為了測量玉米葉片的透射強度，在線形光源反射系統(tǒng)的基礎上搭建了基于背光源的葉片透射圖像采集模塊（如圖2）。該模塊由相機和背光板組成，其中背光板從葉片底部打光，相機獲取背光環(huán)境下的葉片表觀圖像。選用櫻木LED動漫A4拷貝臺作為背光光源，該設備能夠發(fā)出均勻的漫反射白光，且可調(diào)整光源亮度。相機在獲取圖像前需進行內(nèi)參以及響應曲線的標定[25]。在暗室內(nèi)獲取透射圖像，首先打開背光板，利用相機獲取背光板圖像1；之后將葉片樣本擺放在背光板上，并拍照獲得圖像2。假設2圖像中葉片樣本表面一點像素的RGB（Red，Green，Blue）向量為2，圖像坐標為(,)；1圖像(,)坐標像素的RGB向量為1，則葉片該點的透射強度為2/1.

圖2 葉片透射圖像采集系統(tǒng)結構圖

得到上述表觀參數(shù)之后，以SPAD和生育期為參數(shù)構建表觀模型計算葉片漫反射、高光反射以及透射特性，并結合光照計算對作物葉片表觀進行可視化。

2.1.2 農(nóng)學參數(shù)標準化

將生育期轉換成數(shù)值參數(shù)用于建模，拔節(jié)期、大喇叭口期、開花期、灌漿期、成熟期以及衰老期6個生育期分別用實數(shù)1.0、2.0、3.0、4.0、5.0、6.0表示，其他生育期參數(shù)根據(jù)這些值進行估算，生育期參數(shù)用符號進行表示。將玉米葉片SPAD值除以70，將其轉化為[0.0,1.0]區(qū)間的實數(shù)（在實際SPAD測量中，發(fā)現(xiàn)玉米葉片SPAD均在70以下），SPAD參數(shù)用符號表示。

2.1.3 葉肉表觀參數(shù)模型

采用Matlab工具箱中的曲面擬合（surface fitting）模塊對葉肉表觀進行數(shù)學建模。以SPAD參數(shù)、生育期參數(shù)作為自變量，以葉肉漫反射強度為因變量將數(shù)據(jù)導入至Matlab中，采用多個數(shù)學模型（如表1，其中字母～為待擬合的模型參數(shù)）對數(shù)據(jù)進行擬合并進行對比，表2列出了分別以漫反射強度的紅綠藍3個分量（D,D,D）作為因變量的各數(shù)學模型對比情況，表中數(shù)值為Matlab曲面擬合工具箱在95%置信區(qū)間下的計算結果，擬合方法采用基于雙平方權（bisquare weights）的魯棒最小二乘算法，以減少異常值對回歸結果帶來的影響。

表1 不同數(shù)學模型

注：～為數(shù)學模型待擬合系數(shù)，為SPAD參數(shù)，為生育期參數(shù)；

Note:～are the coefficients to be fitted,is the SPAD parameter,is the growth period parameter.

表2 不同模型下漫反射強度參數(shù)D擬合結果

注：為漫反射強度參數(shù)，DDD為的紅綠藍分量。下同。

Note：is the diffuse intensity parameter. DDDare the Red, Green, Blue channelsofSame as below.

本文依據(jù)決定系數(shù)2、均方根誤差RMSE選擇數(shù)學模型。從表1中可以看出，利用SPAD參數(shù)和生育期參數(shù)的二元多項式模型在R、RMSE上的表現(xiàn)要明顯強于僅采用的一元多項式模型，說明生育期對葉肉漫反射率的影響不能忽略，同時在二元模型中，參數(shù)指數(shù)的增大也會帶來更好的擬合結果。最終確定漫反射模型公式如下：

式中D，D，D分別為漫反射強度的紅綠藍分量，為SPAD參數(shù)，為生育期參數(shù)。決定系數(shù)分別為0.913 7、0.851 1、0.614 6，RMSE為0.015 49、0.012 8、0.015 33。

與漫反射數(shù)據(jù)相比，透射數(shù)據(jù)中存在少量與總體數(shù)據(jù)有巨大差異的數(shù)據(jù)，為徹底排除這些數(shù)據(jù)對擬合的影響，采用基于最小絕對殘差（least absolute residuals）的魯棒最小二乘算法對曲面進行擬合，利用該方法構建模型時得到的絕對系數(shù)2均較大，因此我們在選擇模型時更加側重考慮RMSE的大小。從表3中可以看到，冪指數(shù)數(shù)學模型（編號8）與二元一次多項式（編號4）對(T,T,T)的擬合結果優(yōu)于其他數(shù)學形式，同時兩者在RMSE的表現(xiàn)上相差不大，但根據(jù)次表面散射傳輸物理過程可知，葉肉透射強度與厚度和組織結構的傳輸系數(shù)呈負指數(shù)關系[17]，因此為了模型更加符合物理特性，選擇冪指數(shù)形式作為透射模型：

式中T,T,T分別為透射強度的紅綠藍分量。決定系數(shù)分別為0.997 5、0.991 3、0.990 7，RMSE為0.006 4、0.009 6、0.020 7。

表3 不同數(shù)學模型下透射強度參數(shù)T擬合結果

注：為漫反射強度參數(shù)，TTT為的紅綠藍分量。下同。

Note:is the diffuse intensity parameter. TTTare the Red, Green, Blue channels of. Same as below.

2.1.4 二級葉脈表觀參數(shù)模型

我們曾嘗試擬合出SPAD與漫反射和透射強度的回歸公式作為表觀模型，但實際可視化效果較差，模擬出的葉脈漫反射及透射表觀會出現(xiàn)虛假的視覺效果（回歸模型得到的一些顏色特征并不能在真實葉片中產(chǎn)生）。從圖3a、3b中可以看出，漫反射和透射數(shù)據(jù)在不同的SPAD參數(shù)區(qū)間存在較強的差異性，因此本文通過SPAD參數(shù)對漫反射及透射進行分段，并采用區(qū)間內(nèi)的平均向量作為二級葉脈的漫反射及透射強度參數(shù)。為簡化分類工作，采用單通道亮度值（本文用RGB三通道的平均值作為亮度值）代替RGB三通道進行分析，用符號i和i分別表示漫反射強度和透射強度的亮度值，圖3c為SPAD參數(shù)與兩者的關系圖。從圖中可以看出，以SPAD參數(shù)為基準，漫反射亮度在[0, 0.38]和（0.38, 1.0）2個區(qū)間差異明顯，透射亮度在[0, 0.57]、（0.57, 0.8）、（0.8, 1.0） 3個區(qū)間內(nèi)有較大差異。

a. 二級葉脈漫反射強度及SPAD數(shù)據(jù)

a. Diffuse intensity and SPAD data

b. 二級葉脈透射及SPAD數(shù)據(jù)

b. Transparency reflectance and SPAD data

c. 二級葉脈漫反射亮度、透射亮度及SPAD數(shù)據(jù)

c. Diffuse intensity, transparency intensity and SPAD data

注：為漫反射強度和透射強度三通道的平均值

Note:are the average values ofchannels of diffuse and transparency intensity vectors

圖3 二級葉脈漫反射、透射與SPAD數(shù)據(jù)圖

Fig.3 Diffuse reflectance of secondary vein, transparency of secondary vein and SPAD data

綜上考慮，以SPAD參數(shù)為基準可將漫反射及透射參數(shù)劃分為4個區(qū)域，并以每個區(qū)域內(nèi)的平均向量作為表觀參數(shù)：

所測數(shù)據(jù)發(fā)現(xiàn)ρ、與和無相關性。同樣采用平均值作為模型參數(shù)，ρ=（0.11,0.11,0.11），=0.24，得到二級葉脈高光反射項(ρ,)三個分量r,g,b為

2.1.5 一級葉脈表觀參數(shù)模型

2.2 葉片表觀紋理建模

葉片表面表觀具有空間差異性，從而形成紋理特征。本文采用二維圖像表示玉米葉片紋理幾何結構，并整合節(jié)2表觀模型構造玉米葉片表觀紋理。

2.2.1玉米紋理結構

將玉米葉片紋理劃分為葉肉、主葉脈（一級葉脈）和二級葉脈3種結構（如圖4a），各結構的劃分及排列方式是對實際玉米葉片紋理圖案的幾何抽象及簡化。各結構單元將二維圖像劃分為多個區(qū)域，其中主葉脈形成單個連通區(qū)域，二級葉脈以及葉肉均形成多個區(qū)域且兩者區(qū)域彼此相鄰。為生成表觀紋理，需計算出各結構區(qū)域在圖像中所包含的像素信息（即連通區(qū)域）。

首先計算主葉脈在圖像中所占區(qū)域。設二維圖像寬為，高為，坐標原點（0,0）為圖像左上角點。將一級葉脈抽象為五邊形，頂點用符號1～5表示，該五邊形可拆分為一個等腰梯形和一個等腰三角形，詳細幾何結構信息如圖4b所示，頂點1～5的坐標可由如下公式計算得到

獲得多邊形頂點之后，遍歷圖像中所有像素，判斷每個點是否在多邊形內(nèi)部，在內(nèi)部的像素即屬于一級葉脈的區(qū)域。判斷點是否在多邊形內(nèi)部是非常經(jīng)典的圖形學問題，本文采用交叉點數(shù)判別法進行判斷。

注：1表示葉肉，2表示一級葉脈3表示二級葉脈；1～5為主葉脈結構幾何特征點；C和Z為葉肉和二級葉脈結構幾何特征點；d為CC1之間的距離，為葉肉單元寬度。

Note:1indicates mesophyll,2 indicates main vein,3indicates secondary vein;1～5are the geometric feature points of main vein;CandZare geometric feature points of mesophyll and secondary vein;dis the distance between CandC1;is the mesophyll unit width;

圖4 玉米紋理幾何結構

Fig.4 Geometry structure of maize leaf texture

之后計算二級葉脈在圖像中所占區(qū)域。由于二級葉脈以圖像中心線左右對稱，因此僅以右側二級葉脈為例進行介紹。二級葉脈被抽象為四邊形結構，其包含一條中心線用以表示二級葉脈維管束突起的部分，中心線兩邊的區(qū)域表示維管束與葉肉細胞相鄰的部分，二級葉脈的幾何結構圖如圖4c（注意，圖中C和C1之間的實際距離為d，但是在圖中比0、1間的距離大，這是為了更加清晰的標注出各結構的幾何信息，在圖中并沒有嚴格按照實際比例進行構圖）。圖4c中1為一級葉脈多邊形頂點1，6坐標為(0.5,)，7坐標為（,），在線段BB上以d為間隔選取個點，用C表示（0≤≤1），本文取12，C坐標為(0.5,(+1) d)，Z～Z5個點的坐標分別為

獲得1～5頂點之后，遍歷圖像中所有像素，判斷每個點是否在多邊形1234之中，在內(nèi)部的像素即屬于二級葉脈的區(qū)域。除此之外，還需對二級葉脈區(qū)域進一步分類，線段CZ5上的像素屬于二級葉脈區(qū)域維管束突起部分，其余像素屬于維管束與葉肉細胞相鄰的部分。

上述二級葉脈由16線段的采樣點構造而成，此外，有部分二級葉脈區(qū)域需在67線段上采樣生成。在67上以d為間隔選取個點，用C表示(0≤≤1)，C坐標為(0.5+(+1)d,)，則Z～Z5個點的坐標為

在多邊形6798內(nèi)部的圖像像素為二級葉脈的區(qū)域，其中在線段CZ10的點為維管束突起區(qū)域。

由于每個葉肉區(qū)域均在兩個二級葉脈區(qū)域之間，因此可直接采用二級葉脈結構的頂點計算葉肉區(qū)域。以C二級葉脈和C1二級葉脈之間的葉肉區(qū)域為例，該葉肉區(qū)域的四邊形頂點即為23（輸入C二級葉脈）和1112（屬于C1二級葉脈）。獲得頂點之后，對于區(qū)域像素的計算同一級葉脈的方法。

按照如上方法計算得到的結構區(qū)域會出現(xiàn)重疊現(xiàn)象，即有部分像素分屬于不同的結構。這種現(xiàn)象會發(fā)生在一級葉脈與二級葉脈、一級葉脈與葉肉的鄰近區(qū)域，本文將這類像素全部歸至一級葉脈區(qū)域。

2.2.2 玉米表觀紋理生成算法

生成玉米葉片紋理結構之后，基于表觀模型計算特定SPAD以及生育期參數(shù)（由用戶給出）下葉肉、一級葉脈、二級葉脈的表觀參數(shù)，再按照結構類別為每個區(qū)域賦予對應的表觀參數(shù)。上述方式會使同一結構類型的區(qū)域具有相同的表觀結果，為了增加隨機性，本文將所有測量得到的玉米表觀數(shù)據(jù)分成12個表觀數(shù)據(jù)集合（葉肉、二級葉脈、一級葉脈各4個表觀參數(shù)集合，包括漫反射強度集合、透射強度集合、高光強度集合、粗糙度集合），當通過模型計算得到表觀參數(shù)之后，基于最近鄰方法在對應集合中找到10個與計算結果最相近的表觀參數(shù)，每個結構區(qū)域的任一表觀參數(shù)從11個參數(shù)中隨機選擇，最終得到的表觀紋理在相同結構區(qū)域內(nèi)像素的表觀參數(shù)一致，不同區(qū)域像素的表觀參數(shù)具有輕微差別。

上述方法可以獲得表觀較均勻（即整個玉米葉片表面所有點的參數(shù)和都為相同值）的葉片紋理，但葉片紋理在特定狀態(tài)會存在較大的表觀空間差異性，如在成熟期之前一段時間會出現(xiàn)黃綠和深綠相間裝填的表觀，在衰老期的一段時間內(nèi)也會出現(xiàn)黃綠相間的狀態(tài)，為了模擬這些復雜的紋理樣式，本文采用在均勻表觀紋理基礎上輔助人工交互的方式對這類現(xiàn)象進行編輯。由于3.1方法已經(jīng)明確了紋理圖像上每個像素所屬的結構區(qū)域，因此當用戶想對某些區(qū)域進行表觀編輯時，只需用鼠標選擇待編輯區(qū)域中的任意像素，即可索引到該結構區(qū)域的所有像素，最后為該區(qū)域像素設定不同的參數(shù)，即可為該結構區(qū)域賦予與其他區(qū)域不同的表觀顏色。通過多次操作即可得到樣式復雜的玉米表觀紋理圖像。

本文生成的紋理可映射至由樣條曲面生成的玉米葉片模型上。設三維模型的樣條曲面參數(shù)軸分別為([0,1])、([0,1])，二維紋理圖像參數(shù)軸表示為([0,1])、([0,1])，紋理映射計算只需將與，與分別等值一一對應即可。因此，對于葉片模型上一點，若其曲面參數(shù)為=’、=’，則該點的紋理坐標為=’、=’。

2.3 可視化渲染

式中f和 f分別為表觀材質(zhì)的BRDF 和BTDF；N為點的法向量；（,L）表示葉片表面點是否在L方向上被其他物體遮擋，（,L）=0表示被完全遮擋，形成陰影，本文采用文[26]的方法計算（,L）。

天空散射光每條光線的光強相對直射光強度較弱，本文忽略其對葉片透射的影響，僅考慮反射，利用輻射度傳輸公式計算葉片點在天空散射光下的輻射度e由下式計算

將公式（6）與（7）的結果相加，即可獲得最終的玉米葉片可視化結果。用戶可通過調(diào)整SPAD參數(shù)以及生育期參數(shù)獲得不同狀態(tài)下大田玉米葉片的模擬結果。

3 結果與分析

3.1 算法可視化結果

算法在配置為3.0 GHZ CPU、DDR8G內(nèi)存的PC機上進行了測試，表觀模擬方法在渲染3 000個頂點的模型時，速度達到140幀/s，可進行流暢的三維實時交互瀏覽。本文方法可根據(jù)用戶輸入的SPAD以及生育期參數(shù)獲得符合實際的表觀紋理，圖5為不同SPAD和生育期參數(shù)下的表觀紋理（從左至右分別為漫反射紋理、透射紋理、高光紋理、粗糙度紋理），由于本文方法構建的各結構高光反射模型在不同生育期保持恒定，因此圖5中不同參數(shù)下的高光紋理和粗糙度紋理是相同的，但漫反射和投射紋理具有差異。圖6為不同參數(shù)下的玉米葉片表觀可視化模擬結果，從圖中可以看出，隨著SPAD的增大，葉片表觀顏色的色調(diào)會逐漸從黃色向深綠色變化，這是由于葉片中葉綠素含量下降導致的；而隨著生育期參數(shù)的變大，葉片透射總體亮度變暗，這主要是葉片厚度逐步增大的結果。圖7為采用交互方法生成的較復雜的表觀紋理，由于高光和粗糙度紋理不會隨著參數(shù)改變，因此通過交互編輯得到的上述2張紋理與圖5相同，7b和7c為編輯得到的具有空間差異性的表觀紋理，2張圖中偏黃色的區(qū)域即為人工編輯區(qū)域，其內(nèi)部像素被賦予了更小的S參數(shù)。圖8為利用圖7b和7c紋理生成的可視化效果，圖8a模擬了衰老期出現(xiàn)的黃綠相間表觀狀態(tài)，圖8b模擬了成熟期之前一段時間出現(xiàn)的黃綠和深綠相間裝填的表觀狀態(tài)。

a.=0.37;=1.0 b.=0.77;=5.0 c.=0.01;=6.0

注：圖中每組紋理從左至右分別為漫反射、透射、高光強度及粗糙度紋理

Note:Each appearance texture group from left to right in the figure are diffuse texture, transparency texture, specular texture and roughness texture.

圖5 不同參數(shù)下生成的玉米表觀紋理

Fig.5 Appearance texture of maize leaf with different model parameters .

a. S=0.26; G=1.0b. S=0.6; G=2.0c. S=0.73; G=4.0 d. S=0.9; G=4.0e. S=0.9; G=5.0f. S=0.01; G=6.0

3.2 表觀模型分析

對比葉肉、一級葉脈、二級葉脈三類結構的漫反射、透射、高光反射和粗糙度4個表觀材質(zhì)模型，發(fā)現(xiàn)以下2個現(xiàn)象。

a. 黃綠相間表觀紋理 a. Appearance textures for yellow and green leafb. 黃綠與深綠相間表觀紋理 b. Appearance textures for yellow-green and dark green

a. 圖7a紋理的可視化效果 a. Simulation results with textures of figure 7ab. 圖7b紋理的可視化效果 b. Simulation results with textures of figure 7b

1）漫反射、透射表觀受SPAD和生育期參數(shù)影響最大，而高光反射和粗糙度參數(shù)一直較穩(wěn)定。我們認為這是由于漫反射和透射是一種由光在葉片內(nèi)部傳輸過程的次表面散射造成的光學特性，因此葉片內(nèi)部生理組分和結構的變化（如色素含量的增減、細胞組織的增大）對兩者影響巨大，而生育期參數(shù)和SPAD參數(shù)均與生理組分結構密切相關，因此會更大程度影響漫反射和透射，這同時也是3種結構中SPAD參數(shù)和生育期參數(shù)對葉肉表觀影響相比于葉脈結構更大的原因。高光反射和粗糙度是光與表皮區(qū)域及絨毛結構作用的結果，與葉片內(nèi)部生理組分不發(fā)生直接接觸，因此受SPAD參數(shù)影響小。但從理論上說隨著玉米生育期的變化，表皮細胞均會增大，這樣一定程度上會影響光的折射和反射特性，從而帶來高光和粗糙度的改變，但是本文數(shù)據(jù)并未在時間尺度上檢測到變化，導致該現(xiàn)象的原因可能是本文采用的表觀測量設備和方法對高光反射強度擬合的精度不夠；或者由于試驗時的離體、打孔操作一定程度上破壞了表皮、絨毛在活體狀態(tài)下的特性，從而導致在進行表觀參數(shù)測量時高光反射和粗糙度參數(shù)結果的不準確。

2）葉肉的漫反射模型和透射模型在不同通道上的擬合結果存在差異，從2、RMSE兩項指標對比，紅色通道的擬合結果最優(yōu)，綠色通道相比紅色通道稍差，藍色通道的擬合結果最差，且與前兩者差距明顯。之所以出現(xiàn)這種情況，我們認為是由于SPAD參數(shù)和生育期參數(shù)與葉綠素、類胡蘿卜素的含量關系密切，而兩種色素對光的吸收主要集中在綠、紅波段，而對偏藍波段的吸收較小，從而導致以和作為參數(shù)構建的模型對漫反射和透射的藍色通道解釋能力相對較弱，但由于兩個模型在藍色通道的數(shù)值都不大，因此對最終可視化效果的影響不大，因此可以接受。

3.3 與已有算法比較

現(xiàn)有面向數(shù)字農(nóng)業(yè)的葉色可視化方法也常以SPAD作為參數(shù)進行建模，但是在表觀數(shù)據(jù)、表觀模型精細度等方面均有差異。文[29]和文[30]分別構建了玉米和黃瓜葉片的基于SPAD的葉色RGB可視化模型，但是均采用單張數(shù)字圖像的RGB向量作為葉色，忽略了葉片的高光特性和透射特性；同時，這些方法也未考慮不同葉片結構單元的表觀差異性，因此本文模型的可視化模擬結果相比上述方法更加精細。同時，本文模型也考慮了生育期對表觀模型的影響，尤其在透射特性方面，生育期導致的葉片厚度增加是不可忽略的因素，而上述2種模型均未涉及。

4 結 論

本文提出一種基于農(nóng)學參數(shù)的玉米葉片表觀建模與可視化方法。利用實測數(shù)據(jù)構建了基于SPAD及生育期的玉米葉片表觀參數(shù)化模型，模型顯示葉肉漫反射與SPAD和生育期呈二次關系，葉肉透射與SPAD和生育期呈負指數(shù)關系，且紅色通道的擬合結果最優(yōu)，綠色通道相比紅色通道稍差，藍色通道的擬合結果最差；二級葉脈漫反射和透射可利用SPAD進行分類；主葉脈漫反射和透射在整個生育期內(nèi)變化不大；葉肉、主葉脈和二級葉脈的高光反射參數(shù)和粗糙度參數(shù)在整個生育期內(nèi)變化不大。提出了參數(shù)化的玉米葉片紋理結構計算方法，并結合表觀模型對玉米葉片的紋理樣式進行建模；開發(fā)實時的葉色可視化框架，采用直射光結合天空散射光模擬作物大田光環(huán)境，對玉米表觀模型進行真實感渲染。本文方法搭建農(nóng)業(yè)知識與可視化效果間的橋梁，實現(xiàn)作物表觀的快速、準確設計與制作，為農(nóng)業(yè)題材的三維虛擬動畫研發(fā)提供技術工具。

[1] Jensen H W, Marschner S R, Levoy M, et al. A practical model for subsurface light transport[C]//Proceedings of the 28th annual Conference on Computer Graphics and Interactive Techniques, ACM, 2001: 511－518.

[2] Deon E, Irving G. A quantized-diffusion model for rendering translucent materials[J]. ACM Transactions on Graphics. 2011, 30(4): 56.

[3] Sadeghi I, Bisker O, Deken J D, et al. A practical microcylinder appearance model for cloth rendering[J]. Acm Transactions on Graphics. 2013, 32(2): 1－12.

[4] Fu Y, Zheng N. M-Face: An appearance-based photorealistic model for multiple facial attributes rendering[J]. IEEE Transactions on Circuits & Systems for Video Technology, 2006, 16(7): 830－842.

[5] Ward K, Bertails F, Kim T Y, et al. A survey on hair modeling: styling, simulation, and rendering[J]. IEEE Transactions on Visualization & Computer Graphics, 2007, 13(2): 213－234.

[6] Hawkins T, Einarsson P, Debevec P. Acquisition of time-varying participating media[J]. ACM Transactions on Graphics, 2005, 24(3): 812–815.

[7] Weyrich T, Peers P, Matusik W, et al. Fabricating microgeometry for custom surface reflectance[J]. ACM Transactions on Graphics, 2009, 28(3), 32.

[8] Wenger A, Gardner A, Tchou C, et al. Performance relighting and reflectance transformation with time-multiplexed illumination[J]. Acm Transactions on Graphics, 2005, 24(3): 756－764.

[9] Xu K, Gao Y, Li Y, et al. Real-time homogenous translucent material editing[J]. Computer Graphics Forum, 2007, 26(3): 545－552.

[10] Song Y, Tong X, Pellaccint F, et al. Subedit: A representation for editing measured heterogeneous subsurface scattering[J]. ACM Transactions on Graphics. 2009, 28(3): 341－352.

[11] Dong Y, Wang J, Pellaccint F, et al. Fabricating spatially-varying subsurface scattering[J]. ACM Transactions on Graphics, 2010, 29(4): 1－10.

[12] Hanrahan P, Krueger W. Reflection from layered surfaces due to subsurface scattering[C]// Proceedings of SIGGRAPH 1993, New York, USA, 1993.

[13] Jensen H W, Buhler J. A rapid hierarchical rendering technique for translucent materials[J]. ACM Transactions on Graphics, 2002, 21(3): 576－581.

[14] Franzke O, Deussen O. Rendering plant leaves faithfully[C]// Proceedings of SIGGRAPH 2003, New York, USA, 2003.

[15] Donner C, Jensen H W. Light diffusion in multi-layered translucent materials[J]. ACM Transactions on Graphics, 2005, 24(3): 1032－1039.

[16] Habel R, Kusternig A, Wimmer M. Physically based real-time translucency for leaves[J]. Proceedings Eurographics Symposium on Rendering, Eurographics Association, 2007: 253－263.

[17] Wang L, Wang W, Dorsey J, et al. Real-time rendering of plant leaves[J]. Acm Transactions on Graphics, 2005, 24(3): 712－719.

[18] 苗騰，郭新宇，溫維亮，等. 基于圖像的作物病害狀態(tài)表觀三維模擬方法[J]. 農(nóng)業(yè)工程學報，2016，32(7)：181－186. Miao Teng, Guo Xinyu, Wen Weiliang, et al. Three dimensional visual simulation method of crop disease state based on image[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(7): 181－186. (in Chinese with English abstract)

[19] Baranoski G V G, Rokne J G C. An algorithmic reflectance and transmittance model for plant tissue[J]. Computer Graphics Forum, 1997, 16(3): 141－150.

[20] Baranoski G V G, Rokne J G. Efficiently simulating scattering of light by leaves[J]. The Visual Computer, 2001, 17(8): 491－505.

[21] Braitmaier M, Diepstraten J, Ertl T. Real-time rendering of, seasonal influenced trees[C]//Proceedings of Theory and Practice of Computer Graphics, 2004: 152－159.

[22] Zhou N, Dong W, Mei X. Realistic simulation of seasonal variant maples[M]//Proceedings of PMA '06. Beijing China: IEEE Computer Society Press, 2006: 295－301.

[23] Miao T, Zhao C J, Guo X Y, et al. A framework for plant leaf modeling and shading[J]. Mathematical and Computer Modelling. 2013, 58(3/4): 457－906

[24] Gardner A, Tchou C, Hawkins T, et al. Linear light source reflectometry[J]. ACM Transactions on Graphics, 2003, 22(3): 749－758.

[25] 苗騰，郭新宇，趙春江，等. 基于變化光源方向多圖像的植物葉片表觀三維模擬[J]. 農(nóng)業(yè)工程學報，2016，32(9)：150－156. Miao Teng, Guo Xinyu, Zhao Chunjiang, et al. Three dismensional appearance simulation of plant leaves based on multiple images with light source change[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(9): 150－156. (in Chinese with English abstract)

[26] Zhang F, Sun H Q, Xu L L, et al. Hardware-accelerated parallel-split shadow maps[J]. International Journal of Image and Graphics, 2008.8(2): 223－241

[27] Sean O. Accurate atmospheric scattering[M]. GPU Gems 2. Addison-Wesley Professional Press, 2005.

[28] McGuire, Morgan. Ambient occlusion volumes[C] //Proceedings of High Performance Graphics, 2010.

[29] 王舉才，席磊，趙曉莉，等. 基于模糊綜合評判的可視化葉色模型數(shù)據(jù)標準化[J]. 農(nóng)業(yè)工程學報，2011，27(11)：151－159 Wang Jucai, Xi Lei, Zhao Xiaoli, et al. Data normalization of leaf color based on fuzzy comprehensive evaluation for visualization model[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2011, 27(11): 151－159. (in Chinese with English abstract)

[30] 陸聲鏈，汪麗萍，何火嬌，等. 基于相對葉綠素含量的黃瓜葉色仿真[J]. 農(nóng)業(yè)機械學報，2014，45(3)：250－254. Lu Shenglian, Wang Liing, He Huojiao, et al. Visual simulation of cucumber leaf color based on the relative content of chlorophyll[J]. Transactions of The Chinese Society of Agricultural Machinery, 2014, 45(3): 250－254. (in Chinese with English abstract)

苗 騰，郭新宇，溫維亮，王傳宇，肖伯祥. 基于農(nóng)學參數(shù)的玉米葉片表觀建模與可視化方法[J]. 農(nóng)業(yè)工程學報，2017，33(19)：187－195. doi：10.11975/j.issn.1002-6819.2017.19.024 http://www.tcsae.org

Miao Teng, Guo Xinyu, Wen Weiliang, Wang Chuanyu, Xiao Boxiang. Appearance modeling and visualization of maize leaf with agronomic parameters[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(19): 187－195. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2017.19.024 http://www.tcsae.org

Appearance modeling and visualization of maize leaf with agronomic parameters

Miao Teng1,2,3,4, Guo Xinyu1,3,4※, Wen Weiliang1,3,4, Wang Chuanyu1,3,4, Xiao Boxiang1,3,4

(1.100097,; 2.110866,; 3.100097,; 4.100097,)

In this paper, we presents a method for modeling and visualization of crop leaves based on agronomic parameters in order to improve the production efficiency of three dimensional digital media for agricultural subjects. The field experiments were conducted in the experiment farm of Beijing Academy of Agricultural and Forestry Sciences, Beijing City. During maize growth periods of jointing stage, horn mouth stage, florescence stage, grouting stage, maturation period and senility period, SPAD values of maize leaves were obtained by using SPAD-502 and four appearance parameters were collected by an apparent image acquisition system using linear light source. The four appearance parameters were diffuse reflectance, transparency, specular reflectance and roughness. In order to finely model the maize leaf appearance, leaf surface was divided into three structures including mesophyll, main vein and secondary vein. With the data, we analyzed the relationship between SPAD, growth period parameters and various kinds of appearance parameters of the three structures, respectively. We applied a variety of mathematical models to fit the data to describe the potential relationship between SPAD, growth period and diffuse, transparency appearance of mesophyll. Based onRand RMSE, we selected quadratic function for diffuse reflectance and negative exponential function for transparency. The coefficients of determination for the RGB channels of final diffuse model of mesophyll were 0.913 7, 0.851 1, and 0.614 6, respectively, and their corresponding values of RMSE were 0.0154 9, 0.012 8, and 0.015 33. The coefficients of determination for the transparency model were 0.997 5, 0.991 3, and 0.990 7, respectively, and their corresponding values of RMSE were 0.006 4, 0.009 6, and 0.020 7. Data showed diffuse reflection and transparency of secondary vein could be classified into four sections by SPAD values and there was little difference between each class of appearance values. We used mean values of each section as diffuse and transparency parameters. The diffuse reflection and transparency of main vein has little change in whole growth periods. As such, we used mean values as unique and invariant apparent feature in diffuse and transmission reflection. We found that specular reflectance and roughness parameters of the three structures were not related to SPAD and growth period, therefore, mean values of these two appearance parameters obtained from all samples were used as a glossy appearance. Based on the above analysis, a series of quantitative appearance models for three structures were established respectively with SPAD and growth period as input parameters, and appearance material parameters as output. The spatial-varying appearance of leaf surface formed specific texture patterns. We abstracted the texture pattern and constructed a parameterized structure method to generate a structure texture image for synthesis of the geometric features of mesophyll, main vein and secondary vein structures. Each pixel of structure texture image represented a structure category of the point at this position, and we used the appearance models of each structure to assign appearance parameters for each pixel. Finally, four appearance textures were generated for simulating the appearance patterns of the leaf surface including diffuse texture, transparency texture, specular texture and roughness texture. A real-time rendering framework was developed to simulate the subtle interaction between plant leaves and light. In order to achieve a WYSIWYG display result, we simplified the light computing by decomposing light environment into a directional light source (sun) and some environment light sources (sky). A complete realistic effect was finally developed by combing the appearance model and illumination computation using a deferred lighting rendering framework which can simulate real-time shadows, ambient occlusion, and dynamic radiance from sun and sky. The experimental results demonstrated that the proposed approach was capable of generating different appearance of crop leaves by controlling the agronomic parameters and achieving a visually satisfactory display result. Our method showed diffuse reflectance and transmittance were the most affected by the parameters of SPAD and growth stage, while the specular reflection and roughness parameters were always stable. There were differences in the fitting results of diffuse and transparency model of mesophyll in RGB channels, while simulation result indicated there was little impact on the final visualization effect. Our method has a great potential to become an effective visualization tool for agricultural application, such as crop model, agricultural education system, and digital media for agricultural subjects.

three dimensional; visualization; crops; leaf appearance; appearance modeling; digital plant

10.11975/j.issn.1002-6819.2017.19.024

TP391.4

A

1002-6819(2017)-19-0187-09

2017-05-04

2017-07-10

北京市自然科學基金（4162028）；國家自然科學基金（31501217）；北京市農(nóng)林科學院博士后基金項目；北京市科技計劃項目（D151100004215004）

苗 騰，博士后，講師，主要從事數(shù)字植物技術研究。沈陽 沈陽農(nóng)業(yè)大學信息與電氣工程學院 110866。Email：caumiao@126.com

※通信作者：郭新宇，研究員，主要從事數(shù)字植物理論技術體系研究。北京 北京農(nóng)業(yè)信息技術研究中心，100097。Email：guoxy@nercita.org.cn