路 艷,楊紅云,周 瓊,孫玉婷,殷 華
(1.江西農(nóng)業(yè)大學 計算機與信息工程學院,江西 南昌 330045; 2.江西省高等學校農(nóng)業(yè)信息技術(shù)重點實驗室,江西 南昌 330045; 3.江西農(nóng)業(yè)大學 軟件學院,江西 南昌 330045)
植株形態(tài)結(jié)構(gòu)是育種表型分析中的重要表型性狀,植株葉片幾何參數(shù)測量分析是作物超高產(chǎn)育種研究的重要環(huán)節(jié)之一,準確獲取葉片幾何參數(shù),分析作物生長狀況,有利于指導農(nóng)業(yè)生產(chǎn)研究[1-2]。傳統(tǒng)的葉片幾何參數(shù)測量方法有直尺法[3]、網(wǎng)格法[4-5]和葉面積儀法[6-7]等,但這些方法耗時長,價格高昂,影響植株正常生長,不利于育種工作開展[8-10]。不少學者為能快速、準確獲取植株幾何參數(shù)做了大量研究[11-15]。劉浩等[16]通過掃描儀獲取葉片圖像,使用圖像處理軟件AutoCAD獲取葉長和葉寬,發(fā)現(xiàn)圖像處理軟件與實測方法測定結(jié)果呈顯著相關(guān)性。牛珂[17]采用基于圖像處理的植物葉片參數(shù)測量系統(tǒng)獲取葉長和葉寬,測定得到葉長和葉寬與實測平均相對誤差小于3.15%?;谟嬎銠C的圖像處理方法,圖像獲取多依賴數(shù)碼相機和掃描儀等精密儀器,價格昂貴,且操作復雜,不易于推廣[18-20]。隨著智能手機的普及,基于Android系統(tǒng)獲取葉片形態(tài)特征參數(shù)的應(yīng)用也越來越多[21-23]。夏永泉等[24]基于智能手機根據(jù)葉片表征進行病害識別,識別效果較好。周超超[25]依據(jù)葉片顏色特征建立了玉米葉片含氮量檢測系統(tǒng),可以指導玉米正確、合理施氮。王洋洋等[26]基于Android拍攝檉柳照片,計算檉柳俯視面積,實現(xiàn)了無損、快速估測檉柳生物量。目前,基于Android獲取植物葉片幾何參數(shù)研究也較多。龔愛平等[27]基于Android獲取葉片面積,測量精度達到0.001 cm2,具備良好的葉面積測量能力,但需借助工字架等工具,不適用于野外操作,而且采集圖像時為保證葉片完全舒展,采用亞克力板壓平葉片,操作不當,易損傷葉片。徐義鑫等[28]使用手機智能相機獲取葉片圖像,根據(jù)植物葉片輪廓求葉片、葉寬,與實際值相比,誤差小于2%,具備精度高、成本低、無損測量等優(yōu)點,但野外環(huán)境下圖像獲取易受光照、角度、參照物和拍攝背景等因素影響,對圖像獲取條件要求較高,非專業(yè)人員操作復雜,不易推廣。雖已有人對葉片幾何參數(shù)進行了大量研究,但利用手勢路徑獲取葉片幾何參數(shù)的研究還鮮見報道。本研究提供基于B樣條的水稻葉片幾何參數(shù)測量系統(tǒng),采用Android智能相機獲取水稻葉片自然生長狀態(tài)圖像,前期圖像獲取簡便,無需對獲取后圖像進行預處理,通過繪制手勢軌跡曲線計算葉長和葉寬,提供了一種準確、無損的植株葉片幾何參數(shù)測量方法,可為水稻超高產(chǎn)育種提供參考。
水稻田間試驗于2018年在江西農(nóng)業(yè)大學農(nóng)學試驗站進行,以自然狀態(tài)下水稻葉片為研究對象。選用Android智能手機在自然光照下獲取水稻葉片活體圖像,其型號是m2 note2,版本5.1,處理器八核1.3 GHz,攝像頭分辨率1920 pixel×1080 pixel,運行內(nèi)存2 GB。App應(yīng)用在win7操作系統(tǒng)下使用Android SDK+JDK+Eclipse+ADT開發(fā)完成。
系統(tǒng)工作流程如圖1所示。結(jié)合Android SDK類提供的Linear Layout、Spinner類,采用ImageView、TextView等實現(xiàn)水稻葉片幾何參數(shù)測量系統(tǒng)人機交互界面。系統(tǒng)功能分為圖像獲取、曲線操作和葉片幾何參數(shù)計算3大部分。
圖1 系統(tǒng)流程圖Fig.1 Workflow of system
1.2.1 葉片圖像獲取
水稻葉片圖像分為相機和相冊2種獲取方式。經(jīng)反復試驗,現(xiàn)提出以下圖像采集標準:
(1)選擇參照物。本文參照物是2.5 cm×2.5cm的黑色正方形,參照物形狀、大小可人工干預。
(2)設(shè)置相機參數(shù)。相機分辨率設(shè)置為1 920×1 080,相機分辨率可調(diào),關(guān)閉閃光燈減少干擾。
(3)獲取圖像。無需規(guī)定最佳拍攝時間段,可全天進行拍攝。拍攝時盡量保持相機與參照物平行,獲取水稻長度時,獲取水稻大致輪廓即可,獲取水稻寬度僅需拍攝包含水稻最大寬度部分。拍攝距離不限,得到被測物體與參照物清晰完整圖像即可。具體操作方式如圖2所示。
1.2.2 軌跡曲線實現(xiàn)原理
軌跡平滑處理采用的曲線多為拋物樣條曲線和參數(shù)樣條曲線,但這2種方法在曲線平滑度處理上存在一定缺陷[29]。本文擬采用B樣條曲線繪制手勢軌跡曲線,獲取水稻葉片幾何參數(shù)。B樣條曲線兼?zhèn)湄惾麪柷€的一切優(yōu)點,同時克服了貝塞爾曲線無法進行局部修改的缺點[30]。其由一組控制點求得,改變控制點,葉片軌跡曲線也會發(fā)生變化[31]。B樣條曲線數(shù)學定義為:
(1)
式(1)中,ct(t=0,1,...,n)為樣條曲線的控制頂點,Vt,k(t=0,1,...,n)為k次B樣條基函數(shù),基函數(shù)由非遞減參數(shù)序列U:u0≤u1≤…≤un+k+1決定,其Cox-deBoor遞歸公式定義為:
圖2 手機相機獲取圖像Fig.2 Image acquisition by phone camera
(2)
(3)
公式(2)(3)分別表示若次數(shù)k為0,基函數(shù)為階梯函數(shù);當k大于0時,Vt,k基于Vt,k-1和Vt+1,k-1進行計算。
1.2.3 軌跡曲線實現(xiàn)過程
(1)調(diào)整控制點。采用B樣條曲線依據(jù)水稻葉片形態(tài)繪制葉脈和最大葉寬軌跡曲線,B樣條控制點坐標可調(diào),保證曲線最大程度貼合葉片葉脈與最大葉寬(如圖3所示)。曲線控制點調(diào)整原理為:所有的控制點保存至集合,獲取當前手勢點坐標,遍歷集合中所有控制點,使用歐氏距離[32-33]計算當前點與集合中所有點的距離,當距離小于一定范圍時,則認為當前點與集合中滿足條件的點為相同點,移動當前手勢點,將移動結(jié)束時的點坐標覆蓋原先集合中滿足條件的點坐標,達到調(diào)整樣條軌跡曲線的目的。
(4)
公式(4)中,d為當前點(c1,r1)到集合中控制點(c2,r2)間的距離。
(2) 刪除、清空控制點。曲線操作除控制點可調(diào)外,還包括刪除控制點和清空曲線2大功能(如圖4所示)?;诳刂泣c繪制手勢軌跡曲線易偏離目標軌跡,為減小誤差,點擊刪除控制點按鈕可對當前最新控制點進行刪除,及時矯正曲線走向。采用B樣條曲線獲取水稻葉片幾何參數(shù),需借助參照物,清空曲線操作用于繪制完葉片長度軌跡后,對曲線進行清空,進而對參照物長度進行繪制,第2次進行清空時,界面將會顯示葉片長度數(shù)據(jù),葉片最大寬度同理可得。
a,調(diào)整前;b,調(diào)整后。a, Unadjusted; b, Adjusted.圖3 調(diào)整控制點Fig.3 Adjustment of control points
1.2.4 幾何參數(shù)算法設(shè)計
根據(jù)水稻形態(tài)結(jié)構(gòu)選取恰當階數(shù)的B樣條曲線。水稻葉片具有“長、窄”的特征[34],易產(chǎn)生彎曲,4階3次B樣條曲線可得到平滑度較好的連續(xù)曲線,適用于葉片長度獲取。水稻葉片寬度過窄,為保證測定結(jié)果的準確性,采用符合水稻葉片寬度特征的2階1次B樣條曲線(2個控制點確定1條直線)進行獲取。其中4階3次B樣條曲線基函數(shù)和擬合曲線分別為公式(5)和公式(6)。水稻葉片軌跡曲線示意圖如圖5所示。
4階3次B樣條曲線基函數(shù)為
(5)
4階3次B樣條擬合曲線為:
E(u)=c0×V0,3(u)+c1×V1,3(u)+c2×V2,3(u)+c3×V3,3(u)。
(6)
其中,公式(5)函數(shù)偽代碼如下:
if(0<=u)And(u<1)
then return a*u*u*u
else if(1<=u)And(u<2)
then return a*(-3*Math.pow(u-1,3)+3*Math.pow(u-1,2)+3*(u-1)+1)
else if(2<=u && u<3)
then return a*(3*Math.pow(u-2,3)-6*Math.pow(u-2,2)+4)
else if(3<=u && u<4)
then return a*Math.pow(4-u,3)
else return 0;
end if
手勢軌跡曲線繪制完成后,計算水稻葉片和參照物長、寬軌跡曲線長度,參照物實際長、寬已知,通過比例計算獲取葉片真實長度和最大葉寬。葉長、葉寬計算公式為公式(7)(8)。水稻葉片幾何參數(shù)獲取結(jié)果如圖6所示。
(7)
a,葉長軌跡曲線;b,葉寬軌跡曲線。a, Trajectory curve of leaf length; b, Trajectory curve of leaf width.圖5 葉片幾何參數(shù)軌跡曲線示意圖Fig.5 Image of blade geometry parameter trajectory curve
a,葉長計算結(jié)果;b,葉寬計算結(jié)果。a, Calculation result of leaf length; b, Calculation result of leaf width.圖6 葉片幾何參數(shù)計算結(jié)果Fig.6 Results of blade geometric parameters
(8)
公式(7)(8)中,L、W、L1、W1分別代表葉片和參照物實際長寬,L0、W0、L2、W2分別為葉片與參照物軌跡曲線的長度和寬度。
精確性是對同一物體進行重復多次測量,測量結(jié)果彼此間的接近程度。變異系數(shù)為多組數(shù)據(jù)標準差與平均值之比,采用變異系數(shù)(CV)對系統(tǒng)精確度進行衡量,變異系數(shù)越小,表明系統(tǒng)測量結(jié)果越穩(wěn)定,精確度越高。表1是采用本文測量方法對同一葉片進行10次重復測量的測定結(jié)果。由表1可知,使用系統(tǒng)方法獲取水稻葉片幾何參數(shù),葉長變異系數(shù)為2.4%,最大葉寬變異系數(shù)為5.4%,均小于15%,表明數(shù)據(jù)正常,測試結(jié)果穩(wěn)定。
準確性是系統(tǒng)測試結(jié)果與葉片實測值的差異度量,為驗證系統(tǒng)準確性,以系統(tǒng)測量得到的水稻數(shù)據(jù)為分析樣本,隨機選取30組,與人工測量獲取得到的葉長、葉寬進行回歸分析(圖7),以擬合精度評估參數(shù)均方根誤差,以R2評估系統(tǒng)獲取幾何參數(shù)的準確性。結(jié)果顯示,葉長線性擬合模型與葉寬線性擬合模型的決定系數(shù)分別為0.973 2和0.770 5,均方根誤差分別為1.534 cm和0.101 9 cm。通過決定系數(shù)可發(fā)現(xiàn)系統(tǒng)獲取葉片幾何參數(shù)與葉片實際幾何參數(shù)的數(shù)據(jù)模型擬合度高,表明系統(tǒng)具有較好的數(shù)據(jù)處理和預測能力。
表1 精確性測試結(jié)果
Table1Result of accuracy test
參數(shù)12345678910CV/%葉長Length/cm24.2723.5324.1423.8425.3624.9123.8324.3924.7625.162.4葉寬Width/cm1.171.271.291.181.271.121.151.261.101.195.4
a,葉長線性擬合模型;b,葉寬線性擬合模型。a, Linear fitting model of leaf length; b, Linear fitting model of leaf width.圖7 水稻葉片幾何參數(shù)線性擬合模型Fig.7 Linear fitting models of rice leaf geometry parameters
本文方法與基于輪廓最小鄰接矩形獲取水稻葉片幾何參數(shù)的方法進行比較?;贐樣條曲線測量過的圖片,采用基于輪廓獲取水稻葉片幾何參數(shù)的方法進行處理,發(fā)現(xiàn)前期圖像獲取對于光照、角度、拍攝背景要求較高,需將水稻平展開,要求拍攝完整清晰水稻葉片和參照物圖像,從圖8-c可以看出,拍攝背景較為復雜,參照物和目標葉片受到遮擋情況下,無法準確識別、獲取目標葉片幾何參數(shù)。本研究系統(tǒng)方法對環(huán)境要求低,無需干擾水稻自然生長狀態(tài),拍攝水稻完整圖片即可手勢獲取目標水稻葉片幾何參數(shù),拍攝條件簡單,操作簡便。
a,葉長軌跡曲線;b,基于B樣條曲線葉長計算結(jié)果;c,提取葉片輪廓;d,基于輪廓計算結(jié)果。a, Trajectory curve of leaf length; b, Calculation result of leaf length based on B-spline curve; c, Extracting leaf contours; d, Calculation result based on leaf contour.圖8 不同方法對復雜背景下圖片處理結(jié)果Fig.8 Image processing results by different methods for complex environments
單一背景下,如圖9所示,對同一葉片分別使用輪廓最小鄰接矩形和系統(tǒng)方法進行測量,獲取30片水稻葉片幾何數(shù)據(jù),對2組數(shù)據(jù)進行分析研究,比較各自性能,比較結(jié)果見表2。
由表2看出,2種方法測定結(jié)果平方相關(guān)系數(shù)、均方根誤差非常相近,基于B樣條曲線獲取水稻葉片幾何參數(shù),葉長的決定系數(shù)和均方根誤差分別為99.19%和0.542 8,葉寬的決定系數(shù)和均方根誤差分別為80.96%和0.054 7,整體略優(yōu)于基于輪廓獲取葉片幾何參數(shù)方法。時間為拍攝到結(jié)果獲取總時間,系統(tǒng)方法獲取葉片幾何參數(shù)時間小于2 min,基于輪廓獲取幾何參數(shù)前期圖像獲取拍攝要求較高,非專業(yè)人員操作困難,獲取有效圖像需耗費大量時間;系統(tǒng)方法前期圖像獲取,操作簡便,可節(jié)省大量時間。
a, 基于B樣條曲線計算結(jié)果; b, 基于輪廓計算結(jié)果。a, Calculation result of leaf length based on B-spline curve; b, Calculation result based on leaf contour.圖9 不同方法對單一背景下圖片處理結(jié)果Fig.9 Image processing results by different methods for clean environments
表2 不同方法結(jié)果比較
Table2Comparison of results of different acquisition methods
測量方法Measurementmethod葉長Length/cm決定系數(shù)R2/%均方根誤差RMSE/cm時間t/min葉寬Width/cm決定系數(shù)R2/%均方根誤差RMSE/cm時間t/min最小鄰接矩形98.900.6162<578.490.0545<5B-spline曲線99.190.5428<280.960.0547<2
本研究提出基于B樣條曲線的水稻葉片幾何參數(shù)測量方法,使用matlab建立系統(tǒng)預測值與實測值回歸擬合模型,結(jié)果表明,系統(tǒng)預測結(jié)果良好。目前植物葉片幾何參數(shù)獲取方法研究較多。朱波等[35]使用直尺測量法獲取鐵皮石斛葉長、葉寬,為計算葉面積提供了可靠的依據(jù)。采用傳統(tǒng)方法獲取葉片幾何參數(shù)有利有弊,雖能很大程度保證數(shù)據(jù)的準確性,但費時費工,且操作復雜。本研究基于Android獲取水稻幾何參數(shù),手機拍照采集水稻圖像即可獲取水稻幾何參數(shù)。郭斯羽等[36]基于葉片骨架提取葉長,測量誤差低于10%,但對葉片外部狀態(tài)要求較高,要求葉片外部形態(tài)完整且對稱,不可發(fā)生彎曲,否則將會產(chǎn)生較大的誤差?;诠羌塬@取葉片幾何參數(shù),對被測物體環(huán)境也具有嚴格的要求,若葉片較為茂盛,相互重合,或被測物體與背景顏色融合,需人工干預作物正常生長狀態(tài)獲取所需圖像,易對植物葉片造成損害,影響作物后期生長?;贐樣條獲取葉長、葉寬,對葉片外部形態(tài)要求低,不干預水稻葉片自然生長狀態(tài)也能較好地獲取葉片幾何參數(shù)。徐義鑫等[28]采用Android基于OpenCV無損獲取葉片幾何參數(shù),借助葉片輪廓最小外接矩形獲取葉片幾何參數(shù),長、寬誤差小于2%,但易受光照、角度等因素影響,還需利用拍攝背景和膠帶等外部手段輔助拍攝完整、平坦的葉片圖像,操作過程復雜。本研究通過繪制水稻葉片主脈和最大葉寬處手勢軌跡曲線獲取葉片幾何參數(shù),背景對葉片影響較小,獲取葉片大致輪廓與走向即可準確獲取葉長、葉寬,無需借助拍攝背景且受光照、角度的影響較小,操作簡便。
基于B樣條曲線的水稻葉片幾何參數(shù)測量系統(tǒng),采集水稻葉片圖像無需干擾水稻葉片自然生長狀態(tài),拍攝參照物和水稻葉片的完整清晰輪廓無需預處理即可獲取葉長、葉寬,且受光照影響較小,通過1次B樣條曲線交互繪制最大葉寬處手勢軌跡曲線,基于3次B樣條曲線繪制葉脈軌跡曲線,獲取水稻葉片長、寬。計算葉片幾何參數(shù)變異系數(shù),分析系統(tǒng)精確度,結(jié)果均小于15%,測試結(jié)果穩(wěn)定;建立預測值與實測值之間的線性回歸擬合模型,發(fā)現(xiàn)系統(tǒng)預測值和實測值呈顯著性相關(guān),水稻葉長均方根誤差為1.534 0 cm,葉寬均方根誤差為0.101 9 cm,表明基于B樣條曲線獲取水稻葉片幾何參數(shù)的方法測量結(jié)果準確,為后期葉面積的預測提供了精準數(shù)據(jù),同時也為視覺獲取水稻葉片幾何參數(shù)及其他農(nóng)作物的數(shù)據(jù)測量提供了新的理論研究,具有較好的實用價值和應(yīng)用前景。