基于改進的PSPNet網(wǎng)絡的毛白楊根系自動分割量化系統(tǒng)

張鵬翀,韓巧玲,4,席本野,鄭秋燕,趙 玥,4,*

(1.北京林業(yè)大學 工學院,北京 100083; 2.城鄉(xiāng)生態(tài)環(huán)境北京實驗室,北京 100083; 3.智慧林業(yè)研究中心,北京 100083; 4.國家林業(yè)和草原局林業(yè)裝備與自動化國家重點實驗室,北京 100083; 5.北京林業(yè)大學 省部共建森林培育與保護教育部重點實驗室,北京 100083)

毛白楊是我國北方地區(qū)廣泛分布的常見樹種,也是我國木材戰(zhàn)略儲備林建設(shè)的重要植物資源。毛白楊根系具有巨大的吸收表面積,生理活性極強,是吸收養(yǎng)分、水分、礦物質(zhì)的重要器官,同時,其根系的生長和死亡過程對整個生態(tài)系統(tǒng)的養(yǎng)分循環(huán)、物質(zhì)能量交換具有重要影響[1-2]。因此,研究毛白楊根系的生長周轉(zhuǎn)對提高森林生態(tài)系統(tǒng)系統(tǒng)生產(chǎn)力、促進林業(yè)經(jīng)濟發(fā)展具有重要意義。

在植物根系研究中,通常將直徑不小于2 mm的根稱為粗根,小于2 mm的根稱為細根[3]。研究方法可分為破壞性觀測法和非破壞性觀測法兩類。破壞性觀測法主要包括沖洗法、根鉆法[4]等,這類方法在對根系進行挖掘沖洗后再行觀測分析,會對根系造成不可逆轉(zhuǎn)的損傷[5]。非破壞性觀測法主要包括探地雷達法、容器法、微根管法等,其中,探地雷達法無法直觀地觀測到根系的生長狀態(tài),容器法無法支撐毛白楊(Populustomentosa)等植物的正常生長,而微根管法可以直觀地觀測到根系的生長狀況,且不會對根系正常生長造成影響,現(xiàn)已廣泛應用于植物根系研究中[6-7]。

針對微根管植物根系圖像,大多數(shù)學者先采用MATLAB等軟件對根系圖像進行灰度圖轉(zhuǎn)化、增強對比度、中值濾波和二值化等處理以獲得根系分割圖像[8],再利用特定的根系圖像分析軟件,如RootFly、WinRHIZO等獲取圖像中的根系長度、根系投影面積等形態(tài)參數(shù)[9]。然而,此類圖像處理軟件和分析軟件在處理毛白楊根系時仍需人工設(shè)定相關(guān)參數(shù),無法批量化處理根系圖像。毛白楊微根管圖像中的根系具有顏色不均勻、形態(tài)不一致的特點,而且根系目標與土壤背景特征差異較小,這就使得現(xiàn)有的分割方法可能產(chǎn)生根系過分割或欠分割的現(xiàn)象,從而無法準確量化毛白楊根系的生長狀況。

針對這一問題,本研究先基于PSPNet網(wǎng)絡進行改進,創(chuàng)建PSEPNet(pyramid scene efficient parsing network),并在其基礎(chǔ)上構(gòu)建一個毛白楊根系的自動分割與量化系統(tǒng),該系統(tǒng)可以自動、批量地實現(xiàn)對毛白楊微根管圖像的準確分割。然后,采用該系統(tǒng),利用數(shù)學統(tǒng)計方法提取毛白楊的根系數(shù)量、長度等多特征參數(shù),實現(xiàn)對毛白楊根系生長情況的量化研究。最后,通過與現(xiàn)有常用方法的比較分析,驗證本文方法及系統(tǒng)的有效性。本文構(gòu)建的毛白楊根系自動分割與量化系統(tǒng)可以為揭示自然生長條件下毛白楊的生長發(fā)育規(guī)律提供技術(shù)支持。

1 材料與方法

1.1 圖像采集

圖像采集實驗地位于山東省聊城市高唐縣。當?shù)貙冱S泛沖積平原,地勢由西南向東北傾斜,地貌較為平緩,土地肥沃,海拔22.6 m。當?shù)貙倥瘻貛О敫珊导撅L區(qū)域大陸性氣候,四季冷暖干濕分明,季節(jié)季風變化明顯,光照和熱量充足,降水量較少,多集中于7—8月。實驗地的土壤為砂壤土,平均地下水位6 m[10]。

在實驗地的毛白楊林分內(nèi)采集根系圖像。林分栽植于2015年春季,系植苗造林。種植采用均勻配置模式,株行距為2 m×3 m,密度為1 667株·hm-2。選取生長狀況良好的毛白楊作為圖像采集的樣樹,分別在距離樣樹水平方向0.3、1.2 m處,從土壤表層開始垂直向下每隔1 m布置一根微根管,共布置4行2列8根微根管。管內(nèi)觀測長度1 100 mm,間隔9.5 mm設(shè)置一個觀測點,共設(shè)置108個觀測點,以增強圖像采集能力。在每根微根管中,使用由美國Bartz公司研制的帶有索引手柄的BTC-100X根系生長動態(tài)監(jiān)測系統(tǒng)以相等間隔的間隔點獲取精根系圖像[11]。

1.2 數(shù)據(jù)預處理

如圖1所示,采集到的根系圖像原圖邊緣存在黑色區(qū)域,這部分信息不包含根系元素,會增加算法分割運算量并影響分割精度。同時,在拍攝過程中標定手柄與透明管壁的邊界處可能存在晃動,會導致圖像邊界存在畸變現(xiàn)象,從而影響根系分割精度。為此,采用矩形剪裁法對原始根系圖像進行處理。原始圖像的大小為754 pixel×510 pixel,裁剪后的圖像大小為670 pixel×460 pixel。

圖1 采集到的圖像原圖(上)與裁剪后的圖像(下)Fig.1 Captured original image (up) and image after cropping (down)

為避免數(shù)據(jù)集圖像數(shù)量較少而影響網(wǎng)絡分割效果,本研究采用水平翻轉(zhuǎn)、中心對稱等算法實現(xiàn)毛白楊根系圖像數(shù)據(jù)集的增強,增強后的數(shù)據(jù)集共有640張根系圖像,將其按照7∶2∶1的比例隨機劃分至訓練集、驗證集與測試集,其中,訓練集用于訓練模型參數(shù),驗證集用于評估每批訓練和調(diào)整超參數(shù)后模型的泛化能力,測試集用于測評網(wǎng)絡最終的分割結(jié)果。

1.3 PSEPNet網(wǎng)絡模型

PSPNet網(wǎng)絡采用金字塔池化模塊對不同尺度的語境進行聚合,使得模型擁有融合局部語境信息和全局語境信息的能力[12]?，F(xiàn)有的PSPNet主要以ResNet50和MobileNetV2作為特征提取模塊[13-14]。其中,ResNet采用的殘差結(jié)構(gòu)會導致網(wǎng)絡運算量大、訓練時間長;MobileNetV2使用的倒殘差結(jié)構(gòu)雖能極大地縮短運算時間,但是低維張量無法完整提取根系的細節(jié)特征。為此,本研究提出一種以EPSANet50為骨架的PSEPNet網(wǎng)絡模型,以實現(xiàn)對毛白楊微根管圖像中根系結(jié)構(gòu)的高效、精準分割。

PSEPNet網(wǎng)絡首先通過EPSANet50進行低級語義特征提取(圖2),再通過4個尺度的池化操作豐富特征信息,并將其通過1×1的卷積統(tǒng)一通道數(shù),然后采用雙線性插值進行上采樣,獲得與低級語義特征相同尺寸的高級語義特征,最后將高級和低級語義特征在通道上拼接,得到最優(yōu)分割圖。在PSEPNet的特征提取網(wǎng)絡EPSANet50中,用軟注意力機制PSA模塊替換了以往的3×3的卷積層,在提取毛白楊根系圖像多尺度特征信息的同時賦予了根系更多權(quán)重,既為后續(xù)的池化操作提供了更豐富的特征圖,也可在與高級語義特征融合時補充毛白楊根系更細節(jié)的特征。

圖2 創(chuàng)建的PSEPNet的網(wǎng)絡結(jié)構(gòu)示意圖Fig.2 Structure diagram of the proposed PSEPNet

綜上,PSEPNet在網(wǎng)絡結(jié)構(gòu)上采用引入PSA模塊的EPSANet50進行毛白楊根系特征的提取,可以獲取更細節(jié)更準確的特征圖,顯著提高模型性能,大幅提升網(wǎng)絡的分割能力。

1.4 毛白楊根系特征量化指標

基于分割后的毛白楊根系圖像,采用細化法提取根系骨架結(jié)構(gòu)[15]。基于根系二值圖像和骨架結(jié)構(gòu),采用數(shù)學統(tǒng)計方法對根系數(shù)量、根系長度、根系周長、根系平均直徑、根系投影面積、根系表面積、根長密度和根表面積密度這8個指標實現(xiàn)量化分析,從不同角度表現(xiàn)毛白楊根系的形態(tài)特征。

1)根系數(shù)量(n),以單張圖片中連通域的數(shù)量表示。采用8連通域方法實現(xiàn)對根系數(shù)量的量化。

(1)

式(1)中的C表示1個像素的長度,其值為0.024 mm。

(2)

4)根系投影面積(S1),以單張圖片中根系在二維平面投影的面積表示,其計算公式為

S1=a·C·C。

(3)

式(3)中的a表示根系區(qū)域像素點的數(shù)量。

5)根系表面積(S2),以單張圖片中的根系在三維空間的表面積表示[16],其計算公式為

S2=S1·π。

(4)

(5)

7)根長密度(DL),以單位體積內(nèi)的根系長度表示[17],其計算公式為

(6)

式(6)中:A為單張圖片的面積;D為實驗田間深度,本文取2 mm[18]。

8)根表面積密度(Ds),以單位體積內(nèi)的根系表面積表示,其計算公式為

(7)

1.5 實驗方法與平臺

為驗證本文所提的PSEPNet網(wǎng)絡在毛白楊微根管根系圖像上的分割性能,以自然條件下生長的毛白楊根系為研究對象展開實驗。在實驗中,采用Adam優(yōu)化器進行優(yōu)化[19]。設(shè)置初始學習速率為0.000 1,學習率在每50個epoch后衰減94%。每個epoch處理的batch size(批尺寸)設(shè)置為4,一共設(shè)置2 000個epoch進行訓練。

以標定圖作為本文量化評價分割方法的標準。采用Photoshop 2021軟件手動標注標定圖中的根系目標,選取6個重復標定,以消除主觀因素對精度的影響。本研究的硬件環(huán)境是Intel?CoreTMi5-10500處理器,主頻率3.10 GHz,內(nèi)存16 GB;軟件環(huán)境是Windows 10操作系統(tǒng)和Python編程語言。

2 結(jié)果與分析

2.1 毛白楊根系分割結(jié)果的定性分析

為了分析PSEPNet網(wǎng)絡對毛白楊根系的分割效果,與以ResNet50和MobileNetV2為特征提取網(wǎng)絡的傳統(tǒng)PSPNet方法(以下分別記為PSPNet_ResNet50和PSPNet_MobileNetV2)進行對比分析。分割結(jié)果如圖3和圖4所示,圖中的白色區(qū)域表示根系,黑色區(qū)域表示土壤。

圖3 毛白楊根系的分割結(jié)果示例一Fig.3 Example 1 of segmentation results of Populus tomentosa roots

圖4 毛白楊根系的分割結(jié)果示例二Fig.4 Example 2 of segmentation results of Populus tomentosa roots

對比圖3和圖4的紅色矩形區(qū)域可以發(fā)現(xiàn),PSPNet_ResNet50和PSPNet_MobileNetV2方法在分割顏色不均勻的根系時會丟失根系的細節(jié)特征,存在明顯的欠分割現(xiàn)象。針對圖3紅色矩形中根系存在分枝的形態(tài)以及圖4紅色矩形中根系顏色與土壤背景差異較小的情況,PSEPNet網(wǎng)絡均可以真實完整地分割出根系結(jié)構(gòu),說明PSEPNet網(wǎng)絡對毛白楊根系具有較好的分割能力。

結(jié)合圖3和圖4中的綠色矩形區(qū)域發(fā)現(xiàn),當根系顏色特征并不突出時,PSPNet_ResNet50方法欠分割嚴重,PSPNet_MobileNetV2方法同時存在較為嚴重的過分割和欠分割,而PSEPNet網(wǎng)絡平衡處理了這種情況,分割效果最好。這主要是因為PSA模塊在網(wǎng)絡訓練的時候賦予了根系較土壤背景更大的權(quán)重,使得網(wǎng)絡學習到了根系顏色、形態(tài)等更全面的特征,提升了網(wǎng)絡對根系的分割能力。

綜上,本文提出的PSEPNet網(wǎng)絡可以避免由于根系顏色不均勻或形態(tài)不一致而造成的欠分割和過分割現(xiàn)象,能更好地學習根系的特征,較好地完成毛白楊根系的分割任務。

2.2 毛白楊根系分割結(jié)果的定量分析

使用準確率、召回率、精確率和F1值共4個指標對不同方法的分割效果進行全面對比分析(表1),表中數(shù)值均來自于測試集,數(shù)值越大,表示該網(wǎng)絡的分割效果越好[20]。

表1 不同方法分割效果的定量評估

PSPNet_ResNet50方法的精確率(0.731 3)低于召回率(0.840 2),表明其存在較為嚴重的過分割現(xiàn)象;PSPNet_MobileNetV2方法的精確率(0.818 4)與召回率(0.855 1)相差較小,且均高于PSPNet_ResNet50方法,說明該方法對根系的分割性能優(yōu)于PSPNet_ResNet50方法,但其F1值低于本研究所提出的PSEPNet網(wǎng)絡。在對比的3種方法中,本文所提的PSEPNet網(wǎng)絡具有最高的準確率(0.981 9)、召回率(0.884 9)、精確率(0.830 9)和F1值(0.851 2),表明其對根系的分割效果要優(yōu)于傳統(tǒng)的PSPNet網(wǎng)絡,能夠較為精準地分割出毛白楊根系,可以為毛白楊根系后續(xù)的特征量化分析提供準確的數(shù)據(jù)基礎(chǔ)。

2.3 毛白楊根系特征量化

基于PSEPNet網(wǎng)絡分割的毛白楊根系二值圖像,采用數(shù)學統(tǒng)計分析法,實現(xiàn)對毛白楊根系數(shù)量、根系長度和根系周長等8項指標的自動量化計算,可為評價毛白楊根系的生長發(fā)育規(guī)律提供數(shù)據(jù)基礎(chǔ)和技術(shù)支持。將2019年5月—2020年4月獲得的結(jié)果以平均值±標準差的形式整理于表2?？梢钥闯?毛白楊的根系數(shù)量、根系長度、根系周長、根系表面積的標準差較大,說明圖像間差異大,不同空間的根系分布不均勻。根周長、根表面積均值越大,說明圖像中的根系越粗壯,與土壤的接觸范圍越大,吸收水分和營養(yǎng)的能力越強。根系的平均直徑小于2 mm,數(shù)據(jù)波動小,與細根定義一致,說明圖像中的根系大多數(shù)為細根。本研究中,實驗田間深度取2 mm。后續(xù)研究中可根據(jù)數(shù)據(jù)集的實際情況,設(shè)置系統(tǒng)的實驗田間深度,從而自動計算根長密度和根表面積密度,以便對根系生長狀態(tài)進行分析。

表2 毛白楊根系的特征參數(shù)

2.4 毛白楊根系自動分割與量化系統(tǒng)

基于提出的PSEPNet網(wǎng)絡,搭建一款可視化的毛白楊根系自動分割與量化系統(tǒng)。該系統(tǒng)主要包含圖像讀取、圖像分割與特征提取3個功能模塊(圖5),運行環(huán)境為Windows 10,開發(fā)工具為Pycharm,開發(fā)語言采用Python。

圖5 毛白楊根系自動分割與量化系統(tǒng)的照片F(xiàn)ig.5 Photos of the segmentation and quantification system for Populus tomentosa roots images

圖像讀取模塊的可視化組件如圖5(a)左側(cè)的“上傳文件”按鍵所示。點擊該按鍵,可在本地文件中選擇待分割的毛白楊根系RGB圖像,點擊“上傳”按鍵后,圖像將顯示在“預覽窗口”框中。

圖像分割模塊通過PSEPNet網(wǎng)絡進行分割,點擊“PSEPNet”按鍵,圖5(a)左側(cè)的“根系微根管圖”框中自動顯示已上傳的根系微根管原圖,圖5(a)右側(cè)的“PSEPNet”框中將顯示分割結(jié)果。點擊“特征提取”按鍵,即可啟動特征提取模塊,在圖5(b)左側(cè)的“Split graph”框中顯示圖像分割結(jié)果,在右側(cè)數(shù)據(jù)框中生成相應的特征參數(shù)。

綜上所述,本文提出的毛白楊根系自動分割與量化系統(tǒng)具有簡便、高效的特點,不僅能夠?qū)崿F(xiàn)毛白楊根系的自動、準確分割,還能實現(xiàn)對毛白楊根系數(shù)量、根系長度等多項特征的精確提取與量化表達。本研究證明了深度學習方法在識別林木復雜根系方面的能力。未來,通過采集更多林木根系圖像,本系統(tǒng)可以擴展應用于其他林木根系的分割與量化。

3 結(jié)論

針對毛白楊根系顏色不均勻、形態(tài)不一致、目標背景差異小的特點,以及現(xiàn)有根系分割方法難以準確識別和批量分割毛白楊根系的問題,提出一個基于EPSANet模塊的PSEPNet網(wǎng)絡,可實現(xiàn)對毛白楊根系的自動批量分割。該網(wǎng)絡對毛白楊根系的分割準確率為0.981 9,召回率為0.884 9,精確率為0.830 9,F1值為0.851 2,較傳統(tǒng)的PSPNet方法提高了分割效果,證明其具備良好的毛白楊根系分割性能。在此基礎(chǔ)上,構(gòu)建一套毛白楊根系自動分割與量化系統(tǒng),能夠更全面、高效地實現(xiàn)對毛白楊根系特征的定量描述,并可以根據(jù)研究者的需求改變經(jīng)驗參數(shù),從而獲取更準確的毛白楊根系數(shù)據(jù)。