改進UNet++的杉木CT圖像年輪分割

劉 帥，葛浙東，劉曉彤，高宜生，李 陽，李萌菲

1.山東建筑大學信息與電氣工程學院，濟南 250101

2.山東建筑大學建筑城規(guī)學院，濟南 250101

樹木年輪是指多年生木本植物莖的橫斷面上的同心環(huán)紋[1]。年輪作為一種樹木特征，記錄了包括氣候變化、自然災害、環(huán)境污染等自然環(huán)境信息。樹木在春夏季生長旺盛，形成早材；在秋冬季生長緩慢，形成晚材[2]。年輪分割技術作為樹木年輪獲取的重要手段，不僅能觀測到樹木年齡，還能推測出氣候環(huán)境對樹木生長的影響，對于人類了解自然環(huán)境的變遷和樹木研究領域的發(fā)展起到巨大的促進作用[3]。

樹木生長過程中，內(nèi)部可能存在節(jié)子、裂紋、蟲孔等缺陷，增加年輪分割難度。傳統(tǒng)年輪分割與測量方法，需科研人員使用立體鏡和移動臺等專業(yè)設備，需對木段切割、打磨和成像，再分割年輪測量統(tǒng)計信息，嚴重依賴經(jīng)驗，步驟繁瑣且效率較低[4]。為準確、高效統(tǒng)計年輪信息，國內(nèi)外學者提出多種年輪特征提取方法，以實現(xiàn)年輪準確分割。王燕鳳等人[5]于2017 年提出雙邊濾波增強方法并應用于輻射松的年輪分割，該方法將Canny算法中的梯度算子由單一方向擴展至4個方向，以多數(shù)投票的方式精準定位年輪，使處理后的年輪邊緣清晰，優(yōu)點是減少了年輪缺失和遺漏，不足之處在于面對結構復雜材種仍存在少量偽邊緣痕跡。張露等人[6]于2019 年針對樹木年輪圖像特征，提出一種基于DoG 算子的邊緣提取算法，結合高斯濾波器可有效抑制年輪圖像邊緣噪聲，消除偽邊緣痕跡，實現(xiàn)圖像中的邊緣數(shù)量信息精確統(tǒng)計和樹齡準確測量。上述學者延續(xù)傳統(tǒng)的年輪圖像采集方法，應用比較基礎的圖像分割策略，對于年輪輪廓清晰的樹種，得到良好的分割效果。Fabijańska 等人[7]于2017 年采用圖像梯度峰值檢測和邊緣鏈接方法分割12 種木材試件年輪圖像，無缺陷年輪分割正確率達到90%以上，存在孔洞缺陷的年輪分割正確率為85%。寧霄等人[8]在2018 年采用的隨機森林算法是一種基于機器學習的方法，以5 張紅松年輪圖像為訓練對象，一次性完成5張紅松橫切面圖像的年輪分割，正確率達到93%以上，雖然分割的年輪結構清晰，但實驗圖像數(shù)量較少，該方法的普適性有待進一步驗證。Ronneberger等人[9]于2015年提出的U-Net模型是一種非常經(jīng)典的語義分割模型，尤其在視網(wǎng)膜血管分割、結直腸息肉分割等醫(yī)學分割領域展現(xiàn)出良好的分割效果。Fabijańska[10]借鑒U-Net模型經(jīng)驗，于2019年首次提出基于U-Net卷積網(wǎng)絡的年輪分割方法，采集75張橡木、榆樹和喬木的試件圖像用于年輪分割，成功檢測出不同寬度、結構和方向的年輪邊界，分割正確率達到96%。為探究U-Net模型在樹木年輪分割方面的效果，寧霄等人[11]于2019年采用U-Net模型訓練16 000張落葉松年輪圖像，并應用訓練好的模型實現(xiàn)4 000 張落葉松年輪圖像高效分割，平均準確率達到96.51%，可見U-Net模型可達到落葉松年輪高效、精確分割的目的。Zhou 等人[12]于2018 年在U-Net網(wǎng)絡的基礎上增加跳躍連接和密集卷積塊，并配合深度監(jiān)督，設計出UNet++模型，該模型是U-Net模型的升級與優(yōu)化，在肺部結節(jié)分割、細胞核分割、肝臟分割等領域取得較好的圖像分割效果。邢妍妍等人[13]于2020 年在UNet++模型基礎上，構建融合型UNet++模型，對于妊娠中期的胎兒頭部分割Dice系數(shù)達98.24%。榮亞琪等人[14]于2022 年基于UNet++模型構建NODEUNet++模型用于紅細胞的初步分割，采用標記分水嶺算法分割血液涂片圖像紅細胞，紅細胞分割的平均像素準確率達98.97%。Li 等人[15]于2022 年改進UNet++模型，構建Residual-Attention UNet++模型，細胞核分割交并比達87.74%。上述學者改進UNet++模型用于醫(yī)學圖像分割，并取得比較精確的結果，細胞、細胞核和胎兒頭部圖像近似于圓形，輪廓為不規(guī)則閉環(huán)曲線，與年輪形態(tài)相似，所以推定UNet++及其改進模型也可用于樹木年輪分割。

本文主要研究內(nèi)容為以杉木橫切面CT圖像為研究對象，構建改進的UNet++年輪分割模型，模型由左側編碼網(wǎng)絡和右側解碼網(wǎng)絡構成，編碼-解碼路徑接收一個輸入，經(jīng)密集卷積塊和跳躍連接的特征提取與融合，完成年輪特征提取。根據(jù)PA、DⅠCE、ⅠoU、MⅠoU等評價指標對模型參數(shù)優(yōu)化，以期達到年輪準確分割的目的。創(chuàng)新之處在于將傳統(tǒng)的UNet++模型的右側增加了一條上采樣路徑，該路徑的卷積塊之間增加了通道注意力機制，更加注重年輪細節(jié)部分的特征提取，并采用BCEWithLogitsLoss 和ReLU 分別作為損失函數(shù)和激活函數(shù)，RMSProp 作為優(yōu)化函數(shù)，解決杉木橫切面圖像蟲孔誤分割，密集年輪欠分割問題。目前針對樹木CT 圖像的分割算法主要用于木材缺陷檢測，鮮有用于年輪分割。年輪數(shù)量與寬度直接反映出當?shù)貧夂颦h(huán)境變化，本文實用性在于，能提高年輪的統(tǒng)計效率，提供年輪數(shù)據(jù)分析方法，進而促進我國氣象學與環(huán)境學發(fā)展。年輪作為木材的宏觀結構，年輪形態(tài)直接影響板材的紋理美觀程度，準確的年輪分割方法可以為木材切割制定預案，帶動木制品產(chǎn)業(yè)經(jīng)濟發(fā)展。

1 實驗數(shù)據(jù)集構建

1.1 材料與設備

杉木（Cunninghamia lanceolata（Lamb.）Hook.），原作為福建省寧德市鳳岐吳氏大宅檐檁，含水率8%，尺寸是135 mm×1 000 mm。表面分布若干細小裂紋，兩處徑向裂紋延伸至髓心。應用醫(yī)療CT（SOMATOM Definition AS 128）掃描成像，設置X射線源電壓、電流分別為120 kV、30 mA，斷層圖像層間距0.6 mm，層厚0.4 mm。如圖1所示。

圖1 檐檁斷層成像Fig.1 Tomography process of eaves purlin

1.2 圖像采集與預處理

杉木CT圖像尺寸512像素×512像素，位圖深度32，合計1 700 張。通過CT 圖像發(fā)現(xiàn)杉木內(nèi)部被木蜂嚴重侵蝕，巢穴縱橫交錯。杉木橫切面年輪界限比較清晰，但被裂紋和蟲孔分割，無法形成完整圓形閉合曲線。從采集的CT 圖像中等間距提取125 張包含裂紋、蟲孔和節(jié)子等缺陷的圖像，缺陷形態(tài)尺寸各異，具體信息如表1所示。

表1 杉木橫切面CT圖像Table 1 Transverse sectional CT images of Chinese fir

剔除圖像冗余信息，僅保留杉木CT圖像年輪區(qū)域，制成125張尺寸276像素×276像素的24位彩色圖像，作為原圖像。采用圖像處理軟件，提取原圖像的年輪，并將年輪定義為前景（白色），其他像素定義為背景（黑色），生成125張8位灰度圖像作為標簽。原圖像與標簽圖像如表1所示。

從125 張原圖像中隨機選擇100 張圖像經(jīng)上下翻轉、左右翻轉、旋轉等處理，擴增至1 000 張圖像作訓練集；提取100 張原圖像制成的標簽圖像，經(jīng)相同的數(shù)據(jù)增強方法，擴增至1 000張標簽圖像。剩余的25張原圖像作為測試集，分割結果與對應的標簽圖像作對比。

2 改進UNet++模型

近幾年圖像分割領域衍生出多種方法，尤其以U-Net模型和UNet++模型在醫(yī)學圖像分割領域表現(xiàn)非常優(yōu)秀[16-18]，模型結構如圖2 所示。圖2（a）為U-Net 模型，由左至右分別為收縮路徑、同層跳躍連接和擴張路徑。收縮路徑包含5 個卷積塊，每個卷積塊進行2 次3×3 的卷積和1次激活操作，卷積塊之間采用2×2最大池化實現(xiàn)下采樣，使圖像通道數(shù)增加1倍。擴張路徑與收縮路徑不同之處在于采用2×2 的反卷積作為上采樣方法替換了最大池化，每次上采樣后，圖像通道數(shù)減半，并通過同層跳躍連接融合收縮路徑的特征，經(jīng)過1×1卷積輸出目標圖像。UNet++模型編碼部分與U-Net 模型的收縮路徑相同，為減少編碼部分和解碼部分的語義差距，避免梯度消失和梯度爆炸，UNet++模型在U-Net模型基礎上增加了密集卷積塊（圖2（b）綠色部分）和密集跳躍連接（圖2（b）黑色虛線）組成的跳躍路徑，同時增加了深度監(jiān)督機制。

圖2 傳統(tǒng)網(wǎng)絡模型Fig.2 Conventional network models

UNet++模型可實現(xiàn)肺部結節(jié)、細胞核和肝臟的高精度分割，在醫(yī)學圖像分割方面效果卓越[19]。但木材橫切面不同于醫(yī)學圖像，年輪通常是不規(guī)則同心圓環(huán)，排列緊密且間距不等，易被裂紋、蟲孔、節(jié)子等缺陷破壞，無法形成閉合曲線，木材橫切面形態(tài)的多樣性特征導致年輪分割困難。所以傳統(tǒng)方法無法準確提取缺陷較多且結構復雜的年輪，而特征提取精度決定圖像分割的準確率。針對上述問題，本文采用改進UNet++模型分割杉木橫切面年輪。

改進UNet++模型保留了UNet++模型的部分結構，如密集卷積塊和跳躍連接，使圖像的低級語義和高級語義更好地融合，同時將網(wǎng)絡深度增加至6 層，豐富年輪特征信息。如圖3 所示，主干特征提取網(wǎng)絡包含6 個卷積塊Xi,0(i∈[0,1,2,3,4,5])，卷積塊使用2 次padding為1的3×3卷積核和1個ReLU激活函數(shù)，并采用2×2的最大池化實現(xiàn)下采樣；加強特征提取網(wǎng)絡由密集卷積塊和密集跳躍連接構成，采用2×2 反卷積核實現(xiàn)上采樣；最右側解碼路徑（圖3深色區(qū)域）的卷積塊內(nèi)部包含2次padding 為1 的3×3 卷積核和1 個ReLU 激活函數(shù)，其后連接1 個通道注意力機制模塊，該模塊連接上采樣，上層卷積塊融合了下層上采樣和同層跳躍連接的不同深度語義特征；最上層卷積塊X0,j(j∈[1,2,3,4,5])融合了不同路徑下的圖像特征；解碼路徑的輸出與最上層卷積結果特征融合，輸出目標圖像。

圖3 改進UNet++模型Fig.3 Ⅰmproved UNet++ model

通道注意力機制通過對輸入圖像的通道特征賦予不同權重，達到模型對圖像重要特征的加強提取，從而提高模型對于復雜年輪圖像的年輪提取效果。

跳躍路徑卷積塊Xi,j的輸出xi,j計算過程如公式（1）所示：

其中，i表示下采樣層的層數(shù)，j表示同層密集卷積塊索引，H(·)表示卷積塊，即卷積層和激活函數(shù)組成的運算，u(·)表示上采樣層，[·]表示連接層。j=0 的卷積塊只有一個來自下采樣層的輸入，j＞0 的卷積塊接收來自上采樣層和跳躍連接的j+1 個輸入。

改進UNet++模型采用ReLU 激活函數(shù)增加網(wǎng)絡稀疏性，進而緩解過擬合現(xiàn)象且縮短模型訓練時間。鑒于標簽圖像的前景（年輪）被標記為白色，背景被標記為黑色，針對黑白兩種顏色狀態(tài)，設置交叉熵函數(shù)BCEWith-LogitsLoss作為損失函數(shù)以解決二分類問題。令優(yōu)化器為RMSProp，用于消除梯度差異導致的抖動，加快模型梯度下降速率，提高年輪分割精度和效率。

3 結果與分析

3.1 實驗環(huán)境

實驗用計算機安裝Windows10 專業(yè)版64 位操作系統(tǒng)，處理器型號為Ⅰntel?Xeon?Gold 6136 CPU @3.00 GHz，內(nèi)存RAM為192 GB，GPU為NVⅠDⅠA GeForce RTX3090（24 GB），調(diào)用GPU提升訓練效率。Anaconda3配置訓練環(huán)境，采用Pytorch+Python3.7 的深度學習框架，Cuda10.0版本。

3.2 模型訓練

杉木經(jīng)CT 設備掃描和圖像篩選，得到125 張含有裂紋、蟲孔和節(jié)子缺陷的斷層圖像，通過裁剪和位深度變換等預處理工作，保留有效區(qū)域作為原圖像，手動標記生成對應的標簽圖像。選取100 張上述圖像進行旋轉、翻轉等操作，將圖像擴充至1 000 張作為訓練集，即年輪分割模型的輸入，訓練后保存最優(yōu)權重；其余25張原圖像作為測試集，采用最優(yōu)權重模型分割后，得到年輪圖像。年輪分割流程如圖4所示。

圖4 年輪分割流程Fig.4 Segmentation process of tree rings

UNet++模型和改進UNet++模型迭代次數(shù)均設置為2 000次，初始學習率為0.000 1，Batch_Size為4，損失函數(shù)為BCEWithLogitsLoss，優(yōu)化器為RMSProp，兩種模型訓練損失值曲線如圖5所示。改進UNet++模型經(jīng)過400 次迭代后，損失值曲線波動減小，兩種模型經(jīng)過1 400 次迭代后，損失值曲線趨于平穩(wěn)，迭代至2 000 次損失值近乎收斂，UNet++模型損失值為0.075，改進UNet++模型損失值為0.021。由圖5可知，改進UNet++模型的收斂速率更快，收斂后的損失值更小，緩解了過擬合現(xiàn)象且縮短了模型訓練時間。

圖5 模型訓練損失值Fig.5 Loss value of models training

3.3 評價指標

本文采用4 種圖像分割性能指標評價年輪分割結果，性能指標包括PA（pixel accuray）、Dice（dice coefficient）、ⅠoU（intersection over union）和MⅠoU（mean intersection over union）。

PA（pixel accuray）表示像素準確率，即預測類別正確的像素數(shù)占總像素數(shù)的比例[20]。

Dice（dice coefficient）表示骰子系數(shù)，即分割圖像和標簽圖像相交的面積，與標簽圖像面積的比值[21]。

ⅠoU（intersection over union）表示交并比，交并比表示該模型對某一像素類別真實值與預測值兩個集合的交集與并集之比[22]，在本文中只求前景（年輪像素類別）的ⅠoU。

MⅠoU（mean intersection over union）表示平均交并比，即計算每一個像素類別真實值集合與預測值集合的交集與并集之比，再求平均值[23]。在本文中表示前景（年輪像素類別）ⅠoU和背景ⅠoU的平均值。

TP 為真正例數(shù)，即模型預測為正例，實際是正例；FP 為假正例數(shù)，即模型預測為正例，實際是反例；FN 為假反例數(shù)，即模型預測為反例，實際是正例；TN為真反例數(shù)，即模型預測為反例，實際是反例。

3.4 消融實驗

本文從模型學習深度和是否增加注意力機制模塊兩個角度設計消融實驗，通過實驗結果構建最優(yōu)模型結構。對比不同深度模型對杉木橫切面CT圖像年輪分割效果，具體評價結果如表2所示。由表2可知，改進模型深度為6 層時，像素準確率（PA）為95.1%，骰子系數(shù)（Dice）為97.5%，交并比（ⅠoU）為90.7%，平均交并比（MⅠoU）為75.0%，各項分割指標最高，6 層學習深度模型的計算量為61.86×109，參數(shù)量為369 334 41，低于7層學習深度模型，高于5層學習深度模型。

表2 不同學習深度的模型年輪分割評價結果Table 2 Evaluation results of tree rings segmentation of models with different learning depths

在6層深度模型上增加一個通道注意力機制，對比有無注意力機制的6層深度模型對杉木橫切面CT圖像年輪分割效果，具體評價結果如表3所示。

表3 模型增加注意力機制前后年輪分割評價結果Table 3 Evaluation results of tree rings segmentation of different models

通過消融實驗，選擇6層深度模型并添加通道注意力機制，得到改進UNet++模型。本文比較U-Net、UNet++和改進UNet++模型對杉木橫切面CT 圖像年輪分割效果，評價結果如表4 所示。由表4 可知，U-Net、UNet++和改進UNet++模型在杉木年輪分割方面均獲得比較好的效果。改進UNet++模型的年輪分割結果，像素準確率（PA）為95.9%，骰子系數(shù)（Dice）為97.9%，交并比（ⅠoU）為92.8%，平均交并比（MⅠoU）為79.4%，優(yōu)于UNet++模型，更優(yōu)于U-Net模型。

表4 年輪分割評價結果Table 4 Evaluation results of tree rings division

其中，PA表示像素被正確預測的概率，更適用于驗證本文方法對年輪分割的準確性評價，3種模型對于25張杉木橫切面CT圖像分割的像素準確率（PA）如圖6所示。

圖6 年輪分割像素準確率Fig.6 Pixel accuray of tree rings division

由圖6可知，3種模型均可有效分割杉木橫切面CT圖像年輪，第1～25 張分割結果的像素準確率（PA）均在88%以上，對于第16張圖像，改進UNet++模型最高分割像素準確率（PA）達到98.2%，而UNet++模型和U-Net模型分別為95.5%和95.0%。對于第10張圖像，改進UNet++模型分割像素準確率（PA）最低，依然可以達到93.4%，而UNet++模型和U-Net模型分別為91.1%和90.2%。除第18 張和第25 張圖像，改進UNet++模型和UNet++模型結果相近，其他圖像改進UNet++模型均優(yōu)于UNet++模型，更優(yōu)于U-Net 模型。為進一步探究改進UNet++模型的年輪分割效果，像素準確率（PA）、骰子系數(shù)（Dice）、交并比（ⅠoU）和平均交并比（MⅠoU）4 種分割結果，如圖7所示。

圖7 年輪分割評價結果Fig.7 Evaluation index results of tree rings division

由圖7可知，改進UNet++模型的4種年輪分割結果差異性較大，平均交并比（MⅠoU）數(shù)值普遍較低，均在90%以下。骰子系數(shù)（Dice）數(shù)值普遍較高，均在95%以上。像素準確率（PA）和交并比（ⅠoU）數(shù)值在上述兩種指標之間，更能準確反映改進UNet++模型對25張杉木橫切面CT圖像年輪分割效果。

3.5 年輪分割效果

4種年輪分割結果說明改進UNet++模型優(yōu)于UNet++模型，更優(yōu)于U-Net模型，所以進一步用杉木橫切面CT圖像展示年輪分割效果，如表5所示。

本文采集的杉木橫切面CT 圖像，含有裂紋、節(jié)子、蟲孔等缺陷，如圖8 所示。圖（a1）中年輪被裂紋切割，但輪廓清晰，只是右上方年輪比較密集。圖（b1）中含有裂紋和節(jié)子，節(jié)子出現(xiàn)在圖像下方，對年輪形態(tài)有一定影響。圖（c1）中除裂紋外，還含有6 個蟲孔，是木蜂巢穴的橫切面，對木材結構破壞性極大。圖（d1）中同時含有裂紋、節(jié)子、蟲孔缺陷，年輪被切割為多段不規(guī)則曲線，無法形成閉合圓環(huán)，增加了年輪分割難度。以125張杉木橫切面CT 圖像為研究對象，分別采用U-Net、UNet++和改進UNet++模型實現(xiàn)年輪分割。研究發(fā)現(xiàn)，3種模型均可以提取杉木年輪結構，由于年輪形態(tài)多樣且受缺陷影響，年輪分割效果不同。U-Net模型對于含有裂紋和節(jié)子缺陷的杉木橫切面，可以實現(xiàn)年輪分割，但年輪斷裂現(xiàn)象嚴重，產(chǎn)生噪聲，降低圖像質量，如圖（a3）和（b3）所示。對于含有蟲孔缺陷的圖像，U-Net 模型分割結果產(chǎn)生嚴重錯誤，將部分蟲孔誤標記為年輪結構，如圖（c3）和（d3）所示，可知U-Net 模型無法實現(xiàn)含有蟲孔缺陷的杉木年輪準確分割。UNet++模型在U-Net模型基礎上增加了密集卷積塊和密集跳躍連接，所以面對上述缺陷表現(xiàn)良好，有效解決多缺陷下的年輪分割問題，優(yōu)點是在剔除蟲孔缺陷方面表現(xiàn)優(yōu)異，沒有發(fā)生蟲孔缺陷誤分割，不足之處在于仍然存在噪聲干擾，尤其在年輪密集區(qū)域產(chǎn)生的斷裂現(xiàn)象嚴重，甚至發(fā)生年輪缺失。采用改進UNet++模型對杉木橫切面CT 圖像年輪分割，取得了非常好的效果，與U-Net和UNet++模型相比，年輪結構非常清晰，不受裂紋、節(jié)子、蟲孔等缺陷影響，年輪完整且連續(xù)性好，極少出現(xiàn)斷裂現(xiàn)象，幾乎不含有噪聲。由于部分年輪結構密集，即使制作的標簽圖像也無法實現(xiàn)年輪準確分割，改進UNet++模型有效解決這一問題，原圖像右上方密集年輪被準確分割，如圖8（a5）和（b5）所示。

圖8 不同模型年輪分割結果Fig.8 Segmentation results of tree rings with different models

4 結論

本文采用改進UNet++模型解決多缺陷干擾下的杉木橫切面CT圖像年輪分割問題，準確提取年輪特征，有效區(qū)分杉木年輪和周圍組織結構。本文構建的模型學習深度為6 層，并增加通道注意力機制，采用BCEWith-LogitsLoss 和ReLU 分別作為損失函數(shù)和激活函數(shù)，RMSProp作為優(yōu)化函數(shù)，提高了模型對年輪特征的學習能力，更適用于杉木橫切面CT 圖像的年輪分割任務。與U-Net 和UNet++模型相比，本文模型年輪分割評價數(shù)據(jù)更優(yōu)秀，對于受裂紋、蟲孔、節(jié)子干擾的年輪分割更準確，有效避免蟲孔誤分割，密集年輪欠分割問題，表現(xiàn)出良好的杉木年輪分割效果。