韓巧玲,趙 玥,趙燕東,劉克雄,龐 曼
?
基于全卷積網(wǎng)絡的土壤斷層掃描圖像中孔隙分割
韓巧玲1,2,3,趙 玥1,2,3※,趙燕東1,2,3,劉克雄1,龐 曼4
(1. 北京林業(yè)大學工學院,北京 100083;2. 城鄉(xiāng)生態(tài)環(huán)境北京實驗室,北京 100083; 3.林業(yè)裝備與自動化國家林業(yè)局重點實驗室,北京 100083;4. 定州市綠谷農(nóng)業(yè)科技發(fā)展有限公司,定州 073006)
針對土壤斷層掃描圖像中存在部分容積效應及因孔隙成分復雜、結構不規(guī)則等引起的分割精度低的問題,該文提出一種全卷積網(wǎng)絡(fully convolutional network,F(xiàn)CN)土壤孔隙分割方法,為土壤科學研究提供技術支持。該文以黑土土壤斷層掃描圖像為研究對象,通過卷積和池化運算輸出不同尺度的孔隙特征圖;將孔隙的深層特征和淺層特征相融合,采用上采樣算子對融合特征進行插值操作,從而輸出孔隙的二值圖。與大津法、分水嶺法、區(qū)域生長法和模糊C均值聚類法(Fuzzy C-means,F(xiàn)CM)4種常用孔隙分割方法的對比結果表明,F(xiàn)CN法在低,中,高3種孔隙密度的土壤圖像中優(yōu)于其他4種方法。FCN法的平均分割正確率為98.1%,比4種常用方法分別高25.6%,48.3%,55.7%和9.5%;FCN法的平均過分割率和欠分割率分別為2.2%和1.3%,僅為次優(yōu)方法(FCM法)的33.8%和23.6%。通過融合土壤孔隙結構的多重特征,F(xiàn)CN法能夠實現(xiàn)土壤孔隙整體和局部信息的精準判斷,為土壤學的研究提供了一種更加智能化的技術手段。
土壤;圖像分割;全卷積網(wǎng)絡;土壤孔隙;深度學習
土壤孔隙是土壤固體顆粒和團聚體之間以及團聚體內部的間隙,其拓撲特征決定著土壤中空氣、水分和養(yǎng)分遷移等生態(tài)過程,進而影響土壤的肥力和農(nóng)作物的產(chǎn)量,是判斷土壤物理性質的重要特征[1-5]。因此,對土壤孔隙拓撲結構的研究,可以真實還原土壤孔隙的幾何形態(tài)和空間分布,為水土資源的相關研究提供技術支持。
計算機斷層掃描技術為土壤孔隙結構的辨識研究提供了高效、無損的技術手段[6-8]。目前,基于土壤斷層掃描圖像的孔隙分割方法主要有大津法、分水嶺法和區(qū)域生長法[9-11]。大津法[12-13]可根據(jù)圖像的灰度特性自適應地選取閾值,從而將土壤圖像分為目標和背景兩部分。而分水嶺法[14-15]基于形態(tài)學的拓撲理論,通過尋找灰度值分布的局部極小值確定分類閾值,以此完成圖像的分割。區(qū)域生長法[16-17]則將具有相似灰度、強度、紋理等特征的相鄰像素合并為一類,通過對各像素的遍歷完成孔隙結構的判斷。但是,由于部分容積效應引起的邊界模糊性、土壤孔隙結構的復雜性和形態(tài)的不規(guī)則性,導致上述幾類方法易錯誤判斷孔隙結構。為解決這一問題,McBratney等[18-20]采用模糊聚類方法完成孔隙結構的辨識,該方法較大地提高了孔隙分割的精度,但其穩(wěn)定性和運算速度易受初始條件(聚類數(shù)目、聚類中心等)的限制,仍無法準確描述復雜的孔隙結構。
卷積神經(jīng)網(wǎng)絡在目標檢測和圖像分類方向取得理想的效果[21-22]。Hariharan等[23]采用卷積神經(jīng)網(wǎng)絡對圖像目標進行定位,通過區(qū)域判斷提高了分割性能,但該方法受區(qū)域尺寸和輸出特征的限制,導致操作復雜且浪費運行內存。為解決上述問題,Long等提出了一種全卷積網(wǎng)絡(fully convolutional networks, FCN)圖像分割算法[24]。該算法采用全卷積層代替全連接層,能保證將卷積特征恢復為原始尺寸的二維矩陣,實現(xiàn)圖像端到端的輸出,便于進行分割操作。同時,其充分利用圖像的線條、形狀、紋理等多層次特征,避免了噪聲對圖像的影響,確保了圖像分割的準確性[25]。因此,該文采用基于FCN的土壤孔隙分割方法,以期解決因孔隙邊界模糊和灰度值不均勻導致的分割精度低的問題。
以土壤斷層掃描圖像為應用對象,借助計算機斷層掃描技術研究了黑土孔隙的拓撲結構,從而為土壤微觀過程的模擬和孔隙尺度上的土壤結構分析提供科學依據(jù)。另外,以人工校準的孔隙真實位置標定圖為標準,通過定性與定量試驗分析了FCN法對于土壤孔隙的適用性和魯棒性評估,以期為土壤科學的發(fā)展提供一種智能化的技術手段。
本試驗所用土壤選自黑龍江省克山農(nóng)場,土壤類型以黏化濕潤均腐土為主。采用內徑和高均為10 cm的有機玻璃管于0~40 cm層深的侵蝕溝壁進行原狀土取樣,共重復取樣3次,得到3個圓柱狀土壤樣本[26-2]。將采集的土壤樣本分別進行干燥、飽和水和冰凍處理,以得到3個不同狀態(tài)的土壤樣本,即為本試驗的研究對象。
將采集的土壤樣本置于Philips Brilliance64層128排螺旋CT機進行掃描處理,以得到土壤斷層掃描圖像。CT掃描儀的參數(shù)分別設定為:電壓120 kV,電流196 mA,掃描間隔1.297 ms,掃描層厚0.9 mm,窗寬(用于顯示CT圖像的特定CT值范圍)和窗位(窗寬上、下限CT值的平均數(shù))分別為2000和800,對3個土柱樣品進行螺旋掃描,每次掃描可得236幅斷層掃描圖像。單個樣本分別經(jīng)歷0、1、3、5次凍融循環(huán),故掃描單個樣本可得1652幅土壤凍結和融化的圖像。因此,本試驗圖像數(shù)據(jù)庫共包含4956幅土壤斷層掃描圖像。
為了降低對計算機顯存的需求,根據(jù)圖像中土壤有效面積的位置,基于圓的內切正方形算法將原始土壤斷層掃描圖像剪裁為211像素×211像素的正方形圖像,用于后續(xù)土壤CT圖像的訓練和測試。
訓練FCN網(wǎng)絡時,孔隙結構的標定對于孔隙特征的提取和訓練具有決定性作用,是影響孔隙分割精度的重要步驟。受CT機器部分容積效應的影響,孔隙邊界為鄰域像素點的灰度平均值,在土壤圖像中呈現(xiàn)一定的模糊性,難以通過觀察直接確定(如圖1a)。因此,需通過人工操作對土壤斷層掃描圖像中的孔隙結構進行標定。
由于孔隙結構間的距離影響孔隙邊界的判斷,針對單獨孔隙和多孔結構分別制定了相應的標定原則(如圖1b和1c所示),以期精確地完成孔隙真實結構的標定。
注:A環(huán)表示灰黑色區(qū)域邊界(土壤固相),B環(huán)是孔隙結構的真實邊界,C環(huán)表示黑色區(qū)域的邊界(孔隙)。
如圖1a藍色區(qū)域所示,土壤中存在相鄰的多孔結構。由于受部分容積效應(partial volume effect, PVE)的影響,相鄰多孔結構間的像素會呈現(xiàn)黑灰色,從而使得黃色圓環(huán)位置遠離孔隙真實邊界,d數(shù)值增大。根據(jù)多次標定試驗發(fā)現(xiàn),加權系數(shù)1取0.3時,針對距離較近的多孔隙結構標定效果最為理想(圖1c)。
基于上述孔隙標定原則,孔隙真實結構標定為如圖2b所示的黑白二值圖。其中,黑色表示土壤孔隙結構,白色表示土壤土顆粒、雜質等固相物質。由圖2原始圖與標定圖的對比可知,無論是單孔結構還是多孔結構,孔隙標定結構均與原始結構具有最大相似性。
圖2 原始圖像與標定圖的對比圖
在比較文獻中常用孔隙分割方法的基礎上,發(fā)現(xiàn)模糊C均值聚類算法(Fuzzy C-means, FCM)的孔隙分割精度最高,因此,為提高標定精度和減少工作量,基于FCM法得到的孔隙二值圖進行孔隙真實結構的標定。每幅孔隙真實結構標定圖都由5個人按照孔隙標定原則進行重復標定,以消除主觀性對標定精度的影響。
全卷積網(wǎng)絡(fully convolutional networks, FCN)的本質是將卷積神經(jīng)網(wǎng)絡的全連接層替換為卷積層,從而保證在輸入為任意尺寸的土壤斷層掃描圖像時,能夠輸出相同尺寸的孔隙二值圖像。用于土壤孔隙分割的FCN網(wǎng)絡具有卷積層、池化層和上采樣層3種不同的隱藏層。
在卷積層運算后,為避免網(wǎng)絡參數(shù)過多造成的過擬合現(xiàn)象,F(xiàn)CN方法引入了池化層[29]。該操作在保留特征的基礎上將圖像劃分為×的固定矩形區(qū)域(和小于原始圖像的尺寸),通過平均值池化或最大值池化,完成對卷積特征的采樣。該文采用最大值池化法,減少網(wǎng)絡參數(shù),降低對圖像旋轉、縮放等操作的敏感度,快速完成網(wǎng)絡的收斂。池化操作不改變輸入圖像的層數(shù),其計算公式為:
式中,x表示在坐標(,)處池化層的輸出值,表示滑動的步長,表示每正方形局部區(qū)域的邊長。池化操作后,為保證輸出與原始土壤斷層掃描圖像相同尺寸的孔隙結構二值圖,F(xiàn)CN網(wǎng)絡中加入了上采樣層。
上采樣層的目的是從不同層次的二維孔隙特征圖中重構出原始尺寸的圖像,并通過對像素級的分類,完成孔隙結構的分割。上采樣層相當于池化操作的逆向運算,其可實現(xiàn)圖像尺寸的擴充,其計算公式如下
基于TensorFlow框架結構,F(xiàn)CN網(wǎng)絡以土壤斷層掃描圖像和人工標定的孔隙真實位置圖作為輸入,在原始圖像基礎上經(jīng)過多次卷積運算、池化運算和上采樣運算后,輸出特點數(shù)量的特征預測圖。以特征預測圖與標定圖之間的誤差作為反饋,完成正向推理運算。然后,通過反向傳播算法實現(xiàn)權值的更新,完成反向的學習運算。在20 000次的迭代學習后,網(wǎng)絡的誤差值趨于收斂,選取此時的參數(shù)為最優(yōu)權值集,從而建立FCN土壤孔隙分割模型?;谠撏寥揽紫斗指钅P?,可完成孔隙結構的分割,輸出土壤孔隙的二值圖。
構建網(wǎng)絡所用圖像數(shù)據(jù)庫共包含4956幅土壤斷層掃描圖像,按照7∶3的原則分為訓練集和測試集,即分別包含3469幅和1487幅圖像。為驗證FCN法的普適性,根據(jù)土壤孔隙率,將測試集分為低(0~0.03)、中(0.03~0.1)和高(0.1~1)3種不同孔隙密集程度的圖像[30]。因此,測試集中包含低、中和高密度圖像分別為669幅、516幅和302幅。本試驗依托谷歌開發(fā)的TensorFlow框架構建FCN網(wǎng)絡結構,硬件環(huán)境如下:Intel core 64位操作系統(tǒng),8核處理器,16 GB內存,GTX-1080,CPU i7-4790 3.60 GHz。
為量化5種方法的孔隙分割效果,引入分割正確率、過分割率和欠分割率3個指標。孔隙分割正確率表示孔隙被正確分割的比例,描述的是孔隙結構的整體情況。其定義表示如下
式中,P為算法的孔隙分割正確率,取值范圍為(1,5),該數(shù)值分別表示大津法、分水嶺法、區(qū)域生長法、FCM法和FCN法。N為算法錯檢的像素數(shù),為圖像中孔隙的總像素數(shù)。
過分割率描述土壤固相物質被識別為孔隙的比例,而欠分割率則是土壤孔隙被識別成非孔隙的比例,其值越小,表示孔隙分割性能越好。計算公式分別為:
式中,O表示不應該包含在分割結果、實際卻在分割結果中的像素點個數(shù);R表示孔隙真實結構標定圖中孔隙像素點的個數(shù);U表示本應該包含在分割結果中的像素點個數(shù),實際卻不在分割結果中的像素點個數(shù)。
如圖3所示,為隨機選取的5種方法基于低密度土壤斷層掃描圖像進行的孔隙分割結果。圖3a為土壤圖像對應的孔隙真實結構標定圖,是評價不同方法孔隙分割效果的參考基準。
圖3 不同方法的分割結果對比
由分割結果可知,各方法的孔隙分割效果存在較大差異。由圖3中的方形框可知,分水嶺法(圖3c)和區(qū)域生長法(圖3d)存在很大程度的過分割現(xiàn)象,主要體現(xiàn)在不屬于孔隙結構的土壤固相物質被誤分割成孔隙,無法準確判斷出位置相近的孔隙結構的邊界,對孔隙結構的區(qū)分性不理想。大津法(圖3b)在一定程度上避免了過分割現(xiàn)象,但當土壤小孔隙與大孔隙的距離相近時,會將其判斷為一個連通的大孔隙,無法單獨分割出小孔隙。圖3e所示的FCM法雖然整體分割效果較好,但在孔隙密集區(qū)域仍會出現(xiàn)孔隙結構相連的情況。相較于前4種方法,F(xiàn)CN法分割出的孔隙結構與標定圖最為接近。由圖3f可知,F(xiàn)CN法不僅能夠準確地分離土壤固相物質與孔隙結構,也能夠清楚地分割出細小孔隙結構,有利于孔隙細節(jié)信息的保存。
比較圖3圓形框的孔隙結構可知,大津法無法識別出該孔隙結構,會丟失孔隙的細節(jié)信息,而分水嶺法和區(qū)域生長法則過大估計了孔隙結構。這主要是因為孔隙的形態(tài)和灰度各不相同,同一分割方法對不同位置的孔隙的分割效果也不相同,因此,常用的分割方法獲得的孔隙結構與孔隙真實位置標定圖的存在一定差異。然而,F(xiàn)CN方法則能準確地提取不同類型的土壤孔隙的邊界信息,并精確定位不規(guī)則孔隙的空間位置,從而保證有效分離固相雜質等無效信息。
通過定性比較分析可知,F(xiàn)CN法分割出的孔隙結構與孔隙真實位置標定圖相一致,其效果優(yōu)于其他4種方法,證明了FCN法在復雜背景下對土壤孔隙分割的有效性。這一優(yōu)勢主要歸功于網(wǎng)絡中的多個卷積層,較淺的卷積層能夠學習到孔隙結構的局部特征(如灰度,形狀等),而較深的卷積層可從圖像整體獲取孔隙的抽象特征(如紋理等),通過多層特征的結合,F(xiàn)CN法可準確分離孔隙結構和和固相物質。
為進一步比較5種方法的分割效果,將其在低、中和高3種不同孔隙密集程度的土壤斷層掃描圖像中進行了定量分析。表1所示為5種方法的分割正確率,所列數(shù)據(jù)以均值和標準差的形式呈現(xiàn)。
表1 不同方法的分割正確率
由表1結果可得,大津法的分割正確率在低、中、高3種孔隙密度的土壤斷層掃描圖像中都高于分水嶺法和區(qū)域生長法,但均低于FCM法,這一結論與2.1節(jié)的試驗結果一致。
由5種方法的平均正確率可知,F(xiàn)CM法的平均分割正確率為89.6%,對土壤孔隙的分割已經(jīng)有相對較高的精度。但FCN法在3種土壤孔隙密度條件下的平均分割正確率達到了98.1%,比大津法、分水嶺法、區(qū)域生長法和FCM法分別高25.6%,48.3%,55.7%和9.5%,說明其能更大程度上還原孔隙的總體信息,更加精確的刻畫孔隙特性。
綜上所示,F(xiàn)CN法能夠自動提取并學習土壤孔隙的高級特征,從而使其具有較強的泛化能力和魯棒性,能夠顯著提高孔隙的分割正確率。
表2所示為5種方法的過分割率,所列數(shù)據(jù)以均值和標準差的形式呈現(xiàn)。
表2 不同方法的過分割率
由表5過分割率可知,分水嶺法和區(qū)域生長法的平均過分割率分別達到17.7%和22.5%,而大津法和FCM法具有相似的平均過分割率,均小于上述2種方法。FCM法的過分割率在低密度和高密度的土壤圖像中均低于大津法,但在中密度土壤圖像比大津法高4.3%,這一現(xiàn)象主要是因為初始參數(shù)(聚類數(shù)目、初始聚類中心、初始隸屬度矩陣)選擇的不合理。相較于常用的4種孔隙分割方法,F(xiàn)CN法在3種土壤孔隙密度條件下均具有最小的平均過分割率(2.2%)。相比以上4種方法,F(xiàn)CN法的平均過分割率為分水嶺法和區(qū)域生長法的12.4%和9.8%,僅為次優(yōu)方法(FCM法)的33.8%,證明了FCN法在土壤孔隙分割上的優(yōu)越性。
綜上所示,F(xiàn)CN法針對不同類型的土壤圖像均具有最小的過分割率,能夠準確判斷出土壤的固相物質和孔隙結構,對于土壤內部不同物質具有較強的魯棒性。
5種方法的欠分割率以均值和標準差的形式在表3中展示。由最后一列結果可知,大津法和分水嶺法具有最高的平均欠分割率,區(qū)域生長法和FCM法其次,而FCN法的平均欠分割率為1.3%,比其他方法至少低4.1%。同樣地,針對低密度、中密度、高密度3類土壤斷層掃描圖像,F(xiàn)CN法均具有最小的欠分割率,僅為次優(yōu)方法(FCM法)的23.6%。
表3 不同方法的欠分割率
綜上所述,F(xiàn)CN法可準確描述土壤孔隙的形狀、大小和位置等信息,最大程度的還原孔隙結構,對土壤孔隙的研究具有重要的參考價值。
基于土壤孔隙的特性和深度學習理論,該文提出一種基于全卷積網(wǎng)絡的土壤孔隙分割方法(FCN法)。該方法利用卷積算子提取土壤孔隙結構的多重特征,并通過加入池化算子來減少網(wǎng)絡計算量和卷積核權重的數(shù)目;并采用上采樣算子使網(wǎng)絡輸出與原始圖像尺寸相同的孔隙二值圖像。為了精確分析FCN方法對土壤斷層掃描圖像中孔隙分割的性能,基于孔隙分布密集程度的特點,將土壤斷層掃描圖像分為低密度,中密度,高密度3個類別,以進行5種分割方法的比較分析。同時,采用分割正確率、過分割率、欠分割率3個指標來量化5種方法的孔隙分割性能,得到主要結論如下:
1)FCN方法可彌補傳統(tǒng)分割方法在進行土壤孔隙信息提取時僅用到灰度、邊緣等低級特征的問題。通過融合土壤孔隙淺層和深層的多重特征,F(xiàn)CN方法可有效分割不規(guī)則的孔隙結構,特別是能夠精確刻畫孔隙的細節(jié)信息。通過自主學習孔隙結構的特征,F(xiàn)CN法具有較高的孔隙結構的分割精度,可為土壤學的研究提供一種智能化的技術手段。
2)FCN法針對復雜背景下的土壤孔隙分割具有良好的泛化能力和魯棒性。試驗結果表明,F(xiàn)CN法在3類孔隙密度土壤圖像上的分割效果均優(yōu)于其余4種方法。其中,F(xiàn)CN法的平均分割正確率為98.1%,分別比大津法、分水嶺法、區(qū)域生長法和FCM法的分割正確率高25.6%,48.3%,55.7%和9.5%,在分割孔隙結構方面具有較大優(yōu)勢。FCN法的平均過分割率和欠分割率為2.2%和1.3%,僅為次優(yōu)方法(FCM法)的33.8%和23.6%。
綜上所示,F(xiàn)CN法具有良好的孔隙分割性能。通過融合土壤孔隙的多重特征,該方法能夠準確提取孔隙信息、還原孔隙空間分布,可為孔隙尺度上的土壤結構分析提供科學依據(jù)和智能化的技術手段。
[1] Hill R L, Horton R, Cruse R M. Tillage effects on soil water retention and pore size distribution of two mollisols[J]. Soil Science Society of America Journal,1984, 49(5):1264-1270.
[2] Tokumoto I, Noborio K, Koga K. Coupled water and heat flow in a grass field with aggregated Andisol during soil-freezing periods[J]. Cold Regions Science and Technology, 2010, 62(2/3): 98-106.
[3] Yu X, Fu Y, Lu S. Characterization of the pore structure and cementing substances of soil aggregates by a combination of synchrotron radiation X-ray micro-computed tomography and scanning electron microscopy[J]. European Journal of Soil Science, 2017, 68(1): 66-79.
[4] Meira Cássaro F A, Posadas Durand A N, Gimenez D, et al. Pore-size distributions of soils derived using a geometrical approach and multiple resolution microct images[J]. Soil Science Society of America Journal, 2017, 81(3): 468-476.
[5] Taina I A, Heck R J, Elliot T R, et al. Micromorphological and X-ray μCT study of Orthic Humic Gleysols under different management conditions[J]. Geoderma, 2010, 158(3): 110-119.
[6] Cnudde V, Boone M N. High-resolution X-ray computed tomography in geosciences: A review of the current technology and applications[J]. Earth-Science Reviews, 2013, 123: 1-17.
[7] Munkholm L J, Richard H J, Deen B. Soil pore characteristics assessed from X-ray micro-CT derived images and correlations to soil friability[J]. Geoderma, 2012(181/182): 22-29.
[8] 姚志華,陳正漢,李加貴,等. 基于CT技術的原狀黃土細觀結構動態(tài)演化特征[J]. 農(nóng)業(yè)工程學報,2017,33(13):134-142.
Yao Zhihua, Chen Zhenghan, Li Jiagui, et al. Meso-structure dynamic evolution characteristic of undisturbed loess based on CT technology [J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(13): 134-142. (in Chinese with English abstract)
[9] Nicholas J, Mats L, John K. Connectivity and percolation of structural pore networks in a cultivated silt loam soil quantified by X-ray tomography[J]. Geoderma, 2017, 287: 71-79.
[10] Sarah S, Erwan P, Lique L, et al. X-ray Micro-CT: How soil pore space description can be altered by image processing[J]. Vadose Zone Journal, 2018, 17(1). DOI: 10.2136/vzj2016.06. 0049.
[11] Yu X, Wu C, Fu Y. Three-dimensional pore structure and carbon distribution of macroaggregates in biochar-amended soil[J]. European Journal of Soil Science, 2016, 67(1): 109-120.
[12] Jarvis N, Larsbo M, Koestel J. Connectivity and percolation of structural pore networks in a cultivated silt loam soil quantified by X-ray tomography[J]. Geoderma, 2017, 287: 71-79.
[13] Otsu N. A threshold selection method from gray-Level histograms[J]. IEEE Transactions on Systems Man and Cybernetics, 1979, 9(1): 62-66.
[14] Vincent L, Soille P. Watersheds in digital spaces: An efficient algorithm based on immersion simulations[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 1991, 13(6): 583-598.
[15] Zhou H, Mooney S J, Peng X H. Bimodal soil pore structure investigated by a combined soil water retention curve and X-ray Computed Tomography approach[J]. Soil Science Society of America Journal, 2017, 81(6): 1270-1278.
[16] Kamdi S, Krishna R K. Image segmentation and region growing algorithm[J]. International Journal of Computer Technology & Electronics Engineering, 2012, 1(2): 103-107.
[17] Schnaar G, Brusseau M L. Characterizing pore-scale configuration of organic immiscible liquid in multiphase systems with synchrotron X-ray microtomography[J]. Vadose Zone Journal, 2006, 5(2): 641-648.
[18] McBratney A B, Odeh I O A. Application of fuzzy sets in soil science: Fuzzy logic, fuzzy measurements and fuzzy decisions[J]. Geoderma, 1997, 77(2/3/4): 85-113.
[19] Sun X L, Zhao Y G, Wang H L, et al. Sensitivity of digital soil maps based on FCM to the fuzzy exponent and the number of clusters[J]. Geoderma, 2012(171/172): 24-34.
[20] 趙玥,韓巧玲,趙燕東. 基于CT掃描技術的土壤孔隙定量表達優(yōu)化[J]. 農(nóng)業(yè)機械學報,2017,48(10):252-259.
Zhao Yue, Han Qiaoling, Zhao Yandong. Optimization of soil pore quantitative expression based on computed tomography scanning technology[J]. Transactions of the Chinese Society for Agricultural Machinery, 2017, 48(10): 252-259. (in Chinese with English abstract)
[21] Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks[C]// Neural Information Processing Systems, Nevada, 2012: 1097-1105.
[22] Noh H, Hong S, Han B. Learning deconvolution network for semantic segmentation[C]//IEEE International Conference on Computer Vision, Liverpool, 2015: 1520-1528.
[23] Hariharan B, Arbeláez P, Girshick R, et al. Simultaneous detection and segmentation[C]// European Conference on Computer Vision, Zürich, 2014: 297-312.
[24] Long J, Shelhamer E, Darrell T. Fully convolutional networks for semantic segmentation[C]//IEEE Conference on Computer Vision and Pattern Recognition, Boston, 2015: 3431-3440.
[25] Dai J, He K, Sun J. Instance-aware semantic segmentation via multi-task network cascades[C]//IEEE Conference on Computer Vision and Pattern Recognition, Boston, 2015: 3150-3158.
[26] 王恩姮,盧倩倩,陳祥偉. 模擬凍融循環(huán)對黑土剖面大孔隙特征的影響[J]. 土壤學報,2014,51(3):490-496.
Wang Enheng,Lu Qianqian, Chen Xiangwei. Characterization of macro-pores in mollisol profile subjected to simulated freezing-thawing alternation[J]. Acta Pedologica Sinica, 2014, 51(3): 490-496. (in Chinese with English abstract)
[27] 趙玥,韓巧玲,趙燕東. 基于灰度-梯度特征的改進FCM土壤孔隙辨識方法[J]. 農(nóng)業(yè)機械學報,2018,49(3):279-286.
Zhao Yue, Han Qiaoling, Zhao Yandong. Improved FCM method for pore identification based on grayscale- gradient features[J]. Transactions of the Chinese Society for Agricultural Machinery, 2018, 49(3): 279-286. (in Chinese with English abstract)
[28] Shen X Y, Hertzmann A, Jia J Y, et al. Automatic portrait segmentation for image stylization[J]. Computer Graphics Forum, 2016, 35(2): 93-102.
[29] Ghiasi G, Fowlkes C C. Laplacian pyramid reconstruction and refinement for semantic segmentation[C]//European Conference on Computer Vision, 2016: 519-534.
[30] Hapca S M, Houston A N, Otten W, te al. New local thresholding method for soil images by minimizing grayscale intra-class variance[J]. Vadose Zone Journal, 2013, 12(3): 1-13.
Soil pore segmentation of computed tomography images based on fully convolutional network
Han Qiaoling1,2,3,Zhao Yue1,2,3※, Zhao Yandong1,2,3,Liu Kexiong1, Pang Man4
(1.,100083; 2.,100083,; 3.100083,; 4.073006,)
In this paper, a soil pore segmentation method based on fully convolutional network (FCN) is proposed to improve the accuracy of pore segmentation in soil image and provide technical support for the research of soil science. Taking the soil of typical black soil as the research object, the soil computed tomography image were obtained by scanning and cutting. Based on the FCN network, the soil image and the calibrated image of pore structure were input for convoluting, pooling and deconvoluting operations, and the error between the prediction image and the calibration image was used as feedback to complete the forward inference operation. Then, the weight value was updated by the back propagation algorithm to establish the soil pore segmentation model. Fully considering the pore geometry and spatial distribution characteristics, the pore model can accurately output the soil pore binary image. Meanwhile, the commonly used segmentation methods in the literature, such as Otsu method, watershed method, regional growth method and Fuzzy C-means method (FCM) were adopted for the comparative experiments on soil computed tomography images with low pore density (0-0.03), medium pore density (0.03-0.1) and high pore density (0.1-1) which were defined by porosity of soil. The experimental results showed that the watershed method and the regional growth method overestimate the pore structure of different geometries, including cracks between the pores, whereas the Otsu method and FCM method tended to overestimate the macropores and underestimate the micropores. Compared the five methods, the FCN method can accurately extract the pore structures with vary topologies from the complex soil computed tomography images with low, medium and high pore density. Moreover, the segmentation accuracy rate, over-segmentation rate, and under-segmentation rate were used to evaluate the soil pore segmentation performance of five methods. Based on 1487 soil computed tomography images, the average segmentation accuracy of FCN pore segmentation method was 98.1%, which was 25.6%, 48.3%, 55.7% and 9.5% higher than that of Otsu method, watershed method, regional growth method and FCM method. The average over-segmentation rate of the FCN pore segmentation method was 2.2%, which was only 33.8% of the suboptimal method (FCM method), respectively. And the average under-segmentation rate of the FCN pore segmentation method was 1.3%, which was only 23.6% of the suboptimal method (FCM method). In total, the FCN method can accurately extract the pore topology, restore the spatial distribution of pores and its application can make up for the shortcoming that the traditional segmentation method only uses the low-level features (gray and edge) when extracting the pore structure. Owing to the multiple convolution layers in the network, the FCN method can obtain the vary features of pore structure, so it has strong generalization ability and robustness of pore segmentation for different types of soil images. This paper will has a good reference for the microscopic process simulation , 3D reconstruction and soil structure analysis on the pore scale, and can provide a more intelligent technical method for soil science.
soils; image segmentation; full convolutional network; soil pore; deep learning
10.11975/j.issn.1002-6819.2019.02.017
S152
A
1002-6819(2019)-02-0128-06
2018-06-12
2019-01-08
國家重點研發(fā)計劃項目(2017YFD0600901)、北京市共建項目專項、中央高?;究蒲袠I(yè)務費專項資金項目(2015ZCQ-GX-04)、河北省創(chuàng)新能力提升計劃工作類項目(18827408D)資助
韓巧玲,博士生,主要從事生態(tài)信息智能檢測,圖像處理與模式識別等研究。Email:hanqiaoling0@bjfu.edu.cn
趙 玥,副教授,博士,主要從事圖像處理與模式識別、機器視覺與模式識別等研究。Email:zhaoyue0609@126.com
韓巧玲,趙 玥,趙燕東,劉克雄,龐 曼. 基于全卷積網(wǎng)絡的土壤斷層掃描圖像中孔隙分割[J]. 農(nóng)業(yè)工程學報,2019,35(2):128-133. doi:10.11975/j.issn.1002-6819.2019.02.017 http://www.tcsae.org
Han Qiaoling, Zhao Yue, Zhao Yandong, Liu Kexiong, Pang Man. Soil pore segmentation of computed tomography images based on fully convolutional network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(2): 128-133. (in Chinese with English abstract) doi:10.11975/j.issn.1002-6819.2019.02.017 http://www.tcsae.org