基于對抗域適應網(wǎng)絡的土壤水分智能識別算法

孫德鑫

（長安大學工程機械學院，陜西 西安 710064）

0 引言

中國有著全世界分布最為廣泛的黃土高原，主要分布于陜西等7個省區(qū)、34個地級市，分布面積達44萬km2，占國土面積的6.6%。隨著國家戰(zhàn)略的逐步實施，平山修城、治溝造地等大批工程落地。然而，大批的工程建設嚴重擾動土體，誘發(fā)了一系列工程災變，如邊坡沖蝕、邊坡滑坡、填方路基坍塌等[1]。通常認為，水是導致邊坡滑坡等災變最為重要的因素[2]，因為降雨入滲會造成土壤的內(nèi)聚力和摩擦力降低，為邊坡滑坡等災變提供必要條件[3]。而土壤含水率深層原位探測是揭示滑坡等孕育機制和演化規(guī)律的基礎[4]。為了滿足重大工程擾動下的含水率測量需要，提出一種適用于不同土壤類型且不受深度制約的探測方法。通過將土壤含水率識別技術嵌入在搭載有機器視覺系統(tǒng)的孔洞機器人上，來完成對土壤含水率的測量，而針對此系統(tǒng)的研發(fā)，土壤含水率的智能識別算法最為關鍵。

目前，對于含水率的原位探測有接觸式、非接觸式等方法。通常，時域反射法（TDR）[5]、頻域反射法（FDR）[6]及中子法[7]均屬于接觸式探測方法。時域反射法一般通過獲得土壤的介電常數(shù)來進行含水率的測量，可以進行連續(xù)測量，測量方位廣且對土壤環(huán)境無擾動，但其設備較復雜且昂貴。頻域反射法通常獲取土壤共振頻率來測量土壤含水率，它幾乎具有時域反射法的所有優(yōu)點，但其更容易受到土壤黏粒、鹽度等因素的影響。同時，針對土壤含水率長時間的實時監(jiān)測問題，通常需要對所測得的含水率結果進行溫度校正。中子法對土壤含水率的獲取主要通過探測土壤內(nèi)部的慢中子云密度來實現(xiàn)，其優(yōu)點是操作簡單、速度較快且一般不受溫度的影響；其缺點是設備較昂貴、精度低、容易受土壤理化性質(zhì)的影響；此外，中子的使用也會對使用者的健康有影響。相比于頻域反射法和中子法，時域反射法的精度更高。紅外遙感法[8]和探地雷達法[9]屬于非接觸式土壤含水率測量方法。肖穎等以Lamber-Beer定律為基礎，研發(fā)了用于土壤含水率測量的近紅外水分儀，該測量方法較其他方法具有非接觸連續(xù)檢測、穩(wěn)定及安裝方便等優(yōu)點，但在土壤壓實度差異較大時，需要在測量過程中進行標定，且一般對土壤粒徑大小比較敏感。Belton在1937年提出了探地雷達探測原理，后期被應用到土壤含水率檢測中。探地雷達具有較高的分辨率以及強大的抗干擾能力，能適應大范圍的土壤含水率檢測，但其設備昂貴，數(shù)據(jù)的處理過程較為復雜，因此并未被大規(guī)模應用。針對黃土含水率的原位檢測還有其他的一些方法，如電阻法和張力計法。電阻法利用土壤電阻率的變化進行土壤含水率的測量，探測快速，不會對土壤造成損傷，但對溫度和鹽分較敏感，測試誤差較大。張力計法是通過將張力計插入土壤中，利用土壤中水分的壓差獲得含水率。張力計法的儀器操作簡單、方便，可以進行實時觀測，但容易受環(huán)境的影響，使得其測量精度不高。

隨著深度學習技術的快速興起，計算機視覺的諸多領域開始進入人們的視野，其中，對圖像識別技術的研究和應用較為突出。LeNet是LeCun提出的史上第一個卷積網(wǎng)絡，被用于手寫數(shù)字的識別。Hinton提出的AlexNet是第一個深度卷積模型，采用ReLu激活函數(shù)解決梯度消失問題，并利用Dropout層防止在訓練過程中的過擬合。ⅤGG和GoogleNet在深度網(wǎng)絡結構的基礎上不斷加深，以提高識別的準確率。然而，一味地增加網(wǎng)絡深度會造成模型退化問題，He等[10]提出一種殘差連接方法，并將其應用于ResNet網(wǎng)絡，成功解決了此問題。為使移動端或嵌入式設備能夠搭載復雜而龐大的網(wǎng)絡，Google團隊于2017年提出輕量化網(wǎng)絡MobileNet，隨后提出多個版本，其在犧牲小準確率的前提下大大減少了模型參數(shù)。之后，Xception[11]等一系列輕量化模型被提出，在具有小參數(shù)量的前提下提高了圖像識別精度。Ⅴaswani等[12]提出的self-attention機制和Transformer模型，開啟了神經(jīng)網(wǎng)絡模型新范式，在NLP（自然語言處理）中大放異彩，基于Transformer強大的特征表示能力，其被引入計算機視覺任務中。Dosovitskiy等首次提出視覺Transformers模型ⅤiT，并在圖像識別的任務上取得先進水平。ⅤiT模型的提出為Transformer在視覺領域的應用開啟了大門，隨后，系列ⅤiT變種相繼被提出，如TNT、Swin Transformer等，從多角度、深層次挖掘了Transformer在視覺任務上的潛力。

不同地區(qū)的土壤組成差異較大，構建所有地區(qū)的土壤數(shù)據(jù)集十分困難，這為開發(fā)土壤含水率識別算法增加了難度。而域適應為解決上述問題提供了新思路，域適應方法多種多樣，其中，基于對抗的域適應方法是最為主流的方法。Ganin最早提出將對抗機制應用到域適應網(wǎng)絡訓練中，并提出了首個使用對抗訓練的域適應網(wǎng)絡DANN；Tzeng在DANN的基礎上進行改進，提出域適應網(wǎng)絡ADDA，將其改進為使用GAN損失將優(yōu)化過程分為生成器和判別器兩個獨立的目標。為考慮對齊兩種數(shù)據(jù)的邊緣分布，Long等[13]提出了條件對抗域適應方法CDAN。

為了實現(xiàn)土壤含水率的深層探測，基于域適應原理，利用所建立的土壤含水率數(shù)據(jù)集，基于對抗域適應模型CDAN進行土壤含水率的遷移識別，分別比較ResNet、Xception、MobileNetⅤ2和ⅤiT四種深度網(wǎng)絡的含水率識別效果，以最好的網(wǎng)絡作為域適應模型CDAN的特征提取器，通過對比分析不同特征器的域適應模型對土壤含水率圖像的識別準確率，確定精度最高的模型為遷移模型，為開發(fā)土壤地質(zhì)信息探測機器人提供技術支持。主要工作如下：

1）針對不同地區(qū)土壤差異大、使用傳統(tǒng)卷積神經(jīng)網(wǎng)絡方法能力差的問題，基于對抗域適應方法，利用對抗域適應模型CDAN進行含水率的遷移識別，并比較ResNet、Xception、MobileNetⅤ2和ⅤiT四種深度模型的含水率識別效果，以結果最優(yōu)的網(wǎng)絡作為域適應網(wǎng)絡的特征提取器。

2）在已建立的土壤含水率數(shù)據(jù)集和所構建的遷移測試任務的基礎上，驗證CDAN模型的有效性，并對比分析MobileNetⅤ2、Xception和ⅤiT模型直接遷移的效果。

1 數(shù)據(jù)集

1.1 構建數(shù)據(jù)集

土壤含水率數(shù)據(jù)集由實驗室構建，用于訓練和測試所構建的含水率智能識別算法，其包括延安土壤數(shù)據(jù)集、藍田土壤數(shù)據(jù)集、蘭州土壤數(shù)據(jù)集，共有14 400張圖像，每種黃土數(shù)據(jù)集包括5%、7%、9%、11%、13%、15%、17%、19%的8類以2%含水率梯度變化的土壤圖像，每張圖像的像素大小為244×244。分別以8∶2的比例將各數(shù)據(jù)集內(nèi)的圖片劃為訓練集和測試集，用以網(wǎng)絡參數(shù)訓練和模型效果檢驗。

1.2 遷移任務配置

以構建的土壤含水率數(shù)據(jù)集為基礎，在每兩種黃土之間進行一種域適應訓練，每一種土壤可作為源域遷移至其他兩種土壤上，具體的遷移任務如表1所示。延安土壤用Y表示，蘭州土壤用Z表示，藍田土壤用T表示。

表1 遷移任務配置

2 模型構建

2.1 Ⅴision Transformer（ⅤiT）結構

ⅤiT結構中最主要的部分為Multi-head selfattention(MSA)，主要用于Transformer捕獲長范圍依賴關系。具體來說，MSA串聯(lián)多個縮放點積注意（SA），每個SA模塊以一組query(Q)、key(K)和value(V)作為輸入。為學習不同位置之間的依賴關系，SA計算query與所有key的點積，并使用softmax函數(shù)獲得value的權重。Ⅴision Transformer的具體結構如圖1所示，SA的定義如式（1）所示：

圖1 Ⅴision Transformer結構

式中，d為Q和K的維度。

則MSA定義如下：

用Transformer處理圖像信息，采用將圖像切分成大小固定的塊的做法。首先，將輸入的圖像X∈?H×W×C重塑為X∈?N×(P×P×C)，其中，C為通道數(shù)，P為分割塊（patch）的大小，N為輸入序列的長度。將分割塊的圖像信息、位置信息和圖像類別信息重構到一維向量作為輸入：

式中，xcla為可學習的嵌入詞向量；為線性變換，將向量壓縮到D維，稱為Patch Embedding；Epos為序列位置信息，E∈?(P×P×C)×D，Epos∈?(N+1)×D。

其次，將重塑好的序列輸入到Transformer Encoder中，經(jīng)過L次Encoder處理，最后再經(jīng)過一個LayerNorm層處理：

2.2 CDAN網(wǎng)絡結構

CDAN網(wǎng)絡結構如圖2所示，首先，使用特征提取器對源域圖像Xs和目標域圖像Xt進行特征提取，得到特征圖f，然后通過全連接層后得到預測結果g；然后將預測結果g與特征圖f聯(lián)合送入域鑒別器D中，?表示使用多線性映射對f和g聯(lián)結。

圖2 CDAN網(wǎng)絡結構

2.2.1 多線性調(diào)整

使用多線性映射可以模擬不同變量之間的乘法相互作用，并且能夠捕捉到復雜數(shù)據(jù)分布后的多模態(tài)結構。然而，使用多線性映射會造成維度爆炸，故使用隨機采樣策略解決此問題：

式中，df表示f的維度；dg表示g的維度；T⊙(f,g)=(Rff)⊙(Rgg)，d為采樣維度，Rf和Rg為隨機矩陣。

2.2.2 熵調(diào)整

條件判別器中，使用最大最小優(yōu)化方法會存在一定問題，判別器強制不用樣本具有相同的重要性，而具有不確定性、難遷移的樣本會對抗產(chǎn)生負面影響。為了減少這種影響，通過熵為類別c的預測概率，C為類別數(shù)）定量分析分類器預測結果的不確定性，則預測結果的確定性為e-H(g)。通過基于熵的確定性策略調(diào)整域判別器，最終優(yōu)化目標為：

式中，G為特征提取器；L為交叉熵損失函數(shù)；ω(H(g))為熵感知權重，ω(H(g))=1+e-H(g)；D為域鑒別器。

3 結果與分析

3.1 特征提取網(wǎng)絡的選擇

在驗證域適應算法效果前，需選擇一個合適的特征提取器，因此，對ResNet、MobileNetⅤ2、Xception和ⅤiT四種特征提取器進行實驗對比。四種特征提取網(wǎng)絡所搭建的含水率識別模型的測試準確率曲線如圖3所示。依據(jù)不同模型的測試準確率，選擇最優(yōu)的特征提取網(wǎng)絡。具體參數(shù)對比如表2所示，從表中可看出，ⅤiT在三種不同土壤數(shù)據(jù)集上的平均測試準確率最高，故選擇ⅤiT作為域適應網(wǎng)絡的特征提取器。

圖3 識別模型準確率曲線

表2 不同特征提取器在三種黃土數(shù)據(jù)集上的測試準確率

3.2 算法性能對比分析

進行對抗域適應算法CDAN的遷移測試及與其他識別方法的對比分析，各方法在不同遷移任務上的測試準確率如表3所示?？梢杂^察到：使用MobileNetⅤ2直接遷移方法的識別準確率最低；而與之相比較的其他直接遷移識別方法如Xception和ⅤiT的識別精度同樣不高。對抗域適應方法CDAN的測試結果都明顯高于其他方法，進行域適應后，平均精度提高了18%以上。因此，使用域適應方法可以有效消除源域和目標域數(shù)據(jù)分布之間的差異，可以獲得較好的特征表示，從而具有較好的識別效果。CDAN算法在六種遷移任務中的測試準確率在68%～84%之間，測試準確率都優(yōu)于MobileNetⅤ2、Xception和ⅤiT，體現(xiàn)出了域適應算法的有效性。

表3 不同識別方法在六種遷移任務中的測試準確率

4 結果與結論

為了解決特定地區(qū)土壤含水率數(shù)據(jù)集訓練出的卷積神經(jīng)網(wǎng)絡用于其他地區(qū)土壤含水率識別時的識別準確率低、泛化性能差以及土壤種類多樣、不同地區(qū)土壤顏色差別大的問題，使用土壤含水率對抗域適應模型，構建了五種不同特征提取網(wǎng)絡的土壤含水率對抗域適應模型CDAN，在所構建的三個地區(qū)土壤含水率數(shù)據(jù)集的基礎上，利用ResNet、Xception、MobileNetⅤ2和ⅤiT網(wǎng)絡分別作為CDAN的特征提取器，搭建具有不同特征提取網(wǎng)絡的土壤含水率對抗域適應模型。對比分析了不同模型性能，確定了最優(yōu)的土壤含水率識別模型。通過三種土壤含水率數(shù)據(jù)集的遷移實驗，對比四種模型在不同遷移任務上的遷移效果。結果表明：域適應方法在六種遷移任務上均體現(xiàn)出了更好的分類能力，且測試準確率均能達到68.8%以上，其中，延安土壤向藍田土壤遷移的測試準確率最高，達到84.3%。

然而，目前的土壤含水率識別算法僅適用于實驗室條件下所搭建的土壤含水率數(shù)據(jù)集，若想實現(xiàn)實際的工程應用，則需要進一步完善土壤含水率圖像數(shù)據(jù)集，使室內(nèi)搭建的算法實現(xiàn)室外的原狀土壤含水率識別。