基于Transformer的糧食安全信息融合算法研究

王百皓, 祝玉華, 李智慧

(河南工業(yè)大學(xué)信息科學(xué)與工程學(xué)院,鄭州 450001)

糧食存儲安全問題一直是糧食工作的重點(diǎn)之一,但是由于糧食品種繁多,全國不同省市的自然環(huán)境和儲存環(huán)境不一,很難制定一個(gè)統(tǒng)一的標(biāo)準(zhǔn)進(jìn)行糧情監(jiān)測。因此,如何根據(jù)不同的環(huán)境條件評估糧倉儲存安全狀態(tài),并及時(shí)發(fā)現(xiàn)儲存異常問題已經(jīng)成為了糧情監(jiān)測的首要任務(wù)。但是糧情監(jiān)測十分困難,主要表現(xiàn)為幾個(gè)方面。首先,糧倉規(guī)模巨大,除表層外的其他位置的糧食狀況很難監(jiān)測。其次,糧倉所處環(huán)境差異明顯,例如位于東北的糧倉和位于江南的糧倉的環(huán)境因素差別巨大,這對糧倉糧情監(jiān)控提出了巨大的挑戰(zhàn)。再次,糧倉儲存的環(huán)境影響條件眾多,有溫度、濕度、水分、含蟲量等,同時(shí)各個(gè)維度的數(shù)據(jù)間相互影響,加大了監(jiān)測的難度。最后,現(xiàn)有的方法大多是基于推理的異常監(jiān)測,方法的適用性與可遷移能力較低?；谏鲜鰡栴},設(shè)計(jì)一個(gè)具有通用性的糧情融合監(jiān)測方法是十分有必要的。

信息融合(informationfusion)最早于1973年由美國國防部提出。隨著硬件設(shè)備的發(fā)展以及傳感器的普及,信息融合進(jìn)入到了一個(gè)飛速發(fā)展的階段。國內(nèi)關(guān)于信息融合領(lǐng)域的研究最早從國防科技大學(xué)開始[1],主要關(guān)注于多元信息的協(xié)調(diào)管理。在糧情監(jiān)測領(lǐng)域,甄彤等[2]進(jìn)行了信息融合技術(shù)的研究,其提出的基于多參數(shù)、二級信息融合的糧情測控方法能夠有效的分析異質(zhì)數(shù)據(jù),推動了糧情監(jiān)測技術(shù)的發(fā)展。

近年來,糧食安全問題受到國家的高度重視,糧情監(jiān)控問題逐漸成為了學(xué)者研究的重點(diǎn)。早期,馬志等[3]通過簡單神經(jīng)網(wǎng)絡(luò)對糧情監(jiān)測進(jìn)行研究,針對不確定信息的融合提出了一種BP神經(jīng)網(wǎng)絡(luò)和D-S證據(jù)理論相結(jié)合的信息融合處理方法,是最早將神經(jīng)網(wǎng)絡(luò)應(yīng)用于糧倉安全信息融合領(lǐng)域的工作。張卓然[4]則進(jìn)一步將神經(jīng)網(wǎng)絡(luò)技術(shù)和自適應(yīng)模糊推理系統(tǒng)進(jìn)行結(jié)合。但是由于時(shí)代的局限性,簡單神經(jīng)網(wǎng)絡(luò)盡管相較于傳統(tǒng)方法能夠更好地進(jìn)行糧倉安全信息融合,但是仍然存在著一些問題,例如無法廣泛適用于不同的場景,需要大量糧情信息標(biāo)注等。

除了基于神經(jīng)網(wǎng)絡(luò)的糧情信息融合,眾多學(xué)者還基于D-S證據(jù)理論進(jìn)行了研究。張花軍[5]總結(jié)了D-S算法在糧情監(jiān)控信息融合系統(tǒng)中的應(yīng)用,主要包括對多源數(shù)據(jù)進(jìn)行特征提取、模式識別、關(guān)聯(lián)和數(shù)據(jù)合成等,但是該方法同樣不具備普適性,即很難應(yīng)用到不同類型的糧倉的糧情監(jiān)測之中。黃琦蘭等[6]對數(shù)據(jù)進(jìn)行了自適應(yīng)加權(quán),能夠有效地剔除冗余信息,進(jìn)一步提高了應(yīng)用D-S證據(jù)理論進(jìn)行信息融合的魯棒性。

傳統(tǒng)的基于證據(jù)理論和簡單神經(jīng)網(wǎng)絡(luò)的信息融合方法都存在著不同的局限性,隨著深度學(xué)習(xí)網(wǎng)絡(luò)技術(shù)的發(fā)展,部分學(xué)者開始對基于深度神經(jīng)網(wǎng)絡(luò)的信息融合技術(shù)進(jìn)行探索。趙曉平等[7]將傳感器信息和其多域特征進(jìn)行研究,提出了一種基于信息融合的卷積神經(jīng)網(wǎng)絡(luò),能夠有效的對時(shí)域信息進(jìn)行特征提取,其識別準(zhǔn)確度遠(yuǎn)遠(yuǎn)高于傳統(tǒng)方法。鄭誠等[8]則構(gòu)建了一個(gè)GNN網(wǎng)絡(luò)來完成信息任務(wù),其利用注意力機(jī)制捕捉到信息源的特征,進(jìn)行特征提取之后能夠進(jìn)一步分析數(shù)據(jù)間的依賴關(guān)系,提高信息融合的準(zhǔn)確度。

但是上述基于深度神經(jīng)網(wǎng)絡(luò)的信息融合方法都使用監(jiān)督學(xué)習(xí)模型,因此信息標(biāo)注的準(zhǔn)確性極大的影響了糧情監(jiān)測的準(zhǔn)確度。研究針對糧倉傳感器多維監(jiān)測數(shù)據(jù),提出了一個(gè)無監(jiān)督的Transformer模型,能夠快速的發(fā)現(xiàn)糧倉異常情況。同時(shí)基于自注意力機(jī)制,能夠很好地適用于不同類型、不同環(huán)境的糧倉糧情監(jiān)測。

Transformer能夠在保證訓(xùn)練時(shí)間的同時(shí)處理具備龐大序列的數(shù)據(jù)[9],適用于糧倉安全信息融合中的高維傳感器數(shù)據(jù)。同時(shí)傳感器數(shù)據(jù)天然具備時(shí)序特征,Transformer模型能夠很好地處理時(shí)序數(shù)據(jù)[10]。將糧倉安全信息融合系統(tǒng)的任務(wù)定義為異常檢測任務(wù),因此需要構(gòu)建一個(gè)無監(jiān)督的深度學(xué)習(xí)網(wǎng)絡(luò)來完成自動化的異常檢測,針對于糧倉傳感器數(shù)據(jù),則主要為將異常分?jǐn)?shù)高的時(shí)間戳對應(yīng)的糧倉位置標(biāo)記為異常[11]。Transformer[12]模型所具備的編碼器-解碼器的結(jié)構(gòu)往往較少用于傳感器時(shí)序數(shù)據(jù)的分析,Tuli等[13]開創(chuàng)性的提出了用于多元時(shí)間序列數(shù)據(jù)的異常檢測任務(wù)。但是這些異常監(jiān)測的工作大多應(yīng)用于自然語言處理領(lǐng)域或者圖形圖像領(lǐng)域,對于高維傳感器數(shù)據(jù)的信息融合和異常監(jiān)測尚未有學(xué)者進(jìn)行研究。此外,賈雪楓等[14]將transformer模型應(yīng)用到風(fēng)險(xiǎn)態(tài)勢感知任務(wù)之中,為研究提供了啟發(fā)。

研究基于Transformer設(shè)計(jì)了一個(gè)能夠自動進(jìn)行糧倉糧情異常監(jiān)測的模型,該模型能夠快速的識別結(jié)構(gòu)化糧情數(shù)據(jù)中的異常部分,以自注意力機(jī)制為切入口,提出了一種基于無監(jiān)督的Transformer的深度學(xué)習(xí)模型來進(jìn)行糧庫安全信息融合;在編碼解碼網(wǎng)絡(luò)中引入對抗訓(xùn)練模塊,創(chuàng)新性的通過2個(gè)獨(dú)立的解碼器對時(shí)間序列數(shù)據(jù)進(jìn)行重建;通過2個(gè)真實(shí)的不同類型的糧倉糧情數(shù)據(jù)對模型的有效性進(jìn)行驗(yàn)證,實(shí)驗(yàn)證明研究的方法能夠很好的對糧情進(jìn)行監(jiān)測。

1 基于Transformer的糧倉安全信息融合

1.1 模型總體框架

傳統(tǒng)的糧情信息融合主要通過對數(shù)據(jù)進(jìn)行特征提取,將特征向量進(jìn)行融合以實(shí)現(xiàn)決策的目的。這些數(shù)據(jù)融合方法能夠有效地解決部分限制場景的糧情監(jiān)測問題,但是對于不同類型和不同環(huán)境下的糧倉,傳統(tǒng)的數(shù)據(jù)融合方法就有些捉襟見肘。因此,基于自注意力機(jī)制,提出了一種能夠適用于不同糧倉環(huán)境的信息融合深度學(xué)習(xí)網(wǎng)絡(luò)模型,具體結(jié)構(gòu)如圖1所示。

圖1 糧情監(jiān)控系統(tǒng)結(jié)構(gòu)圖

模型主要由編碼器和解碼器組成,具體框架如圖2所示。

圖2 Transformer模型結(jié)構(gòu)

數(shù)據(jù)序列在編碼器中會經(jīng)過多次基于注意力的數(shù)據(jù)轉(zhuǎn)換,直到當(dāng)前的數(shù)據(jù)達(dá)到焦點(diǎn)分?jǐn)?shù)。基于自注意力的數(shù)據(jù)轉(zhuǎn)換是一個(gè)對焦點(diǎn)分?jǐn)?shù)進(jìn)行迭代的過程,通過不斷地訓(xùn)練和學(xué)習(xí),能夠更好的對數(shù)據(jù)特征進(jìn)行提取。此外,在評估部分對自注意力模塊進(jìn)行了消融實(shí)驗(yàn)。

之后我們使用解碼器對數(shù)據(jù)進(jìn)行解碼并輸出,其中解碼器輸出結(jié)果Q定義為:

Qi=Sigmoid[FeedForward(I)]

(1)

式中:I為編碼器的輸出。

在模型中每1個(gè)自注意力機(jī)制都包含1個(gè)前饋神經(jīng)網(wǎng)絡(luò)層,自注意力層的輸出(矩陣)作為前饋神經(jīng)網(wǎng)絡(luò)的輸入,前饋神經(jīng)網(wǎng)絡(luò)定義為:

FFFN(x)=max(0,xW1+b1)W2+b2

(2)

式中:max為ReLU激活函數(shù),其通過激活函數(shù)的方式,來強(qiáng)化模型的表達(dá)能力。即數(shù)值較大的部分進(jìn)行加強(qiáng),數(shù)值較小的部分進(jìn)行抑制,從而使得相關(guān)的部分表達(dá)效果更好。

Transformer模型中的訓(xùn)練過程主要分為2個(gè)階段。首先在第一階段,模型通過編碼-解碼網(wǎng)絡(luò)預(yù)測了每個(gè)輸入的時(shí)間序列數(shù)據(jù)的內(nèi)容,為了能夠更好的捕捉到微小的異常狀況,將焦點(diǎn)分?jǐn)?shù)和數(shù)據(jù)序列同時(shí)作為輸入,能夠有效的提高自注意力網(wǎng)絡(luò)對時(shí)間序列的提取,并將注意力更加集中在偏差較高的數(shù)據(jù)序列之中。

第二階段將重建損失作為焦點(diǎn)分?jǐn)?shù),并將其與給定輸入的偏差作為修改注意力權(quán)重的條件,進(jìn)而提取短期時(shí)間趨勢。這種自我調(diào)節(jié)的方法能夠進(jìn)一步放大數(shù)據(jù)異常內(nèi)容的偏差程度,提高識別能力。訓(xùn)練過程如下:

首先,初始化編碼器E、解碼器D1和D2的權(quán)重,并設(shè)置超參數(shù)ε和最大迭代N;

之后,以生成和輸入窗口近似的結(jié)構(gòu)為目標(biāo),進(jìn)行輸入重構(gòu)。使得解碼器的輸出結(jié)果Q1和Q2更加接近于W;

最后,進(jìn)行迭代訓(xùn)練,通過損失函數(shù)L1和L2更新編碼器E、解碼器D1和D2的權(quán)重。

測試過程如下:

首先,獲取模型編碼器E、解碼器D1和D2的權(quán)重;

之后,引入閾值自動選擇方法,并根據(jù)輸入數(shù)據(jù)計(jì)算得分;

最后,輸出數(shù)據(jù)得分和異常標(biāo)記情況。

為了能夠保持訓(xùn)練的穩(wěn)定性,設(shè)計(jì)了1個(gè)對抗訓(xùn)練模塊,即通過2個(gè)獨(dú)立解碼器進(jìn)行時(shí)間序列數(shù)據(jù)的重建,其中2個(gè)解碼器的定義為:

L1=||Q1-W||2

(3)

L2=||Q2-W||2

(4)

解碼器L2的目的是通過最大化特征差值。這促使解碼器L2在此階段生成與Q2相同的輸出,以匹配解碼器L1的輸入,即目標(biāo)為:

(5)

因此,解碼器L1的目標(biāo)是最小化自調(diào)節(jié)輸出的重建誤差,解碼器L2的目標(biāo)是最大化該誤差。對抗訓(xùn)練模塊可以更好的保證訓(xùn)練的穩(wěn)定性,即大幅度減少過擬合的可能性,同時(shí)使得模型能夠適用于不同類型的高維數(shù)據(jù)集。在評估階段對對抗訓(xùn)練模塊進(jìn)行了消融實(shí)驗(yàn),實(shí)驗(yàn)表明對抗訓(xùn)練模塊能夠有效的提高模型的準(zhǔn)確性和穩(wěn)定性。

此外,實(shí)驗(yàn)引入了元學(xué)習(xí)模塊用來解決小規(guī)模數(shù)據(jù)集的訓(xùn)練收斂問題,元學(xué)習(xí)模塊主要將算法、模型和特征一起學(xué)習(xí)。例如在數(shù)據(jù)融合過程中,通過多源異構(gòu)數(shù)據(jù)得到一個(gè)相對最優(yōu)的算法,再通過這個(gè)算法得到最優(yōu)的特征融合結(jié)果。

1.2 基于注意力機(jī)制的特征提取

Transformer是較流行的深度學(xué)習(xí)模型之一,被廣泛應(yīng)用于計(jì)算機(jī)視覺領(lǐng)域,但是在時(shí)間序列數(shù)據(jù)的融合和異常檢測之中的相關(guān)工作較少。我們構(gòu)建了一個(gè)基于自注意力機(jī)制的transformer模型來完成糧倉傳感器監(jiān)測數(shù)據(jù)中的異常檢測任務(wù)。

首先在數(shù)據(jù)融合中需要進(jìn)行特征提取,transformer屬于encoder-decoder框架,其核心特征提取器是Attention,即利用注意力機(jī)制在眾多信息中選擇對當(dāng)前任務(wù)目標(biāo)最為關(guān)鍵的信息。從編碼器輸入的每一個(gè)數(shù)據(jù)序列首先經(jīng)過一個(gè)自注意力層(Self-Attention),其幫助編碼器關(guān)注當(dāng)前數(shù)據(jù)周圍的相關(guān)數(shù)據(jù),注意力機(jī)制具體思想如圖3所示:

圖3 注意力機(jī)制

在模型中多元數(shù)據(jù)序列會進(jìn)行矩陣變換,實(shí)驗(yàn)定義了注意力機(jī)制中的3個(gè)標(biāo)量,分別是Query(Q)、Key(K)和值Value(V)。注意力Attention定義為:

(6)

自注意力機(jī)制是指在內(nèi)部元素之間進(jìn)行的Attention變換,對于輸入矩陣Q,K和V,首先基于自注意力進(jìn)行數(shù)據(jù)轉(zhuǎn)換,其中多頭自注意力MultiHead定義為:

MultiHead(Q,K,V)=Concat(H1,…,Hh)

(7)

式中:Hi=Attention(Qi,Ki,Vi),自注意力能夠使得模型在多個(gè)位置關(guān)注來自不同空間的信息。同時(shí)自注意力機(jī)制更容易捕捉到多維序列數(shù)據(jù)中不同維度數(shù)據(jù)間的依賴特征。

MultiHead注意力機(jī)制的實(shí)現(xiàn)如圖4所示。

圖4 多頭注意力機(jī)制

1.3 信息融合

1.3.1 多源異構(gòu)數(shù)據(jù)處理

多源異構(gòu)數(shù)據(jù)的處理一直是信息融合研究的難點(diǎn)之一,傳統(tǒng)的方法需要大量的時(shí)間和精力對同類型傳感器數(shù)據(jù)的差異性進(jìn)行辨別和標(biāo)記。為了減少傳統(tǒng)信息融合方法的復(fù)雜性,提出的基于深度學(xué)習(xí)的方法能夠很好地對數(shù)據(jù)的細(xì)微差異特征進(jìn)行識別,因此無需過多的考慮同類型傳感器的數(shù)據(jù)的差異性。

工作和傳統(tǒng)信息融合方法最本質(zhì)的差別是方法能夠?qū)崿F(xiàn)無監(jiān)督的學(xué)習(xí),即不需要大量時(shí)間進(jìn)行人工識別和標(biāo)注,只需要通過自注意力機(jī)制就能夠很好地對糧情數(shù)據(jù)的特征進(jìn)行學(xué)習(xí),并對異常情況進(jìn)行檢測。

在模型中,高維傳感器數(shù)據(jù)無需進(jìn)行預(yù)處理和標(biāo)記,即多源異構(gòu)數(shù)據(jù)的處理過程極其簡單,只需要對多個(gè)異構(gòu)數(shù)據(jù)源進(jìn)行簡單結(jié)合,生成一個(gè)單一的高維傳感器數(shù)據(jù)文件即可。

1.3.2 特征級信息融合

糧倉傳感器數(shù)據(jù)屬于多變量時(shí)序數(shù)據(jù),即輸入數(shù)據(jù)是一個(gè)帶有時(shí)間戳、大小為T的序列:

T={x1,x1,…,xt}

(8)

實(shí)驗(yàn)的任務(wù)是預(yù)測在時(shí)間序列T對應(yīng)的數(shù)據(jù)異常時(shí)間戳。

為了讓模型更加穩(wěn)定,首先,對多源傳感器數(shù)據(jù)進(jìn)行歸一化:

(9)

特征級信息融合和以特征Q、K、V作為輸入,通過Concat函數(shù)(圖4)進(jìn)行融合,多頭注意力機(jī)制提供并訓(xùn)練了多個(gè)Q、K、V矩陣,這些矩陣將不同維度的數(shù)據(jù)投影到不同的表示子空間。式(6)顯示了每一個(gè)注意力模塊對信息處理的過程,本研究的特征級信息融合就是將每一個(gè)注意力模塊的輸出結(jié)果進(jìn)行融合的過程。在模型訓(xùn)練過程中,對多個(gè)并行的注意力層進(jìn)行計(jì)算并獲得了多個(gè)不同的Z矩陣,這是模型將通過Concat函數(shù)進(jìn)行拼接,并將拼接結(jié)果輸入到線性模型之中,這樣就完成了特征級的信息融合。即輸入為高維傳感器數(shù)據(jù),輸出為經(jīng)過線性變換之后的矩陣。如式(7)所示,在通過線性變換、注意力計(jì)算、特征融合之后的輸出結(jié)果即為特征級信息融合的結(jié)果。

與傳統(tǒng)信息融合方法的特征級信息融合步驟不同,本方法的特征級信息融合更加趨近于整體決策信息融合的一個(gè)組成部分,因此在特征級信息融合過程的直觀性較差。這也是基于深度學(xué)習(xí)網(wǎng)絡(luò)的信息融合方法與傳統(tǒng)信息融合方法的主要差異[7,8]。

1.3.3 決策級信息融合

在D-S理論中,決策融合是定義系統(tǒng)中所有可能出現(xiàn)的狀態(tài),并將每一個(gè)可能的假設(shè)根據(jù)其特征質(zhì)量賦予一個(gè)概率。決策級信息融合屬于對多源語義數(shù)據(jù)進(jìn)行融合,信息融合本質(zhì)上是一種對糧倉傳感器數(shù)據(jù)的融合機(jī)制,具體表現(xiàn)為每個(gè)節(jié)點(diǎn)只處理合成的語義信息。

多源決策級語義信息融合通常包含兩部分。首先是將多維傳感器數(shù)據(jù)轉(zhuǎn)換為語義信息,之后通過訓(xùn)練為語義信息提供一個(gè)解釋。本文的模型將溫度、濕度等傳感器信息進(jìn)行融合,而決策級信息融合則將經(jīng)過特征及信息融合之后的結(jié)果進(jìn)行解碼,進(jìn)而實(shí)現(xiàn)決策級的信息融合。

在本模型中,我們將輸入的高維數(shù)據(jù)經(jīng)過歸一化、線性變換、注意力變換等步驟進(jìn)行處理和融合,最終輸出一個(gè)布爾常量,用來標(biāo)記當(dāng)前輸入數(shù)據(jù)是否為異常數(shù)據(jù)。本方法具備一個(gè)明顯優(yōu)勢,具體為不局限于多源異構(gòu)傳感器的數(shù)量和數(shù)據(jù)維度。具體來說,假設(shè)某糧倉具備溫度、濕度、蟲害數(shù)傳感器數(shù)據(jù),后續(xù)有增設(shè)水分、CO2濃度傳感器,傳統(tǒng)方法對于決策及信息融合需要重新進(jìn)行計(jì)算和分析,而本文方法的決策級信息融合只需將增設(shè)的傳感器數(shù)據(jù)輸入到模型之中即可完成決策級信息融合與糧情監(jiān)測。

1.4 糧情異常檢測

測試過程如算法2所示,將異常分?jǐn)?shù)s定義為:

(10)

2 實(shí)驗(yàn)與評估

2.1 數(shù)據(jù)描述

實(shí)驗(yàn)使用了新港6號倉(小麥)和南寧5號倉(玉米)的場景差異較大的傳感器數(shù)據(jù)進(jìn)行研究,其主要包括節(jié)點(diǎn)溫度、節(jié)點(diǎn)水分、節(jié)點(diǎn)濕度、環(huán)境溫度等數(shù)據(jù)維度。每行數(shù)據(jù)根據(jù)采樣位置不同分為3層,即分別位于糧倉頂部、中部和底部。

其中新港數(shù)據(jù)集共有數(shù)據(jù)41 526行(18組采樣傳感器),南寧數(shù)據(jù)集共有數(shù)據(jù)981行(9組采樣傳感器),我們分別以1∶1和5∶4的比例隨機(jī)選擇了訓(xùn)練集和測試集。

模型為無監(jiān)督模型,只需對測試數(shù)據(jù)進(jìn)行標(biāo)記,標(biāo)記原則如表1所示。將較安全以及安全的糧情狀況標(biāo)記為0,其余狀況標(biāo)記為1。其中表1對糧情安全的評估標(biāo)準(zhǔn)參考了王峰等[18]的研究。

表1 測試數(shù)據(jù)標(biāo)記原則

2.2 評估指標(biāo)

為了驗(yàn)證模型的有效性,將模型與MERLIN[16]、DAGMM[17]和USAD[11]模型進(jìn)行比較。研究使用PyTorch-1.7.1訓(xùn)練模型。使用精度(precision)、召回率(recall)、特征曲線和F1分?jǐn)?shù)來評估上述模型的性能。

2.3 實(shí)驗(yàn)結(jié)果分析

圖5顯示了模型的平均訓(xùn)練損失值,可以看出。模型在訓(xùn)練過程中的loss值和val_loss值整體趨勢都是相對穩(wěn)定的,表明了模型在糧倉傳感器數(shù)據(jù)集中的訓(xùn)練穩(wěn)定。

在異常檢測階段還關(guān)注了不同維度數(shù)據(jù)的異常傳遞情況。多頭注意力模式允許模型同時(shí)關(guān)注多個(gè)維度信息,使其更加適用于檢測多維數(shù)據(jù)的關(guān)聯(lián)異常。表現(xiàn)為某一維度的異?？赡軐?dǎo)致后續(xù)一系列維度的異常產(chǎn)生。本模型能夠精確地檢測并定位這些特定維度的異常內(nèi)容。同時(shí)實(shí)驗(yàn)結(jié)果表明能夠極大地改善異常監(jiān)測的效果。

在測試過程中發(fā)現(xiàn)模型對較小異常的識別效果明顯,即對于傳遞性數(shù)值異常的敏感度較高,即模型能夠?qū)W習(xí)到數(shù)據(jù)維度之間的關(guān)系特征,并根據(jù)特征對異常狀態(tài)進(jìn)行識別。

此外,為了驗(yàn)證工作的有效性,還進(jìn)行了不同模型的對比。可以看出模型在異常監(jiān)測準(zhǔn)確度、特征曲線和F1分?jǐn)?shù)上都有優(yōu)勢。MRTLIN模型可能與本實(shí)驗(yàn)數(shù)據(jù)集不匹配導(dǎo)致效果較差,DAGMM和USAD模型在測試集中有90%以上的準(zhǔn)確度,而模型準(zhǔn)確度能夠達(dá)到94%以上。

同時(shí),模型的F1分?jǐn)?shù)為0.967 971,高于DAGMM模型的0.959 163和USAD模型的0.949 486,證明我們的模型在糧倉糧情異常檢測中與當(dāng)前階段流行的深度學(xué)習(xí)模型相比更加有優(yōu)勢。

實(shí)驗(yàn)結(jié)果表明,方法能夠有效地預(yù)測不同情況下的糧倉異常問題,能夠?qū)⒏呔S傳感器數(shù)據(jù)進(jìn)行信息融合。同時(shí)強(qiáng)大的自注意力模式能夠自動化的學(xué)習(xí)出傳感器數(shù)據(jù)中的異常內(nèi)容。與同類型的異常檢測模型相比,本模型訓(xùn)練時(shí)間更短,準(zhǔn)確率更高。

2.4 消融實(shí)驗(yàn)

為了進(jìn)一步探究模型中不同的模塊對實(shí)驗(yàn)結(jié)果的影響程度,還進(jìn)行了消融實(shí)驗(yàn)。首先用前饋網(wǎng)絡(luò)替代transformer的編碼器解碼器結(jié)構(gòu)進(jìn)行實(shí)驗(yàn);其次,去掉自注意力模塊,即將焦點(diǎn)分?jǐn)?shù)固定;再次,去掉對抗訓(xùn)練模塊,只使用訓(xùn)練階段的重建損失函數(shù);最后,去掉元學(xué)習(xí)(meta-learning)模型進(jìn)行實(shí)驗(yàn)。具體結(jié)果如表3所示。

表3 消融實(shí)驗(yàn)

前饋網(wǎng)絡(luò)替換transformer網(wǎng)絡(luò):實(shí)驗(yàn)結(jié)果表明,用前饋網(wǎng)絡(luò)替換Transformer網(wǎng)絡(luò)之后,總體模型性能下降明顯,說明了在模型中,Transformer的編碼器/解碼器結(jié)構(gòu)對傳感器數(shù)據(jù)特征的學(xué)習(xí)能力更強(qiáng)。

刪除自注意力模塊:實(shí)驗(yàn)結(jié)果表明,刪除自注意力模塊之后的網(wǎng)絡(luò)性能有小幅度下降。固定焦點(diǎn)分?jǐn)?shù)對模型的識別結(jié)果有一定程度影響,通過自注意力模塊迭代更新焦點(diǎn)分?jǐn)?shù)能夠更好地對異常情況進(jìn)行檢測。

刪除對抗訓(xùn)練模塊:實(shí)驗(yàn)發(fā)現(xiàn),只是用訓(xùn)練階段的重建損失函數(shù)對于模型性能有較大的影響,異常檢測準(zhǔn)確度下降明顯,說明實(shí)驗(yàn)的對抗訓(xùn)練模塊能夠加強(qiáng)模型對特征的學(xué)習(xí),這也說明了實(shí)驗(yàn)?zāi)Ｐ湍軌虿蹲降捷^微弱的局部特征信息。

刪除元學(xué)習(xí)模型:實(shí)驗(yàn)結(jié)果表明,元學(xué)習(xí)模型對總體模型的性能影響巨大,元學(xué)習(xí)模型能夠使得模型獲取一種學(xué)會學(xué)習(xí)調(diào)參的能力,能夠更好地完成無監(jiān)督的學(xué)習(xí)任務(wù),這也說明了實(shí)驗(yàn)?zāi)Ｐ湍軌蚋玫剡m應(yīng)不同環(huán)境下的糧倉糧情異常情況檢測。

3 結(jié)論

研究提出了一種基于自注意力機(jī)制的Transformer模型來完成糧倉糧情信息融合和監(jiān)測任務(wù)?；诰幋a器-解碼器的Transformer模型能夠快速完成大規(guī)模高維傳感器數(shù)據(jù)的訓(xùn)練和異常內(nèi)容檢測,同時(shí)具備較高的準(zhǔn)確性和穩(wěn)定性。同時(shí),模型還能有效的識別數(shù)據(jù)趨勢,因此在小規(guī)模數(shù)據(jù)集上同樣有較好的效果。

研究提出的糧倉糧情安全信息融合方法能夠有效地對多種不同類型、不同環(huán)境的糧倉的糧情進(jìn)行監(jiān)測,同時(shí)無監(jiān)督的模型能夠極大的減少人工干預(yù)造成的誤差。研究方法和傳統(tǒng)的基于D-S的信息融合方法相比,適用性更廣,準(zhǔn)確度更高。