• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于膨脹因果卷積和注意力機(jī)制的氣體識(shí)別方法

    2025-07-24 00:00:00俞凌偉楊孟平楊海王喆
    關(guān)鍵詞:集上尺度損失

    文章編號(hào):1006-3080(2025)03-0380-11

    中圖分類(lèi)號(hào):TP391

    文獻(xiàn)標(biāo)志碼:A

    嗅覺(jué)傳感是通過(guò)模仿人類(lèi)嗅覺(jué)系統(tǒng)的原理和功能,利用傳感技術(shù)實(shí)現(xiàn)對(duì)氣味、氣體和化學(xué)物質(zhì)的檢測(cè)與識(shí)別。作為嗅覺(jué)傳感的核心部件,電子鼻系統(tǒng)采用交叉敏感傳感器陣列來(lái)獲取氣體信息。由于其客觀(guān)和快速的檢測(cè)能力,電子鼻系統(tǒng)在食品工程、化學(xué)檢驗(yàn)和醫(yī)療衛(wèi)生中得到了廣泛應(yīng)用[1-4]。然而,有兩個(gè)問(wèn)題限制了它在氣體識(shí)別中的廣泛應(yīng)用,一是半導(dǎo)體氣體傳感器在長(zhǎng)期工作過(guò)程中會(huì)發(fā)生不規(guī)則漂移,這是由老化、溫度、空氣流速和環(huán)境造成的[5];二是大多數(shù)半導(dǎo)體氣體傳感器的選擇性較差,只對(duì)特定氣體反應(yīng)明顯,很難在復(fù)雜的大氣中準(zhǔn)確地檢測(cè)目標(biāo)氣體。為了提高氣體檢測(cè)的選擇性并消除不規(guī)則漂移的影響,可以使用機(jī)器學(xué)習(xí)技術(shù)融合來(lái)自多個(gè)氣體傳感器的信號(hào)。因此,本文從特征提取的角度出發(fā),提出一種基于膨脹因果卷積和注意力機(jī)制的氣體識(shí)別方法,將其與氣體檢測(cè)相結(jié)合,學(xué)習(xí)短期傳感器響應(yīng)并消除傳感器漂移的影響,從而準(zhǔn)確識(shí)別目標(biāo)氣體。

    在傳統(tǒng)的氣體識(shí)別中,常用的典型算法包括K最近鄰(KNN)[]、決策樹(shù)(DT)[8]和隨機(jī)森林(RF)[9]。在研究人員構(gòu)建特殊的人工特征后,大多數(shù)傳統(tǒng)的機(jī)器學(xué)習(xí)方法都可以很好地工作[10-]。然而當(dāng)發(fā)生嚴(yán)重漂移時(shí),這些顯式特征很難區(qū)分信號(hào)所代表的氣體,從而導(dǎo)致傳統(tǒng)機(jī)器學(xué)習(xí)方法的失敗。近些年的研究經(jīng)常利用卷積神經(jīng)網(wǎng)絡(luò)(CNN)[12-15]等深度學(xué)習(xí)方法。在CNN架構(gòu)中,卷積層負(fù)責(zé)特征提取和處理,而全連接層負(fù)責(zé)分類(lèi)。通過(guò)集成特征提取、處理和模式識(shí)別,CNN最大限度地減少了氣體識(shí)別中的人工干預(yù)[16。然而,CNN在氣體識(shí)別中的應(yīng)用仍存在一些問(wèn)題。首先,對(duì)捕獲數(shù)據(jù)中的依賴(lài)性起決定性作用的CNN感受域,僅限于局部區(qū)域,這阻礙了其有效捕獲氣體特征中的長(zhǎng)期依賴(lài)性。其次,從電子鼻系統(tǒng)獲得的氣體信息由不同時(shí)間點(diǎn)的各種傳感器檢測(cè)數(shù)據(jù)組成,不同檢測(cè)時(shí)間下的氣體信息表達(dá)了不同物理含義。對(duì)于氣體識(shí)別任務(wù),CNN并不能很好地挖掘數(shù)據(jù)之間的全局聯(lián)系。

    為了解決感受域有限的問(wèn)題,本文使用膨脹因果卷積代替?zhèn)鹘y(tǒng)卷積操作,膨脹因果卷積中每個(gè)像素點(diǎn)只依賴(lài)于其之前的輸人像素點(diǎn),而不受后續(xù)像素點(diǎn)的影響,允許網(wǎng)絡(luò)考慮到數(shù)據(jù)中的時(shí)序依賴(lài)關(guān)系[7]。此外,通過(guò)增加卷積核的空間感受野,使得每個(gè)輸出像素能夠感知到更廣泛的輸入信息,從而提高了模型的感知范圍。Transformer利用多頭注意力機(jī)制來(lái)提取特征并建立相關(guān)性[18],其穩(wěn)健的全局建模能力已被廣泛應(yīng)用于圖像識(shí)別[19]、超分辨率[20]等領(lǐng)域。為了提升網(wǎng)絡(luò)的全局信息建模能力,獲得更好的局部最優(yōu)解,本文使用TE(Transformerencoder)模塊,將傳感器的每個(gè)時(shí)間特征視為句子中的一個(gè)詞向量,來(lái)挖掘傳感器信號(hào)對(duì)之間潛在的關(guān)系,以獲得全局特征。

    本文提出了一種基于注意力機(jī)制的多尺度時(shí)態(tài)卷積神經(jīng)網(wǎng)絡(luò)(MultiscaleTemporalConvolutionalNeuralNetworkwithAttention,MTCNA),它由3個(gè)關(guān)鍵部分組成:第一為多尺度時(shí)態(tài)卷積網(wǎng)絡(luò),將原始數(shù)據(jù)使用多尺度學(xué)習(xí)策略進(jìn)行擴(kuò)充,增強(qiáng)數(shù)據(jù)時(shí)間維度上的多樣性,然后對(duì)每個(gè)時(shí)間尺度的數(shù)據(jù)都使用獨(dú)立的時(shí)態(tài)卷積網(wǎng)絡(luò)提取局部特征和時(shí)間信息;第二為T(mén)E模塊,用于捕捉全局特征;第三為結(jié)合中心損失的交叉熵?fù)p失函數(shù),交叉熵?fù)p失用于確保模型的分類(lèi)準(zhǔn)確性,而中心損失21用于提高特征的判別性,兩種損失函數(shù)結(jié)合關(guān)注類(lèi)間距離和類(lèi)內(nèi)距離,可以提高模型的泛化能力。

    1相關(guān)工作

    1.1電子鼻系統(tǒng)中氣體數(shù)據(jù)的特征

    電子鼻系統(tǒng)具備快速、可重復(fù)的氣體檢測(cè)能力,并通過(guò)交叉敏感傳感器陣列獲取氣體指紋信息。交叉靈敏度意味著同一個(gè)傳感器對(duì)不同的氣體可能產(chǎn)生不同的響應(yīng);同樣,同一種氣體也可能引發(fā)不同傳感器的響應(yīng)。因此,單個(gè)傳感器的響應(yīng)曲線(xiàn)攜帶了關(guān)于其他氣體的豐富信息,不同傳感器根據(jù)其靈敏度和選擇性也會(huì)表現(xiàn)出不同程度的響應(yīng)[22-23]。

    電子鼻系統(tǒng)采用的標(biāo)準(zhǔn)檢測(cè)方法是動(dòng)態(tài)頂空法,該方法生成的傳感器響應(yīng)曲線(xiàn)呈現(xiàn)上升和下降兩個(gè)不同的階段。上升階段的發(fā)生是由于高頂空空氣富集迅速進(jìn)入傳感器氣室。相反,下降階段是由樣品氣體揮發(fā)和潔凈空氣之間的動(dòng)態(tài)平衡產(chǎn)生的。這些不同的響應(yīng)代表了不同的氣體揮發(fā)狀態(tài)。受采樣頻率和氣體濃度的影響,上升相位響應(yīng)變化迅速,包含高頻氣體信息,而下降相位響應(yīng)變化較慢,包含低頻氣體信息。由于這些階段包含不同的信息,因此這些階段的響應(yīng)對(duì)決策績(jī)效具有不同的含義,不同響應(yīng)之間存在潛在的相關(guān)性,可以利用這些相關(guān)性來(lái)提高模型性能。

    1.2 氣體識(shí)別研究現(xiàn)狀

    傳統(tǒng)的氣體識(shí)別方法是從原始檢測(cè)信號(hào)中提取關(guān)鍵特征,以減輕冗余信息對(duì)分類(lèi)性能的影響。然后,進(jìn)行特征處理降低特征之間的相關(guān)性和非線(xiàn)性,從而得到最優(yōu)特征集。最后,模式識(shí)別技術(shù)被應(yīng)用于這個(gè)特征集,成功識(shí)別氣體。然而,該方法數(shù)據(jù)處理的復(fù)雜性引入了過(guò)多的人工干預(yù),導(dǎo)致分類(lèi)模型的穩(wěn)定性較差。

    CNN是一種經(jīng)典的深度學(xué)習(xí)算法,由于其強(qiáng)大的特征提取能力,CNN已被證明在氣體識(shí)別方面非常有效。Guo 等[24]將 CNN 與LSTM(Long-Short-TermMemory)網(wǎng)絡(luò)相結(jié)合,從氣體信息中全面提取時(shí)間特征。通過(guò)有效捕獲隨時(shí)間變化的模式,可以準(zhǔn)確地識(shí)別氣體樣本。然而,LSTM-CNN混合算法的計(jì)算復(fù)雜度和訓(xùn)練時(shí)間可能相對(duì)較高,限制了其實(shí)時(shí)性。Xiong等[25]提出了一種將峰值神經(jīng)網(wǎng)絡(luò)(SNN)與殘差網(wǎng)絡(luò)(ResNet)相結(jié)合的新方法來(lái)識(shí)別變質(zhì)的食物氣體。SNN和ResNet的集成使其能夠處理基于峰值的數(shù)據(jù),并通過(guò)剩余連接保留關(guān)鍵信息,在識(shí)別具有復(fù)雜時(shí)間動(dòng)態(tài)的氣體方面表現(xiàn)出優(yōu)異的性能。Ma等[26將氣體傳感器陣列的多維動(dòng)態(tài)響應(yīng)信號(hào)作為圖像處理,將動(dòng)態(tài)響應(yīng)圖與CNN相結(jié)合,提高了模型性能。這種基于圖像的表示增強(qiáng)了對(duì)氣體特征的空間上下文理解,從而實(shí)現(xiàn)了有效的特征提取。盡管如此,這種方法嚴(yán)重依賴(lài)于將傳感器數(shù)據(jù)轉(zhuǎn)換為類(lèi)似圖像的輸入,可能會(huì)丟失細(xì)粒度的信息。Lee等[27]利用基于CNN的深度學(xué)習(xí)技術(shù),設(shè)計(jì)了一種用于醫(yī)療保健的便攜式電子鼻系統(tǒng)。他們的方法允許呼吸系統(tǒng)疾病的診斷,展示了CNN在各種應(yīng)用場(chǎng)景中的多功能性。然而,傳統(tǒng)的CNN架構(gòu)具有有限的感受野,這阻礙了它們捕獲氣體特征的長(zhǎng)程相關(guān)性的能力,這可能導(dǎo)致模型性能的損失。為了解決這一限制,本文提出的MTCNA使用膨脹因果卷積來(lái)代替普通卷積,有效解決了CNN感受野有限的問(wèn)題。

    Transformer已經(jīng)在各個(gè)領(lǐng)域展示了其多功能性,包括語(yǔ)言處理、圖像識(shí)別、對(duì)象檢測(cè)、圖像超分辨率等。研究人員將Transformer的優(yōu)勢(shì)與CNN的優(yōu)勢(shì)結(jié)合起來(lái),以進(jìn)一步增強(qiáng)其功能。Srinivas等[28]將自注意機(jī)制集成到ResNet架構(gòu)中,取代了傳統(tǒng)的卷積,在不顯著改變網(wǎng)絡(luò)結(jié)構(gòu)的情況下提高了模型性能。使用自注意力機(jī)制的優(yōu)勢(shì)在于它能夠捕獲數(shù)據(jù)中的長(zhǎng)期依賴(lài)關(guān)系,缺乏顯式的局部信息提取可能會(huì)妨礙其在需要精確空間關(guān)系任務(wù)上的性能。Cordonnier等[29]證明,自注意機(jī)制可以通過(guò)調(diào)整特定參數(shù)來(lái)近似卷積層的效果,這種方法受益于自注意力機(jī)制提供的全局上下文理解和空間信息處理。然而,該方法的性能可能對(duì)參數(shù)設(shè)置很敏感。Yuan等[30]在補(bǔ)丁切片前應(yīng)用了卷積和最大池化,使模型能夠高效地捕獲圖像的主要特征。Xiao等[31提出在初始特征提取階段加入多重卷積來(lái)增強(qiáng)模型泛化。然而,電子鼻系統(tǒng)具有很少的檢測(cè)數(shù)據(jù),而以上提出的模型參數(shù)眾多,這導(dǎo)致難以有效地優(yōu)化參數(shù)。通過(guò)與不同的模塊有效協(xié)作,MTCNA解決了以前的方法需要大量樣本的問(wèn)題,這使得它更適合在這種情況下處理氣體信息。

    2 實(shí)驗(yàn)部分

    2.1 整體網(wǎng)絡(luò)結(jié)構(gòu)

    本文提出的MTCNA的結(jié)構(gòu)示意圖如圖1所示,網(wǎng)絡(luò)整體結(jié)構(gòu)由多尺度時(shí)態(tài)卷積網(wǎng)絡(luò)(TCN)、TE模塊和全連接層組成。首先對(duì)輸入數(shù)據(jù)采用多尺度學(xué)習(xí)策略,生成不同時(shí)間尺度的信號(hào),產(chǎn)生更全面、更廣泛的信號(hào)理解表示,增強(qiáng)模型的特征提取能力和識(shí)別性能。不同時(shí)間尺度的數(shù)據(jù)分別進(jìn)入各自對(duì)應(yīng)的時(shí)態(tài)卷積子網(wǎng)絡(luò),通過(guò)膨脹因果卷積,網(wǎng)絡(luò)可隨著層深度增加而增大感知域,對(duì)氣體傳感器數(shù)據(jù)中的局部特征進(jìn)行多尺度提取。其次,TE模塊利用多頭注意力機(jī)制來(lái)捕捉不同傳感器數(shù)據(jù)在不同時(shí)間尺度上特征之間的全局相關(guān)性,放大不同時(shí)間尺度特征之間的異同,生成新的特征表示。最后,新的特征經(jīng)過(guò)全連接層后,模型輸出所有類(lèi)別的預(yù)測(cè)概率。此外,模型在使用交叉熵?fù)p失 (LCE) 的基礎(chǔ)上,還使用中心損失 (LCenter) 作為輔助項(xiàng)以最小化類(lèi)內(nèi)損失。

    2.2 多尺度時(shí)態(tài)卷積網(wǎng)絡(luò)

    2.2.1多尺度學(xué)習(xí)策略多尺度學(xué)習(xí)策略在不同尺度下提取不同的時(shí)間細(xì)節(jié),當(dāng)輸入信號(hào)包含異常響應(yīng)時(shí),網(wǎng)絡(luò)識(shí)別能力更強(qiáng)。當(dāng)傳感器以低采樣率運(yùn)行時(shí),其信號(hào)會(huì)體現(xiàn)出長(zhǎng)期的響應(yīng)變化。而當(dāng)傳感器以高采樣率運(yùn)行時(shí),則可能同時(shí)顯示出長(zhǎng)期和短期的響應(yīng)變化。長(zhǎng)期響應(yīng)和短期響應(yīng)都有助于氣體分類(lèi),但長(zhǎng)期響應(yīng)更為重要,這是因?yàn)樗从车氖菤怏w濃度的變化,而短時(shí)響應(yīng)包括空氣流量、噪聲、傳感材料變化等次要信息。在氣體傳感器信號(hào)中存在不穩(wěn)定響應(yīng)的情況下,多尺度學(xué)習(xí)策略在提取時(shí)間模式時(shí)表現(xiàn)更好,因?yàn)樗鰪?qiáng)了長(zhǎng)期響應(yīng)的貢獻(xiàn)。

    本文采用一種降采樣方法來(lái)生成不同尺度的信號(hào)。假設(shè)有一個(gè)氣體傳感器信號(hào) xN} ,其中 xi 表示氣體傳感器在時(shí)刻 i 的電壓值,每個(gè)信號(hào)有 N 個(gè)時(shí)刻的數(shù)據(jù)。受MCNA(Multiscaleconvolutionalneuralnetworkwithattention)的啟發(fā),本文用降采樣率 2k 中 (k=0,1,2,…) 在不同的尺度上構(gòu)建信號(hào)圖 yi 。通過(guò)獲得原始信號(hào)中每 2k 個(gè)數(shù)據(jù)的最大值而不是平均值來(lái)進(jìn)行降采樣過(guò)程,如圖2所示。使用式(1)計(jì)算尺度 k 處的信號(hào)圖。

    圖1融合注意力機(jī)制的多尺度時(shí)態(tài)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖(a);TCN結(jié)構(gòu)圖(b);TE模塊結(jié)構(gòu)圖(c)Fig.1Multisaletempoalonvolutioalraletokstrctureagaoffusdaetiomeansm(a);structuediagam(b) Transformer encoder structure diagram (c)

    其中 表示取整到小于或等于 的最接近整數(shù)。當(dāng) k 取值較小時(shí),得到的是低尺度數(shù)據(jù);當(dāng)k 取值較大時(shí),得到的是高尺度數(shù)據(jù)。從感受野的角度來(lái)看,低尺度數(shù)據(jù)的感受野較小,更關(guān)注局部信息;高尺度數(shù)據(jù)的感受野較大,更關(guān)注全局信息。從語(yǔ)義信息角度來(lái)看,低尺度數(shù)據(jù)關(guān)注底層的特征信息,高尺度數(shù)據(jù)關(guān)注更高層次的語(yǔ)義信息。這些不同層次的信息之間存在依賴(lài)關(guān)系,高層次語(yǔ)義需要依托于底層特征,因此不同尺度的數(shù)據(jù)也存在內(nèi)在聯(lián)系。而本文使用的多尺度學(xué)習(xí)策略就是將低尺度和高尺度數(shù)據(jù)結(jié)合起來(lái),通過(guò)共享參數(shù)的方式進(jìn)行學(xué)習(xí),有助于模型更全面地捕獲數(shù)據(jù)的語(yǔ)義信息,從而提高氣體識(shí)別的性能和魯棒性。

    圖2不同采樣率下信號(hào)的示意圖Fig.2Schematic diagramof signal at different samplingrates

    2.2.2時(shí)態(tài)卷積子網(wǎng)絡(luò)MTCNA的時(shí)態(tài)卷積子網(wǎng)絡(luò)由多個(gè)并行TCN塊組成,用于提取當(dāng)前時(shí)間尺度的氣體數(shù)據(jù)的局部特征。傳統(tǒng)卷積在處理長(zhǎng)序列時(shí)存在信息損失或者梯度消失的問(wèn)題,而TCN具有捕獲長(zhǎng)時(shí)間序列依賴(lài)關(guān)系的能力,能適應(yīng)不同時(shí)間尺度的特征。本文的TCN塊基于Bai等[32]提出的架構(gòu),詳細(xì)的架構(gòu)如圖1(b)所示。

    TCN塊主要由膨脹因果卷積組成。因果卷積使得時(shí)刻t的輸出只與時(shí)刻t以及之前的輸入相關(guān),如圖3(a)所示,其中零填充用于產(chǎn)生與輸入相同長(zhǎng)度的輸出序列。

    因果卷積的引入允許神經(jīng)網(wǎng)絡(luò)考慮氣體數(shù)據(jù)中存在的順序依賴(lài)性,即時(shí)間上的因果關(guān)聯(lián)。然而,與傳統(tǒng)CNN類(lèi)似,因果卷積也受到卷積核 (k) 大小的限制,這限制了輸出元素所能考慮的時(shí)間步長(zhǎng)。為了捕獲更長(zhǎng)的依賴(lài)關(guān)系,通常需要構(gòu)建更深的網(wǎng)絡(luò)。因此,引人了膨脹因子 (d) 的概念,以在保持網(wǎng)絡(luò)較淺的同時(shí),增加輸出部分對(duì)當(dāng)前時(shí)刻之前更多歷史數(shù)據(jù)的利用。膨脹因子代表了輸入序列元素之間的距離,這些元素用于計(jì)算輸出結(jié)果。

    由于輸出值的輸入項(xiàng)相鄰,因此,傳統(tǒng)的卷積層可以被認(rèn)為是一個(gè)膨脹因子為1的擴(kuò)展卷積層,在分析時(shí)間序列時(shí),卷積核大小和膨脹因子可以分別看作是采樣次數(shù)和采樣周期。對(duì)于相同的采樣次數(shù),采樣周期越長(zhǎng),包含的時(shí)間信息越多。使用膨脹因子會(huì)產(chǎn)生更大的時(shí)間步長(zhǎng),同時(shí)避免與下采樣相關(guān)的信息損失,因?yàn)榕c下采樣不同,它不會(huì)修改輸出特征的長(zhǎng)度。如圖3(b)所示,膨脹卷積通過(guò)間隔采樣擴(kuò)展感受域,使網(wǎng)絡(luò)回到 時(shí)間步長(zhǎng),其中 n 為層數(shù)??梢钥闯?,在層數(shù)相同的情況下,膨脹因果卷積的輸出比不含膨脹因子的因果卷積獲得了更多的時(shí)間序列信息。擴(kuò)展的因果卷積允許網(wǎng)絡(luò)像RNN一樣依賴(lài)于長(zhǎng)期的歷史信息,同時(shí)保留了CNN的并行性和多尺度特征提取能力。

    圖3不含膨脹因子的因果卷積(a);膨脹因果卷積(b) Fig.3Causal convolution without expansion factor (a) and with expansion factor (b)

    此外,TCN單元還包含殘差連接,這使得該結(jié)構(gòu)能夠獲得穩(wěn)定的深度網(wǎng)絡(luò)。殘差塊由兩個(gè)卷積層和非線(xiàn)性激活函數(shù)GELU組成,每一層加入批量歸一化,使網(wǎng)絡(luò)正則化,增強(qiáng)其泛化能力。

    2.3 TE模塊

    本文使用的TE模塊的結(jié)構(gòu)如圖1(c所示,主要由多頭注意力和卷積前饋層組成。本文對(duì)原始的前饋層進(jìn)行了改進(jìn),增加了一個(gè)卷積層,增強(qiáng)了網(wǎng)絡(luò)對(duì)時(shí)間序列數(shù)據(jù)的絕對(duì)位置信息進(jìn)行編碼的能力。多頭注意力機(jī)制的具體結(jié)構(gòu)如圖4所示,利用多個(gè)平行的自注意力層從多個(gè)方面獲取全局信息,其方程如

    式(2)和式(3)所示:

    Multihea d(Q,K,V)=concat(head1,…,headH)W0 (2)

    其中, 分別表示Query、Key、Value的矩陣,它們是由經(jīng)過(guò)不同線(xiàn)性變換的輸入特征向量構(gòu)成的矩陣, W 為權(quán)重矩陣。將它們視為輸入特征向量在不同空間上的投影,具體的線(xiàn)性變換矩陣參數(shù)通過(guò)學(xué)習(xí)得到。將Query矩陣與Key矩陣相乘得到當(dāng)前傳感器的信號(hào)特征與其他傳感器的信號(hào)特征間的相似度。與此類(lèi)似,Value矩陣與相似特征矩陣相乘可以在原始特征的基礎(chǔ)上更清晰地關(guān)注重要特征。然而,在對(duì)當(dāng)前位置的信息進(jìn)行編碼時(shí),自注意力機(jī)制會(huì)過(guò)于關(guān)注其位置,而忽略其他位置。因此,引入具有更大感受野的多頭注意力機(jī)制,有效地對(duì)不同特征之間的相關(guān)性進(jìn)行建模。多頭注意力機(jī)制通過(guò)產(chǎn)生 H 組不同線(xiàn)性投影來(lái)對(duì)Q、K、 u 進(jìn)行變換,其中H 為注意頭的數(shù)量。這為分配注意力權(quán)重提供了更多選擇,并增加了公平分配的可能性。此外,多頭注意力機(jī)制還使注意層的輸出包含來(lái)自不同子空間的編碼表征信息,從而提高模型的表示能力。

    圖4多頭注意力機(jī)制的詳細(xì)結(jié)構(gòu)圖Fig.4Detailedstructureof themultiheadattentionmechanism

    此外,注意力機(jī)制是置換不變性的,即不能捕獲特征之間的位置關(guān)系。本文在Transformer中使用卷積前饋網(wǎng)絡(luò)代替原來(lái)的前饋網(wǎng)絡(luò)。圖5所示為改進(jìn)前后的前饋網(wǎng)絡(luò)的對(duì)比結(jié)果,其中圖5(b)所示為卷積前饋模塊的具體結(jié)構(gòu),卷積前饋網(wǎng)絡(luò)在第一個(gè)全連接層(FCL)和激活函數(shù)之間增加了一個(gè)一維深度卷積(DWConv),將整流線(xiàn)性單元(ReLU)激活函數(shù)改為高斯誤差線(xiàn)性單元(GELU)激活函數(shù)。深度卷積由可分離卷積和逐點(diǎn)卷積組成,該結(jié)構(gòu)與傳統(tǒng)卷積相當(dāng),可以應(yīng)用于特征提取,但它具有更少的參數(shù)和更低的操作成本。零填充的一維深度卷積捕捉相鄰token之間的關(guān)系,獲得特征的絕對(duì)位置信息,保持網(wǎng)絡(luò)結(jié)構(gòu)的平移不變性,使輸入序列排列可變但平移不變,加強(qiáng)局部上下文之間的聯(lián)系。因此,TE模塊增強(qiáng)了網(wǎng)絡(luò)的魯棒性,減少了異常值帶來(lái)的影響,特別是當(dāng)氣體成分突然波動(dòng)時(shí),識(shí)別更加準(zhǔn)確。

    圖5原始前饋 (a);卷積前饋(b) Fig.5Original feedforward (a);convolutional feedforward (b)

    2.4 損失函數(shù)

    在經(jīng)典的分類(lèi)任務(wù)中,損失函數(shù)通常使用交叉熵?fù)p失。然而,傳統(tǒng)的交叉熵?fù)p失往往只關(guān)注類(lèi)別信息,而忽略了特征之間的空間關(guān)系,導(dǎo)致模型學(xué)到的特征不夠緊湊和區(qū)分度不夠。為了在模型學(xué)習(xí)過(guò)程中對(duì)特征更好地聚類(lèi),本文引人中心損失來(lái)讓同一類(lèi)別的樣本在特征空間中更加接近,通過(guò)最小化樣本特征與其對(duì)應(yīng)類(lèi)別中心的距離,中心損失能夠提高特征的緊湊性,從而增強(qiáng)模型的判別能力。中心損失的計(jì)算公式如式(4所示:

    其中, D 表示歐幾里得距離的平方, cyi 是類(lèi)yi的中心, f 表示模型輸出的特征,對(duì)應(yīng)圖1(a)中TE模塊和全連接層之間的特征??傮w損失公式如式(5)所示:

    LTotal=LCE+λLCenter

    其中 LCE,LCenter 分別代表氣體分類(lèi)任務(wù)中的交叉熵?fù)p失和中心損失,利用參數(shù) λ 來(lái)控制交叉熵?fù)p失和中心損失之間的比例,模型最終用 LTotal 作為總損失函數(shù)來(lái)訓(xùn)練模型。

    3 實(shí)驗(yàn)結(jié)果與分析

    3.1 數(shù)據(jù)集介紹

    本文使用3個(gè)電子鼻數(shù)據(jù)集來(lái)驗(yàn)證所提方法的有效性,每個(gè)數(shù)據(jù)集是在不同檢測(cè)環(huán)境中使用不同的電子鼻傳感器采集。

    OpenSampling數(shù)據(jù)集是從傳感器陣列模塊中收集,模塊有8個(gè)金屬氧化物(MOX)氣體傳感器,其在復(fù)雜的環(huán)境條件下檢測(cè)和識(shí)別潛在危險(xiǎn)的化學(xué)氣體物質(zhì)。傳感器陳列模塊的響應(yīng)信號(hào)是從集成傳感器陣列的72個(gè)氣體傳感器中,以每個(gè)氣體傳感器的有源敏感膜上的電阻形式讀出。每次測(cè)量都會(huì)產(chǎn)生一個(gè)72通道的時(shí)間序列,每個(gè)通道都由一個(gè)260s的時(shí)間序列表示,采樣率 100Hz ,反映了評(píng)估場(chǎng)景中的所有環(huán)境變化。該數(shù)據(jù)集的代表性樣本如圖6所示。該數(shù)據(jù)集包含10類(lèi)不同純化學(xué)氣體的記錄,包括丙酮、乙醛、氨、丁醇、乙烯、甲烷、甲醇、一氧化碳、苯和甲苯,共18000條樣本。我們以 1Hz 的采樣率對(duì)所有信號(hào)進(jìn)行重新采樣,因此每個(gè)輸入樣本包含260個(gè)時(shí)間戳。同時(shí)本文還對(duì)每個(gè)樣本在時(shí)間維度上進(jìn)行標(biāo)準(zhǔn)化,以提高網(wǎng)絡(luò)的學(xué)習(xí)效果。

    圖6Open Sampling數(shù)據(jù)集的代表性樣本 Fig.6Representative sample ofOpen Samplingdataset

    Drift數(shù)據(jù)集是在2007年1月至2011年2月(36個(gè)月)期間在加州大學(xué)實(shí)驗(yàn)室中收集的,包含來(lái)自16個(gè)化學(xué)傳感器的13910個(gè)測(cè)量值,這些傳感器模擬了漂移補(bǔ)償,用于對(duì)6種不同濃度水平的氣體進(jìn)行分類(lèi)任務(wù)。傳感器的響應(yīng)以每個(gè)傳感器有源層電阻的形式讀出,因此每次測(cè)量都會(huì)產(chǎn)生一個(gè)16通道的時(shí)間序列。此數(shù)據(jù)集包括6種不同純氣態(tài)物質(zhì)的記錄,即氨、乙醛、丙酮、乙烯、乙醇和甲苯,每種物質(zhì)的體積分?jǐn)?shù)范圍為 5×10-6~1×10-3 。原始數(shù)據(jù)被分為10個(gè)批次,每個(gè)批次包含如表1所示的每個(gè)月的測(cè)量數(shù)據(jù)。這種數(shù)據(jù)組織方式是為了確保在訓(xùn)練模型時(shí),每個(gè)類(lèi)和每個(gè)月都有足夠的、盡可能均勻分布的數(shù)據(jù)。

    Twin數(shù)據(jù)集包括來(lái)自8個(gè)傳感器陣列的多次重復(fù)記錄。每個(gè)陣列包含8個(gè)MOX傳感器,并配備定制設(shè)計(jì)的電子設(shè)備,用于控制傳感器的工作溫度和信號(hào)采集。所有陣列均采用相同的實(shí)驗(yàn)方案,測(cè)試5個(gè)雙單元傳感器的反應(yīng)。每天測(cè)試一個(gè)不同的單元,每個(gè)單元隨機(jī)暴露于40種不同的氣體狀態(tài),被測(cè)試裝置暴露于10種濃度的乙醇、甲烷、乙烯和一氧化碳中。每次實(shí)驗(yàn)持續(xù) 600s. ,每個(gè)傳感器的數(shù)據(jù)以100Hz 的頻率進(jìn)行采集。

    表1Drift數(shù)據(jù)集的批次和月份ID對(duì)應(yīng)表Table1Mapping table of batch and month ID forDrift dataset

    3.2 實(shí)驗(yàn)設(shè)置

    本文使用Pytorch1.13.0框架進(jìn)行編程,實(shí)驗(yàn)在單張NIVIDIAGeForceRTX3090GPU的硬件平臺(tái)上進(jìn)行。TCN的通道數(shù)分別設(shè)置為[4,8,16],膨脹因子分別設(shè)置為[1,2,4],TCN中的膨脹因果卷積的卷積核都設(shè)置為(1,3),TE模塊的多頭注意力的Head數(shù)量設(shè)置為2,損失函數(shù)中中心損失的權(quán)重λ為0.02。使用SGD優(yōu)化器優(yōu)化參數(shù),初始學(xué)習(xí)率設(shè)置為0.001,固定步長(zhǎng)衰減調(diào)整學(xué)習(xí)率。3個(gè)數(shù)據(jù)集都以3:1:1 的比例劃分訓(xùn)練集、測(cè)試集和驗(yàn)證集。根據(jù)3.1節(jié)中所描述的數(shù)據(jù)集規(guī)模和復(fù)雜度,以及在訓(xùn)練過(guò)程中對(duì)模型性能變化的觀(guān)察,最終確定在OpenSampling數(shù)據(jù)集上訓(xùn)練100輪,在Drift數(shù)據(jù)集上訓(xùn)練50輪,在Twin數(shù)據(jù)集上訓(xùn)練50輪。

    3.3 評(píng)估指標(biāo)

    為了評(píng)價(jià)所提算法的性能,本文使用準(zhǔn)確率(Accuracy)、精確率(Precision)、召回率(Recall)、F1-score作為評(píng)價(jià)指標(biāo)。準(zhǔn)確率是指模型正確預(yù)測(cè)的樣本數(shù)占總樣本數(shù)的比例,精確率是指在所有被分類(lèi)為正例的樣本中真正例的比例,召回率是指在所有實(shí)際為正例的樣本中被正確分類(lèi)為正例的比例,F(xiàn)1-score是精確率和召回率的調(diào)和平均值。計(jì)算公式分別為:

    其中,TP(TruePositive)表示真正例數(shù),TN(TrueNegative)表示真負(fù)例數(shù),F(xiàn)P(FalsePositive)表示假正例數(shù),F(xiàn)N(FalseNegative)表示假負(fù)例數(shù)。

    3.4實(shí)驗(yàn)結(jié)果

    為了驗(yàn)證所提方法的性能,在3個(gè)電子鼻數(shù)據(jù)集上使用傳統(tǒng)機(jī)器學(xué)習(xí)方法(樸素貝葉斯(Bayes)、支持向量機(jī)(SVM)、隨機(jī)森林等)、傳統(tǒng)深度學(xué)習(xí)方法(Resnet18、ViT等)以及氣體識(shí)別領(lǐng)域的主流方法(CLSTM[33]、TTCN[34]、MCNA[35]等)進(jìn)行對(duì)比實(shí)驗(yàn),結(jié)果如表2、表3和表4所示,其中黑體表示最優(yōu)結(jié)果。

    在OpenSampling數(shù)據(jù)集上,所提方法在各項(xiàng)指標(biāo)上都取得了最優(yōu)結(jié)果,準(zhǔn)確率達(dá)到了 99.47% 。機(jī)器學(xué)習(xí)方法中,樸素貝葉斯和KNN取得 49.95% 和56.04% 的準(zhǔn)確率,SVM、Logisic回歸、DT分別取得86.58% 、 85.63% 、 80.22% 的準(zhǔn)確率,XgBoost和RF分別取得 96.62% 和 94.42% 的準(zhǔn)確率。傳統(tǒng)深度學(xué)習(xí)方法中,VGG16和Densenet效果最好,分別達(dá)到 96.95% / 96.80% 的準(zhǔn)確率。在氣體識(shí)別任務(wù)的主流方法中,MCNA和Olfactory-Resnet分別達(dá)到了97.81% 和 98.80% 的準(zhǔn)確率。

    Drift數(shù)據(jù)集分為Batch1\~Batch10共10個(gè)子集,每個(gè)子集中的樣本數(shù)量有160\~3600條不等,因此以模型在10個(gè)子集上的平均準(zhǔn)確率作為在Drift數(shù)據(jù)集上的最終結(jié)果。機(jī)器學(xué)習(xí)方法中,效果最佳的是RF,達(dá)到 98.60% 的準(zhǔn)確率。深度學(xué)習(xí)方法中,Resnet和CAtt-CNN取得了最好效果,分別達(dá)到了 99.43% 和 99.51% 的準(zhǔn)確率。在Drift數(shù)據(jù)集上,所提出的MTCNA盡管在Batch1、Batch3、Batch8上沒(méi)有達(dá)到最優(yōu),但與最優(yōu)方法的結(jié)果十分接近,且在最終的平均準(zhǔn)確率指標(biāo)上仍取得了最優(yōu)結(jié)果,領(lǐng)先于次優(yōu)的CAtt-CNN。

    在Twin數(shù)據(jù)集上,將所提方法與傳統(tǒng)深度學(xué)習(xí)方法和氣體識(shí)別中的主流方法進(jìn)行了對(duì)比,所提方法取得最優(yōu)性能,準(zhǔn)確率達(dá)到 99.22% 。傳統(tǒng)深度學(xué)習(xí)方法中,Resnet18和Mobilenet效果最好,分別達(dá)到 94.53% 、 93.75% 的準(zhǔn)確率。在氣體識(shí)別任務(wù)的主流方法中,CLSTM和MCNA分別達(dá)到了 98.44% 和96.09% 的準(zhǔn)確率。

    實(shí)驗(yàn)結(jié)果表明,在以上3個(gè)數(shù)據(jù)集上本文提出的MTCNA都達(dá)到了最優(yōu)性能,這驗(yàn)證了本文所提方法的識(shí)別能力,且有較強(qiáng)的魯棒性。

    3.5 實(shí)驗(yàn)分析

    3.5.1特征可視化t-SNE是一種非線(xiàn)性降維機(jī)器學(xué)習(xí)算法,該方法基于嵌入模型,將高維空間的數(shù)據(jù)映射到低維空間,并保留了數(shù)據(jù)的局部特征。本文使用t-SNE對(duì)所提取的特征進(jìn)行可視化處理,圖中的每一個(gè)點(diǎn)表示一個(gè)樣本,每一種顏色表示一種類(lèi)別,結(jié)果如圖7所示。圖7(a)為原始特征圖,圖7(b)所示為MTCNA所提取特征的可視化圖。可以看到,原始特征的分布是雜亂無(wú)序的,難以直接進(jìn)行分類(lèi),而提取后的特征中,相同類(lèi)別的樣本聚類(lèi)效果顯著,不同類(lèi)別之間有明顯的分界線(xiàn)。這表明時(shí)態(tài)卷積網(wǎng)絡(luò)與Transformer的結(jié)合可以自動(dòng)提取樣本中氣體類(lèi)別的有效特征,有助于提高整體分類(lèi)精度。

    表2Open Sampling數(shù)據(jù)集上分類(lèi)結(jié)果Table2 Classification results on Open Sampling dataset

    3.5.2超參數(shù)實(shí)驗(yàn)通過(guò)調(diào)整MTCNA的損失函數(shù)中心損失的權(quán)重、多尺度數(shù)量k、時(shí)態(tài)卷積網(wǎng)絡(luò)中TCN塊的數(shù)量 n 均能提高氣體的識(shí)別能力。在本文中研究了這幾個(gè)框架參數(shù)的影響。使用不同的框架參數(shù)來(lái)訓(xùn)練,OpenSampling數(shù)據(jù)集上的結(jié)果如圖8所示。

    表3Drift數(shù)據(jù)集上的分類(lèi)結(jié)果Table3 ClassificationresultsonDriftdataset"
    表4Twin數(shù)據(jù)集上的分類(lèi)結(jié)果Table 4 Classification results on Twin dataset

    如圖8(a)中所示,對(duì)于中心損失的權(quán)重λ,在λ=0.02 時(shí)模型取得最優(yōu)性能,而隨著權(quán)重的增加,模型性能逐漸下降。這說(shuō)明當(dāng)權(quán)重在0.02時(shí),交叉熵?fù)p失與中心損失達(dá)到平衡;當(dāng)權(quán)重系數(shù)過(guò)低時(shí),模型過(guò)于依賴(lài)交叉熵?fù)p失,而忽視了同一類(lèi)樣本的特征之間的距離,導(dǎo)致性能下降;當(dāng)權(quán)重系數(shù)過(guò)高時(shí),模型更加關(guān)注樣本的內(nèi)部結(jié)構(gòu),而這使得模型對(duì)于訓(xùn)練數(shù)據(jù)的噪聲或特定樣本過(guò)度敏感,從而降低了模型的泛化性能。

    如圖8(b)中所示,當(dāng)多尺度數(shù)量 k 逐漸增大時(shí),MTCNA的性能先升高后下降,在 k=3 時(shí)達(dá)到最佳性能。隨著多尺度數(shù)量增加,數(shù)據(jù)中的低頻特征變得更加顯著,高頻特征的比例降低。而在氣體識(shí)別任務(wù)中,低頻信號(hào)體現(xiàn)的是長(zhǎng)期的響應(yīng)變化,對(duì)模型理解信號(hào)與氣體的聯(lián)系更加重要,因此模型識(shí)別精度提高。而當(dāng)數(shù)據(jù)中的低頻特征完全體現(xiàn)后,卷積網(wǎng)絡(luò)有足夠的特征來(lái)表示信號(hào)和氣體之間的關(guān)系后,精度保持穩(wěn)定。

    圖7原始特征可視化(a)和模型提取特征可視化(b)Fig.7Original feature visualization (a) and model extraction feature visualization (b)
    圖8網(wǎng)絡(luò)中不同參數(shù)下模型的效果對(duì)比圖Fig.8Comparison of the effects of modelswith different parameters in the network

    如圖8(c中所示,當(dāng)TCN塊的數(shù)量 n 增加時(shí),模型的性能會(huì)先升高,在 n=3 時(shí)達(dá)到最高,然后逐漸下降。隨著TCN塊數(shù)量的增加,模型可以提取更多和更復(fù)雜的特征。這使得模型在初期階段能夠更好地捕獲數(shù)據(jù)中的模式和結(jié)構(gòu),從而提高性能。隨著TCN塊數(shù)量的進(jìn)一步增加,模型可能變得過(guò)于復(fù)雜,從而導(dǎo)致過(guò)擬合。模型對(duì)于訓(xùn)練數(shù)據(jù)中的噪聲或不相關(guān)的特征過(guò)度擬合,而導(dǎo)致在測(cè)試集上的泛化性能下降。

    3.5.3消融實(shí)驗(yàn)為了驗(yàn)證MTCNA中各模塊的作用,在OpenSampling數(shù)據(jù)集上使用去除各模塊的MTCNA進(jìn)行了消融實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果見(jiàn)表5。未添加TCN模塊的MTCNA在Open Sampling數(shù)據(jù)集上的平均準(zhǔn)確率下降 0.46% ,未添加Centerloss的MTCNA在OpenSampling數(shù)據(jù)集上平均準(zhǔn)確率下降了 1.25% 而TCN模塊和Centerloss都未使用的MTCNA準(zhǔn)確率下降了 1.66% 。

    表5MTCNA的消融實(shí)驗(yàn)Table5AblationexperimentsofMTCNA

    實(shí)驗(yàn)結(jié)果表明,使用時(shí)態(tài)卷積神經(jīng)網(wǎng)絡(luò)比使用傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)能更好地捕捉序列中的時(shí)序模式和動(dòng)態(tài)變化,使模型更適用于時(shí)間序列數(shù)據(jù)。在損失函數(shù)中使用中心損失作為輔助項(xiàng),能讓模型在學(xué)習(xí)過(guò)程中對(duì)特征進(jìn)行更好地聚類(lèi),更關(guān)注樣本類(lèi)間距離,從而增強(qiáng)模型判別能力。通過(guò)消融實(shí)驗(yàn),驗(yàn)證了所提方法的有效性,這些結(jié)果表明,引入時(shí)態(tài)卷積網(wǎng)絡(luò)和中心損失對(duì)于氣體分類(lèi)任務(wù)的性能提升具有積極的影響。

    4結(jié)論

    本文提出了一種基于膨脹因果卷積和注意力機(jī)制的氣體識(shí)別方法,旨在解決CNN感受野有限和不能有效提取全局特征的問(wèn)題。為了應(yīng)對(duì)這些挑戰(zhàn),設(shè)計(jì)了融合膨脹因果卷積的TCN模塊,通過(guò)擴(kuò)大網(wǎng)絡(luò)的感受野,使模型更好地捕捉數(shù)據(jù)中的長(zhǎng)期依賴(lài)關(guān)系。同時(shí),使用TE模塊提取數(shù)據(jù)中的全局特征,幫助模型關(guān)注傳感器之間的潛在聯(lián)系。在3個(gè)公開(kāi)電子鼻數(shù)據(jù)集上對(duì)MTCNA模型進(jìn)行評(píng)估,與機(jī)器學(xué)習(xí)方法和現(xiàn)有的氣體識(shí)別領(lǐng)域方法進(jìn)行了對(duì)比,均取得了最優(yōu)性能,驗(yàn)證了本文方法的有效性和適用性。

    參考文獻(xiàn):

    [1] LINH,CHENH,YIN C,etal.Lightweight residual convolutional neural network for soybean classification combined with electronic nose[J].IEEE Sensors Journal, 2022,22(12):11463-11473.

    [2] SHI Y,YUAN H,ZHANG Q,et al.Lightweight interleaved residual dense network for gas identification ofindustrial polypropylene coupled with an electronic nose[J].Measurement Science and Technology,2023, 34(8): 085109.

    [3] 谷小婧,林昊琪,丁德武,等.基于紅外氣體成像及實(shí)例分 割的氣體泄漏檢測(cè)方法[J].華東理工大學(xué)學(xué)報(bào)(自然科 學(xué)版),2023,49(1):76-86.

    [4] WOJNOWSKIW,DYMERSKIT,GEBICKI J,etal. Electronic noses in medical diagnostics[J]. Current Medicinal Chemistry,2019,26(1):197-215.

    [5] MACRO S,GUTIERREZ-GALVEZ A. Signal and data processing for machine olfaction and chemical sensing:A review[J].IEEE Sensors Jourmal,2012,12(11): 3189-3214.

    [6]DMITRZAK M, JASINSKI P, JASINSKI G. Limited selectivity of amperometric gas sensors operatingin multicomponent gas mixtures and methods of selectivity improvement[J].Bulltin of the Polish Academy of Sciences Technical Sciences,2020, 68(6): 1275-1282.

    [7]YANG J, SUN Z, CHEN Y. Fault detection using the clustering-KNN rule for gas sensor arrays[J]. Sensors,2016, 16(12): 2069.

    [8]NAMAZKHAN M, ALBERS C, STEG L. A decision tree method for explaining household gas consumption: The role of building characteristics, socio-demographic variables, psychological factors and household behaviour[J]. Renewable and Sustainable EnergyReviews,2020,119:109542.

    [9]KELLER C A,EVANS M J. Application of random forest regression to the calculation of gas-phase chemistry within the GEOS-Chem chemistry model v10[J]. Geoscientific Model Development, 2019,12(3): 1209-1225.

    [10]YUAN Z,HAN E,MENG F,et al.Detection and identification of volatile organic compounds based on temperature-modulated ZnO sensors[J]. IEEE Transactions on Instrumentationand Measurement,2019, 69(7): 4533-4544.

    [11]ZHANG W, WANG L, CHEN J, et al. A novel gas recognition and concentration detection algorithm for artificial olfaction[J]. IEEE Transactions on Instrumentation and Measurement,2021,70: 9409770.

    [12]PTUCHA R, SUCH FP, PILLAI S, et al. Intelligent character recognition using fully convolutional neural networks[J].Pattern Recognition,2019,88: 604-613.

    [13]LI H. Deep learning for natural language processing: Advantages and challenges[J]. National Science Review, 2018, 5(1): 24-26.

    [14] GU R, WANG G, SONG T, et al. CA-Net: Comprehensive attention convolutional neural networks for explainable medical image segmentation[J]. IEEE Transactions on Medical Imaging,2020,40(2): 699-711.

    [15]肖飛揚(yáng),顧幸生.基于并行LSTM-CNN的化工過(guò)程故障 檢測(cè)[J].華東理工大學(xué)學(xué)報(bào)(自然科學(xué)版),2023,49(3): 382-390.

    [16] WANG T, ZHANG H, WU Y, et al. Target discrimination, concentration prediction, and status judgment of electronic nose system based on large-scale measurement and multitask deep learning[J]. Sensors and Actuators B: Chemical, 2022, 351: 130915.

    [17]BAI S, KOLTER J Z, KOLTUN V. An empirical evaluation of generic convolutional and recurrent networks for sequence modeling[EB/OL]. (2018-03-01) [2018-06-01]. https://arXiv preprint arXiv:1803.01271, 2018.

    [18] VASWANI A, SHAZEER N, PARMAR N, et al. Attention is all you need[J]. Advances in Neural Information Processing Systems,2017,30: 5998-6008.

    [19]MENG L,LI H, CHEN B C, et al. Adavit: Adaptive vision transformers for efficient image recognition[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New Orleans, LA, USA: IEEE, 2022: 12309-12318.

    [20]YANG F, YANG H,F(xiàn)U J, et al.Learming texture transformer network for image super-resolution[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE,2020: 5791-5800.

    [21] WEN Y, ZHANG K, LI Z,et al. A comprehensive study on centerloss for deep face recognition[J].International Journal of ComputerVision, 2019,127: 668-683.

    [22] FENG S,F(xiàn)ARHA F,LI Q, et al. Review on smart gas sensing technology[J]. Sensors,2019,19(17): 3760.

    [23] YANG X, LI M, JI X, et al. Recognition algorithms in E-nose: A Review[J]. IEEE Sensors Journal,2023,20460- 20472.

    [24] GUO J, CHENG Y,LUO D, et al. ODRP: A deep learming framework for odor descriptor rating prediction using electronic nose[J]. IEEE Sensors Journal,2021,21(13):15012- 15021.

    [25]XIONG Y, CHEN Y, CHEN C, et al. An odor recognition algorithm of electronic noses based on convolutional spiking neural network for spoiled food identification[J] Journal of the Electrochemical Society,2021,168(7): 077519.

    [26]MA D, GAO J, ZHANG Z, et al. Gas recognition method based on the deep learming model of sensor array response map[J]. Sensors and Actuators B: Chemical, 2021, 330: 129349.

    [27] LEEJM, CHOI E J,CHUNGJH, et al.A DNA-derived phage nose using machine learning and artificial neural processing for diagnosing lung cancer[J]. Biosensors and Bioelectronics,2021,194: 113567.

    [28] SRINIVAS A,LIN T Y,PARMAR N, et al. Bottleneck transformers for visual recognition[C]//Proceedings of the IEEE/CVF Conference on ComputerVisionand Pattern Recognition. Piscataway,NJ: IEEE,2021: 16519-16529.

    [29] CORDONNIER J B, LOUKAS A, JAGGI M. On the relationship between self-attention and convolutional layers[C]//International Conference on Learning Representations.RedHook,NY,UA: Curran Associates,InC,2020.

    [30]YUAN K, GUO S,LIU Z, et al. Incorporating convolution designs into visual transformers[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision. Piscataway, NJ: IEEE,2021: 579-588.

    [31]XIAO T, SINGH M, MINTUN E, et al. Early convolutions help transformers see better[J].Advances inNeural Information Processing Systems,2021,34: 30392-30400.

    [32] BAIS,KOLTERJZ,KOLTUNV.An empirical evaluationof generic convolutional and recurrent networks for sequence m0deling[EB/OL]. (2018-03-19) [2021-08-25]. https//arXiv preprint arXiv:1803.01271,2018.

    [33] ZHOU K,LIU Y.Early-stage gas identification using convolutional long short-term neural network with sensor arraytime seriesdata[J].Sensors,2021,21(14):4826.

    [34] YANGG, SONGR,WUY,etal.Analgorithmbased on transformer and temporal convolution network for early identification of ternary gasmixture[J]. IEEE Sensors Journal,2023,23:23753-23764.

    [35] PANJ,YANGA,WANGD,etal.Lightweight neural networkfor gas identification based on semiconductor sensor[J].IEEE Transactions on Instrumentationand Measurement,2021,71:1-8.

    [36] ZHANG C, WANG W, PAN Y, et al. Curriculum learningbased approaches for end-to-end gas recognition[J].IEEE Transactions on Instrumentation and Measurement, 2022, 71: 1-11

    Gas Recognition Method Based on Dilatation Causal Convolution and Attention Mechanism

    YU Lingwei, YANG Mengping, YANG Hai, WANG Zhe (School of Information Science and Engineering, East China University of Science and Technology, Shanghai 200237, China)

    Abstract: Gas identification is of great significance in the fields of environmental monitoring,industrial safety and medical health,which can efectively detect harmful gas leaks,monitor airqualityand identify disease odor markers.However,the field of gas identification is faced with the problem that the sensor data needs tobe processed manually before it can be used for subsequent analysis.Convolutional neural network (CNN) hasbeen gradually applied in gas recognition scenariosofelectronic nose systems with theirabilityofautomatic feature learing and endto-end modeling.Although CNNperforms wellin this field, there are stillchallengessuchas limited receptive field and insuficient global feature extraction,resulting in limited recognition performance.To solve these problems,a gas recognition method based on expansive causal convolution and attention mechanism is proposed.The algorithm combines the atention mechanism and multi-scale temporal convolution network in Transformer to extract global and local features,extract morerepresentational featuresandobtaina larger receptive field,and capture the instantaneous informationand change trend of gas.Experiments are conducted on three different data sets—Open Sampling,Drift and Twin. The results show that the proposed method achieves accuracy of 99.47% , 99.61% and 99.22% , respectively, which are superior to the existing mainstream methods, thereby confirming its effectiveness.

    Key words:electronic nose system;gas identification; attention mechanism; temporal convolutional networks; time series

    (責(zé)任編輯:王曉麗)

    猜你喜歡
    集上尺度損失
    人類(lèi)世尺度批評(píng)視角下《樹(shù)語(yǔ)》慢性暴力的多維探析
    兩條守恒定律在解決碰撞模型中的應(yīng)用
    基于位置掩碼引導(dǎo)的換裝行人重識(shí)別模型
    反鐵磁材料電信號(hào)實(shí)現(xiàn)可讀可控
    基于多層特征融合與增強(qiáng)的對(duì)比圖聚類(lèi)
    面向說(shuō)話(huà)人日志的多原型驅(qū)動(dòng)圖神經(jīng)網(wǎng)絡(luò)方法
    面向視覺(jué)-語(yǔ)言模型的遞進(jìn)互提示學(xué)習(xí)
    變暖3℃,每個(gè)人都將“失去”早餐
    自約束多尺度記憶網(wǎng)絡(luò)的超聲心動(dòng)視頻分割算法研究
    多尺度降噪自編碼器的遮擋行人重識(shí)別研究與應(yīng)用
    少妇被粗大猛烈的视频| 国产伦精品一区二区三区四那| 久久久国产欧美日韩av| 日本欧美国产在线视频| 国产成人免费无遮挡视频| 精品少妇内射三级| 观看美女的网站| 又粗又硬又长又爽又黄的视频| 亚洲av福利一区| 日韩三级伦理在线观看| 成人黄色视频免费在线看| 一个人看视频在线观看www免费| 久久韩国三级中文字幕| 日日摸夜夜添夜夜添av毛片| 自线自在国产av| 国产乱人偷精品视频| 免费在线观看成人毛片| 亚洲国产色片| 国产精品女同一区二区软件| 久久免费观看电影| 大陆偷拍与自拍| 亚洲精华国产精华液的使用体验| 亚洲第一av免费看| 内地一区二区视频在线| 最近手机中文字幕大全| 成人影院久久| 国产成人a∨麻豆精品| 美女xxoo啪啪120秒动态图| 亚州av有码| 国产免费一级a男人的天堂| 精品久久久久久久久av| 自拍偷自拍亚洲精品老妇| 中文天堂在线官网| 日韩,欧美,国产一区二区三区| 久久精品国产亚洲av天美| 久久99热6这里只有精品| 高清欧美精品videossex| 国产高清有码在线观看视频| av免费在线看不卡| 免费人妻精品一区二区三区视频| 黑丝袜美女国产一区| 亚洲美女搞黄在线观看| 女性被躁到高潮视频| 国产黄色视频一区二区在线观看| 日韩 亚洲 欧美在线| 在线观看免费高清a一片| 国产综合精华液| 大话2 男鬼变身卡| 亚洲激情五月婷婷啪啪| 国产精品99久久99久久久不卡 | 国产伦精品一区二区三区视频9| 一级毛片 在线播放| 亚洲久久久国产精品| 建设人人有责人人尽责人人享有的| 欧美日韩视频高清一区二区三区二| 国产极品粉嫩免费观看在线 | 色视频在线一区二区三区| 久久精品国产自在天天线| 精品久久久噜噜| 69精品国产乱码久久久| 人人妻人人澡人人爽人人夜夜| 国产成人一区二区在线| 大香蕉久久网| 国产精品一区二区在线观看99| 秋霞伦理黄片| 黑人巨大精品欧美一区二区蜜桃 | 国产片特级美女逼逼视频| 女性被躁到高潮视频| 免费观看性生交大片5| 噜噜噜噜噜久久久久久91| 亚洲av男天堂| 熟女电影av网| 国产亚洲一区二区精品| 日韩一区二区三区影片| 少妇熟女欧美另类| 欧美成人精品欧美一级黄| 男人添女人高潮全过程视频| 亚洲性久久影院| 性高湖久久久久久久久免费观看| 欧美三级亚洲精品| 亚洲第一区二区三区不卡| 精品国产乱码久久久久久小说| 亚洲av男天堂| 人人妻人人澡人人看| 如日韩欧美国产精品一区二区三区 | 免费看光身美女| 97超碰精品成人国产| 亚洲精华国产精华液的使用体验| 亚洲精华国产精华液的使用体验| 国产伦精品一区二区三区四那| 国产精品伦人一区二区| 国产精品成人在线| 亚洲国产欧美在线一区| 久久99精品国语久久久| 22中文网久久字幕| 亚洲欧美日韩东京热| 国产在线视频一区二区| 伦精品一区二区三区| 久久久久久久久久成人| 看免费成人av毛片| 五月开心婷婷网| 九九在线视频观看精品| 久久免费观看电影| 亚洲真实伦在线观看| 蜜臀久久99精品久久宅男| av播播在线观看一区| 女人精品久久久久毛片| 国产精品欧美亚洲77777| 91在线精品国自产拍蜜月| 午夜福利视频精品| 男人和女人高潮做爰伦理| 精品久久久精品久久久| 国产亚洲精品久久久com| 亚洲四区av| 狂野欧美激情性bbbbbb| 男人狂女人下面高潮的视频| 久久久久久人妻| 国产乱人偷精品视频| 丁香六月天网| 亚洲av成人精品一区久久| 亚洲国产精品国产精品| 欧美丝袜亚洲另类| 免费观看a级毛片全部| 国产在视频线精品| 免费久久久久久久精品成人欧美视频 | 日韩av在线免费看完整版不卡| 自拍偷自拍亚洲精品老妇| 国内揄拍国产精品人妻在线| 一本色道久久久久久精品综合| 高清av免费在线| 王馨瑶露胸无遮挡在线观看| 我要看黄色一级片免费的| 丝袜脚勾引网站| a级毛色黄片| 极品教师在线视频| 成人亚洲精品一区在线观看| 3wmmmm亚洲av在线观看| av国产久精品久网站免费入址| 国产爽快片一区二区三区| 免费大片黄手机在线观看| 免费人妻精品一区二区三区视频| 91久久精品国产一区二区成人| 丝袜在线中文字幕| 国产欧美亚洲国产| 一级a做视频免费观看| 欧美日韩av久久| 麻豆成人av视频| 街头女战士在线观看网站| 亚洲欧美日韩卡通动漫| 国产色爽女视频免费观看| 在线天堂最新版资源| 精品久久久久久久久av| 国产亚洲一区二区精品| 人妻制服诱惑在线中文字幕| 亚洲精品乱久久久久久| 国产美女午夜福利| 久久国产精品男人的天堂亚洲 | av黄色大香蕉| 最近中文字幕2019免费版| 成人国产麻豆网| 日本欧美国产在线视频| 在线播放无遮挡| 免费播放大片免费观看视频在线观看| 亚洲四区av| 大又大粗又爽又黄少妇毛片口| 只有这里有精品99| 99九九在线精品视频 | 亚洲怡红院男人天堂| 春色校园在线视频观看| 成人综合一区亚洲| 亚洲av国产av综合av卡| 毛片一级片免费看久久久久| 丁香六月天网| 如日韩欧美国产精品一区二区三区 | 免费观看a级毛片全部| 啦啦啦中文免费视频观看日本| av线在线观看网站| 久久久久久久久久久久大奶| 搡老乐熟女国产| 婷婷色av中文字幕| 两个人的视频大全免费| 丰满迷人的少妇在线观看| 热re99久久精品国产66热6| 波野结衣二区三区在线| 日本猛色少妇xxxxx猛交久久| 国产美女午夜福利| 国产精品一区二区三区四区免费观看| 国产欧美另类精品又又久久亚洲欧美| 热99国产精品久久久久久7| 少妇被粗大的猛进出69影院 | 亚洲三级黄色毛片| 中文天堂在线官网| 精品久久久精品久久久| 亚洲人成网站在线观看播放| 亚洲美女黄色视频免费看| 性色avwww在线观看| 久久久久久久亚洲中文字幕| 亚洲av日韩在线播放| a级毛片免费高清观看在线播放| 国产乱来视频区| 国产在线免费精品| 最近最新中文字幕免费大全7| 一本一本综合久久| 不卡视频在线观看欧美| 日韩伦理黄色片| 春色校园在线视频观看| 免费黄频网站在线观看国产| 午夜免费男女啪啪视频观看| 国产亚洲最大av| 国产一区二区在线观看日韩| 国产一区亚洲一区在线观看| 色婷婷av一区二区三区视频| 精品久久久久久电影网| 青春草亚洲视频在线观看| 91在线精品国自产拍蜜月| 精品人妻熟女av久视频| 久久国产精品男人的天堂亚洲 | 亚洲国产欧美在线一区| 日本猛色少妇xxxxx猛交久久| 日韩亚洲欧美综合| 国产91av在线免费观看| 亚洲人成网站在线观看播放| 日本-黄色视频高清免费观看| 国产精品秋霞免费鲁丝片| 久久国产亚洲av麻豆专区| 日韩 亚洲 欧美在线| 亚洲av成人精品一区久久| 80岁老熟妇乱子伦牲交| 一区二区三区免费毛片| 日本黄色片子视频| 国产淫语在线视频| 91精品一卡2卡3卡4卡| 在线观看av片永久免费下载| 91久久精品国产一区二区三区| a 毛片基地| 亚洲av在线观看美女高潮| 日韩视频在线欧美| 成人亚洲精品一区在线观看| 亚洲精品久久久久久婷婷小说| 国产 一区精品| 青春草亚洲视频在线观看| 如何舔出高潮| 赤兔流量卡办理| 精品熟女少妇av免费看| 少妇丰满av| a级毛片免费高清观看在线播放| 亚洲欧美清纯卡通| 国产91av在线免费观看| 日韩熟女老妇一区二区性免费视频| 亚洲精品亚洲一区二区| 国模一区二区三区四区视频| 国产午夜精品一二区理论片| 十分钟在线观看高清视频www | 中文字幕亚洲精品专区| 男女啪啪激烈高潮av片| av卡一久久| 蜜桃在线观看..| 99热国产这里只有精品6| 亚洲精品日本国产第一区| 亚洲中文av在线| 日韩三级伦理在线观看| 纯流量卡能插随身wifi吗| 日本-黄色视频高清免费观看| 久久久久人妻精品一区果冻| 成人综合一区亚洲| 国产极品粉嫩免费观看在线 | 免费播放大片免费观看视频在线观看| 边亲边吃奶的免费视频| 99久久人妻综合| 国产成人一区二区在线| 91午夜精品亚洲一区二区三区| 亚洲精品国产色婷婷电影| 18禁动态无遮挡网站| 国产精品久久久久久久电影| 久久这里有精品视频免费| a级毛色黄片| 人人妻人人爽人人添夜夜欢视频 | 我的老师免费观看完整版| 免费久久久久久久精品成人欧美视频 | 视频区图区小说| 看非洲黑人一级黄片| 精品少妇黑人巨大在线播放| 99re6热这里在线精品视频| 日韩,欧美,国产一区二区三区| 亚洲av二区三区四区| 人人妻人人澡人人爽人人夜夜| 日韩av不卡免费在线播放| 亚洲欧洲国产日韩| 国产男女内射视频| 一本一本综合久久| 亚洲欧美日韩另类电影网站| videos熟女内射| 欧美变态另类bdsm刘玥| 91精品一卡2卡3卡4卡| 免费大片黄手机在线观看| 午夜福利在线观看免费完整高清在| 国产极品天堂在线| 国产精品欧美亚洲77777| 人妻人人澡人人爽人人| 在线亚洲精品国产二区图片欧美 | 男人爽女人下面视频在线观看| 特大巨黑吊av在线直播| 99久久精品一区二区三区| 我的老师免费观看完整版| 亚洲av.av天堂| 久久97久久精品| 女性被躁到高潮视频| 在线观看www视频免费| 亚洲国产精品999| 国产亚洲5aaaaa淫片| 我的女老师完整版在线观看| 欧美日韩视频高清一区二区三区二| 麻豆乱淫一区二区| 久热这里只有精品99| 久久人妻熟女aⅴ| 18禁裸乳无遮挡动漫免费视频| av女优亚洲男人天堂| 国产淫语在线视频| 日韩欧美 国产精品| 一级片'在线观看视频| 在线 av 中文字幕| 成年女人在线观看亚洲视频| 午夜福利在线观看免费完整高清在| 国国产精品蜜臀av免费| 美女xxoo啪啪120秒动态图| 99久久综合免费| 最近的中文字幕免费完整| 极品少妇高潮喷水抽搐| 欧美激情国产日韩精品一区| 亚洲激情五月婷婷啪啪| 少妇的逼好多水| 久久6这里有精品| 下体分泌物呈黄色| 大又大粗又爽又黄少妇毛片口| 色94色欧美一区二区| 日本wwww免费看| 午夜91福利影院| 老女人水多毛片| 免费观看av网站的网址| 一本色道久久久久久精品综合| 久久久久精品性色| 午夜视频国产福利| 婷婷色麻豆天堂久久| 久久ye,这里只有精品| 国产成人aa在线观看| 午夜精品国产一区二区电影| 91精品一卡2卡3卡4卡| 国产精品秋霞免费鲁丝片| 91久久精品国产一区二区成人| 亚洲不卡免费看| 成人亚洲欧美一区二区av| 丰满人妻一区二区三区视频av| 麻豆成人午夜福利视频| 99久久精品一区二区三区| 久久99精品国语久久久| 91在线精品国自产拍蜜月| 特大巨黑吊av在线直播| 大香蕉久久网| 最黄视频免费看| 日日摸夜夜添夜夜爱| 丝瓜视频免费看黄片| 欧美激情极品国产一区二区三区 | 在线 av 中文字幕| 欧美97在线视频| 男的添女的下面高潮视频| 国产视频首页在线观看| 日韩一区二区三区影片| 免费看不卡的av| 黄片无遮挡物在线观看| 亚洲av电影在线观看一区二区三区| 少妇熟女欧美另类| 亚洲无线观看免费| 在线观看免费日韩欧美大片 | 只有这里有精品99| 日韩大片免费观看网站| 国产在视频线精品| 丝袜喷水一区| 男女免费视频国产| 亚洲伊人久久精品综合| 国产日韩一区二区三区精品不卡 | 国产免费一级a男人的天堂| 成人黄色视频免费在线看| 大片免费播放器 马上看| 久久久国产欧美日韩av| 免费观看在线日韩| 精品午夜福利在线看| 免费在线观看成人毛片| 伦精品一区二区三区| 少妇被粗大猛烈的视频| videossex国产| 久久久国产欧美日韩av| 成人毛片60女人毛片免费| 激情五月婷婷亚洲| 国产视频内射| 内射极品少妇av片p| 精品国产乱码久久久久久小说| 99九九在线精品视频 | 国产精品偷伦视频观看了| 狂野欧美激情性xxxx在线观看| 99热全是精品| 色5月婷婷丁香| 制服丝袜香蕉在线| 久久久精品94久久精品| 最后的刺客免费高清国语| 精品一区二区三卡| 女性生殖器流出的白浆| 99久久中文字幕三级久久日本| 国产av国产精品国产| 国产无遮挡羞羞视频在线观看| 国产又色又爽无遮挡免| 肉色欧美久久久久久久蜜桃| 久久久久久伊人网av| 久久韩国三级中文字幕| 国产69精品久久久久777片| 午夜福利,免费看| 寂寞人妻少妇视频99o| 又大又黄又爽视频免费| av卡一久久| 青春草国产在线视频| 久久国产精品男人的天堂亚洲 | 午夜日本视频在线| 噜噜噜噜噜久久久久久91| 国产精品蜜桃在线观看| 少妇高潮的动态图| 日日撸夜夜添| 丰满少妇做爰视频| 亚洲国产成人一精品久久久| 欧美老熟妇乱子伦牲交| 欧美bdsm另类| 插阴视频在线观看视频| 男人添女人高潮全过程视频| 久久热精品热| 亚洲av福利一区| 青春草国产在线视频| 亚洲中文av在线| 日韩三级伦理在线观看| 亚洲精品日本国产第一区| 99久久精品一区二区三区| 91aial.com中文字幕在线观看| 午夜老司机福利剧场| 久久狼人影院| 美女主播在线视频| 亚洲精品国产av成人精品| 久久久国产精品麻豆| 国产精品久久久久久av不卡| 黄色视频在线播放观看不卡| 三级国产精品欧美在线观看| 热99国产精品久久久久久7| 久久人妻熟女aⅴ| 亚洲精品国产av成人精品| 日韩欧美 国产精品| 曰老女人黄片| 亚洲精品亚洲一区二区| 国产精品久久久久久精品古装| 日本午夜av视频| 国产精品久久久久久久久免| 色吧在线观看| 久久国产精品男人的天堂亚洲 | 永久网站在线| 五月天丁香电影| 久久人妻熟女aⅴ| 狂野欧美白嫩少妇大欣赏| 91午夜精品亚洲一区二区三区| 在线 av 中文字幕| 亚洲av欧美aⅴ国产| 简卡轻食公司| 日本av免费视频播放| 亚洲精品456在线播放app| 少妇人妻一区二区三区视频| 亚洲不卡免费看| 日本vs欧美在线观看视频 | 亚洲国产欧美在线一区| 欧美一级a爱片免费观看看| 欧美少妇被猛烈插入视频| 一级片'在线观看视频| 成人综合一区亚洲| 国产精品人妻久久久影院| 啦啦啦啦在线视频资源| 成年人免费黄色播放视频 | 国产成人a∨麻豆精品| 少妇被粗大的猛进出69影院 | 欧美xxⅹ黑人| 日韩三级伦理在线观看| 在线亚洲精品国产二区图片欧美 | 亚洲av日韩在线播放| 国产亚洲91精品色在线| 麻豆精品久久久久久蜜桃| 九九在线视频观看精品| 99九九线精品视频在线观看视频| 国产日韩欧美在线精品| 欧美bdsm另类| 99热这里只有是精品在线观看| 高清午夜精品一区二区三区| 在线观看三级黄色| 亚洲精品乱码久久久v下载方式| 我的老师免费观看完整版| 亚洲欧美日韩卡通动漫| 大又大粗又爽又黄少妇毛片口| 看非洲黑人一级黄片| 精品人妻熟女av久视频| 久久久国产精品麻豆| 丰满乱子伦码专区| 精华霜和精华液先用哪个| 亚洲人与动物交配视频| 久久99一区二区三区| 日韩 亚洲 欧美在线| av在线观看视频网站免费| 如何舔出高潮| 国产精品福利在线免费观看| 大片免费播放器 马上看| av视频免费观看在线观看| freevideosex欧美| 成人漫画全彩无遮挡| 韩国高清视频一区二区三区| 国产成人精品福利久久| 99久久中文字幕三级久久日本| 亚洲国产色片| 黄色一级大片看看| 国产男女内射视频| 热re99久久精品国产66热6| 久久久欧美国产精品| 在线观看免费日韩欧美大片 | 亚洲精品国产成人久久av| 男人添女人高潮全过程视频| av又黄又爽大尺度在线免费看| 亚洲国产精品国产精品| 亚洲欧美成人综合另类久久久| 特大巨黑吊av在线直播| 亚洲精品,欧美精品| 在线免费观看不下载黄p国产| 99精国产麻豆久久婷婷| 夫妻午夜视频| 中文字幕免费在线视频6| 中文字幕人妻丝袜制服| 国产亚洲午夜精品一区二区久久| 秋霞伦理黄片| 中国国产av一级| 亚洲在久久综合| 久久 成人 亚洲| 波野结衣二区三区在线| 亚洲va在线va天堂va国产| 少妇高潮的动态图| av卡一久久| 夜夜看夜夜爽夜夜摸| 在现免费观看毛片| 日本-黄色视频高清免费观看| 六月丁香七月| 你懂的网址亚洲精品在线观看| 99久久综合免费| 日韩熟女老妇一区二区性免费视频| 在线观看免费高清a一片| 久久鲁丝午夜福利片| 国产免费视频播放在线视频| 岛国毛片在线播放| 免费观看无遮挡的男女| 免费大片黄手机在线观看| 日本爱情动作片www.在线观看| 黄色一级大片看看| 啦啦啦视频在线资源免费观看| 成人亚洲精品一区在线观看| 在线观看免费高清a一片| 人人妻人人爽人人添夜夜欢视频 | 免费黄色在线免费观看| 一级毛片黄色毛片免费观看视频| 日韩亚洲欧美综合| 免费观看在线日韩| 亚洲欧美清纯卡通| 国产有黄有色有爽视频| 老司机亚洲免费影院| 欧美日韩一区二区视频在线观看视频在线| 国产片特级美女逼逼视频| 人妻夜夜爽99麻豆av| 少妇 在线观看| 男女啪啪激烈高潮av片| 建设人人有责人人尽责人人享有的| 免费高清在线观看视频在线观看| 下体分泌物呈黄色| 91午夜精品亚洲一区二区三区| 最近2019中文字幕mv第一页| 国产一区二区在线观看av| h视频一区二区三区| 少妇猛男粗大的猛烈进出视频| 国产免费福利视频在线观看| 欧美日韩亚洲高清精品| 亚洲国产精品专区欧美| 亚洲精品一二三| 久久人人爽av亚洲精品天堂| 国产成人一区二区在线| 久久国产亚洲av麻豆专区| 这个男人来自地球电影免费观看 | 亚洲精品456在线播放app| 桃花免费在线播放| 伦精品一区二区三区| 日韩免费高清中文字幕av| 中文天堂在线官网| av线在线观看网站| 精品久久国产蜜桃| 夫妻性生交免费视频一级片| 黄色视频在线播放观看不卡| 亚洲伊人久久精品综合| 久久久欧美国产精品| 久久6这里有精品| 人妻夜夜爽99麻豆av| 国产精品久久久久久精品电影小说| 亚洲国产av新网站| 久热这里只有精品99| 精品国产国语对白av| 日韩av不卡免费在线播放| 极品少妇高潮喷水抽搐| 日韩强制内射视频| 日本-黄色视频高清免费观看| 免费看av在线观看网站| 国产精品免费大片| 成人免费观看视频高清| 男人爽女人下面视频在线观看|