基于局部距離特征的多模態(tài)融合CNN時(shí)間序列分類

馬志強(qiáng) 石 磊

1(河南農(nóng)業(yè)職業(yè)學(xué)院 河南 鄭州 451450) 2(鄭州大學(xué)信息工程學(xué)院 河南 鄭州 450001)

0 引 言

時(shí)間序列作為大數(shù)據(jù)中極其重要的一種組成,在各個(gè)領(lǐng)域都得到了極大的關(guān)注[1]。時(shí)間序列分類是時(shí)序分析里面非常重要的分支,即基于歷史觀察的序列信號(hào)對(duì)樣本做出分類。由于必須考慮各個(gè)變量之間的次序關(guān)系,因此,時(shí)間序列分類問(wèn)題已成為數(shù)據(jù)挖掘領(lǐng)域的特殊挑戰(zhàn)之一[2-3]。

時(shí)間序列分類的難點(diǎn)在于保持序列的時(shí)間相關(guān)性[4]。傳統(tǒng)的時(shí)間序列分類方法采用基于距離的方法如k-最近鄰,然而,由于數(shù)據(jù)的可用性不斷提升,人工神經(jīng)網(wǎng)絡(luò)已經(jīng)成為模式識(shí)別的有力工具,尤其在圖像數(shù)據(jù)識(shí)別方面,但是對(duì)時(shí)間序列分類中存在的可變長(zhǎng)度以及時(shí)間扭曲問(wèn)題還未能有效解決[5-6]。動(dòng)態(tài)時(shí)間規(guī)整(DTW)等工具是專門(mén)為解決時(shí)間序列的困難而設(shè)計(jì)的[7]。DTW的標(biāo)準(zhǔn)用法是通過(guò)取非線性匹配時(shí)間序列元素之間的局部距離之和來(lái)計(jì)算兩個(gè)時(shí)間序列模式之間的全局距離,其中元素匹配是用動(dòng)態(tài)規(guī)劃來(lái)完成的,它允許彈性匹配對(duì)時(shí)間失真、長(zhǎng)度變化和速率變化具有魯棒性[8]。然而,當(dāng)使用DTW作為距離度量時(shí),只使用全局距離,并且丟棄了有關(guān)序列元素動(dòng)態(tài)匹配的信息。

將輸入時(shí)間序列與原型時(shí)間序列之間的DTW匹配元素間的局部距離作為新的局部距離特征時(shí)間序列的特征。局部距離被稱為局部距離特征,原始輸入的時(shí)間序列是坐標(biāo)特征。考慮五種不同的原型選擇方法:邊界法、最近法、跨越法、K-中心法和隨機(jī)法[9-10]。這些方法既可用于類獨(dú)立的,也可用于分類。通過(guò)從這些方法中選擇的原型,可以提取局部距離特征并與CNN結(jié)合使用。但是選擇哪種原型方法較優(yōu)還沒(méi)有一個(gè)確定的結(jié)論。

本文提出一種基于局部距離特征的多模態(tài)融合CNN時(shí)間序列分類方法,在多模融合網(wǎng)絡(luò)中結(jié)合了局部距離特征和坐標(biāo)特征,并且探索了原型選擇對(duì)分類性能的影響。最后通過(guò)實(shí)例驗(yàn)證了本文方法的有效性。

1 基于局部距離的特征提取

1.1 使用DTW進(jìn)行特征提取

DTW是一種廣泛使用的算法,用于確定時(shí)間序列模式之間的距離。與線性匹配不同,DTW使用優(yōu)化的元素匹配來(lái)增強(qiáng)對(duì)時(shí)間失真的魯棒性,例如速率差異和時(shí)間平移。DTW確定的匹配是通過(guò)動(dòng)態(tài)規(guī)劃對(duì)相似元素進(jìn)行對(duì)齊來(lái)完成的。具體而言,DTW通過(guò)估計(jì)由元素對(duì)之間的局部距離構(gòu)成的代價(jià)矩陣上的最小路徑來(lái)匹配元素。這將在時(shí)間維度上扭曲的序列元素之間創(chuàng)建匹配。

給定兩個(gè)時(shí)間序列,前面定義的s和一個(gè)原型時(shí)間序列p=p1,p2,…,pu,…,pU,具有U個(gè)時(shí)間步數(shù),pu∈RQ,其中Q是每個(gè)元素的維數(shù),DTW全局距離是最佳匹配的局部距離的總和,即:

(1)

式中:(u′,t′)是匹配的索引,分別對(duì)應(yīng)于p和s的原始索引u和t;M表示索引集。然后將匹配之間局部距離的總和用作離散時(shí)間序列之間的距離度量。

然而,如式(1)所示,僅使用總?cè)志嚯x,而浪費(fèi)了實(shí)際匹配計(jì)算。雖然這一事實(shí)對(duì)于傳統(tǒng)的基于距離的方法來(lái)說(shuō)并不重要,但有可能丟失有關(guān)比較模式之間的結(jié)構(gòu)關(guān)系的信息。圖1為DTW計(jì)算之間的比較,其中元素之間的局部距離可以揭示在使用DTW作為全局距離度量時(shí)通常會(huì)丟失的其他信息。圖1中顯示了不同原型p1、p2、p3和p4的四個(gè)示例,每個(gè)原型和樣本對(duì)都有上面所示的兩個(gè)模式,連接線表示通過(guò)DTW進(jìn)行匹配,下面是局部距離特征序列。它們的DTW距離與普通樣本s相似。使用傳統(tǒng)的基于距離的分類方法將無(wú)法區(qū)分不同的原型,即使原型之間存在顯著差異。另一方面,時(shí)間序列的匹配元素之間的局部距離保持可以利用判別信息。因此,不是使用匹配的總和,而是使用匹配元素之間的局部距離來(lái)創(chuàng)建序列v,或者:

(a)

(b)

(c)

(d)圖1 一維時(shí)間序列s和四個(gè)原型DTW

(2)

對(duì)于每個(gè)(u′,t′)∈M。將v的元素稱為局部距離特征,將序列s的原始特征稱為坐標(biāo)特征。v的可視化如圖2所示,其中每一列代表從樣本到原型的局部距離。每行涉及一個(gè)原型p1、p2和p3,每列是一個(gè)樣本s1、s2和s3的局部距離特征?；诰植烤嚯x特征的時(shí)間序列v1、v2和v3是每個(gè)樣本的原型的三維組合。

圖2 局部距離特征與對(duì)應(yīng)的在線字符時(shí)間序列示例

當(dāng)與多個(gè)原型一起使用時(shí),一個(gè)多元序列表示為:

(3)

將創(chuàng)建RK中v的每個(gè)元素,其中K是原型總數(shù)。當(dāng)使用DTW斜率約束時(shí),確保時(shí)間步長(zhǎng)相對(duì)于原型序列總是前進(jìn)一個(gè),例如由遞歸函數(shù)定義的非對(duì)稱斜率約束:

(4)

式中:D(u,v)是累加和,只要原型長(zhǎng)度相同,就可以使用不同長(zhǎng)度的輸入序列來(lái)創(chuàng)建固定長(zhǎng)度v。這是因?yàn)槭褂眠@種特殊的斜率約束保證了M中的匹配數(shù)將始終等于原型序列p中的元素?cái)?shù)。因此,局部距離特征序列v的表達(dá)式提供了一個(gè)固定長(zhǎng)度、時(shí)間扭曲的時(shí)間序列。

1.2 CNN分類

在構(gòu)造出局部距離特征序列后,提出將它們用作一維卷積CNN的輸入,以進(jìn)行時(shí)間序列分類。坐標(biāo)特征表示原始時(shí)間序列模式,局部距離特征表示與原型模式的關(guān)系。通過(guò)結(jié)合這兩種特征,可以訓(xùn)練一種結(jié)合了來(lái)自兩種數(shù)據(jù)類型信息的CNN。

將兩種不同的數(shù)據(jù)模式結(jié)合起來(lái)稱為多模態(tài)分類。在CNN的背景下,可以通過(guò)多種方式組合這些模式。如果將具有兩種模式的CNN在輸入級(jí)融合,則稱為數(shù)據(jù)級(jí)融合或早期融合。如果CNN在中間層之一融合,則稱為特征級(jí)融合或中間融合。最后,如果在分類層之前的最后,將CNN進(jìn)行融合,則它是決策級(jí)融合或后期融合。融合的時(shí)間取決于模型的作者,并且像超參數(shù)一樣選擇。

圖3概述了三種融合方案,并結(jié)合了所提出的特征提取。如圖3(a)所示,早期融合模型采用坐標(biāo)特征并將其與局部距離特征組合以創(chuàng)建單個(gè)時(shí)間序列輸入。這等效于將局部距離特征視為多元時(shí)間序列的附加維度。除了數(shù)據(jù)融合之外,CNN的結(jié)構(gòu)與標(biāo)準(zhǔn)時(shí)間CNN相同。對(duì)于圖3(b)中的中間融合模型,這兩種模態(tài)被提供給單獨(dú)的卷積層集,并在共享的全連接層之前串聯(lián)在一起。每個(gè)部分都將學(xué)習(xí)與各自的模態(tài)相對(duì)應(yīng)的獨(dú)立卷積權(quán)重集。圖3(c)中的后期融合網(wǎng)絡(luò)的結(jié)構(gòu)類似于兩個(gè)不同的CNN,每個(gè)CNN具有數(shù)據(jù)模態(tài),但是被組合作為輸出層的輸入。

(a)

(b)

(c)圖3 三種融合方案下的比較

1.3 原型選擇

通過(guò)觀察原型和樣本之間的差異來(lái)進(jìn)行基于距離的學(xué)習(xí)中的分類。但是,隨著數(shù)據(jù)集規(guī)模的擴(kuò)大,原型的數(shù)量可能會(huì)很大。因此,為任務(wù)選擇最佳原型可能是減少計(jì)算時(shí)間同時(shí)保留準(zhǔn)確分類所需信息的有效步驟。過(guò)去,基于距離的方法的原型選擇已被廣泛研究。此外,針對(duì)時(shí)間序列提出了許多原型選擇和生成方法。例如,使用AdaBoost進(jìn)行選擇,并使用DTW重心平均進(jìn)行生成。

本文借用從基于距離的分類器中選擇原型的想法,以選擇用于創(chuàng)建局部距離特征v的原型,以便有選擇地增加v中嵌入的信息量。具體而言,使用隨機(jī)、邊界、最近、跨度和K中心原型選擇從整個(gè)訓(xùn)練集P確定一個(gè)子集P′。這些方法中的每一個(gè)都可以在整個(gè)數(shù)據(jù)集上執(zhí)行,與類無(wú)關(guān),也可以在每個(gè)類中按類執(zhí)行。除隨機(jī)選擇外,每一種原型選擇方法均采用DTW作為距離度量進(jìn)行距離計(jì)算,以適應(yīng)時(shí)間序列。圖4為每種與類無(wú)關(guān)的原型選擇方法的示例,較大的點(diǎn)是原型選擇方法的結(jié)果,較小的點(diǎn)在數(shù)字類中著色。

圖4 可視化的Unipen 1a在線手寫(xiě)數(shù)字?jǐn)?shù)據(jù)集

(1) 隨機(jī)原型選擇。隨機(jī)選擇是隨機(jī)選擇原型的簡(jiǎn)單方法。此方法用作故意選擇方法的基準(zhǔn)。

(2) 邊界原型選擇。邊界方法創(chuàng)建一個(gè)表示訓(xùn)練集P邊界上的模式的原型子集P′,即:

(5)

式中:Borders(P)是訓(xùn)練集P中原型的結(jié)果索引,該訓(xùn)練集具有由DTW確定的與所有其他模式的總最大距離。此過(guò)程重復(fù)K次,每次回合將選定的原型從P移到P′。當(dāng)以類的方式使用時(shí),邊界原型選擇方法通常會(huì)在每個(gè)類的邊緣上選取模式,選擇難以分類的模式或決策邊界附近的模式,以類無(wú)關(guān)的方式使用時(shí),所選模式位于整個(gè)訓(xùn)練數(shù)據(jù)集的邊緣。

(3) 最近原型選擇?！白罱辈扇∨c“邊界”相反的方法。它從訓(xùn)練集P中最接近其他所有模式的模式構(gòu)造原型子集P′。換句話說(shuō),P的中心或以式(6)的優(yōu)化處理方式重復(fù)K次。

(6)

與其他方法相比,與類無(wú)關(guān)的最近選擇對(duì)于本文方法來(lái)說(shuō)是一種直觀上較差的選擇方法,這是因?yàn)樗x的原型彼此相似并且?guī)缀鯖](méi)有提供額外的信息。但是,當(dāng)以類方式使用時(shí),可以在選擇每個(gè)類的中心原型時(shí)使用。

(4) 跨度原型選擇?？缍仍瓦x擇的目的是在數(shù)據(jù)集中實(shí)現(xiàn)均勻分布。補(bǔ)充材料中概述了跨度原型選擇的算法。與以前的方法不同,跨度考慮了以前選擇的原型。它將選擇與所有先前選擇的DTW距離最遠(yuǎn)的原型。結(jié)果是一個(gè)原型集P′,它包含的原型之間的距離盡可能遠(yuǎn),跨越整個(gè)原始數(shù)據(jù)集P。

(5) K中心原型選擇。K中心原型選擇方法遵循K中心或K中心點(diǎn)聚類方法來(lái)選擇原型。選擇P中的聚類的中心點(diǎn)的原因是為了獲取一個(gè)與整個(gè)集合的分布相似的原型的分布。

補(bǔ)充材料中還提供了K中心原型選擇算法。為了計(jì)算K中心,首先,使用跨度初始化原型集P′,以創(chuàng)建K中心的確定性初始化。第二,訓(xùn)練樣本p∈P被分配到聚類C1,C2,…,Ck,…,CK,基于它們與最近的聚類中心的接近程度。最后確定每個(gè)聚類的新中心。重復(fù)這個(gè)過(guò)程,直到聚類中心沒(méi)有變化。

2 實(shí)驗(yàn)與結(jié)果分析

2.1 數(shù)據(jù)集

Unipen 1a、Unipen 1b和Unipen 1c數(shù)據(jù)集分別由獨(dú)立在線手寫(xiě)數(shù)字、大寫(xiě)字符和小寫(xiě)字符組成。Unipen數(shù)據(jù)集作為時(shí)間序列分類的基準(zhǔn)已經(jīng)很成熟。每個(gè)數(shù)據(jù)集包含大約13 000個(gè)模式。實(shí)驗(yàn)將數(shù)據(jù)集分成10份,與每個(gè)訓(xùn)練集中選擇的原型進(jìn)行10倍交叉驗(yàn)證。

UCI機(jī)器學(xué)習(xí)存儲(chǔ)庫(kù)是跨多個(gè)領(lǐng)域的大型數(shù)據(jù)集存儲(chǔ)庫(kù)。從存儲(chǔ)庫(kù)中,將四個(gè)時(shí)間序列數(shù)據(jù)集用于實(shí)驗(yàn)。根據(jù)以下標(biāo)準(zhǔn)選擇數(shù)據(jù)集:時(shí)間序列分類任務(wù)、訓(xùn)練集中有足夠的模式以及最新的基線。使用了來(lái)自UCI機(jī)器學(xué)習(xí)存儲(chǔ)庫(kù)的以下數(shù)據(jù)集:腕戴式加速度計(jì)數(shù)據(jù)集的日常生活活動(dòng)(ADL)識(shí)別、口語(yǔ)阿拉伯?dāng)?shù)字?jǐn)?shù)據(jù)集(Arabic)、澳大利亞手語(yǔ)符號(hào)數(shù)據(jù)集(Auslan)和Hill-Valley數(shù)據(jù)集。ADL由705個(gè)3軸加速度計(jì)測(cè)量組成,分為7個(gè)ADL類。Arabic包含10個(gè)口語(yǔ)數(shù)字類的13頻率梅爾頻率倒譜系數(shù)(MFCC)。該數(shù)據(jù)集有8 800個(gè)模式,其中:6 600個(gè)模式構(gòu)成訓(xùn)練集;2 200個(gè)模式用于獨(dú)立于說(shuō)話人的測(cè)試集。接下來(lái),Auslan有來(lái)自95個(gè)類的6 650個(gè)手語(yǔ)單詞。最后,Hill-Valley數(shù)據(jù)集是由606個(gè)時(shí)間序列模式組成的綜合數(shù)據(jù)集,每100個(gè)時(shí)間步長(zhǎng)被分為“hill”或“valley”。有兩種版本,一種不帶噪音(HillValley),一種帶噪音。如果可用,則使用具有預(yù)定義拆分的數(shù)據(jù)集的訓(xùn)練和測(cè)試集。當(dāng)沒(méi)有預(yù)定義的集合拆分時(shí),使用10倍交叉驗(yàn)證。

數(shù)據(jù)集的最后一類是來(lái)自UCR時(shí)間序列分類檔案的85個(gè)1D時(shí)間序列數(shù)據(jù)集。這些數(shù)據(jù)集跨越許多不同的領(lǐng)域并具有不同的特征。數(shù)據(jù)集具有2至60個(gè)類、60至2 709個(gè)時(shí)間步長(zhǎng),并且都包含預(yù)定義的訓(xùn)練和測(cè)試集。

2.2 實(shí)施細(xì)節(jié)

為了評(píng)估所提出的CNN局部距離特征的有效性,使用了五種實(shí)現(xiàn)方式:一個(gè)僅具有時(shí)間序列特征的CNN,一個(gè)僅具有局部距離特征的CNN,數(shù)據(jù)級(jí)早期融合CNN,特征級(jí)中間融合CNN和決策級(jí)后期融合CNN。所有實(shí)現(xiàn)都使用一維卷積層,內(nèi)核大小為3,步幅為1。與通常與圖像一起使用的CNN不同,時(shí)間CNN可以使用一維卷積,其中在整個(gè)時(shí)間維度上使用卷積。對(duì)于此應(yīng)用,使用1D或2D卷積時(shí)結(jié)果幾乎沒(méi)有差異,因此選擇了1D卷積方法。在每個(gè)卷積層之后,使用窗口大小為2、步幅為2的一維最大池化層。

由于第2.1節(jié)中概述的數(shù)據(jù)集范圍很廣,因此根據(jù)輸入的長(zhǎng)度確定卷積層和池化層的數(shù)量。具體來(lái)說(shuō),池化層的數(shù)量Lpool和卷積層的數(shù)量Lconv定義為:

Lpool=Lconv=round(log2(T))-3

(7)

式中:T是輸入模式中的最大時(shí)間步數(shù)。式(7)用于確保通過(guò)最大池化將全連接層之前的最終特征長(zhǎng)度減少到5到12個(gè)時(shí)間步長(zhǎng)之間。使用式(7)使得實(shí)驗(yàn)中的模型具有2到8個(gè)卷積和池化層。至于節(jié)點(diǎn)數(shù),第一個(gè)卷積層設(shè)置為64個(gè)節(jié)點(diǎn),第二個(gè)卷積層設(shè)置為128個(gè)節(jié)點(diǎn),并且在適用時(shí),第三個(gè)或更高的卷積層設(shè)置為256個(gè)節(jié)點(diǎn)。此外,全連接層有1 024個(gè)節(jié)點(diǎn),丟失率為0.5。整流線性單元(ReLU)用作隱藏層的激活函數(shù)。應(yīng)當(dāng)指出,還測(cè)試了其他深層神經(jīng)網(wǎng)絡(luò)如VGG,但是結(jié)果并不令人滿意,也無(wú)法證明額外參數(shù)的合理性。

對(duì)于Unipen數(shù)據(jù)集,使用100個(gè)批次對(duì)模型進(jìn)行了100 000次迭代訓(xùn)練。使用32個(gè)批次對(duì)UCI和UCR數(shù)據(jù)集進(jìn)行了50 000次迭代訓(xùn)練。訓(xùn)練方案的差異是由于與其他數(shù)據(jù)集相比,Unipen數(shù)據(jù)集的大小更大。使用Adam優(yōu)化器對(duì)每個(gè)模型進(jìn)行了訓(xùn)練,初始學(xué)習(xí)率為0.000 1。

2.3 方法對(duì)比

2.3.1 Unipen在線手寫(xiě)數(shù)據(jù)集的評(píng)估

將Unipen數(shù)據(jù)集上的實(shí)驗(yàn)與文獻(xiàn)中的9種最新方法進(jìn)行了比較,包括經(jīng)典方法和基于神經(jīng)網(wǎng)絡(luò)的方法[11-17]。對(duì)于經(jīng)典方法,比較了基于統(tǒng)計(jì)DTW的隱馬爾可夫模型(HMM)(HMM CSDTW)、兩個(gè)SVMs(一個(gè)將DTW嵌入到高斯內(nèi)核中(SVM GDTW)以及另一個(gè)使用分段多項(xiàng)式函數(shù)(Inter.Kernel))、在線掃描n元組分類器(OnSNT)的結(jié)果。對(duì)于神經(jīng)網(wǎng)絡(luò)方法,將本文方法的結(jié)果與DTW神經(jīng)網(wǎng)絡(luò)(DTW-NN)(該DTW神經(jīng)網(wǎng)絡(luò)將DTW集成到前饋神經(jīng)網(wǎng)絡(luò)中),使用神經(jīng)網(wǎng)絡(luò)中的筆畫(huà)特征的神經(jīng)模糊系統(tǒng)(FasArt),混合Kohonen-perceptron(KP)神經(jīng)網(wǎng)絡(luò)(Fuzzy Rep.KP),具有動(dòng)態(tài)對(duì)齊權(quán)重的CNN(CNN DWA)和LSTM進(jìn)行了比較。最后,展示了使用格編碼和波束搜索方法的Google在線手寫(xiě)識(shí)別系統(tǒng)(Google)的結(jié)果。

2.3.2 UCI機(jī)器學(xué)習(xí)存儲(chǔ)庫(kù)數(shù)據(jù)集的評(píng)估

UCI機(jī)器學(xué)習(xí)存儲(chǔ)庫(kù)及其數(shù)據(jù)集過(guò)去有許多不同的成果,它們用專門(mén)的模型處理每個(gè)數(shù)據(jù)集。為了簡(jiǎn)潔起見(jiàn),僅報(bào)告對(duì)每個(gè)數(shù)據(jù)集進(jìn)行調(diào)查后發(fā)現(xiàn)的最新方法。對(duì)于ADL數(shù)據(jù)集,文獻(xiàn)[17]使用CNN DWA。Arabic數(shù)據(jù)集的最新結(jié)果使用帶MFCC的二階導(dǎo)數(shù)(TPMFCC)的HMM。過(guò)去有很多使用Auslan數(shù)據(jù)集的作品。但是,文獻(xiàn)中的大多數(shù)方法僅使用完整數(shù)據(jù)集的子集來(lái)限制類的數(shù)量。然而,De Rosa等在Auslan數(shù)據(jù)集的全部95個(gè)類中使用了6個(gè)方法。對(duì)于HillValley1和HillValley2,分別將本文方法與神經(jīng)網(wǎng)絡(luò)(NN)和隨機(jī)位森林(RBF)進(jìn)行了比較。

2.4 結(jié)果分析

表1和表2分別顯示了針對(duì)Unipen和UCI數(shù)據(jù)集的五種原型選擇方法的結(jié)果。補(bǔ)充材料中提供了UCR數(shù)據(jù)集的更詳細(xì)的結(jié)果表。結(jié)果顯示了在結(jié)合坐標(biāo)特征和局部距離特征的中間融合CNN中使用K=5的與類無(wú)關(guān)的原型選擇的準(zhǔn)確性。根據(jù)各自的原型選擇方法,本文方法被標(biāo)記為“中間融合”(隨機(jī))、“中間融合”(最近)、“中間融合”(邊界)、“中間融合”(跨度)和“中間融合”(K中心)。

表1 Unipen數(shù)據(jù)集的比較(%)

續(xù)表1

表2 UCI機(jī)器學(xué)習(xí)存儲(chǔ)庫(kù)數(shù)據(jù)集的結(jié)果(%)

表1顯示了本文方法能夠獲得Unipen 1b和Unipen 1c數(shù)據(jù)集的最新結(jié)果,并且僅被一種經(jīng)典方法OnSNT和一種現(xiàn)代方法Google所超越。此外,與Unipen數(shù)據(jù)集上除這兩種方法以外的所有其他方法相比,所有原型選擇方法均具有較高的準(zhǔn)確性。

對(duì)于表2中UCI數(shù)據(jù)集的結(jié)果,本文方法表現(xiàn)異常出色。除了Auslan數(shù)據(jù)集外,本文方法具有完美或接近完美的準(zhǔn)確度,即使為滿足各自的任務(wù)而量身定制,它們還是對(duì)現(xiàn)有方法的最大改進(jìn)。由于數(shù)據(jù)集具有95個(gè)類,每個(gè)類只有70個(gè)模式,因此Auslan數(shù)據(jù)集為深度學(xué)習(xí)提供了艱巨的任務(wù)。這證明了本文方法的弱點(diǎn),因?yàn)樗谛⌒蛿?shù)據(jù)集上表現(xiàn)不佳。

由于類似的原因,UCR數(shù)據(jù)集也很困難。大多數(shù)UCR數(shù)據(jù)集都有非常小的訓(xùn)練集,這對(duì)于CNN和深度學(xué)習(xí)解決方案來(lái)說(shuō)通常不太理想。

3 討 論

3.1 原型數(shù)量的影響

通過(guò)使用局部距離特征序列訓(xùn)練融合方法來(lái)完成實(shí)驗(yàn),對(duì)于類無(wú)關(guān)和按類的原型選擇。對(duì)三個(gè)Unipen數(shù)據(jù)集重復(fù)此操作,并進(jìn)行10倍交叉驗(yàn)證。

直觀地講,原型越多,每個(gè)局部距離特征序列中嵌入的信息越多,因此可以學(xué)到的信息就越多。這個(gè)直覺(jué)由圖5證實(shí),實(shí)線代表使用各種原型選擇方法的10倍交叉驗(yàn)證的平均值,裕度是上下的標(biāo)準(zhǔn)偏差。其中在最初的幾個(gè)原型中,準(zhǔn)確度大大提高。但是,當(dāng)使用大量原型時(shí),準(zhǔn)確性下降得會(huì)非常嚴(yán)重。盡管使用了十倍的類數(shù),即1a為100,而1b和1c為260,但準(zhǔn)確度卻幾乎沒(méi)有提高。因此,在選擇最少數(shù)量的原型后,增加模型的計(jì)算時(shí)間和復(fù)雜性是不值得的。因此,表1和表2的結(jié)果僅使用5個(gè)原型獲得,盡管能夠使用更多的原型報(bào)告更高的準(zhǔn)確度。

(a)

(b)圖5 使用僅具有局部距離特征的CNN在Unipen數(shù)據(jù)集上的測(cè)試結(jié)果

3.2 原型選擇方法的影響

要研究的最重要因素之一是原型選擇方法之間的差異。類似于原型數(shù)量的影響,原型選擇方法的準(zhǔn)確性與所選原型的變化相關(guān)。選擇數(shù)據(jù)均勻分布的方法往往比從狹窄原型中選擇原型的方法更好。

(1) 類與類無(wú)關(guān)。由于圖5顯示,當(dāng)增加原型集的大小時(shí),在準(zhǔn)確度上存在嚴(yán)重的遞減回報(bào),并且用于類選擇的最小原型數(shù)量固定在類的數(shù)量上,因此與類無(wú)關(guān)的選擇更適合于分析。融合網(wǎng)絡(luò)方法的分類選擇結(jié)果可以在補(bǔ)充材料中找到。

(2) 最近原型選擇。如前所述,與類無(wú)關(guān)的“最近”是一種直觀上較差的原型選擇方法,這在圖5(a)中得到了反映。在每個(gè)數(shù)據(jù)集中,除K=1外,最近的表現(xiàn)最差。K=1的一個(gè)例外是由于中心原型是數(shù)據(jù)集的平均表示。但是,由于其他原型選擇方法添加了其他原型,因此失去了優(yōu)勢(shì),因?yàn)樽罱^續(xù)從數(shù)據(jù)集中的中央?yún)^(qū)域選擇原型。

(3) 邊界原型選擇。至于其他的原型選擇方法,區(qū)別則更加微妙。天真地,邊界將具有最大的變化,這是因?yàn)檫吔邕x擇了式(5)中描述的距所有其他點(diǎn)最遠(yuǎn)的訓(xùn)練模式。但是,當(dāng)使用度量多維縮放(MDS)和主成分分析(PCA),使用DTW作為距離度量來(lái)可視化Unipen 1a的訓(xùn)練集之一時(shí),在圖2中可以看到并非總是如此。圖2顯示,雖然選定的邊界模式距離數(shù)據(jù)集中的其他點(diǎn)最遠(yuǎn),但它們可以彼此相似。

(4) 跨度原型選擇?？缍炔扇×讼喾吹姆椒▉?lái)尋找與邊界相比最遠(yuǎn)的原型?？缍瓤梢哉业骄嘁堰x擇的原型最遠(yuǎn)的模式,而不是從數(shù)據(jù)集中確定最遠(yuǎn)的模式。這意味著跨度原型被選擇為跨越整個(gè)訓(xùn)練數(shù)據(jù)集,從而導(dǎo)致非常不同的模式的表示。通常,圖5中的結(jié)果表明,跨度是為基于局部距離特征的分類選擇原型的最佳方法。

(5) K中心原型選擇。類似于跨度,K中心原型選擇由于使用聚類的類群而找到了良好的原型分布。但是,與直覺(jué)相反,K中心的表現(xiàn)通常不會(huì)優(yōu)于跨度。這表明聚類的中心模式對(duì)于局部距離特征不如均勻分布數(shù)據(jù)集那樣有利。

(6) 隨機(jī)原型選擇。盡管僅將隨機(jī)選擇作為其他方法的基準(zhǔn),但結(jié)果表明,隨機(jī)選擇原型往往效果很好。這種現(xiàn)象的一個(gè)原因是高斯分布中的隨機(jī)選擇模式,因此選擇模式具有良好的數(shù)據(jù)集表現(xiàn)。對(duì)于圖2中的數(shù)據(jù)集,隨機(jī)和K中心的原型分布看起來(lái)大致相同,并且所有數(shù)據(jù)集的結(jié)果都反映了這一點(diǎn)。

3.3 融合方法的影響

影響最大的模型設(shè)計(jì)選擇是融合方法的時(shí)機(jī)選擇。圖6為Unipen 1a、Unipen 1b和Unipen 1c數(shù)據(jù)集的臨界差,用于比較融合和選擇方法(其中)。平均等級(jí)是使用10倍交叉驗(yàn)證計(jì)算的,每個(gè)訓(xùn)練和測(cè)試集的每次比較均相同。在特征級(jí)融合CNN通常具有最佳效果。同樣,臨界差圖表明,與僅使用局部距離特征時(shí)不同,使用融合網(wǎng)絡(luò)時(shí),原型選擇方法之間沒(méi)有顯著差異。

圖6 Unipen 1a、Unipen 1b和Unipen 1c數(shù)據(jù)集的臨界差

此外,在圖7中,實(shí)線代表使用類無(wú)關(guān)進(jìn)行的各種原型選擇方法的10倍交叉驗(yàn)證的平均值,裕度是上下的標(biāo)準(zhǔn)偏差?？梢钥闯?對(duì)于中后期融合網(wǎng)絡(luò),增加原型的數(shù)量,甚至是類數(shù)量的10倍,對(duì)準(zhǔn)確度的影響很小。這表明即使原型數(shù)量很少,局部距離特征也僅通過(guò)坐標(biāo)特征即可為多模式網(wǎng)絡(luò)提供信息(表1)。

(a)

(b)

(c)圖7 三種多模態(tài)融合方案的測(cè)試結(jié)果

圖7(a)中的早期融合準(zhǔn)確度圖特別有趣。這三個(gè)數(shù)據(jù)集具有相似的趨勢(shì),因?yàn)樗鼈冏畛蹙哂兄饾u降低的準(zhǔn)確度,直到它們收斂于僅圖5(a)的上升局部距離特征準(zhǔn)確度。其原因是在數(shù)據(jù)級(jí)融合時(shí)數(shù)據(jù)維度的不平衡。對(duì)于Unipen數(shù)據(jù)集,原始坐標(biāo)特征代表平面的兩個(gè)空間維度。當(dāng)K小時(shí),兩個(gè)特征的維數(shù)平衡。但是,隨著K的增大,局部距離特征會(huì)掩蓋甚至?xí)蓴_坐標(biāo)特征,從而導(dǎo)致準(zhǔn)確度下降。這是值得注意的,因?yàn)橥ㄟ^(guò)在CNN中稍后融合這些模態(tài),可以通過(guò)在融合時(shí)具有平衡的特征表示來(lái)克服此問(wèn)題。

此外,圖7(b)、圖7(c)和圖6顯示,原型選擇方法之間只有很小的差異。臨界差由Nemenyi事后檢驗(yàn)定義,其中α=0.05,或者:

(8)

圖8顯示了Unipen 1b數(shù)據(jù)集(大寫(xiě)字符)的交叉驗(yàn)證折疊錯(cuò)誤分類。每列顯示了用實(shí)心圓圈表示錯(cuò)誤分類的交叉點(diǎn):分別對(duì)比單獨(dú)使用坐標(biāo)特征以及本文方法使用不同原型選擇方法。原型選擇方法之間的差異是細(xì)微的。通常,多種方法會(huì)漏掉錯(cuò)誤分類的字符。盡管如此,圖8還顯示,與單獨(dú)使用坐標(biāo)特征相比,使用坐標(biāo)特征和局部距離特征的中間融合CNN具有較少的誤分類。

圖8 Unipen 1b數(shù)據(jù)集上的交叉折疊驗(yàn)證

4 結(jié) 語(yǔ)

針對(duì)動(dòng)態(tài)時(shí)間規(guī)整時(shí)間序列分類中存在的動(dòng)態(tài)匹配信息丟失問(wèn)題,提出一種基于局部距離特征的多模態(tài)融合CNN時(shí)間序列分類。通過(guò)對(duì)幾個(gè)典型數(shù)據(jù)集的分類實(shí)驗(yàn)結(jié)果分析可得出如下結(jié)論:(1) 使用中間融合或特征級(jí)融合,通常比早期和晚期融合的分類效果更好。(2) 使用高變異原型選擇方法往往比相似原型方法在分類效果上更具有優(yōu)勢(shì)。(3) 基于局部距離特征的多模態(tài)融合CNN時(shí)間序列分類能夠有效解決動(dòng)態(tài)匹配信息丟失問(wèn)題,從而極大地提升時(shí)間序列分類的精度。