基于MAML方法的佤語孤立詞分類

王 翠,王 璐,解雪琴,楊建香,和麗華,侯俊龍,潘文林

(云南民族大學(xué) 數(shù)學(xué)與計算機科學(xué)學(xué)院,云南 昆明 650500)

佤語是跨境的少數(shù)民族語言,對少數(shù)民族語言佤語的識別研究有利于國家安全和少數(shù)民族文化保護.佤語作為中國語言資源保護工程采集的少數(shù)民族語言之一,專家在語料庫中抽樣發(fā)現(xiàn)人工標(biāo)注仍然存在很多問題,說明精準(zhǔn)的標(biāo)注不僅昂貴而且十分困難.然而,目前對佤語的研究主要停留在語音學(xué)的角度[1-2],主要包括音素,音節(jié),詞法分析等,這些研究為佤語的實驗語音學(xué)發(fā)展提供準(zhǔn)確的人工標(biāo)注樣本奠定了語音學(xué)基礎(chǔ).佤語數(shù)據(jù)集包含1 860類孤立詞,每類僅包含20個樣本；imageNet數(shù)據(jù)集的分類類別大約在1 200類,每類超過1 000張圖片,所以本文的實驗數(shù)據(jù)存在分類類別多,每類所包含的分類樣本數(shù)目少的情況.

由于深度學(xué)習(xí)的成功,許多領(lǐng)域利用深度學(xué)習(xí)的方法來處理識別和分類的研究問題：語音[3],視覺[4]和語言[5].目前最好的機器學(xué)習(xí)系統(tǒng)需要成千上萬的例子用于訓(xùn)練,例如：GoolNet[6]模型擁有22層神經(jīng)網(wǎng)絡(luò),ImageNet作為訓(xùn)練數(shù)據(jù)集,對1 000類進行分類,訓(xùn)練數(shù)據(jù)達到120萬,準(zhǔn)確率達到93%；Inception[7-8]模型結(jié)合殘差連接,同樣以ImageNet作為訓(xùn)練數(shù)據(jù)集,準(zhǔn)確率達到96.7%.一些主流語言憑借大量數(shù)據(jù)樣本應(yīng)用深度學(xué)習(xí)方法的研究產(chǎn)品基本已落地：Google利用注意力機制LAS對英語的識別率達到94.6%；百度利用端到端模型[9-10]識別英語和漢語2種語言.Qingnan Wang[11]利用端到端模型對藏語的音節(jié)進行識別.蔡琴[12]利用HTK對維吾爾語的連續(xù)數(shù)字短語的識別率達到80%,對詞的識別率達到91.19%.然而,佤語的手工標(biāo)注昂貴費時且缺乏標(biāo)簽,尋找一種適合小樣本學(xué)習(xí)的方法對佤語的識別研究非常有幫助.

目前,常規(guī)分類方法對小樣本的識別研究主要有2種方案：①利用支持向量機對小樣本進行研究；②通過擴充數(shù)據(jù)樣本應(yīng)用深度學(xué)習(xí)的方法進行研究.傅美君[13-14]通過提取佤語的2個動態(tài)特征基因和共振峰,并基于遺傳支持向量機和免疫遺傳多核支持向量機完成對佤語的分類準(zhǔn)確率達到86%,精度還有一定的提升空間.機器學(xué)習(xí)在少量數(shù)據(jù)下學(xué)習(xí)新概念的能力欠缺,如果直接將深度學(xué)習(xí)方法應(yīng)用到小樣本學(xué)習(xí)容易發(fā)生過擬合現(xiàn)象,直接擴大佤語的標(biāo)記樣本難以實現(xiàn),且效果不一定好.人類僅僅通過少量的學(xué)習(xí)便可以辨別不同物體,元學(xué)習(xí)模仿人類學(xué)習(xí)的能力適合小樣本學(xué)習(xí).王璐[15]采用元學(xué)習(xí)方法Reptile對小樣本的佤語進行識別,最終識別率達到93%.MAML是Chelsea Finn[16]借助從其他任務(wù)學(xué)習(xí)到的經(jīng)驗知識應(yīng)用到新任務(wù)的方法,加快小樣本中新任務(wù)的訓(xùn)練。MAML成為小樣本領(lǐng)域的一種主流方法, 具有快速學(xué)習(xí)的能力,本文選用MAML方法對小樣本的佤語孤立詞進行識別研究.

1 相關(guān)工作

人類具有快速學(xué)習(xí)的能力,已經(jīng)證明人類在學(xué)習(xí)新事物時只需要少量的樣本且準(zhǔn)確率較高[17].借鑒人類的學(xué)習(xí)經(jīng)驗僅僅通過少數(shù)的例子就可以快速學(xué)習(xí)新例子,元學(xué)習(xí)模仿人類的學(xué)習(xí)能力,讓模型學(xué)會學(xué)習(xí),元學(xué)習(xí)的快速發(fā)展將縮短人類和機器學(xué)習(xí)對小樣本識別的差距.元學(xué)習(xí)在小樣本識別[18]主要有2個研究方向：概念學(xué)習(xí)和經(jīng)驗學(xué)習(xí).目前小樣本識別發(fā)展快速：谷歌的One-shot匹配網(wǎng)絡(luò)[19]通過在神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)上添加外部記憶,將學(xué)習(xí)到的新概念知識應(yīng)用到小樣本學(xué)習(xí),在imagenet數(shù)據(jù)集上的One-shot學(xué)習(xí)準(zhǔn)確率從87.6%提升到93.2%. Finn[16]提出MAML是小樣本識別領(lǐng)域非常好的方法之一,模型不僅簡單而且功能強大,可以快速適應(yīng)深度網(wǎng)絡(luò),在不同任務(wù)上訓(xùn)練的模型可以快速適應(yīng)僅有少量樣本的新任務(wù),在圖像分類、回歸、微調(diào)的強化學(xué)習(xí)上產(chǎn)生不錯的效果.

近兩年對MAML的研究及相關(guān)擴展非常多,例如：Finn[20-21]通過在MAML模型上添加概率得到一種概率元學(xué)習(xí)算法,可以從模型分布中為新任務(wù)模擬目標(biāo)模型,處理小樣本的模糊性任務(wù)效果較好；Boney[22]將半監(jiān)督和無監(jiān)督方法擴展到MAML模型,對無標(biāo)記的樣本效果明顯優(yōu)于其他方法；Triantafillou[23]構(gòu)造元數(shù)據(jù)集為了在不同的任務(wù)上得到更好的泛化性由大量種類繁多的數(shù)據(jù)組成,Prototypical網(wǎng)絡(luò)和MAML網(wǎng)絡(luò)在元數(shù)據(jù)上的表現(xiàn)欠佳,而在Proto-MAML表現(xiàn)良好.Antonious[24]提出的MAML++是針對MAML的改進算法,明顯提升收斂速度和泛化性能； Singh Behl[25]提出的Alpha MAML合并在線超參數(shù)自適應(yīng)方案從而規(guī)避了MAML的穩(wěn)定性需要大量的參數(shù)調(diào)整.MAML成為小樣本領(lǐng)域的一種主流方法,對小樣本的研究,有助于對少量標(biāo)記語言的識別,本文主要解決小樣本的語音識別問題.

2 元學(xué)習(xí)

2.1 元學(xué)習(xí)的基本單位——任務(wù)

(1)

(2)

表1 元學(xué)習(xí)基本單位(任務(wù))

2.2 元學(xué)習(xí)的學(xué)習(xí)過程

對于特定場景的模型學(xué)習(xí)分2個階段完成,模型訓(xùn)練階段和模型測試階段.同樣,元學(xué)習(xí)也不例外,由元訓(xùn)練Metatrain和元測試Metatest共同完成我們的任務(wù),所不同的是,針對模型的優(yōu)化程度、模型的靈敏度及模型的泛化性能,我們的元學(xué)習(xí)在Metatest階段針對不同場景存在2種處理方式,經(jīng)微調(diào)后完成元測試Metaindirect-test和直接元測試Metadirect-test,2個階段的數(shù)據(jù)設(shè)置如表2所示.Metatrain階段任務(wù)批次數(shù)為P,每個批次含有Q個任務(wù)；Metaindirect-test階段有O個任務(wù)用于Metatest,Metadirect-test階段有M個樣本用于Metatest.一般情況下,元訓(xùn)練Metatrain和元測試Metatest遵循兩不交叉原則：

1)元訓(xùn)練類別CMetatrain(taskpq(xij))和元測試類別CMetatest(taskp′q′(xi′j′))不能完全相同,即

(3)

2)元訓(xùn)練任務(wù)TMetatrain(taskpq)和元測試任務(wù)TMetatest(taskp′q′)遵循單個任務(wù)的兩不交叉原則.

表2 元訓(xùn)練和元測試設(shè)置

2.3 與模型無關(guān)的元學(xué)習(xí)——MAML

在特定批次的任務(wù)中(采樣p-th(1≤p≤P)批次,其中包含Q個任務(wù)),2個學(xué)習(xí)器的學(xué)習(xí)過程如下：

2.3.1 基學(xué)習(xí)器

2.3.2 元學(xué)習(xí)器

元訓(xùn)練過程如算法1所示.

表3 算法1： MAML-training[16]

表4 算法2：MAML-test[16]

整個MAML-Training階段所要完成的工作是對先驗任務(wù)的經(jīng)驗積累.內(nèi)循環(huán)(4～8)即快速學(xué)習(xí)階段,學(xué)習(xí)特定先驗任務(wù)屬性；外循環(huán)(9)即元學(xué)習(xí)階段,將特定先驗任務(wù)屬性元平攤給模型參數(shù)(元級參數(shù)).這樣,網(wǎng)絡(luò)一旦收斂,元級參數(shù)即為我們需要學(xué)習(xí)的初始化參數(shù).

MAML-test階段是將先驗任務(wù)學(xué)習(xí)到的模型初始化參數(shù)(即經(jīng)驗)應(yīng)用到新任務(wù)上,該階段模型只需要幾步微調(diào)即可收斂.

2.4 Reptile

Reptile[26]基于元學(xué)習(xí)的一階梯度學(xué)習(xí)網(wǎng)絡(luò)的初始參數(shù),從而利用元知識快速適應(yīng)新任務(wù).Reptile能有效避免像二階微分近似所需的計算時間和計算量,所以收斂速度快.梯度下降的更新公式如下.

(4)

Retile通過學(xué)習(xí)不同任務(wù)的初始參數(shù)W,當(dāng)面對新任務(wù)時能夠通過公共最近快速找到新任務(wù)的梯度下降方向,如圖2所示.

3 實驗

元學(xué)習(xí)能夠利用其他任務(wù)上的先驗知識補充新任務(wù)數(shù)據(jù)不足的缺陷.采用不同大小的佤語訓(xùn)練任務(wù)5-way 1-short和5-way 5-short對新任務(wù)識別精度對比,發(fā)現(xiàn)MAML和Reptile不僅具有快速學(xué)習(xí)能力提升小樣本的識別精度,而且不會出現(xiàn)過學(xué)習(xí)現(xiàn)象.

3.1 數(shù)據(jù)說明

佤語數(shù)據(jù)集作為實驗的研究對象,數(shù)據(jù)集由兩男兩女對1 860類孤立詞進行發(fā)音,每人對每類孤立詞讀5遍,總計37 200條佤語孤立詞語音.相比imageNet數(shù)據(jù)集中1 200類,每類1 000個樣本,佤語數(shù)據(jù)集中的數(shù)據(jù)類別多,每類所含數(shù)據(jù)少的特點,訓(xùn)練樣本不足.將語音信號通過傅里葉變化轉(zhuǎn)換成對應(yīng)的語譜圖,分別選用元學(xué)習(xí)領(lǐng)域的Reptile和MAML對小樣本的佤語數(shù)據(jù)集進行研究.以編號0078和1 550類語音信號為例,佤語語譜圖如圖3所示,橫坐標(biāo)表示時間,縱坐標(biāo)表示頻率,顏色的深淺表示能量.

3.2 模型

模型由4層卷積和一層全連接構(gòu)成,每個卷積層由64個3×3的卷積核構(gòu)成,每個卷積操作按先卷積,批量正則化,Relu激活函數(shù),2×2的最大池化順序進行.

3.3 實驗過程

MAML和Reptile模型對佤語數(shù)據(jù)集的超參數(shù)設(shè)置如下：訓(xùn)練周期epoch=100,epoch_len=400,evel_batches=40,meta_batch_size=4,inner_learning_rate=0.01,meta_learning_rate=0.001,n= 1,k= 5,q=5；n= 1,k= 5,q= 5代表1個任務(wù)總共有5類,每類訓(xùn)練樣本數(shù)為1測試樣本為5,即5-way 1-short 5-query任務(wù).利用公式(2)進行梯度的迭代更新得到參數(shù)θ′.

3.4 實驗結(jié)果

基于二階梯度更新的MAML模型和一階梯度更新的Reptile模型分別對5-way1-short任務(wù)和5way 5-short任務(wù)的實驗結(jié)果顯示.圖4表示MAML的準(zhǔn)確率變化曲線：(a)在5-way 1-shot的訓(xùn)練準(zhǔn)確為89.7%,驗證準(zhǔn)確率為78.6%；(b)在5-way 5-shot的訓(xùn)練準(zhǔn)確率為96.5%,驗證準(zhǔn)確率為94.5%.圖5表示Reptile模型的準(zhǔn)確率變化曲線(a)在5-way 1-shot的訓(xùn)練準(zhǔn)確率接近100%,驗證準(zhǔn)確率61.6%；(b)表示Reptile模型在5-way 5-shot的訓(xùn)練準(zhǔn)確率為100%,驗證準(zhǔn)確率為93.6%.

實驗結(jié)果分析：橫向比較,同類樣本數(shù)越多,識別率越高.而元學(xué)習(xí)是一種基于任務(wù)的平攤機制,學(xué)習(xí)任務(wù)之間的共性,單類樣本數(shù)對MAML模型的結(jié)果影響沒有Reptile模型敏感.縱向比較：基于相同網(wǎng)絡(luò)的迭代輪數(shù),一階梯度更新的Reptile模型明顯快于二階梯度更新的MMAL模型,可以使網(wǎng)絡(luò)快速的達到收斂狀態(tài).

4 結(jié)語

元學(xué)習(xí)使任務(wù)分配上的損失最小化,在同一任務(wù)的梯度更新內(nèi)積最大化,即使在小樣本學(xué)習(xí)的情況下也能達到不錯的效果.MAML和Reptile模型在相同的實驗設(shè)置下對佤語語譜圖進行識別,實驗結(jié)果表明MMAL達到的識別精度更高,而Reptile的收斂速度更快.本實驗的佤語語譜圖并非全屏語譜圖,去除語譜圖的白邊信息提高語譜圖的有效區(qū)域可能改善實驗的識別精度.充分考慮語譜圖之間的特性,佤語語譜圖之間存在高相似性這一特征,怎樣改進元學(xué)習(xí)的方法使其充分利用這一特征將是一個有趣且值得探究的問題.