基于目標(biāo)語(yǔ)言預(yù)訓(xùn)練和聯(lián)合解碼的低資源語(yǔ)言端到端語(yǔ)音翻譯

李 寧,朱麗平,趙小兵,仁曾卓瑪,王燕敏

(1. 中央民族大學(xué) 信息工程學(xué)院,北京 100081;2. 中央民族大學(xué) 國(guó)家語(yǔ)言資源監(jiān)測(cè)與研究少數(shù)民族語(yǔ)言中心,北京 100081;3. 中央民族大學(xué) 民族語(yǔ)言智能分析與安全治理教育部重點(diǎn)實(shí)驗(yàn)室,北京 100081)

0 引言

自動(dòng)語(yǔ)音翻譯(Automatic Speech Translation,AST)可以將源語(yǔ)言語(yǔ)音轉(zhuǎn)換為目標(biāo)語(yǔ)言文字[1],促進(jìn)世界各地不同語(yǔ)言的人的交流。目前,AST有兩種實(shí)現(xiàn)方式: 級(jí)聯(lián)方式和端到端方式。級(jí)聯(lián)方式使用自動(dòng)語(yǔ)音識(shí)別(Automatic Speech Recognition,ASR)模塊級(jí)聯(lián)機(jī)器翻譯(Machine Translation,MT)模塊構(gòu)建AST系統(tǒng),其中ASR模塊將源語(yǔ)言語(yǔ)音轉(zhuǎn)換為源語(yǔ)言文字,后續(xù)MT模塊將源語(yǔ)言文字轉(zhuǎn)換為目標(biāo)語(yǔ)言文字[2],進(jìn)而實(shí)現(xiàn)語(yǔ)音翻譯。級(jí)聯(lián)方式不需要專用的AST數(shù)據(jù)集,即源語(yǔ)言語(yǔ)音到目標(biāo)語(yǔ)言文字?jǐn)?shù)據(jù)集,就可實(shí)現(xiàn)語(yǔ)音翻譯。ASR和MT的技術(shù)現(xiàn)在都很成熟,具有很高的準(zhǔn)確率。但是級(jí)聯(lián)語(yǔ)音翻譯容易發(fā)生誤差傳播現(xiàn)象[3],同時(shí)級(jí)聯(lián)方式不適用于沒(méi)有書(shū)面形式的口語(yǔ),因?yàn)樗枰凑Z(yǔ)言文字作為中間數(shù)據(jù)[4]。端到端方式直接將源語(yǔ)言語(yǔ)音轉(zhuǎn)換為目標(biāo)語(yǔ)言文本,解決了誤差傳播的問(wèn)題,并且具有較低的延遲[3]。此外,它繞過(guò)了級(jí)聯(lián)法所需的平行源語(yǔ)言文本的要求,是語(yǔ)音翻譯的新趨勢(shì)。與級(jí)聯(lián)方式相比,端到端方式在數(shù)據(jù)量足夠的情況下具有更好的語(yǔ)音翻譯結(jié)果[5]。

目前端到端AST的研究主要集中在多任務(wù)[2,6-7]、多語(yǔ)言[8-10]、預(yù)訓(xùn)練[6,11-15]、數(shù)據(jù)增強(qiáng)[16]、元學(xué)習(xí)[17-18],使用其他聲音表示[19-20],添加額外的副語(yǔ)言信息,如押韻[21]、強(qiáng)調(diào)[22]、情感等方法上。雖然使用端到端方式原則上不需要源語(yǔ)言文本,但目前語(yǔ)音翻譯數(shù)據(jù)集太小,數(shù)據(jù)稀缺嚴(yán)重,因此使用上述大多數(shù)方法往往需要源語(yǔ)言ASR數(shù)據(jù)集來(lái)提供必要的信息,有些還需要包含副語(yǔ)言信息的特定數(shù)據(jù)集。源語(yǔ)言ASR數(shù)據(jù)或副語(yǔ)言信息數(shù)據(jù)集的缺乏,限制了這些方法在低資源語(yǔ)言中的應(yīng)用。

對(duì)于AST中使用的預(yù)訓(xùn)練方法,大多數(shù)端到端研究都預(yù)訓(xùn)練ASR模塊和MT模塊以獲得ASR信息和MT信息,這些信息用于為AST提供良好的初始參數(shù),從而提高AST的性能。MSperber指出,預(yù)訓(xùn)練方法優(yōu)于多任務(wù)[23]。

上述方法不適用于稀缺語(yǔ)言的語(yǔ)音翻譯。端到端語(yǔ)音翻譯需要大量數(shù)據(jù)來(lái)訓(xùn)練模型,但是對(duì)于稀缺語(yǔ)言來(lái)說(shuō)可用的語(yǔ)音數(shù)據(jù)量有限。

本論文的貢獻(xiàn)主要有以下幾點(diǎn):

第一,使用目標(biāo)語(yǔ)言ASR數(shù)據(jù)集預(yù)訓(xùn)練模型,與使用端到端數(shù)據(jù)直接訓(xùn)練翻譯模型相比,提高了AST的性能,促進(jìn)了模型收斂。目標(biāo)語(yǔ)言領(lǐng)域的語(yǔ)音識(shí)別數(shù)據(jù)集用于預(yù)訓(xùn)練模型,模型可以學(xué)習(xí)到目標(biāo)語(yǔ)言的語(yǔ)言信息,與源語(yǔ)言預(yù)訓(xùn)練相比,無(wú)須添加額外的語(yǔ)言模型。同時(shí),目標(biāo)語(yǔ)言預(yù)訓(xùn)練模型可以使用相同的預(yù)訓(xùn)練模型快速開(kāi)展多種源語(yǔ)言到目標(biāo)語(yǔ)言的研究任務(wù),縮短開(kāi)發(fā)時(shí)間。這使得模型能夠適應(yīng)多種稀缺語(yǔ)言到目標(biāo)語(yǔ)言的翻譯需求,提高了實(shí)用性。

第二,使用目標(biāo)語(yǔ)言預(yù)訓(xùn)練的端到端模型作為基線模型,用映射模塊替代端到端模型中的編碼器結(jié)構(gòu),使源語(yǔ)言特征與目標(biāo)語(yǔ)言特征建立聯(lián)系,模型學(xué)習(xí)到從源語(yǔ)言語(yǔ)音到目標(biāo)語(yǔ)言文字的關(guān)聯(lián),改進(jìn)了語(yǔ)音翻譯效果。本文方法在20h的維吾爾語(yǔ)-漢語(yǔ)數(shù)據(jù)集上實(shí)現(xiàn)了61.45的BLEU值。

第三,受端到端語(yǔ)音識(shí)別的啟發(fā),本文使用CTC和注意力機(jī)制解碼器聯(lián)合解碼,強(qiáng)制對(duì)齊語(yǔ)音和標(biāo)簽,進(jìn)一步提高BLEU值。

1 數(shù)據(jù)集構(gòu)建

數(shù)據(jù)集是端到端AST的基礎(chǔ)。目前,AST領(lǐng)域存在嚴(yán)重的數(shù)據(jù)集稀缺問(wèn)題。國(guó)際AST數(shù)據(jù)集主要集中在英語(yǔ)上,例如,英語(yǔ)語(yǔ)音到中文文本數(shù)據(jù)集。盡管中國(guó)對(duì)中國(guó)少數(shù)民族語(yǔ)言的語(yǔ)音翻譯需求很大,但相關(guān)的AST數(shù)據(jù)集幾乎是空白。

本文使用機(jī)器翻譯和人工校對(duì)相結(jié)合的半自動(dòng)化方法,基于現(xiàn)有的公開(kāi)數(shù)據(jù)集THUYG-20[24]構(gòu)建了一個(gè)包含20h維吾爾語(yǔ)語(yǔ)音的維吾爾語(yǔ)-漢語(yǔ)AST數(shù)據(jù)集。半自動(dòng)數(shù)據(jù)集構(gòu)建流程如圖1所示。與通過(guò)現(xiàn)有ASR數(shù)據(jù)集的機(jī)器轉(zhuǎn)錄或現(xiàn)有MT數(shù)據(jù)集的語(yǔ)音合成的全自動(dòng)方法相比,專家校驗(yàn)步驟確保了數(shù)據(jù)質(zhì)量,提高了可靠性。

圖1 維漢數(shù)據(jù)集構(gòu)建流程

2 預(yù)訓(xùn)練模型

2.1 預(yù)訓(xùn)練方法

預(yù)訓(xùn)練AST模型的常規(guī)方法如圖2所示。首先,如圖2(a)所示使用源語(yǔ)言的ASR數(shù)據(jù)集對(duì)ASR編碼器和解碼器進(jìn)行預(yù)訓(xùn)練。然后如圖2(b)所示,使用從源語(yǔ)言文本到目標(biāo)語(yǔ)言文本的MT數(shù)據(jù)集對(duì)MT編碼器和解碼器進(jìn)行預(yù)訓(xùn)練。最后,如圖2(c)所示,將預(yù)訓(xùn)練的ASR編碼器、ASR解碼器、MT編碼器和MT解碼器全部或部分作為初始AST模型框架,使用AST數(shù)據(jù)集對(duì)其進(jìn)行微調(diào),將源語(yǔ)言語(yǔ)音作為AST模型的輸入,將目標(biāo)語(yǔ)言文本作為輸出。例如,MSperber使用ASR編碼器、ASR解碼器、MT編碼器和MT解碼器的結(jié)構(gòu)構(gòu)建了端到端的AST模型[5],而Kano使用ASR編碼器和MT解碼器的組合結(jié)構(gòu)訓(xùn)練了AST模型[4]。

圖2 預(yù)訓(xùn)練語(yǔ)音翻譯模型

上述預(yù)訓(xùn)練方法在ASR模型和MT模型的訓(xùn)練過(guò)程中都需要使用大規(guī)模的源語(yǔ)言數(shù)據(jù)集。采用這種方法構(gòu)建AST端到端模型,需要提前構(gòu)建ASR和MT模型,需要大規(guī)模的源語(yǔ)言數(shù)據(jù)集和大量的計(jì)算資源進(jìn)行訓(xùn)練,不適合低資源語(yǔ)言。使用源語(yǔ)言語(yǔ)音識(shí)別數(shù)據(jù)集訓(xùn)練ASR模型來(lái)構(gòu)建AST模型,AST模型提前學(xué)習(xí)到的是源語(yǔ)言語(yǔ)言模型。在源語(yǔ)言預(yù)訓(xùn)練的端到端語(yǔ)音翻譯模型中,翻譯模型是基于源語(yǔ)言的,因此在翻譯時(shí),模型可能無(wú)法處理目標(biāo)語(yǔ)言中的一些復(fù)雜語(yǔ)法或特定語(yǔ)言結(jié)構(gòu),導(dǎo)致翻譯不準(zhǔn)確,需要添加額外的語(yǔ)言模型。

使用目標(biāo)語(yǔ)言預(yù)訓(xùn)練模型可以提高翻譯的準(zhǔn)確率,因?yàn)槟Ｐ蜁?huì)對(duì)目標(biāo)語(yǔ)言中的語(yǔ)法和結(jié)構(gòu)有更好的理解,更容易捕捉到語(yǔ)言之間的差異。此外,由于目標(biāo)語(yǔ)言是翻譯的最終目的地,因此該方法更注重目標(biāo)語(yǔ)言的質(zhì)量。目標(biāo)語(yǔ)言數(shù)據(jù)集通常規(guī)模大、質(zhì)量高,對(duì)語(yǔ)音翻譯模型更有幫助。

以維吾爾語(yǔ)和漢語(yǔ)為例,源語(yǔ)言與目標(biāo)語(yǔ)言之間在語(yǔ)言學(xué)上存在差距。維吾爾語(yǔ)和漢語(yǔ)屬于不同的語(yǔ)系,對(duì)語(yǔ)境的依賴程度不同。從語(yǔ)境來(lái)看,維吾爾語(yǔ)屬于阿爾泰-突厥語(yǔ)系,構(gòu)詞和構(gòu)詞的附加成分非常豐富。名詞有數(shù)、人稱、格等語(yǔ)法范疇,動(dòng)詞有語(yǔ)氣、肯定否定、時(shí)態(tài)、人稱、數(shù)、動(dòng)詞、動(dòng)名詞、副詞等語(yǔ)法范疇,表達(dá)各種情態(tài)的助動(dòng)詞也很發(fā)達(dá)。詞匯本身可以傳達(dá)足夠的信息,較少依賴上下文。漢語(yǔ)屬于漢藏語(yǔ)系,漢語(yǔ)單詞的語(yǔ)音、語(yǔ)義和語(yǔ)法的確定在很大程度上取決于語(yǔ)境,需要結(jié)合語(yǔ)境才能準(zhǔn)確理解。沒(méi)有特定的語(yǔ)境,不僅無(wú)法確定詞的讀音,也無(wú)法確定詞的語(yǔ)義[25]。

使用目標(biāo)語(yǔ)言預(yù)訓(xùn)練已經(jīng)包含了目標(biāo)語(yǔ)言的語(yǔ)言信息,無(wú)須添加額外的語(yǔ)言模型,減少了計(jì)算資源的消耗。與源語(yǔ)言預(yù)訓(xùn)練模型相比,目標(biāo)語(yǔ)言預(yù)訓(xùn)練模型更容易調(diào)整以滿足特定場(chǎng)景或用戶需求。同時(shí)可以針對(duì)特定領(lǐng)域或術(shù)語(yǔ)進(jìn)行優(yōu)化,提高翻譯質(zhì)量和可用性,使用相同的預(yù)訓(xùn)練模型,只需要在不同的AST數(shù)據(jù)集上進(jìn)行微調(diào)即可實(shí)現(xiàn)高質(zhì)量的語(yǔ)音翻譯。目標(biāo)語(yǔ)言預(yù)訓(xùn)練模型只需要預(yù)訓(xùn)練一種語(yǔ)言,與源語(yǔ)言預(yù)訓(xùn)練模型相比,訓(xùn)練所需的計(jì)算資源和時(shí)間會(huì)減少。

2.2 映射結(jié)構(gòu)

如圖3所見(jiàn),在遷移學(xué)習(xí)之前,使用目標(biāo)語(yǔ)言ASR數(shù)據(jù)集預(yù)訓(xùn)練的端到端模型,編碼器-解碼器結(jié)構(gòu)充分學(xué)習(xí)目標(biāo)語(yǔ)言語(yǔ)音知識(shí)。其中編碼器結(jié)構(gòu)學(xué)習(xí)目標(biāo)語(yǔ)言語(yǔ)音知識(shí),解碼器結(jié)構(gòu)學(xué)習(xí)目標(biāo)語(yǔ)言語(yǔ)言學(xué)知識(shí)。在新構(gòu)建的AST端到端語(yǔ)音模型中,期望學(xué)習(xí)到源語(yǔ)言語(yǔ)音知識(shí)以及目標(biāo)語(yǔ)言語(yǔ)言學(xué)知識(shí)。由此可見(jiàn),在使用目標(biāo)語(yǔ)言ASR數(shù)據(jù)集預(yù)訓(xùn)練的端到端模型中,編碼器結(jié)構(gòu)對(duì)于構(gòu)建AST端到端語(yǔ)音翻譯模型作用較小,因其無(wú)法提供源語(yǔ)言語(yǔ)音知識(shí),而解碼器結(jié)構(gòu)則很有用,因其包含了目標(biāo)語(yǔ)言文本信息。為此,需要添加一個(gè)映射模塊來(lái)學(xué)習(xí)源語(yǔ)言語(yǔ)音知識(shí),從而使源語(yǔ)言語(yǔ)音和目標(biāo)語(yǔ)言文本相關(guān)聯(lián)。保留ASR預(yù)訓(xùn)練模型中的解碼器,并添加學(xué)習(xí)了源語(yǔ)言語(yǔ)音的映射模塊,就可以實(shí)現(xiàn)端到端的源語(yǔ)言語(yǔ)音到目標(biāo)語(yǔ)言文本的語(yǔ)音翻譯模型。

圖3 語(yǔ)音翻譯模型

令X為輸入語(yǔ)音數(shù)據(jù)。在語(yǔ)音識(shí)別模型中,X通過(guò)ASR Encoder成為語(yǔ)音高級(jí)表示X1,X1通過(guò)ASR Decoder得到語(yǔ)音識(shí)別輸出YASR。在語(yǔ)音翻譯模型中,X通過(guò)AST Encoder轉(zhuǎn)化為語(yǔ)音高級(jí)表示X2,X2通過(guò)ASR Decoder得到語(yǔ)音翻譯輸出YAST。AST編碼器使用Conformer模塊,AST解碼器使用Transformer[26]模塊。

2.3 聯(lián)合解碼

受端到端語(yǔ)音識(shí)別混合模型[27-28]的啟發(fā),基于鏈接時(shí)序性(Connectionist Temporal Classification,CTC)和基于注意力的編碼器-解碼器(Attention-based Encoder-Decoder, AED)模型的聯(lián)合訓(xùn)練,相對(duì)于單一的注意力模型,CTC的前向-后向算法被用來(lái)進(jìn)行語(yǔ)音和標(biāo)簽之間的強(qiáng)制對(duì)齊,加速了對(duì)齊過(guò)程,可以改善注意力機(jī)制在長(zhǎng)文本上的效果。注意力機(jī)制關(guān)注的目標(biāo)是字符集,CTC的目標(biāo)在序列層面,注意力機(jī)制與CTC聯(lián)合有助于提高CTC目標(biāo)的準(zhǔn)確率。如圖4所示,模型結(jié)構(gòu)由三部分組成: 共享編碼器、CTC解碼器和Attention解碼器。共享編碼器由多個(gè)Transformer層組成,只需要有限地考慮上下文即可保持平衡的延遲。CTC解碼器由一個(gè)線性層組成,通過(guò)CTC激活對(duì)共享編碼器的輸出進(jìn)行變換,而注意力解碼器由多個(gè)Transformer解碼器層組成。使用交叉損失標(biāo)準(zhǔn)對(duì)分?jǐn)?shù)進(jìn)行聯(lián)合評(píng)分,從而提高了魯棒性。

圖4 聯(lián)合解碼

L(X,Y)=λLCTC(X,Y)+(1-λ)LAED(X,Y)

(5)

其中,X是語(yǔ)音特征,Y是相應(yīng)的標(biāo)簽,LCTC(X,Y)和LAED(X,Y)分別是CTC和AED損失,λ是平衡CTC和AED損失重要性的超參數(shù)。

3 實(shí)驗(yàn)

本文分別使用第2節(jié)中構(gòu)建的維吾爾語(yǔ)-漢語(yǔ)數(shù)據(jù)集以及圖3和圖4中所示的端到端AST模型進(jìn)行語(yǔ)音翻譯實(shí)驗(yàn)。本文使用了AMD EPYC 7402 @2.8 GHz CPU和NVIDIA RTX3090的24 GB GPU訓(xùn)練。微調(diào)模型迭代次數(shù)僅僅只需16次左右就可完全收斂,在4 h內(nèi)即可完成訓(xùn)練。

3.1 模型參數(shù)

實(shí)驗(yàn)中采用的端到端AST模型的參數(shù)如下: 使用12個(gè)編碼器層,編碼器嵌入維度為2 048,4個(gè)注意力頭,6個(gè)解碼器層,解碼器嵌入維度為2 048,dropout為0.1。該模型使用Fbank特征,初始學(xué)習(xí)率為0.002。

3.2 Conformer

與Transformer相比,Conformer結(jié)合了Transformer和CNN的優(yōu)點(diǎn)。前者擅長(zhǎng)利用注意力機(jī)制捕捉基于內(nèi)容的全局交互,而后者則有效地利用了局部特征的建模能力。它在ASR領(lǐng)域的LibriSpeech數(shù)據(jù)集上取得了非常好的結(jié)果,在小模型上也取得了很好的結(jié)果,例如,參數(shù)為10M數(shù)量級(jí)的模型,顯示了Conformer結(jié)構(gòu)的優(yōu)勢(shì)[29]。因此,將其應(yīng)用于AST領(lǐng)域。

3.3 實(shí)驗(yàn)結(jié)果

本文發(fā)現(xiàn),用小規(guī)模的AST數(shù)據(jù)集(包含20 h源語(yǔ)音)直接訓(xùn)練如圖3所示的端到端AST模型,則模型效果極差,因其無(wú)法學(xué)習(xí)到有價(jià)值的知識(shí),無(wú)法執(zhí)行端到端AST任務(wù)。因此,對(duì)不使用目標(biāo)語(yǔ)言直接訓(xùn)練、基于目標(biāo)語(yǔ)言預(yù)訓(xùn)練的端到端模型、添加了映射模塊的端到端模型和聯(lián)合解碼端到端模型進(jìn)行了對(duì)比實(shí)驗(yàn),分別記錄為傳統(tǒng)Conformer、遷移學(xué)習(xí)Conformer、Conformer-add和Conformer-combined。同時(shí)引入了M2M模型[8]作為對(duì)比實(shí)驗(yàn),并在M2M基礎(chǔ)上對(duì)其基于目標(biāo)語(yǔ)言進(jìn)行了遷移學(xué)習(xí),分別記錄為M2M和遷移學(xué)習(xí)M2M。在實(shí)驗(yàn)中,使用了兩個(gè)評(píng)估指標(biāo)CER和BLEU,來(lái)比較AST在數(shù)據(jù)集上的性能。

表1展示了使用目標(biāo)語(yǔ)言預(yù)訓(xùn)練模型取得的優(yōu)異成績(jī),在20 h的維漢數(shù)據(jù)集上,使用遷移學(xué)習(xí)Conformer,獲得了28.63的CER值和61.45的BLEU 4分?jǐn)?shù),相較于不使用遷移,學(xué)習(xí)有了提升。同時(shí)在M2M模型中使用目標(biāo)語(yǔ)言遷移學(xué)習(xí),也可以改善語(yǔ)音翻譯效果。

表1 預(yù)訓(xùn)練實(shí)驗(yàn)結(jié)果

圖5是預(yù)訓(xùn)練和微調(diào)后解碼器結(jié)構(gòu)中Attention模塊公共部分權(quán)重差異的熱力圖。將預(yù)訓(xùn)練和微調(diào)后的模型取出相同的注意力模型權(quán)重,相減得到熱力圖。本文發(fā)現(xiàn)圖中熱力圖的顏色大多偏淺,說(shuō)明兩個(gè)模型的解碼器結(jié)構(gòu)中Attention層的權(quán)重相差不大。相似的權(quán)重表明端到端模型在預(yù)訓(xùn)練和微調(diào)后具有相似的語(yǔ)言模型,解碼器主要學(xué)習(xí)的是目標(biāo)語(yǔ)言的語(yǔ)言模型。通過(guò)預(yù)訓(xùn)練目標(biāo)語(yǔ)言數(shù)據(jù)集,解碼器已經(jīng)可以學(xué)習(xí)到目標(biāo)語(yǔ)言的語(yǔ)言模型。與級(jí)聯(lián)語(yǔ)音翻譯和源語(yǔ)言預(yù)訓(xùn)練語(yǔ)音翻譯相比,無(wú)須添加額外的語(yǔ)言模型,所需數(shù)據(jù)量更小,節(jié)省計(jì)算資源。

圖5 部分模型參數(shù)的熱圖

表2顯示了所提出的預(yù)訓(xùn)練方法(傳統(tǒng)Conformer)、映射模塊(Conformer-add)和聯(lián)合解碼(Conformer-combined)方法在數(shù)據(jù)集上的性能比較。

表2 實(shí)驗(yàn)結(jié)果

后兩種方法在維吾爾語(yǔ)-漢語(yǔ)數(shù)據(jù)集上取得了更好的結(jié)果。使用Conformer-add,在CER上降低了7.24個(gè)百分點(diǎn),在BLEU上提高了3.7個(gè)百分點(diǎn)。使用Conformer-combined,CER值和BLEU 4分?jǐn)?shù)分別為19.78和67.36,從CER和BLEU 4的聯(lián)合角度來(lái)看,Conformer-add效果最好。

表3顯示,Conformer-combined比Conformer-add在長(zhǎng)文本數(shù)據(jù)上取得了更好的翻譯效果。當(dāng)實(shí)際結(jié)果為“盡 管 外 面 寒 風(fēng) 凜 冽 大 門 前 的 兩 棵 云 杉 被 冰 雪 覆 蓋 大 廳 里 呼 嘯 燃 燒 的 奧 蘭 德 式 火 爐 和 六 個(gè) 人 參 加 黨 組 織 召 開(kāi) 的 追 悼 會(huì) 的 人 都 感 到 熱 乎 乎 的”時(shí),使用Conformer-combined與實(shí)際結(jié)果一致,而使用Conformer-add則漏掉了“寒風(fēng)凜冽”中的“凜冽”,“熱乎乎的”中漏掉了一個(gè)“乎”。說(shuō)明使用Attention機(jī)制軟對(duì)齊時(shí),音頻邊界分割不清,與其他輸出標(biāo)簽混在一起,導(dǎo)致遺漏字現(xiàn)象。

表3 長(zhǎng)文本實(shí)際效果對(duì)比

3.4 交叉檢驗(yàn)

為了評(píng)估預(yù)訓(xùn)練方法的準(zhǔn)確性和穩(wěn)定性,采用了K折交叉驗(yàn)證(K-fold Cross-Validation,KCV),這是一種常用于機(jī)器學(xué)習(xí)的統(tǒng)計(jì)分析方法。KCV將原始數(shù)據(jù)分成K組,抽取1個(gè)不重復(fù)的子集作為初級(jí)驗(yàn)證集,將剩余的K-1個(gè)數(shù)據(jù)子集組合在一起作為訓(xùn)練集[30]。在實(shí)驗(yàn)中的維吾爾語(yǔ)-漢語(yǔ)數(shù)據(jù)集上選擇了K=5。如表4所示,將數(shù)據(jù)集分為F1、F2、F3、F4和F5五個(gè)部分,其中一個(gè)依次作為驗(yàn)證集,其余四個(gè)作為訓(xùn)練集來(lái)訓(xùn)練AST模型?？偣采闪宋鍌€(gè)交叉驗(yàn)證數(shù)據(jù)集D1、D2、D3、D4和D5。

表4 交叉驗(yàn)證數(shù)據(jù)集

表5顯示了預(yù)訓(xùn)練方法在五個(gè)交叉驗(yàn)證數(shù)據(jù)集上的語(yǔ)音翻譯結(jié)果。CER和BLEU的平均值分別為38.44和60.44,CER和BLEU的標(biāo)準(zhǔn)差分別為3.61和2.59,這表明預(yù)訓(xùn)練方法在多個(gè)實(shí)驗(yàn)中表現(xiàn)穩(wěn)定。

表5 語(yǔ)音翻譯結(jié)果

4 結(jié)論

本文提出了一種構(gòu)建語(yǔ)音翻譯數(shù)據(jù)集的方法來(lái)解決數(shù)據(jù)稀缺問(wèn)題。使用目標(biāo)語(yǔ)言ASR數(shù)據(jù)集預(yù)訓(xùn)練端到端AST模型,獲取目標(biāo)語(yǔ)言信息,然后使用AST數(shù)據(jù)集微調(diào)模型參數(shù)?；谒岢龅念A(yù)訓(xùn)練方法,端到端AST模型取得了較好的性能。此外,只需在預(yù)訓(xùn)練后替換映射模塊以及聯(lián)合解碼,就可以進(jìn)一步提高模型性能。實(shí)驗(yàn)證明與同規(guī)模語(yǔ)音翻譯相比,本文所提出的預(yù)訓(xùn)練方法、替換映射模塊以及聯(lián)合解碼可以顯著提高語(yǔ)音翻譯效果。后續(xù)將進(jìn)一步探索該方法的應(yīng)用,構(gòu)建多語(yǔ)言語(yǔ)音翻譯系統(tǒng)。