漢語方言語音信號(hào)的語譜圖分析

柏文展，程汪鑫

（武警廣西總隊(duì)，廣西 南寧 530031）

0 引言

語音信號(hào)是一種模擬信號(hào)，經(jīng)過數(shù)字化處理后可獲取采樣率、比特率以及頻域內(nèi)的各種參數(shù)信息，便于信號(hào)傳輸和存儲(chǔ)。通過觀察不同語音信號(hào)的語譜圖，可獲取語音的一些參數(shù)和特征，經(jīng)分析比對(duì)，可識(shí)別出不同地方的語言，為語音合成奠定了基礎(chǔ)。語音識(shí)別技術(shù)的發(fā)展依賴計(jì)算機(jī)技術(shù)、數(shù)字信號(hào)處理器（Digital Signal Process，DSP）技術(shù)以及人工智能（Artificial Intelligence，AI）技術(shù)的進(jìn)步。要實(shí)現(xiàn)人機(jī)對(duì)話，需要設(shè)計(jì)制造出一種能將人類語音信號(hào)進(jìn)行自動(dòng)轉(zhuǎn)換和處理的機(jī)器來模擬現(xiàn)實(shí)生活中的人，實(shí)現(xiàn)人與機(jī)器的“無障礙”溝通交流。要設(shè)計(jì)出能聽懂人類語言的機(jī)器，關(guān)鍵是讓機(jī)器正確辨別出所說語言的語種，便于選用合適的語音參數(shù)庫，提高識(shí)別的效率。從1970 年開始，人們就開始研究如何通過詞匯來進(jìn)行語種識(shí)別，因?yàn)槊恳环N語言都有著自己獨(dú)特的、成熟的、延續(xù)性的詞匯體系。在實(shí)際中，運(yùn)用詞匯法來進(jìn)行識(shí)別存在一定的困難，主要是因?yàn)槭占?、組織、整理各個(gè)語種的語言專業(yè)知識(shí)工作量過于龐大，通過計(jì)算機(jī)分析語言學(xué)專業(yè)知識(shí)來識(shí)別語言的效率不高，正確率低，難以得到推廣應(yīng)用[1]。因此，人們把目光轉(zhuǎn)到通過語音的特征來進(jìn)行語言識(shí)別。

隨著5G 網(wǎng)絡(luò)、大數(shù)據(jù)及人工智能等高新技術(shù)的發(fā)展，社會(huì)生產(chǎn)生活日益數(shù)字化、網(wǎng)絡(luò)化和智能化，方言識(shí)別技術(shù)被廣泛應(yīng)用于通信、金融、教育、翻譯、刑偵以及信息服務(wù)等領(lǐng)域，越來越展現(xiàn)出其應(yīng)用價(jià)值。在語音通信方面，特別是在緊急情況撥打緊急電話，可使用語音識(shí)別系統(tǒng)快速進(jìn)行方言識(shí)別，自動(dòng)將電話轉(zhuǎn)接到與呼叫者說同種方言的接線員那里，提高交流效率，爭取寶貴時(shí)間。在刑事偵查方面，可通過方言識(shí)別系統(tǒng)辨別出說話者的籍貫，從方言特征中獲取關(guān)鍵信息。目前，方言識(shí)別的能力和準(zhǔn)確度得到了質(zhì)的提升，國內(nèi)的一些智能語音公司如科大訊飛已經(jīng)開發(fā)出可以識(shí)別粵語、四川話、閩南語等20 多種方言的語音識(shí)別系統(tǒng)，提高了人們溝通交流的效率。本文通過對(duì)方言語音的語譜圖進(jìn)行分析，來辨別和判斷講話者所屬的方言區(qū)域，對(duì)語譜圖進(jìn)行比較并找出其差異，為方言語音的識(shí)別與推廣提供基本理論和方法。

1 語音信號(hào)

1.1 語音信號(hào)的產(chǎn)生和聲學(xué)基礎(chǔ)

1.1.1 語音信號(hào)的產(chǎn)生過程

語音信號(hào)的產(chǎn)生過程為：說話人在大腦中將語言信息轉(zhuǎn)換為語言編碼，并用語音特征如音素序列、韻律和響度等來表示；說話人通過語言編碼控制聲帶振動(dòng)，塑造聲道形狀來發(fā)出聲音序列；聽者通過耳朵的基底膜接收語音信號(hào)并進(jìn)行動(dòng)態(tài)頻譜分析，將頻譜信號(hào)轉(zhuǎn)換為觸動(dòng)信號(hào)作用在聽覺神經(jīng)上，通過大腦分析處理將其轉(zhuǎn)化為語言編碼，實(shí)現(xiàn)對(duì)語音語義的理解[2]。

1.1.2 聲波的物理描述

聲波屬于縱波。聲源產(chǎn)生聲波，聲波以聲源為中心沿著各類介質(zhì)將能量向周圍傳遞，可用頻率、周期、相位、波長及振幅等物理參數(shù)來描述。波長與波速和頻率之間的關(guān)系為λ=v/f，其中λ為波長，v為聲波速，f為頻率。聲波的頻率越高，波長越短；頻率越低，波長越長。另外，聲波還具有響度、音調(diào)及音色等屬性。

1.1.3 語音信號(hào)的時(shí)域和頻域波形

語音信號(hào)波形能直觀地反映語音信號(hào)的特征。語音信號(hào)處理主要是把模擬的語音信號(hào)轉(zhuǎn)換為離散的數(shù)字采樣信號(hào)，通過Matlab、Python 等軟件進(jìn)行時(shí)域和頻域分析，便于分析總結(jié)語音信號(hào)的特征規(guī)律。時(shí)域波形物理意義明確，能直觀表現(xiàn)出語音信號(hào)時(shí)間與幅度的關(guān)系，但無法體現(xiàn)語音信號(hào)的某些特性。對(duì)于復(fù)雜語音信號(hào)的分析，需要用頻域分析法提取一些特性，例如共振峰，通過共振峰能看出信號(hào)頻譜的總體輪廓和譜包絡(luò)[3]。

1.2 語音信號(hào)的特征分析

語音信號(hào)可采取時(shí)域、頻域和倒頻域三種分析方法，各種分析法具有不同的特點(diǎn)。語音信號(hào)是時(shí)域信號(hào)，進(jìn)行時(shí)域分析時(shí)運(yùn)算簡便，波形直觀。但由于語音信號(hào)時(shí)域波形受外界環(huán)境的影響較大，不利于提取語音信號(hào)聲學(xué)特性。因此，語音信號(hào)的分析處理多采用頻域分析法。

頻域分析法是采用傅里葉變換將時(shí)域信號(hào)變換為頻域信號(hào)，從頻域的角度來分析信號(hào)的特征，能夠直觀地看到信號(hào)的組成，便于設(shè)計(jì)出更加完善的信號(hào)處理系統(tǒng)。語音信號(hào)頻譜受外界環(huán)境的影響比較小，具有一定的頑健性，因此，語音信號(hào)分析多采用頻域分析法，通過分析頻譜，可以直觀地發(fā)現(xiàn)語音的聲學(xué)特性，可獲取共振峰參數(shù)、基音周期等信息[4]。

倒頻譜分析法可以有效地分開聲道信號(hào)和激勵(lì)特性，能更好地揭示語音信號(hào)的本質(zhì)特征，可通過將對(duì)數(shù)功率譜進(jìn)行傅里葉逆變換后得到。

2 語音信號(hào)處理的發(fā)展和應(yīng)用

1876 年，世界上首部電話采用聲電轉(zhuǎn)換技術(shù)進(jìn)行語音傳輸，開啟了語音信號(hào)處理的先河。1939年，聲碼器的誕生奠定了分析和合成人類語音信號(hào)的基礎(chǔ)，對(duì)語音信號(hào)處理產(chǎn)生了重大影響。1947 年，語譜圖儀被發(fā)明出來，該設(shè)備能用圖形來表示語音信號(hào)的時(shí)變頻譜，為分析語音信號(hào)提供了強(qiáng)力的工具支撐。1948 年，“語圖回放器”成功研制，它可將語譜圖自動(dòng)轉(zhuǎn)換并合成為人類語音信號(hào)。

20 世紀(jì)50 年代，人們開始研究能夠接受人類的語音、理解人類的意圖、具有聽覺功能的機(jī)器，開啟了語音識(shí)別研究的序幕。到了20 世紀(jì)60 年代，東京無線電研究所實(shí)驗(yàn)室研究員研制出通過專用硬件來進(jìn)行元音識(shí)別的系統(tǒng)，美國斯坦福大學(xué)研究員實(shí)現(xiàn)了用動(dòng)態(tài)跟蹤音素的方法來對(duì)連續(xù)語音進(jìn)行識(shí)別。20 世紀(jì)70 年代后，人工智能技術(shù)開始與語音識(shí)別技術(shù)相結(jié)合，語音識(shí)別的發(fā)展進(jìn)程進(jìn)一步加快。20 世紀(jì)80 年代開始，語音識(shí)別算法由模式匹配向統(tǒng)計(jì)模型轉(zhuǎn)變，基于統(tǒng)計(jì)數(shù)據(jù)建立語音識(shí)別系統(tǒng)，比較有代表性的就是隱馬爾可夫模型。20 世紀(jì)90 年代以來，隨著人工智能和神經(jīng)網(wǎng)絡(luò)研究的迅速興起，其技術(shù)成果被廣泛應(yīng)用到語音識(shí)別研究中，語音識(shí)別技術(shù)進(jìn)一步成熟[5]。目前，語音識(shí)別技術(shù)的產(chǎn)品越來越豐富，且設(shè)計(jì)更加完善、功能更加強(qiáng)大、用戶體驗(yàn)感更加人性化，比如國外的Nuance，Google，Apple，MSRA，國內(nèi)的科大訊飛和云知聲等公司，在語音識(shí)別領(lǐng)域就是典型的代表。

雖然對(duì)語音識(shí)別的研究取得了重大的進(jìn)展，但其在市場推廣應(yīng)用方面還遠(yuǎn)遠(yuǎn)不足，很多因素影響著語音識(shí)別的準(zhǔn)確性，例如實(shí)際環(huán)境中的背景噪聲、傳輸通道的頻率特性、說話人生理或心理情況的變化以及應(yīng)用領(lǐng)域的變化等，都會(huì)導(dǎo)致語音識(shí)別系統(tǒng)性能的下降，甚至使系統(tǒng)不能工作。語音識(shí)別系統(tǒng)頑健性問題研究受到了研究者的廣泛重視，國內(nèi)外很多單位都開展了相應(yīng)的研究。這些研究主要是研究一到兩種因素影響下的綜合補(bǔ)償技術(shù)，對(duì)各種因素共同影響下補(bǔ)償方法的研究還比較少。

信息技術(shù)和人工智能技術(shù)的快速發(fā)展使語音信號(hào)識(shí)別應(yīng)用領(lǐng)域逐步擴(kuò)大，在軍事領(lǐng)域和日常生活領(lǐng)域都能看到其應(yīng)用的身影。在軍事方面，可用語音識(shí)別技術(shù)來進(jìn)行飛機(jī)的自動(dòng)飛行控制、機(jī)載設(shè)備語音自動(dòng)操控以及緊急情況下與地面指揮調(diào)度中心的自動(dòng)對(duì)話，有利于集中飛行員注意力，快速獲取戰(zhàn)場態(tài)勢，更好地發(fā)揮信息戰(zhàn)的優(yōu)勢。在日常生活方面，可用語言識(shí)別技術(shù)來進(jìn)行信息檢索、自動(dòng)文摘、自動(dòng)眷寫、自動(dòng)口語翻譯以及智能家電、智能查詢等，極大地提高了人們工作、生活的質(zhì)量。因此，語言識(shí)別具有非常廣闊的市場空間和巨大的商業(yè)價(jià)值。

3 語譜圖

人們在說話時(shí)，聲道處于運(yùn)動(dòng)狀態(tài)，語音信號(hào)的共振峰變化相對(duì)振動(dòng)的變化來說要平穩(wěn)許多，因此，可以對(duì)語音信號(hào)進(jìn)行連續(xù)頻譜分析，得到語音信號(hào)的語譜圖[6]。語譜圖的橫軸為時(shí)間，縱軸為頻率，某時(shí)刻頻率的能量密度由像素的灰度值決定。語音分析主要是對(duì)語譜圖進(jìn)行分析，通過分析可發(fā)現(xiàn)共振峰、基音頻率、語音能量密度等特征，為語音識(shí)別、合成及編碼提供參考。

3.1 語譜圖的產(chǎn)生原理

語音信號(hào)為非平穩(wěn)信號(hào)。對(duì)語音信號(hào)的分析處理可采用短時(shí)傅里葉分析法。傅里葉分析法主要用于分析線性系統(tǒng)和平穩(wěn)信號(hào)的穩(wěn)態(tài)特性，短時(shí)傅里葉分析法主要用于處理短時(shí)平穩(wěn)假定下的非平穩(wěn)信號(hào)。

設(shè)語音信號(hào)為s(t)，t=0，1，2，…，T-1，其中t為時(shí)域采樣點(diǎn)序號(hào)，T為信號(hào)長度。分幀后s(t)表示為st(k)，t=0，1，2，…，T-1，其中t為幀序號(hào)，k為幀同步時(shí)間序號(hào)，T為幀長。對(duì){s(t)}進(jìn)行短時(shí)傅里葉變換：

式中：{W(t)}為窗序列。信號(hào)s(t)的離散時(shí)間傅里葉變換為：

進(jìn)行離散傅里葉變換得：

式中：0＜q＜T-1，則|S(t,q)|就是s(t)的短時(shí)幅度譜估計(jì)。而時(shí)間k處頻譜能量密度函數(shù)P(t,q)為：

P(t,q)為二維非負(fù)實(shí)值函數(shù)，它是信號(hào)s(t)短時(shí)自相關(guān)函數(shù)的傅里葉變換。以時(shí)間t表示橫坐標(biāo)，q表示縱坐標(biāo)，則由P(t,q)的值表示的灰度級(jí)形成的二維圖像就是該語音信號(hào)的語譜圖，可用10 logP(t,q)將其轉(zhuǎn)換為dB 來表示，顯示起來比較直觀。

3.2 語譜圖的偽彩色映射

為了獲得較好的視覺效果，提高分辨率，需要對(duì)P(t,q)進(jìn)行偽彩色映射，得到偽彩色語譜圖。先把Pmax(t,q)的最大值映射為歸一化1 電平，把最小值Pmin(t,q)映射為歸一化0 電平，再將P(t,q)線性映射為0～1 的電平Ml，最后根據(jù)Ml 的值將語譜圖以偽彩色模式顯示出來。為了得到更好的顯示效果，可以選擇適當(dāng)?shù)幕鶞?zhǔn)值Base，把小于Base的值設(shè)置在基準(zhǔn)電平上，把大于Base的值按照一定的模式線性映射為0～1 的歸一化彩色值?？蓪⒉噬稻仃嘙={m(t,q)}表示如下：

3.3 Python 及相關(guān)庫簡介

Python 誕生于20 世紀(jì)90 年代初，其特點(diǎn)是語法簡單、免費(fèi)開源、可移植性強(qiáng)，具有豐富且功能強(qiáng)大的庫。近年來，Python 被廣泛應(yīng)用于大數(shù)據(jù)和人工智能領(lǐng)域。Librosa 庫主要用于音頻分析和處理，可進(jìn)行時(shí)頻分析處理、特征參數(shù)提取以及聲音圖形繪制等。Numpy 庫主要用于科學(xué)計(jì)算，能實(shí)現(xiàn)復(fù)雜的矩陣和數(shù)組運(yùn)算，可進(jìn)行離散傅里葉變換、短時(shí)傅里葉變換和隨機(jī)模擬等。openCV 庫主要用于計(jì)算機(jī)視覺分析處理，可進(jìn)行計(jì)算機(jī)視覺計(jì)算、圖像處理和機(jī)器學(xué)習(xí)等。Matplotlib 庫主要用于繪圖，可繪制柱狀圖、氣泡圖及頻譜圖等。下面的程序首先結(jié)合Numpy 庫定義了計(jì)算每幀對(duì)應(yīng)的時(shí)間、分幀、加窗、短時(shí)傅里葉變換的函數(shù)，然后利用Librosa 庫分別讀取永州、常德及益陽三個(gè)地方的wav 格式的方言，最后調(diào)用Matplotlib 庫中的pyplot 進(jìn)行語譜圖顯示，調(diào)用openCV 庫以COLORMAP_JET 模式對(duì)語譜圖進(jìn)行偽彩色映射和顯示[7-9]。

3.4 流程圖及實(shí)現(xiàn)程序

3.4.1 流程示意圖

語音信號(hào)語譜圖分析共6 個(gè)步驟。

（1）語音信號(hào)錄制。語音信號(hào)的質(zhì)量直接決定語音頻譜分析的效果。在錄制語音前，應(yīng)確定好語音的采樣頻率、量化位數(shù)及聲道數(shù)等參數(shù)。錄制語音時(shí)，應(yīng)當(dāng)保持環(huán)境安靜，減少外部噪聲干擾，語音采用wav 格式進(jìn)行存儲(chǔ)。

（2）數(shù)據(jù)讀入程序。通過調(diào)用Librosa 音頻處理庫load 函數(shù)，可實(shí)現(xiàn)對(duì)語音信號(hào)的讀入，主要讀取語音信號(hào)的采樣頻率、量化位數(shù)及聲道數(shù)等參數(shù)。

（3）信號(hào)分幀加窗。短時(shí)傅里葉分析需要將語音信號(hào)進(jìn)行分幀，目的是保持某一較短時(shí)間內(nèi)語音信號(hào)特性的穩(wěn)定。分幀長度一般為10～40 ms。加窗的目的是防止頻譜泄漏，設(shè)計(jì)好合適的窗函數(shù)可以使頻譜的能量集中在主瓣上，同時(shí)加窗會(huì)使每一幀兩端的信號(hào)變?nèi)?，需要用幀移進(jìn)行處理。

（4）能量譜密度計(jì)算。語音信號(hào)是能量有限信號(hào)，經(jīng)過傅里葉變換后可按巴塞伐爾定理求出能量譜密度。

（5）功率譜偽彩色分析。偽彩色分析能增強(qiáng)視覺效果，幫助人們更好地觀察和分析圖像細(xì)節(jié)。實(shí)現(xiàn)程序中采用COLORMAP_JET 顏色映射算法。

（6）語譜圖顯示。根據(jù)語譜圖中的橫杠、亂紋及豎直條，可分析出語音信號(hào)的共振峰、基音及濁音等分布情況。

語譜圖的產(chǎn)生流程如圖1 所示。

圖1 語譜圖產(chǎn)生流程圖

3.4.2 Python 實(shí)現(xiàn)程序

Python 實(shí)現(xiàn)程序部分代碼如下所示。

首先用import 語句導(dǎo)入分析處理語音信號(hào)的相關(guān)庫如librosa，numpy，cv2 以及matplotlib。其次分別定義計(jì)算每幀對(duì)應(yīng)的時(shí)間f_time、分幀framing、加窗hanning_win 以及短時(shí)傅里葉變換sft四個(gè)函數(shù)。進(jìn)行分幀時(shí)，如果語音信號(hào)的長度小于1 幀，則幀數(shù)為1.加窗時(shí)應(yīng)選用漢明窗，因?yàn)闈h明窗能更好地保留語音信號(hào)主瓣幅頻特性。

再次，用librosa 庫分別讀取湖南永州、常德和益陽wav 格式的方言語音信號(hào)，設(shè)置好窗函數(shù)，對(duì)其進(jìn)行短時(shí)傅里葉變換。為了能夠觀察到語音信號(hào)頻譜的細(xì)節(jié)，通常用取對(duì)數(shù)后的數(shù)據(jù)進(jìn)行語譜圖顯示。

data，fs=librosa.load（path，sr=None，mono=False）#path 為方言存儲(chǔ)路徑

wlen=256；win=hanning_win（wlen）；nft=wlen；inc=128

y=sft（data，win，nft，inc）#對(duì)語音信號(hào)進(jìn)行短時(shí)傅里葉變換

fscale=[i * fs/wlen for i in range（wlen//2）]#頻率刻度

frametime=f_time（y.shape[1]，wlen，inc，fs）#每幀對(duì)應(yīng)的時(shí)間

logarithmic_data=10*np.log10（（np.abs（y）*np.abs（y）））#取對(duì)數(shù)后的數(shù)據(jù)

最后調(diào)用能夠直觀表現(xiàn)出分類邊界的plt.pcolormesh 來繪制語譜圖，設(shè)置好顏色條和坐標(biāo)軸后保存，調(diào)用cv2 庫以灰度圖的方式分別讀取永州、常德和益陽方言的語譜圖，按照COLORMAP_JET模式進(jìn)行偽彩色映射后可得到最終結(jié)果。

plt.pcolormesh（frametime，fscale，logarithmic_data）

im_gray=cv.imread（‘spectrogram.png’，cv.IMREAD_GRAYSCALE）

im_color=cv.applyColorMap（im_gray，cv.COLORMAP_JET）

cv.imshow（‘pseudo-color’，im_color）

3.4.3 語譜圖顯示與分析

語譜圖含有橫杠、亂紋及豎直條等樣式，其中與時(shí)間軸平行的深黑色帶紋橫杠表示共振峰，根據(jù)其頻率和寬度可確定共振峰的頻率和帶寬。豎直條垂直于時(shí)間軸，條紋開始處為聲門脈沖初始點(diǎn)，間距為基音周期。在語譜圖中，橫杠出現(xiàn)表示有濁音，豎直條出現(xiàn)表示基音?；纛l率越高則條紋越密[10]。對(duì)湖南永州、常德及益陽三地的方言進(jìn)行頻譜分析，結(jié)果如圖2、圖3、圖4 所示。

圖2 永州方言“你好”的偽彩色語譜圖

圖3 常德方言“你好”的偽彩色語譜圖

圖4 益陽方言“你好”的偽彩色語譜圖

圖2 為永州方言“你好”的偽彩色映射圖。從此偽彩色語譜圖上橫杠對(duì)應(yīng)的頻率和寬度可以看出，其共振峰頻率在6 kHz 左右，帶寬相對(duì)來說比較寬。從“你好”的兩個(gè)基音之間的距離可以看出基音周期較小，基音頻率比較大。

圖3 為常德方言“你好”的偽彩色映射圖。從此偽彩色語譜圖上橫杠對(duì)應(yīng)的頻率和寬度可以看出，其共振峰頻率在6 kHz 左右，帶寬相對(duì)來說也比較寬。從“你好”的兩個(gè)基音之間的距離可以看出基音周期也比較小，基音頻率很大。

圖4 為益陽方言“你好”的偽彩色映射圖。從此偽彩色語譜圖上橫杠對(duì)應(yīng)的頻率和寬度可以看出，其共振峰頻率在6 kHz 左右，帶寬相對(duì)來說也比較窄。從“你好”的兩個(gè)基音之間的距離可以看出基音周期比較大，基音頻率比較小。

4 結(jié)語

本文研究了語音識(shí)別領(lǐng)域中一個(gè)非常重要且非常有意義的課題——方言識(shí)別技術(shù)。通過對(duì)湖南永州、常德及益陽三個(gè)地方方言語音信號(hào)的語譜圖進(jìn)行分析，發(fā)現(xiàn)了其共振峰和基音周期等特征參數(shù)的差異。從上述分析看出，方言種類的繁多以及語音的復(fù)雜性決定了方言識(shí)別是一項(xiàng)艱難的任務(wù)，雖然現(xiàn)階段人們在方言識(shí)別方面取得了一定的成績，但許多理論和方法還處在探索和發(fā)展階段，仍需要用大量的實(shí)驗(yàn)加以驗(yàn)證。要想準(zhǔn)確地識(shí)別出各地的方言，研究者們需要克服輸入無法標(biāo)準(zhǔn)統(tǒng)一、噪聲干擾以及模型的有效性等難題，建立完整的方言語音數(shù)據(jù)庫，尋找一種最佳的特征參數(shù)作為方言語音的特征矢量，充分運(yùn)用人工智能和機(jī)器學(xué)習(xí)來創(chuàng)新語音識(shí)別算法，結(jié)合高級(jí)的語言學(xué)知識(shí)進(jìn)行方言辨識(shí)。