音頻哼唱檢索技術(shù)的設(shè)計(jì)與實(shí)現(xiàn)

天津廣播電視臺 石家瑞

?

音頻哼唱檢索技術(shù)的設(shè)計(jì)與實(shí)現(xiàn)

天津廣播電視臺 石家瑞

【摘要】通過文字輸入音頻屬性信息進(jìn)行音頻檢索無法滿足通過音樂的旋律進(jìn)行檢索的需求，因此基于內(nèi)容的音頻檢索應(yīng)運(yùn)而生。研究、設(shè)計(jì)并實(shí)現(xiàn)一套基于內(nèi)容的音頻哼唱檢索技術(shù)，對音頻進(jìn)行分割處理，基音提取，旋律編碼和旋律匹配，完成音頻搜索。在實(shí)驗(yàn)中，通過對輸入語音的處理、匹配，以85.5%的相似度成功檢索出目標(biāo)音頻，為今后音頻哼唱檢索技術(shù)的實(shí)際應(yīng)用提供依據(jù)和保證。

【關(guān)鍵詞】音頻；哼唱；檢索技術(shù)

0　引言

隨著數(shù)字化和網(wǎng)絡(luò)化的快速發(fā)展，音頻的檢索已經(jīng)隨著大眾的需要從一維擴(kuò)展到多維。傳統(tǒng)的音頻檢索需要用戶輸入音頻的屬性信息，包括名稱、演唱者、年代等文本信息進(jìn)行檢索，然而用戶熟悉某些歌曲的旋律和風(fēng)格，但是并不知道名稱和主唱，運(yùn)用傳統(tǒng)的屬性信息進(jìn)行檢索無法滿足他們的需求。因此，通過音頻內(nèi)容進(jìn)行檢索的方法應(yīng)運(yùn)而生。哼唱檢索作為基于內(nèi)容的音頻檢索的一種，需要用戶哼唱某一段音樂，這段音樂作為一種非語義符號表示且非結(jié)構(gòu)化的二進(jìn)制碼流輸入到計(jì)算機(jī)中，通過搜索引擎去尋找一些歌曲，并將歌曲中包含用戶所哼唱的旋律和風(fēng)格的歌曲反饋給用戶。

本文詳細(xì)研究并介紹了哼唱檢索的流程和所用方法，并通過程序演示，以實(shí)驗(yàn)形式完成了哼唱檢索過程。

1　哼唱檢索流程

哼唱檢索的流程是：用戶通過一個(gè)麥克風(fēng)哼唱一段音樂，這段音樂以音頻數(shù)據(jù)的方式被采集到了計(jì)算機(jī)里面，被分割成一個(gè)個(gè)片段，這些片段又分別對應(yīng)了一個(gè)個(gè)的音符[1]。之后就能找出這些片段的基因頻率，獲得哼唱片段的旋律信息，將哼唱的旋律信息與音樂庫中音樂的旋律信息進(jìn)行匹配比較，并將相關(guān)度最高的一首或幾首樂曲作為檢索結(jié)果返回給用戶，流程如圖1-1所示：

圖1-1　哼唱檢索流程

2　哼唱檢索方法

2.1音頻切割

音頻分割的方法是：在得到輸入信號的對數(shù)能量曲線之后，對其進(jìn)行平滑處理，再由曲線的極值求出有聲區(qū)的能量閾值，接著就能根據(jù)音符的對應(yīng)關(guān)系將輸入信號分割成小片段，圖2-1所示。

這種分割方法要求用戶在每個(gè)音符直接按留出一定的空隙，但這種要求不一定都會滿足，因?yàn)橛脩舭l(fā)音不準(zhǔn)或者哼唱的很連貫，各個(gè)音符之間沒有停頓，就無法在能量上來區(qū)別各個(gè)音符，這都會導(dǎo)致這種方法的失效或者不理想。但是人們通過實(shí)驗(yàn)發(fā)現(xiàn)，音頻的倒譜的峰值隨著時(shí)間也有起伏，而且能夠反映出靜音和非靜音的邊界，如圖2-2所示，所以在進(jìn)行音頻分割時(shí)一般綜合考慮能量曲線和倒譜峰值曲線，這樣能夠得到最好的分割效果[2]，如圖2-3所示。

圖2-1　能量曲線以及音符分割結(jié)果

圖2-2　倒譜峰值曲線

圖2-3　能量曲線和倒譜曲線綜合考慮的結(jié)果

2.2基音提取

音符分割完成以后，就要進(jìn)行基音的提取了。人類聲音的頻率一般大于60Hz，而小于1000Hz，所以可以利用哼唱信號良好的周期性特性，采用時(shí)域的自相關(guān)方法，來求取每一幀哼唱信號的基頻信息，然后再將其轉(zhuǎn)換成半音單位[3]：

其中，freq是以Hz為單位的基頻值。

半音是音樂中常用的表示音高的單位，MIDI中所采用的音高表示也與此相同。接下來的計(jì)算方法所采用的音高單位都是半音。

一般一個(gè)音符都包含若干個(gè)幀，在得到每一幀的音高之后，可以采用加權(quán)求特征值的辦法來求得每個(gè)音符的特征值，比如一個(gè)音符由n幀組成，這些幀的編號為，則每一幀的權(quán)重系數(shù)為[4]：

采用自相關(guān)算法對哼唱信號進(jìn)行基音提取的流程如圖2-4所示。

圖2-4　基音提取流程

一般情況下是用固定長度的窗來對語音信號進(jìn)行分幀的，然后再計(jì)算每一幀的基音周期。但是漢語的語調(diào)會發(fā)生變化，因而基音周期的變化范圍也很大，如果用固定窗長來進(jìn)行計(jì)算，得不到良好的短時(shí)特性。鑒于此，可以采用長度可變的窗來進(jìn)行計(jì)算，因?yàn)橄噜弾幕糁芷谧兓淮螅钥梢园衙恳粠拇伴L設(shè)為前一幀窗長的3倍。

2.3旋律編碼

在得到哼唱數(shù)據(jù)的基音信息之后，就需要根據(jù)各個(gè)音符的音高來進(jìn)行旋律編碼了。旋律編碼是指在進(jìn)行音樂檢索時(shí)，把輸入音頻以及音頻庫中的音頻的樂曲旋律用一種中間形式來表示出來，比如音符序列。旋律編碼完成之后，就可以采用這種中間形式的數(shù)據(jù)來進(jìn)行匹配計(jì)算了[5]。

為了降低檢索的難度，在進(jìn)行旋律編碼時(shí)，可以在音高這個(gè)檢索特征之外再加上一個(gè)節(jié)奏特征，也即每個(gè)音符的時(shí)間信息，這樣一來使用雙特征來進(jìn)行檢索，效率更高，困難程度也降低了。根據(jù)一般人的哼唱特點(diǎn)，在采用節(jié)奏信息時(shí)，只考慮每個(gè)音符的出現(xiàn)時(shí)間，而不考慮它們的結(jié)束時(shí)間。

2.4旋律匹配

旋律編碼完成之后，就可以進(jìn)行旋律匹配了，線性對齊匹配法的具體思路是[6]：先把兩段旋律在時(shí)間軸上伸展到相同的長度，然后把它們發(fā)聲時(shí)刻接近的音符對齊，分析旋律在節(jié)奏上的相似性之后，繼續(xù)比較兩段等長旋律在每個(gè)時(shí)間點(diǎn)上音高頻率的距離。因?yàn)椴捎玫氖且舾卟钪祦碜鳛闄z索特征的，所以就可以忽略哼唱者的音調(diào)高低問題。然后把節(jié)奏和音高兩方面的信息綜合考慮就能夠很容易得到相似度的匹配結(jié)果了。

因?yàn)闄z索特征是節(jié)奏和音高的組合，假設(shè)為(P,T)，經(jīng)過旋律編碼得到的旋律序列為，而音頻庫中的旋律為。其中，P和Q表示音高差，T和U表示音符發(fā)聲時(shí)刻，而且：

（2-3）中第一個(gè)式子可以通過前面的說明很容易的得出，第二個(gè)約束條件規(guī)定了兩段旋律的音符數(shù)不能相差過多。

2.4.1節(jié)奏匹配

在進(jìn)行節(jié)奏匹配時(shí)，首先要將(P,T)在時(shí)間上進(jìn)行線性變換，和(Q,U)對齊，然后通過對齊的音符總數(shù)占總音符數(shù)的比例來確定兩段旋律在節(jié)奏上的相似度。假設(shè)變換后的音符序列為(R,V)，其算法如下[7]：

①初始化：

②線性變換：

③對齊判斷：

跳轉(zhuǎn)到④，否則跳轉(zhuǎn)到⑤。

④將(P,T)的第i個(gè)音符與(Q,U)的第j個(gè)音符對齊。

跳轉(zhuǎn)到⑥。

⑦計(jì)算節(jié)奏相似度，結(jié)束。

對齊的音符數(shù)占總音符數(shù)的比例就是節(jié)奏上的相似度。一般情況下旋律的首尾音符都是對齊的，所以計(jì)算時(shí)把首尾的4個(gè)音符去掉。其中的a表示對齊誤差，經(jīng)驗(yàn)值為0.3。也就是說如果兩個(gè)音符在時(shí)間上的距離小于其音符延時(shí)的30%，就可以認(rèn)為它們是對齊的[8]。

2.4.2高音匹配

節(jié)奏匹配完成后，就可以進(jìn)行音高的匹配了。經(jīng)過上面的運(yùn)算，(P,T)轉(zhuǎn)換成(R,V)，其中(R,V)和(Q,U)在時(shí)間上完全等長。音高的匹配過程就是比較(R,V)與(Q,U)在對應(yīng)時(shí)刻上的音高差值。和節(jié)奏相似度一樣，音高的相似度也是根據(jù)音高接近的旋律片段占總旋律的比例得到的。其計(jì)算過程如下：

表3-1　輸入音頻的特征序列表

①初始化。

跳轉(zhuǎn)到②；

跳轉(zhuǎn)到②；

⑤計(jì)算音高相似度，結(jié)束。

旋律的節(jié)奏信息只是記錄了音符的開始時(shí)間，并沒有記錄它的持續(xù)時(shí)間或結(jié)束時(shí)間，因此最后一個(gè)音符的長度一般設(shè)定為前面音符的長度的平均值。其中函數(shù)的定義如下：

節(jié)奏匹配和音高匹配完成之后，把它們的數(shù)值相加，就能得到兩段旋律的總匹配度：

至此，哼唱檢索的所有算法都已完成，只要將哼唱輸入的旋律信息與音頻庫中的音頻的旋律信息進(jìn)行匹配比較，并將其中匹配程度最高的幾首音頻作為最終結(jié)果反饋給用戶，就完成了了一次完整的哼唱檢索。

3　實(shí)驗(yàn)分析

3.1實(shí)驗(yàn)準(zhǔn)備

音頻檢索程序是在Microsoft Visual Studio平臺下用C++語言開發(fā)的一套對輸入音頻特征序列提取、特征值比對的程序，通過該程序可檢索出與輸入音頻特征匹配的目標(biāo)音頻，以完成搜索任務(wù)。

測試音頻均為WAV格式。從話筒哼唱一段音樂并保存，記錄音頻為test-fragment.wav，該音頻作為音頻檢索的輸入數(shù)據(jù)源。樂曲庫中保存了大量WAV格式的樂曲和音頻，作為檢索庫中的被檢索數(shù)據(jù)源。

3.2實(shí)驗(yàn)過程

從輸入音頻提取特征值，整理成特征值序列表，與樂曲庫中的各個(gè)樂曲特征序列表比對，找到相似度最高的樂曲，即為檢索結(jié)果。

首先，對輸入音頻進(jìn)行分割，以512Byte為一個(gè)片段，輸入音頻被分割成1347個(gè)片段，計(jì)算512bit×1347≈689kB，實(shí)際的輸入音頻為674KB，略小，原因是在切割過程中每個(gè)片段加入了相應(yīng)的校驗(yàn)和序號信息，便于后續(xù)處理。

3.3實(shí)驗(yàn)結(jié)果

經(jīng)過FFT變換和轉(zhuǎn)碼等一系列過程，提取出輸入音頻的特征值如表3-1所示。

表3-1列出了輸入音頻的特征值序列。其中，“幀序列”表示提取特征值所在的片段，位數(shù)從1至1347；“字節(jié)位”表示在該幀序列中所在的字節(jié)位，位數(shù)從1至512；“特征值”表示相應(yīng)的能量特征值。

從樂曲庫中每條歌曲對應(yīng)的特征序列表，與輸入序列按照指定的幀序列的字節(jié)位進(jìn)行比對，找到與相應(yīng)字節(jié)位特征值差異最小的特征序列，該特征序列所對應(yīng)的樂曲即為檢索結(jié)果。圖3-1列出了檢索音頻幀序列誤差分布。大部分誤差集中在20%以內(nèi)，少數(shù)誤差高達(dá)50%，出現(xiàn)誤差的原因是由于哼唱音頻的音調(diào)、音色、節(jié)奏因個(gè)人嗓音的不同和節(jié)奏的把控而產(chǎn)生差異。誤差平均值為14.5%，即音頻相似度達(dá)85.5%。而音頻的檢索結(jié)果也正是哼唱者所要查找的音頻。

圖3-1　音頻幀序列誤差分布圖

4　結(jié)束語

基于內(nèi)容的音頻哼唱檢索，實(shí)現(xiàn)了將音符分割成若干片段，對每個(gè)片段進(jìn)行基音提取，對提取出的頻率進(jìn)行旋律編碼形成特征值序列，并與樂曲庫的歌曲進(jìn)行特征值序列匹配，返回檢索結(jié)果。通過編寫程序并運(yùn)行音頻實(shí)例，實(shí)現(xiàn)了基于哼唱的音頻檢索實(shí)驗(yàn)，匹配率高，為今后哼唱檢索在實(shí)際中的應(yīng)用提供依據(jù)和保證。

參考文獻(xiàn)

[1]潘復(fù)平,趙慶衛(wèi),顏永紅.一個(gè)基于語音識別的音頻檢索系統(tǒng)的實(shí)現(xiàn)[J].聲學(xué)技術(shù)增刊,2005,24:428～432.

[2]歲駿,歐智堅(jiān).一種高效的語音關(guān)鍵詞檢索系統(tǒng)[J].通信學(xué)報(bào),2006,27(2):113～118.

[3]A.V.奧本海姆,R.W.謝弗.數(shù)字信號處理(董士嘉，楊耀增)[M].北京:科學(xué)出版社,1980,45～46.

[4]Reynolds DA,Rose RC.Robust.Text-independent Speaker Identification Using Gausian Mixture Speaker Models.IEEE Speech and Audio Processing,1995(1):72～83.

[5]吳春輝,黃胤科,鐘寶榮.基于內(nèi)容的音頻檢索技術(shù)[J].現(xiàn)代計(jì)算機(jī)(專業(yè)版),2006,4.

[6]L.A.Smith,R.J.McNab.I.H.Witten.Music Information Retrieval Using Audio Input.Proc AAAI Spring Symposium on Intelligent Integration and Use of Text, Image,Video,and Audio Corpora,Stanford,CA,1996:12～16

[7]R.J.McNab,L.A.Smith,I.H.Witten,C.L.Henderson,Cunningham S.J. Towards the Digital Music Library:Tune Retrieval from Acoustic Input.Proc Digital Libraries’96,1996:11～18.

[8]李國輝等,基于內(nèi)容的音頻檢索與分類[J].計(jì)算機(jī)工程與應(yīng)用,2002,(7):54～57.

石家瑞（1977—），男，天津人，高級工程師，現(xiàn)供職于天津廣播電視臺，研究方向：廣播電視工程。

作者簡介：