基于SVM和增強(qiáng)型PCP特征的和弦識(shí)別

閆志勇，關(guān) 欣，李 鏘

(天津大學(xué)電子信息工程學(xué)院，天津 300072)

1 概述

音樂信號(hào)處理是計(jì)算機(jī)智能信息處理和模式識(shí)別中一個(gè)新興的研究領(lǐng)域，其中和弦識(shí)別是音樂信號(hào)處理的重要方面，它在計(jì)算機(jī)自動(dòng)伴奏、歌曲翻唱識(shí)別以及音頻匹配等領(lǐng)域具有重要作用。人們能夠從復(fù)雜的音樂演奏中提取豐富并且有意義的信息，但是截至目前，使用計(jì)算機(jī)處理這些信號(hào)是有難度的，特別是在進(jìn)行和弦識(shí)別或者和弦轉(zhuǎn)錄時(shí)更是一項(xiàng)具有挑戰(zhàn)的任務(wù)[1]，因而和弦識(shí)別是本文研究的重點(diǎn)。

和弦識(shí)別是音樂信息檢索的中心任務(wù)之一，其中，文獻(xiàn)[2]依據(jù)音樂理論知識(shí)于1999年將信號(hào)能量壓縮到樂曲的12個(gè)音級(jí)上，提出使用12維的音級(jí)輪廓特征音級(jí)輪廓(Pitch Class Profile,PCP)作為和弦特征進(jìn)行模式匹配來識(shí)別和弦。在和弦特征方面，文獻(xiàn)[3]提出了HPCP(Harmonic PCP)特征，將其用于和弦識(shí)別的鍵估計(jì)系統(tǒng)中并取得了66.7%的正確鍵估計(jì)；應(yīng)用諧波積光譜與PCP特征相結(jié)合的EPCP(Enhanced PCP)特征[4]同傳統(tǒng)PCP特征相比，具有相同根音的和弦具有更好的識(shí)別率；文獻(xiàn)[5]結(jié)合人耳聽覺特性和音樂理論提出了新的識(shí)別特征MPCP(Mel PCP)，克服了PCP特征在低頻段特征模糊和峰值處容易發(fā)生混倄的缺陷等。對(duì)于和弦分類模型的選擇，除模板匹配方法[2]外，文獻(xiàn)[5]采用了條件隨機(jī)場(chǎng)分割方法，該方法對(duì)觀測(cè)序列沒有獨(dú)立性要求，具有表達(dá)長(zhǎng)距離依賴性和交疊性特征的能力，缺點(diǎn)是運(yùn)行時(shí)間長(zhǎng)；文獻(xiàn)[6]采用神經(jīng)網(wǎng)絡(luò)進(jìn)行和弦識(shí)別，可以有效地避免噪聲對(duì)和弦識(shí)別率的影響，但該方法只能識(shí)別有限的歌曲；此外，文獻(xiàn)[7]將統(tǒng)計(jì)學(xué)方法隱馬爾可夫模型(Hidden Markov Model,HMM)應(yīng)用于和弦的分割和識(shí)別中，最終的和弦識(shí)別率達(dá)到了75%，但HMM是一種產(chǎn)生式模型需要嚴(yán)格的獨(dú)立性假設(shè)；近年來，有研究者提出將延時(shí)隱馬爾可夫模型(Duration HMM)應(yīng)用于和弦識(shí)別[8]。

音樂是一個(gè)典型的高度結(jié)構(gòu)化的藝術(shù)形式，它頻繁使用了某些和弦進(jìn)程，因此本文采用結(jié)構(gòu)化預(yù)測(cè)模型來譯碼音樂的結(jié)構(gòu)化信息，完成對(duì)和弦的識(shí)別[1]。結(jié)構(gòu)化支持向量機(jī)SVM是近年來廣泛使用的一種機(jī)器學(xué)習(xí)方法，同HMM相比，它能夠有效減少由于增加特征數(shù)據(jù)而過度擬合帶來的誤差。本文對(duì)基于瞬時(shí)頻率光譜的PCP特征的提取提出了一種改進(jìn)算法，即增加對(duì)提取的瞬時(shí)頻率光譜進(jìn)行音高頻率倒譜系數(shù)的處理[9]，之后再壓縮信號(hào)從而提取基于節(jié)拍跟蹤的新的PCP特征。新的PCP特征對(duì)樂器類型以及音色的變化更具魯棒性。最后將新的PCP特征輸入結(jié)構(gòu)化的SVM分類器中完成和弦的識(shí)別。

2 增強(qiáng)型PCP特征的和弦識(shí)別系統(tǒng)

和弦的自動(dòng)識(shí)別主要包括2個(gè)階段：特征提取與和弦識(shí)別。如圖1所示，使用節(jié)拍跟蹤同步提取基于瞬時(shí)頻率的音級(jí)特征PCP，然后將這些特征輸入到結(jié)構(gòu)化支持向量機(jī)SVM中，輸出和弦標(biāo)簽，最后同標(biāo)準(zhǔn)和弦標(biāo)簽比對(duì)完成和弦的識(shí)別。

圖1 增強(qiáng)型PCP特征的和弦識(shí)別系統(tǒng)流程

2.1 信號(hào)特征提取

信號(hào)特征的計(jì)算由節(jié)拍跟蹤和PCP特征計(jì)算2個(gè)部分組成。首先通過節(jié)拍跟蹤獲取與節(jié)拍構(gòu)成相符的音頻節(jié)拍點(diǎn)信息，然后計(jì)算出每個(gè)節(jié)拍間隔內(nèi)的音級(jí)特征PCP。

2.1.1 節(jié)拍跟蹤

節(jié)拍跟蹤用于獲取音樂信號(hào)中的節(jié)拍信息，確定每個(gè)節(jié)拍在信號(hào)中的大致時(shí)間位置。它是自動(dòng)伴奏及轉(zhuǎn)錄、計(jì)算機(jī)輔助音頻編輯以及音樂相似性等應(yīng)用的基礎(chǔ)，同步節(jié)拍特征也是歸一化不同音樂版本之間速率變化的一種很好的途徑。本文采用了文獻(xiàn)[10]提出的動(dòng)態(tài)規(guī)劃(DP)節(jié)拍跟蹤算法，該算法流程如圖2所示。

圖2 節(jié)拍跟蹤檢測(cè)流程

首先需將音頻信號(hào)進(jìn)行快速傅里葉變換(Fast Fourier Transform,FFT)變換，通過一個(gè)權(quán)重矩陣將傅立葉頻譜變換成40維Mel頻譜。計(jì)算每一維頻譜沿時(shí)間軸的一階差分(只有起始點(diǎn)信息)，將整個(gè)頻譜內(nèi)的值相加，濾除直流后得到起始能量包絡(luò)。

然后對(duì)整個(gè)信號(hào)的起始能量進(jìn)行自相關(guān)運(yùn)算，并在其對(duì)數(shù)域上加高斯窗獲取單一主峰值，將自相關(guān)中最大的滯后值作為最佳的速率估計(jì)。

最后將起始能量包絡(luò)和全局速率輸入節(jié)拍檢測(cè)模塊，通過動(dòng)態(tài)規(guī)劃算法獲取節(jié)拍時(shí)間位置信息，完成節(jié)拍跟蹤。

2.1.2 基于節(jié)拍的增強(qiáng)型PCP特征的提取

音級(jí)特征PCP是音樂信息檢索中廣泛使用的一種信號(hào)特征。在基于瞬時(shí)頻率IF的音級(jí)頻譜中通過估計(jì)瞬時(shí)頻率IF的光譜區(qū)域可以從噪聲中區(qū)分音調(diào)元素，同時(shí)處理調(diào)諧中的差異。本文結(jié)合音高頻率倒譜系數(shù)PFCC[9]，改進(jìn)了基于IF的PCP特征的提取算法，提出了一種對(duì)樂器類型以及音色變化更具魯棒性的音級(jí)特征PCP。

(1)將經(jīng)分幀處理后的音頻信號(hào)進(jìn)行FFT變換得到每一幀的信號(hào)能量E，對(duì)差分相位進(jìn)行求導(dǎo)，得到代表音調(diào)的瞬時(shí)頻率IF。這時(shí)可以采用類似于Mel尺度的音調(diào)尺度lg(C×Ε +1)代替E，C表示音高正常數(shù)，在實(shí)驗(yàn)中取C=100。然后對(duì)使用對(duì)數(shù)表示的音調(diào)進(jìn)行DCT變換獲取PFCC系數(shù)，只保留上層PFCC系數(shù)并對(duì)其進(jìn)行DCT逆變換得到變換后的音調(diào)向量，記做lgE。對(duì)能量進(jìn)行對(duì)數(shù)壓縮是考慮到聲音強(qiáng)度的對(duì)數(shù)感。

(2)進(jìn)行頻譜映射。按照音樂理論中的平均律以對(duì)數(shù)方式將變換后的音調(diào)向量lgE映射為新的音級(jí)特征PCP，映射公式為[11]：

其中， fs為采樣率；fs/N為頻域間隔；fr為參考頻率，對(duì)應(yīng)于十二平均律中的C1音；k×fs/N則表示頻域每一個(gè)分量的頻率。忽略八度關(guān)系只考慮把頻率能量分為12個(gè)頻帶，將所有與某一特定音級(jí)相對(duì)應(yīng)的頻率值的音級(jí)分量根據(jù)式(2)相加得到一個(gè)12維的音級(jí)向量PCP：

(3)根據(jù)節(jié)拍跟蹤得到的節(jié)拍點(diǎn)計(jì)算每個(gè)節(jié)拍間隔內(nèi)PCP的平均值作為基于節(jié)拍的音級(jí)特征[12]：

其中，M表示每個(gè)節(jié)拍內(nèi)的幀數(shù)。選用不同樂器演奏同一首樂曲時(shí)得到的音級(jí)PCP光譜特征圖如圖3所示，其中，圖3(a)和圖3(c)分別是使用A樂器彈奏曲目時(shí)提取的傳統(tǒng)PCP特征和增強(qiáng)型PCP光譜特征圖，圖3(b)和圖3(d)分別是使用B樂器彈奏曲目時(shí)提取的傳統(tǒng)PCP特征和增強(qiáng)型PCP光譜特征圖。通過圖3(a)、圖3(b)與圖3(c)、圖3(d)的比較可以看出，圖3(c)與圖3(d)光譜特征之間的差異更小，說明了增強(qiáng)型的PCP特征對(duì)不同樂器的魯棒性更強(qiáng)。

圖3 音級(jí)PCP光譜特征圖

2.2 結(jié)構(gòu)化的支持向量機(jī)

同生成模型HMM不同，支持向量機(jī)SVM屬于判別方法模型，它通過估計(jì)模型參數(shù)獲得精確的輸入輸出映射，并且與序列標(biāo)簽問題直接相關(guān)。和弦轉(zhuǎn)錄的目標(biāo)是將觀測(cè)特征映射為和弦標(biāo)簽狀態(tài)x→y。使用結(jié)構(gòu)化的支持向量機(jī)能夠很好地完成和弦轉(zhuǎn)錄，實(shí)現(xiàn)和弦識(shí)別。

最大間隔分類器通過使用引入松弛變量的軟間隔允許分類超平面(例如SVM)即使當(dāng)訓(xùn)練數(shù)據(jù)不可分時(shí)也能找到一個(gè)最佳的分割。近年來最大間隔方法已經(jīng)擴(kuò)展到結(jié)構(gòu)分類問題例如序列標(biāo)簽，盡管存在許多難以控制的約束，結(jié)構(gòu)化的SVM算法使用切平面的方法使問題得以解決[1]。

結(jié)構(gòu)化SVM的目的是估計(jì)一個(gè)從特征輸入空間X到離散標(biāo)簽輸出空間Y的函數(shù) f:X→Y[1]。通過尋找一個(gè)適當(dāng)?shù)暮瘮?shù)ψ:X×Y→R以及參數(shù)向量w來滿足：

ψ取線性核，因此可以寫成ψ(x,y; w)=＜φ(x,y) ,w ＞，φ(x,y)是一個(gè)依賴于應(yīng)用的聯(lián)合特征映射，假設(shè)訓(xùn)練集為(xi,yi)，其中，i∈N={1,2,…,n}。

當(dāng)數(shù)據(jù)可分時(shí)，在標(biāo)準(zhǔn)的SVM中根據(jù)對(duì)偶原理，最小化||w||來獲取最大間隔，因此將式(4)轉(zhuǎn)換成：

當(dāng)數(shù)據(jù)不可分時(shí)，引入了松弛變量iξ，因此，SVM結(jié)構(gòu)化公式寫為：

其中，A>0是一個(gè)調(diào)諧參數(shù)，用來控制間隔寬度與松弛變量之間的折中。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 實(shí)驗(yàn)環(huán)境與數(shù)據(jù)

本文的實(shí)驗(yàn)環(huán)境為安裝有Matlab2010A的PC機(jī)，采用Beatles樂隊(duì)12張專輯的180首歌曲來評(píng)估分類模型，并且使用了來自學(xué)者Chris Harte[13]對(duì)這些歌曲手動(dòng)標(biāo)記的標(biāo)簽文件。在本文中將和弦分為25類，12個(gè)根音音級(jí)(C,C#,D,…,B)分別對(duì)應(yīng)一個(gè)大調(diào)和一個(gè)小調(diào)，再加上一個(gè)無和弦的類型。

根據(jù)發(fā)行時(shí)間將專輯分成4個(gè)集合，每個(gè)集合包含3張專輯，以確保每個(gè)集合中有一系列的風(fēng)格。分類集合為A:{Please Please Me,Help,Magical Mystery Tour}，B:{With The Beatles,Rubber Soul,The White Album}，C:{A Hard Day’s Night,Revolver,Abbey Roadg}以及 D:{Beatles For Sale,Sgt.Pep-per’s Lonely Hearts Club Band,Let It Be}。在實(shí)驗(yàn)中首先對(duì)集合B,C,D中的樂曲提取增強(qiáng)型的音級(jí)特征PCP，并將這些特征作為支持向量機(jī)的訓(xùn)練數(shù)據(jù)進(jìn)行模型訓(xùn)練，隨機(jī)選擇專輯{Please Please Me}中的4首歌曲作為測(cè)試數(shù)據(jù)進(jìn)行測(cè)試。最后同基于傳統(tǒng)PCP特征并分別采用HMM和支持向量機(jī)方法來實(shí)現(xiàn)和弦識(shí)別的結(jié)果進(jìn)行比較，如表1所示，其中，訓(xùn)練數(shù)據(jù)為Beatles樂曲分類后的集合B,C,D。

表1 識(shí)別結(jié)果對(duì)比 %

3.2 結(jié)果分析

通過表1可以看出，采用本文改進(jìn)的增強(qiáng)型PCP特征在和弦識(shí)別率上較之前采用的傳統(tǒng)PCP特征有所提高，同時(shí)實(shí)驗(yàn)結(jié)果還與采用HMM進(jìn)行和弦識(shí)別的結(jié)果進(jìn)行了比較，識(shí)別率也有所提高。當(dāng)使用SVM分類方法時(shí)，對(duì)于歌曲Anna Go To Him 和Boys，使用增強(qiáng)型PCP特征的和弦識(shí)別率要比使用傳統(tǒng)PCP特征的和弦識(shí)別率分別高2.5%和6.7%，同時(shí)由表1還可以看出，使用SVM分類方法比使用HMM模型時(shí)的和弦識(shí)別要分別高2%和9.7%，這是因?yàn)橥琀MM算法相比，結(jié)構(gòu)化的SVM能夠有效減少由于增加特征數(shù)據(jù)而過度擬合帶來的誤差。

通過對(duì)和弦識(shí)別結(jié)果的分析可知，識(shí)別錯(cuò)誤的和弦主要集中在具有相同根音的和弦之間。例如容易將C大調(diào)和C#大調(diào)區(qū)分開來，但是對(duì)于C大調(diào)和A小調(diào)的區(qū)分卻十分困難，因?yàn)锳小調(diào)三和弦根音的組成A-C-E同C大調(diào)三和弦根音的組成C-E-G具有2個(gè)相同的音符，所以在實(shí)際的識(shí)別中常常會(huì)將這樣的和弦混倄，造成識(shí)別的錯(cuò)誤。

4 結(jié)束語(yǔ)

本文結(jié)合PFCC系數(shù)，提出一種基于瞬時(shí)頻率提取音級(jí)輪廓特征(PCP)的改進(jìn)算法，采用支持向量機(jī)分類方法完成和弦識(shí)別。實(shí)驗(yàn)結(jié)果表明，使用增強(qiáng)型PCP特征的和弦識(shí)別率要比使用傳統(tǒng)PCP特征的和弦識(shí)別率高2.5%～6.7%。同時(shí)還與采用HMM和弦識(shí)別的結(jié)果進(jìn)行了比較，識(shí)別率也有所提高。下一步將對(duì)識(shí)別錯(cuò)誤原因進(jìn)行分析，改進(jìn)和尋找新的特征提取方法，從而提高和弦的整體識(shí)別率。

[1]Weller A,Daniel E,Jebara T.Structured Prediction Models for Chord Transcription of Music Audio[C]//Proc.of International Conference on Machine Learning and Applications.[S.1.]:IEEE Press,2009:590-595.

[2]Fujishima T.Realtime Chord Recognition of Musical Sound:A System Using Common Lisp Music[C]//Proc.of International Computer Music Conference.Beijing,China:[s.n.],1999.

[3]Gomez E,Herrera P.Automatic Extraction of Tonal Metadata from Polyphonic Audio Recordings[C]//Proc.of Audio Engineering Society.London,UK:[s.n.],2004:362-371.

[4]Lee K.Automatic Chord Recognition from Audio Using Enhanced Pitch Class Profile[C]//Proc.of International Computer Music Conference.New Orleans,USA:[s.n.],2006:225-236.

[5]Wang Feng,Zhang Xueying,Li Bingnan.Research of Chord Recognition Based on MPCP[C]//Proc. of the 2nd International Conference on Computer and Automation Engineering.[S.1.]:IEEE Press,2010:76-79.

[6]Su B,Jeng S.Multitimber Chord Classification Using Wavelet Transform and Selforganized Map Neural Networks[C]//Proc.of IEEE International Conference on Acoustics,Speech,and Signal Processing.Salt Lake City,USA:[s.n.],2001:3377-3380.

[7]Sheh A,Ellis D P.Chord Segmentation and Recognition Using EM-trained Hidden Markov Models[C]//Proc.of International Conference on Music Information Retrieval.Baltimore,USA:[s.n.],2003:185-191.

[8]Chen R F.Chord Recognition Using Duration-explicit Hidden Markov Models[C]//Proc.of the 13th International Society for Music Information Retrieval Conference.[S.1.]:IEEE Press,2012:548-559.

[9]Muller M.Towards Timbre-invariant Audio Features for Harmony-based Music[J].IEEE Transactionson Audio,Speech,and Language Processing,2010,18(3):649-662.

[10]Ellis D P W,Poliner G.Identifying Cover Songs with Chroma Features and Dynamic Programming Beat Tracking[C]//Proc.of IEEE International Conference on Acoustics,Speech and Signal Processing.[S.1.]:IEEE Press,2007:1429-1432.

[11]王 峰.美爾音級(jí)輪廓特征在音樂和弦識(shí)別算法中的應(yīng)用研究[D].太原:太原理工大學(xué),2010.

[12]董麗夢(mèng),李 鏘,關(guān) 欣.基于稀疏表示分類器的和弦識(shí)別研究[J].計(jì)算機(jī)工程與應(yīng)用,2012,48(29):133-136.

[13]Harte C.Towards Automatic Extraction of Harmony Information from Music Signals[D].London,UK:Department of Electronic Engineering,University of London,2010.