基于網(wǎng)格圖特征的琵琶指法的自動識別

肖仲喆，張晶晶，劉弋嘉

(蘇州大學(xué) 光電科學(xué)與工程學(xué)院，江蘇 蘇州 215006)

琵琶是東亞傳統(tǒng)撥弦類弦鳴樂器，已有2000多年的歷史，一般由木或竹等制成，音箱呈半梨形，上裝4弦，由6個相、24個品來確定音位，音域?qū)拸V.最早被稱為“琵琶”的樂器大約在中國秦朝時期出現(xiàn).發(fā)展至今，琵琶的分類有五弦琵琶、四弦琵琶、南音琵琶、響琶、月琶、高音琵琶、電琵琶和水晶琵琶等.

其名“琵”、“琶”是根據(jù)演奏時的右手指法得來的，琵是右手向前彈，琶是右手向后挑.琵琶演奏風(fēng)格分為多種流派，并發(fā)展出了豐富的演奏指法，右手有彈、挑、夾彈、滾、雙彈、雙挑、分、勾、抹、摭、扣、拂、掃、輪、半輪、擊板等指法，左手有揉、吟、帶起、捺打、虛按、絞弦、泛音、推、挽、綽、注等技巧，可演奏多種和音、和弦.

在人工智能方法飛速發(fā)展的今天，對樂器的演奏指法的自動分析在樂曲的檢索、鑒賞引導(dǎo)、演奏輔助學(xué)習(xí)等方面均具有重要意義.琵琶作為1種中國傳統(tǒng)樂器，對其進行自動分析的工作尚在起步階段.已有工作大多集中于對琵琶聲音的算法合成方面的探討[1-3]，而在指法自動識別、分類方面涉及很少.本文著重于對若干種典型的琵琶演奏指法進行基于機器學(xué)習(xí)的自動識別.

聲譜圖作為同時體現(xiàn)聲音信號的時域、頻域特征的綜合的可視化表達方式，能夠保留聲音信號中的大多數(shù)信息，因此能夠?qū)?shù)字圖像處理方法引入到音頻信號分析中.聲譜圖相似度可被用于音樂檢索或音樂風(fēng)格分析；而將聲譜圖作為圖像，通過對其2維頻譜的分析，可以對語音和音樂信號進行識別；多分辨率的聲譜圖也被用于伴奏音樂與歌唱人聲的分離等[4-8].在對琵琶演奏指法的自動識別的工作中，我們也使用聲譜圖作為基本信息來源，并在此基礎(chǔ)上擴展為3種對不同指法的區(qū)分度更明顯的網(wǎng)格圖，從中提取特征進行指法的自動識別.

1 琵琶常用演奏指法簡介

琵琶演奏出的聲音大多為包含豐富諧波的樂音類聲音，也有部分特殊指法能夠發(fā)出不體現(xiàn)明顯諧波特性的噪音類聲音.我們選取了4種樂音類演奏指法和3種噪音類演奏指法進行分析和自動識別.

4種樂音類指法為彈、輪指、泛音和掃弦.彈為琵琶演奏的最基本指法，即用右手食指撥弦.輪以右手食指為第1、中指第2、無名指第3、小指第4，依次向左前方彈出，而后大指為第5由反向挑進，得5聲稱1輪.泛音是左手虛按住1根弦同時右手彈該弦，音量大，且音質(zhì)清脆明亮.掃弦為用右手食指依次快速彈4弦.

3種噪音類指法為絞弦、擊板和摘.絞弦是中指將1弦推進去至右側(cè)1根或幾根弦下方，食指將右側(cè)1根或幾根弦身向左拉出壓在左側(cè)的1根推弦上，并用食指按住絞在一起的兩根琴弦，取出中指，然后輪雙弦.擊板是用右手擊打面板.摘是用右手拇指指肉觸弦，中指彈奏.

下面將對這幾種典型演奏指法產(chǎn)生的聲音樣本進行分析處理，并提出網(wǎng)格圖特征用于自動識別.

2 琵琶聲音樣本的分析與特征提取

圖1 琵琶聲音樣本分析與特征提取Fig.1 Analysis and feature extraction of Pipa sound samples

對琵琶聲音樣本進行分析并提取能夠區(qū)分不同指法的特征的流程框圖如圖1所示.

2.1 琵琶演奏聲音樣本的來源

本文使用的琵琶演奏聲音樣本來源于中國音樂學(xué)院構(gòu)建的中國音樂數(shù)據(jù)庫——CCMusic[9].這個數(shù)據(jù)庫的琵琶素材部分包含專業(yè)演奏者用多種琵琶演奏指法錄制的聲音樣本，各指法一般錄制兩遍.本文選取了其中7種演奏指法的聲音樣本，包括4種樂音類指法： 彈、泛音、輪指、掃弦，3種噪音類指法： 絞弦、擊板、摘.對這7種指法，從兩遍的聲音樣本中手動切分出若干個演奏單音作為指法自動識別研究中使用的數(shù)據(jù)樣本，各種指法的單音樣本的數(shù)量列于表1.

表1 各種指法的單音樣本的數(shù)量Tab.1 Number of single note samples for each fingering method

2.2 生成歸一化聲譜圖

被切分好的單音樣本首先生成聲譜圖S(t,f)，其中時間參數(shù)t的取值范圍為對應(yīng)的單音的持續(xù)時間，頻率f的取值范圍為0～22050Hz.對于樂音類指法，如彈、輪指、泛音，聲譜圖中會出現(xiàn)清晰的等間隔水平條紋，根據(jù)這些條紋之間的距離可以估算出其基音頻率F0.對于噪音類指法，如絞弦、擊板、摘，并不存在真正的基音頻率，我們對其直接賦值為F0=440Hz.掃弦雖然屬于樂音類演奏指法，但由于具有不同基頻的多根琴弦同時發(fā)聲，最后疊加的聲音也未能表現(xiàn)出明確、唯一的基音頻率，因此也賦值為F0=440Hz.

經(jīng)過基音估計或賦值后，我們在聲譜圖中選取低頻段的短時部分作為研究對象.頻率范圍限定在20倍基音頻率之內(nèi)，f∈[0,20F0]，時間范圍限定在200倍的基音周期之內(nèi)，t∈[0,200T0]，其中T0=1/F0為基音周期.為了后續(xù)處理的方便，限定了時間與頻率范圍的局部聲譜圖在時間、頻率方向均通過線性插值的方法調(diào)整為500點，成為500×500的方陣，作為歸一化聲譜圖，記為SN(i,j)，i為頻率序號，j為時間序號，i=1,2,…,500，j=1,2,…,500.

選定的7種演奏指法的歸一化聲譜圖樣例如圖2(見第288頁)所示.樂音類指法如輪指、泛音、彈均表現(xiàn)出清晰的等間隔水平條紋.輪指指法由于存在持續(xù)的擊弦動作提供能量，各次諧波均不表現(xiàn)出隨著時間的明顯衰減，但由于每次擊弦前會由于義甲與琴弦的接觸使琴弦振動發(fā)生短暫的停止，因此在聲譜圖中呈現(xiàn)若干縱向弱能量帶.泛音指法使琴聲能量集中在低頻段，尤其是第2至第5次諧波，而基頻與高于5次的諧波非常微弱且衰減迅速.彈指法為琵琶演奏中的最基本指法，整體表現(xiàn)出低頻能量高于高頻能量，且高次諧波衰減快于低次諧波衰減的現(xiàn)象.噪音類指法如絞弦、擊板、摘，在聲譜圖條紋方面均不能呈現(xiàn)像樂音類聲譜圖的等間隔水平條紋，但各種指法在不同頻段的衰減速度方面也表現(xiàn)出不同規(guī)律： 絞弦占據(jù)的頻率范圍較寬，擊板、摘的主要能量均集中于較窄頻帶內(nèi)，摘的主要能量所集中的頻段高于擊板.掃作為樂音類指法，由于多根琴弦同時發(fā)聲，相當(dāng)于若干個不同基頻的彈指法進行疊加，其能量隨時間衰減的模式與彈類似，但因為多組水平條紋的疊加，反而無法辨別各水平條紋，使其歸一化聲譜圖在外觀上更趨近于噪音類指法.

為了更方便地表現(xiàn)出各種演奏指法的區(qū)別，我們在歸一化聲譜圖的基礎(chǔ)上生成了3種不同的網(wǎng)格圖，用于指法自動識別的特征提取.

圖2 7種演奏指法的歸一化聲譜圖Fig.2 Normalized spectrogram of seven fingering methods

2.3 時頻網(wǎng)格圖

歸一化聲譜圖表現(xiàn)為不同衰減速度的水平條紋，在時間、頻率方向均插值500點.定義歸一化聲譜數(shù)據(jù)與其轉(zhuǎn)置進行點對點相乘的結(jié)果為時頻網(wǎng)格圖G1(i,j)：

G1(i,j)=SN(i,j)·SN(j,i)i,j=1,2,…,500.

(1)

7種演奏指法的時頻網(wǎng)格圖如圖3所示.輪指、泛音、彈的時頻網(wǎng)格圖均呈現(xiàn)出規(guī)則的方格，其中： 輪指由于在較長時間內(nèi)不發(fā)生能量衰減，時頻網(wǎng)格圖整體表現(xiàn)均勻，但由于反復(fù)觸弦時造成的琴弦短暫不振動的過程使網(wǎng)格清晰程度較低；泛音與彈的時頻網(wǎng)格圖均表現(xiàn)為從左下向右上的漸變，由于泛音所含的諧波能量集中于第2至第5次諧波，其變化過程中存在1個突變點，而彈的變化過程更為緩慢、均勻.由于在噪音類指法中沒有基音的存在，絞弦、擊板、摘的時頻網(wǎng)格圖中并不出現(xiàn)規(guī)則方格，而是整體從左下向右上發(fā)生漸變，并存在近似的突變點，其中： 絞弦的突變點位置更靠近網(wǎng)格圖的右上角；擊板的突變點位置更靠近網(wǎng)格圖的左下角；摘的時頻網(wǎng)格圖則呈現(xiàn)出若干較大方格.掃弦的時頻網(wǎng)格圖比較特殊，由于多根弦的基頻同時存在，掃弦的時頻網(wǎng)格圖在左下部分不能表現(xiàn)出規(guī)則方格，與噪音類的時頻網(wǎng)格圖比較接近，而由于高頻分量的衰減快于低頻分量的衰減，在右上角表現(xiàn)出樂音性質(zhì)的規(guī)則方格.

圖3 7種演奏指法的時頻網(wǎng)格圖Fig.3 Time-frequency grid of seven fingering methods

2.4 時域網(wǎng)格圖

用于琵琶指法分析的第2種網(wǎng)格圖為時域網(wǎng)格圖.首先，對歸一化聲譜圖進行頻率方向的求和，得到時域行向量T：

(2)

時域行向量T轉(zhuǎn)置為列向量，與T相乘，所得結(jié)果為時域網(wǎng)格圖G2：

G2=TT·T，

(3)

即

G2(i,j)=T(i)·T(j)i,j=1,2,…,500.

(4)

7種演奏指法的時域網(wǎng)格圖如圖4所示.輪指為多次擊弦指法，其時域網(wǎng)格圖與其他6種指法完全不同，表現(xiàn)出清晰的方格，而各方格的寬度、深度的均勻程度則與演奏過程中各手指擊弦的時間、力度的均勻程度直接關(guān)聯(lián).其余6種指法的時域網(wǎng)格圖均表現(xiàn)為從左下向右上的漸變，其中： 樂音類指法的變化較平緩，按照泛音、彈、掃的順序，變化速度從快到慢；噪音類指法中存在較突然的變化點，絞弦的變化點較靠近右上角，擊板、摘的變化點更靠近左下角，兩者時域網(wǎng)格圖的特性類似.

圖4 7種演奏指法的時域網(wǎng)格圖Fig.4 Time-domain grid of seven fingering methods

2.5 頻域網(wǎng)格圖

用于琵琶指法分析的第3種網(wǎng)格圖為頻域網(wǎng)格圖.首先，對歸一化聲譜圖進行時間方向的求和，得到頻域列向量F：

(5)

頻域列向量F與其轉(zhuǎn)置得到的行向量FT相乘，所得結(jié)果為頻域網(wǎng)格圖G3：

G3=F·FT，

(6)

即

G3(i,j)=F(i)·F(j)i,j=1,2,…,500.

(7)

7種演奏指法的頻域網(wǎng)格圖如圖5所示.輪指、泛音、彈的頻域網(wǎng)格圖表現(xiàn)為均勻的規(guī)則方格，其中： 泛音的左側(cè)、下方(低頻部分)與右上角(高頻部分)的整體能量對比十分明顯；輪指、彈的左側(cè)、下方與右上角的整體能量對比較弱，而且輪指在左側(cè)、下方條紋的清晰程度不如彈.噪音類指法的頻域網(wǎng)格圖也表現(xiàn)為方格狀，但方格不均勻.絞弦指法從左下向右上的能量變化較緩慢，而擊板、摘均出現(xiàn)突變，并且擊板的突變點非常靠近左下角，而摘的能量變化會出現(xiàn)粗網(wǎng)格的反復(fù).掃弦的頻域網(wǎng)格圖在右上角部分與彈相似，但在左側(cè)與下方邊緣有明顯的能量很弱區(qū)域，與其他指法均不相同.

圖5 7種演奏指法的頻域網(wǎng)格圖Fig.5 Frequency-domain grid of seven fingering methods

2.6 特征提取

圖6 從網(wǎng)格圖中提取特征示意圖Fig.6 Illustration on extracting features from grid diagrams

以上3種網(wǎng)格圖在各種指法下均表現(xiàn)出顯著區(qū)別，且其共同特點為從網(wǎng)格圖左下向右上方向存在不同規(guī)律的變化.為了將以上網(wǎng)格圖用于琵琶指法的自動識別，我們沿網(wǎng)格圖左下至右上對角線方向劃分了不同的計算區(qū)域，如圖6所示.由于3種網(wǎng)格圖均為左下方變化比右上方更明顯，因此在計算區(qū)域劃分時，左下區(qū)域的劃分更加密集，且允許不同的計算區(qū)域之間有交疊，而右上方的區(qū)域劃分則比較稀疏，每個區(qū)域較大.根據(jù)各種指法的具體特點，對時頻網(wǎng)格圖、時域網(wǎng)格圖、頻域網(wǎng)格圖共劃分出41個不同的計算區(qū)域，每個計算區(qū)域的均值與標(biāo)準(zhǔn)差作為指法自動識別的特征使用，共計82維特征.

3 琵琶指法自動識別與特征評價

利用上文提取的82維特征，我們對7類琵琶指法進行了自動識別實驗.由于所使用的琵琶單音樣本數(shù)量非常少，而特征維數(shù)遠高于每類的樣本數(shù)量，為了避免由此引發(fā)的“維數(shù)災(zāi)難”問題(curse of dimensionality)，在模型訓(xùn)練過程中使用了前向順序特征選擇(Sequential Forward feature Selection, SFS)方法進行特性選擇[10-11]，挑選出能夠清晰表達各種指法區(qū)別的維數(shù)最少的特征.

指法自動識別分為3組： 對7類指法的識別、對樂音類和噪音類指法之間的識別以及樂音/噪音類指法內(nèi)部的識別.分類器選用支持向量機(Support Vector Machine， SVM)，使用線性核函數(shù).模型訓(xùn)練過程使用2疊交叉驗證，用所有來自于第1遍演奏的樣本進行模型訓(xùn)練，對第2遍演奏的樣本進行識別，然后交換兩遍樣本再做實驗，獲得對所有樣本的識別結(jié)果.

表2 7種指法自動識別的準(zhǔn)確率Tab.2 Automatic recognition accuracy of seven fingering methods

3.1 7種指法自動識別

對7種指法進行自動識別的特征選擇與識別率列于表2.

由表中數(shù)據(jù)可見，表現(xiàn)最好的單一特征對于7類指法的自動識別能力不夠，識別率僅為39.28%，隨著特征數(shù)量的增長，識別率也隨之上升，當(dāng)使用6個特征時，最佳識別率已經(jīng)上升到100%.與所使用的琵琶單音樣本數(shù)量比較，數(shù)量最少的指法種類僅包含6個樣本，使其實現(xiàn)完美自動識別的特征數(shù)量為6，沒有超過樣本數(shù)量，能夠在樣本數(shù)量非常少的條件下完成指法的自動識別.

3.2 樂音類與噪音類指法識別

盡管掃弦指法屬于樂音類指法，但是其在歸一化聲譜以及時頻網(wǎng)格圖中均表現(xiàn)出與噪音類指法類似的特性，因此，在對樂音類指法與噪音類指法進行區(qū)分時，我們設(shè)定了3種實驗?zāi)Ｊ剑?/p>

1) 輪指+泛音+彈 vs. 絞弦+擊板+摘；

2) 輪指+泛音+彈+掃弦 vs. 絞弦+擊板+摘；

3) 輪指+泛音+彈 vs. 絞弦+擊板+摘+掃弦.

即在第1組識別中不考慮掃弦，第2組識別中將掃弦歸為樂音，在第3組識別中將掃弦歸為噪音.這3組實驗中識別的準(zhǔn)確率列于表3.

由表3數(shù)據(jù)可見，第1，2組實驗的單一特征最佳識別率均為90%左右，僅需2個特征即可使識別率達到100%，尤其是第2組的單一特征識別率更高，說明掃弦指法與3種噪音類指法間的區(qū)別比其他樂音類指法更顯著.第3組實驗的單一特征識別率明顯低于前2組，僅為76.79%，需要使用5個特征才能使識別率達到100%.因此，盡管掃弦的歸一化聲譜圖與時頻網(wǎng)格圖中表現(xiàn)出與噪音類似的特性，它仍然是典型的樂音類指法.

3.3 樂音類/噪音類內(nèi)部指法識別

樂音類或噪音類內(nèi)部的指法識別結(jié)果列于表4.其中，對樂音類內(nèi)部的識別分為兩種情況，即不包含掃弦其他3類指法的識別和包含掃弦的4類指法的識別.

表3 樂音類與噪音類指法識別的準(zhǔn)確率Tab.3 Recognition accuracy of fingering method for music and noise

表4 樂音類/噪音類內(nèi)部指法識別的準(zhǔn)確率Tab.4 Recognition accuracy of fingering method for music/noise internal

由表4可知，不包含掃弦的樂音類指法之間具有非常顯著的差異，最佳單一特征的識別率已經(jīng)達到100%，而將掃弦并入樂音類指法間的識別時，最佳單一特征的識別率急劇下降至50%，共需6個特征的組合才能達到100%的識別率，與7類指法識別時的情況相同.3種噪音類指法之間的區(qū)別較為明顯，最佳單一特征識別率達到90%，僅需2個特征即可達到100%識別率.

4 結(jié) 語

本文對中國音樂學(xué)院錄制的CCMusic數(shù)據(jù)庫中的琵琶聲音樣本的7種典型演奏指法進行了自動識別研究.通過由歸一化聲譜圖生成的3種不同類型的網(wǎng)格圖，能夠有效體現(xiàn)各種不同指法之間的區(qū)別.利用從網(wǎng)格圖中提取的特征，能夠在自動識別中實現(xiàn)100%的識別率，根據(jù)具體參與識別的不同指法，需要的特征數(shù)量在1到6之間.