基于樂器演奏的樂音識別系統(tǒng)的研究

　　一、研究的啟發(fā)及其意義
　　讓計算機聽懂樂曲并自動生成譜表是我從小的愿望。前不久我仍看到父親邊聽錄音邊記譜，聽一段，記一句，有時一句需要聽上幾遍，才能記下來，這使得他老人家工作勞累，真想用所學(xué)的計算機專業(yè)知識去幫他解決如此繁雜的事情。另外，在我學(xué)習(xí)揚琴的過程中，也遇到類似的難題——在網(wǎng)上學(xué)習(xí)中國音樂學(xué)院揚琴教授項祖華和李玲玲的揚琴曲時，被他們諳熟動聽的名曲演奏陶醉，希望找到相應(yīng)的曲譜來練習(xí)，但搜來搜去并無結(jié)果，于是便開始研究識譜軟件。
　　酷我ＭＰ３伴侶是一款音樂識別軟件。它應(yīng)用音頻指紋技術(shù)，根據(jù)旋律可準確識別歌名、歌手、專輯名等信息。這主要是針對在網(wǎng)上搜索海量的音樂文件，不具備識譜功能。目前，有一款曲譜編輯軟件，但它只能識別電子琴這一種有ＭＩＤＩ音樂接口的音頻，對ＭＩＤＩ文件可以轉(zhuǎn)換簡譜或五線譜。但對于其他樂器（鋼琴或琵琶等民族樂器）產(chǎn)生的音頻文件，就無法轉(zhuǎn)換。比如從網(wǎng)上下載或錄制的樂曲則無法轉(zhuǎn)換并產(chǎn)生相應(yīng)譜表。筆者將能提供這一功能的系統(tǒng)初步命名為基于樂器演奏的樂音識別系統(tǒng)，并開始了通過計算機程序設(shè)計與數(shù)據(jù)信號處理的學(xué)習(xí)和研究。
　　此項研究對所有音樂創(chuàng)作領(lǐng)域的作曲人士和眾多熱愛音樂的人有著重大意義，也將隨著這項研究的完成而節(jié)省大量的精力、時間、財力，從而提高工作效率。所以能夠通過使用計算機程序來自動識別演奏或演唱的樂曲并自動完成樂譜創(chuàng)作，將會使音樂人創(chuàng)作效率得到很大提高，并能極大地激發(fā)創(chuàng)作靈感，改變目前因為手稿寫樂譜的不便而導(dǎo)致創(chuàng)作效率低甚至影響靈感發(fā)揮的不良狀況。樂音識別這一技術(shù)在音樂創(chuàng)作中有很重要的實用價值。
　　二、國內(nèi)外研究現(xiàn)狀
　　現(xiàn)有的樂音識別系統(tǒng)有很多，如《調(diào)音之王》弦樂器體系?穴包括提琴、吉它、古箏、三弦、琵琶、二胡等?雪，樂器聲音測試，頻譜，聲音標準，檢測，弦樂器學(xué)習(xí)的好幫手，是一個完整的自動化的樂音識別系統(tǒng)，但卻沒有樂譜自動生成功能；再有《樂音３．０》可通過外接ＭＩＤＩ音源、模擬ＭＩＤＩ鍵盤作曲，但對于除電子琴外的其他樂器演奏的音源，就無法產(chǎn)生相應(yīng)的樂譜。
　?。玻埃埃的暝凇稑芬糇R別方法及應(yīng)用》①一文中提出能使計算機聽懂樂器（如鋼琴）的演奏并自動譜曲，即根據(jù)錄入的鋼琴演奏曲產(chǎn)生相應(yīng)的五線譜表，如圖１所示。另外，在２００９年《樂音音符基頻識別》②一文中，通過語音信號的短時能量和過零率來確定語音的端點以及分割音節(jié)，進而通過短時自相關(guān)函數(shù)法來提取基音周期。
　　
　　在研究樂音識別技術(shù)及應(yīng)用的基礎(chǔ)上，筆者提出目前該系統(tǒng)的不足之處：五線譜表中無小節(jié)線，也無終止符號，而且無法滿足只懂簡譜的廣大用戶的需求，更重要的是，此項研究沒有繼續(xù)完成，也沒有投入使用。就此對以上問題展開研究，并用另一種有效可行的方法及算法加以驗證，從而進一步改善原有的樂音識別系統(tǒng)。
　　目前以樂音音符識別為目的，并完成自動樂曲創(chuàng)作的研究不多，有關(guān)樂音處理方面的研究大多局限在樂音的數(shù)字采樣、濾波、音效處理、編輯等。在音符錄入方面，則一般使用ＭＤＩＩ鍵盤簡單映射實現(xiàn)，并不涉及研究的樂音音符?穴音高?雪的識別。
　　三、樂音識別系統(tǒng)
　　基于樂器演奏的樂音識別的過程，是根據(jù)樂器演奏音頻輸入自動產(chǎn)生相應(yīng)的音樂譜表?穴簡譜或五線譜?雪，即通過一系列的信號和數(shù)據(jù)處理過程將原始音頻信息轉(zhuǎn)換成為符號表示的樂譜信息，從而實現(xiàn)樂音識別的功能。
　　對樂器演奏信息的獲取和處理有多種方法，可以是一個在線錄制的樂曲，也可以自己錄制。處理的主要目的是從音頻文件中提取出表達音樂旋律的特征信號。對信號的處理過程使用時域方法、頻域方法或時域頻域相結(jié)合的處理方法進行音符分割、音高跟蹤，得到旋律特征數(shù)據(jù)序列，再以特定的組織方式將旋律特征序列作為匹配譜表的輸入，在提前錄制好的單音符數(shù)據(jù)庫中進行旋律特征匹配，從而產(chǎn)生相應(yīng)的譜表。
　　本文的工作面向樂音識別中樂器演奏信號處理，即對樂器演奏音頻信號進行處理，獲取旋律特征信息，并將旋律信息表示為一種合理的中間格式，可以直接或變換后用于不同的樂音識別系統(tǒng)，進行譜表的構(gòu)造。
　　樂器演奏音頻處理方法
　　對樂器演奏音頻信號的處理方法可以采用一般對語音信號分析處理的方法， 但又有所不同：語音信號處理針對目的的不同，處理的重點與具體采用的方法也不同。我對樂器演奏音頻處理的過程分為三個部分：
　?。保A(yù)處理
　　預(yù)處理部分包括錄音、降噪、整流、低通濾波、計算短時幀能量等操作。一般使用聲卡和麥克風進行錄音采樣來得到數(shù)字化的樂器演奏音頻數(shù)據(jù)。樂器發(fā)聲基頻范圍依據(jù)不同的樂器而不同，基音頻串范圍最寬的是鋼琴，由２７．５Ｈｚ—４１３６Ｈｚ以內(nèi)，綜合考慮系統(tǒng)所需的數(shù)據(jù)精度和計算復(fù)雜度，確定了預(yù)處理程序音頻采集格式為２２０２５Ｈｚ／８ｂｉｔ／ｍｏｍｏ，數(shù)字化后去除信號直流分量。
　　目前，筆者對數(shù)字化的音頻信息只做簡單低通濾波，因為使用的是在線方式將優(yōu)質(zhì)的樂器演奏曲子錄制了其中５秒的一段作為實驗測試的音頻數(shù)據(jù)。
　　4e2a4f06fb0fa32ceb669ad68815774b第一步：錄音
　　可用Ｗｉｎｄｏｗｓ自帶的“錄音機”或?qū)ｉT的音頻處理軟件ＣｏｏｌＥｄｉｔ或Ａｄｏｂｅ Ａｕｄｉｔｉｏｎ的錄制即可。
　　第二步：降噪
　　在實際應(yīng)用環(huán)境中，作曲人士大多使用現(xiàn)場錄制樂器聲音或在線錄音作為輸入數(shù)據(jù)。一般面對的條件是配置聲卡的個人電腦和普通的麥克風，且無法避免環(huán)境噪聲的干擾。所以，如果是現(xiàn)聲錄音，必須對輸入信號做降噪處理。
　　降噪的主要目的是為了有利于后續(xù)的音符分割和音高跟蹤，可以用音頻處理軟件Ｃｏｏｌ Ｅｄｉｔ或Ａｄｏｂｅ Ａｕｄｉｔｉｏｎ中的降噪功能簡單而有效地對音頻信號的噪聲進行降噪處理。如果是在線錄制的音頻，由于質(zhì)量高，不降噪也可。
　　由于我們的關(guān)鍵目的是將樂器的樂音轉(zhuǎn)換為樂譜，而樂音與樂譜的一些特性，決定了對錄制的音頻文件不需太高的要求，只要沒有明顯的噪聲即可。
　　第三步：二次處理
　　音頻信號進一步處理步驟：①對音頻信號全波整流；②對整流信號進行低通濾；③計算短時幀能量。
　　選擇一個合適的幀長對音頻信號進行分幀，得到一個二維矩陣ｆｒａｍｅ（每行對應(yīng)一幀數(shù)據(jù)，矩陣行數(shù)等于幀數(shù)，列數(shù)等于幀長）。計算每一個短時能量的公式如下：
　　
　?。ビ嬎汩T限
　?。牛剑螅酰?穴ｆｒａｍｅ，２?雪／ｌｆ；
　?。裕剑?觹?眼ｓｕｍ?穴Ｅ?雪／ｌｅｎｇｔｈ?穴Ｅ?雪?演；
　?。牵剑纾颍幔洌椋澹睿?穴Ｅ?雪；
　?。ビ嬎隳芰刻荻?，選取上升快速的點，與高能條件結(jié)合，共同確定特征區(qū)域。
　　Ｇｍ＝１．５?觹｛ｓｕｍ［ａｂｓ?穴Ｇ?雪］／ｌｅｎｇｔｈ?穴Ｇ?雪｝；
　?。玻靡纛l特征點的檢測實現(xiàn)音符的準確定位
　　如何準確、有效地進行音符的準確定位（即音符分割）， 是樂音識別系統(tǒng)中最困難，也是最為關(guān)鍵的問題。對于樂器演奏的音符分割的處理相對簡化，可以采用語音識別端點檢測類似方法。常用的端點檢測方法有基于能量、基于能量與過零率、基于信息嫡、基于頻域特征等。
　　
　　根據(jù)樂曲的旋律及對語譜圖（如圖２下半部分所示）的觀察和分析，筆者發(fā)現(xiàn)：語譜圖中表現(xiàn)出所有的音符的音調(diào)都表示出深色的縱向條紋。因此可以采用特征點檢測的音符分割方法，使用時域、頻域與最高能量相結(jié)合的方法，既簡化計算過程，又可以比較有效而準確地進行音符分割。
　　
　　本系統(tǒng)中實驗所用音頻為普通揚琴演奏的一段練習(xí)曲（本文稱為示范曲）。語譜圖的橫坐標是時間，縱坐標是頻率，坐標點值為語音數(shù)據(jù)能量。由于是采用二維平面表達三維信息，所以能量值的大小是通過顏色來表示的，顏色深，表示該點的語音能量越強。
　　首先采用基于能量跟蹤的方法作為第一級，由于有效地進行了降噪處理，信號有較高的信噪比。這種情況下，通過計算信號的短時能量，就可以通過能量跟蹤找到每個音符語音段的開始及結(jié)束時間。有了音符分割的數(shù)據(jù)，音高跟蹤的工作也得以簡化并更加有效。第二級的音符分割基于音高跟蹤的結(jié)果得到，目的是把第一級沒有分割開的連奏音符根據(jù)音高顯著變化特征，即基音頻率不同而進一步分割開來，這樣，就由兩級音符分割得到了每個獨立音符的起始和結(jié)束時間?穴以幀序號表示?雪，由音高跟蹤得到了每個音符的基音頻率值。
　　①確定能量門限值
　　一段樂音音頻中高能的波峰有多個，高能幀通常是高能波峰的標志，也是音符的起點。選擇一個合適的門限可以篩選出若干高能幀，即可確定出若干音頻信號特征點（即音符的音高）。為使特征點選擇方法用于多種音頻，門限可取一個相對值：即取平均幀能量的若干倍作為能量門限，Ｎ是幀數(shù)；倍數(shù)β越大，得到的特征點就越少。
　　能量門限的取值相當關(guān)鍵，若取得過大，則會漏掉某些弱音，若取得過小，則多出許多同音，這樣的話，產(chǎn)生出來的樂譜
　　就不理想了。因此結(jié)合樂譜中的最小音長，就可以解決。
　　
　?、谔荻乳T限選擇
　　利用幀能量變化的梯度可以確定能量的變化速度。使用梯度門限與能量門限結(jié)合可以使選擇的重點更穩(wěn)定。
　　
　?。常畼纷V表示
　　計算出兩個特征點之間的距離（時間長短），就可以確定前一音符的時值，即音長（如表１所示，本文以９０拍為例），將其暫存，再取出特征點所在頻率，與音符頻率對照表（如表２所示，本文以Ｇ調(diào)為例）對照，將得到的音符序列的音名和音長按照一定的組織結(jié)構(gòu)將這些數(shù)據(jù)表示成中間格式，進行
　　旋律表達，即可得到譜表。
　　示范曲調(diào)號、拍號及速度：
　?。保剑?２／４１＝９０
　　四、系統(tǒng)目標
　　通過采用基于Ｍａｔｌａｂ的分析、處理、識別技術(shù)，并將分析處理識別結(jié)果封裝成ＤＬＬ文件，通過ＶＢ６．０調(diào)用，功能簡單、界面直觀、可靠性高。最后在用ＶＢ設(shè)計的應(yīng)用程序界面上：先打開一個錄制好的音頻文件，其格式為：２２０５０Ｈｚ采樣率、１６位單聲道的Ｗａｖｅ波形文件（擴展名為．ｗａｖ）（其他格式的音頻文件由于本系統(tǒng)目前還未擴展其功能，可先通過千千靜聽等一些音頻播放或∑音頻編輯軟件方便轉(zhuǎn)換），顯示播放的聲音波形（本文以Ｇ調(diào)的一段揚琴曲為例，預(yù)期結(jié)果如圖３所示），可以單擊“播放”按鈕聽樂音，單擊“轉(zhuǎn)換為樂譜”
　　可以轉(zhuǎn)換成相應(yīng)的樂譜（五線譜與簡譜均可）。
　　
　　下一步研究：本文提出了基于樂器演奏的樂音識別系統(tǒng)的研究方法及算法，并使用Ｍａｔｌａｂ與ＶＢ語言結(jié)合設(shè)計出該系統(tǒng)的前半部分，接下來的工作是：續(xù)實現(xiàn)并完成其余功能，不斷改善該系統(tǒng)，使之成為一個適合多種調(diào)式的、多功能的，適合各種樂器，甚至是基于演唱的樂音都能識別得更完善、更
　　健全的自動樂譜生成系統(tǒng)。
　　參考文獻
　　?眼１?演王素立、高潔、孫新德《Ｍａｔｌａｂ混合編程與工程應(yīng)用》，北京：清華大學(xué)出版社2008年版。
　　?眼２?演繆天瑞《律學(xué)》，北京：人民音樂出版社１９９６年版。
　　
　?、傩靽鴳c、楊丹、王彬潔、文俊浩《樂音識別方法及應(yīng)用》，《計算機應(yīng)用》2005年第4期，第968—970頁。
　?、趨蔷Ь?、孟玲玲《樂音音符基頻識別》，《電子測量技術(shù)》2009年第4期，第126—128頁。
　　
　　萬景 玉溪師范學(xué)院信息技術(shù)工程學(xué)院講師（責任編輯 榮英濤）