基于人工智能的鋼琴編曲音色識(shí)別系統(tǒng)設(shè)計(jì)

仝智倍

摘? 要： 為了改善當(dāng)前音色識(shí)別系統(tǒng)識(shí)別準(zhǔn)確率低、時(shí)間開銷較大等問(wèn)題，結(jié)合人工智能技術(shù)提出并設(shè)計(jì)基于人工智能的鋼琴編曲音色識(shí)別系統(tǒng)。首先給出系統(tǒng)整體架構(gòu)和功能模塊設(shè)計(jì)方案，使用數(shù)字化識(shí)別方法提取鋼琴樂(lè)曲音色特征矩陣，得知鋼琴特征矩陣不同于其他樂(lè)器;接著分析音色倍頻點(diǎn)，得到音強(qiáng)包絡(luò)曲線;最后結(jié)合鋼琴音色特征矩陣和音強(qiáng)包絡(luò)曲線有效區(qū)分不同樂(lè)曲音色的差異，實(shí)現(xiàn)鋼琴編曲音色識(shí)別。實(shí)驗(yàn)結(jié)果表明，利用所提系統(tǒng)進(jìn)行鋼琴編曲音色識(shí)別具有較高的識(shí)別準(zhǔn)確率，值得進(jìn)一步推廣和應(yīng)用。

關(guān)鍵詞： 鋼琴編曲; 音色識(shí)別系統(tǒng); 人工智能; 音色特征提取; 音強(qiáng)包絡(luò)曲線; 實(shí)驗(yàn)分析

中圖分類號(hào)： TN915?34; TP311.13? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼： A? ? ? ? ? ? ? ? ? ? ? 文章編號(hào)： 1004?373X（2020）04?0183?04

Design of piano arrangement timbre recognition system based on artificial intelligence

TONG Zhibei

（College of Applied Engineering， Henan University of Science and Technology， Sanmenxia 472000， China）

Abstract： A piano arrangement timbre recognition system based on artificial intelligence technology is proposed and designed to improve the problems of low recognition accuracy and high expenditure of time in the current timbre recognition system. The design scheme of the overall architecture and functional module of the system are given. The feature matrix of the piano music timbre is extracted by means of the digital recognition method， and it is known that the piano feature matrix is different from other instruments. The timbre frequency doubling point is analyzed and the envelope curve of timbre intensity is obtained. The differences of different music timbres are distinguished in combination with the piano timbre feature matrix and the envelope curve of sound intensity， so as to realize the timbre recognition of piano arrangement. The experimental results show that the proposed system has high recognition accuracy for the piano arrangement timbre recognition， which is worth further promotion and application.

Keywords： piano arrangement; timbre recognition system; artificial intelligence; timbre feature extraction; sound intensity envelope curve; experiment analysis

0? 引? 言

隨著人工智能技術(shù)的深入發(fā)展，鋼琴逐漸受到了更多愛(ài)好者的廣泛推崇和喜愛(ài)，將鋼琴的音色通過(guò)電子等手段合成后形成新的旋律，能夠突出鋼琴音色的獨(dú)特性，將其與人工智能創(chuàng)作的樂(lè)曲相融合[1?2]?；谌斯ぶ悄艿匿撉倬幥羯R(shí)別在鋼琴編曲中扮演著重要的角色，展現(xiàn)出了廣闊的市場(chǎng)前景。人工智能技術(shù)的出現(xiàn)推動(dòng)了當(dāng)代電子音樂(lè)的發(fā)展，并且技術(shù)應(yīng)用領(lǐng)域也在不斷拓展[1，3]?；谌斯ぶ悄芗夹g(shù)的音樂(lè)編曲音色識(shí)別、特征提取等問(wèn)題受到了廣泛關(guān)注。鋼琴相比其他樂(lè)器，音域更廣，音色識(shí)別能力更強(qiáng)，在鋼琴編曲音色識(shí)別中占據(jù)重要地位。

通過(guò)鋼琴樂(lè)曲的邊界音對(duì)諧波信號(hào)的處理得到的結(jié)果來(lái)判定鋼琴音色信號(hào)的連續(xù)性，完成鋼琴編曲音色識(shí)別系統(tǒng)的構(gòu)建，提出基于改進(jìn)的線性變調(diào)的鋼琴編曲音色識(shí)別系統(tǒng)[4]，但該系統(tǒng)識(shí)別精度較低。文獻(xiàn)[5]提出基于改進(jìn)PSO?SVM的鋼琴編曲音色識(shí)別系統(tǒng)。該系統(tǒng)通過(guò)對(duì)鋼琴樂(lè)曲音色進(jìn)行特征提取，并根據(jù)該特征進(jìn)行音色文件分類，判定音色文件是否被調(diào)整過(guò)，對(duì)比識(shí)別結(jié)果與真實(shí)結(jié)果發(fā)現(xiàn)，該系統(tǒng)識(shí)別正確率較低。

針對(duì)上述音色識(shí)別系統(tǒng)存在的問(wèn)題，提出并設(shè)計(jì)了基于人工智能的鋼琴編曲音色識(shí)別系統(tǒng)。

1? 基于人工智能的鋼琴編曲音色識(shí)別系統(tǒng)

1.1? 系統(tǒng)總體架構(gòu)

本文設(shè)計(jì)的基于人工智能的鋼琴編曲音色識(shí)別系統(tǒng)主要由訓(xùn)練樣本集、音色挖掘、音色識(shí)別等部分構(gòu)成。系統(tǒng)總體框架如圖1所示。

從圖1可以看出，音色文件的旋律資料是通過(guò)鋼琴編曲音色文件預(yù)處理后得到的，通過(guò)分析、辨別音色文件的特點(diǎn)，實(shí)現(xiàn)鋼琴編曲音色最終識(shí)別結(jié)果。將鋼琴旋律信息作為初始數(shù)據(jù)輸入得到基本的數(shù)據(jù)[6]，它是電腦的數(shù)據(jù)來(lái)源，不同種類的音色文件就是通過(guò)這些基本的數(shù)據(jù)得到的。這些數(shù)據(jù)中心包括MP3，WAVE以及MIDI等，鋼琴編曲音色旋律框架的形成是將選擇確定的鋼琴編曲音色文件的信息進(jìn)行分段、檢測(cè)等，MIDI文件類型相比MP3和WAVE較為豐富，能夠統(tǒng)計(jì)鋼琴音符發(fā)出的不同音高、音強(qiáng)[7]。

1.2? 系統(tǒng)功能模塊設(shè)計(jì)

本文設(shè)計(jì)的基于人工智能的鋼琴編曲音色識(shí)別系統(tǒng)模塊含有多個(gè)功能，為了實(shí)現(xiàn)系統(tǒng)多個(gè)模塊和其他模塊的協(xié)同合作以及實(shí)現(xiàn)其功能，需要確保該系統(tǒng)功能的使用及穩(wěn)定性。鋼琴編曲音色識(shí)別系統(tǒng)的功能模塊設(shè)計(jì)如圖2所示。

鋼琴編曲音色識(shí)別系統(tǒng)具體模塊可劃分為模擬鋼琴模塊、音色編輯模塊和樂(lè)譜展示模塊，不同功能模塊還可具體劃分為三個(gè)對(duì)應(yīng)的子模塊，以下對(duì)其進(jìn)行詳細(xì)闡述：

1.2.1? 模擬鋼琴模塊

鋼琴是所有樂(lè)器之王，通過(guò)鋼琴可以演奏出所有樂(lè)譜，適用范圍極為廣泛。

1） 鋼琴展示控制子模塊。通過(guò)該模塊可將鋼琴演奏過(guò)程展示出來(lái)。該模塊的放大和縮小功能是為了有效識(shí)別鋼琴琴鍵位置，準(zhǔn)確地將鋼琴每個(gè)按鍵的音展示出來(lái)。

2） 鋼琴?gòu)椬嘧幽K。主要用戶控制鋼琴演奏過(guò)程中單鍵的發(fā)音以及多鍵的發(fā)音等。

3） 鋼琴音色調(diào)整子模塊。這個(gè)模塊功能是對(duì)演奏過(guò)程產(chǎn)生的音色進(jìn)行識(shí)別和處理。鋼琴不同于其他樂(lè)器，對(duì)音色要求極高，因此為了使創(chuàng)作的樂(lè)曲音色更加優(yōu)美，還需要利用多種音色技術(shù)對(duì)其進(jìn)行有效的處理。

1.2.2? 鋼琴音色編輯模塊

通過(guò)使用不同的技術(shù)手段將鋼琴演奏過(guò)程中產(chǎn)生的多種音色進(jìn)行記錄，在此創(chuàng)作過(guò)程中對(duì)音域廣泛的樂(lè)音的處理是十分必要的。

1） 音色編輯初始化子模塊。通過(guò)設(shè)置不同的參數(shù)，在此基礎(chǔ)上構(gòu)成了鋼琴編曲音色的初始文件，展示鋼琴編曲音色初始狀態(tài)。

2） 音色編輯子模塊。該模塊主要功能為清理音色中的干擾音色。將鋼琴音色通過(guò)最基本的處理后，再依據(jù)不同的編輯方法將該音色進(jìn)行辨別，剔除存在的噪音。

3） 樂(lè)譜展示子模塊。該模塊是對(duì)樂(lè)譜的顯示情況進(jìn)行處理，樂(lè)譜的最普遍的呈現(xiàn)形式式是通過(guò)五線譜來(lái)呈現(xiàn)，將處理之后得到的樂(lè)譜進(jìn)行編寫，其中包含高音譜和低音譜。

1.2.3? 樂(lè)譜展示模塊

初學(xué)者在學(xué)習(xí)鋼琴樂(lè)譜時(shí)，需要學(xué)習(xí)樂(lè)譜的發(fā)展歷程，這就要將樂(lè)譜由譜到曲進(jìn)行演示，讓初學(xué)者能夠感受鋼琴樂(lè)譜的演化過(guò)程?，F(xiàn)在大部分鋼琴課程都將樂(lè)譜的播放功能融入課程中，為初學(xué)者提供樂(lè)譜的播放展示。

1） 樂(lè)譜播放控制子模塊。該模塊主要用于控制鋼琴樂(lè)譜的播放效果，例如播放速度、循環(huán)播放等。

2） 樂(lè)譜展示控制子模塊。該模塊主要用于對(duì)樂(lè)譜播放的效果進(jìn)行控制，例如升降調(diào)播放展示、循環(huán)播放展示等。

3） 編曲演示音色處理子模塊。主要用于音色的處理，通過(guò)音色的處理提高鋼琴播放的音色質(zhì)量。

通過(guò)上述對(duì)基于人工智能的鋼琴編曲音色識(shí)別系統(tǒng)模塊的描述，可為鋼琴編曲音色特征的動(dòng)態(tài)識(shí)別打下堅(jiān)實(shí)的基礎(chǔ)。

1.3? 鋼琴編曲音色識(shí)別

該系統(tǒng)的核心是鋼琴編曲音色的識(shí)別，在完成有關(guān)模塊解析的同時(shí)，通過(guò)數(shù)字化識(shí)別模式利用高級(jí)程序設(shè)計(jì)語(yǔ)言進(jìn)行編寫程序，實(shí)現(xiàn)鋼琴編曲音色識(shí)別[8]。利用傅里葉變換方法設(shè)計(jì)基于人工智能的鋼琴編曲音色識(shí)別系統(tǒng)的流程圖，如圖3所示。

通過(guò)對(duì)圖3的分析，想要實(shí)現(xiàn)人工智能鋼琴編曲音色識(shí)別系統(tǒng)的設(shè)計(jì)，就必須先對(duì)鋼琴頻譜進(jìn)行仔細(xì)的研究，以及一同將其播放。其中不能夠被直接辨別的音色文件通過(guò)反復(fù)的分析和篩選，最終也會(huì)完成對(duì)該系統(tǒng)的設(shè)計(jì)。

2? 系統(tǒng)關(guān)鍵技術(shù)

2.1? 提取鋼琴編曲音色特征矩陣

在實(shí)際鋼琴演奏階段，其頻率結(jié)構(gòu)較為平穩(wěn)，因此可使用傅里葉變換法對(duì)鋼琴全部發(fā)音頻段進(jìn)行分析。

有關(guān)研究人員認(rèn)為加權(quán)柯西函數(shù)反映波形的基頻和倍頻與鋼琴的發(fā)音波形大體相同，以及其模仿的聲音也大體相同。本文采用的鋼琴編曲音色的模仿和取得是利用5次倍頻方法進(jìn)行的[9]。

設(shè)定鋼琴編曲音色信號(hào)[y（n）]的傅里葉變換形式為[Yi（jω）]，即：

[Yi（jω）=Si（jω）?Fi（jω）] （1）

[Si（jω）=Ai·aia2i+（ω-ωi）2，? ωi-ai≤ω≤ωi+aiAi2ω-ωi，? ? ? ? ? ? ?其他] （2）

式中：鋼琴演奏過(guò)程中發(fā)出的[i]音的音頻或是倍頻可表示為[ωi];與其相對(duì)應(yīng)的振幅表示為[Ai];利用[ai]可表示波形寬度，該波形寬度是指調(diào)節(jié)基頻或倍頻[ωi]相近區(qū)域的波形寬度。頻域波形的構(gòu)建是在加權(quán)柯西函數(shù)的基礎(chǔ)上進(jìn)行的。使用傅里葉變換來(lái)模擬鋼琴演奏，準(zhǔn)確仿真鋼琴演奏階段的音色、音強(qiáng)等，能夠在計(jì)算機(jī)上通過(guò)鼠標(biāo)以及鍵盤的操作實(shí)現(xiàn)鋼琴演奏。

2.2? 提取音強(qiáng)包絡(luò)函數(shù)

對(duì)包絡(luò)函數(shù)的獲取是實(shí)現(xiàn)鋼琴樂(lè)音電子合成的必經(jīng)之路。在編制曲目過(guò)程中，該函數(shù)能夠明顯反映出音強(qiáng)在時(shí)間不同時(shí)的變化，根據(jù)包絡(luò)函數(shù)的提取可以確保鋼琴編曲音色合成過(guò)程與函數(shù)變化趨勢(shì)基本一致，同時(shí)去除一些過(guò)度雜音。以Matlab程序?yàn)楦鶕?jù)，通過(guò)提取模塊的構(gòu)建，依據(jù)該模塊對(duì)鋼琴樂(lè)音振幅的特點(diǎn)進(jìn)行有效分析，如圖4所示。

通過(guò)分析圖4可知，若想實(shí)現(xiàn)鋼琴樂(lè)音合成，需要確保振動(dòng)能量在給定時(shí)間維度內(nèi)準(zhǔn)確分配，對(duì)此進(jìn)行仿真分析，通過(guò)振動(dòng)能量的真實(shí)曲線匹配，為鋼琴樂(lè)音合成奠定基礎(chǔ)。

2.3? 數(shù)字化識(shí)別

采用傅里葉變換方法分析鋼琴與其他樂(lè)器頻譜之間的差異。經(jīng)分析可知，每種樂(lè)器有與其相應(yīng)的倍頻點(diǎn)振幅，根據(jù)提取其音色特征矩陣即可實(shí)現(xiàn)識(shí)別，辨別不同樂(lè)器音色。

采用振幅特征提取代碼分析鋼琴這種樂(lè)器與其他樂(lè)器之間包絡(luò)函數(shù)可知，包絡(luò)函數(shù)在不相同樂(lè)器中反映是不同的，將鋼琴音色的特點(diǎn)矩陣和音強(qiáng)包絡(luò)曲線相融合，能夠?qū)Σ煌瑯?lè)曲音色的差別進(jìn)行有效的分辨，也就是對(duì)鋼琴編曲音色進(jìn)行識(shí)別。

3? 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文提出的基于人工智能的鋼琴編曲音色識(shí)別系統(tǒng)的綜合性能，本文以單音文件為實(shí)驗(yàn)數(shù)據(jù)，所有實(shí)驗(yàn)樣本選取美國(guó)麥吉爾大學(xué)樂(lè)器音色采樣庫(kù)。其中包括很多以wav格式記載的音色資料，以45.2 kHz作為實(shí)驗(yàn)的采樣頻率。該實(shí)驗(yàn)的仿真環(huán)境為：操作系統(tǒng)為Windows 8，內(nèi)存為4 GB，處理器為2.4 GHz Intel。

表2給出鋼琴編曲經(jīng)過(guò)音色識(shí)別所得的頻率、時(shí)值及誤差。時(shí)值實(shí)質(zhì)為鋼琴樂(lè)曲中全部音符音名，它是對(duì)全音符、二分音符及四分音符進(jìn)行分別的最好方法。

分析表2可知，本文系統(tǒng)能夠準(zhǔn)確識(shí)別出鋼琴樂(lè)譜中全部音符的時(shí)值，全分音符的時(shí)值是0.39 s，二分音符和四分音符的是0.27 s和0.36 s。通過(guò)對(duì)每個(gè)音符時(shí)值之間的時(shí)間間隔具體分析可知，其中差別最大的是全分音符和二分音符之間的時(shí)值，相差較小的是全分音符和四分音符之間的時(shí)值。具體分析誤差可知，僅需要將時(shí)值誤差控制在（-5%，5%）范圍內(nèi)，即可調(diào)整全部時(shí)值。綜上，本文系統(tǒng)可以準(zhǔn)確識(shí)別全部音符，通過(guò)相關(guān)模塊來(lái)調(diào)整時(shí)值即可完成編曲。

4? 結(jié)? 語(yǔ)

本文提出基于人工智能的鋼琴編曲音色識(shí)別系統(tǒng)，設(shè)計(jì)系統(tǒng)的整體框架和功能模塊。通過(guò)實(shí)驗(yàn)結(jié)果得出，本文設(shè)計(jì)的音色識(shí)別系統(tǒng)可以合成清澈的鋼琴樂(lè)曲，且音色識(shí)別性能良好，值得廣泛應(yīng)用。

當(dāng)前階段，本文所研究的成果雖然能夠?qū)︿撉倬幥羯募M(jìn)行特征分析并識(shí)別，且具有較高的識(shí)別準(zhǔn)確率，但實(shí)驗(yàn)過(guò)程中測(cè)試樣本較少，致使識(shí)別結(jié)果存在微小誤差。未來(lái)階段，將采集更多的樣本數(shù)據(jù)，進(jìn)一步提高音色元素識(shí)別準(zhǔn)確率。

參考文獻(xiàn)

[1] 張琳，吳建明.基于計(jì)算機(jī)技術(shù)的鋼琴音色識(shí)別與電子合成系統(tǒng)設(shè)計(jì)[J].自動(dòng)化與儀器儀表，2018（10）：11?14.

[2] 焦杰潔.鋼琴音色識(shí)別與電子合成系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)研究[J].景德鎮(zhèn)學(xué)院學(xué)報(bào)，2017，32（6）：19?22.

[3] NAKAMURA E， YOSHII K， DIXON S. Note value recognition for piano transcription using markov random fields [J]. IEEE/ACM transactions on audio， speech， and language processing， 2017， 11（1）： 11?12.

[4] ALLEN E J， MOEREL M， LAGECASTELLANOS A， et al. Encoding of natural timbre dimensions in human auditory cortex [J]. Neuroimage， 2017， 166： 60?70.

[5] 范凌云，周婧.音式階的合理性模識(shí)別校對(duì)方法[J].現(xiàn)代電子技術(shù)，2018，41（8）：160?162.

[6] 郭福星，辛剛，于大鵬.基于量化軟信息輸入的密鑰協(xié)商算法[J].計(jì)算機(jī)仿真，2018，35（6）：297?301.

[7] 劉媛.音樂(lè)庫(kù)中檢索特征音調(diào)歌曲智能識(shí)別仿真[J].計(jì)算機(jī)仿真，2017，34（8）：356?359.

[8] 祝義，黃志球，周航，等.函數(shù)式程序模板元編程的元建模實(shí)現(xiàn)方法[J].計(jì)算機(jī)工程與應(yīng)用，2018，54（7）：1?10.

[9] 劉琉，趙博楠，文躍然.鋼琴音板振動(dòng)模態(tài)的測(cè)試和調(diào)整[J].科技通報(bào)，2017，33（9）：255?260.

[10] 陳艮生.基于多標(biāo)簽分類法的和弦音樂(lè)的音色識(shí)別[D].上海：上海師范大學(xué)，2011.