AI助推古琴譜升維高維樂譜

孫洋 王利 張輝

一、引言

眾所周知，音樂學(xué)內(nèi)涵仍待進(jìn)一步挖掘，至少在人工智能時代，使用機(jī)器學(xué)習(xí)的方式來處理樂譜學(xué)問題是一種完全值得嘗試的方向。在人工智能技術(shù)輔助下，運(yùn)用圖像識別技術(shù)和聲音識別技術(shù)分別采集典型的古典樂譜的信息，比如律呂字譜、工尺譜、宮商字譜、古琴減字譜等記譜法，這些是中國古代音樂特有的記譜法，但無法與當(dāng)今數(shù)字簡譜、五線譜等通用。古典樂譜只規(guī)定了節(jié)拍的起始位置，并未對音符的具體時值進(jìn)行分配，這是解讀古典樂譜的最大難點(diǎn)。用五線譜記錄音樂作品時，會出現(xiàn)很多不便利、模糊不清的狀況，而二維譜的出現(xiàn)從根本上解決了這些問題。

本文以《長相思》《釵頭鳳》《廣陵散》等古琴譜為例，把古琴譜應(yīng)用計(jì)算機(jī)程序自動翻譯成二維譜，并提出一種基于機(jī)器學(xué)習(xí)的節(jié)奏調(diào)整模型。通過研究如何借助圖像識別技術(shù)，建立機(jī)器學(xué)習(xí)算法的古琴譜自動翻譯系統(tǒng)，從而把古琴譜應(yīng)用機(jī)器自動翻譯成高維樂譜——二維譜。由于目前在世界范圍內(nèi)的各種記錄音樂的譜系中，以高維樂譜記錄音樂信息的功能最為強(qiáng)大，且科學(xué)性強(qiáng)，能基本做到不丟失信息，尤其是易于機(jī)器識別而成為人機(jī)共識的音樂語言，所以在此直接考慮AI將古琴譜自動翻譯成二維譜，以對古琴藝術(shù)的推廣和傳承產(chǎn)生更好的推動作用。

二、深度學(xué)習(xí)下AI自動翻譯古琴譜流程

深度學(xué)習(xí)技術(shù)大幅度促進(jìn)了人工智能的應(yīng)用和發(fā)展，利用圖像處理與圖像識別技術(shù)，基于深度學(xué)習(xí)的智能計(jì)算方法，設(shè)計(jì)和開發(fā)樂譜識別與整理系統(tǒng)，可實(shí)現(xiàn)傳統(tǒng)古樂譜向數(shù)字樂譜、古典樂譜向高維樂譜的轉(zhuǎn)換。對于古典樂譜的翻譯者，比如古琴譜的翻譯，在進(jìn)行音時值翻譯時，一般是依據(jù)自身的創(chuàng)作經(jīng)驗(yàn)和對樂曲的理解找到比較符合樂理和人們欣賞習(xí)慣的信息。但是，這種樂譜的翻譯與整理過程，受到其自身文化水平、對歷史時期的情感、對樂器的感觀等各種因素的制約，個人主觀性過強(qiáng)，很可能使樂譜不適合大眾的觀感要求，甚至違反古樂譜本質(zhì)的音樂特征。本文采用圖像識別技術(shù)采集古琴譜的信息，并且依據(jù)古琴的特點(diǎn)、樂曲的歷史背景、演奏的背景等，制定相應(yīng)的規(guī)則，利用深度學(xué)習(xí)技術(shù)，生成數(shù)字樂譜?；诒疚南到y(tǒng)的古樂譜音時值的翻譯過程如下：

結(jié)合上述對古典樂譜的音高和音長特征的訓(xùn)練和學(xué)習(xí)，依據(jù)二維譜的記譜法最終可以輸出對應(yīng)古琴譜的二維譜升維流程如下：

圖1 基于樂音識別技術(shù)的音時值翻譯流程

圖2 對應(yīng)古琴譜的二維譜升維流程

三、智能化優(yōu)選最佳譜系

早期的古琴譜是由更早的文字譜寫成，其后，減字譜逐步替代了傳統(tǒng)的文字譜。由于減字譜沒有標(biāo)注時值信息，演奏者只能依據(jù)譜子所表示的指法直接彈奏，不同的演奏家可以任意發(fā)揮，同一曲譜風(fēng)格各異，但是也造成不同的人對曲譜的理解各異，傳承與古琴教育與其他樂器相比，難度更大，目前已有許多學(xué)者開始從數(shù)字化、人工智能等方面研究如何保留傳承千年的古琴曲。

1.樂譜圖像預(yù)處理。已經(jīng)收集到的古樂譜圖像，并不是理想的黑白兩色圖片，包括很多干擾，比如圖像的噪點(diǎn)、底色、人為的墨點(diǎn)、破損、手寫特有的連筆等，這些就要求進(jìn)入系統(tǒng)前對圖像進(jìn)行預(yù)處理。首要完成圖像的灰度變換和二值化，特別是對于符號、文字圖像，可以大幅度減少圖像的復(fù)雜性，方便完成文字符號識別。其次，手寫古樂譜有著手寫文字的各種特點(diǎn)，如連筆、同一筆畫的不同寫法、文字的重疊與覆蓋，增加了識別的難度。利用圖像分割、腐蝕等技術(shù)，將圖像中的文字個體分離出來，提取出單個字符，提高識別的準(zhǔn)確度。

2.建立古樂譜、古漢字字符識別庫，建立樂譜翻譯規(guī)則庫。古樂譜，如減字譜等，都來源于中國古代漢字，根據(jù)樂譜中每個字符的特征進(jìn)行拆解，分析完整字符與字符組件的聯(lián)系，建立可用的古琴譜字符識別庫。依據(jù)古樂譜的時代背景、大眾欣賞習(xí)慣、傳承下來的樂譜的演奏技法等，確定古琴譜的音高和時值，并融合現(xiàn)代五線譜、簡譜、二維譜以及高維樂譜的創(chuàng)作規(guī)則，制定古琴譜與現(xiàn)代樂譜的對應(yīng)關(guān)系，建立古琴譜翻譯規(guī)則庫。以字符庫和樂譜翻譯規(guī)則為基礎(chǔ)，組成本文系統(tǒng)的訓(xùn)練數(shù)據(jù)庫。

3.綜合前述各節(jié)的技術(shù)實(shí)現(xiàn)過程，減字譜算法執(zhí)行流程如圖3所示：

圖3 古琴譜的算法執(zhí)行流程圖

4.古琴譜的機(jī)器識別系統(tǒng)，以O(shè)penCV開源圖像處理、識別庫為基礎(chǔ)，設(shè)計(jì)相應(yīng)的樂譜識別軟件系統(tǒng)。其工作過程如圖4所示：

圖4 機(jī)器識別工作過程

為做演奏記錄，古代中國音樂人尋找了多種途徑，創(chuàng)造了多種樂譜。近幾年，開發(fā)出能基本保全信息的高維樂譜——二維譜就顯得尤為重要，實(shí)現(xiàn)古琴譜到二維譜的直接翻譯。圖5、7、9是民間經(jīng)驗(yàn)式簡譜和古琴譜的對譯結(jié)果，而圖6、8、10是深度學(xué)習(xí)下AI輸出的二維譜。除了直觀、簡約、信息豐富外，更重要的是人機(jī)共識，可由智能機(jī)器直接演奏，由此為未來音樂藝術(shù)拓展出更廣闊的空間。

圖5 簡譜和古琴譜的經(jīng)驗(yàn)式對譯結(jié)果——釵頭鳳圖6 深度學(xué)習(xí)下AI輸出的二維譜——釵頭鳳圖7 簡譜和古琴譜的經(jīng)驗(yàn)式對譯結(jié)果——長相思

圖8 深度學(xué)習(xí)下AI輸出的二維譜——長相思圖9 簡譜和古琴譜的經(jīng)驗(yàn)式對譯結(jié)果——廣陵散圖10 深度學(xué)習(xí)下AI輸出的二維譜——廣陵散

四、結(jié)語

中國的古典音樂，歷史悠久，仍然得以流傳至今。一種藝術(shù)形式幾千年來隨著歷史的長河不斷融匯、演變和發(fā)展，在舊有的形式上創(chuàng)造出新的形式和內(nèi)容。古琴即是中國最古老的一種高雅的樂器，以靜與雅為特征，從名曲角度談古琴，介紹歷史淵源和鑒賞方法，傳播和弘揚(yáng)古琴藝術(shù)——雅正中和的高古之音。作為彈撥樂，不能說古琴能適應(yīng)所有的曲牌，而是會有選擇的，這有利于保留和繼承傳統(tǒng)并弘揚(yáng)光大。

中國的古琴歷經(jīng)千年的發(fā)展與演化，已經(jīng)成為世界非物質(zhì)文化遺產(chǎn)，包括了古琴琴身制造工藝、琴譜和演奏技法等多個方面。由于古琴譜演奏過程難以規(guī)范化、字符不通用等原因，使傳統(tǒng)樂譜的大眾化之路和當(dāng)前信息化時代的數(shù)字化之路增加了難度。藝術(shù)是超越藝術(shù)本身的，得心中意象，求弦外之音、詩外之言及畫外之意。音樂是抽象的，琴音繞梁。琴聲又是具象的，引人入勝。中國文化如同高山流水，水有源，源遠(yuǎn)流長。認(rèn)識琴曲的機(jī)會，從古琴樂的形神兼?zhèn)涞接紊穸糜谙彝?，感受中華文化的博大精深。

注：本文系項(xiàng)目批準(zhǔn)號為18ZD23的國家社科基金藝術(shù)學(xué)重大招標(biāo)項(xiàng)目“大數(shù)據(jù)時代高維藝術(shù)理論與實(shí)踐研究”的研究成果。

參考文獻(xiàn)：

[1]張輝等：《高維藝術(shù)學(xué)概論》，科學(xué)出版社，2019年12月。

[2] 張輝等：《高維樂譜學(xué)導(dǎo)論》，科學(xué)出版社，2019年12月。

[3] 張輝等：《音樂作品二維圖譜分析法創(chuàng)設(shè)與運(yùn)用》，科學(xué)出版社，2019年12月。

[4] 孫洋等：《高維藝術(shù)理論與實(shí)踐》，中國社會科學(xué)出版社，2019年10月。

[5] 張輝：《3D樂譜會否掀起音樂革命》，《人民日報(bào)》2020年7月。

[6] 高一凡等：《AI背景下蛋白質(zhì)序列音樂研究》，《藝術(shù)教育》2019年第6期。

[7] 陳宇綜等：《數(shù)據(jù)驅(qū)動下蛋白質(zhì)繪畫對微觀藝術(shù)的勾勒》，《藝術(shù)教育》2019年第6期。

[8] 王旭等：《用二維圖模編輯法創(chuàng)作鋼琴小品〈滑梯〉》，《藝術(shù)教育》2019年第5期。

[9] 王旭等：《用圖模編輯法創(chuàng)作星際之旅主題歌曲〈快讓我觸摸〉》，《藝術(shù)教育》2019年第4期。

[10]孫洋等：《歌曲鋼琴伴奏中的圖?；鈽?gòu)》，《藝術(shù)教育》2019年第4期。

[11]張輝等：《以高維樂譜為載體的新作曲技術(shù)開發(fā)思想綜述》，《藝術(shù)教育》2019年第3期。

[12]王利等：《AI自動翻譯“減字譜”——以〈流水〉和〈不染〉為例》，《藝術(shù)教育》2019年第3期。

[13]張輝等：《貝多芬鋼琴奏鳴曲主題的二維圖譜分析》，《藝術(shù)教育》2019年第2期。

[14]劉乃歌等：《AI自動翻譯南音——以古典名曲〈夫?yàn)楣γ禐槔?，《藝術(shù)教育》2019年第2期。

[15]孫洋等：《復(fù)調(diào)音樂分析中二維譜的優(yōu)勢體現(xiàn)》，《藝術(shù)教育》2019年第1期。

[16]杜慶東等：《深度學(xué)習(xí)下AI自動翻譯樂律全書——以鄉(xiāng)飲詩樂譜為例》，《藝術(shù)教育》2019年第1期。

[17]3D樂譜支持下音色可視化調(diào)節(jié)器，發(fā)明專利申請?zhí)枺?02010515837.5;

[18]3D樂譜建構(gòu)方法，發(fā)明專利申請?zhí)枺?02010318807.5;

[19]音樂創(chuàng)作的圖模編輯方法，中國著作權(quán)保護(hù)登記號：國作登字-201-L-00754662;

[20]音樂作品二維圖譜分析法，中國著作權(quán)保護(hù)登記號：國作登字-2018-L-00674103。

孫 洋 沈陽師范大學(xué)音樂學(xué)院教師

王 利 大連理工大學(xué)控制理論與控制工程專業(yè)工學(xué)

博士、東北大學(xué)信息學(xué)院博士后、沈陽師范大

學(xué)教師

張 輝 內(nèi)蒙古民族大學(xué)特聘教授、博士生導(dǎo)師