基于判決HMM和改進Viterbi的鋼琴指法自動標注方法

李?鏘，李晨曦，關?欣

基于判決HMM和改進Viterbi的鋼琴指法自動標注方法

李?鏘，李晨曦，關?欣

(天津大學微電子學院，天津 300072)

現(xiàn)有的一階隱馬爾可夫模型(hidden Markov model，HMM)用于鋼琴指法標注不能結合音符序列的長程信息，導致標注結果存在物理不可彈指法，且演奏效率較低，因此本文提出了一種基于判決隱馬爾可夫模型和改進維特比算法的鋼琴指法自動標注算法．結合指法規(guī)則的先驗知識，在HMM中引入了判決函數，從而能夠去除錯誤的穿跨指和超出可彈跨度的指法．在預測指法路徑時，改進了維特比算法的尋優(yōu)規(guī)則，首先根據先驗知識對音符序列進行八度分段，并改進初始指法的確定方法，最后選擇穿跨指數最少、演奏效率最高的指法序列為最優(yōu)指法．為了表征算法的性能，文中還提出了不可彈指法占比率和欠合理率兩種新的評價指標來衡量指法的可彈性和演奏效率．通過實驗驗證，文中算法相較于現(xiàn)有標注模型在一致率和兩種新的指標上提升效果顯著．另外，為了對比在小數據集下傳統(tǒng)方法和深度學習方法的性能，還與Bi-LSTM＋CRF進行了對比實驗，訓練時分別采用原始音符序列和音符差分序列，實驗結果顯示利用音符差分序列可以有效提高標注結果的一致率，由此可見，相較于原始音符序列，指法標注和音符差分序列的關系更密切，從而進一步驗證了本文算法結合音符差分信息改進HMM的有效性．但現(xiàn)有數據量下，深度學習模型在不可彈指法率和欠合理率上差于本文算法．

鋼琴指法；判決隱馬爾可夫模型；先驗知識；改進維特比算法

指法是鋼琴演奏中最基本最重要的技術之一.合理的指法即手指的運動規(guī)律滿足以下兩點：①符合手的生理結構及每個手指的靈活性等特點；②滿足手指與音符間的關系．合適的指法可以增加演奏的流暢性，這對快板(allegro)類樂曲尤為重要．理論上每個鋼琴譜都存在最佳指法序列，但目前要確定樂譜的理想指法主要依賴經驗反復嘗試．因此鋼琴樂譜自動指法標注可以節(jié)省實踐時的探索時間，消除業(yè)余愛好者早期的演奏障礙，并為職業(yè)鋼琴家提供初始參考指法．如果將該任務看成鋼琴演奏機器人運動規(guī)劃的一部分，實現(xiàn)指法自動標注的方法還能推廣至使用類人機器手的更一般的機器人操作任務中．

目前，鋼琴指法自動標注方法主要有兩類：基于規(guī)則的方法和基于統(tǒng)計學習的方法．文獻[1-9]中將指法規(guī)則和動態(tài)規(guī)劃相結合進行標注．Parncutt等[1]在1997年設計了第1個鋼琴指法的計算模型．研究人員將指法標注任務分為短序列和長序列部分．對于短序列，模型按照特定規(guī)則對所有可能的指法進行評估并排序；對于長序列，定義指法成本的計算方法，采用傳統(tǒng)的動態(tài)規(guī)劃方法尋找指法成本最低的路徑．該模型后來由Jacobs等[2]進行了改進，修改了啟發(fā)式算法，并用物理距離替換了原始模型中不精確的半音測量．Hart等[3]描述了一種簡化的但更個性化的方法．Kasimi等[4-5]定義的指法成本包括對旋律(melodic)的水平測量以及和聲(harmonic)的垂直測量，然后使用網格圖來代替音樂片段尋找代價最小的路徑．Nell?ker等[6]引入更多的規(guī)則來評估指法序列. Lin等[7]設計了一種基于圖形的指法生成器(slicing fingering generation，SFG)，它可以實時生成MIDI音符的鋼琴指法，該算法分為兩層，上層的音符處理器檢查輸入的MIDI音符并控制指法生成的進度，下層的指法生成層采用動態(tài)規(guī)劃的思想生成指法．

Viana等[8]描述了一種混合方法．首先，“專家系統(tǒng)”采用指法中最常見的規(guī)則進行編碼，當沒有規(guī)則適用時，轉為遺傳算法．其中待彈奏的音符序列對應遺傳算法中的染色體，最大化適應度函數(fitness function)的過程變?yōu)樽钚』爸阜ň嚯x”函數．基于規(guī)則的方法最普遍的問題是需要處理指法中多個適用規(guī)則之間潛在的矛盾沖突，難以為各種規(guī)則設計一個合理的權重來衡量不同規(guī)則在指法確定過程中的重要性．

基于統(tǒng)計學習的方法中，Yonebayashi等[9]使用HMM為指法序列建模，音符對應的手指序號為待預測的指法狀態(tài)，每個指法狀態(tài)出現(xiàn)的概率取決于前一時刻指法狀態(tài)和當前時刻的音符輸出．筆者人為估計轉移概率參數，并使用維特比算法計算概率最大的指法狀態(tài)序列．但一階HMM的兩個假設導致指法標注沒有結合相鄰音符的信息，標注結果會出現(xiàn)不可彈的指法轉換，并且該模型只用于單音序列，不包括和弦．之后Nakamura等[10]提出“合并的HMM”對未分離左右手聲部的樂譜進行自動分離和標注，模型使用兩個并行的HMM，將兩者的輸出合并，但效果提升不顯著．Sun等[11]擴展一階HMM的參數實現(xiàn)了對樂譜中和弦的標注．除鋼琴指法外，HMM也用于搜索最優(yōu)的吉他指法[12-14]．Hori等采用常規(guī)的HMM建模和解碼方法研究吉他指法標注，之后結合實際彈奏的經驗，在預測指法階段提出了最小化最大動作難度的極小極大化維特比算法(minimax viterbi algo-rithm)[13]和維特比算法參數化系列Lp-Viterbi[14]．

除了基于規(guī)則和統(tǒng)計學習的方法外，鋼琴指法標注類似于自然語言處理的時間序列標注問題，近些年來深度學習在該領域成果顯著，如在詞性標注問題中，使用雙向長短時記憶網絡(bidirectional long-short-term memory)與條件隨機場(conditional random field)相結合(Bi-LSTM＋CRF)[15]，將LSTM的輸出作為狀態(tài)特征函數，極大化真實標簽序列的得分，取得了目前為止最好的結果．LSTM對時間序列具有長距離記憶性，并且可以自動調整記憶長度，丟掉冗余信息，利用強相關時刻的信息進行預測，Bi-LSTM還可以同時兼顧向前和向后兩個方向的上下文信息，理論上同樣適用于鋼琴指法標注這種需要利用長度不一的上下文音符信息和指法信息進行預測的問題．將Bi-LSTM每個時刻的輸出作為CRF的狀態(tài)特征函數得到全局最優(yōu)解．但由于深度學習不便于加入先驗知識，完全依賴大量神經網絡參數的非線性擬合，需要海量、完備的訓練數據集來保證泛化能力．對于鋼琴指法問題來說，目前尚缺少公開數據集，數據數量有限，這種條件下，本文側重于對現(xiàn)有的統(tǒng)計學習方法進行改進．

有監(jiān)督訓練的HMM學習了兩指之間轉換的概率信息和指號到音符間一一映射的概率信息，由于現(xiàn)有的一階HMM的齊次馬爾可夫性假設指法間的依賴時長只有一個時刻，不考慮長距離信息，導致標注結果中穿跨指較多，手位更換頻繁，影響演奏效率；觀測獨立性假設音符間相互獨立，指法確定時不考慮其他時刻音符信息，導致出現(xiàn)了不符合手指運動規(guī)律的不可彈指法．針對上述問題，筆者結合鋼琴指法的先驗知識提出了判決HMM和改進的維特比算法：首先在模型構建時將轉移概率改進為判決轉移概率，加入音符差分信息修剪不可彈的指法路徑；然后在預測時，將相鄰音程超過一個八度的前后音符序列分段標注，目的是避免局部路徑被修剪后無可選指法路徑的情況，標注無法繼續(xù)進行；接著修改維特比算法的預測規(guī)則，即筆者人為設定初始時刻指法狀態(tài)，并且在以不同狀態(tài)結束的最大概率路徑中，選擇演奏效率最高的路徑為最優(yōu)指法路徑，此外，還提出了錯誤指法占比和欠合理率兩個指標衡量標注結果，并在本文的數據集上對比其他現(xiàn)有算法；最后，通過一定量數據集的實驗驗證，相較現(xiàn)有標注指法算法，性能有了較大的提升，一致率可以達到66.45%，錯誤指法占比降為0，所提出的欠合理率折中地評價了演奏效率和舒適度，算法標注結果的欠合理率由17.20%降低至1.84%.另外，為了對比在小規(guī)模訓練數據下本文算法與深度學習模型的性能，筆者使用同樣的數據集在Bi-LSTM＋CRF模型上進行了訓練和預測，一致率僅有55.06%，錯誤指法占比為15.92%，不可彈指法為16.30%，原因是音符到指法的一對多映射種類過多，數據集可覆蓋的映射種類太少，網絡參數擬合難度太大．因此將原始音符序列修改為音符差分序列進行訓練，音符差分映射到指法種類數大大減少，一致率可以達到67.90%，錯誤指法占比為3.00%，不可彈指法占比為5.02%．在當前數據集數量的約束下，Bi-LSTM＋CRF在一致率上稍好于傳統(tǒng)方法，但從演奏的可彈性和效率來說，本文的算法優(yōu)于深度學習模型.

1?自動指法標注模型

現(xiàn)有方法的指法標注結果存在3個問題：一是局部出現(xiàn)了錯誤的穿跨指；二是出現(xiàn)超出手指間最大跨度的指法；三是整體彈奏效率不高．針對上述問題，筆者利用指法規(guī)則先驗知識改進了HMM模型和預測指法狀態(tài)的方法，整個指法標注模型的原理框圖如圖1所示．將鋼琴指法的先驗知識與隱馬爾可夫模型相結合，利用先驗知識，在訓練階段將模型參數轉移概率改進為判決轉移概率，使得預測時的不可彈指法路徑被修剪；預測時加入八度分段將待標注的音符序列分割成子序列進行分段標注，并改進了維特比算法的初始狀態(tài)確定方法和尋優(yōu)策略．

第1.1節(jié)介紹了常用的指法設計規(guī)則，包括正誤穿跨指、可接受的最大音程跨度、手部移位準則和初始指法確定規(guī)則．第1.2節(jié)提出判決隱馬爾可夫模型．第1.3節(jié)介紹模型的參數估計．第1.4節(jié)介紹指法序列的預測階段．

圖1?利用指法先驗知識的改進HMM方法原理

1.1?指法規(guī)則先驗知識

1.1.1?正確指法轉移類型集合

鋼琴樂譜中的音符序列由單音與和弦構成．單音符序列基本指法包括順指、穿指、跨指、擴指、縮指．順指法即在自然手位下，一個手指彈奏一個音符，它是演奏中最常用的基本指法．穿指和跨指即“拇指潛移”和“穿跨拇指”，分別指將1指(拇指)從2、3、4指下面穿過和將2、3、4指從1指上面越過，其他手指間的穿跨不被允許，穿跨指主要發(fā)生在連續(xù)的音符上升或下降時，作為手位移動處的銜接．擴指和縮指即手指的橫向張開和橫向緊縮，發(fā)生在兩個指號差小于或大于音符間音程時．和弦指法是同一時刻發(fā)生的順指或擴指．

上述5種基本指法包括了所有允許的手指轉移組合，其中穿跨指對指號有要求，因此5×5個手指轉移組合不全是任意可行的．以右手為例，音符升時，2、3、4指轉移到1指是正確穿指，其他指號降的情況為錯誤穿跨指，如圖2(a)中1指(拇指)從5指(小指)下穿過，即5指轉移到1指為錯誤穿指；圖2(b)中4指從5指上的跨過，即5指轉移4指為錯誤跨指；音符降時，1指轉移到2、3、4指是正確跨指，其余指號升的情況為錯誤穿跨指，左手情況與上述相反．

表1總結了右手音符降(與左手音符升時情況一致)的正誤指法轉移組合，右手音符升(左手音符降)時的正誤指法轉移情況與表1斜對角鏡像對稱．筆者利用這一先驗知識保證指法的正確性．

圖2?右手錯誤穿跨指示意

表1?左手音符升/右手音符降的正誤指法

Tab.1 Left-handed note up/right-handed note drop posi-tive and false fingering

1.1.2?音程約束先驗

合適的指法還需要兩指間具有可承受的音程跨度，Parncutt等總結了任意兩指在輕松、舒適和可實現(xiàn)3種彈奏狀態(tài)下可跨越的最大音程差，詳見表2[1].筆者選取舒適狀態(tài)下的最大音程差MaxComf約束可轉移的手指選項，超出MaxComf音程跨度的指法組合均視為很吃力的指法，盡量不被使用，最壞情況下不能超過MaxPrac．

表2 兩指在輕松、舒適和可實現(xiàn)狀態(tài)下的最大音程差

Tab.2 Maximum span of the two fingers in a relaxed，comfortable，and practical state

1.1.3?手部移位先驗

穿指、跨指、擴指和縮指都發(fā)生了手的移位，一般將穿、跨指導致的移位歸為穿跨式移位，擴指和縮指歸為伸縮式移位．還有一種平移式移位，發(fā)生在相鄰音符音程差太大，超出了當前手位下1、5指可及的最遠距離，即使加入穿跨指小范圍地擴張可彈跨度也無法繼續(xù)的情況．平移式移位切斷了前后指法的關聯(lián)性，移位后從頭開始安排后續(xù)指法．

對整首樂譜指法來說，簡易自然是良好指法的基本原則，手部移位容易造成演奏的不連貫．必要時手部移位的原則是移動后能在新位置上以自然手位彈奏盡可能多的音符，盡可能減少移位次數，提高演奏效率．原則上能用伸縮式就不用穿跨式，平移式在相鄰音程差超過八度時加入．在一首樂譜所有正確、可彈的指法序列中，穿跨式移位最少的指法序列演奏效率最高．平移式移位切斷了前后指法間的相關性，此時整個樂譜指法序列標注問題轉化為對子序列的指法標注．

1.1.4?初始指法先驗

每一段標注的初始時刻指法會影響整段指法的后續(xù)安排，人工標注指法時往往先根據前幾個音符的指位先后確定第1個時刻指法，再進行后續(xù)標注．為了接近人工標注的思路，從而提高與人工標注結果的一致率，筆者不利用最大化指法序列概率的方法回溯初始時刻指法，而是依據初始音符在前5個不同音中的音高所處位置，選擇使前5個音都能以自然手位彈奏的指號作為初始指法．

1.2?判決隱馬爾可夫模型

由一階HMM的齊次馬爾可夫假設和觀測獨立性假設得出

給定音符序列時分母不變，因此HMM的預測目標變?yōu)?/p>

為了在計算指法轉移概率時兼顧相鄰時刻的音符信息，避免不可彈指法的出現(xiàn)，將指法轉移概率改進為當前音符和前一音符下的條件轉移概率，即

則預測目標改進為

預測目標變成

1.3?參數估計

參數學習采用有監(jiān)督的方法，利用極大似然法估計狀態(tài)轉移概率和音符觀測概率．模型不僅處理單音序列也處理含有多音和弦的序列，單音種數即鋼琴琴鍵數88，多音和弦考慮在一個八度內的二音至五音和弦，共計61841種．指法狀態(tài)包括5種單指狀態(tài)和26種多指狀態(tài)．

1.4?預測最優(yōu)指法序列

1.4.1?音符序列分段預處理

此時對整個音符序列搜索指法路徑，會導致

1.4.2?初始時刻指法

圖3?初始狀態(tài)受限時維特比算法路徑搜索示意

2?實驗結果及分析

2.1?數據集

目前尚未有正式公認的數據集及評測指標，故自建了數據集，采用了Bach 28短篇鋼琴(28首)，Cherny 299(5首)和中國音樂學院社會藝術水平考級1～3級(7首)，共計40首，左手4000多音符，右手6000多音符．為了驗證模型的可靠性，筆者將數據集分為5組，進行五折交叉驗證，并且設計了8組實驗來對比驗證筆者方案的改進之處．

2.2?數據集的特征及參數選擇

88個音符輸出的組合數十分龐大，輸出概率矩陣中的參數將達到31×61929≈190×104，其中4音和弦、5音和弦的組合數目占到了89.8%．對數據集中的音符和指法進行統(tǒng)計，4音和弦和5音和弦出現(xiàn)的概率極低，近似為0，因此筆者刪掉輸出概率矩陣和轉移概率矩陣中的4音、5音和弦音符和指法，輸出概率矩陣縮減為(88＋978＋5236)×25≈16×104，條件狀態(tài)轉移矩陣為25×25＝625．在單音和2、3指和弦組成的輸出概率參數矩陣中，2指、3指和弦占到98.6%，然而如圖4所示，筆者的數據集中多指和弦十分低頻，且很多位置頻次為0，原因是筆者的模型效果更關注對手指轉換要求更高的單音序列樂譜，因此訓練集中和弦覆蓋不多，后續(xù)需要加入更多帶有和弦的數據集．

圖4?右手音符和指法頻次分布

輸出矩陣理論上遍布了所有音符，但如圖4所示，右手覆蓋的音符Midi號范圍(21～108)主要集中在右半區(qū)，左手同樣集中在左半區(qū)，極少數會出現(xiàn)在另半邊區(qū)域，因此左右手模型的輸出概率矩陣待訓練參數又縮減一半．

2.3?評價標準

2.3.1?一致率

但指法問題的特殊性在于標注具有時間傳遞性和多態(tài)性．時間傳遞性即每個時刻指法的選擇會影響后續(xù)時刻，若某一時刻標注結果與標簽不一致，會導致后續(xù)一段時間的標注大概率與標簽不一致，一致率顯著降低；多態(tài)性即指法有時會有多種選擇，如1-3指和1-2指均可的情況并不少見，人工標注在面臨這種選擇時具有一定的隨機性，沒有嚴格的挑選標準．若算法在多種可選項中選擇了與人工標注不一致的情況，會導致后續(xù)一段時間的標注結果和標簽產生一個手指的錯位，大大降低一致率，但實際演奏時，指法連續(xù)錯位一指仍然有可能是可以彈奏的指法序列，因此一致率并不能完全反映標注的質量．

2.3.2?不可彈指法占比率

2.3.3?欠合理率

2.4?結果及分析

為了驗證判決函數、八度分段和改進維特比算法對標注結果的影響，本文設計了6組對比實驗和5組現(xiàn)有算法對比實驗，每組實驗進行了五折交叉驗證．其中在判決HMM的預測階段，由于判決函數修剪了大量路徑，不分段處理會產生下一時刻沒有可選指法的情況，因此判決HMM+Viterbi和判決HMM+改進Viterbi的實驗可用數據相較其他組有所減少，無法對比評價，如相鄰小節(jié)的音符差超出了一個八度，不進行分段處理找不到合適的銜接指法，因此該種組合未加入對比實驗．另外，有無判決函數的HMM參數不同，導致維特比算法的中間概率計算方法不同，對維特比算法的改進指初始狀態(tài)和最優(yōu)路徑的確定方法兩個改進之處．5組現(xiàn)有算法的對比實驗包括對Original HMM、Fault-tolerant HMM、Merged-output HMM、LSTM＋CRF 4種訓練模型和本文的Judgement-HMM，前4種模型均采用原始Viterbi算法進行預測，判決HMM采用改進Viterbi進行預測．

2.4.1?對比實驗

為了驗證不同改進點的作用，筆者設計了6組對比實驗，結果如圖5所示．A為HMM＋Viterbi，B為HMM＋八度分段＋Viterbi，C為HMM＋改進Viterbi，D為HMM＋八度分段＋改進Viterbi，E為判決HMM＋八度分段＋Viterbi，F(xiàn)為判決HMM＋八度分段＋改進Viterbi．傳統(tǒng)HMM下，分別加入八度分段和使用改進維特比算法相較傳統(tǒng)維特比算法，標注結果一致率提升了0.15%和4.37%，不可彈指法占比率分別下降0.08%和1.30%，欠合理率分別下降0.15%和0.25%；將二者聯(lián)合使用一致率提升4.43%，不可彈指法占比降低1.56%，欠合理率下降5.10%.由此可見，改進維特比算法較明顯地提升了標注的一致率，八度分段提升不明顯，但二者結合后，欠合理率下降明顯，原因是分段后對每段子序列搜索演奏效率最高的指法再進行組合，比整體搜索的可選路徑更多，效果更好．判決HMM和八度分段聯(lián)合使用時，相較傳統(tǒng)HMM和八度分段一致率提升9.16%，原因是判決函數修剪了錯誤的穿跨指和超出音程跨度的指法路徑，大大縮小了指法搜索空間，使標注結果更大概率接近人工標注結果，而不可彈指法占比率則從23.50%直接減為0，指法序列完全物理可實現(xiàn)．再加上對維特比算法預測階段的改進，相較未改進前一致率提升5.57%，欠合理率下降至1.84%，很接近人工標注設定的穿跨指數．

圖5?對比實驗結果

為了具體說明改進點對指法的益處及本文算法標注結果的性能，并驗證一致率指標的缺陷，截取了實驗的部分標注結果，如圖6～圖8所示．圖6為Bach 28首短篇鋼琴中Minuet in G major高聲部(右手)兩小節(jié)標注結果，圖6(a)、(b)、(c)分別為Groundtruth、傳統(tǒng)HMM＋Viterbi和判決HMM＋改進Viterbi的標注結果．圖6(b)中傳統(tǒng)HMM＋Viterbi標注的5指-3指跨越了G4到G5，即一個八度，在不變換手位的情況下，超出了表2中3指到5指間的最大可彈奏跨度，屬于超出可彈跨度的不可彈指法，且第2小節(jié)的4指-3指為錯誤的穿跨指，而圖6(c)中第2小節(jié)3指-2指-1指相較(a)中的4指-3指-2指發(fā)生了連續(xù)1指的錯位，從表面上看，圖6(b)、(c)都與Groundtruth不一致，但顯然圖6(c)中的標注結果要較圖6(b)更合理，圖6(b)中第2小節(jié)甚至還存在1-3的跨指.在第2小節(jié)的標注結果中，圖6(b)有3/5的指法與Groundtruth一致，圖6(c)只有2/5的指法與Groundtruth一致，但是在容錯范圍內圖6(c)更合理，可以看出，一致率不能完全衡量指法標注算法的性能．此外，還可以發(fā)現(xiàn)，傳統(tǒng)HMM+Viterbi中不一致指法的前后相關性不強，而判決HMM＋改進Viterbi則容易出現(xiàn)一連串與Ground-truth不一致的標注結果，這將更容易降低一致率．相對而言，判決HMM＋改進Viterbi容易出現(xiàn)一致率極高或極低兩種極端情況，在測試集中，最高可高達85%，最低則僅有45%．

圖6 《G大調小步舞曲》高聲部指法的改進算法前后結果對比

圖7體現(xiàn)了本文算法去除了超出手指音程跨度的錯誤指法．圖7為中國音樂學院考級三級B組《小草》片段低聲部的兩小節(jié)標注結果，第1小節(jié)最后一個音符F4到第2小節(jié)第一個音符B2超出了一個八度，圖7(a)中在此處進行了八度分段，否則會出現(xiàn)在第1小節(jié)結束后找不到可轉移指法，之后標注時將每一段指法約束在可彈音程范圍內；圖7(b)中未加音程約束，使得出現(xiàn)大量超出音程跨度的指法，如圖中5指-4指演奏(MIDI號50)-A3(MIDI號57)的MIDI跨度為7，而表2中4-5指間MaxPrac僅為5，同樣地，4指-3指演奏B3-(MIDI號46)-A3(MIDI號57)的MIDI跨度為11，而表2中3-4指間的MaxPrac僅為4，這兩處均為超出了手指最大跨度的不可彈指法；反觀圖7(c)中加入音程約束后，由于修剪掉大量不可彈的選項，每一小節(jié)較為容易地實現(xiàn)了和Groudtruth一樣的標注結果．并且在兩小節(jié)切換處，由于音程超出了一個八度，兩個結點F4-B2的指法并不具有任何相關性，在Viterbi倒序確定F4指法時并不應該參考B2的指法，圖7(b)中這一過程是無效的標注．圖7(c)中加入的八度分段結合音程約束符合人工標注的思路，有效實現(xiàn)了一致率的提升．

圖7?《小草》低音部指法的改進算法前后結果對比

為了表征算法對和弦序列的標注性能，圖8截取了中國音樂學院考級1級自選曲目《賣報歌》低聲部片段的和弦標注指法．由于訓練集中和弦的數據量很稀疏，基本上一種和弦對應著一種概率為1的指法．因此在標注時，訓練集中出現(xiàn)過的和弦可以正確標注，如圖8中的和弦標注所示．但還有大量和弦在訓練集中未覆蓋，為了避免未出現(xiàn)過的和弦所有輸出概率為0，導致無法標注，將該類輸出概率均設為4%，因此和弦的數據集不足也一定程度地導致了標注結果的一致率低．

圖8?本文算法和弦標注指法結果

2.4.2?不同算法性能對比

將本文算法與現(xiàn)有的鋼琴指法自動標注算法在相同數據集上做了對比，結果如表3所示，相較現(xiàn)有基于HMM的標注算法，本文的改進在3項指標上都取得了較大的提升，F(xiàn)ault-tolerant HMM[11]在評價標注結果時雖然考慮了指法的容錯性，使得指法的一致率有所提高，但沒有關注標注結果中的不可彈指法；而Merged-output HMM[10]在訓練輸出概率和轉移概率時從空間上加入了軸對稱的限制，彌補數據的缺失導致的低一致率，但也沒有考慮標注結果中的不可彈指法．

表3?不同算法的標注結果對比

Tab.3 Comparison of labeling results of different algo-rithms

另外，為了對比傳統(tǒng)方法與基于深度學習的方法，還與Bi-LSTM＋CRF模型進行了比較，圖9為Bi-LSTM網絡結構圖，用LSTM的輸出作為CRF的指法狀態(tài)特征分數，并初始化指法轉移特征分數矩陣，目標函數是極小化負對數目標序列分數，提高與人工標注的一致率．實驗中分別輸入音符序列和音符差分序列進行訓練，輸入的音符或音符差分數據均設為32維的隨機word-embedding，采用Adam優(yōu)化方法，學習率設為0.01．

圖9 輸入為原始音符序列和音符差分序列的Bi-LSTM+CRF

訓練好的模型采用Viterbi算法進行指法預測，經過對比，使用音符序列訓練效果較差，一致率僅有55.06%，使用音符差分序列訓練的一致率可以達到67.90%，較高于判決HMM，由此可見，較之指法和音符的一一映射關系，指法標注和音符差分信息關系更密切，本文提出的判決HMM恰恰也結合音符差分信息進行指法標注．但Bi-LSTM＋CRF仍存在3.00%的不可彈指法，欠合理率5.02%．因此從指法可彈性來看，本文算法優(yōu)于Bi-LSTM＋CRF．

2.4.3?結果分析

本文提出的方法與人工標注的一致率仍有較大差距，分析原因有：一是由于指法的多態(tài)性且多態(tài)情況下沒有明確的甄選標準，人工標注和算法均存在隨機性；二是人工標注的最優(yōu)指法權衡了演奏舒適度和演奏效率，雖然本文的算法考慮了這兩方面因素，但目前尚缺少權威性的量化指標評價指法優(yōu)劣；三是數據量不足，和弦標簽數據匱乏．

在傳統(tǒng)方法下，現(xiàn)有一階隱馬爾可夫模型用概率作為優(yōu)化目標，模型參數描述能力有限，未能結合音符的長距離序列信息，也無法恰當地體現(xiàn)演奏舒適度和演奏效率．基于深度學習的方法利用神經網絡強大的非線性擬合能力可以較為有效地提升一致率，但其優(yōu)化目標只專注于提高一致率，指法可彈性仍需要提高．而本文算法在一致率和指法可彈性上做出了平衡．

3?結?論

(1)本文中提出了一種基于判決隱馬爾可夫模型和改進維特比算法的鋼琴指法自動標注算法．筆者結合指法規(guī)則的先驗知識，首先在判決HMM中引入兩種判決函數，有效克服了傳統(tǒng)HMM不能結合音符序列信息的缺點，去除了錯誤的穿跨指和超出可彈跨度的指法．然后在預測指法路徑時，根據先驗知識對音符序列進行八度分段，并修改初始指法的確定方法，然后選擇穿跨指數最少、演奏效率最高的指法序列為最優(yōu)指法．通過一定量數據集的實驗驗證，相較之前的算法性能有了較大的提升．

(2)但目前受數據集規(guī)模的限制，算法還無法覆蓋所有和弦的標注，目前在遇到數據集中未出現(xiàn)的和弦時，可以將和弦拆分成單音序列，按照單音標注指法組合起來作為和弦指法；并且模型只能標注基本指法，一些特殊指法如輪指(同音換指)、黑鍵指法規(guī)則等還需要進一步結合先驗知識或加大相應的訓練數據量．

(3)另外，為了對比傳統(tǒng)模型和深度學習的方法，本文在同樣的數據集上，采用Bi-LSTM+CRF構建了指法標注模型，初步實驗結果其在一致率上較優(yōu)于本文算法，但仍存在不可彈指法和較多轉指，需要加大訓練集并修改目標函數以提高指法標注性能．

［1］ Parncutt R，Sloboda J A，Clarke E F，et al. An ergonomic model of keyboard fingering for melodic fragments[J]. Music Perception：An Interdisciplinary Journal，1997，14(4)：341-382.

［2］ Jacobs J P. Refinements to the ergonomic model for keyboard fingering of parncutt，sloboda，clarke，raekallio，and desain[J]. Music Perception：An Interdisciplinary Journal，2001，18(4)：505-511.

［3］ Hart M，Bosch R，Tsai E. Finding optimal piano fingerings[J]. The UMAP Journal，2000，21(2)：167-177.

［4］ Kasimi A A，Nichols E，Raphael C. Automatic fingering system(AFS)[C]// 6th International Society for Information Retrieval Conference. London，UK，2005：1-4.

［5］ Kasimi A A，Nichols E，Raphael C. A simple algorithm for automatic generation of polyphonic piano fingerings[C]// 8th International Conference on Music Information Retrieval. Vienna，Austria，2007：355-356.

［6］ Nell?ker E，Lu X. Optimal Piano Fingering for Simple Melodies[EB/OL]. https://kth.diva.portal.org/smash/get/ diva2:768564/FULLTEXT01.PDF，2014-12-04.

［7］ Lin C C，Liu D S M. An intelligent virtual piano tutor[C]// Proceedings of the 2006 ACM international conference on Virtual reality continuum and its applications，New York，USA，2006：353-356.

［8］ Viana A B，Cavalcanti J H F，Alsina P J. Intelligent system for piano fingering learning aid[C]// Proceedings of the 5th International Conference on Control，Automa-tion，Robotics & Vision. Singapore，1998：35-41.

［9］ Yonebayashi Y，Kameoka H，Sagayama S. Automatic decision of piano fingering based on a hidden markov models[C]// International Joint Conference on Artificial Intelligence. Hyderabad，India，2007：2915-2921.

［10］ Nakamura E，Ono N，Sagayama S. Merged-output HMM for piano fingering of both hands[C]// 15th International Society for Information Retrieval Confer-ence. Taipei，China，2014：531-536.

［11］ Sun Haotian，Guan Xin，Xian Jing，et al. Automatic marking of single-tone and chord piano fingering based on hidden Markov model[J]. Journal of Fudan University：Natural Science，2018，57(3)：84-91.

［12］ Hori G，Kameoka H，Sagayama S. Input-output HMM applied to automatic arrangement for guitars[J]. Information and Media Technologies，2013，8(2)：477-484.

［13］ Hori G，Sagayama S. Minimax Viterbi algorithm for HMM-based guitar fingering decision[C]// 17th International Society for Information Retrieval Conference. New York，USA，2016：448-453.

［14］ Hori G，Sagayama S. LP-Viterbi algorithm for automatic fingering decision[C]// Proceedings of the 14th Sound and Music Computing Conference. Banff，Canada，2017：386-390.

［15］ Huang Z，Xu W，Yu K. Bidirectional LSTM-CRF Models for Sequence Tagging[EB/OL]. http: //arxiv.org/ pdf/1508.01991v1.pdf，2015-08-09.

Automatic Fingering Annotation for Piano Score via Judgement-HMM and Improved Viterbi

Li Qiang，Li Chenxi，Guan Xin

(School of Microelectronics，Tianjin University，Tianjin 300072，China)

The existing first-order hidden Markov model(HMM)is used for piano fingering annotation without com-bining long-distance information of the note sequence．Therefore，an automatic piano fingering annotation algorithm based on decision HMM and the improved Viterbi algorithm is proposed．Taking prior knowledge of fingering into consideration，a judgment function was added to the traditional first-order HMM to remove wrong cross fingering and fingering beyond the bulletable span．During the prediction period，the optimization rules of the Viterbi algo-rithm were refined．First，the note sequence was segmented according to octaves，and the initial fingering method was modified．Subsequently，we chose a fingering sequence with the least number of cross fingering and whose performance was as efficient as that during optical fingering．To measure the performance of the proposed algorithm，two new evaluation metrics，the incapable-performing fingering ratio and the unreasonable fingering rate，were introduced to measure the flexibility and efficiency of fingering．Compared with the existing labeling model，the experiments showed that the proposed algorithm improved both the consistency rate and the two new in-dicators．In addition，to compare the performance of traditional methods with deep learning methods in small data sets，Bi-LSTM+CRF was added．The results showed that the inelastic fingering rate and unreasonable rate in deep learning were not as effective as those in the algorithm．

piano fingering；judgement-HMM；prior knowledge；improved Viterbi alogrithm

TP391

A

0493-2137(2020)08-0814-11

10.11784/tdxbz201907001

2019-07-01；

2019-08-20.

李?鏘（1974—??），男，博士，教授，liqiang@tju.edu.cn．Email：m_bigm@tju.edu.cn

關?欣，guanxin@tju.edu.cn.

國家自然科學基金資助項目(61471263)；天津市自然科學基金資助項目(16JCZDJC31100).

the National Natural Science Foundation of China(No.61471263)，the Natural Science Foundation of Tianjin，China (No.16JCZDJC31100).

(責任編輯：王曉燕)