基于隱含語義分析的音樂檢索

周皓東，劉 煒

（江西省科學(xué)院 高科技開發(fā)中心，江西 南昌330029）

0 引 言

由于音樂形式的多樣性和內(nèi)容的復(fù)雜性，普通人很難準(zhǔn)確表達(dá)出音樂的曲調(diào)，但收聽曲調(diào)類似、相近的音樂卻是一般用戶都具有的需求。傳統(tǒng)基于人工標(biāo)注風(fēng)格的音樂檢索方式會(huì)產(chǎn)生過多的結(jié)果而不能找到最接近的音樂，而使用曲譜的查詢則只會(huì)找到完全相同的曲調(diào)，因此對(duì)音樂的近似檢索一直受到研究者的重視。近年來，基于哼唱等近似音樂檢索方法取得了一系列突破，許多研究者在提出了相關(guān)的解決方案?；谝魳诽卣鞯奶崛∨c匹配，陳曉穎［1］等人提出使用音高和音長描述樂曲的方法，并利用平均音高差和平均音長變化率建立 M樹索引結(jié)構(gòu)，在一定搜索半徑內(nèi)查找與輸入最相似的音樂文件。秦 靜［2］等人提出基于動(dòng)態(tài)閾值分割音符并將音高模板歸一化的加權(quán)綜合匹配算法，提高音樂檢索的精確性和魯棒性。李鵬［3］等人采用改進(jìn)的YIN算法提取基音序列，然后使用 “小閣”基音后處理方法對(duì)基音序列的規(guī)整化操作，基于旋律輪廓進(jìn)行音樂的模糊匹配。劉怡與郝云飛［4］對(duì)比了各種近似匹配算法的性能，指出音樂哼唱檢索系統(tǒng)中基于單側(cè)連續(xù)匹配的算法不僅查詢速度快，而且查詢的準(zhǔn)確率較高?；趩蝹?cè)連續(xù)匹配的算法，于琪［5］等人提出一種分層聚類的方法，提取音樂數(shù)字特征并進(jìn)行聚類，在保證音樂檢索中查準(zhǔn)率同時(shí)提高了檢索效率。音樂特征除了片斷中的音高與音高變化外，還體現(xiàn)在片斷間的變化，王小鳳［6］等人提出基于單句特征和多句轉(zhuǎn)換相結(jié)合的檢索方法，獲得了良好的檢索效果。

從研究成果來看，特征值匹配是現(xiàn)有方法的基礎(chǔ)，但現(xiàn)有特征值主要是從數(shù)學(xué)上對(duì)原數(shù)據(jù)進(jìn)行精簡，音樂中有許多信息正是由被數(shù)學(xué)上忽略掉的 “冗余”數(shù)據(jù)表達(dá)，因此根據(jù)具體音樂分析潛在的相關(guān)性遠(yuǎn)比簡單的數(shù)字特征匹配有意義。潛在語義分析 （latent semantic analysis，LSA）是一種較好的潛在相關(guān)性分析方法，在文本檢索中取得了較好的成果。近年來，一些研究者嘗試了將LSA引入多媒體數(shù)據(jù)檢索或分類排序，如針對(duì)遙感圖像中 “同物異譜”和 “同譜異物”的現(xiàn)象，陶超［8］等人提出一種基于潛在語義分析的遙感圖像分類排序方法，有效提高了遙感圖像分類精度。常軍［9］等人對(duì)描述視頻內(nèi)容結(jié)構(gòu)的視頻文檔矩陣進(jìn)行潛在語義分析，使用可視特征相關(guān)性的關(guān)系矩陣進(jìn)行視頻檢索，改善了視頻語義內(nèi)容檢索的效果。王新穎［10］等人提出一個(gè)基于潛在語義分析的非線性降維方法并用于三維模型的語義檢索，在三維模型的特征降維處理和檢索結(jié)果方面都取得了較好的效果。為使檢索結(jié)果更加接近用戶意圖，本文嘗試了基于LSA的音樂檢索方法。

本文算法首先建立音樂詞典，再將音樂矩陣化表示，最后進(jìn)行詞匯相關(guān)性分析，算法總體技術(shù)方案如圖1所示。

圖1 音樂語義檢索總體技術(shù)方案

圖1中，詞典建立為矩陣化表示提供基礎(chǔ)數(shù)據(jù)，相關(guān)性分析同時(shí)使用詞典和樂曲矩陣，最后基于語義進(jìn)行檢索。

1 音樂詞曲的建立

1.1 曲譜的標(biāo)準(zhǔn)化表示

曲譜是音樂的核心內(nèi)容，代表了樂曲的曲調(diào)，也是大多數(shù)人檢索音樂的主要依據(jù)。無論節(jié)奏、音高還是情感，都通過曲譜來表達(dá)。然而，傳統(tǒng)的曲譜表達(dá)雖然主體部分是1－7的數(shù)字，但同時(shí)也夾雜了其它非數(shù)字符號(hào)，并不利于計(jì)算機(jī)表達(dá)或數(shù)值化分析。為此，首先要對(duì)曲譜進(jìn)行標(biāo)準(zhǔn)化表示，方便程序處理。

曲譜由不同的音符通過不同的方式連接而成，不同音符代表了不同的音高 （mh），音符間的連接則包含了不同的音長 （ml）和音轉(zhuǎn) （mc）方式，對(duì)曲譜的標(biāo)準(zhǔn)化表示主要是對(duì)音高 （mh）、音長 （ml）和音轉(zhuǎn) （mc）進(jìn)行描述。

對(duì)一般音樂來說，共有七個(gè)音符，而每個(gè)音符又有高、中、低這3個(gè)音階，加上休止符0，共22個(gè)，因此可以將音高映射到集合MH＝ ｛mh｜0≤mh≤21，mh∈Z｝。

音長是曲譜中決定一個(gè)音符延續(xù)時(shí)間的因素，理論上一個(gè)音符可以延續(xù)任意音長，幸運(yùn)的是，所有音長都是按“拍”來計(jì)算，理論上最短的音長為三十二分之一拍，而常見的音符最短為八分音符。由于十六分音符和三十二分音符很少見，忽略它不會(huì)影響檢索結(jié)果，為簡化計(jì)算，我們將八分音符定為基本音長單位 （mu），而將短于八分之一拍的音符近似為八分音符，于是所有音符長度可以轉(zhuǎn)換為音長單位的整數(shù)倍，曲譜中所有音符都可被拆分為單位音符的連接。

對(duì)較長音符進(jìn)行拆分后，同一音符被轉(zhuǎn)化為多們音符的連接，但這種連接與多個(gè)相同音符的發(fā)音顯然不同，另外，不同音符間還存在上弧線的連接和普通連接之分，為區(qū)分不同單位音符間的連接方式，為每個(gè)單位音符后都附加一個(gè)音轉(zhuǎn)方式屬性mc∈MC，MC＝ ｛c，a，s｝，其中c代表普通連接，a代表弧線連接，s代表同音延續(xù)。于是任意曲譜可以表示為標(biāo)準(zhǔn)音符和音轉(zhuǎn)的交替串：Staff＝mu0mc0…munmcn。

1.2 音樂詞典建立

理論上，mu、mc對(duì) （以下記為muc）間的排列方式可以有無限多個(gè)，實(shí)際應(yīng)用中，曲譜總是按句分段，每段的長度有限，并且排列的方式具有一定的規(guī)則，為提高檢索效率，先將常用排列方式組合成 “詞”。曲譜的詞沒有固定的長度或顯式的表達(dá)，需要利用人工智能方法自動(dòng)提取常用的詞匯。提取詞匯的目標(biāo)是找到最常用的muc排列方式，一般來說，單個(gè)muc使用頻率高于包含它的多muc排列，小的muc排列使用頻率高于包含它的大muc排列，由此可以得到以下音樂詞匯統(tǒng)計(jì)算法。

算法1 （音樂詞匯統(tǒng)計(jì)算法）

步驟1 將音樂庫轉(zhuǎn)換為標(biāo)準(zhǔn)muc排列集MUS，令詞匯表容量為V，MUS的總muc數(shù)為｜MUS｜，則規(guī)定頻率閾值Fthre＝V／ （V－｜MUS｜）。

步驟2 將所有單個(gè)muc加入詞匯表W，統(tǒng)計(jì)各詞匯wi在MUS中的出現(xiàn)頻率fi，若fi＜Fthre，則將wi移除。令迭代數(shù)t＝1，hasnew＝false。

步驟3 對(duì)詞匯表W 長度為t的詞匯，計(jì)算它們與長度為1的詞匯組合wnew出現(xiàn)的頻率fnew，若fnew＞＝Fthre則令W＝W∪ ｛wnew｝，hasnew＝true。

步驟4 若hasnew＝false，轉(zhuǎn)步驟5，否則令t＝t＋1，轉(zhuǎn)步驟3。

步驟5 在W中選擇頻率最大的V個(gè)詞匯作為最終詞匯表，結(jié)束。

2 樂曲的矩陣化表示

隱含語義分析的關(guān)鍵過程是進(jìn)行奇異矩陣分解，為此需要首先將各樂曲進(jìn)行矩陣化表示。樂曲通常都有自然分句，但這些分句長度可能不同，為使各分句能整齊地轉(zhuǎn)化為相同維數(shù)的向量，使用最長的分句長度作為標(biāo)準(zhǔn)維數(shù)

由于詞語間存在包含、重疊的情況，各語句存在不同的劃分方式，使用每句的最短長度作為語句的參考長度，即

在確定標(biāo)準(zhǔn)維數(shù)后，需要對(duì)較短的語句進(jìn)行單詞分割（顯然，根據(jù)算法1產(chǎn)生的單詞的分割仍然是單詞），我們使用增加頻率和的算法進(jìn)行單詞的重新分割，算法如下：

算法2 （樂曲語句再分割方法）

步驟1 令語句現(xiàn)有單詞集為Wn，單詞數(shù)量為｜Wn｜，對(duì)語句中各單詞按詞典中的頻率排序，選擇其中頻率最小的Lstd－｜Wn｜個(gè)長度大于1的單詞作為候選分割集Wdiv，令Wn＝Wdiv，i＝1。

步驟2 對(duì)wi∈Wdiv，令j＝｜wi｜／2，wij為wi中從0到j(luò)個(gè)muc所組成的單詞，wij中從j到｜wi｜個(gè)muc所組成的單詞。

步驟3 若fwi（j＋1）＋fwi（j＋1）＞ fwij＋fwij，則令j＝j(luò)＋1，重復(fù)步驟3。

步驟4 若fwi（j－1）＋fwi（j－1）＞ fwij＋fwij，則令j＝j(luò)－1，重復(fù)步驟4。

步驟5 令Wn＝Wn∪ ｛wij，wij｝，若i＜｜ Wdiv｜，則令i＝i＋1，轉(zhuǎn)步驟2。

步驟6 若｜Wn｜＜Lstd，則轉(zhuǎn)步驟1，否則結(jié)束。

通過算法2將樂曲的各句轉(zhuǎn)化為固定數(shù)量的單詞序列，再將各單詞根據(jù)出現(xiàn)頻率編號(hào)，則語句可以表示為編號(hào)組成的向量，樂曲可以表達(dá)為語句向量所組成的矩陣。

3 樂曲語義相關(guān)性分析

對(duì)語義相關(guān)性的分析是實(shí)現(xiàn)語義檢索的關(guān)鍵。當(dāng)前，對(duì)語義相關(guān)性的描述方法很多，一般可以分為潛在語義、詞網(wǎng) （WordNet）關(guān)系、本體等三類。詞網(wǎng)要求檢索內(nèi)容間存在嚴(yán)格的關(guān)聯(lián)規(guī)則，音樂內(nèi)容和樂譜中的關(guān)聯(lián)并不嚴(yán)格，因此詞網(wǎng)的方式不適合表達(dá)音樂相關(guān)性。本體關(guān)系要求被描述對(duì)象有明確的規(guī)范，音樂本身是一種自由的情感表達(dá)，并沒有嚴(yán)格的規(guī)范或要求，因此無法總結(jié)出各種音樂的本體，也不容易將本體的概念用于描述音樂的語義。潛在語義分析使用奇異值矩陣描述對(duì)象間的關(guān)系，并不要求被描述對(duì)象有特殊標(biāo)準(zhǔn)或規(guī)范。綜合對(duì)比，本文采用潛在語義分析作為樂曲語義相關(guān)性分析的工具。

經(jīng)過矩陣化表示，樂曲可以通過向量、矩陣的相似性進(jìn)行檢索，但這種檢索只能獲得表面相近的結(jié)果，檢索的優(yōu)劣依賴于向量、矩陣的距離定義。為了使檢索結(jié)果能體現(xiàn)更多的潛在相關(guān)性，我們采用向量空間矩陣來分析和處理，以反映語義特征相關(guān)性的關(guān)系。

令樂曲表達(dá)矩陣K可以進(jìn)行奇異值分解

對(duì)式 （3）兩邊右乘以V、Is（其中Is為對(duì)角矩陣，前s個(gè)對(duì)角元素為1，其余元素為0）：

令需要查詢的語句向量為q，則將查詢語句與樂曲矩陣相似性定義為

其中，VIs代表了從詞語空間到語義空間的映射，KVIs構(gòu)成了語義空間中的樂曲矩陣；qVIsT構(gòu)成了語義查詢向量。

式 （4）可以進(jìn)一步整理為

式 （6）中的R既能反映矩陣K的自相關(guān)性，又能獲得K與q的互相關(guān)性，因此通過式 （6）可以得到樂曲的完整相關(guān)性，利用這種相關(guān)性對(duì)樂曲排序，可以產(chǎn)生令用戶滿意的檢索結(jié)果。

4 實(shí)驗(yàn)結(jié)果

為驗(yàn)證算法的有效性和執(zhí)行效率，我們建立了相關(guān)的樂曲庫和檢索材料進(jìn)行了實(shí)驗(yàn)。從中國曲譜網(wǎng) （http：／／www.qupu123.com）下載和識(shí)別曲譜20601首建立曲譜庫（其中民歌13861首，通俗5359首，美聲1381首），識(shí)別過程使用區(qū)域分割和谷歌OCR包。為對(duì)比傳統(tǒng)哼唱音樂檢索方法，邀請(qǐng)了50人哼唱曲譜庫中的歌曲各2首，并人工標(biāo)注哼唱的預(yù)期前10項(xiàng)檢索結(jié)果。實(shí)驗(yàn)中使用三星NP400B2B筆記要電腦，CPU頻率2.10GHz，內(nèi)存4.0G，操作系統(tǒng)為64位 Windows 7。實(shí)驗(yàn)對(duì)比算法包括 “小閣”基音后處理方 法［3］（CPT），單側(cè) 連續(xù)匹 配方法［4］（OSCM），分層聚類音樂檢索方法［5］（HCMR），將本文算法稱為潛在語義分析檢索算法 （LSAR）。

實(shí)驗(yàn)測試了算法對(duì)音樂檢索的結(jié)果，分別使用哼唱和原曲進(jìn)行檢索，統(tǒng)計(jì)檢索結(jié)果的命中率、精準(zhǔn)度和滿意度，其中命中率為檢索結(jié)果中存在目標(biāo)樂曲的比例，精準(zhǔn)度為檢索的前10個(gè)結(jié)果中存在預(yù)期結(jié)果數(shù)量的比例，滿意度為預(yù)期結(jié)果正確排序的比例，即

其中，對(duì)于僅有單個(gè)結(jié)果的檢索算法，將上一次檢索結(jié)果排除后再進(jìn)行下一次實(shí)驗(yàn)，以獲得檢索結(jié)果集及其排序。測試結(jié)果見表1。

表1 檢索結(jié)果的命中率、精準(zhǔn)度和滿意度

在表1中，CPT與OSCM的滿意度在某些時(shí)候超過了LSAR，但由于其精準(zhǔn)度較低，故實(shí)際滿意的結(jié)果并不如LSAR。HCMR的精準(zhǔn)度在哼唱檢索中超過了LSAR，但其命率和滿意度均低于LSAR，在實(shí)際檢索中HCMR滿意的結(jié)果數(shù)目仍然不如LSAR。

對(duì)音樂檢索來說，檢索時(shí)間也是需要考慮的因素之一，為驗(yàn)證LSAR的時(shí)間有效性，對(duì)不同長度的音樂進(jìn)行了檢索時(shí)間統(tǒng)計(jì)，結(jié)果如圖2所示。

圖2 音樂檢索時(shí)間對(duì)比

圖2中統(tǒng)計(jì)了幾種檢索算法對(duì)不同長度音樂檢索的平均時(shí)間，檢索時(shí)均使用原曲進(jìn)行檢索。

雖然LSAR在檢索時(shí)間上與其它算法相比并無明顯優(yōu)勢(shì)，但在給用戶帶來語義檢索的功能同時(shí)保證了時(shí)間上的性能。

5 結(jié)束語

本文將潛在語義分析的方法引入音樂檢索問題中，建立了音樂的詞匯表、表示矩陣和語義相關(guān)性分析方法，總體上獲得了良好的檢索結(jié)果。與現(xiàn)有的方法相比，基于語義的檢索方法在進(jìn)行哼唱檢索中可以獲得更高的命中率，檢索結(jié)果中具有更多與人們預(yù)期排序相符的樂曲。但需要注意的是在哼唱檢索中，由于個(gè)人哼唱技術(shù)的差異，本文方法并不能獲得100%的命中率，這在實(shí)際應(yīng)用中是無法使用戶滿意的；相應(yīng)地，哼唱檢索時(shí)本文算法在檢索精準(zhǔn)度也低于HCMR算法。要進(jìn)一步提高音樂檢命中率，使檢索結(jié)果達(dá)到用戶滿意的程度，需要改進(jìn)對(duì)用戶哼唱的識(shí)別算法和適應(yīng)方法，作者下一步工作將繼續(xù)研究哼唱特征的提取和哼唱語義的表達(dá)等問題。

［1］CHEN Xiaoying，GAO Feng，LU Ruzhan.New indexing method for content－based music information retrieval and its application ［J］.Computer Engineering and Applications，2007，43（14）：233－235 （in Chinese）.［陳曉穎，高峰，陸汝占.一種新型的音樂信息檢索索引方法及其應(yīng)用 ［J］.計(jì)算機(jī)工程與應(yīng)用，2007，43 （14）：233－235.］

［2］QIN Jing，ZHOU Mingquan，WANG Xingce，et al.MIR approach based on dynamic thresholds segmentation and weighted synthesis match ［J］.Computer Engineering，2007，33 （13）：194－199 （in Chinese）.［秦靜，周明全，王醒策，等.基于動(dòng)態(tài)分割和加權(quán)綜合匹配的音樂檢索算法 ［J］.計(jì)算機(jī)工程，2007，33 （13）：194－199.］

［3］LI Peng，ZHOU Mingquan，XIA Xiaoliang，et al.A music retrieval research and implementation of new methods ［J］.Journal of Beijing University of Posts and Telecommunications，2010，33 （3）：62－66 （in Chinese）.［李鵬，周明全，夏小亮，等.音樂檢索新方法的研究與實(shí)現(xiàn) ［J］.北京郵電大學(xué)學(xué)報(bào)，2010，33 （3）：62－66.］

［4］LIU Yi，HAO Yunfei.Evaluation of approximate match algorithms in large query by humming music retrieval systems ［J］.Journal of Hunan University of Science ＆ Technology （Natural Science Edition），2009，24 （1）：81－86 （in Chinese）.［劉怡，郝云飛.大型音樂哼唱檢索系統(tǒng)中的近似匹配算法及性能評(píng)測 ［J］.湖南科技大學(xué)學(xué)報(bào) （自然科學(xué)版），2009，24 （1）：81－86.］

［5］YU Qi，JIANG Yongping，XU Du，et al.A kind of application hierarchical clustering in music retrieval ［J］.Computer Engineering and Applications，2011，47 （30）：113－115 （in Chinese）.［于琪，蔣永平，徐杜，等.一種分層聚類方法在音樂檢索中的應(yīng)用［J］.計(jì)算機(jī)工程與應(yīng)用，2011，47 （30）：113－115.］

［6］WANG Xiaofeng，GENG Guohua，LIU Xiaoning，et al.Multisentencemusic retrieval algorithm based on relative features［J］.Application Research of Computers，2011，28 （3）：918－920（in Chinese）.［王小鳳，耿國華，劉曉寧，等.基于相對(duì)特征的音樂哼唱多句檢索算法 ［J］.計(jì)算機(jī)應(yīng)用研究，2011，28（3）：918－920.］

［7］Park LAF，Ramamohanarao K.An analysis of latent semantic term self－correlation ［J］.ACM Transactions on Information Systems，2009，27 （2）：1－35.

［8］TAO Chao，TAN Yihua，PENG Bifa，et al.A probabilistic latent semantic analysis based classification for high resolution remotely sensed imagery ［J］.Acta Geodaetica et Cartographica Sinica，2011，40 （2）：156－162 （in Chinese）.［陶超，譚毅華，彭碧發(fā)，等.一種基于概率潛在語義模型的高分辨率遙感影像分類方法 ［J］.測繪學(xué)報(bào)，2011，40 （2）：156－162.］

［9］CHANG Jun，HU Ruimin，WANG Zhongyuan，et al.A correlation analysis method of latent semantic for semantic－based video retrieval［J］.Geomatics and Information Science of Wuhan University，2011，36 （11）：1256－1258 （in Chinese）.［常軍，胡瑞敏，王中元，等.基于隱含語義相關(guān)性分析的視頻語義檢索 ［J］.武漢大學(xué)學(xué)報(bào) （信息科學(xué)版），2011，36 （11）：1256－1258.］

［10］WANG Xinying，LV Tianyang，WANG Shengsheng，et al.3Dmodel retrieval based on latent semantic linear embedding［J］.Journal of Chinese Computer Systems，2010，31 （4）：761－765 （in Chinese）.［王新穎，呂天陽，王生生，等.一種基于潛在語義線性嵌入的三維模型檢索方法 ［J］.中國計(jì)算機(jī)系統(tǒng)雜志，2010，31 （4）：761－765.］