基于生成對抗網(wǎng)絡(luò)的音樂標(biāo)簽自動(dòng)標(biāo)注

陳培培 邵曦

摘要 針對如何快速有效地對音樂信息進(jìn)行查詢、檢索和組織的問題，提出了一種基于生成對抗網(wǎng)絡(luò)模型的多標(biāo)簽音樂自動(dòng)標(biāo)注系統(tǒng).通過音樂自動(dòng)語義標(biāo)注技術(shù)，可以提高音樂檢索系統(tǒng)的性能.利用LDA方法對音樂標(biāo)簽進(jìn)行聚類以獲取主題類別，再通過生成對抗網(wǎng)絡(luò)，找到音樂的音頻特征與語義特征之間的映射關(guān)系.應(yīng)用于CAL500數(shù)據(jù)集的5次交叉驗(yàn)證實(shí)驗(yàn)結(jié)果表明，該方法的綜合性能指標(biāo)與現(xiàn)有方法相比有較大的提升.

關(guān)鍵詞

音樂自動(dòng)標(biāo)注;LDA模型;生成對抗網(wǎng)絡(luò)

中圖分類號? TN912

文獻(xiàn)標(biāo)志碼? A

0 引言

隨著數(shù)字技術(shù)的飛速發(fā)展，人們會把海量的音樂資源上傳到網(wǎng)上，因此音樂信息檢索（MIR）系統(tǒng)得到的關(guān)注越來越多，但也給其處理音樂數(shù)據(jù)庫帶來了難度和挑戰(zhàn).目前，音樂檢索系統(tǒng)的實(shí)現(xiàn)方法通常有兩種，分別是基于內(nèi)容的音樂分析及檢索和基于文本的音樂分析及檢索[1] .前者主要是從音頻文件中提取音頻特征（如頻譜、節(jié)奏、音色和音調(diào)等）并利用這些特征進(jìn)行相似度匹配.類似于圖像視覺特征和圖像語義間存在的巨大鴻溝使得基于相似度的圖像檢索效果并不理想;由于可計(jì)算的音頻特征與高層語義間也存在語義鴻溝，使得準(zhǔn)確性通常不盡如人意，且系統(tǒng)的實(shí)現(xiàn)也較復(fù)雜.而后者由于是基于文本實(shí)現(xiàn)的，僅需采用文本信息（如音樂元數(shù)據(jù)、歌詞和用戶標(biāo)簽等）對音樂進(jìn)行索引和檢索，所以其過程與前者相比要簡單得多.

隨著Web2.0的發(fā)展，網(wǎng)絡(luò)為多媒體信息提供了大量的用戶標(biāo)注的社會化標(biāo)簽，使得基于語義標(biāo)簽的音樂檢索在許多應(yīng)用場景中成為流行而實(shí)用的方法[2] ，例如基于標(biāo)簽的歌曲相似度計(jì)算、基于用戶查詢的相似歌曲列表推薦等，可以滿足不同群體在不同環(huán)境中的需求.一些音樂推薦網(wǎng)站也將人工標(biāo)簽作為檢索歌曲和導(dǎo)航的重要機(jī)制.由于網(wǎng)絡(luò)用戶標(biāo)簽的隨意性和模糊性，音樂檢索或推薦系統(tǒng)通常存在“冷啟動(dòng)”問題，因此利用統(tǒng)計(jì)學(xué)習(xí)算法進(jìn)行高效的自動(dòng)標(biāo)注在當(dāng)下顯得尤為重要[3] .

目前，主流的自動(dòng)標(biāo)注方法是通過學(xué)習(xí)歌曲的音樂內(nèi)容來建立語義模型的.其中，有一類方法是基于判別模型的，如提升方法（boosting）[4] 、隱馬爾可夫模型（HMM）[5] 和支持向量機(jī)（SVMs）[6] ，這類方法會學(xué)習(xí)如何根據(jù)音樂內(nèi)容識別單個(gè)標(biāo)簽.然而，由于分配給每個(gè)標(biāo)簽?zāi)Ｐ偷念悩?biāo)簽不是均等表示的，這類方法會遇到不平衡的數(shù)據(jù)問題.另一類音樂自動(dòng)標(biāo)注方法是基于生成模型的.它們通過統(tǒng)計(jì)建模方法，可以從相關(guān)音頻文件中學(xué)習(xí)到特定標(biāo)簽的特征分布，這些方法有高斯混合模型（GMMs）[7] 、碼字伯努利平均模型（CBAM）[8] 以及狄利克雷混合模型（DMM）[9] .基于這些標(biāo)簽?zāi)Ｐ?，?dāng)標(biāo)注未知音樂時(shí)，自動(dòng)標(biāo)注系統(tǒng)會生成關(guān)于音樂標(biāo)簽權(quán)重的向量.這個(gè)向量可被看作是一個(gè)多項(xiàng)式概率分布，用來表征每個(gè)標(biāo)簽與特定音頻的相關(guān)性.然而，由于基于音樂內(nèi)容的語義模型都是針對每個(gè)標(biāo)簽獨(dú)立建模的，所以會造成標(biāo)簽間的聯(lián)系產(chǎn)生的音樂上下文信息的丟失，這對于那些跟音頻特征關(guān)聯(lián)性較大的流派類標(biāo)簽的自動(dòng)標(biāo)注效果較好，而對于諸如情緒等主觀性較強(qiáng)的標(biāo)簽則很難學(xué)習(xí)和訓(xùn)練.

近年來，深度學(xué)習(xí)備受關(guān)注，并且在計(jì)算機(jī)視覺和自然語言處理領(lǐng)域已取得了很好的效果.深度學(xué)習(xí)是具有多層結(jié)構(gòu)的機(jī)器學(xué)習(xí)算法，它能夠有效地表征特征的潛在結(jié)構(gòu)，其中深度置信網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)就是兩種典型的算法.在音樂信息檢索領(lǐng)域，深度學(xué)習(xí)也被研究人員越來越多地應(yīng)用于自動(dòng)標(biāo)注.如Lee等[10] 提出了基于卷積深度置信網(wǎng)絡(luò)的頻譜學(xué)習(xí)和音樂分類算法;Sigtia等[11] 用深度神經(jīng)網(wǎng)絡(luò)進(jìn)行音樂流派分類;Choi等[12] 提出了用完全卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行音樂自動(dòng)標(biāo)注.

自Goodfellow等[13] 在2014年提出生成式對抗網(wǎng)絡(luò)GAN（Generative Adversarial Networks）后，各種基于GAN的衍生模型被提出，GAN已經(jīng)成為人工智能學(xué)界一個(gè)熱門的研究方向.本文主要應(yīng)用LDA[14] （Latent Dirichlet Allocation，潛在狄利克雷分配模型）和GAN兩個(gè)模型實(shí)現(xiàn)音樂自動(dòng)標(biāo)注系統(tǒng).研究重點(diǎn)主要在兩個(gè)方面，一是利用LDA模型將音樂標(biāo)簽聚類以獲取主題類別，用主題向量表示歌曲的語義特征;二是應(yīng)用GAN的衍生模型InfoGAN[15] ，通過訓(xùn)練這個(gè)網(wǎng)絡(luò)，找到音樂的音頻特征和語義特征之間的映射關(guān)系，從而實(shí)現(xiàn)對歌曲標(biāo)簽的標(biāo)注.

1? 基于生成對抗網(wǎng)絡(luò)的音樂自動(dòng)語義標(biāo)注方法

本文所提的音樂自動(dòng)標(biāo)注系統(tǒng)的框架如圖1所示.訓(xùn)練過程如下：首先，從音頻文件中提取出歌曲的音頻特征;其次，通過潛在語義建模，將上下文空間中的音樂標(biāo)簽建模為潛在概念空間;最后，將音樂的音頻特征和語義特征通過生成對抗網(wǎng)絡(luò)訓(xùn)練，找出它們之間的映射關(guān)系.在測試過程中，將未標(biāo)注歌曲的音頻特征通過生成對抗網(wǎng)絡(luò)，由此得到該歌曲的預(yù)測標(biāo)簽.

1.1 基于LDA模型的語義建模

音樂標(biāo)簽矩陣包含了歌曲跟標(biāo)簽之間相關(guān)性大小的信息.如圖2所示，矩陣 A 表示音樂標(biāo)簽矩陣，并且矩陣的每一列取得每一首歌曲的所有人工標(biāo)注信息.通過把所有標(biāo)注者針對每一個(gè)標(biāo)簽的標(biāo)注值取平均，可以得到每首歌曲的標(biāo)注向量.因此，可以推斷如果有越多的標(biāo)注者用詞匯表中的特定詞語來標(biāo)注某首歌曲，那么在語義上描述該歌曲的那個(gè)詞語就越重要.一些傳統(tǒng)的語義模型已經(jīng)被用來從音樂的社會標(biāo)簽中探索新的語義，比如基本矢量模型、潛在語義分析和Aspect模型.但是，這些傳統(tǒng)模型在一些特定任務(wù)上表現(xiàn)得不是很好.本文提出用潛在狄利克雷分配模型（LDA）在社會標(biāo)簽中對語義進(jìn)行建模.LDA模型目前在文本挖掘領(lǐng)域包括文本主題識別、文本分類以及文本相似度計(jì)算方面都有應(yīng)用，這里用LDA給音樂標(biāo)簽聚類，以獲取其潛在的語義信息.

LDA是一種文檔生成模型.它認(rèn)為一篇文章是有多個(gè)主題的，而這個(gè)主題又對應(yīng)著不同的詞.一篇文章的構(gòu)造過程，首先是以一定的概率選擇某個(gè)主題，然后再在這個(gè)主題下以一定的概率選出某一個(gè)詞，這樣就生成了這篇文章的第1個(gè)詞.不斷重復(fù)這個(gè)過程，就生成了整篇文章.LDA的使用是上述文檔生成的逆過程，它將根據(jù)得到的一篇文章，去尋找出這篇文章的主題，以及這些主題對應(yīng)的詞.LDA模型的結(jié)構(gòu)如圖3所示.其中α和β都為 Dirichlet 分布的超參數(shù)，在實(shí)驗(yàn)中使用默認(rèn)值1/k（k為隱含主題數(shù)）; θ 是一個(gè)主題向量，向量的每一列表示每個(gè)主題在文檔出現(xiàn)的概率，該向量為非負(fù)歸一化向量;p（ θ ）是 θ 的分布，具體為 Dirichlet 分布;N表示要生成的文檔的單詞數(shù);w n表示生成的第n個(gè)單詞w;z n表示選擇的主題;p（z| θ ）表示給定 θ 時(shí)主題z的概率分布，具體為 θ 的值，即p（z=i| θ ）= θ ?i;p（w|z）為主題z對應(yīng)一個(gè)單詞的概率分布.這種方法首先選定一個(gè)主題向量 θ ，確定每個(gè)主題被選擇的概率，然后在生成每個(gè)單詞的時(shí)候，從主題分布向量 θ 中選擇一個(gè)主題z，按主題z的單詞概率分布生成一個(gè)單詞.由圖3可知 LDA 的聯(lián)合概率為

p（ θ ，z，w|α，β）=p（ θ |α）∏ N n=1 p（z n| θ ）p（w n|z n，β）.??? （1）

將此模型用于給音樂標(biāo)簽聚類，那么M是整個(gè)音樂集，w便是單個(gè)標(biāo)簽.目標(biāo)便是得到每首歌曲的主題分布，以及各個(gè)主題下標(biāo)簽分布概率.把w當(dāng)作觀察變量， θ 和z當(dāng)作隱藏變量，就可以通過 EM 算法[16] 學(xué)習(xí)出α和β，求解過程中遇到后驗(yàn)概率p（ θ ，z|w）無法直接求解，需要找一個(gè)似然函數(shù)下界來近似求解，本文使用基于分解假設(shè)的變分法進(jìn)行計(jì)算，用到了 EM算法.每次E-step 輸入α和β，計(jì)算似然函數(shù)， M-step 最大化這個(gè)似然函數(shù)，算出α和β，不斷迭代直到收斂.

如圖2所示，可以使用LDA模型將音樂標(biāo)簽矩陣 A （m×n，n首歌曲和m個(gè)標(biāo)簽）分解表示為 P （m× k）和 Y （k×n）的兩個(gè)矩陣.矩陣 P 是標(biāo)簽矩陣的語義主題， P 的每一列可以看作是特定主題的標(biāo)簽?zāi)Ｊ?，而矩?Y 可以看作是主題重要性指標(biāo)矩陣，在k維的語義概念空間中， Y 的每個(gè)列向量 y ?i可以被認(rèn)為是特定歌曲i的關(guān)于主題分布的向量.

在音樂上下文建模后，矩陣 Y 的列向量{ y ?1，…， y ?i，…， y ?n}可以看作是音樂的上下文信息的潛在表示.

1.2 基于生成對抗網(wǎng)絡(luò)的音樂標(biāo)簽自動(dòng)標(biāo)注算法

生成對抗網(wǎng)絡(luò)GAN是利用相互競爭游戲的一種深度生成模型.它的目標(biāo)是學(xué)習(xí)生成器數(shù)據(jù)分布P g（x），使得該分布與真實(shí)的數(shù)據(jù)分布P ?data ?（x）盡量接近.在原始的 GAN 中，D網(wǎng)絡(luò)通過最大化判別真?zhèn)危℅網(wǎng)絡(luò)生成的偽造數(shù)據(jù)和真實(shí)數(shù)據(jù)）更新網(wǎng)絡(luò)參數(shù)，G網(wǎng)絡(luò)則是最大化欺騙D網(wǎng)絡(luò)，提高數(shù)據(jù)造假的能力.為了生成一個(gè)樣本，G使用了一個(gè)噪聲變量z作為網(wǎng)絡(luò)的輸入.因?yàn)镚網(wǎng)絡(luò)的輸入只有z，那么z就包含了生成一個(gè)樣本所需的全部信息.原始 GAN 沒有對生成器如何使用這個(gè)噪聲做出約束，訓(xùn)練出來的生成器，對于z的每一個(gè)維度不能很好地對應(yīng)到相關(guān)的語義特征.為了解決上述問題，本文使用 GAN的衍生模型InfoGAN 來實(shí)現(xiàn)音樂標(biāo)簽自動(dòng)標(biāo)注.

InfoGAN 的輸入噪聲向量由兩部分組成：1）z，可以看成是輸入噪聲向量;2）c，對應(yīng)于語義向量.通過定義一系列的結(jié)構(gòu)潛變量c 1，c 2，…，這一系列潛變量相互獨(dú)立，那么：

P（c 1，c 2，…，c L）=∏ L i=1 P（c i）.?? （2）

InfoGAN 使用的是一種無監(jiān)督的方法，讓生成網(wǎng)絡(luò)輸入噪聲變量z、潛變量c，即生成網(wǎng)絡(luò)可以表示成：G（z，c）.然而，在標(biāo)準(zhǔn)的 GAN 中，如果直接這樣作為網(wǎng)絡(luò)的輸入進(jìn)行訓(xùn)練，那么生成器將忽略潛變量c的作用，即P G（x|c）=P G（x），或者可以看成變量c與x相互獨(dú)立、不相關(guān).為了解決這個(gè)問題， InfoGAN 模型中加入了信息正則化約束項(xiàng)：潛變量c與生成樣本G（z，c）的互信息量應(yīng)該較大，即I（c;G（z，c））應(yīng)該較大.I（x，y）也可以看成X在給定Y與否的條件下不確定性的差值.如果X、Y相互獨(dú)立，那么I（X，Y）=0，反之如果X和Y相關(guān)性較大，那么I（X，Y）也較大.因此對于I（c;G（z，c））來說，如果想要讓它更大可以通過使P G（c|x）更小來實(shí)現(xiàn).為此在原始生成對抗網(wǎng)絡(luò) GAN 的損失函數(shù)V（D，G）的基礎(chǔ)上V（D，G）=E x～P ?data ??[ log ?D（x）]+E z～P z [ log （1-D（G（z）））]，提出加入正則約束I（c;G（z，c））：

min ??G ?max ??D V I（D，G）=V（D，G）-λI（c;G（z，c）），? （3）

也就是在生成網(wǎng)絡(luò)損失部分加入了互信息的懲罰.在實(shí)踐中，如果直接最大化I（c;G（z，c））很難，因?yàn)樾枰蠼夂篁?yàn)概率P（c|x）.可以定義Q（c|x）來逼近P（c|x），從而獲得p（c|x）的變分下界.根據(jù)變分推斷的理論，可以得到其下界函數(shù)如式（4）所示：

潛變量C的概率分布是人為設(shè)定的，H（c）不包含待優(yōu)化的參數(shù)，因此H（c）是一個(gè)常數(shù)，于是 InfoGAN 模型的損失函數(shù)，可以描述為

min ??G，Q ?max ??D V ?infoGAN ?（D，G，Q）= V（D，G）-λL I（G，Q）.??? （7）

在實(shí)踐中，用神經(jīng)網(wǎng)絡(luò)來參數(shù)化輔助分布Q（c|x），這也是一個(gè)判別模型網(wǎng)絡(luò)，就是給定輸入樣本x，判別對應(yīng)的類別（c對應(yīng)類別標(biāo)簽）.與D網(wǎng)絡(luò)的差別在于，D網(wǎng)絡(luò)用于判別真?zhèn)?與D網(wǎng)絡(luò)的共性是，Q與D是參數(shù)共享網(wǎng)絡(luò)，除了網(wǎng)絡(luò)的最后一層分類層之外，因?yàn)镈網(wǎng)絡(luò)的最后一層是二分類，而Q網(wǎng)絡(luò)則可能是其他多分類.具體網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示.具體的算法描述如下：

輸入：隨機(jī)噪聲分布P z（z），潛變量c，真實(shí)樣本，判別器D的迭代次數(shù)r（默認(rèn)為1），學(xué)習(xí)率l 1，生成器G的學(xué)習(xí)率l 2，分類器Q的學(xué)習(xí)率l 3，采樣維度t.

輸出：D的網(wǎng)絡(luò)參數(shù)w，G的網(wǎng)絡(luò)參數(shù)u，Q的網(wǎng)絡(luò)參數(shù)v.

Step0：初始化： w 0，u 0，v 0.

Step1：while ?u ?未收斂do.

Step2： D ：For ?j=0，1，2，…，r ?do.

Step3：從隨機(jī)噪聲分布 P z（z）和潛變量c中分別采樣t個(gè)樣本{z（i） } t i=1 ，{c（i） } t i=1 .

Step4：從真實(shí)數(shù)據(jù)分布P ?data ?中采樣t個(gè)數(shù)據(jù)樣本{x（i） } t i=1 .

Step5：d w← w 1 t ∑ t i=1 [ log D（x（i） ）+ log （1-D（G（c（i） ，z（i） ）））].

Step6： w←w+l 1· SGD （w，d w）.

Step7：end for.

Step8：G：從隨機(jī)噪聲分布P z（z）和潛變量c中分別采樣t個(gè)樣本{z（i） } t i=1 ，{c（i） } t i=1 .

Step9：g u←- u 1 t ∑ t i=1 ?log （1-D（G（c（i） ，z（i） ）））.

Step10：u←u-l 2· SGD （u，g u）.

Step11：Q：將 Step8 中得到的假樣本作為Q網(wǎng)絡(luò)的輸入.

Step12：g u，q v ← {E x～G（z，c） [E c′～P（c|x） [ log Q（c′|x）]]}.

Step13：v←v-l 3· SGD （v，q v），u←u-l 3· SGD （u，g u）.

Step14：end while.

2 實(shí)驗(yàn)和分析

2.1 數(shù)據(jù)集的選擇

擬通過在CAL500數(shù)據(jù)集[7] 上進(jìn)行實(shí)驗(yàn)來評估本文所提出的自動(dòng)音樂標(biāo)記方法.CAL500是西方流行音樂的500首音樂曲目的集合，每首音樂至少由3位注釋人員手動(dòng)注釋.該數(shù)據(jù)集中有174個(gè)音樂相關(guān)的語義標(biāo)簽，包含了情緒、流派、樂器和聲樂特點(diǎn)等多個(gè)不同的語義種類.在本實(shí)驗(yàn)中，為了與其他方法的結(jié)果進(jìn)行比較，只考慮了78個(gè)標(biāo)簽，每一個(gè)標(biāo)簽至少標(biāo)記過50首歌曲.實(shí)驗(yàn)采用5折交叉驗(yàn)證，每首歌曲在測試中出現(xiàn)一次.

CAL500數(shù)據(jù)集提供了兩種注釋.一種是軟注釋，即對每首歌曲，把所有注釋者針對每個(gè)標(biāo)簽的注釋值取平均，這里使用軟注釋來實(shí)現(xiàn)上下文建模.另一個(gè)注釋是基于“基本事實(shí)”的二元注釋，即若值為1表示該標(biāo)簽標(biāo)注了該歌曲，若值為0則表示該標(biāo)簽沒有標(biāo)注該歌曲.

2.2 實(shí)驗(yàn)及結(jié)果分析

本文采用Matlab進(jìn)行程序開發(fā)，InfoGAN的網(wǎng)絡(luò)結(jié)構(gòu)通過全連接層實(shí)現(xiàn)，具體參數(shù)設(shè)置如表1和表2所示.音頻特征采用Mel倒譜系數(shù)來表示，本實(shí)驗(yàn)統(tǒng)一將音樂處理成采樣率16 kHz、wav格式、單聲道.對其進(jìn)行預(yù)處理時(shí)，將音頻通過32 ms的漢明窗，獲得每幀音頻信號的512個(gè)抽樣點(diǎn)，提取36維MFCC系數(shù).潛在語義c維數(shù)取決于標(biāo)簽主題數(shù)k，噪聲z維數(shù)這里選擇20維.在本實(shí)驗(yàn)中，上文已得到的每首歌曲的主題向量 y ?i即為潛在語義c.在測試時(shí)，音樂音頻特征通過Q網(wǎng)絡(luò)后得到的結(jié)果即是主題向量，用概率最高的幾個(gè)主題對應(yīng)概率最高的幾個(gè)標(biāo)簽作為測試曲目的標(biāo)簽.

本文用3個(gè)度量標(biāo)準(zhǔn)評估音樂標(biāo)記實(shí)驗(yàn)結(jié)果，即準(zhǔn)確率（P）、召回率（R）和F 1- measure ?.準(zhǔn)確率定義為歌曲被系統(tǒng)用標(biāo)簽w注釋并且在數(shù)據(jù)集中也確實(shí)被w所標(biāo)記.召回率定義為歌曲實(shí)際被標(biāo)簽w標(biāo)記并且通過系統(tǒng)后也由w標(biāo)記.F 1- measure ?是準(zhǔn)確率和召回率的調(diào)和平均值，其表達(dá)式為：

F 1- measure ?= 2PR P+R .? （8）

本文共設(shè)計(jì)了2組實(shí)驗(yàn)并進(jìn)行分析和統(tǒng)計(jì)，第1組是不同的標(biāo)簽潛在主題數(shù)k下，對音樂標(biāo)記結(jié)果的影響;第2組是將本文所提方法與另2種算法得到的實(shí)驗(yàn)結(jié)果進(jìn)行對比.

在第1組實(shí)驗(yàn)中，討論上下文建模中潛在主題的維數(shù)k對音樂自動(dòng)標(biāo)記任務(wù)的影響.為了評估主題數(shù)k的影響，在相同條件下（相同的音樂內(nèi)容分析設(shè)置），k分別取值為3，6，9，12進(jìn)行實(shí)驗(yàn).圖5顯示了音樂標(biāo)記的3個(gè)評估指標(biāo).由圖5可以看出，當(dāng)k取6時(shí)，音樂標(biāo)記的P，R和F 1- measure ?都表現(xiàn)最優(yōu).結(jié)果表明，音樂標(biāo)簽標(biāo)注的最佳性能是通過捕獲音樂社會標(biāo)簽的一些重要潛在主題來實(shí)現(xiàn)的.由于實(shí)驗(yàn)中設(shè)置的音樂標(biāo)簽并不包含過于豐富的語義，因此若潛在主題的數(shù)量太少，無法捕捉到音樂語境的變化，而潛在主題的數(shù)量過大，潛在主題的重載會過度驅(qū)散真正潛在話題的重要性.

在第2組實(shí)驗(yàn)中，本文選擇與具有代表性的模型HEM-GMM[7] 和HEM-DTM[17] 進(jìn)行對比.每種方法的3種度量標(biāo)準(zhǔn)的實(shí)驗(yàn)結(jié)果如表3所示，可見本文方法的3種度量標(biāo)準(zhǔn)的結(jié)果較好，進(jìn)一步證明了該解決方案的可行性.在最先進(jìn)的自動(dòng)標(biāo)記系統(tǒng)中，由于所使用的協(xié)議不同，本文沒有進(jìn)一步實(shí)驗(yàn)與文中所提方法進(jìn)行比較.

3 結(jié)束語

本文提出了基于生成對抗網(wǎng)絡(luò)的音樂自動(dòng)標(biāo)記方法，首先通過LDA模型捕捉隱藏在音樂上下文背后的語義，繼而利用生成對抗網(wǎng)絡(luò)找到音樂音頻特征與語義特征之間的映射關(guān)系.從實(shí)驗(yàn)結(jié)果可以看出，該算法在理論和實(shí)踐上都具有現(xiàn)實(shí)意義.總體而言，與以往的解決方案相比，本文提出的解決方案取得較好的效果，有一定的可行性.但限于時(shí)間、數(shù)據(jù)、計(jì)算機(jī)性能等因素，本文并未通過實(shí)驗(yàn)來證明解決方案的穩(wěn)定性.未來可以選擇更大規(guī)模的數(shù)據(jù)集進(jìn)行測試，也可以選擇更多的音頻特征，使得歌曲表示更具有準(zhǔn)確性，從而提高系統(tǒng)標(biāo)注性能.

參考文獻(xiàn)

References

[ 1 ]?Schedl M，Gómez E，Goto M.Multimedia information retrieval：music and audio[C]∥Proceedings of the 21st ACM International Conference on Multimedia.ACM，2013：1117-1118

[ 2 ] Levy ?M，Sandler M.Music information retrieval using social tags and audio[J].IEEE Transactions on Multimedia，2009，11（3）：383-395

[ 3 ]? 高天虹，馬恩云.效率與成本是數(shù)據(jù)采集迎接挑戰(zhàn)的關(guān)鍵[J].國外電子測量技術(shù)，2014，33（3）：6-8

GAO Tianhong，MA Enyun.Efficiency and cost are key to meeting data acquisition challenges[J].Foregin Electronic Measurement Technology，2014，33（3）：6-8

[ 4 ] Bertin-Mahieux T，Eck D，Maillet F，et al.Autotagger：a model for predicting social tags from acoustic features on large music databases[J].Journal of New Music Research，2008，37（2）：115-135

[ 5 ] Coviello E，Lanckriet G R，Chan A B.The variational hierarchical EM algorithm for clustering hidden Markov models[C]∥Advances in Neural Information Processing Systems.2012：404-412

[ 6 ] Mandel M I，Ellis D P W.Multiple-Instance Learning for Music Information Retrieval[C]∥Proceedings of ISMIR.2008：577-582

[ 7 ] Turnbull D，Barrington L，Torres D，et al.Semantic annotation and retrieval of music and sound effects[J].IEEE Transactions on Audio，Speech，and Language Processing，2008，16（2）：467-476

[ 8 ] Hoffman M D，Blei D M，Cook P R.Easy as CBA：a simple probabilistic model for tagging music[C]∥Proceedings of ISMIR，2009，9：369-374

[ 9 ] Miotto R，Lanckriet G.A generative context model for semantic music annotation and retrieval[J].IEEE Transactions on Audio，Speech，and Language Processing，2012，20（4）：1096-1108

[10] Lee H，Pham P，Largman Y，et al.Unsupervised feature learning for audio classification using convolutional deep belief networks[C]∥Advances in Neural Information Processing Systems.British Columbia，Canada：DBLP，2009：1096-1104

[11] Sigtia S，Dixon S.Improved music feature learning with deep neural networks[C]∥2014 IEEE International Conference on Acoustics，Speech and Signal Processing.USA：IEEE，2014：6959-6963

[12] Choi K，F(xiàn)azekas G，Sandler M.Automatic tagging using deep convolutional neural networks[EB/OL].[2016-05-10].https：∥arvix.org/abs/1606.00298

[13] Goodfellow I，Pouget-Abadie J，Mirza M，et al.Generative adversarial nets[C]∥Proceedings of the 2014 Conference on Advances in Neural Information Processing System.Montreal，Canada，2014：2672-2680

[14] Blei D M，Ng A Y，Jordan M I.Latent dirichlet allocation[J].The Journal of Machine Learning Research，2003，3：993-1022

[15] Chen X，Duan Y，Houthooft R，et al.Interpretable representation learning by information maximizing generative adversarial nets[C]∥Proceedings of the 2016 Neural Information Processing Systems.Barcelona，Spain：Department of Information Technology IMEC，2016：2172-2180

[16] Popescul A，Ungar L H，Pennock D，et al.Probabilistic models for unified collaborative and content-based recommendation in sparse-data environments[C]∥Proceedings of the Seventeenth Conference on Uncertainty in Artificial Intelligence.SanFrancisco：Morgan Kaufmann，2001

[17] Coviello E，Chan A B，Lanckriet G.Time series models for semantic music annotation[J].IEEE Transactions on Audio，Speech，and Language Processing，2011，19（5）：1343-1359

Music auto-tagging based on generative adversarial networks

CHEN Peipei 1 SHAO Xi 1

1 College of Communications and Information Engineering，Nanjing University of Posts and Telecommunications，Nanjing 210003

Abstract? For the problem of how to query，retrieve，and organize music information quickly and efficiently，the performance of the music retrieval system can be improved through automatic music annotation technology.In this study，a multi-label music automatic annotation system based on generative adversarial networks（GANs） is proposed.The LDA model is used to cluster the music tags to obtain thematic categories，and then the mapping relationship between the audio features and the semantic features of the music is found by the generative adversarial network.For experimental verification，when the method proposed in this paper was applied to the CAL500 dataset in five cross-validation experiments，the comprehensive performance index of the method was greatly improved compared with existing methods.

Key words? music automatic tagging;LDA model;generative adversarial network