一種基于潛在語義分析的遷移學(xué)習(xí)方法

摘 要：遷移學(xué)習(xí)是研究如何利用大量的源領(lǐng)域標(biāo)記數(shù)據(jù)，幫助少量標(biāo)記甚至無標(biāo)記的相關(guān)領(lǐng)域來解決特征稀疏問題的一種方法。針對遷移學(xué)習(xí)的研究大多只是從特征項(xiàng)表層對數(shù)據(jù)進(jìn)行分析并沒有考慮到源領(lǐng)域與目標(biāo)領(lǐng)域之間的語義相關(guān)性問題，提出一種基于潛在語義分析的遷移學(xué)習(xí)方法。通過實(shí)驗(yàn)表明，本文算法可以較大提高分類器的精確度。

關(guān)鍵詞：遷移學(xué)習(xí)；機(jī)器學(xué)習(xí)；潛在語義分析；語義相關(guān)

1 潛在語義分析方法（LSA）

潛在語義分析是一種將文本信息組織成空間語義結(jié)構(gòu)的新模型，其基本思想是假設(shè)文本中的特征項(xiàng)與特征項(xiàng)之間存在某種聯(lián)系，通過對大量的文本集進(jìn)行統(tǒng)計(jì)分析，從中提取出特征項(xiàng)的上下文使用含義。

潛在語義分析的基本過程是：首先構(gòu)造典型特征項(xiàng)—文本矩陣M，然后應(yīng)用奇異值分解技術(shù)，把特征項(xiàng)匯和文本從高維空間降到了低維潛在語義空間。最后得到一個(gè)新的矩陣M’。潛在語義分析只取前k個(gè)最大的奇異值，而將剩余的值設(shè)為零。

2 基于潛在語義分析方法的遷移學(xué)習(xí)

2.1 數(shù)據(jù)的矩陣表示

潛在語義分析出發(fā)點(diǎn)是文本中的特征項(xiàng)與特征項(xiàng)之間存在某種聯(lián)系，采用統(tǒng)計(jì)計(jì)算的方法，對大量的文本進(jìn)行分析來尋找這種潛在的語義結(jié)構(gòu)。在遷移學(xué)習(xí)語義分析的實(shí)現(xiàn)方法中文本矩陣的元素值并不僅僅是詞頻信息以及對單個(gè)文本的貢獻(xiàn)度，它還體現(xiàn)著特征項(xiàng)在文本集中區(qū)別、分辨類標(biāo)簽的能力。因此對特征項(xiàng)權(quán)重的計(jì)算方法包括文本貢獻(xiàn)權(quán)重和類標(biāo)簽貢獻(xiàn)權(quán)重兩部分。最后將兩個(gè)權(quán)重相乘，得到最終特征項(xiàng)權(quán)重。

2.2 建立源領(lǐng)域與目標(biāo)領(lǐng)域之間的橋梁

由于兩個(gè)領(lǐng)域間的相似性，可能存在一個(gè)低維的潛在語義空間，成為連接源領(lǐng)域和目標(biāo)領(lǐng)域之間的橋梁，從而幫助完成源領(lǐng)域到目標(biāo)領(lǐng)域的分類方法的遷移。

本文采用潛在語義分析方法挖掘源領(lǐng)域與目標(biāo)領(lǐng)域中這一共同的低維潛在語義空間。使用奇異值分解技術(shù)，將源領(lǐng)域與目標(biāo)領(lǐng)域的高維數(shù)據(jù)特征表示，映射到低維潛在語義空間中。

2.3 源領(lǐng)域到目標(biāo)領(lǐng)域特征項(xiàng)的遷移

通過建立的低維潛在語義空間可得到文本和特征項(xiàng)的k維特征表示。但是在這個(gè)潛在空間中，源領(lǐng)域數(shù)據(jù)與目標(biāo)領(lǐng)域數(shù)據(jù)擁有共同的特征表示，這有利于計(jì)算、分析有用的特征項(xiàng)，進(jìn)而實(shí)現(xiàn)源領(lǐng)域中有用特征項(xiàng)到目標(biāo)領(lǐng)域的遷移。從源領(lǐng)域篩選有用特征項(xiàng)主要分兩步完成。首先要消除同義詞“噪音”影響，然后從源領(lǐng)域中查找有用特征項(xiàng)。通過兩步矩陣調(diào)整，即可得到目標(biāo)領(lǐng)域數(shù)據(jù)的新的特征表示。

2.4 算法描述（Tr_LSA）

輸入：兩個(gè)訓(xùn)練數(shù)據(jù)集Ta和Tb，一個(gè)未標(biāo)記的測試數(shù)據(jù)集S，一個(gè)傳統(tǒng)的分類器。

輸出：測試數(shù)據(jù)集S的標(biāo)簽

（1）對訓(xùn)練數(shù)據(jù)做去停用詞、詞干化等處理，得到特征項(xiàng)-文本矩陣M。（2）對矩陣M進(jìn)行奇異值分解，將M中特征項(xiàng)與文本映射到低維潛在語義空間，建立聯(lián)系Ta與Tb之間的橋梁。（3）去除“噪音”，從Ta中找出Tb中特征項(xiàng)的同義詞，調(diào)整矩陣M結(jié)構(gòu)；根據(jù)調(diào)整后的矩陣M，從Ta中找出遷移詞，再對矩陣M進(jìn)行調(diào)整。（4）分析調(diào)整后的矩陣M，得到目標(biāo)領(lǐng)域數(shù)據(jù)新的特征表示，利用傳統(tǒng)分類器，在訓(xùn)練數(shù)據(jù)集中得到一個(gè)最終分類器，對測試數(shù)據(jù)集S進(jìn)行分類。

由于Tr_LSA算法對特征項(xiàng)和文本的處理都是在低維空間中計(jì)算的，所以在一定程度上提高了算法的時(shí)間效率。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 數(shù)據(jù)集

本文使用20 newsgroups數(shù)據(jù)集，采用層次化的組織方式，包含7個(gè)頂級類別、20個(gè)子類別，并將其分成5組數(shù)據(jù)集。

3.2 對比算法

為了驗(yàn)證基于潛在語義分析的遷移學(xué)習(xí)方法的有效性，選取了傳統(tǒng)文本分類器SVM和NB做對比，并使用TrAdaBoost算法與本文方法作對比。表1展示了傳統(tǒng)分類器和遷移學(xué)習(xí)算法在不同數(shù)據(jù)集上精確度對比，可遷移學(xué)習(xí)算法在處理不同分布數(shù)據(jù)集時(shí)，其分類性能明顯優(yōu)于傳統(tǒng)分類器。另外，與TrAdaBoost算法相比，Tr_LSA算法也基本比TrAdaBoost算法的精度高。

表1 各種算法下實(shí)驗(yàn)精確度

數(shù)據(jù)集SVMNBTrAdaBoostTr_LSA

comp vs rec0.6330.6010.8140.865

rec vs sci0.7070.6230.7850.819

sci vs talk0.6280.5990.7920.820

comp vs sci0.6930.7040.8110.841

comp vs talk0.7140.7110.7950.840

4 結(jié)論

遷移學(xué)習(xí)方法放松了對訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)同分布假設(shè)的要求，利用相似領(lǐng)域的數(shù)據(jù)幫助目標(biāo)領(lǐng)域數(shù)據(jù)分類。本文提出一種基于潛在語義分析的遷移學(xué)習(xí)方法，首先通過對大量數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析，通過奇異值分解技術(shù)，對訓(xùn)練數(shù)據(jù)挖掘其深層的語義含義，得到源領(lǐng)域與目標(biāo)領(lǐng)域的一個(gè)低維的潛在語義空間。然后以此為橋梁，挖掘特征項(xiàng)與文本之間的關(guān)聯(lián)關(guān)系，去除同義詞”噪音”影響，進(jìn)而從源領(lǐng)域中篩選出與目標(biāo)領(lǐng)域文本關(guān)聯(lián)度較大的特征項(xiàng)，作為遷移詞。在大量實(shí)驗(yàn)數(shù)據(jù)中表明，本算法能較大提高分類的精確度。同時(shí)本算法的可擴(kuò)展性強(qiáng)，算法可擴(kuò)展性強(qiáng)，當(dāng)資源不斷增多，算法的時(shí)間復(fù)雜度與空間復(fù)雜度不會(huì)明顯增加。

[參考文獻(xiàn)]

[1]Dietterich T G，Domingos P，Getoor L，et al.Structured machine learning：the next ten years [J].Machine Learning，2008，73（1）：3-23.

[2]董秀杰.基于LSA的文本分析[D].北京理工大學(xué).2008.

[3]劉昌鈺，唐常杰，于中華，杜永萍，郭穎.基于潛在語義分析的BBS文本Bayes鑒別器[J].計(jì)算機(jī)學(xué)報(bào)，2004，27（4）：566-572.