采用語義分析的標(biāo)簽體系構(gòu)建方法

李娜,范正潔,郝傳洲,王平輝,陶敬,林杰

(1.西安交通大學(xué)智能網(wǎng)絡(luò)與網(wǎng)絡(luò)安全教育部重點實驗室,710049,西安;2.中國移動通信有限公司研究院大數(shù)據(jù)與IT技術(shù)研究所,100053,北京)

隨著大數(shù)據(jù)技術(shù)的深入研究與應(yīng)用,企業(yè)的專注點日益聚焦于怎樣利用大數(shù)據(jù)來為精準(zhǔn)營銷服務(wù),進(jìn)而深入挖掘潛在的商業(yè)價值[1-4],于是用戶畫像的概念也就應(yīng)運而生。所謂用戶畫像,即用戶信息的標(biāo)簽化,利用標(biāo)簽體系勾畫用戶的屬性特征[5]。精準(zhǔn)、細(xì)粒度且結(jié)構(gòu)化的標(biāo)簽體系是用戶畫像的基礎(chǔ),其廣度和粒度對用戶畫像的精確性有較大影響,因此標(biāo)簽體系的構(gòu)建具有一定的研究意義和應(yīng)用價值。

早期比較流行的標(biāo)簽體系構(gòu)建方法均基于Golder所提出的協(xié)同標(biāo)簽體系[6];Yeung和Tahar等利用分眾分類法構(gòu)建標(biāo)簽體系[7-8];Cai等先后提出利用協(xié)同標(biāo)簽系統(tǒng)不同標(biāo)簽權(quán)重的結(jié)構(gòu)化和非結(jié)構(gòu)化標(biāo)簽來構(gòu)建標(biāo)簽體系[9-10]。協(xié)同標(biāo)簽體系描述眾多用戶以標(biāo)簽形式向共享內(nèi)容添加元數(shù)據(jù)的過程,大多知名網(wǎng)站允許用戶公開標(biāo)簽和共享內(nèi)容,用戶不僅可以為自己的信息分類,也可以瀏覽他人的分類信息,故協(xié)同標(biāo)簽體系的構(gòu)建受到個人和公共兩方面因素的影響。由于個人背景知識以及描述文字的習(xí)慣不同,不同用戶對同一網(wǎng)頁可能添加不同的標(biāo)簽,致使最終的標(biāo)簽體系存在重復(fù)和結(jié)構(gòu)層次不明顯的問題。隨著本體的發(fā)展,利用本體構(gòu)建標(biāo)簽體系的研究也逐漸增多,Skillen、Maleszka和Ferreira等利用現(xiàn)有本體框架人工或自動化地構(gòu)建本體以生成標(biāo)簽體系[11-13],但目前基于本體所得到的標(biāo)簽體系準(zhǔn)確度低,存在冗余或者缺失以及結(jié)構(gòu)問題。此外,本體的構(gòu)建需要大量人工參與,成本較高。Farseev等基于主題模型[14-15]構(gòu)建標(biāo)簽體系,但這種標(biāo)簽體系粒度較粗,不利于精準(zhǔn)畫像。

針對上述問題,本文基于主流網(wǎng)站的導(dǎo)航標(biāo)簽,提出一種標(biāo)簽體系融合方法以構(gòu)建細(xì)粒度結(jié)構(gòu)化的標(biāo)簽體系。主流網(wǎng)站的導(dǎo)航標(biāo)簽是經(jīng)過專家仔細(xì)分析,并結(jié)合廣大網(wǎng)民的用戶體驗進(jìn)行優(yōu)化而得,故網(wǎng)站導(dǎo)航標(biāo)簽?zāi)軌蚓珳?zhǔn)勾畫用戶的行為屬性,進(jìn)而為用戶畫像打下基礎(chǔ)。

本文根據(jù)標(biāo)簽文本特征、結(jié)構(gòu)特征以及標(biāo)簽對應(yīng)的網(wǎng)頁文本特征,提出一種基于語義特征分析的標(biāo)簽融合方法(TMSFA)。該方法通過識別標(biāo)簽間的等同和上下位這兩種映射關(guān)系,對主流網(wǎng)站的導(dǎo)航標(biāo)簽進(jìn)行融合,進(jìn)而構(gòu)建出精準(zhǔn)、細(xì)粒度且結(jié)構(gòu)化的標(biāo)簽體系。

1 標(biāo)簽體系構(gòu)建方法

第一層級標(biāo)簽稱作根標(biāo)簽,每個根標(biāo)簽及其所有子孫標(biāo)簽稱作一個標(biāo)簽樹。本文方法三階段流程如圖1所示,其基本思想是將標(biāo)簽樹兩兩融合,將待融合標(biāo)簽樹插入到基準(zhǔn)標(biāo)簽樹中,通過找到待融合標(biāo)簽與基準(zhǔn)標(biāo)簽的等同映射關(guān)系和上下位映射關(guān)系,從而構(gòu)建出融合后的標(biāo)簽體系。本文方法分為數(shù)據(jù)處理、標(biāo)簽映射以及標(biāo)簽融合3個階段。

在數(shù)據(jù)處理階段,首先從網(wǎng)站中獲取原始標(biāo)簽體系,并基于爬蟲獲取標(biāo)簽對應(yīng)的網(wǎng)頁文本,以豐富標(biāo)簽語義;其次根據(jù)標(biāo)簽體系內(nèi)容并結(jié)合分組條件對標(biāo)簽樹進(jìn)行聚類分組,分組條件一是當(dāng)兩個標(biāo)簽樹的根標(biāo)簽相同分為一組,分組條件二是當(dāng)標(biāo)簽樹的根標(biāo)簽不同但子標(biāo)簽內(nèi)容相似則分為一組;最后根據(jù)標(biāo)簽樹的層數(shù)、葉子標(biāo)簽及非葉子標(biāo)簽的數(shù)量判斷融合順序,標(biāo)簽樹層數(shù)越多則標(biāo)簽的劃分結(jié)構(gòu)粒度越細(xì),葉子標(biāo)簽的數(shù)量越多則標(biāo)簽樹描述的子領(lǐng)域越廣,非葉子標(biāo)簽的數(shù)量越多則標(biāo)簽的劃分粒度越細(xì)。

在標(biāo)簽映射和標(biāo)簽融合階段,基于標(biāo)簽間的等同映射關(guān)系和上下位映射關(guān)系去除標(biāo)簽體系中重復(fù)以及結(jié)構(gòu)相同的標(biāo)簽,然后將待融合標(biāo)簽樹插入到基準(zhǔn)標(biāo)簽樹中,進(jìn)而構(gòu)建出融合后的標(biāo)簽體系。

2 等同關(guān)系標(biāo)簽映射

標(biāo)簽間的等同關(guān)系是指兩個標(biāo)簽語義相同,對應(yīng)的網(wǎng)頁內(nèi)容相似。在識別標(biāo)簽的等同關(guān)系時,主要存在以下兩個難點:一是不同原始標(biāo)簽體系的標(biāo)簽詞義表達(dá)方式不同,例如“釣魚用品”“垂釣用品”和“彩寶”“彩色寶石”等;二是上級標(biāo)簽對下級標(biāo)簽的語義具有約束力,例如標(biāo)簽“洗發(fā)水”的上級標(biāo)簽有“洗發(fā)護(hù)發(fā)”“男士洗護(hù)”兩種,此時標(biāo)簽的語義截然不同。

本文基于標(biāo)簽體系的語義和結(jié)構(gòu)提出兩種方法以解決上述難點,一是通過判斷標(biāo)簽對應(yīng)網(wǎng)頁內(nèi)容是否相似;二是同時分析標(biāo)簽及其上級標(biāo)簽的語義信息,基于這兩種方法可得到眾多等同關(guān)系標(biāo)簽對,本文取這些等同關(guān)系標(biāo)簽對的并集作為最終識別的等同關(guān)系標(biāo)簽對。

四級標(biāo)簽體系樹狀圖如圖2所示,其中一級標(biāo)簽指所有標(biāo)簽樹的第1級根標(biāo)簽,如標(biāo)簽a1～a2;二級標(biāo)簽指所有標(biāo)簽樹的第2層級標(biāo)簽,如標(biāo)簽b1～b4;三級標(biāo)簽指所有標(biāo)簽樹的第3層級標(biāo)簽,如標(biāo)簽c1～c8;四級標(biāo)簽指所有標(biāo)簽樹的第4層級標(biāo)簽,如標(biāo)簽d1～d4。

2.1 基于標(biāo)簽語義的等同關(guān)系映射方法

基于標(biāo)簽語義比較待融合標(biāo)簽與基準(zhǔn)標(biāo)簽是否“相同”,若“相同”則將待融合標(biāo)簽和基準(zhǔn)標(biāo)簽的父標(biāo)簽及祖父標(biāo)簽進(jìn)行兩兩比較,存在一對“相同”則說明待融合標(biāo)簽與基準(zhǔn)標(biāo)簽具有等同關(guān)系。

待融合標(biāo)簽A和基準(zhǔn)標(biāo)簽B分別由n和m個字組成,表示為A1,A2,…,An和B1,B2,…,Bm,其中Ai(i=1,2,…,n)、Bj(j=1,2,…,m)分別表示組成標(biāo)簽A和B的字。逐個比較標(biāo)簽A和B的字,假設(shè)標(biāo)簽A和B中重復(fù)的字的個數(shù)為h,則標(biāo)簽A和B的相似度為h/n,若相似度大于基于統(tǒng)計分析設(shè)定的閾值,則說明這兩個標(biāo)簽是“相同”的。

2.2 基于附加語義的等同關(guān)系映射方法

基于標(biāo)簽對應(yīng)的網(wǎng)頁文本內(nèi)容的相似性來判斷標(biāo)簽的等同關(guān)系?；诰W(wǎng)頁文本語義獲得標(biāo)簽的向量表示,輸入為每個標(biāo)簽對應(yīng)的k個網(wǎng)頁標(biāo)題,通過句子向量表示模型(Sentence2Vec)[16]。獲得每個標(biāo)題的句子向量表示為s1,s2,…,sn,則標(biāo)簽表示為

(1)

待融合標(biāo)簽A與基準(zhǔn)標(biāo)簽B的向量表示分別為SA和SB,其余弦相似度為

(2)

當(dāng)余弦相似度大于基于統(tǒng)計分析設(shè)定的閾值時,說明待融合標(biāo)簽A與基準(zhǔn)標(biāo)簽B具有等同關(guān)系。

3 上下位關(guān)系標(biāo)簽映射

上下位關(guān)系是指兩個標(biāo)簽的語義之間存在包含與被包含的關(guān)系,下位詞是上位詞的一個特殊實例或者一個子類。如圖3所示,待融合標(biāo)簽“鮮花餅”的上級標(biāo)簽為“休閑食品”,標(biāo)簽“鮮花餅”會跟隨其上級標(biāo)簽“休閑食品”融合到“鮮花餅1”的位置,但是“餅干糕點”是“鮮花餅”更為準(zhǔn)確的上位詞,故標(biāo)簽“鮮花餅”應(yīng)融合到“鮮花餅2”的位置。

基于標(biāo)簽對應(yīng)的網(wǎng)頁文本內(nèi)容提出兩種上下位標(biāo)簽映射方法:一是通過判斷待融合標(biāo)簽對應(yīng)的網(wǎng)頁標(biāo)題中包含基準(zhǔn)標(biāo)簽的比例來判斷上下位關(guān)系;二是通過判斷待融合標(biāo)簽與基準(zhǔn)標(biāo)簽的子標(biāo)簽的相關(guān)性來判斷上下位關(guān)系。

圖3 基于上下位關(guān)系的標(biāo)簽融合示意圖

3.1 基于網(wǎng)頁標(biāo)簽包含關(guān)系的上下位標(biāo)簽映射方法

標(biāo)簽對應(yīng)的網(wǎng)頁標(biāo)題通常會包含其上級標(biāo)簽,利用這個特點判斷兩個標(biāo)簽是否存在上下位關(guān)系。待融合標(biāo)簽A的對應(yīng)的網(wǎng)頁標(biāo)題個數(shù)為p,若網(wǎng)頁標(biāo)題中有q個標(biāo)題包含基準(zhǔn)標(biāo)簽B,則包含比例為

(3)

當(dāng)包含比例大于基于統(tǒng)計分析設(shè)定的閾值時,則說明待融合標(biāo)簽A與基準(zhǔn)標(biāo)簽B具有上下位關(guān)系。

3.2 基于標(biāo)簽間相關(guān)性的上下位標(biāo)簽映射方法

如圖2所示,“鮮花餅”與“餅干糕點”的子標(biāo)簽“曲奇餅干”和“沙琪瑪”有一定的相關(guān)性,也就是子標(biāo)簽間存在著一定的相關(guān)性,據(jù)此判斷兩個標(biāo)簽是否存在上下位關(guān)系。計算待融合標(biāo)簽與所有包含子標(biāo)簽的基準(zhǔn)標(biāo)簽的相關(guān)性,當(dāng)最大相關(guān)性大于基于統(tǒng)計分析設(shè)定的閾值時,則說明待融合標(biāo)簽A與基準(zhǔn)標(biāo)簽B具有上下位關(guān)系。基于子標(biāo)簽的向量表示分別計算標(biāo)簽A與標(biāo)簽B以及子標(biāo)簽的余弦相似度C(SA,SB),C(SA,SB1),…,C(SA,SBn),則標(biāo)簽A和B的相關(guān)性為

(4)

4 實驗與分析

4.1 實驗設(shè)置

目前用戶訪問的網(wǎng)站類型主要包括門戶、金融、電商3類,故從這3類網(wǎng)站中分別選擇兩個主流網(wǎng)站導(dǎo)航作為原始標(biāo)簽體系進(jìn)行融合,其中門戶網(wǎng)站選擇新浪網(wǎng)和搜狐網(wǎng),金融網(wǎng)站選擇中金在線和東方財富網(wǎng),電商網(wǎng)站選擇天貓和蘇寧易購,詳情見表1。

表1 三類網(wǎng)站標(biāo)簽體系中各級標(biāo)簽分布

為了測試融合方法得到的標(biāo)簽體系的準(zhǔn)確性,本文提出標(biāo)簽重合度和上下位關(guān)系重合度兩個指標(biāo)來驗證融合方法的效果。

所謂標(biāo)簽重合度指標(biāo),即通過計算融合后標(biāo)簽體系與測試標(biāo)簽體系的標(biāo)簽重合比例來說明兩個標(biāo)簽體系的內(nèi)容差異,它是一種標(biāo)簽內(nèi)容相似的度量。融合標(biāo)簽體系和測試標(biāo)簽體系中標(biāo)簽的個數(shù)分別為NL、NT,相同的標(biāo)簽個數(shù)為Nsame,則標(biāo)簽重合度為

(5)

所謂上下位關(guān)系重合度指標(biāo),即通過計算融合后標(biāo)簽體系與測試標(biāo)簽體系的上下位關(guān)系相同比例來說明兩個標(biāo)簽體系的結(jié)構(gòu)差異,它是一種標(biāo)簽上下位關(guān)系的度量。融合標(biāo)簽體系和測試標(biāo)簽體系中樹枝個數(shù)分別為ML、MT,測試標(biāo)簽體系中與融合標(biāo)簽體系中相同的樹枝的個數(shù)為Msame,則上下位關(guān)系重合度為

(6)

測試標(biāo)簽體系是從上述原始標(biāo)簽體系中隨機(jī)抽取若干個標(biāo)簽進(jìn)行分組,在20多位老師和同學(xué)的幫助下人工融合標(biāo)簽并校正,得到最終的測試標(biāo)簽體系。

對于電商網(wǎng)站,本文將“家居家紡”“母嬰玩具”和“個護(hù)化妝”3個分組的原始標(biāo)簽人工融合得到電商測試標(biāo)簽體系;對于金融網(wǎng)站,將“理財中心”和“股票中心”兩個分組的原始標(biāo)簽人工融合得到金融測試標(biāo)簽體系;對于門戶網(wǎng)站,將“頻道”分組中的“新聞”“體育”“娛樂”“科技”“女人”“健康”“房產(chǎn)”“星座”和“旅游”這些小組的原始標(biāo)簽人工融合得到門戶測試標(biāo)簽體系。三類網(wǎng)站標(biāo)簽體系中原始及測試標(biāo)簽數(shù)的統(tǒng)計情況見表2,以電商為例,電商網(wǎng)站原始標(biāo)簽體系共有6 039個標(biāo)簽,抽取其中1 265個標(biāo)簽進(jìn)行融合,得到的測試標(biāo)簽體系共有934個標(biāo)簽。

表2 三類網(wǎng)站標(biāo)簽體系中原始及測試標(biāo)簽數(shù)

4.2 實驗結(jié)果

為了進(jìn)一步說明本文方法的優(yōu)越性,采用基于同義詞林的融合方法(TMC)與之進(jìn)行對比。TMC方法基于同義詞林和標(biāo)簽文本層面的相似性來判斷標(biāo)簽映射關(guān)系,進(jìn)而融合標(biāo)簽體系。

在同一臺計算機(jī)上使用相同數(shù)據(jù)對本文方法和TMC方法進(jìn)行對比,首先基于這兩種方法分別將門戶、金融、電商網(wǎng)站的原始標(biāo)簽體系進(jìn)行融合,然后將融合后的標(biāo)簽體系分別與測試標(biāo)簽體系進(jìn)行比對,最后計算出標(biāo)簽重合度和上下位關(guān)系重合度,對比結(jié)果及時間頻度見表3、表4。

表3 本文和TMC方法在評價指標(biāo)上的比較

表4 本文與TMC方法的時間頻度對比

針對電商類網(wǎng)站,基于本文方法融合天貓和蘇寧的標(biāo)簽體系得到1 041個標(biāo)簽,并與測試標(biāo)簽體系進(jìn)行對比,標(biāo)簽重合度和上下位關(guān)系重合度分別為89.4%、88.4%,而TMC方法的結(jié)果是79.8%和80.9%。電商類網(wǎng)站的標(biāo)簽體系結(jié)構(gòu)復(fù)雜,經(jīng)常會出現(xiàn)待融合標(biāo)簽所在的結(jié)構(gòu)粒度粗而相應(yīng)所屬基準(zhǔn)標(biāo)簽粒度細(xì)的情況,這就需要拆分待融合標(biāo)簽子樹并將其映射到基準(zhǔn)標(biāo)簽體系中,但難點在于如何判斷待融合標(biāo)簽與基準(zhǔn)標(biāo)簽的映射關(guān)系,故造成上下位關(guān)系重合度相對標(biāo)簽重合度較低。針對金融類網(wǎng)站,基于本文方法將東方財富和中金在線的標(biāo)簽體系進(jìn)行融合得到504個標(biāo)簽,并與測試標(biāo)簽樹進(jìn)行對比,標(biāo)簽重合度和上下位關(guān)系重合度分別為85.5%,90.2%,而TMC方法的結(jié)果是76.7%和88.4%。針對門戶類網(wǎng)站,基于本文方法將新浪和搜狐的標(biāo)簽體系進(jìn)行融合,得到232個標(biāo)簽,并與測試標(biāo)簽體系進(jìn)行對比,標(biāo)簽重合度和上下位關(guān)系重合度分別為90.0%、95.3%,而TMC方法的結(jié)果是80.1%和90.3%。由于詞語描述差異比較大,門戶類網(wǎng)站和金融類網(wǎng)站難以精準(zhǔn)判斷標(biāo)簽之間是否存在等同關(guān)系,故上下位關(guān)系重合度相比于標(biāo)簽重合度較高。

在時間復(fù)雜度方面,本文方法和TMC方法的時間復(fù)雜度均為O(n2)。從表4可以看出,兩種方法的時間頻度相差無幾,但從表3可以看出,與TMC方法相比,本文方法的效果有較大的提升,并且本文方法得到的融合后標(biāo)簽體系相對于TMC方法的標(biāo)簽體系的標(biāo)簽數(shù)量較少,說明識別的融合標(biāo)簽對數(shù)更多。無論從等同關(guān)系識別還是上下位關(guān)系識別,本文方法都有一定的提升且具備一定的準(zhǔn)確性,而且相對已有構(gòu)建標(biāo)簽體系方法得到的標(biāo)簽體系而言更為全面、結(jié)構(gòu)化。

5 結(jié) 論

本文方法將不同網(wǎng)站的導(dǎo)航標(biāo)簽體系進(jìn)行融合得到統(tǒng)一且結(jié)構(gòu)化的標(biāo)簽體系,為精準(zhǔn)用戶畫像打下基礎(chǔ)。本文方法基于標(biāo)簽間的等同關(guān)系和上下位關(guān)系來判斷標(biāo)簽的融合位置,由于標(biāo)簽本身詞語短小且包含的語義信息較少,本文不僅分析標(biāo)簽本身的語義信息,還結(jié)合其對應(yīng)網(wǎng)頁文本的語義信息及標(biāo)簽上下級結(jié)構(gòu)關(guān)系信息以豐富標(biāo)簽語義,進(jìn)而判斷標(biāo)簽間的映射關(guān)系。本文提出標(biāo)簽重合度和上下位關(guān)系重合度兩個指標(biāo)以評估本文方法的優(yōu)越性,與現(xiàn)有方法相比,本文方法的這兩個指標(biāo)至少提升5%,證明了方法的有效性。采用本文方法可以構(gòu)建出精準(zhǔn)有效且適應(yīng)不同領(lǐng)域的標(biāo)簽體系。