牛振東, 劉沙
(1.北京理工大學(xué) 計算機科學(xué)技術(shù)學(xué)院,北京 100081;2.北京市海量語言信息處理與云計算應(yīng)用工程技術(shù)研究中心,北京 100081)
?
基于三層過濾的評價對象抽取
牛振東1,2, 劉沙1
(1.北京理工大學(xué) 計算機科學(xué)技術(shù)學(xué)院,北京 100081;2.北京市海量語言信息處理與云計算應(yīng)用工程技術(shù)研究中心,北京 100081)
針對互聯(lián)網(wǎng)中的產(chǎn)品評論信息,提出一種三層過濾的評價對象抽取方法. 該方法采用一個自舉式的抽取算法在評論文本中得到候選的評價對象和情感詞;利用評價對象與情感詞之間的關(guān)聯(lián)度對候選詞進行關(guān)聯(lián)置信度計算,提取關(guān)聯(lián)置信度高的評價對象以提高識別的準(zhǔn)確率;引入一個不相關(guān)的平行領(lǐng)域?qū)κS嗟暮蜻x詞進行領(lǐng)域置信度計算,挖掘低頻的評價對象. 3個公開數(shù)據(jù)集中的實驗結(jié)果表明該方法能夠顯著地提高評價對象的識別效果.
評價對象抽??;情感詞;關(guān)聯(lián)置信度;領(lǐng)域置信度
評價對象抽取旨在識別評論句中的目標(biāo)實體,是意見挖掘任務(wù)中的熱點問題[1-3]. 評價對象是指一個評論句中描述的產(chǎn)品屬性或者組成部分,情感詞是用來修飾評價對象,并且能夠表達一定情感傾向的詞. 評價對象和情感詞在評論文本的情感判定、摘要生成等任務(wù)中起著至關(guān)重要的作用.
很多研究者利用評價對象經(jīng)常存在的語法句式作為模板在評論句中抽取評價對象[2-4]. 然而,互聯(lián)網(wǎng)中的真實數(shù)據(jù)內(nèi)容不規(guī)范,存在大量的語法錯誤,簡單的句法結(jié)構(gòu)不能很好地界定評價對象. Bo Wang[5]和Hai Zheng等[6]根據(jù)評價對象以及情感詞在評論文本中的分布特征作為關(guān)聯(lián)度,用已識別的詞來抽取未識別詞. 基于統(tǒng)計的方法在識別高頻詞的同時也引入了大量的噪音詞匯,準(zhǔn)確率較差. 為了改善這種情況,Lei Zhang[3],Liheng Xu[7]和Kang Liu等[8]通過置信度計算,剔除了一部分噪音,但這些方法依然無法有效識別頻率較低的評價對象.
綜上所述,規(guī)則的方法因為評論句語法的隨意性導(dǎo)致識別的準(zhǔn)確率和召回率較低,而統(tǒng)計的方法在低頻詞中的識別效果較差. 單一的特征和方法無法有效地解決評價對象抽取任務(wù),因此,本文綜合考慮評論文本的句法特征、評價對象和情感詞的分布特征和關(guān)聯(lián)特征、評價對象的領(lǐng)域性特征等,采用3層過濾的方法逐步將評價對象從評論文本的其它詞中分離出來.
多種特征和方法的結(jié)合使用能夠彌補單一方法的缺陷,增強評價對象與其它詞的區(qū)分效果. 在第1層過濾中,將規(guī)則的方法與統(tǒng)計的方法綜合起來,既利用特定的依存關(guān)系句型來識別評價對象,也采用了評價對象與情感詞的分布特征來抽取語法不規(guī)范的評論句中的評價對象;在第2層過濾中,根據(jù)評價對象與情感詞的關(guān)聯(lián)度,利用PageRank算法對抽取的候選詞集合進行關(guān)聯(lián)置信度計算,只保留那些關(guān)聯(lián)置信度較高的評價對象以提高識別的準(zhǔn)確率;在第3層過濾中,通過一個平行領(lǐng)域?qū)κS嗟暮蜻x詞進行領(lǐng)域置信度計算,挖掘那些頻率低但有很強領(lǐng)域性特征的評價對象.
1.1 自舉式的評價對象與情感詞抽取
自舉式的抽取過程利用幾個評價對象種子詞在評論文本中不斷地抽取新的評價對象和情感詞. 本文采用評價對象之間的關(guān)聯(lián)關(guān)系和評價對象與情感詞之間的關(guān)聯(lián)關(guān)系作為已識別詞與未識別詞之間的關(guān)聯(lián)依據(jù). 當(dāng)評論篇章或句子中兩個詞之間的關(guān)聯(lián)關(guān)系滿足設(shè)定的規(guī)則,并且其中一個詞是已識別的詞,那么另一個詞將會被抽取. 算法的具體執(zhí)行步驟如下所示.
① 定義評論文本集合為C,評論文本中所有的名詞和名詞詞組作為待選評價對象集合TC、所有的形容詞作為待選情感詞集合OC,評價對象種子集合為S,算法最終要得到的評價對象集合T以及情感詞集合O. 初始時,T←S,O← ?.
② 遍歷C中的每一個句子,如果當(dāng)前句子中的兩個名詞的依存關(guān)系屬于規(guī)則集R中的依存類型,并且其中一個名詞已存在于集合T中,那么將另一個名詞添加到T(如果這個名詞不存在于T中),同時在TC中移除該名詞.
③ 遍歷OC中每一個詞,如果當(dāng)前詞w與T中任意一個評價對象之間的關(guān)聯(lián)度A超過閾值lto,那么將w加入到O(如果w不存在于O中),同時在OC中移除詞w.
④ 遍歷TC中每一個詞,如果當(dāng)前詞w與O中任意一個情感詞之間的關(guān)聯(lián)度A超過閾值lto,那么將w加入到T(如果w不存在于T中),同時在TC中移除詞w.
⑤ 如果本次迭代后,沒有新的詞加入到T或O中,那么算法停止,否則跳轉(zhuǎn)到步驟②.
在評價對象之間的關(guān)聯(lián)關(guān)系度量中,利用Guang Qiu[2]等制定的名詞之間的并列依存關(guān)系R31與R32作為評價對象抽取的規(guī)則集R.R31是直接并列關(guān)系,在一個句子中,如果兩個名詞存在如“conj”等的并列關(guān)系,那么稱這兩個名詞滿足R31.R32是間接并列關(guān)系,在一個句子中,如果兩個名詞分別與同一個詞有依存關(guān)系,并且這兩種依存類型相同,那么稱這兩個詞滿足R32.
在評價對象和情感詞之間的關(guān)聯(lián)關(guān)系度量中,采用似然測試比(LRT)來表示評價對象與情感詞之間的關(guān)聯(lián)度A. 似然測試比(LRT)是一種基于二項分布的關(guān)聯(lián)模型[6],具體定義如式(1)所示.
(1)
式中:
L(a,b,p)=alg p+blg(1-p);
p1=k1/(k1+k3);p2=k2/(k2+k4);
p0=(k1+k3)/(k1+k2+k3+k4);
k1代表兩個詞w1和w2在評論文本中共同出現(xiàn)的篇章數(shù);k2=fr(w1)-k1;k3=fr(w2)-k1,fr(w)表示詞w在評論文本中出現(xiàn)的篇章數(shù);k4=N-k1-k2-k3;N為評論文本總的篇章數(shù). 似然測試比越大證明兩個詞的關(guān)聯(lián)度越高.k2k3 1.2 關(guān)聯(lián)置信度計算 通過自舉式的評價對象和情感詞抽取,得到了評價對象集合T和情感詞集合O作為候選詞集合. 為了在候選詞集合中挖掘出更加準(zhǔn)確的評價對象,本節(jié)對候選詞進行關(guān)聯(lián)置信度計算,選擇關(guān)聯(lián)置信度高的詞作為最終的評價對象. 關(guān)聯(lián)置信度由評價對象與情感詞之間的關(guān)聯(lián)度通過傳播而累積形成的用于描述評價對象和情感詞真實性的分?jǐn)?shù). 本文借鑒PageRank[9]的思想來計算評價對象與情感詞的關(guān)聯(lián)置信度. 首先對抽取的候選評價對象集合T和候選情感詞集合O進行建模,構(gòu)建一個帶有權(quán)重的連接圖G=(V,E,W). 節(jié)點集合V包含評價對象和情感詞節(jié)點,邊集合E包含評價對象和情感詞之間的關(guān)聯(lián)關(guān)系,W表示關(guān)聯(lián)關(guān)系的權(quán)重,如圖1所示. 評價對象和情感詞實體內(nèi)的分?jǐn)?shù)是關(guān)聯(lián)置信度,每個詞的出度邊權(quán)重是該詞與被連接詞之間的關(guān)聯(lián)度在該詞與所有詞關(guān)聯(lián)度中占有的份額. 每個詞的出度邊權(quán)重之和為1. 本文不考慮評價對象之間的關(guān)聯(lián)度以及情感詞之間的關(guān)聯(lián)度,因此,任何兩個評價對象以及任意兩個情感詞之間沒有邊存在. 根據(jù)評價對象與情感詞的連接圖,構(gòu)建候選詞鄰接矩陣H,如式(2)所示. (2) Eto是評價對象與情感詞的關(guān)聯(lián)矩陣,每一個元素用[Eto]ij來表示,通過式(3)計算為 (3) 式中:LRT(w1,w2)為兩個詞之間的測試似然比值;ti為T中第i評價對象;oj為O中第j個情感詞. Eot是情感詞與評價對象的關(guān)聯(lián)矩陣,每一個元素用[Eot]ij來表示,通過式(4)計算為 (4) 定義評價對象和情感詞的關(guān)聯(lián)置信度矩陣I,如式(5)所示為 (5) 其中c(w)是詞w的關(guān)聯(lián)置信度. 每一個評價對象和情感詞的初始關(guān)聯(lián)置信度為1, I=[1 1 … 1]. 這里采用迭代法對關(guān)聯(lián)置信度矩陣進行更新,迭代過程如式(6)所示. Ik+1=HIk. (6) 算法收斂后,得到了每一個評價對象和情感詞的關(guān)聯(lián)置信度c(w),然后對評價對象按照關(guān)聯(lián)置信度進行排序,選擇前k1個關(guān)聯(lián)置信度最大的詞作為最終評價對象. 1.3 領(lǐng)域置信度計算 在1.2節(jié)中,通過計算每一個評價對象的關(guān)聯(lián)置信度,選擇前k1個排名最高的詞添加到最終的評價對象集合. 然而,在剩下關(guān)聯(lián)置信度較低的候選詞集合中,仍然存在一部分真實的評價對象因為出現(xiàn)頻率低等原因沒有能夠得到高的關(guān)聯(lián)置信度,從而被遺留在候選集合中. 為了有效挖掘這些低頻的評價對象,本節(jié)引入領(lǐng)域置信度的概念,通過一個平行領(lǐng)域作為參照,對剩余的候選評價對象計算領(lǐng)域置信度,再抽取排名最高的前k2個評價對象. 在相似度較小的兩個領(lǐng)域中,產(chǎn)品的特征屬性往往不同. 如表1所示,“screen protector”、“earbud”等詞雖然在MP3領(lǐng)域中出現(xiàn)頻率不高,但相對Car領(lǐng)域而言差別顯著,這種領(lǐng)域?qū)S性~更可能是評價對象. 表1 評價對象在不同領(lǐng)域中的分布頻率 Tab.1 Distribution frequency of opinion targets in different domains 評價對象MP3領(lǐng)域Car領(lǐng)域style17881648screenprotector8810earbud504 頻繁共現(xiàn)熵[10]用來表達一個詞在兩個領(lǐng)域的分布情況,如式(7)所示. (7) 式中:Ps(w)與Pt(w)分別代表詞語w在本領(lǐng)域與目標(biāo)領(lǐng)域中的分布概率,在本文中,采用分布頻率來表示分布概率;α和β是平滑因子,為了防止出現(xiàn)0值的情況. 頻繁共現(xiàn)熵f(w)的值越大,說明一個詞w在兩個領(lǐng)域中出現(xiàn)得越平均. 領(lǐng)域度是用來衡量一個詞在本領(lǐng)域的獨特性. 一個詞的領(lǐng)域度越大,則頻繁共現(xiàn)熵越小. 一個詞w的領(lǐng)域度函數(shù)d(w)計算如式(8)所示為 (8) 領(lǐng)域置信度綜合考慮評價對象與情感詞的關(guān)聯(lián)置信度及評價對象本身的領(lǐng)域度兩個因素,如式(9)所示. (9) 式中:c′(w)為詞w的領(lǐng)域置信度;c(w)為詞w的關(guān)聯(lián)置信度;λ為權(quán)重因子,當(dāng)λ=1時,即不考慮領(lǐng)域度因素的影響,而當(dāng)λ=0時,即只考慮領(lǐng)域度因素,而不考慮該詞在本領(lǐng)域中與情感詞之間的關(guān)聯(lián)關(guān)系. 根據(jù)領(lǐng)域置信度對剩余的候選評價對象重新排序,最終再選擇排名最高的k2個評價對象補充到最終的評價對象集合中. 實驗數(shù)據(jù)采用3個公開領(lǐng)域的數(shù)據(jù)集,這些數(shù)據(jù)分別是從amazon、tripadvisor等網(wǎng)站中爬取的真實數(shù)據(jù),包含MP3和Hotel*http://sifaka.cs.uiuc.edu/~wang296/Data/index.html領(lǐng)域數(shù)據(jù)集以及Car*http://www.kavita-ganesan.com/entity-ranking-data領(lǐng)域數(shù)據(jù)集. 在實驗中,首先利用OpenNLP*http://opennlp.apache.org/cgi-bin/download.cgi工具對每一個評論文本進行分句;其次,采用Standford NLP*http://nlp.stanford.edu/software/corenlp.shtml工具對每個評論句子進行分詞,詞性標(biāo)注,詞干化處理以及依存句法分析. 對于名詞詞組的識別問題,采用C-value[11]方法來抽取名詞詞組. 數(shù)據(jù)集規(guī)模如表2所示. 表2 數(shù)據(jù)集統(tǒng)計 本實驗利用準(zhǔn)確率(P),召回率(R)和F1值(F)3個指標(biāo)來評測實驗結(jié)果. 3.1 對比實驗 采用3個非監(jiān)督的評價對象抽取方法作為對比. Hu[1]通過Apriori算法找尋最頻繁項,是一種基于統(tǒng)計頻率的方法. DP[2]是一種雙向傳播算法,利用制定的依存規(guī)則抽取評價對象. Boot[6]是一種自舉式的方法,利用LRT和LSA作為評價對象與情感詞之間的關(guān)聯(lián)度抽取評價對象. F3L是本文方法. 實驗結(jié)果如表3所示. 基于規(guī)則的方法DP準(zhǔn)確率較高,這是因為DP定義的規(guī)則和模式比較嚴(yán)格,滿足這種規(guī)則的評價對象真實性比較強. 然而,評論文本內(nèi)容隨意,語法不規(guī)范,因此DP的方法召回率較低. 相對而言,Hu和Boot的方法抽取頻繁的評價對象得到了較高的召回率,但是因為缺乏先驗知識導(dǎo)致準(zhǔn)確率較低. 這個觀察也證明了本文將統(tǒng)計和規(guī)則的方法結(jié)合起來的必要性. 表3 不同的抽取方法的實驗結(jié)果 自舉式方法Boot取得了高召回率,但是準(zhǔn)確率仍然較低,這是因為在自舉式方法中,一些錯誤的識別詞會影響到后面的執(zhí)行過程,這種錯誤會隨著迭代的進行進一步擴大. 本文方法相對于Boot而言首先增加了關(guān)聯(lián)置信度計算的步驟,衡量了每一個候選詞作為評價對象的可能性,并且選擇關(guān)聯(lián)置信度最高的詞作為最終的評價對象,抽取準(zhǔn)確率顯著提高. 其次,在召回率方面,本文提出的領(lǐng)域置信度計算方法挖掘出頻率較低,但是領(lǐng)域性較強的評價對象,從而提高了評價對象抽取的召回率. 本文方法對比Hu、DP、Boot的方法在準(zhǔn)確率、召回率和F1值的評測結(jié)果上均有明顯優(yōu)勢,從而驗證了本方法的有效性. 表4展示了每個領(lǐng)域的評價對象抽取結(jié)果,以關(guān)聯(lián)置信度最高的5個評價對象為例. 表4 評價對象抽取結(jié)果示例 3.2 參數(shù)對抽取效果的影響實驗 本階段實驗主要研究參數(shù)對抽取結(jié)果的影響. 本文涉及到的參數(shù)包含1.1節(jié)方法中評價對象與情感詞之間的關(guān)聯(lián)度閾值lto,1.2節(jié)方法中抽取的評價對象數(shù)量k1,1.3節(jié)方法抽取的評價對象個數(shù)k2以及平衡因子λ. 本實驗在3個領(lǐng)域中均抽取800個評價對象,因此設(shè)定參數(shù)k2=800-k1. 本實驗用F值表示評價對象抽取效果. 圖2展示了抽取結(jié)果F值隨著評價對象與情感詞之間的關(guān)聯(lián)度閾值變化的曲線圖. 從實驗結(jié)果中可以發(fā)現(xiàn)lto在20~40之間取得了最好效果. MP3領(lǐng)域在閾值35上取得了最高F值75.03%;Hotel領(lǐng)域在閾值30上取得了最高F值70.66%;Car領(lǐng)域在閾值20上取得了最高F值73.10%. 圖3展示了抽取結(jié)果F值隨著k1變化的曲線圖.k1在500~600之間取得了最好的效果,其中:MP3領(lǐng)域在550上取得了最高F值75.03%;Hotel領(lǐng)域在570上取得了最高F值70.66%;Car領(lǐng)域在620上取得了最高F值73.10%. 從該實驗中可以看出在500~600之前,函數(shù)呈遞增的趨勢. 這個現(xiàn)象表明在評論文本中存在一部分通用的評價對象,例如“樣式”、“外觀”等. 這部分詞如果按照領(lǐng)域置信度排序會因為領(lǐng)域度值較小而排名靠后,從而被移除. 當(dāng)k1取值超過500~600的區(qū)間時函數(shù)又呈相對明顯的下降趨勢,這是因為隨著k1的增長,利用關(guān)聯(lián)置信度篩選得到的評價對象增多,利用領(lǐng)域置信篩選得到的評價對象減少,由于缺乏對領(lǐng)域度因素的分析,導(dǎo)致抽取效果下降. 圖4展示了抽取結(jié)果F值隨著λ變化的曲線圖.λ在0.3~0.4之間取得了最好的效果,其中:MP3領(lǐng)域與Car領(lǐng)域在0.3上取得了最高F值,分別為75.03%和73.10%;Hotel領(lǐng)域在 0.4上取得了最高F值70.66%.λ為平衡因子,代表了領(lǐng)域度因素在領(lǐng)域置信度計算中所占有的比重. 當(dāng)λ超過0.3~0.4范圍后,呈平穩(wěn)趨勢發(fā)展. 這個現(xiàn)象說明了領(lǐng)域度因素在低頻評價對象中占有了非常重要的影響,甚至在不考慮評價對象在本領(lǐng)域中的關(guān)聯(lián)置信度(λ=1.0)時,效果也依然優(yōu)秀(73.0%,69.9%,71.9%). 3.3 領(lǐng)域?qū)Ρ葘嶒?/p> 本階段實驗主要比較在不同平行領(lǐng)域參照下評價對象的抽取效果. 由表5的對比結(jié)果可以發(fā)現(xiàn),利用不同的平行領(lǐng)域參照得到的抽取結(jié)果差別不大. MP3領(lǐng)域利用Hotel領(lǐng)域參照得到了75.03%的F值,而通過Car領(lǐng)域參照得到了74.36%的F值,兩者相差0.67%. 同理,Car領(lǐng)域通過MP3和Hotel參照的差異為0.38%,Hotel通過MP3與Car參照的差異為1.02%. 這種差異主要是由領(lǐng)域之間的相關(guān)性引起. 在MP3領(lǐng)域中,通過Hotel參照的效果優(yōu)越于通過Car領(lǐng)域,這是因為MP3領(lǐng)域與Car領(lǐng)域之間的相同點相對于Hotel領(lǐng)域更多. 直觀地看,MP3與Car都是物品,存在“材料”,“外觀”等方面的相同評價對象,而對于Hotel領(lǐng)域而言,評論的核心在于用戶體驗,與MP3領(lǐng)域的交集比較小,因此利用Hotel領(lǐng)域參照的效果更好. 同理在Hotel領(lǐng)域中,通過MP3領(lǐng)域參照的效果優(yōu)越于Car領(lǐng)域. 因此,利用盡可能不相干的領(lǐng)域參照會達到更好的抽取效果. 表5 不同平行領(lǐng)域抽取結(jié)果 本文提出了一個3層過濾的評價對象抽取方法,在不需要任何標(biāo)注數(shù)據(jù)的情況下,能夠完成對評論文本中評價對象的抽取. 該方法首先利用一個自舉式框架,利用評價對象之間,評價對象與情感詞之間的關(guān)聯(lián)關(guān)系,迭代抽取候選評價對象和情感詞;其次,對候選的評價對象和情感詞計算關(guān)聯(lián)置信度,抽取關(guān)聯(lián)置信度高的評價對象. 最后,對剩余的關(guān)聯(lián)置信度低的評價對象進行領(lǐng)域置信度的計算,挖掘出現(xiàn)頻率低,但領(lǐng)域性較強的評價對象. 實驗表明,本文方法的抽取結(jié)果具有較高的準(zhǔn)確率和召回率,優(yōu)于現(xiàn)有的抽取方法. [1] Hu M, Liu B. Mining opinion features in customer reviews[J]. AAAI, 2004,4(4):755-760. [2] Qiu G, Liu B, Bu J, et al. Opinion word expansion and target extraction through double propagation[J]. Computational Linguistics, 2011,37(1):9-27. [3] Zhang L, Liu B, Lim S H, et al. Extracting and ranking product features in opinion documents[C]∥Proceedings of the 23rd International Conference on Computational Linguistics. Posters: Association for Computational Linguistics, 2010:1462-1470. [4] Zhuang L, Jing F, Zhu X Y. Movie review mining and summarization[C]∥Proceedings of the 15th ACM International Conference on Information and Knowledge Management. Bavaria: ACM, 2006:43-50. [5] Wang B, Wang H. Bootstrapping both product features and opinion words from Chinese customer reviews with cross-inducing[C]∥Proceedings of IJCNLP. Hyderabad: Asian Federation of Natural Language Processing, 2008:289-295. [6] Hai Z, Chang K, Cong G. One seed to find them all: mining opinion features via association[C]∥Proceedings of the 21st ACM International Conference on Information and Knowledge Management. Orlando: ACM, 2012:255-264. [7] Liu K, Xu L, Zhao J. Opinion target extraction using word-based translation model[C]∥Proceedings of the 2012 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning. Jeju Island: Association for Computational Linguistics, 2012:1346-1356. [8] Xu L, Liu K, Lai S, et al. Mining opinion words and opinion targets in a two-stage framework[C]∥Proceedings of ACL. Sofia: Association for Computation Linguistics, 2013:1764-1773. [9] Page L. Computational linguistics the page rank citation ranking: bringing order to the web[EB/OL].[1998-09-01].http:∥www.db.stanford.edu/~backrub/pageranksub.ps. [10] Tan S, Cheng X, Wang Y, et al. Adapting naive bayes to domain adaptation for sentiment analysis[M]∥Advances in Information Retrieval. Berlin, Heidel-berg: Springer, 2009:337-349. [11] Frantzi K, Ananiadou S, Mima H. Automatic recognition of multi-word terms:. the c-value/nc-value method[J]. International Journal on Digital Libraries, 2000,3(2):115-130. (責(zé)任編輯:劉芳) Opinion Targets Extraction with a Three-Level Filter NIU Zhen-dong1,2, LIU Sha1 (1.School of Computer Science and Technology, Beijing Institute of Technology, Beijing 100081, China; 2.Beijing Engineering Research Center of Massive Language Information Processing and Cloud Computing Application, Beijing 100081, China) A three-level filter method was proposed to extract the opinion targets for product reviews on the Internet. In the first level, a bootstrapping framework was adopted to extract candidate opinion targets and opinion words from opinion texts. In the second level, the association between the opinion target and opinion word was used to estimate the association confidence of every candidate opinion target and candidate opinion word. The opinion targets with high association confidence were extracted to improve recognition accuracy. In the third level, an uncorrelated domain was adopted to calculate the domain confidence of every opinion target in the rest set which was for mining the opinion targets of low frequency. The experimental results on three public datasets demonstrate the effectiveness of the proposed approach. opinion targets extraction; opinion word; association confidence; domain confidence 2014-08-20 國家自然科學(xué)基金資助項目(61370137) 牛振東(1968—),男,教授,博士生導(dǎo)師,E-mail:zniu@bit.edu.cn. TP 391 A 1001-0645(2016)11-1154-06 10.15918/j.tbit1001-0645.2016.11.011
2 實驗數(shù)據(jù)及評測標(biāo)準(zhǔn)

3 實驗結(jié)果分析



4 結(jié) 論