新聞正文信息在線提取方法研究

王年豐+費瀟瀟

摘要：新聞正文信息提取對信息檢索、存儲和輿情監(jiān)測等具有極其重要的意義。為實現新聞信息的正確提取，考慮到DOM等幾種技術的優(yōu)勢，結合DOM技術、動態(tài)型網頁信息抽取技術和行塊分布算法等技術優(yōu)點，重點研究了新聞信息的提取方法，尤其針對動態(tài)網頁的信息提取，設計了一套有效的新聞正文信息提取方法。實驗結果表明，該方法能有效實現新聞的正文信息抽取，準確率高，具有一定推廣價值。

關鍵詞：信息抽??；DOM技術；動態(tài)型網頁；行塊分布算法（DOIBP）WT9.5HZDOI：WTHT9.5SS10.11907/rjdk.162557中圖分類號：TP301

文獻標識碼：A（文章編號BP）文章編號：16727800（2017）004000905

0引言 當前，互聯(lián)網資源豐富，如何從海量信息中獲取所需信息已經成為Web智能信息處理研究領域面臨的重大問題之一。由于實際的新聞網頁往往包含很多與主題無關的導航區(qū)、超鏈接、廣告信息、版權信息等噪聲信息，設計搜索引擎按主題搜索相關信息的工具時，應采用新聞信息抽取技術剔除網頁中的噪聲信息，從而獲取整個新聞的正文信息。新聞信息抽取技術是將Web作為信息源的一類信息抽取，即從新聞頁面所包含的無結構或半結構化的信息中識別用戶所需的數據。為了提高Web新聞信息抽取的準確度和效率，許多學者提出了各自的方法而且不斷加以完善，主要可以分為4類：基于統(tǒng)計理論的技術、基于文檔對象模型的技術、基于模板的技術和基于視覺特征的技術。

（1）基于統(tǒng)計理論的方法利用統(tǒng)計方法和規(guī)律，將網頁HTML文檔作為一個整體或去除網頁標簽，獲取網頁正文信息。該方法克服了數據源的限制，具有通用性。Arias等

[1]從網頁標簽序列中找出對應的文本序列，由于網頁正文與非正文長度和標簽數量存在差異，可以此為基礎構建網頁文本密度圖，以統(tǒng)計的方法識別出網頁正文部分；而參考文獻[2]提出了一種基于行塊分布的方法，該方法擺脫了網頁結構的限制，可高效準確地抽取網頁正文，但需要人工干預，且對網頁上其它信息的提取不夠。

（2）基于文檔對象模型的方法，通過將HTML文檔解析成一棵DOM樹，利用節(jié)點特征來制定相應的抽取規(guī)則。目前已有許多成型的系統(tǒng)和經典算法，如 RoadRunner系統(tǒng)、DSE算法、MDR算法等

[3]。很多學者在此基礎上進行了深入研究。如王琦等

[4]基于DOM規(guī)范，將HTML文檔轉換為含有語義信息的STU-DOM樹，進行基于結構的過濾和基于語義的剪枝，提取網頁主題；Gupta等

[5]使用啟發(fā)式規(guī)則來構造過濾器，以對DOM樹中的無用節(jié)點進行過濾刪除，對于廣告的過濾使用的是黑名單策略。該方法依靠文檔本身的結構優(yōu)勢，不需要復雜技術和人工干預，但通用性不好。

（3）基于網頁模板的提取算法。這類算法可以大致分為兩類，一類是從同種結構的網頁集中提取出模板作為參考，這種模板一般從同一網站的不同網頁中提??；另一類是從各種不同的網頁中歸類，并分別提取抽象層次更高、歸納性更強的通用模板。Reis等

[6]使用一種樹的類正則表達式pe-pattern，以RTDM算法對樣本網頁進行聚類，并從聚類結果的DOM樹中提取出ne-pattern作為該聚類的模板；Vieira等

[7]對RTDM算法進行拓展，使用樹的最小編輯距離，實現對DOM樹模板的檢測和刪除。這些方法從模板角度提供了比較新穎的思路，但是計算量非常大，在處理海量數據時效率較低。

（4）基于視覺分塊的提取算法。這類算法從用戶對網頁的視覺感受出發(fā)，依照網頁中節(jié)點的樣式特點對頁面分塊，再從分塊結果中找出正文所在的塊來達到提取正文的目的。黃文蓓等

[8]以TVPS算法為參考，構建DOM樹，以

2.1.1Web新聞分類 新聞網頁一般分為兩種類型：導航型網頁、主題型網頁。主題型網頁通常通過成段的文字、圖片等信息描述新聞主題，為了便于處理又可將其分為兩小類：①新聞普通網頁。這類網頁類似靜態(tài)網頁，當網頁加載完之后，要采集的信息都在網頁上，大部分新聞網頁屬于這一類；②動態(tài)型網頁。即圖片新聞（指有相同事件主題的圖片及簡短文字描述的數據集合），當網頁加載完之后，要采集的信息不都在網頁中，需要翻頁才能更新網頁內容，大量新聞圖片網頁屬于這一類，如圖2所示。 通常，網絡上的每一種資源，例如網頁、圖片、視頻等，都有一個唯一的URL，其信息包含了文件位置和瀏覽器對其如何處理。URL的一般格式為：協(xié)議類型：//服務器地址（一般情況下，默認不寫端口號）/路徑名/[？查詢][#信息片段]，其中方括號[]為可選項，例如：http：//news.qq.com/a/20160714/048155.htm#p=1 通過觀察驗證，屬于同一新聞網站動態(tài)網頁的內容布局與樣式外觀比較相似。與此同時，同一網站的動態(tài)網頁的URL相似度也高，這一點從網頁開發(fā)和網站管理的高效性和便捷而言也是十分合理的，因此利用URL相似度進行新聞網頁分類。Qi等

[9]在計算URL相似度上使用了Dice系數并結合使用了統(tǒng)計方法完成URL的相似度量。這種方法從字符串處理的角度出發(fā)，又由于URL的格式特點，在協(xié)議、服務器名、域名相同的情況下，本文利用新聞URL特征來判斷動態(tài)型網頁，詳細介紹如下：①若新聞url字符串中，其路徑中包含有“pic”、“photo”等關于圖片的英文字符串，則表示該新聞URL為動態(tài)型網頁。例如：人民網、新華網等網站中的URL包含這些關于圖片的字符串；②若新聞url其后綴符合數字遞增或字母遞增，則該新聞網頁是動態(tài)型網頁，例如：騰訊、新浪、搜狐、網易、鳳凰等網站中的URL后綴有極強的規(guī)律，為數字遞增。2.1.2〓文檔對象模型 文檔對象模型（DOM）是一種處理HTML和 XML文檔的標準應用程序接口（API），它將文檔表示為一個樹形結構，HTML標簽、屬性或文本都被作為樹的一個節(jié)點?；贒OM的信息抽取技術利用網頁的結構特點，能夠簡單、高效地從網頁中提取所需內容，其克服了行分塊算法對新聞標題、發(fā)布時間等信息提取不足的缺點。因此本文在正文信息抽取之前，使用HtmlUnit

[10]渲染新聞網頁獲取HTML源碼，然后使用Jsoup中的DOM對象抽取新聞標題、發(fā)布時間等信息。例如：新聞標題抽取時，首先提取標簽中的

[13]，將有效元素集合中的所有元素進行點擊操作。2.2.3觸發(fā)有效性判斷 動態(tài)型網頁在觸發(fā)有效元素時，會改變DOM樹的結構，觸發(fā)有效性判斷也可以表示為DOM樹結構的變化，因此可以通過比較DOM樹結構相似性作為觸發(fā)有效性的標識。由于每次獲取下一頁，網頁里只有圖片和正文信息變動，其它噪聲、鏈接等部分基本不變，因此在判斷DOM樹相似性之前，通過正則表達式過濾獲取中文文字信息。 何昕等

[14]利用簡單樹匹配算法來判斷DOM樹相似性，它是一個受限的匹配算法，采用動態(tài)規(guī)劃來計算兩棵樹的最大匹配結點個數，得到兩棵樹結構的相似度；Roest等

[15]提出了比較頁面的方法，該方法比較每個模塊首先定位到該模塊所針對的DOM樹結構的特點部位，若判定其內容相同，則過濾掉該部分信息，將剩余內容傳遞給下一比較模塊，否則便可以直接判定兩個DOM樹不相似。以上兩種方法更多的是從DOM樹結構出發(fā)，考慮到新聞網頁有效信息都在中文文字里，在網頁標題的情況下，本系統(tǒng)對比新得到的網頁中文信息與觸發(fā)之前的網頁中文信息，若只有極少數發(fā)生變化，則認為新得到的網頁無效，該觸發(fā)無效；否則，認為得到的網頁有效，將有效元素XPath存入XPath模板庫中。2.3新聞普通網頁信息抽取模塊 新聞普通網頁信息抽取模塊的目標是抽取新聞普通網頁的正文信息。新聞普通網頁的正文結構通常比較緊湊，網頁內圖片較少，正文代碼的一行大都是文字，超鏈接長度所占比率不大。又由于行塊分布算法對主題網頁有很好的通用性和較高的準確率，因此使用行塊分布算法。行塊分析算法的思想是哈爾濱工業(yè)大學信息檢索中心的陳鑫等研究提出的，其網頁正文塊起始行塊號Xstart和結束行塊號Xend的確定，必須同時滿足以下幾個條件，這里定義 Y（X）為以行號 X 為軸的行塊長度值。 （1）Ystart> Y（Xt），其中Y（Xt）是行塊長度的第一個驟升點，驟升點的行塊長度必須大于預先定義的閾值。

（2）Y（Xn）不等于0（其中n屬于[start+1，start+n]），緊跟在驟升點的行塊長度不能為0，以消除噪聲。

（3）Y（Xm）=0（其中m屬于[end，end+1]），驟降點以及緊跟在驟降點后面行的行塊長度為 0，以保證正文提取結束。 本文根據行塊分布算法的思想，利用Java中的JFreeChart繪圖工具，可得如圖4所示的行塊分布函數折線圖。從圖4可看出，有很多內容塊[start=743，end=745]、[start=749，end=773]、[start=1160，end=1165]、[start=1198，end=1205]，而且內容塊中可能還有噪聲部分沒有清除。因此，根據新聞網頁噪聲的特點，添加了第4個約束條件。

（4）Ystart

3實驗測試

3.1實驗準備

測試系統(tǒng)的機器環(huán)境為：1臺臺式機（CPU為Intel四核2.93GHz，4G內存，硬盤為7 200r/min，操作系統(tǒng)為Win7，10兆網速）。本系統(tǒng)采用純Java實現，有效元素路徑存儲選用MySQL5.5數據庫存儲。為了使結果更具說服力，本文設計了一個輕量級的主題爬蟲，從知名的新聞網站（如騰訊新聞、網易新聞、搜狐新聞、新浪新聞等）中爬取網頁，以此作為實驗網頁集。實驗主要測試新聞正文信息提取的正確率和提取速度，而新聞標題則是由網頁采集器提?。ㄒ话銓Ш骄W頁里，新聞標題和新聞URL在一起），這里不作處理。對于動態(tài)新聞，提取出的正文完全覆蓋真正的含義，而且沒有過濾干凈的噪聲占正文的比例不大于5%時才算合格。對于靜態(tài)網頁，本文采用準確率來表示提出正文信息的準確性：準確率=正確過濾的網頁數/總網頁個數×100%

3.2實驗結果 表1給出了系統(tǒng)網頁正文抽取準確率以及在線抽取正文信息速率，其中每個網站動態(tài)網頁和靜態(tài)網頁各100個，總共1 600個網頁。表1的試驗結果表明：本系統(tǒng)抽取靜態(tài)型網頁的準確率高于93%，對原新聞網頁正文內容提取比較完整，但動態(tài)型網頁的準確率都在80%以上。出現誤差的原因是不同專題的設計風格不盡相同，以及人們對于網頁中正文的界定差異等因素存在，本文算法的結果或多或少會受到一定影響。對于正文內容為純文本的網頁，本文算法的準確率很高。對于影響本系統(tǒng)正確率的幾個主要因素總結如下：①動態(tài)型網頁和普通新聞網頁的區(qū)分是根據URL相似度和URL是否含有標識符來判斷的；②對于普通新聞網頁中正文內容和噪聲部分的比例，如果網頁內以圖片或視頻為主要內容，過短的正文內容會被作為噪聲，從而降低提取結果的正確率；③普通新聞網頁中若嵌入圖片，將使正文各部分之間距離相差較大。

4實驗結論 本文提出的新聞網頁正文抽取系統(tǒng)除了利用行分塊算法抽取網頁信息以及DOM技術之外，還利用動態(tài)型網頁結構上的相似性特點，實現了大型新聞網站新聞正文信息的提取。本系統(tǒng)不依靠大量的訓練集，能夠較準確地抽取新聞正文信息，實驗結果驗證了其有效性。然而，對英文網頁以及結構復雜的網頁抽取效果不是很理想，尤其是嵌入圖文信息的普通新聞網頁。此方法只能抽取文字信息，不能獲得網頁圖片，下一步可以對英文網頁優(yōu)化、復雜網頁抽取算法和網頁圖片獲取方法等進行深入研究。

參考文獻：

[1]ARIAS J，DESCHACHT K，MOENS M F.Language independent content extraction from web pages[J].University of Twente，2009.

[2]〓開源中國社區(qū).通用網頁正文抽取[EB/OL].[20150425].http：//code.google.com/p/cxextractor/.

[3]陳釗，張冬梅.Web信息抽取技術綜述[J].計算機應用研究，2010，27（12）：44014405.

[4]王琦，唐世渭，楊冬青，等.基于DOM的網頁主題信息自動提取[C].中國數據庫學術會議，2004：17861792.

[5]GUPTA S，KAISER G E，GRIMM P，et al.Automating content extraction of HTML documents[J].World Wide Webinternet & Web Information Systems，2005，8（2）：179224.

[6]REIS D C.Automatic web news extraction using tree edit distance[C].International Conference on World Wide Web.ACM，2004：502511.

[7]VIEIRA K，SILVA A S D，PINTO N，et al.A fast and robust method for web page template detection and removal[C].ACM International Conference on Information and Knowledge Management.ACM，2006：258267.

[8]黃文蓓，楊靜，顧君忠.基于分塊的網頁正文信息提取算法研究[J].計算機應用，2007，27（s1）：2426.

[9]QI X，NIE L，DAVISON B D.Measuring similarity to detect qualified links[C].Airweb 2007，Third International Workshop on Adversarial Information Retrieval on the Web，CoLocated with the WWW Conference，Banff，Canada，2007：4956.

[10]張佳榮.Java開源項目HtmlUnit在瀏覽器模擬方面的應用[J].電子制作，2015（8）：79.

[11]楊柳青，李曉東，耿光剛.基于布局相似性的網頁正文內容提取研究[J].計算機應用研究，2015（9）：25812586.

[12]張瑤.面向AJAX腳本網絡的網頁爬行及解析技術的研究與實現[D].沈陽：東北大學，2012.

[13]MESBAH A，BOZDAG E，DEURSEN A V.Crawling AJAX by inferring user interface state changes[C].Eighth International Conference on Web Engineering，Yorktown Heights，New York，Usa.2008：122134.

[14]何昕，謝志鵬.基于簡單樹匹配算法的Web頁面結構相似性度量[J].計算機研究與發(fā)展，2007，44（z3）：16.

[15]ROEST D，MESBAH A，DEURSEN A V.Regression testing ajax applications： coping with dynamism[C].International Conference on Software Testing，Verification and Validation，ICST 2010，Paris，France，2010：127136.（責任編輯：杜能鋼）