• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    主題網(wǎng)絡(luò)爬蟲研究綜述

    2020-05-25 02:30左薇張熹董紅娟于夢(mèng)君
    軟件導(dǎo)刊 2020年2期
    關(guān)鍵詞:搜索引擎

    左薇 張熹 董紅娟 于夢(mèng)君

    摘 要:隨著人們對(duì)信息資源的個(gè)性化需求不斷加大,主題網(wǎng)絡(luò)爬蟲應(yīng)時(shí)而生。闡述主題網(wǎng)絡(luò)爬蟲定義及工作原理;介紹了主題網(wǎng)絡(luò)爬蟲研究進(jìn)展,對(duì)主題網(wǎng)絡(luò)爬蟲爬行策略、網(wǎng)頁(yè)抓取優(yōu)先級(jí)以及系統(tǒng)設(shè)計(jì)實(shí)現(xiàn)進(jìn)行闡述;總結(jié)當(dāng)前研究的不足,對(duì)未來研究方向進(jìn)行了展望。

    關(guān)鍵詞:主題網(wǎng)絡(luò)爬蟲;主題爬蟲;搜索引擎

    DOI:10. 11907/rjdk. 191351 開放科學(xué)(資源服務(wù))標(biāo)識(shí)碼(OSID):

    中圖分類號(hào):TP301文獻(xiàn)標(biāo)識(shí)碼:A 文章編號(hào):1672-7800(2020)002-0278-04

    英標(biāo):Overview of Research on Topic-focused Web Crawler

    英作:ZUO Wei1, ZHANG Xi2, DONG Hong-juan1, YU Meng-jun1

    英單:(1. School of Professional and Continuing Education, Yunnan University;2. School of Information, Yunnan University, Kunming 650000,China)

    Abstract: With the increase of peoples personalized demand for information resources, topic-focused web crawler emerged at the right time. The topic-focused web crawler and its working principle are stated. The research progress of theme web crawler is systematically analyzed, and three fields of topic-focused web crawler crawling strategy, web page crawling priority and design and implementation oftopic-focused web crawler system are expounded. The deficiencies of current research are summarized and the future research direction is prospected.

    Key Words: topic-focused web crawler; topic-focused crawler; search engine

    0 引言

    Internet的飛速發(fā)展加快了網(wǎng)絡(luò)信息量增長(zhǎng)。據(jù)中國(guó)互聯(lián)網(wǎng)絡(luò)信息中心第41次《中國(guó)互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計(jì)報(bào)告》 [1]顯示,“截止2018年6月,我國(guó)網(wǎng)民高達(dá)8.02億,互聯(lián)網(wǎng)普及率為57.7%”。在互聯(lián)網(wǎng)這個(gè)龐大的資源庫(kù)中,網(wǎng)頁(yè)搜索引擎是人們獲取外界信息的主要工具。為了提高檢索質(zhì)量,達(dá)到更好的檢索體驗(yàn),通用搜索引擎應(yīng)運(yùn)而生。通用搜索引擎利用爬蟲程序?qū)W(wǎng)站進(jìn)行檢索,如谷歌、百度等面向所有用戶的大型搜索引擎,把種子頁(yè)面作為搜索起點(diǎn),力圖遍歷整個(gè)網(wǎng)絡(luò),盡可能全面搜索到人們所需的信息。然而,針對(duì)某一特定主題,通用搜索引擎存在信息冗余大、內(nèi)存占用高、消耗系統(tǒng)資源、查準(zhǔn)率低和個(gè)性化需求弱等問題[2],為解決這些問題,出現(xiàn)了抓取特定領(lǐng)域信息資源的主題網(wǎng)絡(luò)爬蟲(Topical Web Crawler)技術(shù)。主題網(wǎng)絡(luò)爬蟲又稱主題爬蟲(Topical Crawler)和聚焦爬蟲(Focused Crawling),是網(wǎng)絡(luò)爬蟲的一個(gè)重要分支[3]。主題網(wǎng)絡(luò)爬蟲指盡可能爬行和收集用戶所需的網(wǎng)頁(yè),與通用網(wǎng)絡(luò)爬蟲有較大差異,它只抓取用戶特定的、與主題相關(guān)的網(wǎng)頁(yè),忽略與主題無關(guān)的網(wǎng)頁(yè),具有準(zhǔn)確性、深入性和專業(yè)性等特點(diǎn)。

    近年來,國(guó)內(nèi)外專家學(xué)者對(duì)主題網(wǎng)絡(luò)爬蟲技術(shù)研究取得了顯著成果,但鮮有文獻(xiàn)對(duì)主題網(wǎng)絡(luò)爬蟲研究發(fā)展?fàn)顩r進(jìn)行分析和系統(tǒng)梳理。因此,對(duì)近年來主題網(wǎng)絡(luò)爬蟲進(jìn)行綜述顯得至關(guān)重要。本文從主題網(wǎng)絡(luò)爬蟲的定義及工作原理、國(guó)內(nèi)外研究進(jìn)展、研究中存在的問題、未來研究方向展望4個(gè)部分進(jìn)行闡述,以期為今后主題網(wǎng)絡(luò)爬蟲研究與實(shí)踐方向提供借鑒與參考。

    1 主題網(wǎng)絡(luò)爬蟲定義與工作原理

    1.1 主題網(wǎng)絡(luò)爬蟲定義

    網(wǎng)絡(luò)爬蟲(Web Crawler)是依照一定規(guī)則主動(dòng)抓取網(wǎng)頁(yè)的程序,是搜索引擎獲得信息的渠道之一。通常根據(jù)給定URL種子爬取網(wǎng)頁(yè),得到新的URL存放至待爬行URL中,當(dāng)滿足一定條件時(shí)停止爬行。網(wǎng)絡(luò)爬蟲一般分為通用網(wǎng)絡(luò)爬蟲、深度網(wǎng)絡(luò)爬蟲和主題網(wǎng)絡(luò)爬蟲3類。

    主題網(wǎng)絡(luò)爬蟲通常給定URL種子集,依照預(yù)先規(guī)定的主題,由特定的分析算法算出爬行網(wǎng)頁(yè)的主題相關(guān)度,并過濾與主題無關(guān)的網(wǎng)頁(yè),優(yōu)先抓取相關(guān)度高的網(wǎng)頁(yè),當(dāng)滿足一定條件時(shí)停止。主題網(wǎng)絡(luò)爬蟲根據(jù)主題對(duì)Web進(jìn)行分塊采集并整合采集結(jié)果,從而提高Web頁(yè)面利用率。

    1.2 主題網(wǎng)絡(luò)爬蟲工作原理

    主題網(wǎng)絡(luò)爬蟲與通用爬蟲差異如下:

    主題相關(guān)性預(yù)測(cè)。主題爬蟲對(duì)提取的URL會(huì)采用一定策略預(yù)測(cè)其主題相關(guān)性,給出量化評(píng)價(jià),而通用爬蟲通常不需要對(duì)URL進(jìn)行相關(guān)性預(yù)測(cè)。

    主題相關(guān)度判斷。當(dāng)一篇網(wǎng)頁(yè)下載后,主題網(wǎng)絡(luò)爬蟲自動(dòng)分析頁(yè)面相關(guān)度,丟棄與主題無關(guān)的頁(yè)面,存儲(chǔ)相關(guān)頁(yè)面。通用爬蟲通常直接存儲(chǔ)下載的頁(yè)面。

    URL抓取排序。主題網(wǎng)絡(luò)爬蟲依據(jù)一定的規(guī)則將待抓取的URL排序并明確抓取順序,通常先抓取評(píng)分較高的URL,而通用爬蟲采用先進(jìn)先出原則。

    主題網(wǎng)絡(luò)爬蟲工作流程如圖 1 所示。

    2 主題網(wǎng)絡(luò)爬蟲研究現(xiàn)狀

    2.1 國(guó)外研究現(xiàn)狀

    國(guó)外主題爬蟲研究始于上世紀(jì) 90 年代,提出一些獲取特定內(nèi)容的爬行策略,只是當(dāng)時(shí)還沒有提出主題網(wǎng)絡(luò)爬蟲概念。1994年,DeBra[4]設(shè)計(jì)了Fish-search算法用來指導(dǎo)爬蟲抓取方向,在特定的范圍內(nèi)爬取網(wǎng)頁(yè)。若抓取到相關(guān)網(wǎng)頁(yè),則繼續(xù)游動(dòng),反之則停止。由于Fish不能估算出頁(yè)面和主題的相關(guān)程度,Michael Hersovici[5]基于Fish-Search算法于1998年提出了Shark-Search算法,該算法通過0~1的區(qū)間值表示候選URL的優(yōu)先級(jí)。直到1999年,Chakrabarti等[6]提出主題網(wǎng)絡(luò)爬蟲概念,主要用于描述超鏈接資源發(fā)現(xiàn)系統(tǒng),這一系統(tǒng)主要包括分類器和過濾器。分類器用來評(píng)估文本內(nèi)容和主題相關(guān)度,過濾器用來過濾無關(guān)鏈接網(wǎng)頁(yè),是早期主題網(wǎng)絡(luò)爬蟲較典型的研究之一。2001年,Junghoo Cho提出了best-first-search搜索策略。上述3類主題網(wǎng)絡(luò)爬蟲的設(shè)計(jì)思想主要涉及網(wǎng)頁(yè)上的文本和內(nèi)容,根據(jù)文本和內(nèi)容選擇下載頁(yè)面及將要訪問的URL。基于鏈接結(jié)構(gòu)評(píng)價(jià)這一爬取策略主要有PageRank算法和HITS算法。Larry Page[7]提出的PageRank算法,主要根據(jù)是否被權(quán)威網(wǎng)站指向及鏈接指向判斷網(wǎng)頁(yè)的關(guān)聯(lián)程度。1998年,Kleinberg[8]提出HITS算法,該算法通過權(quán)威和樞紐兩個(gè)維度衡量頁(yè)面的價(jià)值。若只使用網(wǎng)絡(luò)鏈接關(guān)系判斷網(wǎng)頁(yè)的關(guān)鍵性而不去判斷文本內(nèi)容,可能導(dǎo)致爬行結(jié)果與主題無關(guān),所以一般不單獨(dú)使用基于鏈接的爬取策略。

    Hati等[9]采用VIPS 算法把網(wǎng)頁(yè)劃為不同區(qū)塊,用區(qū)塊的相關(guān)度評(píng)分衡量頁(yè)面的主題相關(guān)度評(píng)分;Wenxian Wang等[10]利用TF-IDF特征并結(jié)合樸素貝葉斯方法判斷文本內(nèi)容的主題相關(guān)性;Taylan等[11]也依據(jù)樸素貝葉斯分類器將網(wǎng)頁(yè)鏈接分類,同時(shí)使用簡(jiǎn)單的鏈接分值優(yōu)化系統(tǒng)性能;Yohanes等[12]認(rèn)為局部搜索算法有缺陷,于是運(yùn)用遺傳算法指導(dǎo)爬行,精確率較Best-First-Search算法有很大提高;álvarez等[13]構(gòu)建了DeepBot[14]主題網(wǎng)絡(luò)爬蟲,獲得了較高的召回率和精確率;Singh等[15]采用提取關(guān)鍵詞擴(kuò)展主題詞權(quán)重表、移除重復(fù)鏈接等方式提高精確率;Diligenti等[16]構(gòu)建了一種名為 Context Focused Crawler的主題爬蟲,該系統(tǒng)通過分析頁(yè)面的層次結(jié)構(gòu)指導(dǎo)爬行,獲得了較高的爬行效率;Stamatakis等[17]構(gòu)建了包括3個(gè)不同版本的CROSSMARC 爬蟲系統(tǒng),針對(duì)不同的版本提供不同的起點(diǎn),從而獲得較高的收獲比;Seyfi等[18]將基于內(nèi)容和基于鏈接的方法相結(jié)合構(gòu)建了Treasure-Crawler爬蟲系統(tǒng),用來發(fā)現(xiàn)與主題有關(guān)的頁(yè)面,并建立T-Graph 結(jié)構(gòu)協(xié)助URL評(píng)分;Sougata Mukherjea[19]構(gòu)建了一種網(wǎng)頁(yè)主題管理系統(tǒng)(WTMS),用戶能采集和分析特定主題頁(yè)面。

    2.2 國(guó)內(nèi)研究現(xiàn)狀

    相比于國(guó)外,我國(guó)對(duì)主題網(wǎng)絡(luò)爬蟲的研究起步雖晚于國(guó)外,但也取得了不少成果。

    蕭婧婕等[20]設(shè)計(jì)出基于灰狼算法,旨在解決爬蟲在全局爬取中的優(yōu)先級(jí)問題,從而提高爬取的查全率和查準(zhǔn)率,能爬取更多網(wǎng)頁(yè);蔣宗禮等[21]把SVM、語(yǔ)義分析技術(shù)及貝葉斯結(jié)合,提高了主題相關(guān)度判斷;陳千[22]提出了一種改進(jìn)的best-first策略,該方法將VSM模型和貝葉斯分類器結(jié)合,能夠預(yù)測(cè)待爬行鏈接,從而提高網(wǎng)頁(yè)收獲率。為提高爬取性能,胡萍瑞[23]依據(jù)URL的特征和站點(diǎn)特點(diǎn),設(shè)計(jì)了基于URL模式集的主題爬蟲。實(shí)驗(yàn)證明,該爬蟲能快速判斷爬取頁(yè)面的相關(guān)度,保證了爬取的召回率和準(zhǔn)確率。劉林等[24]認(rèn)為并不是網(wǎng)頁(yè)的所有URL都與主題有關(guān),因而有必要先通過鏈接分析過濾掉無關(guān)鏈接,實(shí)驗(yàn)表明該方法極大提高了爬行速度;孟竹[25]借助點(diǎn)對(duì)互信息(PMI)與詞向量模型,判斷新的網(wǎng)頁(yè)鏈接與主題相關(guān)度;熊忠陽(yáng)等[26]提出基于信息自增益的主題爬蟲,該策略在爬行過程中自動(dòng)更新;白鶴[27]基于數(shù)據(jù)抽取器構(gòu)建了一個(gè)分布式主題爬蟲系統(tǒng),該系統(tǒng)使用分類標(biāo)注方法克服了多個(gè)主題的兼容問題。針對(duì)主題詞匯不夠細(xì)化、未考慮語(yǔ)義詞意義延伸等問題,孫紅光等[28]采用LDA(Latent Dirichlet Allocation,LDA)模型,基于語(yǔ)義相似度計(jì)算模型,引入語(yǔ)義信息的相似度計(jì)算模型(SVSM)設(shè)計(jì)了語(yǔ)義聚焦爬蟲(ESVSM)。實(shí)驗(yàn)證明,該算法相關(guān)網(wǎng)頁(yè)數(shù)量和平均相關(guān)度都高于其它算法,抓取精度高達(dá)85%;方啟明等[29]通過在配置文件里定義目標(biāo)網(wǎng)站的范圍和類型,實(shí)現(xiàn)可定制主題爬蟲。網(wǎng)頁(yè)鏈接權(quán)威評(píng)估方法主要采用PageRank算法、Hits算法以及基于它們的改進(jìn)算法,Hits主要應(yīng)用于特定領(lǐng)域排序,PageRank算法則用于全局排序[30]。

    3 存在的主要問題

    近年有關(guān)主題網(wǎng)絡(luò)爬蟲研究和探索取得了一定成果,但在文本信息抽取、主題相關(guān)度判別、搜索策略等方面還存在問題,具體如下:

    主題網(wǎng)絡(luò)爬蟲的爬行先在初始頁(yè)獲取源代碼,然后分析和處理源代碼以獲取網(wǎng)頁(yè)標(biāo)題、文本及鏈接等信息,文本信息提取準(zhǔn)確率有待進(jìn)一步提高。

    主題網(wǎng)絡(luò)爬蟲一般會(huì)判別網(wǎng)頁(yè)的主題相關(guān)度,同時(shí)將自動(dòng)保存相關(guān)度高的網(wǎng)頁(yè),當(dāng)前在主題判斷效率和準(zhǔn)確率兩方面有待提升。

    主題網(wǎng)絡(luò)爬蟲的搜索策略研究主要是鏈接結(jié)構(gòu)的價(jià)值評(píng)價(jià)問題,其對(duì)爬蟲進(jìn)一步爬行的搜索路徑、搜索結(jié)果和搜索效率有重要意義。目前,搜索策略存在主題偏離、效率不佳等問題。

    4 研究趨勢(shì)

    主題網(wǎng)絡(luò)爬蟲研究主要集中在搜索策略、網(wǎng)頁(yè)抓取優(yōu)先級(jí)設(shè)計(jì)、主題爬蟲系統(tǒng)設(shè)計(jì)3大領(lǐng)域。目前主題網(wǎng)絡(luò)爬蟲研究不斷進(jìn)步,但有待深入研究的問題如下:

    (1)當(dāng)前,基于網(wǎng)頁(yè)內(nèi)容的主題網(wǎng)絡(luò)爬蟲搜索策略研究方向是使用成熟的文本分類法對(duì)網(wǎng)頁(yè)中的文本進(jìn)行分類,忽略了網(wǎng)頁(yè)結(jié)構(gòu)影響主題相關(guān)度等問題,同時(shí),網(wǎng)頁(yè)是否進(jìn)行去噪處理直接影響到主題的判斷精度,因此對(duì)網(wǎng)頁(yè)去噪研究有待提升。此外,該策略未考慮到互聯(lián)網(wǎng)信息隨時(shí)發(fā)生變化的情況,因網(wǎng)頁(yè)未及時(shí)更新導(dǎo)致抓取到的信息可能已經(jīng)過時(shí)。

    (2)站點(diǎn)的質(zhì)量越高,URL就越規(guī)范,則基于鏈接的主題網(wǎng)絡(luò)爬蟲的主題判斷精確度越高;當(dāng)網(wǎng)站的URL路徑不規(guī)范時(shí),基于鏈接的主題網(wǎng)絡(luò)爬蟲判斷精確度就會(huì)降低。

    (3)現(xiàn)階段,主要的網(wǎng)頁(yè)鏈接分析是PageRank和Hits算法[34],有些使用了SALSA和Hilltop算法,在鏈接分析方面有良好效果。目前,搜索引擎查詢首要采用鏈接分析算法,假如將鏈接分析算法用于主題網(wǎng)絡(luò)爬蟲搜索策略以確定網(wǎng)頁(yè)抓取優(yōu)先級(jí),則會(huì)大大提高主題網(wǎng)絡(luò)爬蟲的信息提取和網(wǎng)頁(yè)搜索性能。

    5 結(jié)語(yǔ)

    隨著人們的個(gè)性化信息需求不斷加大,主題網(wǎng)絡(luò)爬蟲成為搜索引擎領(lǐng)域研究熱點(diǎn)。其中,主題網(wǎng)絡(luò)爬蟲研究重點(diǎn)是網(wǎng)頁(yè)抓取優(yōu)先級(jí)、爬行策略以及設(shè)計(jì)實(shí)現(xiàn)主題網(wǎng)絡(luò)爬蟲系統(tǒng)3大領(lǐng)域。本文先給出主題網(wǎng)絡(luò)爬蟲的定義和基本原理, 然后對(duì)國(guó)內(nèi)外主題網(wǎng)絡(luò)爬蟲研究發(fā)展?fàn)顩r進(jìn)行分析和系統(tǒng)梳理,給出了目前研究中存在的問題以及進(jìn)一步研究的方向。希望有更多學(xué)者關(guān)注、加入到主題網(wǎng)絡(luò)爬蟲研究實(shí)踐中,共同推動(dòng)主題網(wǎng)絡(luò)爬蟲研究健康快速發(fā)展。

    參考文獻(xiàn):

    [1] 中國(guó)互聯(lián)網(wǎng)絡(luò)信息中心. 中國(guó)互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計(jì)報(bào)告[EB/OL]. http://www.cnnic.net.cn/hlwfzyj/hlwxzbg/hlwtjbg/201808/t20180 820_70488.htm

    [2] 張環(huán). 垂直搜索引擎中主題網(wǎng)絡(luò)爬蟲算法研究[D]. 濟(jì)南:山東師范大學(xué),2016.

    [3] VIEIRA K, BARBOSA L, SILVA A S D, et al.Finding seeds to bootstrap focused crawlers[J]. World Wide Web,2016, 19(3):449-474

    [4] BRA P D,POST R D J. Information retrieval in the world-wide web: making client-based searching feasible[J].? Computer Networks and ISDN Systems, 1994, 27(2):183-192.

    [5] HERSOVICI M,JACOVI M,MAAREK Y S,et al. The shark-search algorithm. an application: tailored web site mapping[C].? International Conference on World Wide Web. Elsevier Science Publishers B. V. 1998.

    [6] CHAKRABARTI S,VAN DEN BERG M,DOM B. Focused crawling: a new approach to topic-specific? web? resource? discovery[J]. Computer Networks, May 1999, 31(11-16):1623-1640.

    [7] PAGE.L.The pagerank citation ranking:bringing order to the web[J]. Online manuscript,1998,9(1):1-14.

    [8] JON M. KLEINBERG. Authoritative sources in a hyperlinked environment[C]. Proceedings of the Ninth Annual ACM-SIAM Symposium on Discrete Algorithms,1998:668-677.

    [9] HATI D, KUMAR A. Improved focused crawling approach for retrieving relevant pages based on block partitioning[C]. International Conference on Education Technology and Computer. IEEE,2010:269-273.

    [10] WANG W,CHEN X,ZOU Y,et al. A focused crawler based on naive bayes classifier[C].? Third International Symposium on Intelligent Information Technology & Security Informatics, IEEE Computer Society, 2010.

    [11] TAYLAN D,POYRAZ M,AKYOKU? S,et al. Intelligent focused crawler: learning which links to crawl[C]. International Symposium on Innovations in Intelligent Systems and Applications. IEEE, 2011:504-508.

    [12] YOHANES B W, HANDOKO H, WARDANA H K. Focused crawler optimization using genetic algorithm[J]. Telkomnika (Telecommunication Computing Electronics and Control),2013,9(3):403-410.

    [13] áLVAREZ M, RAPOSO J, PAN A,et al. Deepbot: a focused crawler for accessing hidden web content[C]. Proceedings of the 3rd international workshop on Data engineering issues in E-commerce and services: In conjunction with ACM Conference on Electronic Commerce (EC'07).? ACM, 2007:18-25.

    [14] BERGMAN M K. White paper: the deep web: surfacing hidden value[J].? Journal of electronic publishing, 2001, 7(1):597-600.

    [15] SINGH B, GUPTA D K, SINGH R M. Improved architecture of focused crawler on the basis of content and link analysis[J]. International Journal of Modern Education and Computer Science, 2017, 9(11):33-39.

    [16] DILIGENTI? M, COETZEE F, LAWRENCE S, et al. Focused crawling using context graphs[C]. International Conference on Very Large Data Bases. Morgan? Kaufmann PublishersInc, 2000:527-534.

    [17] STAMATAKIS K, KARKALETSIS V, PALIOURAS G, et al. Domain-specific web site identification: the crossmarc focused web crawler[C]. Proceedings of the 2nd International Workshop on Web Document Analysis (WDA2003), Edinburgh, UK, 2003:75-78.

    [18] SEYFI A, PATEL A. A? focused crawler combinatory link? and content model based on t-graph? principles[J].? Computer Standards & Interfaces, 2016(43):1-11.

    [19] MUKHERJEA S. WTMS: a system for collecting and analyzing topic-specific web information[J].? Computer Networks, 2000, 33(1):457-471.

    [20] 蕭婧婕,陳志云. 基于灰狼算法的主題爬蟲[J]. 計(jì)算機(jī)科學(xué),2018,45(S2):156-158,176.

    [21] 蔣宗禮,田曉燕,趙旭. 一種基于語(yǔ)義分析的主題爬蟲算法[J]. 計(jì)算機(jī)工程與科學(xué),2010, 32(9):145-147.

    [22] 陳千. 主題網(wǎng)絡(luò)爬蟲關(guān)鍵技術(shù)的研究與應(yīng)用[D]. 北京:北京理工大學(xué),2015.

    [23] 胡萍瑞,李石君. 基于URL模式集的主題爬蟲[J]. 計(jì)算機(jī)應(yīng)用研究,2018,35(3):694-699.

    [24] 劉林,汪濤,樊孝忠. 主題爬蟲的解決方案[J]. 華南理工大學(xué)學(xué)報(bào):自然科學(xué)版,2004,32(z1):137-141.

    [25] 孟竹. 詞向量語(yǔ)義模型研究及在主題爬蟲系統(tǒng)中的應(yīng)用[D]. 北京:中國(guó)地質(zhì)大學(xué)(北京),2017.

    [26] 熊忠陽(yáng),史艷,張玉芳. 基于信息增益的自適應(yīng)主題爬行策略[J]. 計(jì)算機(jī)應(yīng)用研究,2012,29(2):501-504.

    [27] 白鶴,湯迪斌,王勁林. 分布式多主題網(wǎng)絡(luò)爬蟲系統(tǒng)的研究與實(shí)現(xiàn)[J]. 計(jì)算機(jī)工程, 2009,35(19):13-16.

    [25] 閔鈺麟,黃永峰. 用戶定制主題聚焦爬蟲的設(shè)計(jì)與實(shí)現(xiàn)[J]. 計(jì)算機(jī)工程與設(shè)計(jì),2015,36(1):17-21.

    [26] 袁浩,黃煙波. 網(wǎng)頁(yè)標(biāo)題分析對(duì)主題爬蟲的改進(jìn)[J]. 計(jì)算機(jī)技術(shù)與發(fā)展, 2009, 19(6):22-24.

    [28] 孫紅光,藏潤(rùn)強(qiáng),姬傳德,等. 基于語(yǔ)義的聚焦爬蟲算法研究[J]. 東北師大學(xué)報(bào):自然科學(xué)版,2018, 50(2):56-62.

    [29] 方啟明,楊廣文,武永衛(wèi),等. 面向P2P搜索的可定制聚焦網(wǎng)絡(luò)爬蟲[J]. 華中科技大學(xué)學(xué)報(bào):自然科學(xué)版, 2007, 35(s2):148-152.

    [30] 蘇成,潘云濤,袁軍鵬,等. 基于優(yōu)化PageRank、HITS和SALSA算法的期刊評(píng)價(jià)研究[J]. 編輯學(xué)報(bào),2015,27(4):330-333.

    [31] 何曉陽(yáng),吳強(qiáng),吳治蓉. HITS算法與PageRank算法比較分析[J]. 情報(bào)雜志,2004,23(2):85-86.

    (責(zé)任編輯:杜能鋼)

    猜你喜歡
    搜索引擎
    Chrome 99 Canary恢復(fù)可移除預(yù)置搜索引擎選項(xiàng)
    世界表情符號(hào)日
    大數(shù)據(jù)分析下智能搜索引擎的構(gòu)建研究
    網(wǎng)絡(luò)搜索引擎亟待規(guī)范
    網(wǎng)絡(luò)搜索引擎
    Nutch搜索引擎在網(wǎng)絡(luò)輿情管控中的應(yīng)用
    基于Nutch的醫(yī)療搜索引擎的研究與開發(fā)
    廣告主與搜索引擎的雙向博弈分析
    基于Lucene搜索引擎的研究
    一種自反饋式元搜索系統(tǒng)的設(shè)計(jì)
    亚洲精品亚洲一区二区| 国产黄频视频在线观看| 99久久中文字幕三级久久日本| 欧美性感艳星| 久久精品夜色国产| 另类亚洲欧美激情| 交换朋友夫妻互换小说| 啦啦啦在线观看免费高清www| 好男人视频免费观看在线| 韩国av在线不卡| 日韩电影二区| 午夜福利在线观看免费完整高清在| 日本色播在线视频| 欧美一区二区亚洲| 一级av片app| 国产午夜精品一二区理论片| 午夜福利在线在线| 国产精品女同一区二区软件| 99热这里只有是精品在线观看| 国产高清三级在线| 亚洲欧美一区二区三区黑人 | 国产免费一区二区三区四区乱码| av黄色大香蕉| 波野结衣二区三区在线| 十分钟在线观看高清视频www | 女性被躁到高潮视频| 国产在线一区二区三区精| 国产欧美亚洲国产| www.色视频.com| 大片免费播放器 马上看| 国产无遮挡羞羞视频在线观看| 直男gayav资源| 中文字幕制服av| 99热网站在线观看| 日韩大片免费观看网站| 国产亚洲最大av| 欧美xxxx黑人xx丫x性爽| 下体分泌物呈黄色| 中文字幕亚洲精品专区| 午夜免费观看性视频| 亚洲欧美日韩东京热| 内射极品少妇av片p| 纵有疾风起免费观看全集完整版| 哪个播放器可以免费观看大片| 中文精品一卡2卡3卡4更新| 天堂8中文在线网| 性色avwww在线观看| 国产69精品久久久久777片| 日日啪夜夜爽| 欧美高清成人免费视频www| 国产熟女欧美一区二区| av国产免费在线观看| 777米奇影视久久| 国产成人免费无遮挡视频| 最近2019中文字幕mv第一页| 国产精品麻豆人妻色哟哟久久| 人人妻人人爽人人添夜夜欢视频 | 国产黄色视频一区二区在线观看| 亚洲精品第二区| 青春草国产在线视频| 久久国产精品男人的天堂亚洲 | 国产成人freesex在线| 色综合色国产| 午夜福利在线在线| xxx大片免费视频| 青春草亚洲视频在线观看| 18禁裸乳无遮挡免费网站照片| 丰满少妇做爰视频| 超碰97精品在线观看| 中文字幕人妻熟人妻熟丝袜美| 国产伦在线观看视频一区| 成人毛片60女人毛片免费| 国产一区二区在线观看日韩| 国产成人精品婷婷| 一本色道久久久久久精品综合| 日日摸夜夜添夜夜爱| a 毛片基地| 中文字幕人妻熟人妻熟丝袜美| 看十八女毛片水多多多| 精品久久久久久久久亚洲| 国产精品欧美亚洲77777| 噜噜噜噜噜久久久久久91| 日韩亚洲欧美综合| 如何舔出高潮| 一级爰片在线观看| 国产成人freesex在线| 91久久精品电影网| 国产亚洲5aaaaa淫片| 免费播放大片免费观看视频在线观看| 99九九线精品视频在线观看视频| 在线免费十八禁| 在线观看人妻少妇| 久久av网站| 国产免费一级a男人的天堂| 欧美日韩精品成人综合77777| 一区二区三区精品91| 欧美日韩在线观看h| 国产男人的电影天堂91| 男男h啪啪无遮挡| 国产成人aa在线观看| 99热这里只有精品一区| 久久国产精品男人的天堂亚洲 | 小蜜桃在线观看免费完整版高清| 人妻 亚洲 视频| 久久久欧美国产精品| 久久热精品热| 亚洲伊人久久精品综合| 观看美女的网站| 在线观看免费高清a一片| 精品久久久久久久末码| 国产精品久久久久久精品古装| 日本欧美视频一区| 熟女电影av网| 日本午夜av视频| 国产精品爽爽va在线观看网站| 精品久久久久久久末码| 亚洲精品国产av蜜桃| 亚洲性久久影院| 久久久久久久久久人人人人人人| 我的老师免费观看完整版| 国产精品秋霞免费鲁丝片| 久久99热这里只频精品6学生| 三级国产精品片| 国产av一区二区精品久久 | 欧美日韩综合久久久久久| 日韩av在线免费看完整版不卡| av在线观看视频网站免费| 天美传媒精品一区二区| 久久久a久久爽久久v久久| 两个人的视频大全免费| 欧美另类一区| 91精品国产九色| 欧美最新免费一区二区三区| 国产亚洲91精品色在线| 天堂俺去俺来也www色官网| www.av在线官网国产| 国产成人91sexporn| 男人和女人高潮做爰伦理| 日韩一区二区视频免费看| 国产黄频视频在线观看| 插阴视频在线观看视频| h视频一区二区三区| 黄片无遮挡物在线观看| 六月丁香七月| 国产精品不卡视频一区二区| 我的女老师完整版在线观看| 水蜜桃什么品种好| 黄色日韩在线| 激情 狠狠 欧美| 亚洲国产成人一精品久久久| av在线蜜桃| 18禁在线播放成人免费| 久久久a久久爽久久v久久| 男女啪啪激烈高潮av片| av国产久精品久网站免费入址| 精品一区二区三卡| 男女下面进入的视频免费午夜| 久久国内精品自在自线图片| 伦精品一区二区三区| 搡女人真爽免费视频火全软件| 大香蕉97超碰在线| 国产成人午夜福利电影在线观看| 亚洲欧美成人综合另类久久久| 国产精品嫩草影院av在线观看| 免费看不卡的av| 日韩伦理黄色片| 国内精品宾馆在线| 国产在线视频一区二区| 国产男人的电影天堂91| 中文字幕免费在线视频6| 你懂的网址亚洲精品在线观看| 成人特级av手机在线观看| 中文字幕制服av| 亚洲国产高清在线一区二区三| 男女国产视频网站| 中文在线观看免费www的网站| 全区人妻精品视频| av一本久久久久| 纯流量卡能插随身wifi吗| 日本免费在线观看一区| 欧美一区二区亚洲| 男女无遮挡免费网站观看| 亚洲美女黄色视频免费看| 一区二区三区免费毛片| 亚洲无线观看免费| 亚洲av男天堂| 国产无遮挡羞羞视频在线观看| 夫妻性生交免费视频一级片| 久久ye,这里只有精品| 丝瓜视频免费看黄片| 国产精品一区二区性色av| 青青草视频在线视频观看| 涩涩av久久男人的天堂| 国产真实伦视频高清在线观看| 天天躁日日操中文字幕| 国产伦理片在线播放av一区| 十分钟在线观看高清视频www | 99热这里只有精品一区| 亚洲精品乱码久久久久久按摩| 女人十人毛片免费观看3o分钟| 精品久久久噜噜| 日本色播在线视频| 亚洲精品第二区| 国产高清不卡午夜福利| 亚洲精品国产成人久久av| 国产深夜福利视频在线观看| 国产精品无大码| 毛片女人毛片| 女性生殖器流出的白浆| 99九九线精品视频在线观看视频| 成人一区二区视频在线观看| 国产精品av视频在线免费观看| 下体分泌物呈黄色| 九九在线视频观看精品| 久久影院123| 国产 一区 欧美 日韩| 汤姆久久久久久久影院中文字幕| 中文乱码字字幕精品一区二区三区| 久久鲁丝午夜福利片| 国产精品免费大片| 老女人水多毛片| 欧美日韩在线观看h| 毛片女人毛片| 亚洲经典国产精华液单| 精品一区在线观看国产| 精品久久久噜噜| 久久精品国产自在天天线| 中文字幕精品免费在线观看视频 | 午夜福利影视在线免费观看| 少妇高潮的动态图| 我要看日韩黄色一级片| 成人综合一区亚洲| 亚洲欧美成人综合另类久久久| 午夜激情福利司机影院| 国产免费福利视频在线观看| 国产免费一区二区三区四区乱码| 久久久久国产网址| a级毛片免费高清观看在线播放| 国产久久久一区二区三区| 亚洲激情五月婷婷啪啪| 最后的刺客免费高清国语| 国产精品国产av在线观看| 99热网站在线观看| 极品教师在线视频| 亚洲经典国产精华液单| 一本色道久久久久久精品综合| 中文乱码字字幕精品一区二区三区| 美女中出高潮动态图| 日韩一本色道免费dvd| 在线观看国产h片| 国产乱来视频区| 日韩,欧美,国产一区二区三区| 国产精品成人在线| 国产黄片视频在线免费观看| 色视频www国产| 内射极品少妇av片p| 日韩不卡一区二区三区视频在线| 少妇猛男粗大的猛烈进出视频| 亚洲精品乱码久久久v下载方式| 老司机影院毛片| 亚洲av.av天堂| 精品久久久久久久末码| 极品少妇高潮喷水抽搐| 九九在线视频观看精品| 日韩中文字幕视频在线看片 | 欧美日韩一区二区视频在线观看视频在线| 亚州av有码| av女优亚洲男人天堂| 麻豆成人av视频| 婷婷色综合大香蕉| 国产成人免费无遮挡视频| 免费黄频网站在线观看国产| 女性生殖器流出的白浆| 日韩国内少妇激情av| 中文欧美无线码| 免费观看的影片在线观看| 久热这里只有精品99| 日韩不卡一区二区三区视频在线| 男男h啪啪无遮挡| 最近最新中文字幕大全电影3| 精品国产露脸久久av麻豆| 国产精品一区二区在线不卡| 欧美成人午夜免费资源| 男人舔奶头视频| 性色avwww在线观看| 日韩成人伦理影院| 国产精品国产三级国产av玫瑰| 日韩一区二区三区影片| 美女脱内裤让男人舔精品视频| 搡老乐熟女国产| 晚上一个人看的免费电影| 国产成人精品久久久久久| 爱豆传媒免费全集在线观看| 欧美精品亚洲一区二区| 欧美老熟妇乱子伦牲交| 少妇人妻久久综合中文| 一本久久精品| 亚洲人成网站在线观看播放| 婷婷色麻豆天堂久久| 日本爱情动作片www.在线观看| 久久久久久久大尺度免费视频| 久久久久久久久久人人人人人人| 一级片'在线观看视频| 日本黄色片子视频| 伦理电影大哥的女人| 国产精品一及| 国产精品一区www在线观看| 国产毛片在线视频| 菩萨蛮人人尽说江南好唐韦庄| av不卡在线播放| 国产成人午夜福利电影在线观看| 国产一区二区在线观看日韩| 久久久色成人| 亚洲无线观看免费| 久久久久久久久大av| 国产91av在线免费观看| 最新中文字幕久久久久| 99热这里只有精品一区| 国产伦精品一区二区三区视频9| 成人二区视频| 自拍偷自拍亚洲精品老妇| 国产成人aa在线观看| 三级国产精品欧美在线观看| 老司机影院成人| av.在线天堂| 午夜老司机福利剧场| 亚洲色图av天堂| av国产精品久久久久影院| 女性被躁到高潮视频| 少妇高潮的动态图| 男男h啪啪无遮挡| 黄色配什么色好看| 久久国产亚洲av麻豆专区| 日韩,欧美,国产一区二区三区| 青青草视频在线视频观看| 亚洲欧美成人精品一区二区| 色哟哟·www| 国产免费又黄又爽又色| 国产精品人妻久久久影院| 亚洲图色成人| 日本vs欧美在线观看视频 | 99久久精品一区二区三区| 五月玫瑰六月丁香| 国产大屁股一区二区在线视频| 久久久成人免费电影| 内地一区二区视频在线| 日韩制服骚丝袜av| 久久久久久久国产电影| 黄片wwwwww| 亚洲成人一二三区av| 国产精品成人在线| 国产无遮挡羞羞视频在线观看| 自拍偷自拍亚洲精品老妇| 麻豆乱淫一区二区| 深夜a级毛片| 色视频www国产| 国产精品福利在线免费观看| 久热久热在线精品观看| 26uuu在线亚洲综合色| 晚上一个人看的免费电影| 亚洲成人中文字幕在线播放| 中文字幕免费在线视频6| 精品国产乱码久久久久久小说| 如何舔出高潮| 国产精品av视频在线免费观看| 高清毛片免费看| 日本wwww免费看| 免费黄网站久久成人精品| 精品国产三级普通话版| 中文在线观看免费www的网站| 高清日韩中文字幕在线| 国产色婷婷99| 国产男女内射视频| 久久毛片免费看一区二区三区| 国产精品欧美亚洲77777| a级一级毛片免费在线观看| 久久久精品94久久精品| 国产成人一区二区在线| 久久精品久久精品一区二区三区| 亚洲经典国产精华液单| 春色校园在线视频观看| 亚洲av欧美aⅴ国产| 亚洲欧美一区二区三区国产| 日本与韩国留学比较| 国产69精品久久久久777片| 欧美日韩在线观看h| 国产v大片淫在线免费观看| 欧美日韩精品成人综合77777| 午夜精品国产一区二区电影| 日日撸夜夜添| 免费人成在线观看视频色| 一级a做视频免费观看| 少妇的逼水好多| 国产亚洲最大av| 亚洲无线观看免费| 久久 成人 亚洲| 成人亚洲精品一区在线观看 | 日韩国内少妇激情av| 亚洲,一卡二卡三卡| h日本视频在线播放| av国产久精品久网站免费入址| 插逼视频在线观看| 国产老妇伦熟女老妇高清| 在线观看av片永久免费下载| 热re99久久精品国产66热6| 亚洲精品日韩av片在线观看| 欧美成人午夜免费资源| 国产一区亚洲一区在线观看| 日韩欧美一区视频在线观看 | 久久精品久久久久久久性| 免费观看a级毛片全部| 99热这里只有精品一区| 爱豆传媒免费全集在线观看| 国产在线男女| 国产综合精华液| 免费大片黄手机在线观看| 91精品伊人久久大香线蕉| 老司机影院毛片| av不卡在线播放| 日韩人妻高清精品专区| 免费看av在线观看网站| 国产精品秋霞免费鲁丝片| 中文在线观看免费www的网站| 五月玫瑰六月丁香| 欧美高清成人免费视频www| 色视频在线一区二区三区| 成人免费观看视频高清| 久久国内精品自在自线图片| 亚洲av中文av极速乱| 韩国高清视频一区二区三区| 久久久久精品久久久久真实原创| 丝袜喷水一区| 日韩强制内射视频| 黄色配什么色好看| 春色校园在线视频观看| 国产黄色免费在线视频| 国产欧美日韩一区二区三区在线 | 亚洲美女黄色视频免费看| 亚洲精品国产av蜜桃| 日本vs欧美在线观看视频 | 日韩av不卡免费在线播放| 秋霞在线观看毛片| 精品久久久久久久久亚洲| 又爽又黄a免费视频| 在线观看三级黄色| 少妇的逼水好多| 日韩av免费高清视频| 老熟女久久久| 欧美三级亚洲精品| 一级片'在线观看视频| 亚洲欧美日韩另类电影网站 | 网址你懂的国产日韩在线| 亚洲美女视频黄频| 免费在线观看成人毛片| 1000部很黄的大片| 18禁在线无遮挡免费观看视频| 国产亚洲av片在线观看秒播厂| 精品人妻视频免费看| 国产 精品1| 网址你懂的国产日韩在线| 在线观看美女被高潮喷水网站| 久久久a久久爽久久v久久| 国产真实伦视频高清在线观看| 麻豆精品久久久久久蜜桃| 十八禁网站网址无遮挡 | 国产午夜精品一二区理论片| 美女国产视频在线观看| 妹子高潮喷水视频| 亚洲欧美精品专区久久| 建设人人有责人人尽责人人享有的 | 夜夜爽夜夜爽视频| 日本wwww免费看| 午夜精品国产一区二区电影| 欧美精品一区二区免费开放| 熟女人妻精品中文字幕| 在线看a的网站| 美女内射精品一级片tv| 免费看光身美女| 青春草亚洲视频在线观看| 亚洲人成网站在线观看播放| 精品久久久久久久久av| 夜夜爽夜夜爽视频| 精品午夜福利在线看| 精品亚洲成国产av| 国产成人免费观看mmmm| 99久久人妻综合| 一区二区av电影网| 热re99久久精品国产66热6| 亚洲精品,欧美精品| 韩国av在线不卡| 一区二区三区精品91| 亚洲精品第二区| 交换朋友夫妻互换小说| 男人和女人高潮做爰伦理| 国产精品一区二区性色av| 成年免费大片在线观看| 色婷婷av一区二区三区视频| 国产又色又爽无遮挡免| 嫩草影院入口| 91久久精品电影网| 欧美极品一区二区三区四区| 2018国产大陆天天弄谢| 黄色配什么色好看| 亚洲国产色片| 哪个播放器可以免费观看大片| tube8黄色片| 丰满迷人的少妇在线观看| 亚洲成色77777| 精品人妻熟女av久视频| 久久精品久久久久久噜噜老黄| 亚洲三级黄色毛片| 亚洲色图综合在线观看| 亚洲精品aⅴ在线观看| 极品教师在线视频| 国产国拍精品亚洲av在线观看| 不卡视频在线观看欧美| 国产亚洲精品久久久com| 自拍偷自拍亚洲精品老妇| 国产日韩欧美亚洲二区| 我要看日韩黄色一级片| 熟女电影av网| 色婷婷久久久亚洲欧美| 男的添女的下面高潮视频| 精品一区在线观看国产| 国内精品宾馆在线| 免费观看av网站的网址| 免费观看无遮挡的男女| 日日摸夜夜添夜夜添av毛片| 国产 一区精品| 色婷婷久久久亚洲欧美| 人人妻人人看人人澡| 2018国产大陆天天弄谢| 又爽又黄a免费视频| 成人黄色视频免费在线看| 久久久久性生活片| 男女边摸边吃奶| 国产片特级美女逼逼视频| 欧美区成人在线视频| 国产免费视频播放在线视频| 在线精品无人区一区二区三 | 成年免费大片在线观看| 久久久亚洲精品成人影院| 国产精品久久久久成人av| 亚洲成色77777| 卡戴珊不雅视频在线播放| 亚洲性久久影院| 国产精品一区二区在线不卡| 久久这里有精品视频免费| 麻豆国产97在线/欧美| 联通29元200g的流量卡| 免费久久久久久久精品成人欧美视频 | 卡戴珊不雅视频在线播放| 亚洲av二区三区四区| 亚洲精品国产av成人精品| 三级国产精品欧美在线观看| 水蜜桃什么品种好| 亚洲精品视频女| 久久精品久久久久久久性| 精品久久久久久久久亚洲| 国产深夜福利视频在线观看| 成人国产av品久久久| 国产亚洲av片在线观看秒播厂| av又黄又爽大尺度在线免费看| 日韩欧美一区视频在线观看 | 尤物成人国产欧美一区二区三区| 激情 狠狠 欧美| 亚洲电影在线观看av| 香蕉精品网在线| 夫妻午夜视频| 九九在线视频观看精品| 一级av片app| 有码 亚洲区| 老司机影院毛片| 啦啦啦啦在线视频资源| 久久久国产一区二区| 亚洲经典国产精华液单| 国产亚洲一区二区精品| 久久人人爽人人爽人人片va| 一个人看的www免费观看视频| 三级国产精品片| av又黄又爽大尺度在线免费看| 国产成人精品福利久久| 在线免费观看不下载黄p国产| 日韩大片免费观看网站| 久久鲁丝午夜福利片| 51国产日韩欧美| av免费在线看不卡| 成人高潮视频无遮挡免费网站| 最近2019中文字幕mv第一页| 色吧在线观看| 九草在线视频观看| 久久人人爽人人片av| 亚洲自偷自拍三级| 看十八女毛片水多多多| 国产精品一二三区在线看| 国产亚洲91精品色在线| 欧美最新免费一区二区三区| 欧美3d第一页| 男女边吃奶边做爰视频| 夫妻性生交免费视频一级片| 亚洲成人一二三区av| 国产亚洲午夜精品一区二区久久| 欧美区成人在线视频| 亚洲欧美一区二区三区国产| 黄片wwwwww| 黄色欧美视频在线观看| 国产精品一区二区在线不卡| 不卡视频在线观看欧美| 美女内射精品一级片tv| 欧美精品一区二区大全| 51国产日韩欧美| 国产一区二区三区av在线| 国产爽快片一区二区三区| 色吧在线观看| 在线观看免费视频网站a站|