• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    主題網(wǎng)絡(luò)爬蟲研究綜述

    2020-05-25 02:30左薇張熹董紅娟于夢(mèng)君
    軟件導(dǎo)刊 2020年2期
    關(guān)鍵詞:搜索引擎

    左薇 張熹 董紅娟 于夢(mèng)君

    摘 要:隨著人們對(duì)信息資源的個(gè)性化需求不斷加大,主題網(wǎng)絡(luò)爬蟲應(yīng)時(shí)而生。闡述主題網(wǎng)絡(luò)爬蟲定義及工作原理;介紹了主題網(wǎng)絡(luò)爬蟲研究進(jìn)展,對(duì)主題網(wǎng)絡(luò)爬蟲爬行策略、網(wǎng)頁(yè)抓取優(yōu)先級(jí)以及系統(tǒng)設(shè)計(jì)實(shí)現(xiàn)進(jìn)行闡述;總結(jié)當(dāng)前研究的不足,對(duì)未來研究方向進(jìn)行了展望。

    關(guān)鍵詞:主題網(wǎng)絡(luò)爬蟲;主題爬蟲;搜索引擎

    DOI:10. 11907/rjdk. 191351 開放科學(xué)(資源服務(wù))標(biāo)識(shí)碼(OSID):

    中圖分類號(hào):TP301文獻(xiàn)標(biāo)識(shí)碼:A 文章編號(hào):1672-7800(2020)002-0278-04

    英標(biāo):Overview of Research on Topic-focused Web Crawler

    英作:ZUO Wei1, ZHANG Xi2, DONG Hong-juan1, YU Meng-jun1

    英單:(1. School of Professional and Continuing Education, Yunnan University;2. School of Information, Yunnan University, Kunming 650000,China)

    Abstract: With the increase of peoples personalized demand for information resources, topic-focused web crawler emerged at the right time. The topic-focused web crawler and its working principle are stated. The research progress of theme web crawler is systematically analyzed, and three fields of topic-focused web crawler crawling strategy, web page crawling priority and design and implementation oftopic-focused web crawler system are expounded. The deficiencies of current research are summarized and the future research direction is prospected.

    Key Words: topic-focused web crawler; topic-focused crawler; search engine

    0 引言

    Internet的飛速發(fā)展加快了網(wǎng)絡(luò)信息量增長(zhǎng)。據(jù)中國(guó)互聯(lián)網(wǎng)絡(luò)信息中心第41次《中國(guó)互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計(jì)報(bào)告》 [1]顯示,“截止2018年6月,我國(guó)網(wǎng)民高達(dá)8.02億,互聯(lián)網(wǎng)普及率為57.7%”。在互聯(lián)網(wǎng)這個(gè)龐大的資源庫(kù)中,網(wǎng)頁(yè)搜索引擎是人們獲取外界信息的主要工具。為了提高檢索質(zhì)量,達(dá)到更好的檢索體驗(yàn),通用搜索引擎應(yīng)運(yùn)而生。通用搜索引擎利用爬蟲程序?qū)W(wǎng)站進(jìn)行檢索,如谷歌、百度等面向所有用戶的大型搜索引擎,把種子頁(yè)面作為搜索起點(diǎn),力圖遍歷整個(gè)網(wǎng)絡(luò),盡可能全面搜索到人們所需的信息。然而,針對(duì)某一特定主題,通用搜索引擎存在信息冗余大、內(nèi)存占用高、消耗系統(tǒng)資源、查準(zhǔn)率低和個(gè)性化需求弱等問題[2],為解決這些問題,出現(xiàn)了抓取特定領(lǐng)域信息資源的主題網(wǎng)絡(luò)爬蟲(Topical Web Crawler)技術(shù)。主題網(wǎng)絡(luò)爬蟲又稱主題爬蟲(Topical Crawler)和聚焦爬蟲(Focused Crawling),是網(wǎng)絡(luò)爬蟲的一個(gè)重要分支[3]。主題網(wǎng)絡(luò)爬蟲指盡可能爬行和收集用戶所需的網(wǎng)頁(yè),與通用網(wǎng)絡(luò)爬蟲有較大差異,它只抓取用戶特定的、與主題相關(guān)的網(wǎng)頁(yè),忽略與主題無關(guān)的網(wǎng)頁(yè),具有準(zhǔn)確性、深入性和專業(yè)性等特點(diǎn)。

    近年來,國(guó)內(nèi)外專家學(xué)者對(duì)主題網(wǎng)絡(luò)爬蟲技術(shù)研究取得了顯著成果,但鮮有文獻(xiàn)對(duì)主題網(wǎng)絡(luò)爬蟲研究發(fā)展?fàn)顩r進(jìn)行分析和系統(tǒng)梳理。因此,對(duì)近年來主題網(wǎng)絡(luò)爬蟲進(jìn)行綜述顯得至關(guān)重要。本文從主題網(wǎng)絡(luò)爬蟲的定義及工作原理、國(guó)內(nèi)外研究進(jìn)展、研究中存在的問題、未來研究方向展望4個(gè)部分進(jìn)行闡述,以期為今后主題網(wǎng)絡(luò)爬蟲研究與實(shí)踐方向提供借鑒與參考。

    1 主題網(wǎng)絡(luò)爬蟲定義與工作原理

    1.1 主題網(wǎng)絡(luò)爬蟲定義

    網(wǎng)絡(luò)爬蟲(Web Crawler)是依照一定規(guī)則主動(dòng)抓取網(wǎng)頁(yè)的程序,是搜索引擎獲得信息的渠道之一。通常根據(jù)給定URL種子爬取網(wǎng)頁(yè),得到新的URL存放至待爬行URL中,當(dāng)滿足一定條件時(shí)停止爬行。網(wǎng)絡(luò)爬蟲一般分為通用網(wǎng)絡(luò)爬蟲、深度網(wǎng)絡(luò)爬蟲和主題網(wǎng)絡(luò)爬蟲3類。

    主題網(wǎng)絡(luò)爬蟲通常給定URL種子集,依照預(yù)先規(guī)定的主題,由特定的分析算法算出爬行網(wǎng)頁(yè)的主題相關(guān)度,并過濾與主題無關(guān)的網(wǎng)頁(yè),優(yōu)先抓取相關(guān)度高的網(wǎng)頁(yè),當(dāng)滿足一定條件時(shí)停止。主題網(wǎng)絡(luò)爬蟲根據(jù)主題對(duì)Web進(jìn)行分塊采集并整合采集結(jié)果,從而提高Web頁(yè)面利用率。

    1.2 主題網(wǎng)絡(luò)爬蟲工作原理

    主題網(wǎng)絡(luò)爬蟲與通用爬蟲差異如下:

    主題相關(guān)性預(yù)測(cè)。主題爬蟲對(duì)提取的URL會(huì)采用一定策略預(yù)測(cè)其主題相關(guān)性,給出量化評(píng)價(jià),而通用爬蟲通常不需要對(duì)URL進(jìn)行相關(guān)性預(yù)測(cè)。

    主題相關(guān)度判斷。當(dāng)一篇網(wǎng)頁(yè)下載后,主題網(wǎng)絡(luò)爬蟲自動(dòng)分析頁(yè)面相關(guān)度,丟棄與主題無關(guān)的頁(yè)面,存儲(chǔ)相關(guān)頁(yè)面。通用爬蟲通常直接存儲(chǔ)下載的頁(yè)面。

    URL抓取排序。主題網(wǎng)絡(luò)爬蟲依據(jù)一定的規(guī)則將待抓取的URL排序并明確抓取順序,通常先抓取評(píng)分較高的URL,而通用爬蟲采用先進(jìn)先出原則。

    主題網(wǎng)絡(luò)爬蟲工作流程如圖 1 所示。

    2 主題網(wǎng)絡(luò)爬蟲研究現(xiàn)狀

    2.1 國(guó)外研究現(xiàn)狀

    國(guó)外主題爬蟲研究始于上世紀(jì) 90 年代,提出一些獲取特定內(nèi)容的爬行策略,只是當(dāng)時(shí)還沒有提出主題網(wǎng)絡(luò)爬蟲概念。1994年,DeBra[4]設(shè)計(jì)了Fish-search算法用來指導(dǎo)爬蟲抓取方向,在特定的范圍內(nèi)爬取網(wǎng)頁(yè)。若抓取到相關(guān)網(wǎng)頁(yè),則繼續(xù)游動(dòng),反之則停止。由于Fish不能估算出頁(yè)面和主題的相關(guān)程度,Michael Hersovici[5]基于Fish-Search算法于1998年提出了Shark-Search算法,該算法通過0~1的區(qū)間值表示候選URL的優(yōu)先級(jí)。直到1999年,Chakrabarti等[6]提出主題網(wǎng)絡(luò)爬蟲概念,主要用于描述超鏈接資源發(fā)現(xiàn)系統(tǒng),這一系統(tǒng)主要包括分類器和過濾器。分類器用來評(píng)估文本內(nèi)容和主題相關(guān)度,過濾器用來過濾無關(guān)鏈接網(wǎng)頁(yè),是早期主題網(wǎng)絡(luò)爬蟲較典型的研究之一。2001年,Junghoo Cho提出了best-first-search搜索策略。上述3類主題網(wǎng)絡(luò)爬蟲的設(shè)計(jì)思想主要涉及網(wǎng)頁(yè)上的文本和內(nèi)容,根據(jù)文本和內(nèi)容選擇下載頁(yè)面及將要訪問的URL。基于鏈接結(jié)構(gòu)評(píng)價(jià)這一爬取策略主要有PageRank算法和HITS算法。Larry Page[7]提出的PageRank算法,主要根據(jù)是否被權(quán)威網(wǎng)站指向及鏈接指向判斷網(wǎng)頁(yè)的關(guān)聯(lián)程度。1998年,Kleinberg[8]提出HITS算法,該算法通過權(quán)威和樞紐兩個(gè)維度衡量頁(yè)面的價(jià)值。若只使用網(wǎng)絡(luò)鏈接關(guān)系判斷網(wǎng)頁(yè)的關(guān)鍵性而不去判斷文本內(nèi)容,可能導(dǎo)致爬行結(jié)果與主題無關(guān),所以一般不單獨(dú)使用基于鏈接的爬取策略。

    Hati等[9]采用VIPS 算法把網(wǎng)頁(yè)劃為不同區(qū)塊,用區(qū)塊的相關(guān)度評(píng)分衡量頁(yè)面的主題相關(guān)度評(píng)分;Wenxian Wang等[10]利用TF-IDF特征并結(jié)合樸素貝葉斯方法判斷文本內(nèi)容的主題相關(guān)性;Taylan等[11]也依據(jù)樸素貝葉斯分類器將網(wǎng)頁(yè)鏈接分類,同時(shí)使用簡(jiǎn)單的鏈接分值優(yōu)化系統(tǒng)性能;Yohanes等[12]認(rèn)為局部搜索算法有缺陷,于是運(yùn)用遺傳算法指導(dǎo)爬行,精確率較Best-First-Search算法有很大提高;álvarez等[13]構(gòu)建了DeepBot[14]主題網(wǎng)絡(luò)爬蟲,獲得了較高的召回率和精確率;Singh等[15]采用提取關(guān)鍵詞擴(kuò)展主題詞權(quán)重表、移除重復(fù)鏈接等方式提高精確率;Diligenti等[16]構(gòu)建了一種名為 Context Focused Crawler的主題爬蟲,該系統(tǒng)通過分析頁(yè)面的層次結(jié)構(gòu)指導(dǎo)爬行,獲得了較高的爬行效率;Stamatakis等[17]構(gòu)建了包括3個(gè)不同版本的CROSSMARC 爬蟲系統(tǒng),針對(duì)不同的版本提供不同的起點(diǎn),從而獲得較高的收獲比;Seyfi等[18]將基于內(nèi)容和基于鏈接的方法相結(jié)合構(gòu)建了Treasure-Crawler爬蟲系統(tǒng),用來發(fā)現(xiàn)與主題有關(guān)的頁(yè)面,并建立T-Graph 結(jié)構(gòu)協(xié)助URL評(píng)分;Sougata Mukherjea[19]構(gòu)建了一種網(wǎng)頁(yè)主題管理系統(tǒng)(WTMS),用戶能采集和分析特定主題頁(yè)面。

    2.2 國(guó)內(nèi)研究現(xiàn)狀

    相比于國(guó)外,我國(guó)對(duì)主題網(wǎng)絡(luò)爬蟲的研究起步雖晚于國(guó)外,但也取得了不少成果。

    蕭婧婕等[20]設(shè)計(jì)出基于灰狼算法,旨在解決爬蟲在全局爬取中的優(yōu)先級(jí)問題,從而提高爬取的查全率和查準(zhǔn)率,能爬取更多網(wǎng)頁(yè);蔣宗禮等[21]把SVM、語(yǔ)義分析技術(shù)及貝葉斯結(jié)合,提高了主題相關(guān)度判斷;陳千[22]提出了一種改進(jìn)的best-first策略,該方法將VSM模型和貝葉斯分類器結(jié)合,能夠預(yù)測(cè)待爬行鏈接,從而提高網(wǎng)頁(yè)收獲率。為提高爬取性能,胡萍瑞[23]依據(jù)URL的特征和站點(diǎn)特點(diǎn),設(shè)計(jì)了基于URL模式集的主題爬蟲。實(shí)驗(yàn)證明,該爬蟲能快速判斷爬取頁(yè)面的相關(guān)度,保證了爬取的召回率和準(zhǔn)確率。劉林等[24]認(rèn)為并不是網(wǎng)頁(yè)的所有URL都與主題有關(guān),因而有必要先通過鏈接分析過濾掉無關(guān)鏈接,實(shí)驗(yàn)表明該方法極大提高了爬行速度;孟竹[25]借助點(diǎn)對(duì)互信息(PMI)與詞向量模型,判斷新的網(wǎng)頁(yè)鏈接與主題相關(guān)度;熊忠陽(yáng)等[26]提出基于信息自增益的主題爬蟲,該策略在爬行過程中自動(dòng)更新;白鶴[27]基于數(shù)據(jù)抽取器構(gòu)建了一個(gè)分布式主題爬蟲系統(tǒng),該系統(tǒng)使用分類標(biāo)注方法克服了多個(gè)主題的兼容問題。針對(duì)主題詞匯不夠細(xì)化、未考慮語(yǔ)義詞意義延伸等問題,孫紅光等[28]采用LDA(Latent Dirichlet Allocation,LDA)模型,基于語(yǔ)義相似度計(jì)算模型,引入語(yǔ)義信息的相似度計(jì)算模型(SVSM)設(shè)計(jì)了語(yǔ)義聚焦爬蟲(ESVSM)。實(shí)驗(yàn)證明,該算法相關(guān)網(wǎng)頁(yè)數(shù)量和平均相關(guān)度都高于其它算法,抓取精度高達(dá)85%;方啟明等[29]通過在配置文件里定義目標(biāo)網(wǎng)站的范圍和類型,實(shí)現(xiàn)可定制主題爬蟲。網(wǎng)頁(yè)鏈接權(quán)威評(píng)估方法主要采用PageRank算法、Hits算法以及基于它們的改進(jìn)算法,Hits主要應(yīng)用于特定領(lǐng)域排序,PageRank算法則用于全局排序[30]。

    3 存在的主要問題

    近年有關(guān)主題網(wǎng)絡(luò)爬蟲研究和探索取得了一定成果,但在文本信息抽取、主題相關(guān)度判別、搜索策略等方面還存在問題,具體如下:

    主題網(wǎng)絡(luò)爬蟲的爬行先在初始頁(yè)獲取源代碼,然后分析和處理源代碼以獲取網(wǎng)頁(yè)標(biāo)題、文本及鏈接等信息,文本信息提取準(zhǔn)確率有待進(jìn)一步提高。

    主題網(wǎng)絡(luò)爬蟲一般會(huì)判別網(wǎng)頁(yè)的主題相關(guān)度,同時(shí)將自動(dòng)保存相關(guān)度高的網(wǎng)頁(yè),當(dāng)前在主題判斷效率和準(zhǔn)確率兩方面有待提升。

    主題網(wǎng)絡(luò)爬蟲的搜索策略研究主要是鏈接結(jié)構(gòu)的價(jià)值評(píng)價(jià)問題,其對(duì)爬蟲進(jìn)一步爬行的搜索路徑、搜索結(jié)果和搜索效率有重要意義。目前,搜索策略存在主題偏離、效率不佳等問題。

    4 研究趨勢(shì)

    主題網(wǎng)絡(luò)爬蟲研究主要集中在搜索策略、網(wǎng)頁(yè)抓取優(yōu)先級(jí)設(shè)計(jì)、主題爬蟲系統(tǒng)設(shè)計(jì)3大領(lǐng)域。目前主題網(wǎng)絡(luò)爬蟲研究不斷進(jìn)步,但有待深入研究的問題如下:

    (1)當(dāng)前,基于網(wǎng)頁(yè)內(nèi)容的主題網(wǎng)絡(luò)爬蟲搜索策略研究方向是使用成熟的文本分類法對(duì)網(wǎng)頁(yè)中的文本進(jìn)行分類,忽略了網(wǎng)頁(yè)結(jié)構(gòu)影響主題相關(guān)度等問題,同時(shí),網(wǎng)頁(yè)是否進(jìn)行去噪處理直接影響到主題的判斷精度,因此對(duì)網(wǎng)頁(yè)去噪研究有待提升。此外,該策略未考慮到互聯(lián)網(wǎng)信息隨時(shí)發(fā)生變化的情況,因網(wǎng)頁(yè)未及時(shí)更新導(dǎo)致抓取到的信息可能已經(jīng)過時(shí)。

    (2)站點(diǎn)的質(zhì)量越高,URL就越規(guī)范,則基于鏈接的主題網(wǎng)絡(luò)爬蟲的主題判斷精確度越高;當(dāng)網(wǎng)站的URL路徑不規(guī)范時(shí),基于鏈接的主題網(wǎng)絡(luò)爬蟲判斷精確度就會(huì)降低。

    (3)現(xiàn)階段,主要的網(wǎng)頁(yè)鏈接分析是PageRank和Hits算法[34],有些使用了SALSA和Hilltop算法,在鏈接分析方面有良好效果。目前,搜索引擎查詢首要采用鏈接分析算法,假如將鏈接分析算法用于主題網(wǎng)絡(luò)爬蟲搜索策略以確定網(wǎng)頁(yè)抓取優(yōu)先級(jí),則會(huì)大大提高主題網(wǎng)絡(luò)爬蟲的信息提取和網(wǎng)頁(yè)搜索性能。

    5 結(jié)語(yǔ)

    隨著人們的個(gè)性化信息需求不斷加大,主題網(wǎng)絡(luò)爬蟲成為搜索引擎領(lǐng)域研究熱點(diǎn)。其中,主題網(wǎng)絡(luò)爬蟲研究重點(diǎn)是網(wǎng)頁(yè)抓取優(yōu)先級(jí)、爬行策略以及設(shè)計(jì)實(shí)現(xiàn)主題網(wǎng)絡(luò)爬蟲系統(tǒng)3大領(lǐng)域。本文先給出主題網(wǎng)絡(luò)爬蟲的定義和基本原理, 然后對(duì)國(guó)內(nèi)外主題網(wǎng)絡(luò)爬蟲研究發(fā)展?fàn)顩r進(jìn)行分析和系統(tǒng)梳理,給出了目前研究中存在的問題以及進(jìn)一步研究的方向。希望有更多學(xué)者關(guān)注、加入到主題網(wǎng)絡(luò)爬蟲研究實(shí)踐中,共同推動(dòng)主題網(wǎng)絡(luò)爬蟲研究健康快速發(fā)展。

    參考文獻(xiàn):

    [1] 中國(guó)互聯(lián)網(wǎng)絡(luò)信息中心. 中國(guó)互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計(jì)報(bào)告[EB/OL]. http://www.cnnic.net.cn/hlwfzyj/hlwxzbg/hlwtjbg/201808/t20180 820_70488.htm

    [2] 張環(huán). 垂直搜索引擎中主題網(wǎng)絡(luò)爬蟲算法研究[D]. 濟(jì)南:山東師范大學(xué),2016.

    [3] VIEIRA K, BARBOSA L, SILVA A S D, et al.Finding seeds to bootstrap focused crawlers[J]. World Wide Web,2016, 19(3):449-474

    [4] BRA P D,POST R D J. Information retrieval in the world-wide web: making client-based searching feasible[J].? Computer Networks and ISDN Systems, 1994, 27(2):183-192.

    [5] HERSOVICI M,JACOVI M,MAAREK Y S,et al. The shark-search algorithm. an application: tailored web site mapping[C].? International Conference on World Wide Web. Elsevier Science Publishers B. V. 1998.

    [6] CHAKRABARTI S,VAN DEN BERG M,DOM B. Focused crawling: a new approach to topic-specific? web? resource? discovery[J]. Computer Networks, May 1999, 31(11-16):1623-1640.

    [7] PAGE.L.The pagerank citation ranking:bringing order to the web[J]. Online manuscript,1998,9(1):1-14.

    [8] JON M. KLEINBERG. Authoritative sources in a hyperlinked environment[C]. Proceedings of the Ninth Annual ACM-SIAM Symposium on Discrete Algorithms,1998:668-677.

    [9] HATI D, KUMAR A. Improved focused crawling approach for retrieving relevant pages based on block partitioning[C]. International Conference on Education Technology and Computer. IEEE,2010:269-273.

    [10] WANG W,CHEN X,ZOU Y,et al. A focused crawler based on naive bayes classifier[C].? Third International Symposium on Intelligent Information Technology & Security Informatics, IEEE Computer Society, 2010.

    [11] TAYLAN D,POYRAZ M,AKYOKU? S,et al. Intelligent focused crawler: learning which links to crawl[C]. International Symposium on Innovations in Intelligent Systems and Applications. IEEE, 2011:504-508.

    [12] YOHANES B W, HANDOKO H, WARDANA H K. Focused crawler optimization using genetic algorithm[J]. Telkomnika (Telecommunication Computing Electronics and Control),2013,9(3):403-410.

    [13] áLVAREZ M, RAPOSO J, PAN A,et al. Deepbot: a focused crawler for accessing hidden web content[C]. Proceedings of the 3rd international workshop on Data engineering issues in E-commerce and services: In conjunction with ACM Conference on Electronic Commerce (EC'07).? ACM, 2007:18-25.

    [14] BERGMAN M K. White paper: the deep web: surfacing hidden value[J].? Journal of electronic publishing, 2001, 7(1):597-600.

    [15] SINGH B, GUPTA D K, SINGH R M. Improved architecture of focused crawler on the basis of content and link analysis[J]. International Journal of Modern Education and Computer Science, 2017, 9(11):33-39.

    [16] DILIGENTI? M, COETZEE F, LAWRENCE S, et al. Focused crawling using context graphs[C]. International Conference on Very Large Data Bases. Morgan? Kaufmann PublishersInc, 2000:527-534.

    [17] STAMATAKIS K, KARKALETSIS V, PALIOURAS G, et al. Domain-specific web site identification: the crossmarc focused web crawler[C]. Proceedings of the 2nd International Workshop on Web Document Analysis (WDA2003), Edinburgh, UK, 2003:75-78.

    [18] SEYFI A, PATEL A. A? focused crawler combinatory link? and content model based on t-graph? principles[J].? Computer Standards & Interfaces, 2016(43):1-11.

    [19] MUKHERJEA S. WTMS: a system for collecting and analyzing topic-specific web information[J].? Computer Networks, 2000, 33(1):457-471.

    [20] 蕭婧婕,陳志云. 基于灰狼算法的主題爬蟲[J]. 計(jì)算機(jī)科學(xué),2018,45(S2):156-158,176.

    [21] 蔣宗禮,田曉燕,趙旭. 一種基于語(yǔ)義分析的主題爬蟲算法[J]. 計(jì)算機(jī)工程與科學(xué),2010, 32(9):145-147.

    [22] 陳千. 主題網(wǎng)絡(luò)爬蟲關(guān)鍵技術(shù)的研究與應(yīng)用[D]. 北京:北京理工大學(xué),2015.

    [23] 胡萍瑞,李石君. 基于URL模式集的主題爬蟲[J]. 計(jì)算機(jī)應(yīng)用研究,2018,35(3):694-699.

    [24] 劉林,汪濤,樊孝忠. 主題爬蟲的解決方案[J]. 華南理工大學(xué)學(xué)報(bào):自然科學(xué)版,2004,32(z1):137-141.

    [25] 孟竹. 詞向量語(yǔ)義模型研究及在主題爬蟲系統(tǒng)中的應(yīng)用[D]. 北京:中國(guó)地質(zhì)大學(xué)(北京),2017.

    [26] 熊忠陽(yáng),史艷,張玉芳. 基于信息增益的自適應(yīng)主題爬行策略[J]. 計(jì)算機(jī)應(yīng)用研究,2012,29(2):501-504.

    [27] 白鶴,湯迪斌,王勁林. 分布式多主題網(wǎng)絡(luò)爬蟲系統(tǒng)的研究與實(shí)現(xiàn)[J]. 計(jì)算機(jī)工程, 2009,35(19):13-16.

    [25] 閔鈺麟,黃永峰. 用戶定制主題聚焦爬蟲的設(shè)計(jì)與實(shí)現(xiàn)[J]. 計(jì)算機(jī)工程與設(shè)計(jì),2015,36(1):17-21.

    [26] 袁浩,黃煙波. 網(wǎng)頁(yè)標(biāo)題分析對(duì)主題爬蟲的改進(jìn)[J]. 計(jì)算機(jī)技術(shù)與發(fā)展, 2009, 19(6):22-24.

    [28] 孫紅光,藏潤(rùn)強(qiáng),姬傳德,等. 基于語(yǔ)義的聚焦爬蟲算法研究[J]. 東北師大學(xué)報(bào):自然科學(xué)版,2018, 50(2):56-62.

    [29] 方啟明,楊廣文,武永衛(wèi),等. 面向P2P搜索的可定制聚焦網(wǎng)絡(luò)爬蟲[J]. 華中科技大學(xué)學(xué)報(bào):自然科學(xué)版, 2007, 35(s2):148-152.

    [30] 蘇成,潘云濤,袁軍鵬,等. 基于優(yōu)化PageRank、HITS和SALSA算法的期刊評(píng)價(jià)研究[J]. 編輯學(xué)報(bào),2015,27(4):330-333.

    [31] 何曉陽(yáng),吳強(qiáng),吳治蓉. HITS算法與PageRank算法比較分析[J]. 情報(bào)雜志,2004,23(2):85-86.

    (責(zé)任編輯:杜能鋼)

    猜你喜歡
    搜索引擎
    Chrome 99 Canary恢復(fù)可移除預(yù)置搜索引擎選項(xiàng)
    世界表情符號(hào)日
    大數(shù)據(jù)分析下智能搜索引擎的構(gòu)建研究
    網(wǎng)絡(luò)搜索引擎亟待規(guī)范
    網(wǎng)絡(luò)搜索引擎
    Nutch搜索引擎在網(wǎng)絡(luò)輿情管控中的應(yīng)用
    基于Nutch的醫(yī)療搜索引擎的研究與開發(fā)
    廣告主與搜索引擎的雙向博弈分析
    基于Lucene搜索引擎的研究
    一種自反饋式元搜索系統(tǒng)的設(shè)計(jì)
    看黄色毛片网站| 极品教师在线视频| av播播在线观看一区| 国产av码专区亚洲av| 熟妇人妻久久中文字幕3abv| 日韩欧美国产在线观看| 免费黄色在线免费观看| 久久国内精品自在自线图片| 韩国av在线不卡| 丝袜美腿在线中文| 青青草视频在线视频观看| 亚洲,欧美,日韩| 欧美性感艳星| 亚洲精品色激情综合| 日日啪夜夜撸| 国产极品天堂在线| 久久99精品国语久久久| 精品熟女少妇av免费看| 三级男女做爰猛烈吃奶摸视频| 秋霞伦理黄片| 日韩欧美国产在线观看| 偷拍熟女少妇极品色| 80岁老熟妇乱子伦牲交| 欧美日韩亚洲高清精品| 天堂俺去俺来也www色官网 | 国产黄色免费在线视频| 久久久久免费精品人妻一区二区| 国产亚洲av嫩草精品影院| 人人妻人人看人人澡| 欧美丝袜亚洲另类| av卡一久久| 国产一区二区亚洲精品在线观看| 美女xxoo啪啪120秒动态图| 精品一区在线观看国产| 亚洲欧洲国产日韩| 亚洲国产高清在线一区二区三| 国产精品一区二区在线观看99 | 国产老妇女一区| kizo精华| 精品欧美国产一区二区三| 寂寞人妻少妇视频99o| 天堂av国产一区二区熟女人妻| 国产精品99久久久久久久久| 日韩av在线免费看完整版不卡| 99久久中文字幕三级久久日本| 免费大片18禁| 超碰av人人做人人爽久久| 国产黄a三级三级三级人| 精品一区在线观看国产| 国内精品宾馆在线| 天堂俺去俺来也www色官网 | 欧美变态另类bdsm刘玥| 一个人看视频在线观看www免费| 午夜免费男女啪啪视频观看| 成人美女网站在线观看视频| 成人亚洲精品av一区二区| 日韩欧美国产在线观看| a级一级毛片免费在线观看| 国产白丝娇喘喷水9色精品| 午夜福利网站1000一区二区三区| 亚洲国产欧美人成| 国产麻豆成人av免费视频| 美女被艹到高潮喷水动态| 两个人的视频大全免费| 欧美性猛交╳xxx乱大交人| 国产亚洲一区二区精品| 亚洲欧美成人精品一区二区| 日本午夜av视频| 日本爱情动作片www.在线观看| 久久草成人影院| 黄色配什么色好看| 精品久久久久久电影网| 亚洲av免费高清在线观看| 国产成人精品一,二区| 免费观看av网站的网址| 国产av不卡久久| 欧美一区二区亚洲| 久久精品夜夜夜夜夜久久蜜豆| 黄片无遮挡物在线观看| 亚洲精品456在线播放app| 一边亲一边摸免费视频| 18禁在线播放成人免费| 综合色av麻豆| 午夜福利视频精品| 国产老妇伦熟女老妇高清| 午夜免费激情av| 99久国产av精品| 最近手机中文字幕大全| 亚洲国产欧美人成| 91精品一卡2卡3卡4卡| 日韩在线高清观看一区二区三区| 午夜视频国产福利| 白带黄色成豆腐渣| 91av网一区二区| 丰满乱子伦码专区| 久久午夜福利片| 国产老妇伦熟女老妇高清| 大香蕉97超碰在线| 在线免费观看不下载黄p国产| 成人亚洲精品av一区二区| 中文字幕制服av| 老女人水多毛片| 麻豆乱淫一区二区| 婷婷色av中文字幕| 日本三级黄在线观看| 内射极品少妇av片p| 亚洲欧美一区二区三区黑人 | 一区二区三区高清视频在线| av专区在线播放| 色5月婷婷丁香| 天天一区二区日本电影三级| 中文字幕av在线有码专区| 超碰97精品在线观看| 亚洲一级一片aⅴ在线观看| 床上黄色一级片| av免费在线看不卡| 久久久成人免费电影| 国产黄a三级三级三级人| 免费观看无遮挡的男女| 99久国产av精品国产电影| 欧美xxxx黑人xx丫x性爽| 我的女老师完整版在线观看| 我的女老师完整版在线观看| 乱人视频在线观看| 国产精品精品国产色婷婷| 亚洲av一区综合| 国产精品爽爽va在线观看网站| av国产久精品久网站免费入址| 色视频www国产| 99久久人妻综合| 国产精品人妻久久久久久| 赤兔流量卡办理| 大话2 男鬼变身卡| av在线蜜桃| 亚洲av日韩在线播放| 永久网站在线| 成人亚洲精品av一区二区| 综合色av麻豆| 日本av手机在线免费观看| 嫩草影院入口| 精品亚洲乱码少妇综合久久| 国产精品.久久久| 少妇人妻一区二区三区视频| 嫩草影院新地址| 嘟嘟电影网在线观看| av在线亚洲专区| 99re6热这里在线精品视频| 国产爱豆传媒在线观看| 一边亲一边摸免费视频| 51国产日韩欧美| 精品人妻一区二区三区麻豆| 久久精品熟女亚洲av麻豆精品 | 亚洲一区高清亚洲精品| 一本—道久久a久久精品蜜桃钙片 精品乱码久久久久久99久播 | 久久久久久久亚洲中文字幕| 尾随美女入室| 国产精品一区二区在线观看99 | 国产成年人精品一区二区| 中国国产av一级| 国内揄拍国产精品人妻在线| 成人亚洲精品av一区二区| 六月丁香七月| 两个人视频免费观看高清| 一区二区三区免费毛片| 两个人视频免费观看高清| 春色校园在线视频观看| 91久久精品国产一区二区成人| 亚洲精品国产成人久久av| 国产爱豆传媒在线观看| 自拍偷自拍亚洲精品老妇| 精品一区在线观看国产| av在线天堂中文字幕| 久久久久久国产a免费观看| 成年人午夜在线观看视频 | 又黄又爽又刺激的免费视频.| 亚洲精华国产精华液的使用体验| 少妇熟女aⅴ在线视频| 网址你懂的国产日韩在线| 少妇被粗大猛烈的视频| 免费观看无遮挡的男女| 在线免费十八禁| 成人性生交大片免费视频hd| 亚洲av在线观看美女高潮| 直男gayav资源| 看黄色毛片网站| 91久久精品电影网| 一级二级三级毛片免费看| 18禁在线无遮挡免费观看视频| 水蜜桃什么品种好| 国产探花在线观看一区二区| av专区在线播放| 啦啦啦啦在线视频资源| 国产午夜精品论理片| 日日啪夜夜撸| 黑人高潮一二区| 嫩草影院精品99| 激情五月婷婷亚洲| 天堂中文最新版在线下载 | 久久久久久久大尺度免费视频| 天堂影院成人在线观看| 看黄色毛片网站| 久久久久久久久久久免费av| 神马国产精品三级电影在线观看| 肉色欧美久久久久久久蜜桃 | 亚洲婷婷狠狠爱综合网| 久久久久精品性色| 国产大屁股一区二区在线视频| 色5月婷婷丁香| 成人毛片60女人毛片免费| 男女下面进入的视频免费午夜| 国产黄a三级三级三级人| 国产亚洲最大av| 亚洲高清免费不卡视频| 国产亚洲av嫩草精品影院| 内地一区二区视频在线| 欧美激情国产日韩精品一区| freevideosex欧美| 国国产精品蜜臀av免费| 禁无遮挡网站| 天堂影院成人在线观看| 80岁老熟妇乱子伦牲交| 成人国产麻豆网| 91精品伊人久久大香线蕉| 日韩一区二区视频免费看| 国产不卡一卡二| 成人性生交大片免费视频hd| av.在线天堂| 亚洲av一区综合| 国产色爽女视频免费观看| 91aial.com中文字幕在线观看| 久久国内精品自在自线图片| 三级经典国产精品| 国产视频首页在线观看| 国产乱人偷精品视频| 2022亚洲国产成人精品| 亚洲精品日本国产第一区| 伊人久久精品亚洲午夜| 中国国产av一级| 一级爰片在线观看| 国产真实伦视频高清在线观看| 午夜免费激情av| 熟妇人妻久久中文字幕3abv| 激情 狠狠 欧美| 亚洲图色成人| 亚洲精品,欧美精品| 最近手机中文字幕大全| h日本视频在线播放| 丰满乱子伦码专区| 精品久久久噜噜| 精华霜和精华液先用哪个| 亚洲国产精品成人久久小说| 精品国产一区二区三区久久久樱花 | 三级毛片av免费| .国产精品久久| 国产精品女同一区二区软件| 赤兔流量卡办理| 国产精品国产三级国产av玫瑰| 嘟嘟电影网在线观看| 天天躁夜夜躁狠狠久久av| av国产久精品久网站免费入址| 欧美人与善性xxx| 欧美精品国产亚洲| 免费黄频网站在线观看国产| 欧美bdsm另类| 超碰97精品在线观看| 成人毛片a级毛片在线播放| 国产精品久久视频播放| 免费无遮挡裸体视频| 青春草亚洲视频在线观看| 中文字幕久久专区| 日韩三级伦理在线观看| 亚洲国产精品国产精品| 亚洲av成人精品一二三区| 天堂俺去俺来也www色官网 | 男人和女人高潮做爰伦理| 国产精品一区二区三区四区免费观看| 视频中文字幕在线观看| 国产伦理片在线播放av一区| 久久久精品94久久精品| 午夜精品一区二区三区免费看| 婷婷六月久久综合丁香| 免费黄网站久久成人精品| av播播在线观看一区| 久99久视频精品免费| 国产精品久久久久久久电影| 亚洲婷婷狠狠爱综合网| h日本视频在线播放| 超碰av人人做人人爽久久| a级一级毛片免费在线观看| 在线免费观看的www视频| 精品久久久久久成人av| 男人舔女人下体高潮全视频| 中文字幕制服av| 国产三级在线视频| 99热6这里只有精品| 成人毛片60女人毛片免费| 亚洲va在线va天堂va国产| www.av在线官网国产| 成人漫画全彩无遮挡| 日韩欧美一区视频在线观看 | 免费av观看视频| 亚洲18禁久久av| 亚洲欧洲国产日韩| 久久精品夜色国产| 久久热精品热| 最近2019中文字幕mv第一页| 国产高潮美女av| 亚洲欧美清纯卡通| 人体艺术视频欧美日本| 插阴视频在线观看视频| 免费无遮挡裸体视频| 日本爱情动作片www.在线观看| 97超碰精品成人国产| 亚洲18禁久久av| 乱码一卡2卡4卡精品| 国产不卡一卡二| 最近2019中文字幕mv第一页| 日韩一本色道免费dvd| 大香蕉97超碰在线| 亚洲av日韩在线播放| 亚洲综合精品二区| 亚洲经典国产精华液单| 精品久久久久久久末码| h日本视频在线播放| 国精品久久久久久国模美| 特级一级黄色大片| 久久久精品欧美日韩精品| 午夜免费观看性视频| 高清av免费在线| 乱码一卡2卡4卡精品| 日韩制服骚丝袜av| 直男gayav资源| 中文欧美无线码| 韩国av在线不卡| ponron亚洲| 国内精品宾馆在线| 午夜福利网站1000一区二区三区| 国产精品久久久久久精品电影小说 | 中文在线观看免费www的网站| 久久精品夜夜夜夜夜久久蜜豆| 晚上一个人看的免费电影| 亚洲激情五月婷婷啪啪| 大片免费播放器 马上看| kizo精华| 亚洲av男天堂| 国产中年淑女户外野战色| 国产伦一二天堂av在线观看| 国产精品av视频在线免费观看| 国产精品久久久久久精品电影小说 | 精品一区在线观看国产| 别揉我奶头 嗯啊视频| 永久免费av网站大全| 最近中文字幕高清免费大全6| 欧美97在线视频| 国产一区二区在线观看日韩| 日本一二三区视频观看| 中文资源天堂在线| 一级毛片 在线播放| 麻豆av噜噜一区二区三区| 插逼视频在线观看| 欧美性感艳星| av在线老鸭窝| 欧美精品一区二区大全| 亚洲欧美中文字幕日韩二区| 日韩一本色道免费dvd| 国产成人aa在线观看| 午夜福利高清视频| 97精品久久久久久久久久精品| 亚洲精品亚洲一区二区| 国产中年淑女户外野战色| 午夜日本视频在线| 欧美3d第一页| 精品久久久久久久久亚洲| 女的被弄到高潮叫床怎么办| 国产伦精品一区二区三区视频9| 丝瓜视频免费看黄片| 精品国产三级普通话版| 别揉我奶头 嗯啊视频| www.色视频.com| 亚洲国产成人一精品久久久| 亚洲精品乱码久久久久久按摩| 卡戴珊不雅视频在线播放| 亚洲三级黄色毛片| 少妇被粗大猛烈的视频| 大片免费播放器 马上看| 18+在线观看网站| 日韩制服骚丝袜av| 国产乱来视频区| 天堂中文最新版在线下载 | 好男人在线观看高清免费视频| 精品熟女少妇av免费看| 亚洲国产精品成人久久小说| 2022亚洲国产成人精品| 久热久热在线精品观看| 日韩精品有码人妻一区| 国产乱人偷精品视频| 我的女老师完整版在线观看| 日韩电影二区| av一本久久久久| 尾随美女入室| 亚洲aⅴ乱码一区二区在线播放| 女人久久www免费人成看片| 亚洲精品影视一区二区三区av| 成人亚洲精品一区在线观看 | 亚洲自偷自拍三级| 久久精品熟女亚洲av麻豆精品 | 免费少妇av软件| 亚洲内射少妇av| 国产日韩欧美在线精品| 精品一区在线观看国产| 国产探花极品一区二区| 亚洲精品影视一区二区三区av| 美女脱内裤让男人舔精品视频| 国产亚洲精品久久久com| 三级国产精品欧美在线观看| 国产麻豆成人av免费视频| 蜜臀久久99精品久久宅男| 亚洲成人一二三区av| 日本色播在线视频| 高清毛片免费看| 七月丁香在线播放| 久久这里有精品视频免费| 搡老乐熟女国产| 国产伦一二天堂av在线观看| 国产精品久久久久久av不卡| 免费观看在线日韩| 国产黄色视频一区二区在线观看| 少妇人妻一区二区三区视频| 亚洲精品一区蜜桃| 国产国拍精品亚洲av在线观看| 天堂av国产一区二区熟女人妻| 一级二级三级毛片免费看| 久久鲁丝午夜福利片| 毛片一级片免费看久久久久| 日本-黄色视频高清免费观看| 国产精品一区www在线观看| 国产极品天堂在线| 又爽又黄无遮挡网站| 婷婷色麻豆天堂久久| 午夜激情欧美在线| 一区二区三区高清视频在线| 日本一二三区视频观看| .国产精品久久| 免费大片18禁| 免费观看精品视频网站| 国产精品一及| 中文字幕免费在线视频6| 亚洲自拍偷在线| 在线免费观看不下载黄p国产| 1000部很黄的大片| 亚洲欧美清纯卡通| 国产精品1区2区在线观看.| 亚洲国产精品成人综合色| 国产毛片a区久久久久| 一级毛片我不卡| 一区二区三区高清视频在线| 免费看av在线观看网站| 国产成人91sexporn| 国产成人精品一,二区| 国产一区二区亚洲精品在线观看| 天天一区二区日本电影三级| 美女cb高潮喷水在线观看| 国产高潮美女av| 青春草国产在线视频| 久久精品国产亚洲网站| 80岁老熟妇乱子伦牲交| 国产成年人精品一区二区| 啦啦啦啦在线视频资源| 婷婷色麻豆天堂久久| 亚洲成人久久爱视频| 国内少妇人妻偷人精品xxx网站| 亚洲精品日本国产第一区| 三级国产精品欧美在线观看| 美女内射精品一级片tv| 日韩一区二区视频免费看| 中文精品一卡2卡3卡4更新| 国产综合懂色| 免费av毛片视频| 日本熟妇午夜| a级毛片免费高清观看在线播放| 亚洲av电影不卡..在线观看| 人人妻人人看人人澡| 国产一区二区亚洲精品在线观看| 精品一区二区三卡| 色综合站精品国产| 中文资源天堂在线| 搡老妇女老女人老熟妇| 久久久久久久久久成人| 91在线精品国自产拍蜜月| 日日摸夜夜添夜夜添av毛片| 国产精品日韩av在线免费观看| 人人妻人人看人人澡| 舔av片在线| 人妻一区二区av| 欧美一区二区亚洲| 少妇的逼水好多| 国产精品三级大全| 中文字幕久久专区| 一级片'在线观看视频| 男女那种视频在线观看| 亚洲一级一片aⅴ在线观看| 丝袜喷水一区| 亚洲18禁久久av| 国产精品麻豆人妻色哟哟久久 | 最后的刺客免费高清国语| 夜夜看夜夜爽夜夜摸| 国模一区二区三区四区视频| 在线a可以看的网站| 国语对白做爰xxxⅹ性视频网站| 欧美日韩综合久久久久久| 午夜免费激情av| 免费观看av网站的网址| 欧美日韩国产mv在线观看视频 | 欧美丝袜亚洲另类| 1000部很黄的大片| 中文乱码字字幕精品一区二区三区 | 国产 一区精品| 别揉我奶头 嗯啊视频| 久久久久久国产a免费观看| 色综合色国产| 能在线免费观看的黄片| 最新中文字幕久久久久| 国产激情偷乱视频一区二区| 男女视频在线观看网站免费| 91午夜精品亚洲一区二区三区| 内地一区二区视频在线| 久久久久久国产a免费观看| 国产精品一区二区三区四区免费观看| 成人av在线播放网站| 欧美日韩精品成人综合77777| 成人综合一区亚洲| 国精品久久久久久国模美| 成人毛片60女人毛片免费| 久久久久久久大尺度免费视频| 一级片'在线观看视频| 人妻制服诱惑在线中文字幕| 日韩亚洲欧美综合| 黄片wwwwww| 可以在线观看毛片的网站| 91久久精品国产一区二区成人| 成人毛片a级毛片在线播放| 亚洲av电影不卡..在线观看| 亚洲欧洲日产国产| 成人亚洲精品一区在线观看 | 99九九线精品视频在线观看视频| 国产有黄有色有爽视频| 日韩 亚洲 欧美在线| 看非洲黑人一级黄片| 午夜福利乱码中文字幕| 午夜日韩欧美国产| 亚洲精品久久久久久婷婷小说| 亚洲av在线观看美女高潮| 久久ye,这里只有精品| 精品国产露脸久久av麻豆| 精品国产超薄肉色丝袜足j| av又黄又爽大尺度在线免费看| 日本黄色日本黄色录像| 国产精品久久久久久精品电影小说| 免费在线观看黄色视频的| 日本欧美视频一区| 亚洲精品国产色婷婷电影| 亚洲国产精品999| 99久久综合免费| 1024视频免费在线观看| 极品少妇高潮喷水抽搐| 久久影院123| 久久人妻熟女aⅴ| 丝袜在线中文字幕| 性少妇av在线| 男女无遮挡免费网站观看| 国产高清国产精品国产三级| 成人亚洲欧美一区二区av| 在线免费观看不下载黄p国产| 日本色播在线视频| 极品少妇高潮喷水抽搐| 亚洲精品国产色婷婷电影| 精品国产乱码久久久久久男人| 老汉色∧v一级毛片| 有码 亚洲区| 夫妻性生交免费视频一级片| 激情视频va一区二区三区| 亚洲综合色网址| 久久久久久久久久久免费av| 麻豆乱淫一区二区| 亚洲成国产人片在线观看| 亚洲精品美女久久av网站| 欧美日韩精品网址| 亚洲综合色惰| 深夜精品福利| 亚洲精品日本国产第一区| 亚洲美女视频黄频| kizo精华| 天天躁日日躁夜夜躁夜夜| 久久久久久久久久久久大奶| 在线观看www视频免费| 久久精品久久久久久噜噜老黄| 新久久久久国产一级毛片| 可以免费在线观看a视频的电影网站 | 久久精品久久久久久久性| av福利片在线| 91成人精品电影| 男女高潮啪啪啪动态图| 成人午夜精彩视频在线观看| 国产成人av激情在线播放| 黄色一级大片看看| 天天躁日日躁夜夜躁夜夜| 国产福利在线免费观看视频| 韩国av在线不卡| 成人国产麻豆网| 日本欧美视频一区| 国产精品一区二区在线不卡| 国产精品.久久久| 热99国产精品久久久久久7| 汤姆久久久久久久影院中文字幕| 欧美成人精品欧美一级黄|