• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    開(kāi)源網(wǎng)絡(luò)爬蟲(chóng)在垂直搜索引擎應(yīng)用

    2015-05-30 16:14:34劉偉光

    [摘 要]分析了聚焦爬蟲(chóng)的工作原理和關(guān)鍵技術(shù),對(duì)幾種開(kāi)源網(wǎng)絡(luò)爬蟲(chóng)的功能特點(diǎn)和使用范圍進(jìn)行比較,而后通過(guò)改造Heritrix軟件的關(guān)鍵模塊和功能接口,以抓取中國(guó)西藏網(wǎng)新聞為例,實(shí)現(xiàn)了開(kāi)源爬蟲(chóng)軟件在垂直搜索的應(yīng)用。

    [關(guān)鍵詞]垂直搜索;聚焦爬蟲(chóng);Heritrix

    [中圖分類(lèi)號(hào)]TP393 [文獻(xiàn)標(biāo)志碼] A

    Application of the Open-Source Web Crawler on Vertical Search Engine

    Liu Weiguang

    (1.Library of Xizang Minzu University , Xianyang Shanxi 712082,China)

    Abstract: The thesis analyzes the working principle and key technology for focused crawler, and compares the characteristics function and use range for several kinds of open-source web crawler. After that, through modifying heritrix software module and function interface, the open-source web crawler has been applied in vertical search engine to test Chinese Tibet news Web as an example .

    Key words: Vertical Search Engine; Focused Crawler; Heritrix

    0 引 言

    在信息化時(shí)代,針對(duì)通用搜索引擎信息量大、查詢(xún)準(zhǔn)度和深度兼差等缺點(diǎn),垂直搜索引擎已進(jìn)入了用戶(hù)認(rèn)可和使用周期。垂直搜索是針對(duì)某一個(gè)行業(yè)的專(zhuān)業(yè)搜索引擎,是對(duì)網(wǎng)頁(yè)庫(kù)中的某類(lèi)專(zhuān)門(mén)的信息進(jìn)行一次整合,定向分字段抽取出需要的數(shù)據(jù)進(jìn)行處理后再以某種形式返回給用戶(hù)[1]。相比通用搜索引擎則顯得更加專(zhuān)注、具體和深入。目前,垂直搜索引擎多用于行業(yè)信息獲取和特色語(yǔ)料庫(kù)建設(shè)等方面,且已卓見(jiàn)現(xiàn)實(shí)深遠(yuǎn)成效。

    網(wǎng)絡(luò)爬蟲(chóng)是一個(gè)自動(dòng)提取和自動(dòng)下載網(wǎng)頁(yè)的程序,可為搜索引擎從互聯(lián)網(wǎng)上下載網(wǎng)頁(yè),并根據(jù)既定的抓取目標(biāo),有選擇地訪(fǎng)問(wèn)互聯(lián)網(wǎng)上的網(wǎng)頁(yè)與相關(guān)的鏈接,獲取所需要的信息。按照功能用途,網(wǎng)絡(luò)爬蟲(chóng)分為通用爬蟲(chóng)和聚焦爬蟲(chóng),這是搜索引擎一個(gè)核心組成部分。

    1聚焦爬蟲(chóng)的工作原理及關(guān)鍵技術(shù)分析

    1.1聚焦爬蟲(chóng)的工作原理

    聚焦爬蟲(chóng)是專(zhuān)門(mén)為查詢(xún)某一主題而設(shè)計(jì)的網(wǎng)頁(yè)采集工具,并不追求大范圍覆蓋,而是將目標(biāo)預(yù)定為抓取與某一特定主題內(nèi)容相關(guān)的網(wǎng)頁(yè),如此即為面向主題的用戶(hù)查詢(xún)準(zhǔn)備數(shù)據(jù)資源。垂直搜索引擎可利用其實(shí)現(xiàn)對(duì)網(wǎng)頁(yè)主題信息的挖掘以及發(fā)現(xiàn),聚焦爬蟲(chóng)的工作原理是:

    (1)爬蟲(chóng)從一個(gè)或若干起始網(wǎng)頁(yè) URL 鏈接開(kāi)始工作;

    (2)通過(guò)特定的主題相關(guān)性算法判斷并過(guò)濾掉與主題無(wú)關(guān)的鏈接;

    (3)將有用鏈接加入待抓取的URL隊(duì)列;

    (4)根據(jù)一定的搜索策略從待抓取 URL 隊(duì)列中選擇下一步要抓取的網(wǎng)頁(yè) URL;

    重復(fù)以上步驟,直至滿(mǎn)足退出條件時(shí)停止[2]。

    1.2聚焦爬蟲(chóng)的幾個(gè)關(guān)鍵技術(shù)

    根據(jù)聚焦爬蟲(chóng)的工作原理,在設(shè)計(jì)聚焦爬蟲(chóng)時(shí),需要考慮問(wèn)題可做如下論述。

    1.2.1 待抓取網(wǎng)站目標(biāo)的定義與描述的問(wèn)題

    開(kāi)發(fā)聚焦爬蟲(chóng)時(shí),應(yīng)考慮對(duì)于抓取目標(biāo)的定義與描述,究竟是帶有目標(biāo)網(wǎng)頁(yè)特征的網(wǎng)頁(yè)級(jí)信息,還是針對(duì)目標(biāo)網(wǎng)頁(yè)上的結(jié)構(gòu)化數(shù)據(jù)。前者因其具有結(jié)構(gòu)化的數(shù)據(jù)信息特征,在爬蟲(chóng)抓取信息后,還需從結(jié)構(gòu)化的網(wǎng)頁(yè)中抽取相關(guān)信息;而對(duì)于后者,爬蟲(chóng)則直接解析Web 頁(yè)面,提取并加工相關(guān)的結(jié)構(gòu)化數(shù)據(jù)信息,該類(lèi)爬蟲(chóng)便于定制自適應(yīng)于特定網(wǎng)頁(yè)模板的結(jié)果網(wǎng)站。

    1.2.2 爬蟲(chóng)的URL搜索策略問(wèn)題

    開(kāi)發(fā)聚焦爬蟲(chóng)時(shí),常見(jiàn)的URL搜索策略主要包括深度優(yōu)先搜索策略、廣度優(yōu)先搜索策略、最佳優(yōu)先搜索策略等[3]。在此給出對(duì)應(yīng)策略的規(guī)則分析如下。

    (1) 深度優(yōu)先搜索策略

    該搜索策略采用了后進(jìn)先出的隊(duì)列方式,從起始 URL 出發(fā),不停搜索網(wǎng)頁(yè)的下一級(jí)頁(yè)面直至最后無(wú) URL 鏈接的網(wǎng)頁(yè)頁(yè)面結(jié)束;爬蟲(chóng)再回到起始 URL地址,繼續(xù)探尋 URL的其它URL 鏈接,直到不再有 URL 可搜索為止,當(dāng)所有頁(yè)面都結(jié)束時(shí),URL列表即按照倒敘的方式將搜索的URL隊(duì)列送入爬蟲(chóng)待抓取隊(duì)列。

    (2) 廣度優(yōu)先搜索策略

    該搜索策略采用了先進(jìn)先出的隊(duì)列方式,從起始 URL 出發(fā),在搜索了初始web的所有URL 鏈接后,再繼續(xù)搜索下一層 URL 鏈接,直至所有URL搜索完畢。URL列表將按照其進(jìn)入隊(duì)列的順序送入爬蟲(chóng)待抓取隊(duì)列。

    (3) 最佳優(yōu)先搜索策略

    該搜索策略采用了一種局部?jī)?yōu)先搜索算法,從起始 URL 出發(fā),按照一定的分析算法,對(duì)頁(yè)面候選的URL進(jìn)行預(yù)測(cè),預(yù)測(cè)目標(biāo)網(wǎng)頁(yè)的相似度或主題相關(guān)性,當(dāng)相關(guān)性達(dá)到一定的閾值后,URL列表則按照相關(guān)數(shù)值高低順序送入爬蟲(chóng)待抓取隊(duì)列。

    1.2.3 爬蟲(chóng)對(duì)網(wǎng)頁(yè)頁(yè)面的分析和主題相關(guān)性判斷算法

    聚焦爬蟲(chóng)在對(duì)網(wǎng)頁(yè)Web的URL進(jìn)行擴(kuò)展時(shí),還需要對(duì)網(wǎng)頁(yè)內(nèi)容進(jìn)行分析和信息的提取,用以確定該獲取URL頁(yè)面是否與采集的主題相關(guān)。目前常用的網(wǎng)頁(yè)的分析算法包括:基于網(wǎng)絡(luò)拓?fù)洹⒒诰W(wǎng)頁(yè)內(nèi)容和基于領(lǐng)域概念的分析算法[4]。下面給出這三類(lèi)算法的原理實(shí)現(xiàn)。

    (1)基于網(wǎng)絡(luò)拓?fù)潢P(guān)系的分析算法

    基于網(wǎng)絡(luò)拓?fù)潢P(guān)系的分析算法就是可以通過(guò)已知的網(wǎng)頁(yè)頁(yè)面或數(shù)據(jù),對(duì)與其有直接或間接鏈接關(guān)系的對(duì)象作出評(píng)價(jià)的實(shí)現(xiàn)過(guò)程。該算法又分為網(wǎng)頁(yè)粒度、網(wǎng)站粒度和網(wǎng)頁(yè)塊粒度三種。著名的PageRank和HITS算法就是基于網(wǎng)絡(luò)拓?fù)潢P(guān)系的典型代表。

    (2)基于網(wǎng)頁(yè)內(nèi)容的分析算法

    基于網(wǎng)頁(yè)內(nèi)容的分析算法指的是利用網(wǎng)頁(yè)內(nèi)容(文本、數(shù)據(jù)等資源)特征進(jìn)行的網(wǎng)頁(yè)評(píng)價(jià)。該方法已從最初的文本檢索方法,向網(wǎng)頁(yè)數(shù)據(jù)抽取、數(shù)據(jù)挖掘和自然語(yǔ)言等多領(lǐng)域方向發(fā)展。

    (3)基于領(lǐng)域概念的分析算法

    基于領(lǐng)域概念的分析算法則是將領(lǐng)域本體分解為由不同的概念、實(shí)體及其之間的關(guān)系,包括與之對(duì)應(yīng)的詞匯項(xiàng)組成。網(wǎng)頁(yè)中的關(guān)鍵詞在通過(guò)與領(lǐng)域本體對(duì)應(yīng)的詞典分別轉(zhuǎn)換之后,將進(jìn)行計(jì)數(shù)和加權(quán),由此得出與所選領(lǐng)域的相關(guān)度。

    2幾種開(kāi)源網(wǎng)絡(luò)爬蟲(chóng)性能比較

    目前,互聯(lián)網(wǎng)上推出有許多的開(kāi)源網(wǎng)絡(luò)爬蟲(chóng),易于開(kāi)發(fā)和擴(kuò)展的主要包括Nutch、Larbin、Heritrix等,下面即針對(duì)這三類(lèi)爬蟲(chóng)進(jìn)行實(shí)用性?xún)?nèi)容介紹[5]:

    (1)Heritrix 是Java 開(kāi)發(fā)的開(kāi)源 Web 爬蟲(chóng)系統(tǒng),是Internet Archive 的一個(gè)爬蟲(chóng)項(xiàng)目。這是開(kāi)源、可擴(kuò)展、Web范圍內(nèi)并帶有存檔性質(zhì)的網(wǎng)絡(luò)爬蟲(chóng)。該系統(tǒng)允許用戶(hù)選擇擴(kuò)展各個(gè)組件,進(jìn)而實(shí)現(xiàn)自定的抓取邏輯。Heritrix默認(rèn)提供的組件能夠完成通用爬蟲(chóng)的功能,用戶(hù)即可根據(jù)實(shí)際需求定制相應(yīng)模塊,也可實(shí)現(xiàn)聚焦爬蟲(chóng)的功能。

    (2)Larbin是一種由C++開(kāi)發(fā)的開(kāi)源網(wǎng)絡(luò)爬蟲(chóng),larbin能夠跟蹤頁(yè)面的URL進(jìn)行擴(kuò)展的抓取,從而為搜索引擎提供廣泛的數(shù)據(jù)來(lái)源。該程序由法國(guó)人 Sébastien Ailleret獨(dú)立開(kāi)發(fā),只是2003年后,Labin已退出了更新。

    (3)Nutch是Apache的子項(xiàng)目之一,且是Lucene下的子項(xiàng)目,重點(diǎn)是其中自己提供了搜索引擎所需的全部工具,當(dāng)然,Nutch只獲取并保存可索引的內(nèi)容,卻無(wú)法保持抓取網(wǎng)頁(yè)原貌。

    在此,研究可得三種開(kāi)源網(wǎng)絡(luò)爬蟲(chóng)的功能特點(diǎn)和使用范圍比較,具體如表1所示。

    表1 三種開(kāi)源爬蟲(chóng)功能特點(diǎn)的和使用范圍

    Tab.1 Function characteristics and use range of three types of open source crawlers

    名稱(chēng) 使用平臺(tái) 開(kāi)發(fā)語(yǔ)言 效率 鏡像

    保存 分布抓取 功能

    單一 優(yōu)點(diǎn) 缺點(diǎn)

    Heritrix Windows/ Linux Java 中 是 否 是 高可擴(kuò)展性,性能穩(wěn)定,對(duì)抓取的控制性功能齊全。 對(duì)中文支持較差,容錯(cuò)性機(jī)制差。

    Larbin Linux C++ 高 是 否 是 爬蟲(chóng)性能好,穩(wěn)定性強(qiáng)。 沒(méi)有刪除功能,排重可能誤判。

    Nutch Windows/ Linux Java 低 否 是 否 爬蟲(chóng)和Lucene及Hadoop的結(jié)合很好,便于開(kāi)發(fā)搜索引擎。 系統(tǒng)不穩(wěn)定。

    通過(guò)如上內(nèi)容分析,可以得出以下結(jié)論:

    (1)從功能方面來(lái)說(shuō),Heritrix與Larbin的功能類(lèi)似,都是一個(gè)純粹的網(wǎng)絡(luò)爬蟲(chóng),提供網(wǎng)站的鏡像下載。Nutch則是一個(gè)網(wǎng)絡(luò)搜索引擎框架,爬取網(wǎng)頁(yè)只是其功能的一部分。

    (2)從分布式處理來(lái)說(shuō),Nutch支持分布式處理,而其它兩個(gè)尚不支持。

    (3)從爬取的網(wǎng)頁(yè)存儲(chǔ)方式來(lái)說(shuō),Heritrix和 Larbin都是將爬取所獲內(nèi)容保存為原始類(lèi)型的內(nèi)容。而Nutch是將內(nèi)容保存到其特定格式中去。

    (4)對(duì)于爬取所獲內(nèi)容的處理來(lái)說(shuō),Heritrix和 Larbin都是將爬取后的結(jié)果內(nèi)容不經(jīng)處理直接保存為原始內(nèi)容。而Nutch卻將對(duì)文本進(jìn)行包括鏈接分析、正文提取、建立索引等深層處理。

    (5)從爬取的效率來(lái)說(shuō),Larbin效率較高,因?yàn)槠鋵?shí)現(xiàn)語(yǔ)言是c++并且功能相對(duì)單一,但是該程序缺乏必要的更新服務(wù)。

    在進(jìn)行了有關(guān)軟件的擴(kuò)展性、鏡像保存方式及軟件更新等方面因素的綜合分析比對(duì)后,本文將擇取并利用Heritrix開(kāi)源軟件來(lái)實(shí)現(xiàn)聚焦爬蟲(chóng)的設(shè)計(jì)。

    3 基于Heritrix軟件聚焦爬蟲(chóng)的設(shè)計(jì)

    在利用開(kāi)源Heritrix軟件進(jìn)行聚焦爬蟲(chóng)設(shè)計(jì)時(shí), 以中國(guó)西藏網(wǎng)http://tb.tibet.cn/為例,針對(duì)有目標(biāo)網(wǎng)頁(yè)特征的網(wǎng)頁(yè)級(jí)信息配置正則表達(dá)式,采用深度優(yōu)先搜索策略進(jìn)行URL擴(kuò)展,利用網(wǎng)頁(yè)內(nèi)容關(guān)于“主題相關(guān)度”[6]的分析算法進(jìn)行主題判斷,實(shí)現(xiàn)聚焦爬蟲(chóng)的網(wǎng)站采集功能。

    3.1開(kāi)源Heritrix軟件工作原理

    Heritrix開(kāi)源軟件采集網(wǎng)頁(yè)的方法是采取深度優(yōu)先搜索策略,遍歷網(wǎng)站的每一個(gè)URI,分析并生成本地文件及相應(yīng)的日志信息等,Heritrix軟件抓取的是與原網(wǎng)頁(yè)一致的、完整的深度復(fù)制,包括圖像以及其他非文本內(nèi)容,抓取后并存儲(chǔ)相關(guān)的內(nèi)容。在網(wǎng)頁(yè)采集過(guò)程中,Heritrix軟件不對(duì)頁(yè)面上內(nèi)容進(jìn)行修改,爬行相同的URL不進(jìn)行替換。Heritrix軟件通過(guò)Web用戶(hù)界面啟動(dòng)、監(jiān)控、調(diào)整、允許彈性地定義要獲取的URL。Heritrix軟件包含核心模塊和插件模塊。核心模塊能夠配置但不能覆蓋,插入模塊配置是否加載,也可以由第三方模塊取代。

    3.2 開(kāi)源Heritrix 軟件關(guān)鍵模塊的改進(jìn)

    3.2.1 修改Extractor解析器

    修改Heritrix的Extractor解析器時(shí),可采用正則表達(dá)式的方式擴(kuò)展待抓取的網(wǎng)頁(yè)。例如,在抓取中國(guó)西藏網(wǎng)的新聞時(shí),在Extractor解析器配置正則表達(dá)式:http://tb.tibet.cn/[0-9a-z]*/[a-z/]*/[0-9]*/[0-9a-z-]*.htm(|l)$,這樣就把服務(wù)器域名下的網(wǎng)頁(yè)所有信息全部抓取下來(lái)。但是,考慮垂直搜索引擎的使用范圍和聚焦爬蟲(chóng)對(duì)網(wǎng)頁(yè)主題的過(guò)濾功能,需要設(shè)計(jì)與實(shí)際主題搜索應(yīng)用相匹配的專(zhuān)用解析器,專(zhuān)用解析器extract(CrawlURL)要實(shí)現(xiàn)以下功能:

    (1)對(duì)所有不含有要抓取的結(jié)構(gòu)化信息頁(yè)面的 URL、又不含有可以集中提取前者 URL 的種子型 URL,都不作處理。

    (2)從可以集中提取含結(jié)構(gòu)化信息頁(yè)面 URL 的種子型 URL(如地方新聞目錄 URL),提取全部的含結(jié)構(gòu)化信息頁(yè)面的 URL(如地方信息列表 URL)。

    (3)從含結(jié)構(gòu)化信息頁(yè)面的 URL 提取所需的結(jié)構(gòu)化信息,并加以記錄。

    3.2.2 擴(kuò)展 Frontierscheduler模塊

    FrontierScheduler 是一個(gè) PostProcessor,其作用是將 Extractor所分析得出的鏈接加入到 Frontier 中,以待繼續(xù)處理,聚焦爬蟲(chóng)實(shí)現(xiàn)關(guān)鍵詞對(duì)主題的判斷算法就在該模塊中構(gòu)建并執(zhí)行。主題相關(guān)度判斷的關(guān)鍵代碼如下:

    public void GetCount(String path,CandidateURI caUri)

    {//判斷待抓取網(wǎng)頁(yè)與主題是否相關(guān)

    try {

    String s=sb.getStrings();//s 取網(wǎng)頁(yè)正文字符

    Len=length(s);//求網(wǎng)頁(yè)字符數(shù)

    float d=0;//初始化 d,用于計(jì)算所有導(dǎo)向詞的權(quán)重和

    for(int i=0;i<100;i++)//遍歷選取 100 個(gè)導(dǎo)向詞

    {count=0,int j=1;//count為導(dǎo)向詞出現(xiàn)次數(shù),j 為導(dǎo)向詞在字符串的位置

    t= length(a[i]);//求第 i 個(gè)導(dǎo)向詞的字符個(gè)數(shù)

    While(j<=len){

    int index=s.indexOf(a[i],j,len);//查找字串在 j+1 到 end 之間第一個(gè)字符首次出現(xiàn)的位置

    if(index!=-1)//找到后,繼續(xù)在余下的字符串中找

    {count++;

    j=index+t+1;}

    Else

    Break;

    }

    D(i)=count*b(i);//D(i)是第 i 個(gè)導(dǎo)向詞的權(quán)重,b(i)表示 i 個(gè)導(dǎo)向詞的權(quán)值。

    d=d+ D(i);//將所有導(dǎo)向詞的權(quán)重求和

    }

    k=1/len * 1/100 * d;//k 是網(wǎng)頁(yè)主題相關(guān)度,len是文章字符數(shù),100個(gè)導(dǎo)向詞

    if(k>0.6) ; //相關(guān)度判斷

    {System.out.println("count:"+count);//表示輸出

    getController().getFrontier().schedule(caUri); //當(dāng)前 url 加入 heritix 采集隊(duì)列 }

    }

    3.3 Heritrix聚焦爬蟲(chóng)接口的設(shè)計(jì)

    Heritrix 網(wǎng)絡(luò)爬蟲(chóng)是一個(gè)通用的網(wǎng)頁(yè)采集工具,需要對(duì)Heritrix 抓取和分析網(wǎng)頁(yè)的行為進(jìn)行一定的控制,修改Extractor和 Frontierscheduler模塊后,需要對(duì)其各個(gè)功能接口進(jìn)行操作調(diào)試,由此保證聚焦爬蟲(chóng)功能的全面實(shí)現(xiàn)。下面即對(duì)重要功能接口進(jìn)行必要介紹。

    (1)應(yīng)用接口

    在設(shè)計(jì)聚焦爬蟲(chóng)時(shí),應(yīng)定制一個(gè)應(yīng)用接口模塊以供用戶(hù)使用,具體將負(fù)責(zé)與Heritrix 軟件關(guān)聯(lián),以提供啟、停爬蟲(chóng)、獲取網(wǎng)址、采集關(guān)鍵詞等功能實(shí)現(xiàn)。

    (2)數(shù)據(jù)庫(kù)查詢(xún)和修改接口

    在設(shè)計(jì)聚焦爬蟲(chóng)時(shí),應(yīng)設(shè)計(jì)相應(yīng)的數(shù)據(jù)庫(kù)接口,負(fù)責(zé)下載并發(fā)現(xiàn)與主題相關(guān)的網(wǎng)頁(yè)信息、再保存到數(shù)據(jù)庫(kù)的表中。存儲(chǔ)的字段包括:網(wǎng)頁(yè)URL,本地存儲(chǔ)相對(duì)路徑,下載時(shí)間,HTTP頭中抽取的網(wǎng)頁(yè)編碼,關(guān)鍵詞id等。

    (3)去重接口

    因?yàn)镠eritrix對(duì)相同的URL不進(jìn)行替換,爬蟲(chóng)工作時(shí)會(huì)下載大量重復(fù)的網(wǎng)頁(yè),為了節(jié)省空間、并獲取準(zhǔn)確的采集結(jié)果,就必須按照設(shè)定規(guī)則對(duì)重復(fù)下載的網(wǎng)頁(yè)進(jìn)行刪除。

    4 結(jié)束語(yǔ)

    通過(guò)以上對(duì)開(kāi)源Heritrix軟件的改進(jìn),聚焦爬蟲(chóng)已能根據(jù)預(yù)設(shè)的關(guān)鍵詞進(jìn)行網(wǎng)站抓取,并按照算法判斷,當(dāng)網(wǎng)頁(yè)的主題相關(guān)度閾值大于0.6時(shí),即聚焦爬蟲(chóng)下載網(wǎng)頁(yè),至此爬蟲(chóng)實(shí)現(xiàn)了指定網(wǎng)站的主題搜索。綜上可見(jiàn),可以改進(jìn)開(kāi)源網(wǎng)絡(luò)爬蟲(chóng)并使其在垂直搜索引擎中獲得成功立項(xiàng)使用。

    參考文獻(xiàn):

    [1]劉運(yùn)強(qiáng). 垂直搜索引擎的研究與設(shè)計(jì)[J]. 計(jì)算機(jī)應(yīng)用與軟件,2010, 127(7): 130-132.

    [2]劉偉光. 一種基于改進(jìn)向量空間模型的藏文主題網(wǎng)頁(yè)采集方法[J]. 圖書(shū)館學(xué)研究,2014, 16:55-62.

    [3]陳歡. 面向垂直搜索引擎的聚焦網(wǎng)絡(luò)爬蟲(chóng)關(guān)鍵技術(shù)研究與實(shí)現(xiàn)[D]. 華中師范大學(xué), 2014.

    [4] 焦賽美. 網(wǎng)絡(luò)爬蟲(chóng)技術(shù)的研究[J]. 瓊州學(xué)院學(xué)報(bào), 2010, 18(5): 28-30.

    [5] 網(wǎng)絡(luò)爬蟲(chóng)淺析[EB/OL]. [2011-03-05].http://xiangxingchina.iteye.com/blog/941349.

    [6] 羅剛,王振東.自己手動(dòng)寫(xiě)網(wǎng)絡(luò)爬蟲(chóng)[M].北京:清華大學(xué)出版社,2010:34-36.

    av在线天堂中文字幕| 久久热精品热| 亚洲av二区三区四区| 国产精品99久久久久久久久| 国产午夜福利久久久久久| 国产真实伦视频高清在线观看 | 干丝袜人妻中文字幕| 免费在线观看成人毛片| 午夜福利成人在线免费观看| 99久久成人亚洲精品观看| 中文字幕久久专区| 伊人久久精品亚洲午夜| 国产精品1区2区在线观看.| 我的老师免费观看完整版| 日韩欧美精品v在线| 五月玫瑰六月丁香| 亚洲狠狠婷婷综合久久图片| 在线观看午夜福利视频| 亚洲成人久久爱视频| 国产成人aa在线观看| 女人被狂操c到高潮| 午夜福利成人在线免费观看| 国产色婷婷99| 国产探花在线观看一区二区| 搡老熟女国产l中国老女人| 少妇熟女aⅴ在线视频| 在线观看66精品国产| 色哟哟哟哟哟哟| 久久热精品热| 无遮挡黄片免费观看| 国产主播在线观看一区二区| 丰满人妻一区二区三区视频av| 国产精品日韩av在线免费观看| 又紧又爽又黄一区二区| 两个人视频免费观看高清| 免费人成视频x8x8入口观看| videossex国产| 午夜精品在线福利| 乱系列少妇在线播放| 成人鲁丝片一二三区免费| 久久香蕉精品热| 在线观看av片永久免费下载| 草草在线视频免费看| 最近视频中文字幕2019在线8| 乱系列少妇在线播放| av专区在线播放| 成人av一区二区三区在线看| 久久久久久大精品| 免费看av在线观看网站| 国产精品一区二区三区四区免费观看 | 在线国产一区二区在线| 神马国产精品三级电影在线观看| 制服丝袜大香蕉在线| 国产日本99.免费观看| 人人妻人人看人人澡| 人妻夜夜爽99麻豆av| 自拍偷自拍亚洲精品老妇| 亚洲第一电影网av| 老女人水多毛片| 久久久久久久久中文| 18禁黄网站禁片免费观看直播| 国产主播在线观看一区二区| 97超视频在线观看视频| 99在线人妻在线中文字幕| 麻豆国产97在线/欧美| 国产伦人伦偷精品视频| 69av精品久久久久久| 日韩高清综合在线| 国产成人aa在线观看| 女人被狂操c到高潮| 国产久久久一区二区三区| 日韩一区二区视频免费看| 国产女主播在线喷水免费视频网站 | 婷婷六月久久综合丁香| 免费搜索国产男女视频| av在线老鸭窝| 12—13女人毛片做爰片一| 五月玫瑰六月丁香| 综合色av麻豆| 亚洲精华国产精华液的使用体验 | 国产不卡一卡二| 真人做人爱边吃奶动态| 亚洲性久久影院| 我的老师免费观看完整版| 色综合亚洲欧美另类图片| av在线天堂中文字幕| 给我免费播放毛片高清在线观看| 99热这里只有是精品在线观看| 最近最新中文字幕大全电影3| 十八禁国产超污无遮挡网站| 波多野结衣巨乳人妻| 日日摸夜夜添夜夜添av毛片 | 精品国产三级普通话版| 五月玫瑰六月丁香| 女生性感内裤真人,穿戴方法视频| 男女之事视频高清在线观看| 在现免费观看毛片| 欧美日韩亚洲国产一区二区在线观看| 99久久精品一区二区三区| 日韩精品中文字幕看吧| 人人妻人人澡欧美一区二区| 波多野结衣高清作品| 啪啪无遮挡十八禁网站| 亚洲国产欧洲综合997久久,| 亚洲av美国av| 日韩欧美免费精品| 久久九九热精品免费| 久久精品国产亚洲网站| 国产精品永久免费网站| 欧美绝顶高潮抽搐喷水| 男女啪啪激烈高潮av片| avwww免费| 日日干狠狠操夜夜爽| 成人av在线播放网站| 又黄又爽又刺激的免费视频.| 白带黄色成豆腐渣| 亚洲精品亚洲一区二区| 国产伦精品一区二区三区视频9| 亚洲精品粉嫩美女一区| 亚洲精品影视一区二区三区av| 国产欧美日韩一区二区精品| 国产v大片淫在线免费观看| 午夜久久久久精精品| 精品久久久久久久人妻蜜臀av| av天堂中文字幕网| 神马国产精品三级电影在线观看| 一a级毛片在线观看| 哪里可以看免费的av片| 我要搜黄色片| 久久九九热精品免费| 国产亚洲91精品色在线| 国产成人一区二区在线| 亚洲va日本ⅴa欧美va伊人久久| 国产一区二区三区在线臀色熟女| 99久久无色码亚洲精品果冻| 干丝袜人妻中文字幕| 精品一区二区三区av网在线观看| h日本视频在线播放| av在线观看视频网站免费| 十八禁网站免费在线| а√天堂www在线а√下载| 亚洲成人久久爱视频| 亚洲欧美日韩高清在线视频| 黄色一级大片看看| 老熟妇仑乱视频hdxx| 男人舔女人下体高潮全视频| 久久久久久伊人网av| 免费看美女性在线毛片视频| 亚洲欧美清纯卡通| 特大巨黑吊av在线直播| 国产亚洲精品综合一区在线观看| 九九在线视频观看精品| 亚洲自拍偷在线| 久久人人爽人人爽人人片va| 成人午夜高清在线视频| 成人av在线播放网站| 一级av片app| 国产在线男女| 亚洲人成网站在线播放欧美日韩| 国产三级中文精品| 国产主播在线观看一区二区| 听说在线观看完整版免费高清| 日韩欧美精品免费久久| 国产日本99.免费观看| 国产aⅴ精品一区二区三区波| 午夜日韩欧美国产| 亚洲成人免费电影在线观看| 国产精品久久久久久亚洲av鲁大| 国产精品人妻久久久影院| 嫩草影院新地址| 久久午夜亚洲精品久久| 最新在线观看一区二区三区| 日本在线视频免费播放| 人人妻人人看人人澡| 欧美最新免费一区二区三区| 日韩欧美精品v在线| 亚洲18禁久久av| 性色avwww在线观看| 国产单亲对白刺激| 日本在线视频免费播放| 欧美人与善性xxx| 亚洲电影在线观看av| 国产一区二区在线观看日韩| 深爱激情五月婷婷| x7x7x7水蜜桃| 午夜视频国产福利| 成人av一区二区三区在线看| 亚洲av美国av| 亚洲va在线va天堂va国产| 精品久久久久久成人av| 欧美精品啪啪一区二区三区| 国产精品无大码| 国产精品自产拍在线观看55亚洲| 国产成人aa在线观看| 99精品在免费线老司机午夜| 不卡一级毛片| 免费高清视频大片| 好男人在线观看高清免费视频| 日日摸夜夜添夜夜添av毛片 | 国产69精品久久久久777片| 国产黄片美女视频| 丰满乱子伦码专区| 国产精品一区二区免费欧美| 3wmmmm亚洲av在线观看| 韩国av在线不卡| 亚洲av二区三区四区| 国产精品日韩av在线免费观看| 色av中文字幕| 免费看a级黄色片| 午夜老司机福利剧场| 欧美高清成人免费视频www| 九九久久精品国产亚洲av麻豆| 国产精品美女特级片免费视频播放器| 亚洲中文字幕日韩| 一个人观看的视频www高清免费观看| 国产久久久一区二区三区| 亚洲在线观看片| 中文字幕精品亚洲无线码一区| 国产综合懂色| 国产视频一区二区在线看| 欧美日韩精品成人综合77777| 舔av片在线| 亚洲欧美激情综合另类| or卡值多少钱| 桃红色精品国产亚洲av| 亚洲第一电影网av| 99视频精品全部免费 在线| 国产精品自产拍在线观看55亚洲| 成人综合一区亚洲| 久久久久久久久大av| 熟女人妻精品中文字幕| 亚洲国产高清在线一区二区三| 亚洲最大成人av| 性欧美人与动物交配| 亚洲欧美日韩高清在线视频| 在线看三级毛片| netflix在线观看网站| 麻豆国产av国片精品| 能在线免费观看的黄片| 午夜久久久久精精品| 亚洲 国产 在线| 91在线精品国自产拍蜜月| 亚洲国产精品久久男人天堂| av.在线天堂| 噜噜噜噜噜久久久久久91| 蜜桃亚洲精品一区二区三区| 国产乱人伦免费视频| 亚洲综合色惰| 禁无遮挡网站| 欧美最黄视频在线播放免费| 3wmmmm亚洲av在线观看| 熟女人妻精品中文字幕| 日韩在线高清观看一区二区三区 | 春色校园在线视频观看| 日本在线视频免费播放| 内射极品少妇av片p| 一级a爱片免费观看的视频| 校园人妻丝袜中文字幕| 精品日产1卡2卡| 欧美不卡视频在线免费观看| avwww免费| 搡老妇女老女人老熟妇| 国产单亲对白刺激| 99久久九九国产精品国产免费| 亚洲美女视频黄频| 日本欧美国产在线视频| 久久久精品大字幕| 欧美一区二区精品小视频在线| 91久久精品国产一区二区三区| 51国产日韩欧美| 国产探花极品一区二区| 婷婷六月久久综合丁香| 国产日本99.免费观看| 亚洲一区二区三区色噜噜| 亚洲黑人精品在线| 成人永久免费在线观看视频| 亚洲性夜色夜夜综合| 日韩大尺度精品在线看网址| 亚洲精品色激情综合| 一卡2卡三卡四卡精品乱码亚洲| 欧美+亚洲+日韩+国产| 午夜福利视频1000在线观看| 亚州av有码| 亚洲av不卡在线观看| 日韩一本色道免费dvd| 亚洲va在线va天堂va国产| 久久久久国产精品人妻aⅴ院| 噜噜噜噜噜久久久久久91| 日韩大尺度精品在线看网址| 国产高清视频在线观看网站| 最近最新中文字幕大全电影3| 在线观看一区二区三区| 日本撒尿小便嘘嘘汇集6| 国产乱人伦免费视频| 波多野结衣高清无吗| 麻豆一二三区av精品| 12—13女人毛片做爰片一| 深夜精品福利| 麻豆成人午夜福利视频| 联通29元200g的流量卡| 久久热精品热| 免费观看人在逋| 蜜桃久久精品国产亚洲av| 动漫黄色视频在线观看| 国产国拍精品亚洲av在线观看| 国产成人av教育| 成人永久免费在线观看视频| 色噜噜av男人的天堂激情| 毛片女人毛片| a级一级毛片免费在线观看| 国产 一区精品| 亚洲黑人精品在线| av在线老鸭窝| 99国产极品粉嫩在线观看| 亚洲aⅴ乱码一区二区在线播放| 搡老熟女国产l中国老女人| 国产精品三级大全| 美女被艹到高潮喷水动态| 亚洲av美国av| 精品久久久噜噜| 99久久中文字幕三级久久日本| 日韩欧美在线二视频| 五月伊人婷婷丁香| 蜜桃亚洲精品一区二区三区| 18禁黄网站禁片免费观看直播| 国产亚洲欧美98| 国产精品久久久久久亚洲av鲁大| 一进一出抽搐动态| 亚洲 国产 在线| 国产真实乱freesex| 全区人妻精品视频| 亚洲欧美清纯卡通| 国产极品精品免费视频能看的| 亚洲精品久久国产高清桃花| 99视频精品全部免费 在线| 欧美成人a在线观看| 国产精品乱码一区二三区的特点| 一个人免费在线观看电影| 在线观看舔阴道视频| 欧美性猛交黑人性爽| 国产探花在线观看一区二区| 国产精品三级大全| 人人妻人人看人人澡| 亚洲国产欧美人成| 午夜免费男女啪啪视频观看 | 露出奶头的视频| 久久草成人影院| 在线天堂最新版资源| 国产精品日韩av在线免费观看| 熟女人妻精品中文字幕| 成年版毛片免费区| or卡值多少钱| 久久国产精品人妻蜜桃| 日本免费一区二区三区高清不卡| 国内毛片毛片毛片毛片毛片| 中文字幕免费在线视频6| 亚洲中文字幕日韩| 91久久精品国产一区二区三区| 日本三级黄在线观看| 国产老妇女一区| 精品久久国产蜜桃| 如何舔出高潮| 免费在线观看影片大全网站| 精品免费久久久久久久清纯| 中文字幕人妻熟人妻熟丝袜美| 精品人妻偷拍中文字幕| 亚洲国产精品成人综合色| 免费观看精品视频网站| 成人三级黄色视频| 久久午夜亚洲精品久久| 看黄色毛片网站| 99国产极品粉嫩在线观看| 久久午夜福利片| 国产精品99久久久久久久久| 狂野欧美激情性xxxx在线观看| 精品国内亚洲2022精品成人| 九九久久精品国产亚洲av麻豆| 久久久久性生活片| 中文亚洲av片在线观看爽| 一夜夜www| 国产在线男女| 男人舔女人下体高潮全视频| 亚洲精品久久国产高清桃花| 一本一本综合久久| 午夜免费男女啪啪视频观看 | 日本与韩国留学比较| 久久久久久久午夜电影| 亚洲欧美日韩高清专用| 精品福利观看| 嫩草影院精品99| 国产伦精品一区二区三区四那| 日日撸夜夜添| 欧美极品一区二区三区四区| 免费av不卡在线播放| 欧美日韩中文字幕国产精品一区二区三区| 干丝袜人妻中文字幕| 成人特级黄色片久久久久久久| 国内毛片毛片毛片毛片毛片| 波多野结衣巨乳人妻| 我的女老师完整版在线观看| 国产中年淑女户外野战色| 国产白丝娇喘喷水9色精品| 99热只有精品国产| 如何舔出高潮| 国产精品福利在线免费观看| 国产精品美女特级片免费视频播放器| h日本视频在线播放| 99国产精品一区二区蜜桃av| 不卡视频在线观看欧美| 久久精品综合一区二区三区| 国产大屁股一区二区在线视频| 久久国产乱子免费精品| 精品人妻熟女av久视频| 日本黄色视频三级网站网址| 欧美黑人巨大hd| 在线国产一区二区在线| 国产国拍精品亚洲av在线观看| 亚洲天堂国产精品一区在线| 亚洲美女黄片视频| 成年人黄色毛片网站| 亚洲色图av天堂| 美女xxoo啪啪120秒动态图| 久久精品国产鲁丝片午夜精品 | 日本一二三区视频观看| 国产白丝娇喘喷水9色精品| 美女xxoo啪啪120秒动态图| a级一级毛片免费在线观看| 国产精品一区二区三区四区久久| 久久人妻av系列| 香蕉av资源在线| 老司机福利观看| 国产 一区精品| 日韩亚洲欧美综合| 日韩国内少妇激情av| 亚洲av日韩精品久久久久久密| 亚洲av电影不卡..在线观看| 亚洲 国产 在线| 性色avwww在线观看| 欧美激情国产日韩精品一区| 国产一区二区亚洲精品在线观看| 国产69精品久久久久777片| 99国产精品一区二区蜜桃av| 色综合婷婷激情| АⅤ资源中文在线天堂| 老师上课跳d突然被开到最大视频| 最新中文字幕久久久久| 国产单亲对白刺激| 国产男靠女视频免费网站| 国产麻豆成人av免费视频| 国产爱豆传媒在线观看| 一边摸一边抽搐一进一小说| 国内精品一区二区在线观看| 国产精品日韩av在线免费观看| 国产高清三级在线| 国产免费av片在线观看野外av| 成年女人毛片免费观看观看9| 99国产极品粉嫩在线观看| 国产美女午夜福利| 1000部很黄的大片| 男人的好看免费观看在线视频| 精品福利观看| 国产高清有码在线观看视频| 久久久久久久久久成人| 久久久精品欧美日韩精品| 成人精品一区二区免费| 国产精品一区二区三区四区久久| 91精品国产九色| 全区人妻精品视频| а√天堂www在线а√下载| 亚洲av中文字字幕乱码综合| 美女免费视频网站| 麻豆成人午夜福利视频| 身体一侧抽搐| 国产精华一区二区三区| .国产精品久久| 69人妻影院| 伦精品一区二区三区| 国产亚洲91精品色在线| 日本一本二区三区精品| 免费av毛片视频| 亚洲不卡免费看| 婷婷色综合大香蕉| 一级av片app| 精品人妻视频免费看| 欧美中文日本在线观看视频| 大型黄色视频在线免费观看| 久久草成人影院| 久久中文看片网| 波多野结衣巨乳人妻| 国产高清有码在线观看视频| 国产一级毛片七仙女欲春2| 精品一区二区三区视频在线| 999久久久精品免费观看国产| 国产高清视频在线观看网站| 久久亚洲真实| 搡老熟女国产l中国老女人| 国产高清视频在线观看网站| 久久久久精品国产欧美久久久| 国产精品综合久久久久久久免费| a在线观看视频网站| 免费看光身美女| 一个人免费在线观看电影| 91在线观看av| 嫩草影院精品99| 真人做人爱边吃奶动态| 久久精品影院6| 观看免费一级毛片| 国产免费av片在线观看野外av| 色av中文字幕| 成人国产麻豆网| 欧美极品一区二区三区四区| 亚洲欧美日韩无卡精品| 99热这里只有是精品在线观看| 老熟妇仑乱视频hdxx| 熟女人妻精品中文字幕| 午夜福利18| 成人性生交大片免费视频hd| 精品人妻偷拍中文字幕| 亚洲人与动物交配视频| 大型黄色视频在线免费观看| 简卡轻食公司| 老熟妇仑乱视频hdxx| 熟女人妻精品中文字幕| 男女啪啪激烈高潮av片| 午夜激情欧美在线| 神马国产精品三级电影在线观看| 国内精品久久久久久久电影| 日本五十路高清| 欧美日韩亚洲国产一区二区在线观看| 变态另类丝袜制服| 色综合色国产| 欧美xxxx性猛交bbbb| 国产精品av视频在线免费观看| 99热精品在线国产| 色播亚洲综合网| 日本免费一区二区三区高清不卡| 亚洲不卡免费看| 亚洲无线在线观看| 国产老妇女一区| 夜夜夜夜夜久久久久| 亚洲一级一片aⅴ在线观看| 亚洲性久久影院| 国产精华一区二区三区| 成人三级黄色视频| 联通29元200g的流量卡| 91久久精品国产一区二区成人| 国产高清视频在线播放一区| 蜜桃久久精品国产亚洲av| 久久久久久久午夜电影| 在线a可以看的网站| 欧美色欧美亚洲另类二区| 久久中文看片网| 欧美激情国产日韩精品一区| 日韩亚洲欧美综合| 男人舔女人下体高潮全视频| 波多野结衣巨乳人妻| 成人无遮挡网站| 欧美又色又爽又黄视频| 老女人水多毛片| 国产伦人伦偷精品视频| 国产高潮美女av| 一卡2卡三卡四卡精品乱码亚洲| 精品久久国产蜜桃| av福利片在线观看| 97超级碰碰碰精品色视频在线观看| 91麻豆精品激情在线观看国产| 欧美日韩国产亚洲二区| 日韩亚洲欧美综合| 日韩精品有码人妻一区| 中文字幕高清在线视频| 中国美女看黄片| 国产午夜精品久久久久久一区二区三区 | 最近视频中文字幕2019在线8| 亚洲中文字幕日韩| 亚洲精品456在线播放app | 国产午夜精品论理片| 亚洲av免费高清在线观看| 一a级毛片在线观看| 中文字幕av在线有码专区| 欧美成人一区二区免费高清观看| 亚洲美女黄片视频| 欧美最黄视频在线播放免费| 亚洲精品影视一区二区三区av| 国产男靠女视频免费网站| 淫妇啪啪啪对白视频| 91久久精品国产一区二区成人| 日韩欧美国产一区二区入口| 国产色爽女视频免费观看| 91在线精品国自产拍蜜月| 久久精品人妻少妇| 午夜久久久久精精品| 亚洲av第一区精品v没综合| 在线观看av片永久免费下载| 日韩欧美国产在线观看| 69人妻影院| 97碰自拍视频| 国产精品一区二区免费欧美| 亚洲欧美日韩卡通动漫| 亚洲精品在线观看二区| 亚洲欧美日韩高清在线视频| 欧美黑人巨大hd| 村上凉子中文字幕在线| 国产欧美日韩精品一区二区| 性色avwww在线观看| 五月伊人婷婷丁香| 午夜免费男女啪啪视频观看 | 国产色婷婷99| 久久天躁狠狠躁夜夜2o2o| 国产午夜精品久久久久久一区二区三区 | 成人亚洲精品av一区二区| 国产精品爽爽va在线观看网站| 成年女人看的毛片在线观看| 免费黄网站久久成人精品| 亚洲性夜色夜夜综合| 国产女主播在线喷水免费视频网站 |