基于Scrapy框架的分布式網(wǎng)絡(luò)爬蟲(chóng)的研究與實(shí)現(xiàn)

華云彬 匡芳君

Abstract： Aiming at the problems of offensive， defensive， and crawling efficiency in the development of Web crawlers， the paper focuses on analyzing the working principle and implementation of the distributed crawler based on the Scrapy framework， as well as some distributed operating principles， anti-reptiles， and the algorithm of duplicate removal， Redis database， MongoDB database， etc.， designs and implements a distributed Web crawler based on Scrapy framework. Finally， through comparative test and analysis of the crawler， it is concluded that how to improve crawling efficiency of the crawler and avoid the anti-crawler strategy of the site.

引言

隨著互聯(lián)網(wǎng)的發(fā)展，大數(shù)據(jù)時(shí)代的到來(lái)，普通搜索引擎已無(wú)法滿足人們對(duì)信息獲取的需求，網(wǎng)絡(luò)爬蟲(chóng)應(yīng)運(yùn)而生，如百度的網(wǎng)絡(luò)爬蟲(chóng)Baiduspider、谷歌的網(wǎng)絡(luò)爬蟲(chóng)Googlebot等[1]，也陸續(xù)涌現(xiàn)了很多成熟的爬蟲(chóng)框架，如本文使用的Scrapy[2]。但其從催生傳承演變至今，爬蟲(chóng)開(kāi)發(fā)也已面臨著一些問(wèn)題，對(duì)此可闡釋分析如下。

（1）網(wǎng)站與爬蟲(chóng)之間的攻防問(wèn)題 [3]。針對(duì)爬蟲(chóng)無(wú)限制地爬取所有網(wǎng)頁(yè)的狀況，制定了robots協(xié)議[4]，但由于該協(xié)議并未成為一個(gè)嚴(yán)謹(jǐn)規(guī)范，只是約定俗成的技術(shù)守則，故而不能真正地阻止網(wǎng)絡(luò)爬蟲(chóng)，因此出現(xiàn)了反爬蟲(chóng)技術(shù)。本文將使用分布式技術(shù)來(lái)解決這個(gè)問(wèn)題。

（2）統(tǒng)一資源地址的去重問(wèn)題。在爬取的過(guò)程中，爬蟲(chóng)經(jīng)常會(huì)遇到相同的URL，如果再次爬取，就造成了資源的浪費(fèi)。普遍采取的方案是使用md5等哈希后存入set。而本文將使用BloomFilter算法[5]來(lái)解決去重問(wèn)題。

（3）爬蟲(chóng)爬取效率問(wèn)題。如今的爬蟲(chóng)普遍存在爬取效率較低的問(wèn)題，為了解決該問(wèn)題，本文的爬蟲(chóng)采用了分布式[6]、代理池等技術(shù)。

綜上可知，本文重點(diǎn)圍繞前述問(wèn)題，研究和實(shí)現(xiàn)基于Scrapy框架的分布式網(wǎng)絡(luò)爬蟲(chóng)。

1相關(guān)關(guān)鍵技術(shù)

1.1網(wǎng)絡(luò)爬蟲(chóng)技術(shù)

網(wǎng)絡(luò)爬蟲(chóng)，又稱為網(wǎng)絡(luò)蜘蛛，是一種能夠根據(jù)程序設(shè)計(jì)者所設(shè)計(jì)的規(guī)則，自動(dòng)抓取特定網(wǎng)頁(yè)信息的程序。網(wǎng)絡(luò)爬蟲(chóng)始于一個(gè)或多個(gè)事先確定的被稱為種子的URL地址，如果能夠訪問(wèn)則下載其中的內(nèi)容，而后利用程序設(shè)計(jì)者開(kāi)發(fā)的解析模塊，提取其中所需要的數(shù)據(jù)或者其它的URL鏈接，并將獲取到的URL鏈接加入到待爬取列表中，重復(fù)這一步驟，直至待爬列表為空。網(wǎng)絡(luò)爬蟲(chóng)按照實(shí)現(xiàn)原理可分為通用網(wǎng)絡(luò)爬蟲(chóng)、增量式網(wǎng)絡(luò)爬蟲(chóng)、聚焦網(wǎng)絡(luò)爬蟲(chóng)3種類型[7]。本文主要研究聚焦型網(wǎng)絡(luò)爬蟲(chóng)。

目前，網(wǎng)絡(luò)爬蟲(chóng)一般分為深度優(yōu)先和廣度優(yōu)先2種爬取策略算法[8]。前者一般用棧實(shí)現(xiàn)，即一個(gè)爬蟲(chóng)程序爬取一個(gè)HTML文件后，只要找到該文件中的一個(gè)鏈接，就立即去爬取該鏈接并重復(fù)執(zhí)行深度優(yōu)先算法，直至到達(dá)終點(diǎn)后，重新返至可前溯的HTML文件中找尋其它鏈接。后者則一般用隊(duì)列實(shí)現(xiàn)，即一個(gè)爬蟲(chóng)程序爬取一個(gè)HTML文件后，找到該文件中所有鏈接，再存入隊(duì)列中，然后根據(jù)隊(duì)列中鏈接繼續(xù)爬取并重復(fù)執(zhí)行廣度優(yōu)先算法。本文網(wǎng)絡(luò)爬蟲(chóng)采用廣度優(yōu)先算法。

1.2Scrapy框架技術(shù)

Scrapy是Python開(kāi)發(fā)的一個(gè)高層次的、快速的Web抓取框架[9]，用于抓取網(wǎng)頁(yè)并從中提取結(jié)構(gòu)化數(shù)據(jù)，已廣泛應(yīng)用于自動(dòng)化測(cè)試與數(shù)據(jù)挖掘領(lǐng)域研究中。Scrapy框架主要由引擎（Engine）、調(diào)度器（Scheduler）、Spiders、下載器（Downloader）、Item Pipeline、中間件（Middleware）組成，設(shè)計(jì)架構(gòu)即如圖1所示。

1.3Redis分布式爬蟲(chóng)相關(guān)技術(shù)

分布式爬蟲(chóng)，又稱集群爬蟲(chóng)。分布式爬蟲(chóng)可實(shí)現(xiàn)多臺(tái)機(jī)器同時(shí)爬取，爬取速度快、可輕松避開(kāi)對(duì)方的反爬蟲(chóng)機(jī)制對(duì)IP的封鎖檢測(cè)。網(wǎng)絡(luò)爬蟲(chóng)是一個(gè)偏向IO的任務(wù)，研究認(rèn)為分布式爬蟲(chóng)主要考慮爬蟲(chóng)任務(wù)的去重、爬蟲(chóng)任務(wù)的統(tǒng)一調(diào)度和爬蟲(chóng)的速度、存儲(chǔ)等問(wèn)題，而Redis則能有效解決這些問(wèn)題。Redis是一個(gè)非關(guān)系型數(shù)據(jù)庫(kù)，支持key-value和list、set、hash等數(shù)據(jù)結(jié)構(gòu)，同時(shí)Redis也是一個(gè)內(nèi)存數(shù)據(jù)庫(kù)，具備著讀取速度快的優(yōu)點(diǎn)。本文研究采用了基于Scrapy框架和Redis的分布式爬蟲(chóng)，爬蟲(chóng)調(diào)度任務(wù)則采用Python的scrapy-redis模塊實(shí)現(xiàn)。

1.4爬蟲(chóng)去重BloomFilter算法

網(wǎng)絡(luò)爬蟲(chóng)的效率至關(guān)重要，而爬蟲(chóng)的URL鏈接去重則是影響爬蟲(chóng)效率的主要因素之一。在實(shí)際應(yīng)用中，爬蟲(chóng)在爬取數(shù)據(jù)時(shí)，往往會(huì)爬取到許多重復(fù)的URL 鏈接，如果再對(duì)這些鏈接進(jìn)行爬取，就會(huì)造成內(nèi)存及帶寬資源的極大浪費(fèi)，從而降低爬蟲(chóng)效率。針對(duì)這種情況，研究中集結(jié)提煉了數(shù)種爬蟲(chóng)的去重策略，可分述如下。

（1）將URL保存到MySQL等數(shù)據(jù)庫(kù)中，每次爬取之前訪問(wèn)數(shù)據(jù)庫(kù)查詢，效率低。

（2）將URL保存到set中，訪問(wèn)速度快，但內(nèi)存占用巨大，且不利于持久化。

（3）將URL使用md5等算法哈希后存入set中。Scrapy框架默認(rèn)使用的即為該方法。

（4）使用BitMap方法，將URL通過(guò)hash進(jìn)行映射。

（5）使用BloomFilter算法對(duì)BitMap方法提供改進(jìn)。

2分布式網(wǎng)絡(luò)爬蟲(chóng)的設(shè)計(jì)與實(shí)現(xiàn)

2.1網(wǎng)絡(luò)爬蟲(chóng)的功能需求分析

本文主要研究基于Scrapy框架的分布式網(wǎng)絡(luò)爬蟲(chóng)。為了更好測(cè)試爬蟲(chóng)的效率，本爬蟲(chóng)并沒(méi)有采取常見(jiàn)的爬取目標(biāo)網(wǎng)頁(yè)，而是采用了API接口的形式進(jìn)行數(shù)據(jù)的爬取。爬取的目標(biāo)選擇了知乎網(wǎng)（www.zhihu.com）的公開(kāi)用戶信息，通過(guò)API接口的形式爬取大量知乎用戶的基本信息。這里，關(guān)于該網(wǎng)絡(luò)爬蟲(chóng)抓取流程的分析將展開(kāi)如下探討論述。

首先為了獲取知乎的用戶信息API接口，使用了Chrome自帶的抓包工具對(duì)從知乎上隨機(jī)選取的一名用戶的主頁(yè)進(jìn)行了分析，最終成功提取到了用戶信息的API接口（https：//api.zhihu.com/people/xxxxxx，xxxxxx為用戶ID），該API返回的信息為JSON格式。這樣一來(lái)，已爬取得到了該用戶的信息。然而API接口中，卻仍未得到用戶的ID。為了能大批量地獲取用戶的ID，通過(guò)對(duì)知乎的深入研究后發(fā)現(xiàn)，知乎的每位用戶主頁(yè)中，有一個(gè)用戶關(guān)注他人列表及一個(gè)他人關(guān)注用戶的列表。如此再經(jīng)過(guò)抓包工具的分析，就成功獲取到了這2個(gè)列表的API接口。這2個(gè)接口的API中有一個(gè)參數(shù)為token值，該值是唯一的，可以從前述的用戶信息返回的JSON數(shù)據(jù)中獲取到。至此，就可以大批量地爬取知乎用戶信息。

2.2數(shù)據(jù)爬取的流程設(shè)計(jì)

分布式網(wǎng)絡(luò)爬蟲(chóng)根據(jù)設(shè)定的初始URL地址去爬取數(shù)據(jù)，使用廣度優(yōu)先算法完成數(shù)據(jù)的獲取任務(wù)直至符合網(wǎng)絡(luò)爬蟲(chóng)結(jié)束的條件。本項(xiàng)目中，網(wǎng)絡(luò)爬蟲(chóng)首先根據(jù)給定的初始用戶API接口去爬取，獲取數(shù)據(jù)后解析得到用戶的token值，然后根據(jù)token值去爬取該用戶的關(guān)注他人列表及一個(gè)關(guān)注該用戶的他人列表，獲取這2個(gè)列表中所有用戶的ID值，再以此為基礎(chǔ)去爬取用戶的基本信息。重復(fù)以上步驟，直至網(wǎng)絡(luò)爬蟲(chóng)結(jié)束終止本次爬取任務(wù)。知乎分布式網(wǎng)絡(luò)爬蟲(chóng)的設(shè)計(jì)流程可如圖2所示。

2.3反反爬的策略設(shè)計(jì)與實(shí)現(xiàn)

很多網(wǎng)站為了防止網(wǎng)絡(luò)爬蟲(chóng)爬取數(shù)據(jù)，都紛紛出臺(tái)了一定的策略來(lái)避免爬蟲(chóng)的爬取。然而，在實(shí)際應(yīng)用中，在爬蟲(chóng)與反爬蟲(chóng)的對(duì)弈中，爬蟲(chóng)終會(huì)勝利。結(jié)合本項(xiàng)目的知乎分布式爬蟲(chóng)，研發(fā)定制了一些本爬蟲(chóng)所采用的反反爬蟲(chóng)措施，可解析描述如下。

（1）設(shè)置User-Agent。這是網(wǎng)站上普遍采取的反爬蟲(chóng)措施，可以直接通過(guò)更改header中的User-Agent值來(lái)達(dá)成目的。在本項(xiàng)目中，使用了fake-useragent模塊來(lái)動(dòng)態(tài)更改User-Agent。

（2）設(shè)置爬蟲(chóng)爬取間隔。很多網(wǎng)站一般都會(huì)檢測(cè)一個(gè)IP的單位時(shí)間內(nèi)的訪問(wèn)次數(shù)，如果某用戶訪問(wèn)速率偏高，就容易導(dǎo)致IP被封。為了解決這個(gè)問(wèn)題，可以設(shè)置爬蟲(chóng)的爬取間隔（如最簡(jiǎn)單的time.sleep（1）），還可以設(shè)置爬蟲(chóng)爬取一段時(shí)間后、添入一個(gè)睡眠機(jī)制等。

而關(guān)于方法（2），設(shè)置爬蟲(chóng)爬取間隔，雖然可以有效避免被封禁IP，但在實(shí)際項(xiàng)目中，考慮到需要大規(guī)模地爬取數(shù)據(jù)，爬取的效率尤為重要，而設(shè)置爬取間隔會(huì)大大地降低效率。因此在本項(xiàng)目中，采用了更換代理IP的方法進(jìn)行解決，一旦IP被封禁，就切換代理IP。本項(xiàng)目維護(hù)了一個(gè)IP代理池（使用Requests庫(kù)定期爬取網(wǎng)絡(luò)上的免費(fèi)代理IP，并定時(shí)檢測(cè)可用性。IP存放在Redis數(shù)據(jù)庫(kù)set中，有利于去重及方便調(diào)用）。除了前文陳述的本項(xiàng)目中用到的幾種反反爬蟲(chóng)措施外，還有很多反反爬蟲(chóng)策略，如模擬登錄使用Cookie、驗(yàn)證碼識(shí)別、PhantomJS+Selenium（數(shù)據(jù)JS后期渲染）、使用JS的加密庫(kù)生成動(dòng)態(tài)Token等。

2.4爬蟲(chóng)分布式方案的設(shè)計(jì)與實(shí)現(xiàn)

本項(xiàng)目的分布式爬蟲(chóng)采用Scrapy框架加Redis數(shù)據(jù)庫(kù)，分布式調(diào)度采用scrapy-redis模塊。本項(xiàng)目把分布式爬蟲(chóng)主要分為Master端和Slave端2個(gè)部分。其中，Slave端重點(diǎn)是從Master端獲取任務(wù)進(jìn)行爬取，在爬取的同時(shí)也生成新的任務(wù)，并將任務(wù)傳遞給Master端，爬取到的數(shù)據(jù)則保存到Master端的MongoDB中。而Master端只有一個(gè)Redis數(shù)據(jù)庫(kù)和一個(gè)MongoDB數(shù)據(jù)庫(kù)，Redis就是對(duì)Slave端提交的任務(wù)進(jìn)行去重及放入待爬取的隊(duì)列，MongoDB則是用來(lái)存儲(chǔ)獲取到的用戶信息[10]。本項(xiàng)目分布式策略邏輯可如圖3所示。

2.5Scrapy各功能模塊設(shè)計(jì)與實(shí)現(xiàn)

2.5.1Spider模塊的設(shè)計(jì)與實(shí)現(xiàn)

Spider模塊是爬取、分析知乎數(shù)據(jù)的類。該模塊中設(shè)計(jì)中涉及多種比較重要的屬性和方法，對(duì)其內(nèi)容可闡述如下。

（1）allowed_domains屬性：表示爬蟲(chóng)可以爬取該URL下的子鏈接。

（2）start_urls屬性：是一個(gè)存放爬蟲(chóng)的初始URL鏈接的數(shù)組。

（3）parse方法：是scrapy.Spider類下的一個(gè)方法，每個(gè)生成的Response對(duì)象都會(huì)默認(rèn)作為參數(shù)傳遞給該方法。在該項(xiàng)目中，使用該方法解析用戶信息，獲取用戶的基本信息，給出用戶信息的Item對(duì)象，并給出2個(gè)爬取用戶關(guān)注他人列表及關(guān)注用戶的他人列表數(shù)據(jù)的Request對(duì)象，回調(diào)函數(shù)（callback）為parse_follower方法。

（4）parse_follower方法：運(yùn)行解析出2個(gè)列表中所有的用戶ID，并給出爬取用戶信息的Request對(duì)象，回調(diào)函數(shù)（callback）為parse方法。

2.5.2Items、Pipelines模塊的設(shè)計(jì)與實(shí)現(xiàn)

Item是一個(gè)數(shù)據(jù)容器，用于保存爬取到的數(shù)據(jù)。Pipelines則用于設(shè)計(jì)處理生成的的Item。在本項(xiàng)目中，Items中有一個(gè)ZhiHuUserInfoItem類，類中定義了相應(yīng)的字段Field（有token_url、info2個(gè)字段）。Pipelines中卻配有一個(gè)把Item中的數(shù)據(jù)保存到數(shù)據(jù)庫(kù)的類，該部分將在2.6數(shù)據(jù)存儲(chǔ)中予以詳情解析闡述。

2.5.3Middleware模塊的設(shè)計(jì)與實(shí)現(xiàn)

Middleware模塊有Downloader Middlewares和Spider Middlewares2個(gè)類型，本文主要采用Downloader Middlewares（下載中間件）。Middlewares方法設(shè)計(jì)可見(jiàn)如下。

（1）RandomUserAgentDownloaderMiddleware類：負(fù)責(zé)更換每個(gè)Request對(duì)象header中的User-Agent值。這里更換User-Agent使用了fake-useragent模塊（https：//github.com/hellysmile/fake-useragent），該模塊可以隨機(jī)更換不同操作系統(tǒng)、不同瀏覽器的User-Agent值。

（2）RandomProxyMiddleware類：負(fù)責(zé)更換代理IP及代理IP連接異常情況下的應(yīng)對(duì)處理。其中，還將內(nèi)配數(shù)種設(shè)計(jì)方法，可概述如下。

① process_request（）：負(fù)責(zé)更換Request的代理IP。

② cut_proxy（）：負(fù)責(zé)從Redis中獲取一個(gè)代理IP。

③ process_response（）：負(fù)責(zé)處理請(qǐng)求結(jié)束后返回的信息，如果返回403錯(cuò)誤，就意味著代理IP已失效，需要重新切換代理。

④ process_exception（）：負(fù)責(zé)處理連接時(shí)的異常情況。如TimeoutError、ConnectionRefusedError、ResponseFailed、ResponseNeverReceived、TunnelError、ConnectError等異?；蝈e(cuò)誤情況。若遭遇以上情況，這里同樣采用更換代理IP的方法獲得解決。

2.6數(shù)據(jù)存儲(chǔ)

網(wǎng)絡(luò)爬蟲(chóng)需要爬取的數(shù)據(jù)量一般都十分龐大，且有些是結(jié)構(gòu)化數(shù)據(jù)，有些則為非結(jié)構(gòu)化數(shù)據(jù)，因此一個(gè)適合的數(shù)據(jù)庫(kù)就尤顯重要。在知乎用戶信息爬蟲(chóng)項(xiàng)目中，獲取到的數(shù)據(jù)為非結(jié)構(gòu)化數(shù)據(jù)，并不適宜選擇MySQL等關(guān)系型數(shù)據(jù)庫(kù)，因而使用了MongoDB數(shù)據(jù)庫(kù)進(jìn)行數(shù)據(jù)的存儲(chǔ)。

MongoDB 是一個(gè)基于分布式文件存儲(chǔ)的數(shù)據(jù)庫(kù)。在本網(wǎng)絡(luò)爬蟲(chóng)中，研究?jī)H定義了2個(gè)Key。一個(gè)為_(kāi)id，存儲(chǔ)用戶信息的token_url；另一個(gè)為info，存儲(chǔ)用戶的基本信息。在Pipelines模塊中，定義了一個(gè)MongoDBPipeline類，可用作數(shù)據(jù)的存儲(chǔ)，數(shù)據(jù)的存儲(chǔ)則采用了MongoDB中的update方法。其中，upsert屬性需設(shè)置為True，該數(shù)據(jù)有則更新、無(wú)則插入。

3分布式網(wǎng)絡(luò)爬蟲(chóng)的測(cè)試

3.1測(cè)試環(huán)境

本網(wǎng)絡(luò)爬蟲(chóng)的測(cè)試環(huán)境基本信息可見(jiàn)表1。

3.2測(cè)試數(shù)據(jù)與分析

知乎分布式爬蟲(chóng)運(yùn)行1 h的測(cè)試結(jié)果可見(jiàn)表2。使用了3臺(tái)機(jī)器來(lái)測(cè)試分布式爬蟲(chóng)，從數(shù)據(jù)中可以看到，爬蟲(chóng)的爬取效率達(dá)到了預(yù)期的目標(biāo)效果。

爬蟲(chóng)的性能分析折線圖即如圖4所示。從圖4中看到，爬蟲(chóng)的爬蟲(chóng)效率波動(dòng)仍然較大，究其原因就在于爬蟲(chóng)測(cè)試的網(wǎng)絡(luò)環(huán)境不穩(wěn)定所致。如果還需提升爬取速度，可以增加分布式爬蟲(chóng)的個(gè)數(shù)。

3.3URL去重策略比較測(cè)試分析

URL去重策略運(yùn)行1 h的比較測(cè)試結(jié)果可見(jiàn)表3。由表3可以看出，使用BloomFilter算法比Scrapy默認(rèn)去重（md5哈希后存入set）的去重效率得到了顯著的提升。因此在海量數(shù)據(jù)的爬取上，使用BloomFilter算法（布隆過(guò)濾器）最為適宜。

4結(jié)束語(yǔ)

本文探討了基于Scrapy框架的分布式網(wǎng)絡(luò)爬蟲(chóng)的研究與實(shí)現(xiàn)。研究中，不僅論述了提高網(wǎng)絡(luò)爬蟲(chóng)數(shù)據(jù)爬取效率的處理解決方法，而且提供了針對(duì)網(wǎng)站反爬蟲(chóng)的應(yīng)對(duì)策略。最后，設(shè)計(jì)實(shí)現(xiàn)了一個(gè)知乎網(wǎng)用戶信息的分布式網(wǎng)絡(luò)爬蟲(chóng)，并爬取得到了大量的數(shù)據(jù)。在后續(xù)研究中，還將深入研究如何借助數(shù)據(jù)分析手段對(duì)數(shù)據(jù)進(jìn)行分析，獲取如知乎網(wǎng)用戶分布、男女分布、學(xué)歷分布等等信息，進(jìn)一步地完善本爬蟲(chóng)。

參考文獻(xiàn)

[1] 王巖. 搜索引擎中網(wǎng)絡(luò)爬蟲(chóng)技術(shù)的發(fā)展[J]. 電信快報(bào)， 2008（10）：20-22.

[2] Scrapy. Scrapy 1.5 documentation[EB/OL]. [2018]. https：//docs.scrapy.org/en/latest/.

[3] 陳利婷. 大數(shù)據(jù)時(shí)代的反爬蟲(chóng)技術(shù)[J]. 電腦與信息技術(shù)，2016， 24（6）：60-61.

[4] ]Wikipedia.robots.txt詞條[EB/OL]. [2017-06-10]. https：//en.wikipedia.org/wiki/MediaWiki：Robots.txt.

[5] 張笑天. 分布式爬蟲(chóng)應(yīng)用中布隆過(guò)濾器的研究[D]. 沈陽(yáng)：沈陽(yáng)工業(yè)大學(xué)， 2017.

[6] 朱嶸良. 分布式并行環(huán)境下的網(wǎng)絡(luò)爬蟲(chóng)研究[D] . 北京：中央民族大學(xué)，2015.

[7] 孫立偉，何國(guó)輝，吳禮發(fā). 網(wǎng)絡(luò)爬蟲(chóng)技術(shù)的研究[J]. 電腦知識(shí)與技術(shù)，2010，6（15）：4112-4115.

[8] 楊定中，趙剛，王泰. 網(wǎng)絡(luò)爬蟲(chóng)在Web信息搜索與數(shù)據(jù)挖掘中應(yīng)用[J]. 計(jì)算機(jī)工程與設(shè)計(jì). 2009，30（24）：5658-5662.

[9] 安子建. 基于Scrapy框架的網(wǎng)絡(luò)爬蟲(chóng)實(shí)現(xiàn)與數(shù)據(jù)抓取分析[D]. 長(zhǎng)春：吉林大學(xué)， 2017.

[10]趙本本，殷旭東，王偉. 基于Scrapy的GitHub數(shù)據(jù)爬蟲(chóng)[J]. 電子技術(shù)與軟件工程，2016（6）： 199-202.