網(wǎng)絡(luò)爬蟲(chóng)技術(shù)與策略分析

◆劉曉魁

網(wǎng)絡(luò)爬蟲(chóng)技術(shù)與策略分析

◆劉曉魁1，2，3

（1.安陽(yáng)師范學(xué)院計(jì)算機(jī)與信息工程學(xué)院 河南 455000；2.甲骨文信息處理教育部重點(diǎn)實(shí)驗(yàn)室 河南 455000；3.河南省甲骨文信息處理重點(diǎn)實(shí)驗(yàn)室 河南 455000）

網(wǎng)絡(luò)爬蟲(chóng)和網(wǎng)絡(luò)反爬蟲(chóng)在博弈中不斷成長(zhǎng)，網(wǎng)絡(luò)爬蟲(chóng)的存在已經(jīng)成為網(wǎng)絡(luò)信息時(shí)代一種常態(tài)。隨著大數(shù)據(jù)和人工智能技術(shù)的出現(xiàn)，網(wǎng)絡(luò)爬蟲(chóng)也越來(lái)越規(guī)?；椭悄芑?，對(duì)網(wǎng)絡(luò)爬蟲(chóng)的研究也要越來(lái)越明晰且與時(shí)俱進(jìn)。本文對(duì)目前網(wǎng)絡(luò)爬蟲(chóng)的特征、分類(lèi)、所使用的工作流程和爬行策略進(jìn)行梳理和比較，為網(wǎng)絡(luò)爬蟲(chóng)提供較全面的總結(jié)，為進(jìn)一步研究網(wǎng)絡(luò)爬蟲(chóng)和網(wǎng)絡(luò)反爬蟲(chóng)提供重要參考。

網(wǎng)絡(luò)爬蟲(chóng)；爬蟲(chóng)技術(shù)；爬蟲(chóng)策略

網(wǎng)絡(luò)爬蟲(chóng)是自動(dòng)地抓取萬(wàn)維網(wǎng)信息的程序或者腳本。它是一個(gè)雙刃劍。一方面，它提高了對(duì)網(wǎng)絡(luò)數(shù)據(jù)的挖掘和分析檢索能力。目前，在國(guó)內(nèi)外，爬蟲(chóng)技術(shù)是搜索引擎的關(guān)鍵環(huán)節(jié)，是分析和獲取網(wǎng)絡(luò)數(shù)據(jù)非常有效的方式。甚至爬蟲(chóng)算法的優(yōu)劣直接影響搜索引擎的性能。在開(kāi)放融合的網(wǎng)絡(luò)環(huán)境下，尤其是伴隨大數(shù)據(jù)技術(shù)在互聯(lián)網(wǎng)領(lǐng)域的廣泛應(yīng)用，爬蟲(chóng)已從搜索引擎應(yīng)用拓展到了其他各個(gè)領(lǐng)域，成為大數(shù)據(jù)時(shí)代最重要的信息收集方式。比如商務(wù)智能上的企業(yè)市場(chǎng)信息收集；數(shù)據(jù)研究上的原始資料獲??；網(wǎng)絡(luò)輿情的信息收集等等。基于爬蟲(chóng)技術(shù)的就業(yè)信息管理平臺(tái)、基于網(wǎng)絡(luò)爬蟲(chóng)的上市公司交易數(shù)據(jù)共享平臺(tái)、面向訂票服務(wù)器端爬蟲(chóng)的可視檢測(cè)等等應(yīng)用陸續(xù)出現(xiàn)。爬蟲(chóng)技術(shù)在互聯(lián)網(wǎng)領(lǐng)域之中的有效應(yīng)用，對(duì)互聯(lián)網(wǎng)技術(shù)的發(fā)展提供了助力。

但是對(duì)于開(kāi)放融合網(wǎng)絡(luò)環(huán)境下的資源網(wǎng)站，也存在快速被竊取的風(fēng)險(xiǎn)。Distil Networks發(fā)布的《2021 Bad Bot Report》報(bào)告指出，在2020年，互聯(lián)網(wǎng)中有25.6%的流量是不遵守爬蟲(chóng)協(xié)議的惡意爬蟲(chóng)，而整個(gè)爬蟲(chóng)程序流量占互聯(lián)網(wǎng)流量的40.8%之多。如圖1為2021年互聯(lián)網(wǎng)惡意爬蟲(chóng)流行報(bào)告。對(duì)于數(shù)據(jù)所有者，爬蟲(chóng)的過(guò)度爬取會(huì)嚴(yán)重消耗網(wǎng)絡(luò)和機(jī)器資源，占用網(wǎng)站服務(wù)帶寬，甚至導(dǎo)致核心數(shù)據(jù)泄漏、失竊。還會(huì)涉及版權(quán)甚至法律等層面的事件。曾經(jīng)沸沸揚(yáng)揚(yáng)的，號(hào)稱(chēng)中國(guó)最大的用戶(hù)畫(huà)像關(guān)鍵數(shù)據(jù)服務(wù)提供商巧達(dá)科技，因?yàn)橐粋€(gè)程序員的爬蟲(chóng)程序，導(dǎo)致整個(gè)公司200多人集體被抓。網(wǎng)絡(luò)爬蟲(chóng)已經(jīng)成為互聯(lián)時(shí)代不能被忽視的問(wèn)題。網(wǎng)絡(luò)爬蟲(chóng)的入門(mén)門(mén)檻很低，網(wǎng)上有開(kāi)源的爬蟲(chóng)可以直接使用，也是導(dǎo)致目前互聯(lián)網(wǎng)爬蟲(chóng)橫行的重要原因。

圖1 2021年互聯(lián)網(wǎng)惡意爬蟲(chóng)流行報(bào)告

（來(lái)源：https://www.imperva.com/blog/bad-bot-report-2021-the-pandemic-of-the-internet/）

1 當(dāng)前網(wǎng)絡(luò)爬蟲(chóng)的特點(diǎn)

1.1 當(dāng)前網(wǎng)絡(luò)爬蟲(chóng)的特點(diǎn)

網(wǎng)絡(luò)爬蟲(chóng)已經(jīng)與互聯(lián)網(wǎng)相伴相生、密不可分。伴隨著大數(shù)據(jù)和智能化技術(shù)的發(fā)展，當(dāng)前網(wǎng)絡(luò)爬蟲(chóng)越來(lái)越向規(guī)?；椭悄芑较虬l(fā)展。網(wǎng)絡(luò)爬蟲(chóng)不只是會(huì)對(duì)開(kāi)放融合環(huán)境下的海量數(shù)據(jù)進(jìn)行數(shù)據(jù)爬取和存儲(chǔ)，還會(huì)通過(guò)對(duì)數(shù)據(jù)的抽取、標(biāo)注、去重、去噪、關(guān)聯(lián)、轉(zhuǎn)換等清洗過(guò)程，將數(shù)據(jù)轉(zhuǎn)換成結(jié)構(gòu)化的標(biāo)準(zhǔn)數(shù)據(jù)，為了得到更有價(jià)值的數(shù)據(jù)，可以進(jìn)一步對(duì)數(shù)據(jù)進(jìn)行分析和挖掘。融合貫通開(kāi)放融合環(huán)境下的互聯(lián)網(wǎng)數(shù)據(jù)孤島，最終呈現(xiàn)出更加宏觀和專(zhuān)業(yè)的數(shù)據(jù)挖掘可視化成果，可以作為決策和判斷的重要依據(jù)。各種專(zhuān)業(yè)的爬蟲(chóng)網(wǎng)站和平臺(tái)不斷涌現(xiàn)；各種語(yǔ)言開(kāi)發(fā)的爬蟲(chóng)工具也層出不窮。無(wú)惡意的普通爬蟲(chóng)和不遵守爬蟲(chóng)協(xié)議的惡意爬蟲(chóng)分散在互聯(lián)網(wǎng)中，幾乎占據(jù)所有網(wǎng)絡(luò)流量的2/5強(qiáng)。如果沒(méi)有任何限制，網(wǎng)絡(luò)爬蟲(chóng)的發(fā)展幾乎是一發(fā)而不可收的。

1.2 網(wǎng)絡(luò)爬蟲(chóng)面臨的法律背景

在相應(yīng)的法律建設(shè)方面，幾個(gè)重要事件對(duì)網(wǎng)絡(luò)爬蟲(chóng)產(chǎn)生了巨大影響。首先是自2017年6月1日起開(kāi)始施行的《中華人民共和國(guó)網(wǎng)絡(luò)安全法》，為網(wǎng)絡(luò)空間主權(quán)和國(guó)家安全、社會(huì)公共利益提供了整體的法律基礎(chǔ)，同時(shí)也在保護(hù)公民合法權(quán)益，促進(jìn)經(jīng)濟(jì)社會(huì)信息化健康發(fā)展提供了保障，也為網(wǎng)絡(luò)爬蟲(chóng)的發(fā)展提供了方向指引。特別是在個(gè)人信息的搜集方面，無(wú)論是有意的搜集還是惡意的爬取，都將面臨法律層面更加嚴(yán)格規(guī)范的監(jiān)管甚至是裁決。另外，我國(guó)首部關(guān)于數(shù)據(jù)安全的法律《數(shù)據(jù)安全法》，已定于2021年9月1日正式施行，為爬蟲(chóng)限制了明確的法律邊界，可以說(shuō)對(duì)網(wǎng)絡(luò)爬蟲(chóng)的影響意義深遠(yuǎn)，標(biāo)志著我國(guó)數(shù)據(jù)安全領(lǐng)域?qū)⑦M(jìn)入有法可依的時(shí)代。我們也相信網(wǎng)絡(luò)爬蟲(chóng)技術(shù)也會(huì)在合法合規(guī)的環(huán)境下會(huì)更加健康的發(fā)展。

2 網(wǎng)絡(luò)爬蟲(chóng)技術(shù)的分類(lèi)

雖然隨著網(wǎng)絡(luò)爬蟲(chóng)技術(shù)的發(fā)展，其手段不斷翻新?？梢愿鶕?jù)所采取的主要技術(shù)手段將現(xiàn)階段網(wǎng)絡(luò)爬蟲(chóng)分為通用網(wǎng)絡(luò)爬蟲(chóng)、聚焦網(wǎng)絡(luò)爬蟲(chóng)、增量式網(wǎng)絡(luò)爬蟲(chóng)和深層網(wǎng)絡(luò)爬蟲(chóng)4種類(lèi)型。

2.1 通用網(wǎng)絡(luò)爬蟲(chóng)

通用網(wǎng)絡(luò)爬蟲(chóng)常見(jiàn)于大型搜索引擎中，通常爬取互聯(lián)網(wǎng)中目標(biāo)資源的范圍較廣、涉及的數(shù)據(jù)量很大，對(duì)爬蟲(chóng)服務(wù)器的性能要求非常高。通用網(wǎng)絡(luò)爬蟲(chóng)一般由爬取對(duì)象初始網(wǎng)絡(luò)地址、爬取URL隊(duì)列、頁(yè)面爬取模塊、爬取內(nèi)容數(shù)據(jù)庫(kù)等構(gòu)成。

通用網(wǎng)絡(luò)爬蟲(chóng)實(shí)施的過(guò)程如圖2所示。首先確定初始網(wǎng)絡(luò)地址，然后爬取初始網(wǎng)絡(luò)地址頁(yè)面內(nèi)容存儲(chǔ)到數(shù)據(jù)庫(kù)中，并將新發(fā)現(xiàn)的URL地址加入U(xiǎn)RL列表中。然后判定是否滿(mǎn)足停止條件，如果不滿(mǎn)足停止條件，就在URL列表中選擇下一個(gè)URL地址，并使用新URL地址爬取網(wǎng)頁(yè)內(nèi)容，然后從新網(wǎng)頁(yè)中獲取新的URL地址放到URL列表中，URL列表中的順序一般是按照時(shí)間默認(rèn)自動(dòng)延續(xù)追加的，最終會(huì)窮盡到無(wú)法獲取新的URL地址或者滿(mǎn)足停止條件結(jié)束。

圖2 通用網(wǎng)絡(luò)爬蟲(chóng)工作流程圖

2.2 聚焦網(wǎng)絡(luò)爬蟲(chóng)

聚焦網(wǎng)絡(luò)爬蟲(chóng)，顧名思義是聚焦到特定主題目標(biāo)網(wǎng)站或頁(yè)面的特定信息進(jìn)行爬取的網(wǎng)絡(luò)爬蟲(chóng)。一般是由初始網(wǎng)絡(luò)地址、頁(yè)面爬取模塊、爬取內(nèi)容數(shù)據(jù)庫(kù)、無(wú)關(guān)鏈接過(guò)濾、URL優(yōu)先級(jí)排序等構(gòu)成。相對(duì)于通用網(wǎng)絡(luò)爬蟲(chóng)增加了無(wú)關(guān)鏈接過(guò)濾和URL優(yōu)先級(jí)排序環(huán)節(jié)，更加高效和具有針對(duì)性。

聚焦網(wǎng)絡(luò)爬蟲(chóng)實(shí)現(xiàn)過(guò)程如圖2所示。首先確定初始網(wǎng)絡(luò)地址，然后爬取初始網(wǎng)絡(luò)地址頁(yè)面內(nèi)容存儲(chǔ)到數(shù)據(jù)庫(kù)中，并將新發(fā)現(xiàn)的URL地址經(jīng)過(guò)無(wú)關(guān)URL鏈接過(guò)濾，如果不符合過(guò)濾條件將新發(fā)現(xiàn)URL地址加入U(xiǎn)RL列表，并重新進(jìn)行URL優(yōu)先級(jí)排序，然后判斷是否符合結(jié)束條件，如果經(jīng)過(guò)無(wú)關(guān)URL鏈接過(guò)濾符合過(guò)濾條件就將新發(fā)現(xiàn)URL地址遺棄，并直接判斷是否符合結(jié)束條件。如果不滿(mǎn)足停止條件，就在URL列表中選擇下一個(gè)URL地址，并使用新URL地址爬取網(wǎng)頁(yè)內(nèi)容，最終窮盡到無(wú)法獲取新的URL地址或者滿(mǎn)足停止條件結(jié)束。

圖3 聚焦網(wǎng)絡(luò)爬蟲(chóng)工作流程圖

2.3 增量式網(wǎng)絡(luò)爬蟲(chóng)

增量式網(wǎng)絡(luò)爬蟲(chóng)是指對(duì)已下載網(wǎng)頁(yè)采取增量式更新的爬蟲(chóng)。它只爬取新產(chǎn)生或發(fā)生更新的頁(yè)面。

這與聚焦網(wǎng)絡(luò)爬蟲(chóng)存在相似的地方是，聚焦網(wǎng)絡(luò)爬蟲(chóng)中的無(wú)關(guān)URL鏈接過(guò)濾環(huán)節(jié)，對(duì)應(yīng)在增量式網(wǎng)絡(luò)爬蟲(chóng)中更加明確增加了爬取對(duì)象的本地頁(yè)面數(shù)據(jù)庫(kù)和本地URL集可以進(jìn)行參照和對(duì)比。不用重新下載已經(jīng)下載并且沒(méi)有發(fā)生變化的頁(yè)面，雖然爬行算法的復(fù)雜度有所增加，對(duì)爬蟲(chóng)服務(wù)器的性能要求比較高，本地存儲(chǔ)的成本也有所增加。但是這不僅保持了爬取網(wǎng)頁(yè)內(nèi)容的及時(shí)更新，而且明顯降低了爬蟲(chóng)工作量。

增量式網(wǎng)絡(luò)爬蟲(chóng)的工作流程是首先確定初始網(wǎng)絡(luò)地址，然后爬取初始網(wǎng)絡(luò)地址頁(yè)面內(nèi)容存儲(chǔ)到數(shù)據(jù)庫(kù)中，并將新發(fā)現(xiàn)的URL地址與本地URL集可以進(jìn)行參照和對(duì)比，如果URL未經(jīng)爬取或者其對(duì)應(yīng)內(nèi)容已經(jīng)爬取但是存在更新，就將新發(fā)現(xiàn)URL地址加入U(xiǎn)RL列表，并重新進(jìn)行URL優(yōu)先級(jí)排序，然后判斷是否符合結(jié)束條件，如果不滿(mǎn)足停止條件，就在URL列表中選擇下一個(gè)URL地址進(jìn)行循環(huán)爬取，最終窮盡到無(wú)法獲取新的URL地址或者滿(mǎn)足停止條件結(jié)束。

增量式網(wǎng)絡(luò)爬蟲(chóng)實(shí)現(xiàn)過(guò)程如圖4所示。

圖4 增量式網(wǎng)絡(luò)爬蟲(chóng)工作流程圖

2.4 深層網(wǎng)絡(luò)爬蟲(chóng)

圖5 深層網(wǎng)絡(luò)爬蟲(chóng)工作流程圖

深層網(wǎng)絡(luò)爬蟲(chóng)針對(duì)的是隱藏在表單后面，需要提交關(guān)鍵詞之后獲取到的頁(yè)面。表單填寫(xiě)是深層網(wǎng)絡(luò)爬蟲(chóng)最重要環(huán)節(jié)。

相對(duì)于其他網(wǎng)絡(luò)爬蟲(chóng)，最典型的特征就是具有自己的表單數(shù)據(jù)源集合。經(jīng)過(guò)表單的分析處理，可以進(jìn)行表單的自動(dòng)填充和提交。其實(shí)現(xiàn)過(guò)程如圖5所示。

按照表單填寫(xiě)內(nèi)容不同深層網(wǎng)絡(luò)爬蟲(chóng)可以分為兩種：一種是基于領(lǐng)域知識(shí)的表單填寫(xiě)。需要建立一個(gè)關(guān)鍵詞庫(kù)，并根據(jù)語(yǔ)義分析填寫(xiě)關(guān)鍵詞；還有是基于對(duì)網(wǎng)頁(yè)結(jié)構(gòu)分析對(duì)表單進(jìn)行自動(dòng)填寫(xiě)，在領(lǐng)域知識(shí)有限的情況下往往使用這一種。

3 常見(jiàn)爬行策略

爬行策略通常是指爬取URL列表時(shí)爬取順序的策略。常見(jiàn)的爬行策略主要有深度優(yōu)先爬行策略、廣度優(yōu)先爬行策略、大站優(yōu)先策略、反鏈策略、網(wǎng)頁(yè)更新策略、用戶(hù)體驗(yàn)策略、歷史數(shù)據(jù)策略等。爬取順序?qū)νㄓ镁W(wǎng)絡(luò)爬蟲(chóng)來(lái)說(shuō)作用并不明顯，但是對(duì)其他爬蟲(chóng)非常重要，比如聚焦網(wǎng)絡(luò)，爬蟲(chóng)爬取的順序影響到無(wú)關(guān)URL鏈接地址過(guò)濾和URL優(yōu)先級(jí)排序，嚴(yán)重影響到爬蟲(chóng)的效率和優(yōu)劣。下面簡(jiǎn)單分析它們各自的特點(diǎn)。

深度優(yōu)先爬行策略爬取時(shí)會(huì)將網(wǎng)頁(yè)的下層鏈接依次進(jìn)行深入爬取，達(dá)到邊際時(shí)返回上一個(gè)節(jié)點(diǎn)再橫向進(jìn)行鏈接爬取。具體過(guò)程如圖6和圖7。這里是假設(shè)網(wǎng)頁(yè)W1至W6及鏈接情況如圖6，按照先走左子樹(shù)約定，其深度優(yōu)先樹(shù)狀遍歷過(guò)程如圖7。按照深度優(yōu)先爬行策略，其爬取次序?yàn)椋篧1->W2->W4->W5->W3->W6。

圖6 網(wǎng)站鏈接架構(gòu)示例圖

圖7 深度優(yōu)先樹(shù)狀遍歷步驟示意圖

廣度優(yōu)先爬行策略，會(huì)先爬取同一層次廣度的網(wǎng)頁(yè)，將同一層次廣度的網(wǎng)頁(yè)爬取完成后，再選擇下一個(gè)層次廣度的網(wǎng)頁(yè)進(jìn)行爬取。從樹(shù)結(jié)構(gòu)上看，廣度優(yōu)先遍歷就是對(duì)樹(shù)的層次遍歷。這種策略理解起來(lái)比深度優(yōu)先策略容易得多。

大站爬行策略是會(huì)優(yōu)先爬取網(wǎng)頁(yè)數(shù)量更多的大站。一般來(lái)說(shuō)越是大站，其內(nèi)容更豐富，專(zhuān)業(yè)性更強(qiáng)，影響力更大，所以對(duì)它們優(yōu)先進(jìn)行爬取。

反鏈策略是優(yōu)先爬取反向鏈接數(shù)更多的網(wǎng)頁(yè)。這種策略的前提是需要可靠的反向鏈接數(shù)。反向鏈接基本上能代表著具有其他網(wǎng)頁(yè)更多的推薦，但是現(xiàn)實(shí)中存在大量垃圾站群互相鏈接，使得有些站點(diǎn)可以獲得異常高的反向鏈接數(shù)，所以這種策略很少單獨(dú)使用。

網(wǎng)頁(yè)更新策略是增量式網(wǎng)絡(luò)爬蟲(chóng)經(jīng)常采用的策略，是根據(jù)網(wǎng)頁(yè)更新的速度和同類(lèi)網(wǎng)頁(yè)更新頻率等進(jìn)行區(qū)別和分類(lèi)。當(dāng)爬取網(wǎng)站的頻率與網(wǎng)站更新的頻率越接近，無(wú)效損耗越小。網(wǎng)頁(yè)更新策略又可以通過(guò)采用的技術(shù)手段分為歷史數(shù)據(jù)分析、用戶(hù)體驗(yàn)分析和聚類(lèi)分析三種。歷史數(shù)據(jù)分析是根據(jù)網(wǎng)頁(yè)歷史更新的數(shù)據(jù)來(lái)預(yù)判網(wǎng)頁(yè)更新爬取的周期。用戶(hù)體驗(yàn)分析，是從用戶(hù)體驗(yàn)的角度優(yōu)先爬取用戶(hù)搜索引擎關(guān)鍵詞查詢(xún)排名靠前的網(wǎng)頁(yè)，需對(duì)網(wǎng)頁(yè)多個(gè)歷史版本的內(nèi)容更新、搜索質(zhì)量進(jìn)行分析，這兩種策略都需要?dú)v史數(shù)據(jù)作為依據(jù)，對(duì)新網(wǎng)頁(yè)無(wú)效。網(wǎng)頁(yè)的歷史信息的保存和分析，都給爬蟲(chóng)服務(wù)器帶來(lái)更多的負(fù)擔(dān)和消耗。聚類(lèi)分析是把具有類(lèi)似屬性的網(wǎng)頁(yè)聚類(lèi)進(jìn)行抽樣來(lái)確定對(duì)每個(gè)聚類(lèi)的爬行頻率。這比用戶(hù)體驗(yàn)分析和歷史數(shù)據(jù)分析的效率要高很多，對(duì)系統(tǒng)的損耗也更小，但是，因?yàn)槭浅闃訖z測(cè)，聚類(lèi)操作，準(zhǔn)確度可能會(huì)有所降低。聚類(lèi)分析就是網(wǎng)頁(yè)更新策略在效率和性能之間一種比較平衡的方法。

4 結(jié)語(yǔ)

面對(duì)信息大爆發(fā)、爬蟲(chóng)橫行的狀況，必須分析掌握爬蟲(chóng)的工作機(jī)制和原理，才能更好使用和處理網(wǎng)絡(luò)爬蟲(chóng)，面對(duì)網(wǎng)絡(luò)爬蟲(chóng)帶來(lái)的威脅做出全面深入的發(fā)爬蟲(chóng)策略，形成一套更加科學(xué)的爬蟲(chóng)防范機(jī)制。本文對(duì)目前網(wǎng)絡(luò)爬蟲(chóng)的特征和分類(lèi)，所使用的工作流程和爬行策略進(jìn)行了梳理和比較，為網(wǎng)絡(luò)爬蟲(chóng)提供較全面的階段性總結(jié)，為進(jìn)一步研究網(wǎng)絡(luò)爬蟲(chóng)和網(wǎng)絡(luò)反爬蟲(chóng)提供了重要的參考。

[1]2021 Bad Bot Report [EB/OL]. https://www.imperva .com/resources/reports/Bad-Bot-Report 2021.

[2]劉清. 網(wǎng)絡(luò)爬蟲(chóng)針對(duì)“反爬”網(wǎng)站的爬取策略分析[J]. 信息與電腦（理論版），2019（03）：23-24.

[3]張淵博. 網(wǎng)站反爬蟲(chóng)策略的分析與研究[J]. 電子元器件與信息技術(shù)，2021，5（01）：14-15.

[4]胡俊瀟，陳國(guó)偉. 網(wǎng)絡(luò)爬蟲(chóng)反爬策略研究[J]. 科技創(chuàng)新與應(yīng)用，2019（15）：137-138+140.

[5]李嵐清，王恒，晏曉峰. 網(wǎng)絡(luò)資源自動(dòng)采集技術(shù)研究[J]. 電子元器件與信息技術(shù)，2020，4（05）：56-58.

[6]文成香，李璋林. 網(wǎng)絡(luò)爬蟲(chóng)針對(duì)“反爬”網(wǎng)站的爬取策略研究[J]. 數(shù)碼世界，2020（06）：270.

[7]張曄，孫光光，徐洪云，等. 國(guó)外科技網(wǎng)站反爬蟲(chóng)研究及數(shù)據(jù)獲取對(duì)策研究[J]. 競(jìng)爭(zhēng)情報(bào)，2020，16（01）：24-28.

[8]李慧敏，孫佳亮. 論爬蟲(chóng)抓取數(shù)據(jù)行為的法律邊界[J]. 電子知識(shí)產(chǎn)權(quán)，2018（12）：58-67.

國(guó)家自然科學(xué)基金資助項(xiàng)目（61806007，U1804153）；河南省科技攻關(guān)項(xiàng)目（182102310039）；教育部產(chǎn)學(xué)合作項(xiàng)目（202002057009）；“甲骨文信息處理”教育部創(chuàng)新團(tuán)隊(duì)（2017PT35）；河南省特色骨干學(xué)科（甲骨文信息處理）