網(wǎng)站反爬蟲策略的分析與研究

張淵博

（海南師范大學(xué)，海南 ?？?571158）

0 引言

爬蟲問題對(duì)當(dāng)前的互聯(lián)網(wǎng)環(huán)境構(gòu)成了較大的不良影響，尤其是在信息資源越來越多地展現(xiàn)出其商業(yè)價(jià)值的背景下，爬蟲問題的負(fù)面影響快速提升。因此，實(shí)現(xiàn)網(wǎng)站的反爬蟲技術(shù)應(yīng)用，有助于網(wǎng)站更好地滿足信息分析及應(yīng)用需要。

1 網(wǎng)站反爬蟲策略存在的不足

1.1 網(wǎng)絡(luò)爬蟲偽裝機(jī)制的分析不夠深入

現(xiàn)有的一些反爬蟲技術(shù)方案在設(shè)計(jì)過程中，缺乏對(duì)爬蟲常用偽裝機(jī)制的有效總結(jié)，在處理爬蟲狀況識(shí)別的相關(guān)業(yè)務(wù)過程中，未能實(shí)現(xiàn)對(duì)爬蟲過濾系統(tǒng)現(xiàn)有應(yīng)用情況的有效掌握，難以為網(wǎng)站構(gòu)建起更高質(zhì)量的爬蟲管控措施提供必要支持。部分爬蟲偽裝機(jī)制的構(gòu)建對(duì)于服務(wù)器現(xiàn)有的技術(shù)負(fù)擔(dān)缺乏全面總結(jié)，導(dǎo)致濫用網(wǎng)絡(luò)爬蟲的危害無法獲得具體認(rèn)知，尤其在Header請(qǐng)求發(fā)出狀態(tài)下，host、referer、user-agent、cookie等屬性比例的相關(guān)信息無法獲得高質(zhì)量的掌控，難以為虛假信息檢測工作的進(jìn)一步改良提供必要支持，也使得referer+user-agent等系統(tǒng)的爬蟲識(shí)別方面的重要價(jià)值無法得到有效開發(fā)。部分網(wǎng)絡(luò)爬蟲偽裝機(jī)制的分析工作缺乏對(duì)Referer字段狀況的深入研究，在處理休眠模擬狀況管理的相關(guān)工作過程中，未能實(shí)現(xiàn)對(duì)你定時(shí)休眠方案的有效改進(jìn)，難以在爬蟲休眠模擬狀態(tài)管控的過程中，充分實(shí)現(xiàn)模擬人登陸狀態(tài)的價(jià)值識(shí)別，不利于網(wǎng)絡(luò)爬蟲相關(guān)偽裝機(jī)制的有效控制。一些偽裝機(jī)制的建設(shè)工作對(duì)于客戶端的服務(wù)器連入情況缺乏足夠重視，在處理訪問時(shí)間設(shè)計(jì)控制的相關(guān)工作過程中，缺乏對(duì)爬蟲規(guī)律的有效分析，難以在明確訪問時(shí)間具體特征的情況下，實(shí)現(xiàn)網(wǎng)絡(luò)爬蟲實(shí)際狀態(tài)的有效證明處理。一些網(wǎng)絡(luò)爬蟲偽裝機(jī)制的建設(shè)對(duì)于爬蟲訪問時(shí)間的梳理分析存在不足，缺乏對(duì)普通代理服務(wù)器應(yīng)用情況的掌握，難以在相關(guān)訪問地址得到明確的基礎(chǔ)上適應(yīng)服務(wù)器偽裝方案控制需求，也難以為網(wǎng)絡(luò)爬蟲偽裝問題的高水平管控提供必要支持[1-3]。

1.2 爬蟲抓取技術(shù)的應(yīng)用存在不足

現(xiàn)有的一些爬蟲抓取技術(shù)在探索應(yīng)用過程中，缺乏對(duì)數(shù)據(jù)隊(duì)列構(gòu)成情況的有效研究，在處理URL隊(duì)列抓取方案設(shè)計(jì)工作的過程中，未能實(shí)現(xiàn)對(duì)網(wǎng)站內(nèi)部數(shù)據(jù)構(gòu)成特點(diǎn)的有效掌握，不利于數(shù)據(jù)資源抓取順序的合理設(shè)置。一些爬蟲抓取技術(shù)在具體應(yīng)用過程中，缺乏對(duì)抓取空間復(fù)雜度的合理有效判斷，尤其對(duì)于抓取順序變化情況下，數(shù)據(jù)量所受影響缺乏充分總結(jié)，導(dǎo)致GB級(jí)數(shù)據(jù)或者TB級(jí)數(shù)據(jù)在具體抓取過程中，難以充分實(shí)現(xiàn)爬蟲構(gòu)成狀態(tài)的全面掌握，無法為爬蟲抓取策略的高質(zhì)量應(yīng)用提供必要保障。一些爬蟲處理策略的設(shè)計(jì)工作缺乏對(duì)爬蟲起始頁狀態(tài)的關(guān)注，尤其對(duì)于網(wǎng)頁相關(guān)鏈接內(nèi)容的狀態(tài)缺乏必要的價(jià)值關(guān)注，導(dǎo)致廣度優(yōu)先策略的設(shè)計(jì)和應(yīng)用存在不足，無法為爬蟲抓取技術(shù)的靈活充分應(yīng)用提供必要支持。部分爬蟲抓取方案的設(shè)計(jì)對(duì)于網(wǎng)絡(luò)線路的構(gòu)成情況考察不夠充分，尤其對(duì)于網(wǎng)站廣告流量的統(tǒng)計(jì)和應(yīng)用水平較差，導(dǎo)致爬蟲對(duì)網(wǎng)站的錯(cuò)誤引導(dǎo)問題無法得到充分有效的規(guī)避處理，難以在網(wǎng)站頁面分類管理工作實(shí)施過程中，更好地提升網(wǎng)站相關(guān)鏈接數(shù)量的合理設(shè)置，不利于優(yōu)先爬取等問題的規(guī)避控制。

1.3 非妥協(xié)式策略的應(yīng)用存在不足

部分非妥協(xié)式策略在網(wǎng)絡(luò)反爬蟲技術(shù)措施設(shè)計(jì)中，缺乏對(duì)IP單位狀況的充分研究，未能實(shí)現(xiàn)對(duì)技術(shù)訪問次數(shù)特點(diǎn)的充分考察分析，尤其對(duì)于信息日志的分析應(yīng)用價(jià)值缺乏足夠關(guān)注，無法為非妥協(xié)式策略的高質(zhì)量應(yīng)用提供必要支持。一些非妥協(xié)式策略的應(yīng)用對(duì)于現(xiàn)有的爬蟲判別原理缺乏有效的考察，雖然進(jìn)行了封禁技術(shù)的調(diào)取，但在封禁時(shí)間特征無法得到明確價(jià)值認(rèn)定的情況下，服務(wù)器訪問管理相關(guān)措施的價(jià)值難以得到充分明確，無法為非妥協(xié)式策略的高質(zhì)量處理應(yīng)用提供必要支持。一些非妥協(xié)式策略的應(yīng)用方案在設(shè)計(jì)過程中，對(duì)于客戶端需求的考察研究不夠充分，尤其對(duì)于人機(jī)驗(yàn)證技術(shù)的具體應(yīng)用特征缺乏充分的考察，無法在格時(shí)驗(yàn)證技術(shù)應(yīng)用中，更加有效的提升反爬蟲方案設(shè)計(jì)合理性。一些非妥協(xié)式策略在應(yīng)用過程中，未能實(shí)現(xiàn)對(duì)物品識(shí)別技術(shù)優(yōu)勢的充分研究，相關(guān)驗(yàn)證技術(shù)的應(yīng)用方案存在構(gòu)建不足的問題，難以在非妥協(xié)式策略設(shè)計(jì)過程中，充分滿足反爬蟲技術(shù)方案的具體建設(shè)需要，降低了網(wǎng)站的爬蟲管控水平。

2 網(wǎng)站反爬蟲工作的改進(jìn)策略

2.1 提升網(wǎng)絡(luò)爬蟲偽裝機(jī)制的分析深入性

實(shí)現(xiàn)爬蟲偽裝機(jī)制的有效構(gòu)建是識(shí)別爬蟲原理和認(rèn)知爬蟲危害的關(guān)鍵。因此，網(wǎng)站反爬蟲技術(shù)在創(chuàng)新設(shè)計(jì)過程中，要加強(qiáng)對(duì)爬蟲偽裝機(jī)制識(shí)別工作價(jià)值的有效認(rèn)知，尤其要對(duì)爬蟲常用偽裝機(jī)制的構(gòu)建特征進(jìn)行深入有效的總結(jié)，使爬蟲識(shí)別技術(shù)的應(yīng)用可以具備更加理想的技術(shù)條件，為反爬蟲技術(shù)的高質(zhì)量設(shè)計(jì)提供幫助。要加強(qiáng)對(duì)網(wǎng)絡(luò)服務(wù)器裝置當(dāng)前負(fù)擔(dān)情況的研究，尤其要對(duì)網(wǎng)絡(luò)資源的濫用現(xiàn)象進(jìn)行有效分析，確保網(wǎng)站相關(guān)爬蟲偽裝機(jī)制的構(gòu)建可以具備更加合理的基礎(chǔ)條件。在處理爬蟲請(qǐng)求相關(guān)工作過程中，務(wù)必加強(qiáng)對(duì)headers的關(guān)注，并對(duì)其屬性特征加以考察，host、referer、user-agent、cookie等系統(tǒng)的應(yīng)用需要對(duì)相應(yīng)的檢測措施進(jìn)行有效性分析，借此滿足user-agent系統(tǒng)的運(yùn)行需求。反爬蟲技術(shù)的應(yīng)用還需要加強(qiáng)對(duì)referer+user-agent技術(shù)識(shí)別方案的重視，尤其要對(duì)referer字段的基本情況進(jìn)行全面總結(jié)，使爬蟲偽裝機(jī)制的控制措施能夠在實(shí)踐過程中得到調(diào)整改進(jìn)，并保證爬蟲偽裝機(jī)制的重要應(yīng)用價(jià)值可以借此得到改進(jìn)。要靈活使用定時(shí)休眠的方式處理爬蟲偽裝識(shí)別方案的設(shè)計(jì)工作，并嘗試進(jìn)行人為登陸狀態(tài)的考察分析，借此滿足爬蟲休眠問題的具體控制需要，并保證客戶端額可以在服務(wù)器裝置連入過程中，更加有效的實(shí)現(xiàn)對(duì)爬蟲相關(guān)偽裝機(jī)制的有效管控，為網(wǎng)絡(luò)爬蟲屬性的進(jìn)一步證明提供幫助。爬蟲偽裝機(jī)制的分析還需要加強(qiáng)對(duì)代理服務(wù)器情況的分析，使相應(yīng)的IP限制問題得到突破，更好地促進(jìn)反爬蟲技術(shù)的改進(jìn)[4]。

2.2 提升爬蟲抓取技術(shù)的應(yīng)用水平

要將爬蟲數(shù)據(jù)獲取的狀況作為重點(diǎn)研究問題，使爬蟲抓取技術(shù)在合理性分析過程中，可以更加充分的適應(yīng)爬蟲技術(shù)數(shù)據(jù)管控的具體需要，進(jìn)而實(shí)現(xiàn)對(duì)爬蟲抓取技術(shù)的創(chuàng)新調(diào)整。爬蟲抓取技術(shù)的設(shè)計(jì)需要加強(qiáng)對(duì)網(wǎng)站內(nèi)部數(shù)據(jù)抓取特征的分析，尤其要對(duì)信息抓取的順序特征加以研究，使符合信息抓取相關(guān)順序管控需求的舉措能夠得到創(chuàng)新調(diào)節(jié)，進(jìn)而滿足信息復(fù)雜性控制需要，并保證信息所處空間可以借此得到改進(jìn)。爬蟲抓取技術(shù)的應(yīng)用還需要加強(qiáng)對(duì)數(shù)據(jù)量特征的關(guān)注，并對(duì)GB級(jí)數(shù)據(jù)或者TB級(jí)數(shù)據(jù)的抓取需求進(jìn)行分析，結(jié)合信息復(fù)雜度特征制定爬取策略的具體控制方案。網(wǎng)站反爬蟲技術(shù)的應(yīng)用需要加強(qiáng)按照深度優(yōu)先理念制定爬蟲抓取技術(shù)的具體操作細(xì)節(jié)，尤其要對(duì)現(xiàn)有策略與網(wǎng)頁之間的鏈接特征進(jìn)行合理研究，使爬蟲抓取策略在具體應(yīng)用過程中，可以根據(jù)起始頁的狀態(tài)特征實(shí)現(xiàn)爬蟲抓取技術(shù)應(yīng)用細(xì)節(jié)的有效創(chuàng)新，更好的滿足爬蟲抓取相關(guān)技術(shù)的創(chuàng)新應(yīng)用需要。在嘗試應(yīng)用廣度優(yōu)先策略的過程中，爬蟲抓取方案需要對(duì)網(wǎng)頁之中的信息下載情況進(jìn)行合理分析，尤其要對(duì)各類信息的連接置入特征進(jìn)行考察總結(jié)，使橫向連接的相關(guān)數(shù)據(jù)爬取管理措施能夠得到合理設(shè)定，進(jìn)而滿足爬蟲抓取技術(shù)方案的改進(jìn)需要。要對(duì)爬蟲抓取技術(shù)不同的應(yīng)用層次特征進(jìn)行分析，尤其要對(duì)反向鏈接策略所具備的應(yīng)用優(yōu)勢進(jìn)行考察，使網(wǎng)頁鏈接指向的特征能夠得到充分明確，為網(wǎng)站鏈接推薦程度的提升提供必要支持。爬蟲抓取策略的應(yīng)用還必須加強(qiáng)對(duì)網(wǎng)站之中廣告流量構(gòu)成情況的分析，尤其要對(duì)爬蟲技術(shù)應(yīng)用相關(guān)的錯(cuò)誤加以總結(jié)，使不同類型策略所具備的實(shí)際參考價(jià)值得到顯現(xiàn)，在實(shí)施網(wǎng)站頁面分類過程中，更好地適應(yīng)網(wǎng)站內(nèi)部鏈接數(shù)量的識(shí)別，在提升網(wǎng)頁鏈接優(yōu)先值的同時(shí)，更加精準(zhǔn)地滿足爬蟲抓取技術(shù)的創(chuàng)新應(yīng)用需要。

2.3 提升非妥協(xié)式策略的應(yīng)用水平

在非妥協(xié)式策略設(shè)計(jì)過程中，網(wǎng)站工作者需要根據(jù)當(dāng)前的IP地址情況制定非妥協(xié)式策略的主體構(gòu)成內(nèi)容，并保證系統(tǒng)分析日志之中的各類信息可以具備高水平的應(yīng)用價(jià)值，以此提升非妥協(xié)式策略的應(yīng)用針對(duì)性。反爬蟲方案的設(shè)計(jì)還需要對(duì)驗(yàn)證措施加以完善，結(jié)合非妥協(xié)式策略的已有構(gòu)建經(jīng)驗(yàn)，對(duì)客戶端的大量請(qǐng)求性信息加以分析，并使用格時(shí)驗(yàn)證的方式制定非妥協(xié)式策略的具體實(shí)踐方案，為反爬蟲技術(shù)更加有效的滿足信息自主識(shí)別平臺(tái)構(gòu)建需求提供幫助。要加強(qiáng)對(duì)反爬蟲技術(shù)應(yīng)用過程中，信息腳本構(gòu)成情況的研究，尤其要對(duì)反爬蟲技術(shù)在信息收集方面的突出價(jià)值進(jìn)行考察，使各項(xiàng)數(shù)據(jù)訪問鏈接的構(gòu)建能夠在滿足爬蟲問題規(guī)避需求的基礎(chǔ)上得到改進(jìn)，以便可以更加充分的滿足非妥協(xié)式策略的運(yùn)行需要。網(wǎng)站還需要定期進(jìn)行反爬蟲技術(shù)應(yīng)用效果分析，借此提升非妥協(xié)式策略的優(yōu)勢認(rèn)定質(zhì)量[5]。

3 結(jié)論

網(wǎng)站的運(yùn)營對(duì)于信息資源的安全維護(hù)要求較高，爬蟲問題在很大程度上影響著網(wǎng)站的正常運(yùn)營。因此，結(jié)合大數(shù)據(jù)技術(shù)創(chuàng)新普及所帶來的各方面需要，對(duì)網(wǎng)站反爬蟲技術(shù)應(yīng)用的不足之處進(jìn)行總結(jié)，并制定網(wǎng)站反爬蟲技術(shù)的創(chuàng)新應(yīng)用策略，對(duì)提升網(wǎng)站在新時(shí)期的總體運(yùn)行質(zhì)量，具有十分重要的意義。