基于動(dòng)態(tài)應(yīng)用防護(hù)平臺(tái)的業(yè)務(wù)防爬蟲設(shè)計(jì)與實(shí)現(xiàn)

摘要：本文介紹了一種基于動(dòng)態(tài)應(yīng)用防護(hù)平臺(tái)的業(yè)務(wù)爬蟲防護(hù)管控方案，通過該方案提供面向Web系統(tǒng)和數(shù)據(jù)接口層面的主動(dòng)防御，甄別假冒正常行為的各類爬蟲，實(shí)現(xiàn)對(duì)爬蟲全自動(dòng)安全檢測(cè)、預(yù)警與防護(hù)，保障業(yè)務(wù)數(shù)據(jù)在共享、流動(dòng)、公開過程處于保護(hù)和合法利用的狀態(tài)，避免信息泄露、提升業(yè)務(wù)可用性，該方案在安徽移動(dòng)實(shí)現(xiàn)和推廣后取得了預(yù)期的效果。

關(guān)鍵詞：主動(dòng)防御；爬蟲；數(shù)據(jù)安全；應(yīng)用安全

爬蟲是一種通過自動(dòng)化程序獲取網(wǎng)絡(luò)資源的技術(shù)。爬蟲通過模擬瀏覽器行為，向目標(biāo)業(yè)務(wù)網(wǎng)站或接口發(fā)送請(qǐng)求，獲取業(yè)務(wù)網(wǎng)頁內(nèi)容，并進(jìn)行解析、存儲(chǔ)等操作。爬蟲技術(shù)廣泛應(yīng)用于搜索引擎、數(shù)據(jù)分析等領(lǐng)域。但也有部分不法分子會(huì)利用爬蟲技術(shù)進(jìn)行惡意攻擊，如數(shù)據(jù)竊取、服務(wù)器攻擊等。

一、當(dāng)前爬蟲技術(shù)的問題

當(dāng)前，業(yè)務(wù)數(shù)據(jù)受到空前關(guān)注，對(duì)數(shù)據(jù)爭(zhēng)奪引發(fā)的安全對(duì)抗也愈加激烈，運(yùn)營(yíng)商承載全網(wǎng)核心高價(jià)值數(shù)據(jù)而遭到海量爬蟲攻擊，被爬取后的數(shù)據(jù)會(huì)在互聯(lián)網(wǎng)上泛濫，用于非正常的數(shù)據(jù)應(yīng)用服務(wù)以及線下非法數(shù)據(jù)售賣，或者經(jīng)二次分析、加工后對(duì)外提供有償服務(wù)。隨著爬蟲技術(shù)的不斷發(fā)展，傳統(tǒng)利用惡意IP地址庫、限制訪問頻率的反爬技術(shù)已經(jīng)無法達(dá)到反爬效果，爬取運(yùn)營(yíng)商數(shù)據(jù)對(duì)網(wǎng)站、接口和公民個(gè)人信息造成了安全威脅。

（一）權(quán)益侵占和業(yè)務(wù)欺詐

攻擊者利用爬蟲獲取業(yè)務(wù)信息，使用外掛工具，模擬人工業(yè)務(wù)使用的過程。例如，通過自動(dòng)化工具，模擬注冊(cè)、登錄、搶靚號(hào)、養(yǎng)號(hào)等行為，不僅侵害正常用戶權(quán)益，且會(huì)對(duì)業(yè)務(wù)運(yùn)營(yíng)產(chǎn)生影響。例如，批量注冊(cè)的賬號(hào)從事刷留言、搶拍、破壞生態(tài)等。高頻率的快速業(yè)務(wù)辦理對(duì)服務(wù)器也構(gòu)成CC拒絕服務(wù)攻擊，大量消耗服務(wù)器的性能，使系統(tǒng)服務(wù)無法響應(yīng)正常請(qǐng)求，或使查詢服務(wù)體驗(yàn)下降[1]。

（二）數(shù)據(jù)批量爬取管控困難

爬蟲技術(shù)正在利用 AI技術(shù)進(jìn)行快速演變和升級(jí)，可以模擬正常業(yè)務(wù)操作邏輯，并繞過現(xiàn)有處理JavaScript、解析驗(yàn)證碼、模擬用戶代理，使信安部門傳統(tǒng)的基于規(guī)則的爬蟲檢測(cè)方法變得不夠有效，因?yàn)檫@些智能爬蟲可以繞過簡(jiǎn)單的檢測(cè)機(jī)制。為了防止和檢測(cè)爬蟲程序，需要不斷更新和改進(jìn)防護(hù)機(jī)制。

（三）社會(huì)影響惡劣

黑產(chǎn)利用從運(yùn)營(yíng)商網(wǎng)站系統(tǒng)爬取的信息進(jìn)行對(duì)外收費(fèi)查詢業(yè)務(wù)，造成不良的社會(huì)影響。

（四）國(guó)家級(jí)數(shù)據(jù)泄露

部分營(yíng)利機(jī)構(gòu)、國(guó)內(nèi)團(tuán)體、國(guó)外研究機(jī)構(gòu)對(duì)開放的運(yùn)營(yíng)商數(shù)據(jù)進(jìn)行拖庫式爬取，從而實(shí)時(shí)掌握國(guó)家級(jí)數(shù)據(jù)。

為了應(yīng)對(duì)智能爬蟲和反爬蟲技術(shù)發(fā)展，運(yùn)營(yíng)商需要采取更高級(jí)的防護(hù)措施，包括使用機(jī)器學(xué)習(xí)和人工智能技術(shù)識(shí)別異常行為模式，建立行為分析模型，從而區(qū)分真實(shí)用戶和爬蟲程序。此外，持續(xù)地研究和更新防護(hù)機(jī)制，以跟上新興的爬蟲和反爬蟲技術(shù)也至關(guān)重要。

二、基于動(dòng)態(tài)應(yīng)用防護(hù)平臺(tái)的業(yè)務(wù)防爬蟲安全體系

動(dòng)態(tài)應(yīng)用防護(hù)平臺(tái)以動(dòng)態(tài)技術(shù)為核心，通過對(duì)訪問客戶端環(huán)境的采集和全訪問記錄實(shí)現(xiàn)對(duì)各類接入客戶端數(shù)據(jù)的融合，并通過來源IP、賬號(hào)信息對(duì)各平臺(tái)訪問數(shù)據(jù)進(jìn)行關(guān)聯(lián)與信譽(yù)評(píng)分，實(shí)現(xiàn)多平臺(tái)業(yè)務(wù)信息聯(lián)動(dòng)與威脅感知，達(dá)到精準(zhǔn)識(shí)別與攔截惡意自動(dòng)化非法爬蟲請(qǐng)求的目的，對(duì)網(wǎng)站和數(shù)據(jù)接口業(yè)務(wù)層面的主動(dòng)防御，甄別偽裝和假冒正常行為的已知和未知自動(dòng)化爬蟲攻擊，保護(hù)運(yùn)營(yíng)商和用戶個(gè)人數(shù)據(jù)。

（一）動(dòng)態(tài)應(yīng)用防護(hù)平臺(tái)主要功能

動(dòng)態(tài)安全防護(hù)平臺(tái)功能分為動(dòng)態(tài)技術(shù)、數(shù)據(jù)分析和動(dòng)態(tài)響應(yīng)三部分。首先，動(dòng)態(tài)技術(shù)。針對(duì)爬蟲攻擊防護(hù)。提供針對(duì)網(wǎng)站和訪問的保護(hù)，采用動(dòng)態(tài)安全技術(shù)，可以通過動(dòng)態(tài)封裝、動(dòng)態(tài)驗(yàn)證、動(dòng)態(tài)混淆、動(dòng)態(tài)令牌四大核心動(dòng)態(tài)技術(shù)實(shí)現(xiàn)對(duì)訪問客戶端的人機(jī)識(shí)別，并且形成設(shè)備指紋和唯一標(biāo)識(shí)。其次，業(yè)務(wù)威脅感知。通過對(duì)客戶端訪問日志的記錄，客戶端數(shù)據(jù)的精準(zhǔn)采集，將海量數(shù)據(jù)進(jìn)行大數(shù)據(jù)爬蟲分析、威脅建模、機(jī)器學(xué)習(xí)，透視用戶的異常行為，輸出威脅評(píng)分、業(yè)務(wù)威脅呈現(xiàn)和攻擊畫像。最后，動(dòng)態(tài)響應(yīng)。針對(duì)數(shù)據(jù)分析輸出的爬蟲威脅打分，可以采用不同的響應(yīng)技術(shù)，實(shí)現(xiàn)對(duì)爬蟲的延時(shí)、導(dǎo)入特定頁面、動(dòng)態(tài)挑戰(zhàn)等攔截。

（二）爬蟲對(duì)抗策略設(shè)計(jì)

從海量事例中爬蟲手法上分析得知，攻擊者依托自動(dòng)化工具發(fā)起爬蟲攻擊，業(yè)界將自動(dòng)化工具劃分為5個(gè)級(jí)別，每個(gè)級(jí)別的工具具有不同的特點(diǎn)，防護(hù)難度也層層提升，如圖1所示。

利用動(dòng)態(tài)應(yīng)用防護(hù)平臺(tái)的動(dòng)態(tài)技術(shù)與AI智能分析技術(shù)集合對(duì)5個(gè)級(jí)別的自動(dòng)化工具進(jìn)行防護(hù)，實(shí)現(xiàn)防爬蟲攻擊，以下是對(duì)抗思路：

第一級(jí)：簡(jiǎn)單腳本和工具

描述：該類工具是自動(dòng)化工具中使用最廣泛的一種，特點(diǎn)是運(yùn)行效率高、對(duì)資源的占用較低，該類工具不具備JS解析能力，如Sqmap、Python等。

對(duì)抗策略：采用動(dòng)態(tài)應(yīng)用防護(hù)平臺(tái)對(duì)網(wǎng)站進(jìn)行保護(hù)，驗(yàn)證每個(gè)訪問請(qǐng)求是否攜帶了動(dòng)態(tài)令牌，該類工具無JS解析能力，無法生成令牌。因此，所有采用該類工具生成的訪問請(qǐng)求都被攔截，工具發(fā)起爬蟲訪問失敗。

第二級(jí)：具備JS解析能力的工具

描述：該類工具如AWVS、Appscan、CasperJS等具備JS解析能力，具有基本瀏覽器的能力，它們可以生成動(dòng)態(tài)應(yīng)用防護(hù)平臺(tái)動(dòng)態(tài)令牌。

對(duì)抗策略：該類工具可以執(zhí)行動(dòng)態(tài)應(yīng)用防護(hù)平臺(tái)下發(fā)的JS腳本生成令牌，通過動(dòng)態(tài)令牌驗(yàn)證。但動(dòng)態(tài)應(yīng)用防護(hù)平臺(tái)會(huì)對(duì)請(qǐng)求方的客戶端環(huán)境進(jìn)行動(dòng)態(tài)驗(yàn)證，驗(yàn)證客戶端請(qǐng)求環(huán)境是否真實(shí)，從而識(shí)別來自該類工具的訪問請(qǐng)求，并進(jìn)行實(shí)時(shí)攔截，使攻擊者的攻擊行為失效，保證業(yè)務(wù)系統(tǒng)正常運(yùn)行。

第三級(jí)：腳本驅(qū)動(dòng)瀏覽器

描述：該類工具如WebDriver、瀏覽器插件是真實(shí)的瀏覽器環(huán)境，可以生成動(dòng)態(tài)應(yīng)用防護(hù)平臺(tái)動(dòng)態(tài)令牌，并通過環(huán)境驗(yàn)證。

對(duì)抗策略：該類工具的攻擊方式對(duì)攻擊效率具有較大影響，動(dòng)態(tài)應(yīng)用防護(hù)平臺(tái)對(duì)客戶端進(jìn)行行為驗(yàn)證，能夠識(shí)別WebDrive等工具訪問行為并進(jìn)行攔截，使攻擊者的攻擊行為受阻。

第四級(jí)：錄屏操作

描述：該類工具如Sikuli、按鍵精靈等是真實(shí)的瀏覽器環(huán)境，并能夠模擬人的動(dòng)作，可以生成Botgat動(dòng)態(tài)令牌，通過環(huán)境驗(yàn)證和用戶行為驗(yàn)證。

對(duì)抗策略：針對(duì)該層級(jí)的動(dòng)態(tài)防護(hù)技術(shù)已經(jīng)無法直接防護(hù)，需要采用行為分析技術(shù)對(duì)海量訪問數(shù)據(jù)進(jìn)行AI智能分析，對(duì)威脅打分，再通過可編程對(duì)抗功能實(shí)現(xiàn)動(dòng)態(tài)對(duì)抗。

第五級(jí)：真人操作

描述：真人操作主要有群控和真人操作2個(gè)種類。

對(duì)抗策略：該層級(jí)完全依靠真人操作，一般稱為“群控”，因此不能簡(jiǎn)單通過對(duì)工具的識(shí)別判斷攻擊行為，但動(dòng)態(tài)應(yīng)用防護(hù)平臺(tái)可以利用前端精準(zhǔn)采集、后端行為分析發(fā)現(xiàn)“群控”類攻擊行為，通過可編程對(duì)抗功能實(shí)現(xiàn)動(dòng)態(tài)響應(yīng)對(duì)抗。

三、基于動(dòng)態(tài)應(yīng)用防護(hù)平臺(tái)的業(yè)務(wù)反爬蟲應(yīng)用場(chǎng)景

（一）漏洞合規(guī)

集團(tuán)總部和通管局的安全工作中，漏洞合規(guī)是重點(diǎn)檢查目標(biāo)，其業(yè)務(wù)的安全性將直接影響用戶的總體考評(píng)。動(dòng)態(tài)應(yīng)用防護(hù)平臺(tái)針對(duì)自動(dòng)化攻擊的防護(hù)和未知安全威脅的防護(hù)，包含自動(dòng)化攻擊、賬號(hào)盜用、漏洞掃描、越權(quán)訪問及網(wǎng)頁后門，避免被因漏洞而扣分[2]。

（二）賬戶安全

防撞庫：防止利用已泄露的用戶名口令進(jìn)行批量登錄，嘗試獲取可登錄賬號(hào)。

防暴破：防止利用工具對(duì)密碼實(shí)施暴力破解，以獲得可登錄賬號(hào)。

防掃號(hào)：防止利用已知弱密碼庫，遍歷用戶名（號(hào)段），獲得可登錄賬號(hào)。

（三）防范業(yè)務(wù)欺詐

防“薅流量”：防止對(duì)贈(zèng)送流量方式的促銷業(yè)務(wù)，通過自動(dòng)化工具批量爬取促銷流量。

防靚號(hào)搶占：防止通過工具模擬業(yè)務(wù)辦理操作，搶占靚號(hào)資源，非法高價(jià)出售獲利。

防模擬繳費(fèi)：防止通過工具模擬繳費(fèi)業(yè)務(wù)，批量繳費(fèi)。

防越權(quán)受理：防止利用業(yè)務(wù)邏輯漏洞，越權(quán)辦理業(yè)務(wù)。

防權(quán)益搶占：防止利用工具采用“薅羊毛”的方式非法搶占正常用戶合法權(quán)益。

防止查詢不辦理：防止通過工具方式模擬查詢，占用業(yè)務(wù)帶寬降低查詢接口性能。

（四）防數(shù)據(jù)泄露風(fēng)險(xiǎn)

防掃描：防止黑客通過漏掃工具掃描網(wǎng)站結(jié)構(gòu)和應(yīng)用漏洞，爬蟲爬取網(wǎng)站結(jié)構(gòu)信息、業(yè)務(wù)和商品等信息。

防零日攻擊：防止利用web零日漏洞的命令腳本攻擊。

防批量話費(fèi)查詢：防止利用邏輯漏洞或者合法身份，通過工具批量查詢和導(dǎo)出用戶話費(fèi)、業(yè)務(wù)詳單。

防客戶數(shù)據(jù)遍歷：防止利用漏洞或者合法身份，通過工具批量查詢導(dǎo)出客戶資料。

（五）護(hù)網(wǎng)重保運(yùn)營(yíng)場(chǎng)景

在護(hù)網(wǎng)、重保期間的封網(wǎng)前后，與日常運(yùn)營(yíng)不同的是用戶不會(huì)有新安全策略定制，也不會(huì)有新的業(yè)務(wù)集群增加，用戶主要需要關(guān)注運(yùn)行時(shí)的安全，只需要重點(diǎn)關(guān)注所有防護(hù)節(jié)點(diǎn)運(yùn)行的異常，而不用重復(fù)調(diào)整動(dòng)態(tài)應(yīng)用防護(hù)平臺(tái)，依靠其動(dòng)態(tài)技術(shù)防護(hù)海量爬蟲嗅探攻擊等0day攻擊和加密攻擊。

四、基于動(dòng)態(tài)應(yīng)用防護(hù)平臺(tái)的業(yè)務(wù)反爬蟲安全建設(shè)效果

根據(jù)安徽移動(dòng)業(yè)務(wù)動(dòng)態(tài)安全能力建設(shè)項(xiàng)目要求，安徽公司安全室組織了動(dòng)態(tài)應(yīng)用防護(hù)平臺(tái)工程建設(shè)工作，動(dòng)態(tài)應(yīng)用防護(hù)平臺(tái)集群部署于黃山路2號(hào)樓503云機(jī)房，于2023年12月正式上線運(yùn)行，上線滿足“三同步”及業(yè)務(wù)安全管控要求，動(dòng)態(tài)應(yīng)用防護(hù)平臺(tái)具有動(dòng)態(tài)防護(hù)、數(shù)據(jù)分析、爬蟲威脅模型和動(dòng)態(tài)響應(yīng)等功能。上線后系統(tǒng)運(yùn)行穩(wěn)定，已經(jīng)監(jiān)控M域整個(gè)集群中網(wǎng)格通、行銷和管家、集團(tuán)管家等6個(gè)系統(tǒng)的防護(hù)，對(duì)外提供了爬蟲攻擊防護(hù)、漏洞掃描等自動(dòng)化攻擊阻斷，新集群新節(jié)點(diǎn)配置便捷，具有線上業(yè)務(wù)防止違規(guī)操作、防營(yíng)銷活動(dòng)業(yè)務(wù)接口惡意爬取、護(hù)網(wǎng)重保等能力[3]。動(dòng)態(tài)應(yīng)用防護(hù)平臺(tái)的建設(shè)和投入使用，解決了原應(yīng)用類安全設(shè)備與業(yè)務(wù)高效防護(hù)不匹配的現(xiàn)狀。在安徽移動(dòng)業(yè)務(wù)動(dòng)態(tài)安全能力建設(shè)項(xiàng)目建設(shè)剛啟動(dòng)時(shí)，對(duì)于安全上線、安全需求和設(shè)計(jì)方案進(jìn)行調(diào)研，對(duì)現(xiàn)運(yùn)行業(yè)務(wù)系統(tǒng)及用戶端不進(jìn)行改造和侵入前提下，提升反爬蟲機(jī)制，降低了安全運(yùn)營(yíng)成本，達(dá)到了如下預(yù)期：

第一，不采用驗(yàn)證碼，不影響用戶的前提下進(jìn)行爬蟲訪問的識(shí)別攔截。對(duì)爬蟲識(shí)別攔截過程中，無驗(yàn)證碼出現(xiàn)，提升了用戶體驗(yàn)。

第二，可以識(shí)別多IP源低頻率的爬蟲訪問。通過瀏覽器指紋技術(shù)，可以對(duì)爬蟲客戶端進(jìn)行標(biāo)識(shí)，并對(duì)爬蟲更換IP的行為進(jìn)行溯源分析，識(shí)別此類型爬蟲的訪問。

第三，可以防護(hù)模擬合法業(yè)務(wù)邏輯的批量信息拖取，對(duì)于黑客在竊取賬號(hào)后，以合法身份登錄系統(tǒng)后進(jìn)行越權(quán)、信息批量拖取等攻擊的防護(hù)能力。對(duì)于登錄過程進(jìn)行動(dòng)態(tài)安全防護(hù)，防止撞庫、密碼破解、登錄后批量信息拖取的行為，保障系統(tǒng)安全。

第四，利用JS代碼獲取瀏覽器信息的能力，除常規(guī)User-Agent信息外，通過JS獲取瀏覽器指紋信息、真實(shí)版本、操作系統(tǒng)版本，為安全態(tài)勢(shì)感知系統(tǒng)數(shù)據(jù)支撐。相關(guān)數(shù)據(jù)已經(jīng)全量保存，為分析業(yè)務(wù)提供了基礎(chǔ)數(shù)據(jù)支撐。

第五，系統(tǒng)具備完善的訪問日志記錄，日志包括訪問客戶端信息、查詢目標(biāo)信息，并提供相應(yīng)的日志分析。訪問日志采用全量記錄方式，即記錄異常請(qǐng)求，也記錄正常請(qǐng)求，同時(shí)還可以根據(jù)需求，定制采集需要的參數(shù)、字段，為溯源分析提供數(shù)據(jù)[4]。

系統(tǒng)上線后監(jiān)測(cè)安徽移動(dòng)網(wǎng)格通、行銷和管家、集團(tuán)管家業(yè)務(wù)一個(gè)月（以2024-02-01到2024-03-01數(shù)據(jù)為例）內(nèi)訪問量超過24億次，月均攔截異常請(qǐng)求超過35萬次，其中全網(wǎng)站平均爬蟲訪問21萬次。剔除白名單后，對(duì)其中的8026萬次請(qǐng)求進(jìn)行了防護(hù)，異常占比達(dá)到 4.4%。對(duì)防護(hù)系統(tǒng)開啟攔截模式后，異常請(qǐng)求被阻斷，提升了業(yè)務(wù)可能性和用戶體驗(yàn)。如表1所示。

安徽移動(dòng)動(dòng)態(tài)應(yīng)用防護(hù)平臺(tái)的建設(shè)為網(wǎng)格通、行銷和管家、集團(tuán)管家業(yè)務(wù)提供了自主可控業(yè)務(wù)安全防護(hù)產(chǎn)品，用于應(yīng)對(duì)業(yè)務(wù)系統(tǒng)遭受爬蟲攻擊的安全風(fēng)險(xiǎn)。任務(wù)包括防爬規(guī)范制定、系統(tǒng)建設(shè)與推廣，建設(shè)內(nèi)容立足于M域業(yè)務(wù)安全，從動(dòng)態(tài)安全模塊建立、反爬蟲威脅模型、可編程對(duì)抗響應(yīng)等多個(gè)維度多種手段，提升了業(yè)業(yè)務(wù)支撐系統(tǒng)的自動(dòng)化爬蟲防護(hù)能力，為業(yè)務(wù)支撐系統(tǒng)運(yùn)行保駕護(hù)航。

作者單位：肖銘遠(yuǎn) 澳門科技大學(xué)

王歡 中國(guó)移動(dòng)通信集團(tuán)安徽有限公司

參考文獻(xiàn)

[1]陳頊顥，王志英，任江春，鄭重，黃訸.一種新型病毒主動(dòng)防御技術(shù)與檢測(cè)算法[J].計(jì)算機(jī)應(yīng)用研究，2010，27（06）：2338-2340.

[2]馬蔚彥，動(dòng)態(tài)變換技術(shù)防御Struts2 S2-032零日攻擊研究[J].信息安全研究，2016，2（8）：747-753

[3]曾小斌.對(duì)外網(wǎng)站的安全設(shè)計(jì)[J].信息安全與技術(shù)，2014，5（03）：69-71.

[4]張煥國(guó)，韓文報(bào)，來學(xué)嘉，林東岱，馬建峰，李建華.網(wǎng)絡(luò)空間安全綜述[J].中國(guó)科學(xué)：信息科學(xué)，2016，46（02）：125-164.