基于自適應(yīng)智能爬蟲技術(shù)的網(wǎng)站備案安全態(tài)勢感知平臺設(shè)計(jì)

□ 文 車力軍 曹華平

（作者單位：車力軍，中國電信云南公司；曹華平，通訊作者，國家計(jì)算機(jī)網(wǎng)絡(luò)應(yīng)急技術(shù)處理協(xié)調(diào)中心。）

一、前言

習(xí)近平總書記在十九大報(bào)告中指出，網(wǎng)絡(luò)安全等非傳統(tǒng)安全威脅持續(xù)蔓延，人類面臨許多共同挑戰(zhàn)。而互聯(lián)網(wǎng)網(wǎng)站是網(wǎng)絡(luò)信息非常重要的來源，如果不進(jìn)行管控備案，違法違規(guī)的涉黃涉恐涉詐網(wǎng)站將對國家、社會造成極大威脅。近年來國家行業(yè)主管部門先后出臺系列管理及考核要求，如工信部《省級基礎(chǔ)電信企業(yè)網(wǎng)絡(luò)與信息安全工作考核要點(diǎn)與評分標(biāo)準(zhǔn)》《工業(yè)和信息化部關(guān)于進(jìn)一步落實(shí)網(wǎng)站備案信息真實(shí)性核驗(yàn)工作方案（試行）》《關(guān)于開展加強(qiáng)網(wǎng)站備案管理專項(xiàng)行動的通知》《互聯(lián)網(wǎng)域名管理辦法(征求意見稿)》等，“先備案，后接入；誰接入誰負(fù)責(zé)，誰管理誰負(fù)責(zé)”等要求成為管理的紅線。中國電信管理著國內(nèi)超過75%的互聯(lián)網(wǎng)網(wǎng)絡(luò)資源，責(zé)任重大，而云南電信對于全省百萬級IP、數(shù)千個已備案網(wǎng)站的備案核查、信息一致性在過去缺乏有效的技術(shù)驗(yàn)證手段，缺乏主動發(fā)現(xiàn)問題、防患于未然和管理前置的能力，基本上是被動等待工信部定期通報(bào)，然后對通報(bào)信息進(jìn)行人工核對及處理反饋。亡羊補(bǔ)牢，既浪費(fèi)時間、耗費(fèi)大量人力，也不能確保其準(zhǔn)確率，嚴(yán)重影響工信部、通管局檢查的達(dá)標(biāo)率。

傳統(tǒng)處置方式已不能滿足實(shí)際管理的需要，云南電信因而迫切需要構(gòu)建一套主動偵測的網(wǎng)站備案安全態(tài)勢感知系統(tǒng)來代替人工模式，提高全省備案管理工作效率和數(shù)據(jù)準(zhǔn)確率。

二、國內(nèi)相關(guān)研究和實(shí)踐情況

網(wǎng)站備案率及備案信息準(zhǔn)確率是國家主管部門對運(yùn)營商非常關(guān)鍵的考核指標(biāo)，不少省市都關(guān)注提升備案考核達(dá)標(biāo)率的措施,而在政策法規(guī)方面，胡鋼對《互聯(lián)網(wǎng)域名管理辦法》進(jìn)行了解讀和研究，趙云對國內(nèi)域名服務(wù)監(jiān)管提出若干建議,王月領(lǐng)等對提升網(wǎng)站備案信息準(zhǔn)確率的方法進(jìn)行了一些實(shí)踐，劉石磊研究了應(yīng)用反爬蟲機(jī)制的網(wǎng)站實(shí)施爬蟲活動的策略，林迅則分析了基于流量分析實(shí)現(xiàn)網(wǎng)站備案監(jiān)控系統(tǒng)，張東等對廣播電視安全播出預(yù)警發(fā)布實(shí)踐進(jìn)行了闡述；在安全態(tài)勢感知方面，畢錦雄、鞏志等對新時期建立網(wǎng)絡(luò)安全態(tài)勢感知能力的必要性和可行性提出了中肯的意見,李井泉、劉旭東、李奎等則對網(wǎng)絡(luò)安全態(tài)勢感知及主動預(yù)警的若干技術(shù)進(jìn)行了研究。但是在網(wǎng)站備案管理，尤其是未備案域名發(fā)現(xiàn)和備案準(zhǔn)確率方面，其安全態(tài)勢感知預(yù)警系統(tǒng)相關(guān)的設(shè)計(jì)和研究并不多見。本文的目標(biāo)，就是因形勢所需，設(shè)計(jì)構(gòu)建一種基于自適應(yīng)的，主動偵測備案安全態(tài)勢感知的平臺。

三、未備案域名監(jiān)管安全態(tài)勢感知平臺的創(chuàng)新實(shí)踐

2017年，經(jīng)過云南電信項(xiàng)目團(tuán)隊(duì)近7個月調(diào)研設(shè)計(jì)與開發(fā)，未備案域名監(jiān)管安全態(tài)勢感知平臺得以建設(shè)實(shí)施。

（一）平臺的主要功能

未備案域名態(tài)勢感知的設(shè)計(jì)思路是通過監(jiān)控流入運(yùn)營商數(shù)據(jù)中心的網(wǎng)絡(luò)流量，將采集到的域名信息與工信部備案數(shù)據(jù)庫比對，實(shí)現(xiàn)未備案域名監(jiān)控。系統(tǒng)在對云南電信全省數(shù)百萬IP中是否存在未備案網(wǎng)站域名進(jìn)行掃描比對，發(fā)現(xiàn)未備案域名立即自動預(yù)警輸出，對輸出數(shù)據(jù)可按州市自動分揀，分地區(qū)通報(bào)并應(yīng)變處置。

平臺對云南電信數(shù)千已備案網(wǎng)站的主體信息準(zhǔn)確性進(jìn)行實(shí)時掃描，與政府權(quán)威網(wǎng)站信息庫進(jìn)行比對，發(fā)現(xiàn)不一致的輸出清單，分州市通報(bào)，督促這些網(wǎng)站客戶實(shí)施整改更正。

系統(tǒng)平臺可設(shè)置預(yù)警通報(bào)頻度，一般與工信部未備案通報(bào)設(shè)為一個頻度，但提前預(yù)警發(fā)布。這樣全省各單位備案專管員定期用電腦或手機(jī)接收預(yù)警信息，實(shí)現(xiàn)提前隨時隨地知曉通報(bào)信息并及時處置。這使得工信部通報(bào)中云南電信未備案數(shù)量大幅降低，也將提升每季度工信部備案信息準(zhǔn)確率指標(biāo)。

（二）項(xiàng)目平臺創(chuàng)新點(diǎn)

1、基于智能爬蟲技術(shù)的自適應(yīng)線程優(yōu)化未備案域名分析抓取創(chuàng)新應(yīng)用

系統(tǒng)平臺采用智能爬蟲技術(shù)，通過多進(jìn)多出并發(fā)自適應(yīng)線程優(yōu)化模型架構(gòu)（圖1），平臺系統(tǒng)由控制中心統(tǒng)一對多線程進(jìn)行監(jiān)控，處理線程間的協(xié)作，并根據(jù)系統(tǒng)情況對多線程進(jìn)行自適應(yīng)優(yōu)化。以此高效快速地對海量的百萬級IP進(jìn)行未備案域名數(shù)據(jù)挖掘分析，迅速發(fā)現(xiàn)互聯(lián)網(wǎng)未備案網(wǎng)站，自動預(yù)警輸出，對輸出數(shù)據(jù)按州市自動分揀，分地區(qū)通報(bào)及時處置。

圖1 多進(jìn)多出并發(fā)自適應(yīng)線程優(yōu)化模型架構(gòu)

2、基于數(shù)據(jù)挖掘技術(shù)、存活I(lǐng)P過濾器、反爬蟲技術(shù)、域名自查技術(shù)等全方位精準(zhǔn)識別未備案域名的探測手段集成創(chuàng)新

存活I(lǐng)P過濾器對抓取未備案域名的IP，先通過主機(jī)發(fā)現(xiàn)技術(shù)、端口掃描技術(shù)確定該IP是否存活。主機(jī)發(fā)現(xiàn)技術(shù)在端口掃描前，確定目標(biāo)主機(jī)是否在線。主機(jī)發(fā)現(xiàn)的實(shí)現(xiàn)分兩個階段：地址解析階段、實(shí)際探測階段。地址解析主要負(fù)責(zé)從主機(jī)表達(dá)式中解析出目標(biāo)主機(jī)地址，將之存放在hostbatch中，并配置該主機(jī)所需的路由、網(wǎng)口、MAC地址、源IP等信息，對解析出來的目標(biāo)主機(jī)，進(jìn)行實(shí)際探測及獲取RDNS相關(guān)信息。從主機(jī)表達(dá)式中獲取主機(jī)地址，若取得的不是IP，需要進(jìn)行DNS解析，獲取域名對應(yīng)的IP。在主機(jī)發(fā)現(xiàn)過程中，利用運(yùn)輸層協(xié)議的方式，發(fā)送SYN數(shù)據(jù)包、ACK數(shù)據(jù)包、UDP數(shù)據(jù)包。前兩種分別利用了TCP三次握手中的第一次及第二次握手，讓對方覺得正在試圖建立一個TCP連接，從而做出回應(yīng)，根據(jù)回應(yīng)得出主機(jī)狀態(tài)。UDP則是發(fā)送一個UDP數(shù)據(jù)包，得到端口不可達(dá)、主機(jī)網(wǎng)絡(luò)不可達(dá)的回應(yīng)。

端口掃描技術(shù)，端口的概念處于運(yùn)輸層，系統(tǒng)利用TCP/UDP協(xié)議，對TCP端口進(jìn)行探測掃描。利用三次握手，首先client端向server某端口發(fā)送請求連接的syn包，server的該端口如果允許連接，會給client端發(fā)一個ack與syn，client端收到server的ack包后再給server端發(fā)一個ack包，TCP連接正式建立。基于連接的建立過程，假如要掃描某一個TCP端口，可以往該端口發(fā)一個syn包，如果該端口處于打開狀態(tài)，系統(tǒng)可收到一個ack，也就是說，如果收到ack，就可判斷目標(biāo)掃描出于打開狀態(tài)，否則，目標(biāo)端口處于關(guān)閉狀態(tài)。

由于爬蟲會對網(wǎng)站所有節(jié)點(diǎn)進(jìn)行掃描，從而對網(wǎng)站運(yùn)行造成負(fù)荷和影響，因此許多網(wǎng)站建立了反爬蟲機(jī)制來抵抗網(wǎng)絡(luò)爬蟲。本系統(tǒng)針對反爬蟲主要采用以下策略：（a）使用IP地址池：VPN和代理IP。（b）動態(tài)設(shè)置User-Agent（隨機(jī)切換User-Agent，模擬不同用戶的瀏覽器信息）。（c）禁用Cookies。域名自查技術(shù)則采用幾個策略：（a）自動核對域名與IP的對應(yīng)關(guān)系是否一致。（b）網(wǎng)站是否可以打開。（c）自動識別是否未備案（包括二級域名及二級以上域名的自動識別）。（d）自動完善域名信息（包括網(wǎng)站標(biāo)題、IP歸屬地）。

3）基于Web+APP+公務(wù)郵件方式的安全預(yù)警發(fā)布能力平臺，使云南電信未備案域名監(jiān)管安全態(tài)勢感知與預(yù)警發(fā)布能滿足移動互聯(lián)網(wǎng)工作模式的需要。

以上創(chuàng)新點(diǎn)經(jīng)國家科技部科技查新，在國內(nèi)尚未見公開文獻(xiàn)報(bào)道，查新編號：(2018)53b2000427。

四、推廣效果

系統(tǒng)平臺通過自適應(yīng)多線程優(yōu)化策略，大幅提升運(yùn)行效率，數(shù)小時即可自動完成云南電信全省數(shù)百萬IP的未備案域名掃描核查，以及數(shù)千已備案網(wǎng)站主體信息比對。相關(guān)工作如果采用人工方式，即便每人每工作日核對1000個IP的網(wǎng)站備案情況，都需要近10年時間；而系統(tǒng)全天候自動運(yùn)行，使云南電信網(wǎng)站未備案核查工作效率提升了數(shù)千倍，極大節(jié)約了人工成本。

圖2 云南疑似未備案域名發(fā)現(xiàn)量情況

系統(tǒng)對全域網(wǎng)站域名狀態(tài)實(shí)施檢測,從監(jiān)控、核查、考核、監(jiān)管四個維度對網(wǎng)站備案工作進(jìn)行集中化管理與運(yùn)維，建立一個可視、可查、可度量與可持續(xù)的安全態(tài)勢感知預(yù)警平臺，受到省通信管理局和上級單位的關(guān)注。

平臺安全態(tài)勢預(yù)警發(fā)布可用電腦或移動終端接收并處置反饋，保證了基層單位隨時隨地發(fā)現(xiàn)問題，及時處理，充分滿足移動互聯(lián)網(wǎng)工作模式的需要，也受到備案一線管理人員的好評。

系統(tǒng)自2017年9月投入運(yùn)行以來，通過智能化的系統(tǒng)作業(yè)能力，已累計(jì)主動發(fā)現(xiàn)未備案網(wǎng)站2039次（包括部分未整改再次通報(bào)域名）、備案主體信息不準(zhǔn)確項(xiàng)1730個，經(jīng)核對所有數(shù)據(jù)基本無誤報(bào)，判斷準(zhǔn)確率99.9%，系統(tǒng)自動審核發(fā)現(xiàn)的未備案網(wǎng)站數(shù)量比工信部抽查通報(bào)數(shù)量多數(shù)十倍。同時，經(jīng)過提前偵測發(fā)現(xiàn)預(yù)警、提前強(qiáng)力整改，平臺發(fā)布的疑似未備案域名數(shù)量逐月降低（見圖2），也正因?yàn)槠脚_對備案安全態(tài)勢的及時預(yù)警，發(fā)布處置，云南電信轄內(nèi)工信部抽查通報(bào)未備案網(wǎng)站數(shù)逐月下降，甚至對云南電信出現(xiàn)多周零通報(bào)，目前保持月通報(bào)數(shù)在個位數(shù)字，效果顯著。

五、思考

在網(wǎng)站備案監(jiān)管及安全態(tài)勢感知項(xiàng)目創(chuàng)造性工作過程中，有以下幾點(diǎn)思考：

（一）移動互聯(lián)網(wǎng)時代，新技術(shù)新態(tài)勢層出不窮，信息安全戰(zhàn)線各版塊必須與時俱進(jìn)，不斷學(xué)習(xí)和創(chuàng)新，才能適應(yīng)時代的需要。

（二）要加強(qiáng)運(yùn)營商及企事業(yè)單位的網(wǎng)站備案法規(guī)意識和安全責(zé)任意識，對未備案即擅自開通網(wǎng)站的行為要從懂法自律和手段管控雙管齊下，各自守好自己的陣地，這樣真正別有用心的未備案行為就更容易暴露在光天化日之下。

（三）要通過技術(shù)手段建設(shè)，不斷優(yōu)化平臺維度和掃描判據(jù)，加大域名監(jiān)控與網(wǎng)站一致性檢查的精準(zhǔn)度,并開展域名內(nèi)容防篡改檢查,發(fā)現(xiàn)網(wǎng)站非法篡改立即停止域名解析。

（四）要不斷完善預(yù)警發(fā)布的方式和手段，適應(yīng)當(dāng)前移動互聯(lián)網(wǎng)深化發(fā)展時期工作的需要。

六、結(jié)語

云南電信通過學(xué)習(xí)網(wǎng)站備案相關(guān)管理和技術(shù)研究成果，梳理全省備案管理機(jī)制，建立了網(wǎng)站備案安全態(tài)勢感知與預(yù)警處置創(chuàng)新體系，體系平臺以備案管理合規(guī)為核心，實(shí)現(xiàn)安全態(tài)勢監(jiān)測管理與業(yè)務(wù)正常工作流程的融合。態(tài)勢感知平臺采用智能爬蟲技術(shù)，通過多進(jìn)多出自適應(yīng)線程優(yōu)化，大幅提升運(yùn)行效率，此舉對所轄網(wǎng)絡(luò)未備案域名和備案主體信息變化做到提前感知預(yù)警，使云南電信能夠優(yōu)于工信部未備案掃描通報(bào)提前處置，更優(yōu)于工信部定期備案主體信息準(zhǔn)確率通報(bào)提前處置，做到防范于未然。云南電信將繼續(xù)加大新興技術(shù)手段和管理策略建設(shè)，及時跟蹤發(fā)現(xiàn)未備案網(wǎng)站和已備案主體信息發(fā)生變化的態(tài)勢規(guī)律，應(yīng)對網(wǎng)絡(luò)安全、信息安全威脅與挑戰(zhàn)，為凈化國家網(wǎng)絡(luò)空間做好保駕護(hù)航的一份力量?！?/p>

（作者單位：車力軍，中國電信云南公司；曹華平，通訊作者，國家計(jì)算機(jī)網(wǎng)絡(luò)應(yīng)急技術(shù)處理協(xié)調(diào)中心。）