上海電信未備案域名網(wǎng)站發(fā)現(xiàn)及處置系統(tǒng)技術(shù)實現(xiàn)

文/張宏丙

1 引言

隨著網(wǎng)絡(luò)的快速發(fā)展與普及，加之近年來中小型企業(yè)發(fā)展步伐加快，信息化需求激增，采用服務(wù)器托管或是應(yīng)用直接部署上云的現(xiàn)象已十分普遍。而與此同時，某些不法分子也想方設(shè)法利用IDC網(wǎng)絡(luò)來傳播色情、反動、賭博等非法信息，由此造成的信息安全問題引起了相關(guān)政府部門的高度重視。

為此，最近幾年，以工信部為代表的國家監(jiān)管部門屢出重拳，持續(xù)開展專項整治行動。其中在《關(guān)于進一步加強未備案網(wǎng)站管理工作的通知》（工信管函【2017】1410號）中就明確要求：各通信管理局要加大對未備案接入行為的處罰力度，對于未備案接入網(wǎng)站的行為“零容忍”，發(fā)現(xiàn)一起，處罰一起。根據(jù)“誰主管誰負(fù)責(zé)，誰審批誰負(fù)責(zé)，誰經(jīng)營誰負(fù)責(zé)，誰接入誰負(fù)責(zé)”原則，上海電信在大力發(fā)展IDC業(yè)務(wù)的同時，也感受到前所未有的來自信息安全方面的壓力。

為應(yīng)對挑戰(zhàn)，加強和規(guī)范互聯(lián)網(wǎng)安全技術(shù)防范工作，落實中央關(guān)于加強互聯(lián)網(wǎng)行業(yè)管理、凈化互聯(lián)網(wǎng)絡(luò)環(huán)境的要求，肩負(fù)起這應(yīng)有的社會責(zé)任，上海電信近年來一直致力于未備案域名網(wǎng)站發(fā)現(xiàn)及處置系統(tǒng)的建設(shè)及完善，本文就該系統(tǒng)的總體架構(gòu)及技術(shù)實現(xiàn)做一深入探討。

2 系統(tǒng)概述

未備案域名網(wǎng)站發(fā)現(xiàn)及處置系統(tǒng)的主要功能是及時發(fā)現(xiàn)存在于上海電信IDC機房內(nèi)的活躍域名，并通過比對查詢以了解這些域名是否備案，針對那些未備案的域名，則按要求進行相應(yīng)的處置。系統(tǒng)在架構(gòu)上主要由分光器、分流器、采集設(shè)備、防火墻及應(yīng)用服務(wù)器組成，其總體拓?fù)淙鐖D1所示。

如何能及時捕獲現(xiàn)網(wǎng)中的活躍域名，我們首先想到的就是DNS系統(tǒng)。作為互聯(lián)網(wǎng)不可或缺的一項重要應(yīng)用，DNS系統(tǒng)負(fù)責(zé)將域名解析為對應(yīng)的IP地址，其解析方式有遞歸查詢和迭代查詢兩種。而作為上海本地最大的固網(wǎng)運營商，上海電信也建有自己的DNS系統(tǒng)，面向廣大寬帶用戶提供域名解析服務(wù)。針對提請域名解析請求的用戶而言，上海電信DNS系統(tǒng)采用的是遞歸查詢方式，即如果本地不能解析的話，則后面的查詢?nèi)杀镜孛Q服務(wù)器代替請求用戶進行查詢，直到本地名稱服務(wù)器從權(quán)威名稱服務(wù)器得到了正確的解析結(jié)果，再由本地名稱服務(wù)器告訴用戶查詢結(jié)果。

圖1：上海電信未備案域名網(wǎng)站發(fā)現(xiàn)及處置系統(tǒng)拓?fù)浼軜?gòu)示意圖

圖2：未備案域名發(fā)現(xiàn)流程圖

上海電信DNS系統(tǒng)對外提供服務(wù)的地址為202.96.209.5及202.96.209.133，它也是上海地區(qū)知名度最高的主流DNS系統(tǒng)，有大量寬帶用戶將其設(shè)為自己的首選DNS服務(wù)器，每天所處理的解析需求量巨大。從其技術(shù)實現(xiàn)及統(tǒng)計角度看，只要對該系統(tǒng)的進出報文進行捕獲分析，就能查找出現(xiàn)網(wǎng)上的活躍域名，尤其是那些部署于上海地區(qū)的網(wǎng)站，一經(jīng)上線運營，都能在很短的時間內(nèi)被及時發(fā)現(xiàn)。如圖1所示。

從功能實現(xiàn)角度來看，未備案域名網(wǎng)站發(fā)現(xiàn)及處置系統(tǒng)主要包含三個部分：域名采集發(fā)現(xiàn)、域名備案查詢以及未備案域名處置。下面將就每一部分的技術(shù)實現(xiàn)細(xì)節(jié)分別加以闡述。

3 技術(shù)實現(xiàn)

3.1 域名采集發(fā)現(xiàn)

域名解析數(shù)據(jù)的采集點有兩個，其一為本地名稱服務(wù)器反饋給請求用戶的DNS應(yīng)答報文，即圖1中A1所示；其二為權(quán)威/二級/頂級/根名稱服務(wù)器反饋給本地名稱服務(wù)器的DNS應(yīng)答報文，即圖1中A2所示。出于服務(wù)效率及性能設(shè)計考慮，絕大多數(shù)域名解析請求都由本地名稱服務(wù)器的緩存記錄直接應(yīng)答，只有那些緩存失效或之前沒有緩存的域名解析請求才會通過本地名稱服務(wù)器以迭代查詢的方式向權(quán)威/二級/頂級/根名稱服務(wù)器發(fā)起查詢請求。從現(xiàn)網(wǎng)實際流量來看，A2報文數(shù)不到A1報文數(shù)的2%。為提升效率，避免處理大量重復(fù)數(shù)據(jù)，本系統(tǒng)采集A2流量，即權(quán)威/二級/頂級/根名稱服務(wù)器反饋給本地名稱服務(wù)器的DNS應(yīng)答流量。

域名采集的具體實現(xiàn)流程如圖2前半段所示，其相應(yīng)步驟如下：

（1）首先，由分光器對本地名稱服務(wù)器的上行交互流量進行分光，將其送往分流器。之后，由分流器根據(jù)五元組信息做ACL過濾，將目的IP為本地名稱服務(wù)器及源端口號為53的報文以均衡負(fù)載的方式送往采集設(shè)備。

（2）接著，由采集設(shè)備對這些報文進行拆包解析，并將解析后的數(shù)據(jù)進行全量記錄，記錄格式主要包括域名、IP地址、時間三個字段。如果一個域名對應(yīng)多個IP地址，則按多條進行記錄。

（3）然后，根據(jù)上海電信IP地址清單（包括IDC用戶自帶地址）對之前捕獲到的記錄進行篩選，如果在上海電信IP地址清單內(nèi)的，則保留；不在清單內(nèi)的，則丟棄。為確保篩選準(zhǔn)確性，這里所涉及的上海電信IP地址清單需要定期更新及維護。

（4）最后，對篩選后的記錄再進行數(shù)據(jù)去重，以歸并域名和IP地址字段均相同的那些記錄，并將時間字段擴充為首次發(fā)現(xiàn)時間和最新發(fā)現(xiàn)時間，去重時更新最新發(fā)現(xiàn)時間。經(jīng)過數(shù)據(jù)去重后的記錄將被寫入域名解析數(shù)據(jù)表，該表字段主要包含域名、IP地址、備案狀態(tài)、首次發(fā)現(xiàn)時間、最新發(fā)現(xiàn)時間。同時，為便于查詢，另外創(chuàng)建了域名備案信息表，該表字段主要包含域名、備案狀態(tài)、備案號、備案查詢時間。域名解析數(shù)據(jù)表和域名備案信息表通過創(chuàng)建索引相關(guān)聯(lián)。如圖2所示。

3.2 域名備案查詢

至此，活躍域名已經(jīng)采集發(fā)現(xiàn)，緊接著就要判斷這些域名是否備案。具體實現(xiàn)上，本系統(tǒng)是通過調(diào)用工信部域名備案系統(tǒng)的查詢接口來完成相關(guān)備案狀態(tài)的核查工作。

將新捕獲到的域名與現(xiàn)有數(shù)據(jù)庫中的域名信息進行比對，如果沒有相關(guān)信息則被視為新增域名，立即加入查詢隊列，以調(diào)用接口進行備案狀態(tài)查詢，同步記錄該域名的備案查詢時間。如果有相關(guān)信息則被視為存量域名，通過存量域名備案信息表中的備案狀態(tài)，來更新相關(guān)聯(lián)的域名解析數(shù)據(jù)表中的對應(yīng)字段。具體實現(xiàn)流程如圖2后半段所示。

圖3：存量域名備案信息表備案狀態(tài)更新流程圖

圖4：未備案域名處置流程圖

鑒于備案狀態(tài)有可能發(fā)生變更，因此，針對那些存量域名，也需定期進行核查。出于對工信部域名備案系統(tǒng)處理性能的考慮，定期核查任務(wù)被安排在非忙時執(zhí)行。每天零點起，系統(tǒng)將對存量域名按備案查詢時間排序生成查詢隊列，時間最早的先進行查詢。具體實現(xiàn)流程如圖3所示。針對不同的查詢反饋結(jié)果，其相應(yīng)的后續(xù)操作也不盡相同：

（1）存量已備案域名若反轉(zhuǎn)為未備案域名，則需要輸出。

（2）存量未備案域名若反轉(zhuǎn)為已備案域名，則更新備案狀態(tài)與備案查詢時間。

（3）若無反轉(zhuǎn)，則只更新備案查詢時間。

（4）若查詢接口未反饋備案狀態(tài)，則不更新備案查詢時間。

這里，需要特別指出的是，為控制存量域名備案信息表的規(guī)模，提升核查效率，本系統(tǒng)將存量域名限定為當(dāng)前系統(tǒng)時間與最新發(fā)現(xiàn)時間對比在一個月之內(nèi)的所有域名信息。而對那些超過時限的非活躍域名則在每天指定的時間點加以清除。如圖3所示。

3.3 未備案域名處置

通過域名采集、比對查詢，我們可以及時找到現(xiàn)網(wǎng)上還有哪些活躍域名沒有備案，當(dāng)然這只是工作的第一步，發(fā)現(xiàn)的最終目的是處置這些未按要求備案的非法網(wǎng)站。

出于慎重起見，在對未備案域名進行正式處置前，還需要再經(jīng)過兩部驗證：

（1）IP地址驗證：對待處置域名進行IP核查，以確認(rèn)該IP地址是否還在上海電信IP地址清單范圍內(nèi)。

（2）活躍度驗證：對待處置域名進行HTTP訪問測試，對響應(yīng)碼為200（OK，請求成功）/301（所請求的資源已被指派為新的固定URL）/302（所請求的資源臨時位于另外的URL）的反饋結(jié)果，認(rèn)為該域名網(wǎng)頁是可以打開的，同時對網(wǎng)頁內(nèi)容進行快照抓取。

待上面兩部驗證確認(rèn)后，將首先通過IP地址查詢該IP的歸屬用戶信息，包括：用戶名、所屬責(zé)任單位、聯(lián)系人、聯(lián)系方式、所在機房等。然后，根據(jù)查到的相關(guān)信息，通過工單流轉(zhuǎn)系統(tǒng)派給各責(zé)任單位進行處理。如果未備案域名網(wǎng)站所有者不配合處理，則將進一步對其實施域名阻斷或是IP封堵處置，直至其完成整改。具體實現(xiàn)流程如圖4所示。

另外，通過每日例行的活躍度自動巡檢，以監(jiān)控那些尚未完成域名備案的非法網(wǎng)站的啟停狀態(tài)，一旦發(fā)現(xiàn)其違規(guī)上線運行，則立即進入處置流程。

4 結(jié)束語

未備案域名網(wǎng)站發(fā)現(xiàn)及處置系統(tǒng)自上線運行以來，共發(fā)現(xiàn)處置未備案網(wǎng)站12000余個。通過對該系統(tǒng)的持續(xù)建設(shè)及完善，上海電信不僅提升了自身滿足管理規(guī)則的能力，同時也降低了管理風(fēng)險，保障了業(yè)務(wù)又快又好發(fā)展，進而保障了互聯(lián)網(wǎng)網(wǎng)絡(luò)安全和信息安全，促進了互聯(lián)網(wǎng)健康、有序發(fā)展，在維護國家安全、社會秩序和公共利益方面發(fā)揮了潛在的巨大效益。