Web信息安全動態(tài)監(jiān)測關鍵技術研究與實現(xiàn)

◆梁志宏 樊 凱

（中國南方電網有限責任公司 廣東 510623）

Web信息安全動態(tài)監(jiān)測關鍵技術研究與實現(xiàn)

◆梁志宏 樊 凱

（中國南方電網有限責任公司 廣東 510623）

鑒于目前國內外信息安全形勢備受關注，各類網絡攻擊、數(shù)據(jù)泄露、病毒感染、漏洞威脅等事件時常發(fā)生?；趙ebkit爬蟲原理，建立一套基于云信息Web信息安全動態(tài)監(jiān)測系統(tǒng)，著重介紹了非連接探測技術、支持插件的安全測試、頁面變更模板自動生成方法、指紋技術。為提高WEB安全防護的實時性、系統(tǒng)性和精準性，降低WEB系統(tǒng)運營風險提供幫助。

爬蟲原理; 信息安全; 網絡攻擊; 動態(tài)監(jiān)測

0 前言

某大型國企目前有近百個互聯(lián)網網站，因此其安全性備受關注。某大型國企各子單位經常發(fā)現(xiàn)Web系統(tǒng)被掛馬、頁面信息被篡改，因此國內很多大型企業(yè)Web安全還需要進行如下不足[1]:

（1）缺乏全方位信息安全，尤其是Web安全，感知和分析技術手段，事件處理和漏洞發(fā)現(xiàn)主要依靠第三方安全機構支持或主管部門通報，較為被動;

（2）安全漏洞監(jiān)測和分布統(tǒng)計手段不足。如對struts、openSSL等漏洞的處理主要依賴人工排查和手工統(tǒng)計分析，效率不高。缺乏技術手段即時對某一新爆發(fā)漏洞或存在漏洞設備在全網的分布于整改情況進行摸底與呈現(xiàn);

（3）無法全局掌握全網對外信息系統(tǒng)與內部信息系統(tǒng)的信息資產組成情況，如某一應用系統(tǒng)IP地址、由何種操作系統(tǒng)、中間件、數(shù)據(jù)庫與Web組件構成;

（4）存在大量業(yè)務部門自建小網站或廠商自行搭建的演示系統(tǒng)，部署在互聯(lián)網上，易被安全監(jiān)管部門通報;

（5）安全可視性不強，無法通過較友好的可視化方式呈現(xiàn)全網當前安全動態(tài)與特定安全漏洞的爆發(fā)與整改動態(tài)。

1 監(jiān)測平臺實現(xiàn)目標

通過對基于云的WEB安全感知分析技術、WEB安全指紋技術、多維可視化展示技術的研究，建立一套基于某大型國企云的信息安全動態(tài)監(jiān)測分析及場景重構技術，實現(xiàn)自動化對公司所有web系統(tǒng)實時的安全監(jiān)控，對漏洞監(jiān)控、掛馬監(jiān)控、網頁被篡改、網站可用性等安全形態(tài)進行一體化監(jiān)測預警; 通過多維展示技術研究、全面的展示信息安全的實時態(tài)勢。從多個方面幫助安全主管部門實時掌握Web系統(tǒng)的安全狀況，提高WEB安全防護的實時性、系統(tǒng)性和精準性，降低WEB系統(tǒng)運營風險，增強安全防護能力，避免引發(fā)WEB安全事件并造成不良社會影響，建立一體化、精益化、縱深化的信息安全管控體系。

2 監(jiān)測平臺設計與實現(xiàn)

2.1 監(jiān)測平臺系統(tǒng)架構

圖1 監(jiān)測平臺系統(tǒng)架構

監(jiān)測平臺由展示交互層、業(yè)務邏輯層、數(shù)據(jù)庫和對外接口四部分組成。展示交互層主要包括:主視圖單元、資產管理單元、指紋和域名探測單元、Web漏洞監(jiān)測單元、可用性監(jiān)測單元、網頁變更監(jiān)測單元、DNS監(jiān)測單元、用戶管理和告警系統(tǒng)管理單元。業(yè)務邏輯層包絡:安全爬蟲模塊、Web漏洞監(jiān)測模塊、可用性監(jiān)測模塊、高速探測模塊、安全測試框架、多引擎管理模塊、權限管理模塊。監(jiān)測平臺系統(tǒng)架構見圖1。

2.2 關鍵技術研究

為了實現(xiàn)對某大型國企所有對外信息系統(tǒng)（可通過互聯(lián)網訪問）與內部信息系統(tǒng)的Web安全監(jiān)測、漏洞通報與預警，保證公司信息系統(tǒng)應用安全性; 通過Web指紋庫建立與特征抓取技術，實現(xiàn)全網對外信息系統(tǒng)與內部信息系統(tǒng)的資產信息自動發(fā)現(xiàn)摸底，特定品牌、型號或版本的設備組件分布情況可視化展示、特定安全漏洞的分布情況可視化; 實現(xiàn)對全球互聯(lián)網IP的動態(tài)掃描，從而可發(fā)現(xiàn)未在甲方信息部門登記備案的甲方業(yè)務部門自建小系統(tǒng)或廠商自行搭建的含有甲方相關信息的演示、測試系統(tǒng)，通過可視化方式呈現(xiàn); 通過開放性的輕量級安全檢測框架，支持用戶自定義安全插件的開發(fā)嵌入，從而實現(xiàn)對甲方某一最新安全漏洞整改情況的全局性檢測、分布情況統(tǒng)計與可視化呈現(xiàn);實現(xiàn)較為友好的安全可視化展示，可通過安全地圖或傳統(tǒng)圖表等多種可視化方式，并與公司信息安全審計系統(tǒng)（SOC）進行可視化集成。

3 信息安全動態(tài)監(jiān)測關鍵技術

3.1 爬蟲技術研究

為了能夠充分解析網頁,盡可能的使網頁的解析效果與用戶實際解析結果接近,同時盡量利用成熟技術,減少開發(fā)工作量，在本次項目中采用webkit瀏覽器引擎作為解析底層[2]。項目中的爬蟲不采用正則表達式分析方法,而是采用調用webkit引擎的技術,通過調用瀏覽器引擎模塊來對頁面進行分析,力圖達到最佳的頁面還原效果。WebKit 是目前最流行的開源的瀏覽器引擎,被蘋果的Safari瀏覽器和Google的Chrome瀏覽器所采用,本項目采用Webkit引擎作為底層,同時支持Javascript對頁面的解析,同時也考慮支持flash插件,爬取到最真實的網頁數(shù)據(jù)。爬蟲主要使用qt進行編寫,使用了Qwebkit框架進行搭建，使用Qwebkit是因為該框架有豐富的接口函數(shù)，以及高效的編寫效率。系統(tǒng)流程圖見圖2。

程序從解析參數(shù)模塊入口，首先獲取用戶輸入的參數(shù)，然后調用解析參數(shù)模塊，對每個輸入的參數(shù)進行解析并獲取到對應的信息。通過信息進行參數(shù)匹配，檢測是否某些參數(shù)沒有輸入，如果沒有輸入則啟用默認值[3]。然后進行數(shù)據(jù)庫的連接，如果數(shù)據(jù)庫連接失敗，則會報錯退出。實例化爬取對象，在實例化中構建了頁面的元素。設置相應的參數(shù)，加載頁面，加載頁面的同時會設置定時器進行檢測是否載入超時。通過創(chuàng)捷QNetworkRequest來設置網頁請求，通過load方法來進行加載頁面。因為有些頁面為跳轉頁面，所以加載頁面完成后進行頁面跳轉的判斷。然后再進行頁面鏈接的爬取，通過解析頁面xml的標簽以及標簽內容進行獲取所需要的鏈接。獲取頁面鏈接后對鏈接進行類型判斷，判斷是否為外鏈或同級域名，然后根據(jù)不同類型進行md5處理。根據(jù)處理出的不同類型進行入庫處理，入庫過程中，md5相同的鏈接不進行入庫處理當前層次的鏈接爬取完成后，系統(tǒng)會去獲取下一層的鏈接，并存儲到vecto容器中，以方便獲取鏈接。如果沒有獲取到下一層的鏈接，說明已經沒有鏈接可以爬取，則爬取完成，程序退出。

3.2 非連接探測技術

非連接探測技術也稱為被動探測技術，是不主動激發(fā)目標主機的響應，而通過網絡嗅探來截獲目標系統(tǒng)發(fā)出的數(shù)據(jù)包，從中提取和分析特性信息來獲得目標主機的相應信息[4]。被動探測抓取目標主機發(fā)送出來的TCP報文，通過分析報文中的相關字段,獲取不同的特征信息。在TCP/IP協(xié)議中，主要采取3次握手建立1個連接。3次握手采用“發(fā)送-應答-發(fā)送”的機制,等待監(jiān)聽的時間勢必導致發(fā)包速度的緩慢。而ZMap索性就不進行三次握手。

ZMap只進行第一個SYN，然后等待對方回復SYN-ACK，隨后發(fā)送RST（重置連接），不存在監(jiān)聽同步操作，清空連接，再繼續(xù)發(fā)下一個數(shù)據(jù)包。而對于識別 ZMap是將對方receiver ip地址進行類似hash表一樣的映射，將其處理保存到了sender port和seq number兩個字段中，當SYN-ACK回來的時候（可能是Syn+Ack，也可能RST），就可以根據(jù)sender ip、receiver port、ack number這些字段進行校驗，并對應處理記錄。因此避免了狀態(tài)存儲，接近了網絡帶寬極限。一個TCP數(shù)據(jù)包包括一個TCP頭，后面是選項和數(shù)據(jù)。一個TCP頭包含6個標志位。

單臺服務器，掃描整個IPv4地址空間，耗時45分鐘，將所接1Gb的帶寬占用了97%。不僅速度上比Nmap（TCP SYN模式）高不少，而且其設計的無狀態(tài)機制，讓其搜索成功的覆蓋率也增加了。Zmap 某些方面和python 的scapy很像。但zmap純C語言實現(xiàn)，比scapy效率要高一些。這也讓ZMap能在這單一領域做很多優(yōu)化。像ZMap 這樣的工具沒法發(fā)現(xiàn)所有漏洞。

3.3 支持插件的安全測試

當在掃描過程中需要發(fā)送payload時，如果輸入的參數(shù)有--payload項，程序就會執(zhí)行指定的python腳本來實現(xiàn)相關功能。如果需要發(fā)送payload，調用get_payload 函數(shù)獲取payload。獲取python返回值cotent，并獲取其中的payload內容。檢測的過程也可以通過支持python腳本實現(xiàn)。抓到數(shù)據(jù)包，然后初步判斷數(shù)據(jù)包類別，調用相應的處理函數(shù)。如果輸入的參數(shù)指定了python腳本，則調用相應的腳本檢測payload。Flag為檢測的結果，成功則入庫，失敗則不入庫。程序調用python腳本的payload_process方法，將payload作為參數(shù)傳入，python腳本接收到參數(shù)之后，對payload進行檢測，并返回檢測結果。

3.4 指紋技術

由于Web服務是互聯(lián)網上應用十分廣泛，也是容易受到惡意攻擊的一種網絡服務，并且在HTTP的響應包中蘊含了豐富的組件信息，這些因素為Web服務的深入識別提供了必要性和可能性。操作系統(tǒng)的探測識別主要利用指紋技術，包括主動和被動兩種。主動識別技術采用向目標發(fā)送構造的特殊包并監(jiān)控其應答方式來識別操作系統(tǒng)。被動識別技術，通過被動監(jiān)聽網絡通信，確定所用的操作系統(tǒng)。本節(jié)在通用應用指紋技術基礎上，針對Web服務指紋技術進行專門探討。Web服務可識別的組件信息包含多個層次。

通常有4種方法可以識別一個Web應用:

（1）在網站首頁面的HTTP headers和body中進行模式匹配或特征串匹配;

（2）獲取特殊的URL，在HTML中進行模式匹配;

（3）獲取特定的URL，計算md5，對比md5值進行判斷;（4）獲取特定的URL，通過返回的狀態(tài)碼進行判斷。

在這4種方法中第1種是應用最廣泛的，它網絡帶寬占用最小并且識別最快，適合大規(guī)則的掃描識別。第2-4種方法，需要獲取網站的更多頁面進行匹配，增加了對帶寬的占用，匹配時間也要更久。隨著人們安全意識的增強，越來越多的Web應用程序不在首頁面中暴露過多有用信息，在這種情況下，方法2、3更加有效。方法4在識別開啟mod_rewrite功能的網站時，可能造成錯誤的判斷。

要識別一種Web服務器，首先到它的主頁中學習它的相關資料，查看示例，找到下載鏈接，對于版本識別有可能需要下載多個版本進行研究。尋找盡可能多的Web服務器的例子進行研究。可以借助官網給出的示例網站，從示例網站中分析一定的特征，再借助搜素引擎尋找更多的例子。還可以從該Web服務器相關論壇中獲取一些例子。需要強調的是例子的數(shù)量及多樣性，數(shù)量越多，種類越多，分析的結果就越全面，越有代表性。分析示例網站的首頁面，從headers、body中尋找能標記這種Web服務器的相似特征。深入分析幾個網站的源文件，尋找有代表性的特征。通常可以關注headers、footers、URL、網站結構、Javascript libraries名稱、CSS文件、div命名特點。獲取所有示例網站的首頁源文件，進行篩選。通過上面分析出的特征，去除一些明顯不對的示例網站。對剩余的網頁源文件分析相同特征。驗證收集的指紋特征。借助搜索引擎可以驗證指紋是否有效標記這種Web服務器，如果有效保留，如果無效，剔除。

4 結論

本文通過對爬蟲技術進行研究，建立一套基于信息安全動態(tài)監(jiān)測分析系統(tǒng)。實現(xiàn)了對公司所有web系統(tǒng)實時的安全監(jiān)控，對漏洞監(jiān)控、掛馬監(jiān)控、網頁被篡改、網站可用性等安全形態(tài)進行一體化監(jiān)測預警。通過多維展示技術研究、全面的展示信息安全的實時態(tài)勢。從多個方面幫助安全主管部門實時掌握Web系統(tǒng)的安全狀況，提高WEB安全防護的實時性、系統(tǒng)性和精準性，降低WEB系統(tǒng)運營風險，增強安全防護能力，避免引發(fā)WEB安全事件并造成不良社會影響。

[1]李萬莉，項著廷.基于B/S結構遠程監(jiān)測系統(tǒng)軟件設計[J].計算機技術與發(fā)展，2015.

[2]解全穎.Web訪問控制推理研究[J].西南民族大學學報（自然科學版），2014.

[3]鄭木德.基于Web的科研管理信息系統(tǒng)中關鍵子系統(tǒng)的設計[J].太原師范學院學報（自然科學版），2008.

[4]石云輝，黃雋.基于.NET的網絡故障監(jiān)測報警系統(tǒng)的設計[J].微計算機信息，2008.

[5]劉家軍，劉夢娜，安源.基于GIS的網絡化接觸網檢修掛接地線信息管理系統(tǒng)的設計與實現(xiàn)[J].電力系統(tǒng)保護與控制，2016.