電子資源防惡意下載系統(tǒng)研究?——以華東師范大學(xué)為例

劉 莉 馮 騏 汪志莉

（1.華東師范大學(xué)信息化辦公室；2.華東師范大學(xué)圖書館；3.華東師范大學(xué)教育信息技術(shù)系，上海 200062）

近年來，隨著教育信息化的迅猛發(fā)展，為了更好地服務(wù)于全校師生的教學(xué)科研管理和生活，本校圖書館作為文獻資源存儲和傳播中心，購買了大量的國內(nèi)外電子資源。這些電子資源一般通過3種方式提供給師生：①建立電子資源的校內(nèi)鏡像；②采用本地鏡像索引+包庫的方式；③賬號許可方式。

目前圖書館引進的電子資源大部分是采用第三種方式，有兩種實現(xiàn)途徑：①圖書館從電子資源提供商那里直接購買使用賬號，遠程連接到電子資源服務(wù)器上進行使用；②將校內(nèi)IP地址段和賬號進行綁定，直通免身份認(rèn)證方式。

但是，目前基于這兩種方式的電子資源訪問，本校和其他很多高校都碰到了類似的困擾——電子資源惡意下載，即電子資源提供商對于電子資源的訪問有嚴(yán)格的監(jiān)控和限制，當(dāng)同一IP地址一段時間內(nèi)或并發(fā)下載超過一定數(shù)量時，就會進行警告，甚至封殺IP地址（段）、進行法律訴訟。一旦學(xué)校收到警告信，或者IP地址遭到封殺，就將產(chǎn)生很大的惡劣影響，一是嚴(yán)重影響學(xué)校的國內(nèi)外形象和聲譽，二是有可能因此大幅增加下一年度的購買成本。

由于本校電信出口進行了地址映射（NAT），所有校園網(wǎng)地址映射成一個（段）IP地址，所以對于某些以單個IP單位時間內(nèi)下載數(shù)量進行判定的數(shù)據(jù)庫惡意下載的誤判、警告頻率和惡劣影響更大，而且給惡意下載源的控制和追溯帶來了更大的挑戰(zhàn)。

1 惡意下載的現(xiàn)狀

雖然幾乎每所圖書館都已經(jīng)發(fā)布了《數(shù)據(jù)庫使用版權(quán)公告》，但隨著電子資源總量的日益增加和使用量的遞增，電子資源惡意下載現(xiàn)象仍呈現(xiàn)日益增長的態(tài)勢。

清華大學(xué)圖書館發(fā)布《違規(guī)使用電子資源的處理情況》，例舉了2003～2013年所有違規(guī)下載行為。浙江大學(xué)圖書館2011～2013年先后發(fā)布了9條、5條、7條關(guān)于違規(guī)下載的通告，這些惡意下載，導(dǎo)致學(xué)校部分IP被封；除此以外，很多其他高校也發(fā)布了“違規(guī)下載通告”。

本校也面臨同樣的問題，例如APS journals，2011年以來先后收到7封違規(guī)下載郵件，ACS也收到6封違規(guī)下載郵件，還有中國知網(wǎng)、申報等也有諸如此類的違規(guī)下載通告。

以上數(shù)據(jù)顯示，如何防范和應(yīng)對電子資源惡意下載已經(jīng)成為全國各大高校圖書館共同面臨和研究的課題。根據(jù)學(xué)校自身特點和借鑒兄弟院校成功經(jīng)驗，高校應(yīng)從制度規(guī)范、意識教育和技術(shù)防范3個方面來逐步解決此問題。圖書館作為電子資源的管理部門，應(yīng)加強電子資源的制度規(guī)范建設(shè)，經(jīng)常性地對師生進行合理合法的使用意識教育。而高校信息化辦公室作為技術(shù)管理部門，應(yīng)該發(fā)揮自身硬件及軟件的技術(shù)優(yōu)勢，對讀者的下載進行實時監(jiān)控，采取有效措施，減少甚至免除惡意下載造成的影響，提高電子資源的服務(wù)質(zhì)量。筆者主要從技術(shù)角度探討電子資源防惡意下載的應(yīng)對措施。

2 電子資源防惡意下載系統(tǒng)的研究現(xiàn)狀

鑒于惡意下載的不良影響，各大高校也結(jié)合自身情況，對文獻下載流量統(tǒng)計與監(jiān)控進行研究與實施。例如，清華大學(xué)圖書館建立了“電子資源訪問管理與控制系統(tǒng)”[1]；上海交通大學(xué)圖書館聯(lián)合校網(wǎng)絡(luò)中心建立了“高校電子資源訪問管理控制系統(tǒng)”[2]；南京航空航天大學(xué)信息學(xué)院提出了“一種帶約束特性的網(wǎng)絡(luò)信息下載監(jiān)考模型”以及“基于使用控制模型的防惡意下載系統(tǒng)”[3]。

國內(nèi)各大高校陸續(xù)提出了適合自身的電子資源訪問管理與控制系統(tǒng)，本校也結(jié)合自身網(wǎng)絡(luò)環(huán)境和電子資源情況，提出解決問題的方案，并逐步付諸實施。

3 電子資源防惡意下載系統(tǒng)的研究思路

惡意下載通常具備以下特征：利用下載工具或多線程進行下載；同一IP地址（段）的單位時間內(nèi)的下載總量或者并發(fā)超出電子資源服務(wù)提供商設(shè)置的閾值。

基于惡意下載的行為特性，通常采取基于流量分析和基于數(shù)據(jù)報文分析兩種方式來進行防惡意下載的研究。

3.1 基于流量分析（網(wǎng)絡(luò)層）

在校園網(wǎng)出口處，針對數(shù)據(jù)庫所提供的IP地址（段）的特定端口，進行流量分析與跟蹤。當(dāng)異常流量出現(xiàn)時（如，短時大量80端口的連接請求），采取風(fēng)險控制措施（中斷該連接或者封禁IP地址）。

基于流量分析方式處理簡單，僅需處理IP數(shù)據(jù)報頭，系統(tǒng)負荷小，易于實現(xiàn)。但是由于模糊定量，無法精確判斷，造成誤判率較高。此種方式下，應(yīng)該參考各電子資源提供商的警告閾值，合理設(shè)置，可以采取將閾值降低的方式，以降低對惡意下載的漏判率。

3.2 基于數(shù)據(jù)報文分析（應(yīng)用層）

在校園網(wǎng)出口處，將所有出入的數(shù)據(jù)報文鏡像，然后在應(yīng)用層對數(shù)據(jù)進行分析控制。即：分析應(yīng)用層的http報文中的url后綴字段，分離出http下載報文和http訪問請求報文。根據(jù)電子資源數(shù)據(jù)庫指定的地址段，對目的地址屬于該范圍的下載報文的特定后綴進行統(tǒng)計分析，如果其單位時間內(nèi)的下載報文次數(shù)超過規(guī)定的閾值（參考各數(shù)據(jù)庫規(guī)定），則對其進行風(fēng)險控制措施（封禁IP或中斷其連接及警告）?；跀?shù)據(jù)報文分析中的數(shù)據(jù)統(tǒng)計分析通常采用將抓包采集到的數(shù)據(jù)，做初步分析之后錄入數(shù)據(jù)庫進行查詢分析或者文本方式存儲在本地，通過搜索引擎建立索引的方式進行文本查詢，數(shù)據(jù)庫中僅保存索引。文本方式對系統(tǒng)負荷小，但性能取決于搜索引擎的優(yōu)化。

基于數(shù)據(jù)報文分析方式判斷精確，誤判率較低。但由于要實時處理長字符串（http報文），處理復(fù)雜，因此系統(tǒng)負荷較大。

4 電子資源防惡意下載系統(tǒng)設(shè)計

2010年，本校已經(jīng)進行了電子資源防惡意下載系統(tǒng)的探索嘗試，通過部署在校園網(wǎng)出口處的上網(wǎng)行為審計設(shè)備進行電子資源數(shù)據(jù)庫的訪問統(tǒng)計分析與追溯。該設(shè)備將所有校園網(wǎng)出口的流量進行了鏡像，如圖1所示。

圖1 流量鏡像配置

由于上網(wǎng)行為審計設(shè)備旁路在校園網(wǎng)出口，僅對流經(jīng)校園網(wǎng)出口的網(wǎng)絡(luò)流量進行了鏡像，而且定制功能尚不完善，所以該功能目前僅用于供圖書館進行訪問統(tǒng)計分析和惡意下載的事后追溯，無法進行控制和防護。

圖2 現(xiàn)狀

在借鑒學(xué)習(xí)了諸多其他兄弟院校的解決方案后，本校也積極做了進一步的研究和嘗試。由于基于網(wǎng)絡(luò)流量的方式存在誤判率較高的問題，因此筆者選擇基于數(shù)據(jù)報文的方式來進行電子資源防惡意下載系統(tǒng)的研究與探索，以期對電子資源的訪問下載進行有效的管理以及合理的使用。

基于數(shù)據(jù)報文的電子資源防惡意下載系統(tǒng)的技術(shù)方案包括系統(tǒng)網(wǎng)絡(luò)架構(gòu)、軟件架構(gòu)和技術(shù)實施方案3部分。

4.1 系統(tǒng)網(wǎng)絡(luò)架構(gòu)方案

電子資源防惡意下載系統(tǒng)的網(wǎng)絡(luò)架構(gòu)與以前的實現(xiàn)方法類似，即在校園網(wǎng)絡(luò)出口處將所有流量鏡像給抓包服務(wù)器，或者抓包服務(wù)器、應(yīng)用服務(wù)器合并串聯(lián)在校園網(wǎng)出口處，如圖3所示。

圖3 系統(tǒng)網(wǎng)絡(luò)架構(gòu)

4.2 系統(tǒng)軟件架構(gòu)及技術(shù)方案

電子資源的下載大多采用HTTP方式和FTP方式。由于數(shù)據(jù)庫提供商一般不會提供BT方式，所以本方案對此暫未考慮。對于控制下載行為及下載計數(shù)，首先需要分析應(yīng)用層網(wǎng)絡(luò)數(shù)據(jù)包的包頭，分析包頭中哪些是下載的數(shù)據(jù)包。對于HTTP方式的下載，需要分析每個HTTP請求及響應(yīng)的參數(shù)，根據(jù)HTTP協(xié)議response的Content-Type來判斷響應(yīng)的類型，如果是規(guī)定的文件類型，則記為一次下載。對于FTP方式的文件下載，可以通過監(jiān)聽tcp協(xié)議的21號端口，如果21端口有數(shù)據(jù)傳輸，則記為下載。

本方案實現(xiàn)中的難點是對于某些特定的下載，資料鏈接在A網(wǎng)站，而存儲在B網(wǎng)站，于是真正的下載需要跳到B網(wǎng)站進行，此時需要人工創(chuàng)建或者自動建立A網(wǎng)站和B網(wǎng)站之間的關(guān)系。關(guān)系創(chuàng)建之后，所有B網(wǎng)站的下載可視為A網(wǎng)站的下載。

本電子資源防惡意下載系統(tǒng)自下而上可分為網(wǎng)絡(luò)數(shù)據(jù)包抓取系統(tǒng)、解析HTTP tcp/ip數(shù)據(jù)包系統(tǒng)、下載規(guī)則對比、下載規(guī)則管理平臺、統(tǒng)計報表系統(tǒng)。本解決方案的軟件架構(gòu)如圖4所示。

圖4 系統(tǒng)軟件架構(gòu)

電子資源防惡意下載系統(tǒng)使用C語言和Java語言編寫，運行在LINUX平臺，也可以運行在Windows平臺。電子資源防惡意下載系統(tǒng)要求HTTP數(shù)據(jù)包抓包率達到100%，每個數(shù)據(jù)包的分析過濾響應(yīng)時間小于10ms，才能保證每一個可能的惡意下載都納入監(jiān)控之中。因此，網(wǎng)絡(luò)數(shù)據(jù)包抓包程序和數(shù)據(jù)包分析協(xié)議解碼程序由C語言編寫，C語言在速度和執(zhí)行效率上要高于Java等其他語言。

4.2.1 網(wǎng)絡(luò)數(shù)據(jù)包抓包程序

網(wǎng)絡(luò)數(shù)據(jù)包抓包程序采用Libpcap作為底層抓包庫。Libpcap是unix/linux平臺下的網(wǎng)絡(luò)數(shù)據(jù)包捕獲函數(shù)包，這個抓包庫提供了一個高層次的接口可以捕獲所有網(wǎng)絡(luò)上的數(shù)據(jù)包，并充分考慮到應(yīng)用程序的可移植性。

4.2.2 數(shù)據(jù)包分析封底&解碼程序

數(shù)據(jù)包分析封底&解碼程序，負責(zé)解析HTTP和TCP/IP數(shù)據(jù)包并將結(jié)果放到Pool中。

對于每一次下載，需要根據(jù)TCP協(xié)議解析TCP協(xié)議包頭得到源端口和目標(biāo)端口；根據(jù)IP協(xié)議解析IP協(xié)議包頭得到源IP地址和目標(biāo)IP地址。然后，再解析HTTP協(xié)議請求響應(yīng)Header，如圖5所示。

圖5 HTTP請求響應(yīng)Header

根據(jù)HTTP 請求頭，取到字段（host，URL，Referer，Request Date，Content-type，Response Date，Response，Contentstype，payload）。最后，把TCP/IP和HTTP協(xié)議解析得到的所有有用字段放入Pool中，供規(guī)則對比程序調(diào)用數(shù)據(jù)。

4.2.3 分析線程流程

圖6 數(shù)據(jù)分析線程流程

①首先通過數(shù)據(jù)包抓包程序和分析程序抓取IP、TCP和HTTP數(shù)據(jù)報文。

如果是數(shù)據(jù)包HTTP的Request，則將數(shù)據(jù)包中的RequestURl、REFERER、HOST及HTTP協(xié)議對應(yīng)的TCP報文的端口、ack號及IP報文的IP地址等信息放到內(nèi)存中緩存Pool中（TCP封裝的http協(xié)議報文中，HTTP的Request數(shù)據(jù)報文TCP的ack編號和Response對應(yīng)的TCP報文的seq編號相同。根據(jù)這個編號及IP地址、端口建立Request和Response的對應(yīng)關(guān)系）。對于跨站下載方式，真正的下載鏈接在其他網(wǎng)站，可以通過HTTP報文中的REFERER字段來判斷是否是控制網(wǎng)站發(fā)出的請求。

如果數(shù)據(jù)包是Response報文類型，取到TCP報文的端口、seq和IP報文中的IP地址信息，根據(jù)這些信息從內(nèi)存中緩存Pool取出請求信息，能取出說明是要控制下載的網(wǎng)站的請求的URL。然后取到HTTP協(xié)議報文對應(yīng)的content_type，根據(jù)content_type判斷請求的URL是否是下載的文件類型。如果是，再從HTTP response報文Content_Disposition中取到下載的文件名，將下載信息存到內(nèi)存緩存中，由另外保存下載的線程存入數(shù)據(jù)庫中。

常見屬于下載文件content_type類型有application/octetstream、application/pdf、application/msword、application/x-xls、application/vnd.ms-excel、application/x-ppt和application/zip。

4.2.4 數(shù)據(jù)下載規(guī)則比對

協(xié)議分析程序分離出需要控制的協(xié)議包，根據(jù)規(guī)則庫定義的規(guī)則進行對比。程序在啟動時把所有網(wǎng)站的下載規(guī)則包括每個網(wǎng)站最后的時間、下載次數(shù)都讀到內(nèi)存中。當(dāng)有一個HTTP或TCP的數(shù)據(jù)包到達時，和內(nèi)存中的規(guī)則庫比較，如果達到該網(wǎng)站規(guī)則的下載的最大次數(shù)，通知阻斷下載的接口，同時更新該網(wǎng)站下載次數(shù)，記錄該網(wǎng)站的下載記錄。如果沒有達到允許的下載次數(shù)，則只記錄該網(wǎng)站的下載記錄。數(shù)據(jù)下載規(guī)則比對流程如圖7所示。

圖7 數(shù)據(jù)下載規(guī)則比對流程

4.3 模擬實現(xiàn)

電子資源防惡意下載系統(tǒng)使用C語言和Java語言編寫，在Windows平臺下進行了模擬實現(xiàn)。運行環(huán)境：JDK1.6、GCC；數(shù)據(jù)庫：Mysql 6.1；應(yīng)用服務(wù)器：Tomcat6.36。模擬實現(xiàn)效果如圖8所示。

圖8 模擬實現(xiàn)效果

5 總結(jié)與展望

隨著電子資源的不斷增加，惡意下載形勢日益嚴(yán)峻，我們必須根據(jù)本館的實際情況，積極面對這一挑戰(zhàn)。筆者基于數(shù)據(jù)報文方式進行了一定的研究探索和模擬實現(xiàn)，控制下載次數(shù)的統(tǒng)計要求HTTP數(shù)據(jù)包抓包率100%，每個數(shù)據(jù)包的分析過濾響應(yīng)時間小于10ms，這樣才能保證監(jiān)控到每一次下載。學(xué)?？偝隹诹髁勘容^大，需要軟件結(jié)合性能強大的硬件才能更加完善，因此下一步需要加強硬件的支撐，完善阻斷功能，才能更好地防范惡意下載。

[1] 鄒榮，等.電子資源訪問管理與控制系統(tǒng)的設(shè)計與應(yīng)用[J].圖書情報工作，2010（1）.

[2] 施曉華，錢吟，謝銳.高校電子資源訪問控制系統(tǒng)的設(shè)計和應(yīng)用[J].計算機應(yīng)用研究，2011（3）.

[3] 劉大偉，等.基于使用控制模型的防惡意下載系統(tǒng)[J].計算機工程，2009（23）.