基于校園網(wǎng)的網(wǎng)絡(luò)透明緩存系統(tǒng)的構(gòu)建與實現(xiàn)

董春生

摘 要：網(wǎng)絡(luò)緩存技術(shù)是目前用來提高高校校園網(wǎng)的用戶響應(yīng)速度及相關(guān)網(wǎng)絡(luò)性能的有效手段，本文詳細介紹了網(wǎng)絡(luò)緩存技術(shù)在校園網(wǎng)中的構(gòu)建與實現(xiàn),及其工作原理、性能特點,并說明了使用網(wǎng)絡(luò)緩存的優(yōu)越性。

關(guān)鍵詞：校園網(wǎng) 網(wǎng)絡(luò)緩存 網(wǎng)絡(luò)結(jié)構(gòu) 教育網(wǎng) 流量

中圖分類號：TP393.18 文獻標識碼：B 文章編號：1673-8454（2009）01-0036-03

一、概述

1.互聯(lián)網(wǎng)訪問存在的問題

近年來，隨著許多高校校園網(wǎng)網(wǎng)絡(luò)規(guī)模的迅速擴大，上網(wǎng)用戶爆炸性增加，校園網(wǎng)網(wǎng)絡(luò)帶寬及Web服務(wù)器處理能力的增長速度永遠處于巨大的壓力下，這種供需雙方的不平衡發(fā)展帶來諸多的問題，出現(xiàn)了骨干鏈路擁塞、服務(wù)器過載以及響應(yīng)時間過長等現(xiàn)象。用戶普遍反映校園網(wǎng)網(wǎng)速慢，希望提高網(wǎng)絡(luò)訪問速度的要求越來越強烈?？梢哉f，網(wǎng)絡(luò)訪問速度已經(jīng)成為影響高校數(shù)字化建設(shè)的一項重要指標。

從整體上看，校園網(wǎng)用戶得到的響應(yīng)慢是由以下幾個因素造成的：

（１）網(wǎng)站服務(wù)器的延時

當(dāng)某個服務(wù)器收到多個并發(fā)HTTP請求時，會產(chǎn)生排隊延時。由于響應(yīng)一個HTTP請求，往往需要多次訪問本地硬盤，所以即使是一臺負載并不大的服務(wù)器，也可能產(chǎn)生幾十或幾百微秒的延時。

（２）由路由器、網(wǎng)關(guān)、防火墻引起的延時

通常在客戶端和服務(wù)器之間的路徑上會存在多個網(wǎng)絡(luò)設(shè)備，如路由器、網(wǎng)關(guān)、防火墻等。它們對經(jīng)過的IP包都要做存儲/轉(zhuǎn)發(fā)的操作，于是會引入排隊延時和處理延時。在網(wǎng)絡(luò)擁堵時，這些設(shè)備甚至?xí)G棄數(shù)據(jù)包，此時會寄希望于客戶端和服務(wù)器通過端到端的協(xié)議來恢復(fù)通信。

（３）不同通信鏈路上的數(shù)據(jù)傳輸速度

在廣域網(wǎng)中，從一個網(wǎng)絡(luò)設(shè)備到另一個網(wǎng)絡(luò)設(shè)備間的數(shù)據(jù)傳輸速度是決定往返時間的一個重要因素。但基本帶寬所起的作用并不像人們想象的那么重要，一項測試表明，當(dāng)網(wǎng)站采用T3速率接入Internet時，也僅有2%的網(wǎng)頁或?qū)ο竽芤?4kbps的速度提供給客戶端。這顯然表明，帶寬在網(wǎng)絡(luò)性能上不是最關(guān)鍵的因素。

（４）互聯(lián)網(wǎng)上新業(yè)務(wù)發(fā)展帶來的挑戰(zhàn)

隨著寬帶平臺的建設(shè)完成與互聯(lián)網(wǎng)的發(fā)展，互聯(lián)網(wǎng)上的新業(yè)務(wù)層出不窮，其中開展最好的主要有互動游戲與視頻服務(wù)。網(wǎng)絡(luò)游戲的運營不會對校園網(wǎng)絡(luò)產(chǎn)生太大的影響。而視頻服務(wù)作為目前校園網(wǎng)的主要業(yè)務(wù)之一，基于流媒體協(xié)議，具有時序性、連續(xù)性、低延時性的特點，同時在網(wǎng)絡(luò)上傳輸?shù)臄?shù)據(jù)量較大，校園網(wǎng)絡(luò)的延時往往會影響用戶的訪問質(zhì)量。

2.網(wǎng)絡(luò)緩存解決的問題

高校校園網(wǎng)正以迅猛的速度發(fā)展，在全國高校中，99%以上的高校有自己的Web地址，80%以上的高校已實現(xiàn)了校園網(wǎng)，并在公用Internet上存放圖文并茂的數(shù)據(jù)。在未來的幾年里，校園網(wǎng)用戶數(shù)量將進一步增長。Web訪問需求不可控制的增長將導(dǎo)致人們?yōu)闈M足帶寬需求付出巨大的努力。

Web的流量是驚人的，但其中絕大部分是冗余的，即一個位置上的多個用戶要訪問大量相同的內(nèi)容，這意味著在廣域網(wǎng)上日復(fù)一日地傳輸大量相同的內(nèi)容。消除這些大量的重復(fù)傳輸，就可以大大降低通信成本，從而為校園網(wǎng)管理部門和用戶節(jié)約大量的費用。Web緩存實現(xiàn)了Web內(nèi)容的本地存儲，為校園網(wǎng)用戶的訪問提供了快捷的服務(wù)，而不用在廣域網(wǎng)上重復(fù)傳遞訪問請求和結(jié)果。

網(wǎng)絡(luò)緩存技術(shù)正是基于這樣一個事實：校園網(wǎng)用戶訪問Internet的數(shù)據(jù)中，有很大一部分是重復(fù)的。通過使用網(wǎng)絡(luò)緩存技術(shù)，可以在緩存設(shè)備中緩存用戶訪問過的對象，這樣對相同對象的訪問就無需再占用服務(wù)器處理能力或者主干的出口帶寬。同時，由于校園網(wǎng)用戶對服務(wù)器的請求可以由校內(nèi)的緩存設(shè)備立即響應(yīng)，因此可以極大地提高校園網(wǎng)用戶訪問的響應(yīng)速度，減少互聯(lián)網(wǎng)延時對校園網(wǎng)用戶的影響。

二、用戶需求

高校校園網(wǎng)用戶在使用中國教育和科研計算機網(wǎng)（CERNET，以下簡稱教育網(wǎng)）的過程中，發(fā)現(xiàn)訪問網(wǎng)站頁面速度比較慢。這主要是由于教育網(wǎng)的出口在清華大學(xué)，校園網(wǎng)用戶訪問網(wǎng)站頁面時需要繞到清華大學(xué)出口，用戶的數(shù)據(jù)包繞經(jīng)多臺網(wǎng)絡(luò)設(shè)備，每臺設(shè)備都需要對IP包進行排隊轉(zhuǎn)發(fā)，造成了較大的網(wǎng)絡(luò)延遲。為了減少IP包在網(wǎng)絡(luò)中的延遲時間，提高用戶打開網(wǎng)頁的速度，各高校校園網(wǎng)管理者希望通過網(wǎng)絡(luò)緩存系統(tǒng)解決目前的問題。

各高校由于沒有自身的Internet網(wǎng)絡(luò)出口，為了向其用戶提供上網(wǎng)服務(wù)，需要使用教育網(wǎng)的線路。教育網(wǎng)與其他網(wǎng)絡(luò)運營商之間的互聯(lián)互通會引起網(wǎng)絡(luò)的較大時延，直接導(dǎo)致用戶的訪問效果不佳，而更為重要的是：對于國際流量各高校需要按照網(wǎng)絡(luò)流量向教育網(wǎng)支付相關(guān)的費用。通過建立網(wǎng)絡(luò)緩存系統(tǒng)，能夠有效地節(jié)約各高校的國際訪問流量，降低系統(tǒng)運行費用，同時改善用戶的訪問效果。

1.未部署網(wǎng)絡(luò)緩存系統(tǒng)前的網(wǎng)絡(luò)拓撲結(jié)構(gòu)

我校未部署網(wǎng)絡(luò)緩存系統(tǒng)前的網(wǎng)絡(luò)拓撲結(jié)構(gòu)如圖1所示。

我校的校園網(wǎng)網(wǎng)絡(luò)采用雙核心結(jié)構(gòu)，通過在兩個校區(qū)設(shè)置的核心交換機來承載全校的數(shù)據(jù)流量，并通過各自連接的一條千兆光纖接入教育網(wǎng)。核心節(jié)點之間采用雙鏈路連接，兩個核心之間互為冗余。校內(nèi)各樓宇通過交換機分別連接兩個核心節(jié)點，流量在兩條鏈路上實現(xiàn)負載分擔(dān)和冗余。

2.緩存系統(tǒng)建設(shè)要求

緩存系統(tǒng)的建設(shè)既要符合對當(dāng)前系統(tǒng)應(yīng)用的考慮，又要面向未來數(shù)字化校園發(fā)展的需求。其建設(shè)原則主要有以下幾點：

（１）實用性和先進性

采用成熟的技術(shù)滿足當(dāng)前的業(yè)務(wù)需求，采用先進的網(wǎng)絡(luò)技術(shù)以適應(yīng)更高的數(shù)據(jù)、多媒體信息的傳輸需要，整個系統(tǒng)在一段時期內(nèi)能保持技術(shù)的先進，并具有良好的發(fā)展?jié)摿?，以適應(yīng)未來業(yè)務(wù)的發(fā)展和技術(shù)升級的需要。

（２）靈活性與可擴展性

隨著業(yè)務(wù)量的發(fā)展，能夠通過對緩存設(shè)備的擴容、分散部署，擴大網(wǎng)絡(luò)容量，提高網(wǎng)絡(luò)各層次節(jié)點的功能。緩存系統(tǒng)應(yīng)具備支持多種通信媒體的能力，提供技術(shù)升級、設(shè)備更新的靈活性，從而適應(yīng)數(shù)據(jù)業(yè)務(wù)的迅速發(fā)展。

（３）可管理性

采用智能化、可管理的緩存設(shè)備，能夠?qū)崿F(xiàn)監(jiān)控、監(jiān)測整個網(wǎng)絡(luò)的運行狀況，合理分配網(wǎng)絡(luò)資源、動態(tài)配置網(wǎng)絡(luò)負載，可以迅速確定網(wǎng)絡(luò)故障等。

本期工程主要是對校內(nèi)用戶進行Web加速，需要在校園網(wǎng)出口處布置網(wǎng)絡(luò)緩存（Cache）設(shè)備。Cache設(shè)備的部署采用透明代理的方式，即Cache設(shè)備對用戶是透明的，避免用戶端改動配置。考慮到用戶需求增長得很快，為了滿足今后的擴容及Cache資源的最大化利用，布置Cache設(shè)備時需要考慮到流量在多臺Cache設(shè)備間的負載均衡及靈活方便地增加Cache設(shè)備數(shù)量。

三、方案建議與實施

在當(dāng)前的網(wǎng)絡(luò)結(jié)構(gòu)中，推薦采用四層交換設(shè)備部署網(wǎng)絡(luò)緩存系統(tǒng)。該方式是在校園網(wǎng)的出口處外掛四層交換機。通過核心路由器和四層交換機配合完成用戶數(shù)據(jù)的重定向，四層交換機實現(xiàn)對Cache設(shè)備的負載均衡和健康檢測。

1.方案部署結(jié)構(gòu)

部署網(wǎng)絡(luò)緩存系統(tǒng)后的網(wǎng)絡(luò)拓撲結(jié)構(gòu)如圖2所示。

如圖2所示，在本方案中兩臺核心交換機各采用一條鏈路連接到一臺四層交換機，該四層交換機再通過以太網(wǎng)接口下連Cache設(shè)備。四層交換機可以布置在核心機房，通過光纖同時連接到兩臺核心交換機上。

在核心交換機上配置策略路由，將端口號是80（HTTP）、21（FTP）、554（RTSP）、1755（MMS）的數(shù)據(jù)包轉(zhuǎn)發(fā)到四層交換機上。四層交換機對Cache設(shè)備進行健康檢測，并將兩臺核心交換機轉(zhuǎn)發(fā)來的數(shù)據(jù)包在多臺Cache設(shè)備上進行負載均衡。

2.數(shù)據(jù)訪問流程

下面，我們以核心交換機1為例，說明校園網(wǎng)用戶進行HTTP數(shù)據(jù)訪問的具體流程：

（１）校內(nèi)用戶的HTTP請求到達核心交換機1后，其按照在連接校內(nèi)用戶的端口上所作的基于TCP 80端口的策略路由，將用戶請求重定向到四層交換機；

（２）四層交換機根據(jù)數(shù)據(jù)包的目的地址，把HTTP請求重定向到某臺Cache設(shè)備中；

（３）如果Cache設(shè)備中已經(jīng)存儲了用戶請求的相關(guān)內(nèi)容，Cache設(shè)備將直接響應(yīng)用戶請求，Cache通過四層交換機與核心交換機1的互連端口將回應(yīng)數(shù)據(jù)包轉(zhuǎn)發(fā)到核心交換機1，由核心交換機1將數(shù)據(jù)轉(zhuǎn)發(fā)到用戶端；

（４）如果Cache設(shè)備中沒有保存用戶所請求的內(nèi)容，Cache會代替用戶向Web服務(wù)器發(fā)起HTTP請求，數(shù)據(jù)包通過四層交換機轉(zhuǎn)發(fā)到核心交換機1，再由核心交換機1發(fā)送到Web服務(wù)器上獲取相關(guān)數(shù)據(jù)，并返回到Cache設(shè)備保留備份。同時Cache利用保存的內(nèi)容響應(yīng)用戶的請求。

如果某臺Cache設(shè)備發(fā)生了宕機，會被四層交換機的健康檢測及時發(fā)現(xiàn)。宕機的Cache設(shè)備將不會再被分發(fā)數(shù)據(jù)包，四層交換機會將后繼的數(shù)據(jù)包轉(zhuǎn)發(fā)到其他可用的Cache設(shè)備上。如果所有的Cache設(shè)備都宕機了，四層交換機會把核心交換機1轉(zhuǎn)發(fā)來的用戶請求再轉(zhuǎn)發(fā)回核心交換機1，核心交換機1再把請求發(fā)送到Web服務(wù)器，由Web服務(wù)器直接響應(yīng)用戶請求。這樣就避免了由于Cache設(shè)備不可用造成的用戶Web服務(wù)中斷。

另外，四層交換機還可以根據(jù)Cache設(shè)備的性能，在Cache設(shè)備間按比例分布流量，實現(xiàn)每臺Cache設(shè)備資源的最大化利用。對于今后的擴容，管理員可以方便地將新的Cache設(shè)備掛接到四層交換機下，稍做配置即可實現(xiàn)容量的擴容。

核心交換機1也有一定的健康檢測功能，可以對四層交換機進行健康檢測。若連接四層交換機的鏈路斷掉或交換機宕機，都可以被核心交換機1檢測到，并取消向四層交換機路由的重定向，數(shù)據(jù)包被直接轉(zhuǎn)發(fā)到Web服務(wù)器，從而保證了用戶可以正常上網(wǎng)。

核心交換機1的路由重定向可以根據(jù)TCP端口進行轉(zhuǎn)發(fā)，并能限定數(shù)據(jù)包源IP地址、目的IP地址和進出路由器方向。根據(jù)這些特性，我們在核心交換機1上只對校園網(wǎng)內(nèi)部節(jié)點的用戶進入核心交換機1的數(shù)據(jù)包進行路由重定向（如根據(jù)源IP地址）。來自校園網(wǎng)外、Cache設(shè)備、其它地點和流出核心交換機1的數(shù)據(jù)包，核心交換機1不進行路由重定向，因此不會形成數(shù)據(jù)環(huán)路。

3.優(yōu)化的流量

Cache設(shè)備接入到我校的校園網(wǎng)后，優(yōu)化了帶寬的流量有以下幾種：HTTP、FTP、Streaming（RTSP、MMS）。

根據(jù)部署前后所做的對比測試，對HTTP流量，達到30%的帶寬節(jié)省效果，通過策略對一些Web對象進行優(yōu)化后，最高可達40%以上的帶寬節(jié)省效果。

對FTP流量，所有匿名FTP的訪問，Cache設(shè)備都能對其進行緩存，具體節(jié)省帶寬的大小取決于當(dāng)前校園網(wǎng)網(wǎng)絡(luò)中FTP流量的總量。增加Cache設(shè)備對FTP Data通道的流量進行緩存，時間稍長后，節(jié)省的帶寬將有明顯改善。

RTSP、MMS直播/點播流量在校園網(wǎng)呈上升趨勢，僅CCTV就有11個網(wǎng)上頻道有直播和點播。例如：在進行十七大網(wǎng)上直播的高峰時段，CCTV在我校網(wǎng)絡(luò)緩存設(shè)備節(jié)點上650Mbps的直播流量中，服務(wù)器端流量僅不到10Mbps；沒有直播時，該節(jié)點上點播流量達155Mbps，服務(wù)器端流量僅不到5Mbps。

RTSP、MMS流媒體流量的帶寬節(jié)省取決于實際的流量總量。但從比例上講，視頻點播（靜態(tài)流媒體文件）業(yè)務(wù)經(jīng)過一段時間運行后，帶寬節(jié)省率應(yīng)在該項總量的60%左右，直播業(yè)務(wù)帶寬節(jié)省率應(yīng)該在該項總量的90%左右。

這里需要說明的是，PPLive/QQLive/PPStream的播放雖然基于WMS（Windows Media Services），但其采用P2P方式獲取數(shù)據(jù)，且沒有使用RTSP或MMS來建立Client與Server之間的控制通道，因此Cache設(shè)備無法對這些流量進行標準流媒體的分流（Streaming Splitting）。

四、結(jié)束語

通過網(wǎng)絡(luò)緩存系統(tǒng)的部署，有效地優(yōu)化了我校校園網(wǎng)幾種主要業(yè)務(wù)的網(wǎng)絡(luò)帶寬，減少了校園網(wǎng)出口的流量，節(jié)省了網(wǎng)絡(luò)運營開銷，成功地改善了我校校園網(wǎng)網(wǎng)絡(luò)擁塞的狀況，得到了廣大校園網(wǎng)用戶的認可。

參考文獻：

[1]郭琳,李欣,陳志軍,蘇群,程懋泰,趙宇明.網(wǎng)絡(luò)緩存技術(shù)[J].計算機系統(tǒng)應(yīng)用,2002 (8).

[2]樂德廣,郭東輝,吳伯僖. 網(wǎng)絡(luò)緩存技術(shù)及應(yīng)用的研究[J].計算機系統(tǒng)應(yīng)用, 2003 (5).

[3]黃慧,李建華. 網(wǎng)絡(luò)緩存性能的研究[J].信息安全與通信保密,2004(11).

[4]王昭,郭成城,晏蒲柳.一個面向站點的Web緩存系統(tǒng)[J].計算機工程, 2005 (7).

[5]趙玉偉.WWW中緩存機制的應(yīng)用研究[D].武漢:武漢理工大學(xué),2006.

[6]黃文楓. 基于主動網(wǎng)絡(luò)的緩存技術(shù)研究[D].西安:西安電子科技大學(xué),2007.