互聯(lián)網(wǎng)內(nèi)容加速緩存系統(tǒng)原理簡述

陶文靜 楊 磊

1.2.內(nèi)蒙古廣播電視網(wǎng)絡(luò)集團(tuán)有限公司 內(nèi)蒙古 呼和浩特市 010010

互聯(lián)網(wǎng)內(nèi)容加速緩存系統(tǒng)原理簡述

陶文靜1楊 磊2

1.2.內(nèi)蒙古廣播電視網(wǎng)絡(luò)集團(tuán)有限公司 內(nèi)蒙古 呼和浩特市 010010

本文以互聯(lián)網(wǎng)內(nèi)容加速緩存系統(tǒng)為對象，通過研究、分析其系統(tǒng)構(gòu)成與分發(fā)原理，使人們了解其加速功能，以及高速分發(fā)效果為網(wǎng)絡(luò)運營商帶來的經(jīng)濟(jì)效益和良好的用戶體驗。

緩存系統(tǒng) 內(nèi)容分發(fā) 網(wǎng)絡(luò)加速

1 緩存加速系統(tǒng)簡介

緩存加速系統(tǒng)使用的分發(fā)和加速技術(shù)是廣域網(wǎng)加速的核心手段之一，其主要目標(biāo)是為了減少重復(fù)流量在廣域網(wǎng)的頻繁傳輸，將熱點流量盡可能的靠近終端用戶，從而達(dá)到降低骨干網(wǎng)建設(shè)擴(kuò)容成本和提高終端用戶體驗的目的。

經(jīng)過多年的觀察、調(diào)研、統(tǒng)計，發(fā)現(xiàn)互聯(lián)網(wǎng)流量呈現(xiàn)如下發(fā)展趨勢：

（1）視頻、高清等高帶寬應(yīng)用推動網(wǎng)絡(luò)流量大幅增長；（2）互聯(lián)網(wǎng)公司的巨額資金投入使網(wǎng)絡(luò)流量的集中化趨勢更明顯；（3）移動終端的爆發(fā)使P2P流量逐步轉(zhuǎn)向HTTP流量。

業(yè)務(wù)要求和市場需求緩存加速系統(tǒng)的規(guī)?；瘧?yīng)用提供了基礎(chǔ)。

2 緩存加速系統(tǒng)的價值

隨著移動互聯(lián)網(wǎng)的高速發(fā)展，互聯(lián)網(wǎng)流量出現(xiàn)爆破性增長，用戶對高帶寬內(nèi)容的需求也隨之增長。由于中國地域遼闊，長途傳輸鏈路建設(shè)成本高昂，大量的高帶寬內(nèi)容意味著持續(xù)的建設(shè)成本投入。因此，內(nèi)容本地化成為減少投資的首選。同時，內(nèi)容本地化使得用戶訪問資源距離更近，可有效提升用戶體驗。

傳統(tǒng)大型運營商一般都在核心區(qū)域建設(shè)了大量的IDC數(shù)據(jù)中心，但由于IDC中心的內(nèi)容分屬不同廠家，無法實現(xiàn)硬件資源共享，導(dǎo)致IDC數(shù)據(jù)中心建設(shè)成本與服務(wù)器投資成本居高不下。

緩存加速系統(tǒng)可以在更貼近用戶端的節(jié)點部署內(nèi)容資源共享服務(wù)器，有效節(jié)省了長途傳輸、IDC數(shù)據(jù)中心、服務(wù)器等巨額網(wǎng)絡(luò)建設(shè)成本。同時，由于緩存系統(tǒng)部署更貼近終端用戶網(wǎng)絡(luò)，用戶的高速上網(wǎng)體驗也更有保障。

3 緩存加速系統(tǒng)的工作方式

緩存加速系統(tǒng)的主流工作方式有：分光鏡像、域名引導(dǎo)和策略路由。其中，分光鏡像方式是目前的主流工作方式。分光鏡像是指在運營商核心業(yè)務(wù)匯聚點，通過復(fù)制的方式，將所有終端用戶的上行請求（一般情況下僅上行報文即可）報文引導(dǎo)至緩存系統(tǒng)的監(jiān)聽重定向設(shè)備，該設(shè)備通過預(yù)先制定的策略進(jìn)行匹配，向終端用戶返回重定向報文，同時向源站發(fā)送中斷報文。分光鏡像方式能夠處理HTTP、P2P和DNS協(xié)議，通過分光鏡像的方式能夠同時實現(xiàn)大文件/小文件緩存，是一種綜合性解決方案。

4 緩存加速系統(tǒng)的業(yè)務(wù)結(jié)構(gòu)

緩存加速系統(tǒng)大多采用模塊化設(shè)計，主要的業(yè)務(wù)功能模塊及工作原理如下：

（1）監(jiān)控重定向類模塊：主要為PPS模塊和SDNS模塊。

2.2.1 兩組治療RAU總有效率的比較 共納入12篇文獻(xiàn)，合計有效率治療組為89.89%（880／979），對照組為 75.13%（580／772），I2＝52%，采用隨機(jī)效應(yīng)模型機(jī)型分析，有效率的 RR合并值為1.21，95%CI：1.14～1.29，兩組之間治 RAU總有效率的總效應(yīng)Z＝6.62，P＜0.001，兩組間差異有統(tǒng)計學(xué)意義。見圖1。

PPS模塊主要功能為：各種P2P協(xié)議重定向管理功能、HTTP協(xié)議重定向管理功能、DNS域名重定向功能、域名黑白名單功能和動態(tài)內(nèi)容請求重定向功能。PPS模塊可以分析用戶的協(xié)議請求類型，如果匹配到重定向請求格式，則重定向服務(wù)器向用戶終端發(fā)送重定向報文，為用戶與存儲服務(wù)器提供內(nèi)容數(shù)據(jù)服務(wù)。

SDNS模塊是一個智能DNS模塊，具備傳統(tǒng)DNS的所有功能，同時能夠根據(jù)存儲類模塊的健康狀態(tài)進(jìn)行解析策略的修改，并具備基于請求IP地址范圍進(jìn)行智能解析的功能。

（2）負(fù)荷分擔(dān)和資源管理類模塊：主要由LBE流量負(fù)載均衡、大文件負(fù)載均衡和小文件負(fù)載均衡組成。

LBE是流量負(fù)載均衡設(shè)備，能實現(xiàn)標(biāo)準(zhǔn)的tracker服務(wù)器功能，用于接受內(nèi)網(wǎng)用戶的GET announce請求，并將緩存系統(tǒng)的存儲服務(wù)器地址反饋為用戶。同時，LBE負(fù)責(zé)對存儲服務(wù)器進(jìn)行負(fù)載管理。當(dāng)存儲服務(wù)器的負(fù)載達(dá)到一定的門限值時，LBE會將用戶服務(wù)分配到較空閑的PPC為用戶提供業(yè)務(wù)。

RAMS模塊具有HTTP大文件負(fù)載均衡功能，負(fù)責(zé)大文件存儲模塊（HTTP協(xié)議）的負(fù)載均衡控制管理，可以在多個大文件存儲模塊（HTTP協(xié)議）之間動態(tài)分配用戶的訪問請求。

FAS模塊具有HTTP小文件負(fù)載均衡功能，負(fù)責(zé)小文件存儲模塊（HTTP協(xié)議）的負(fù)載均衡控制管理，可以在多個小文件存儲模塊（HTTP協(xié)議）之間動態(tài)分配用戶的訪問請求。

（3）存儲類模塊：主要分為大文件存儲模塊和小文件存儲模塊。

PPC模塊是大文件存儲模塊，支持各種P2P協(xié)議和HTTP協(xié)議，是緩存加速系統(tǒng)內(nèi)網(wǎng)流量的主要提供方。當(dāng)內(nèi)網(wǎng)用戶獲得存儲服務(wù)器的地址后，將與存儲服務(wù)器連接，存儲服務(wù)器進(jìn)行用戶請求數(shù)據(jù)的內(nèi)容檢索。如果PPC上未檢索到用戶請求數(shù)據(jù)，則為用戶提供代理服務(wù)，用戶從外網(wǎng)拉取相應(yīng)數(shù)據(jù)；存儲服務(wù)器同時保存相應(yīng)數(shù)據(jù)，寫入磁盤中。其它用戶連接存儲服務(wù)器時，如果存儲上檢索到已存在該用戶數(shù)據(jù)時，存儲服務(wù)器直接調(diào)取相應(yīng)數(shù)據(jù)，為用戶提供服務(wù)。

WEBPPC模塊是WEB小文件存儲模塊，其主要功能為WEB小文件緩存、內(nèi)容壓縮支持、內(nèi)容刷新支持、訪問控制管理等。具體功能如下：

（1）訪問控制列表：提供訪問控制功能，其類型包括src、domain、dstdomain等，為后面的功能提供數(shù)據(jù)過濾；（2）壓縮支持：HTTP協(xié)議中有壓縮和非壓縮兩種數(shù)據(jù)格式；（3）被動更新：遵循源站HTTP協(xié)議Header的過期時間；（4）主動更新：也叫強制更新，即使Header未過期；（5）http_access：設(shè)置HTTP的域名白名單；（6）日志處理：按照標(biāo)準(zhǔn)W3C格式記錄訪問日志，每5分鐘切成一個文件，備份到指定目錄中，按天來分路徑存儲，一般默認(rèn)保存時間一個月；（7）X-forwardfor：用于支持動態(tài)域名穿透服務(wù)，保證動態(tài)內(nèi)容的正確性。

5 緩存加速系統(tǒng)業(yè)務(wù)流程

緩存系統(tǒng)支持全代理模式，可以邊下載邊向用戶提供流量服務(wù)。同時支持內(nèi)網(wǎng)調(diào)度功能、多端口服務(wù)功能、私有P2P協(xié)議功能、外網(wǎng)P2P訪問控制功能，并能做到各個協(xié)議的融合，可以在存儲一個文件的同時為不同的終端提供應(yīng)用服務(wù)。

圖1 緩存加速系統(tǒng)業(yè)務(wù)流程

緩存系統(tǒng)通過PPS模塊對用戶請求流量進(jìn)行協(xié)議分析和成份分析，對支持和存在的內(nèi)容，為用戶客戶端發(fā)送302重定向請求報文，讓其資源請求引導(dǎo)至內(nèi)網(wǎng)。LBE負(fù)責(zé)對這類用戶請求進(jìn)行統(tǒng)一管理調(diào)度。當(dāng)LBE檢索本地緩存存儲系統(tǒng)中存在用戶所需的數(shù)據(jù)資源時，會將相關(guān)文件存儲服務(wù)器的地址，通過PEER LIST文件告知用戶，用戶讀取PEER LIST文件內(nèi)的IP地址，并與之建立服務(wù)連接。當(dāng)LBE檢索本地緩存系統(tǒng)后發(fā)現(xiàn)未包含用戶所需要的資源數(shù)據(jù)時，會調(diào)用某臺文件存儲服務(wù)器作為用戶請求代理，從互聯(lián)網(wǎng)拉取相應(yīng)數(shù)據(jù)，同時為用戶提供服務(wù)。具體業(yè)務(wù)流程如圖1所示。

（1）內(nèi)網(wǎng)用戶終端向互聯(lián)網(wǎng)外網(wǎng)調(diào)度服務(wù)器發(fā)送announce的文件資源請求；（2）PPS獲取并檢索該文件資源請求，并主動引導(dǎo)該請求；（3）PPS返回包含存儲服務(wù)器列表的信息給客戶端；（4）客戶端解析存儲服務(wù)器信息，并向LBE請求內(nèi)容，同時LBE為用戶終端準(zhǔn)備相應(yīng)的服務(wù)資源；（5）LBE資源分配完畢后，告知PPC服務(wù)器為用戶準(zhǔn)備緩存代理服務(wù)；（6）用戶連接到LBE分配的PPC服務(wù)器，PPC服務(wù)器從存儲中調(diào)用數(shù)據(jù)為用戶提供內(nèi)容服務(wù)；（7）對于本地未檢索到的數(shù)據(jù)，PPC作為用戶服務(wù)代理，到外部互聯(lián)網(wǎng)處下載，并緩存后發(fā)送給用戶。

通過執(zhí)行以上流程，緩存系統(tǒng)檢索、緩存、或代理用戶的資源訪問請求，引導(dǎo)用戶優(yōu)先從內(nèi)網(wǎng)系統(tǒng)中獲取數(shù)據(jù)，實現(xiàn)一次存儲多次服務(wù)的效果，避免資源的重復(fù)轉(zhuǎn)發(fā)，達(dá)到節(jié)省流量的效果。

結(jié)束語

通過在本地建設(shè)互聯(lián)網(wǎng)內(nèi)容加速緩存系統(tǒng)資源節(jié)點，在核心匯聚點，通過對用戶請求行為的引導(dǎo)干預(yù)，實現(xiàn)優(yōu)先訪問本地化內(nèi)容資源。緩存加速系統(tǒng)建設(shè)成本低，服務(wù)器等資源共享率高，可有效節(jié)省長途傳輸?shù)裙歉少Y源?；ヂ?lián)網(wǎng)內(nèi)容加速緩存系統(tǒng)建設(shè)投入資金少，靈活易部署，資源貼近用戶服務(wù)更可靠，經(jīng)濟(jì)價值與良好的用戶體驗必然使得其在中小型網(wǎng)絡(luò)運營商中廣泛應(yīng)用。

G

A

2096-0751（2017）10-0013-04

陶文靜 內(nèi)蒙古廣播電視網(wǎng)絡(luò)集團(tuán)有限公司 助理工程師楊 磊 內(nèi)蒙古廣播電視網(wǎng)絡(luò)集團(tuán)有限公司 助理工程師

審稿人：周速飛 內(nèi)蒙古廣播電視網(wǎng)絡(luò)集團(tuán)有限公司正高級工程師

王學(xué)敏