隨著互聯(lián)網(wǎng)漸漸融入人們的生活,愈發(fā)龐大的用戶規(guī)模和數(shù)據(jù)規(guī)模對系統(tǒng)性能提出了更高的要求,因此,在其中起重要作用的緩存技術(shù)在系統(tǒng)應(yīng)用中的應(yīng)用越來越廣泛。本文介紹了分布式緩存概述以及云計算分布式部署業(yè)務(wù)的優(yōu)勢,分析了云計算環(huán)境下分布式緩存技術(shù)的架構(gòu)以及淘汰策略,并且提出了未來發(fā)展方向,從而提高數(shù)據(jù)存儲的可靠性。
云計算;分布式緩存;問題
1分布式緩存概述
社會的發(fā)展,用戶需求的變化,都極大的促進了分布式數(shù)據(jù)儲存技術(shù)的變革和發(fā)展。歸納而言,分布式數(shù)據(jù)儲存技術(shù)的發(fā)展主要經(jīng)歷了本地式緩存、分布式緩存系統(tǒng)、彈性緩存平臺以及彈性應(yīng)用平臺等階段。由于分布式數(shù)據(jù)緩存技術(shù)是云計算平臺的基礎(chǔ),因此在面對不斷攀升的數(shù)據(jù)規(guī)模和用戶規(guī)模的背景下,需要在合理控制成本的基礎(chǔ)上,提高分布式數(shù)據(jù)儲存的性能。
2云計算分布式部署業(yè)務(wù)的優(yōu)勢
根據(jù)云計算平臺的特性,通過云計算平臺分布式部署業(yè)務(wù)主要有如下的優(yōu)勢(1)負載均衡,多臺虛擬機分擔業(yè)務(wù)流量業(yè)務(wù)承載以虛擬機形式,負載均衡仍采用原來的方式,通過負載均衡將業(yè)務(wù)負載分擔在不同的業(yè)務(wù)虛擬機上,常用的負載均衡發(fā)生在局域網(wǎng)內(nèi)部,常用的軟件有 Nginx/ HAProxy/F5/LVS 等。(2)虛擬機親和性,保障高等級虛擬機使用高性能物理服務(wù)器通過云計算平臺自身對物理主機的親和性,可以將業(yè)務(wù)虛擬機綁定在指定的物理機主機上,即使虛擬機上電后仍然會優(yōu)先啟動在綁定的物理節(jié)點上,建立虛擬機資源和物理資源的對應(yīng)關(guān)系,可以有效的保障高等級虛擬機運行在高性能服務(wù)器上。(3)虛擬機聚合性,避免流量風暴云計算平臺聚合性功能,可以綁定兩臺或多臺虛擬機作為聚合組,將其部署在指定的物理節(jié)點上,建立虛擬機與虛擬機之間的業(yè)務(wù)聚合組之后,虛擬機與虛擬機的流量在物理節(jié)點內(nèi)部完成,使交互較多的虛機盡量分布在同一個物理節(jié)點上,減少跨物理節(jié)點的網(wǎng)絡(luò)流量。(4)虛擬機背離性,跨物理節(jié)點的集群分布云計算平臺背離性功能,可以設(shè)置兩臺或多臺虛擬機背離性,作為互斥的虛擬機組,可以設(shè)置虛擬機部署在不同物理節(jié)點上,有效的減少物理節(jié)點的單點故障對虛擬機業(yè)務(wù)的影響。(5)遷移,利用云計算平臺自身的遷移功能,可以實現(xiàn)業(yè)務(wù)的靈活遷移,保持IP地址不變,虛擬機的遷移對訪問者無感知。同時根據(jù)云計算平臺的遷移功能,在高峰時段,可以將虛擬機業(yè)務(wù)分布在不同的計算節(jié)點,避免單物理節(jié)點負載過重,在業(yè)務(wù)的波谷時段,可以將虛擬機集中在單臺或少數(shù)幾臺物理節(jié)點,對其他服務(wù)器進行下電,達到節(jié)能降耗的目的。
3云計算環(huán)境下分布式緩存架構(gòu)分析
3.1服務(wù)器為核心的結(jié)構(gòu)
以服務(wù)器為主的系統(tǒng)架構(gòu)主要是通過網(wǎng)線將服務(wù)器中的設(shè)置的所有網(wǎng)卡進行關(guān)聯(lián)的結(jié)構(gòu)。在此結(jié)構(gòu)中服務(wù)器不僅要對數(shù)據(jù)進行安全的處理和保存,還要對數(shù)據(jù)包的轉(zhuǎn)發(fā)提供有效的支持?;诜?wù)器之上的系統(tǒng)架構(gòu)在線路的連接與架構(gòu)組成上極為的簡便快捷,無須交換機等硬件設(shè)施,促使服務(wù)器與底層網(wǎng)絡(luò)進行良好的交互,從而能夠為路由算法進行有效的開發(fā)與應(yīng)用。然而這種結(jié)構(gòu)也存在一定的不足,例如:鏈路紛繁復雜,服務(wù)器需要大量的計算資源提供支持,服務(wù)器的負載壓力不斷上升,必然會使服務(wù)器的整體計算效率降低,如此就會促使成本的升高、性能降低等問題。
3.2交換機為核心的結(jié)構(gòu)
以往的數(shù)據(jù)緩存基本離不開交換機的支持,在云計算還沒有完全普及時,部分用戶還是利用交換機來發(fā)揮數(shù)據(jù)中心的作用,換而言之交換機就是用戶連接網(wǎng)絡(luò)系統(tǒng)與數(shù)據(jù)中心的橋梁。如此基于交換機之上的架構(gòu)存儲技術(shù)均為樹形結(jié)構(gòu),其涉及的內(nèi)容主要有三個部分:聚合層、邊緣層和核心層。樹形結(jié)構(gòu)相對而言有著極為明顯的優(yōu)勢,不僅具備高效的方法、簡易的鏈接、較強的拓展性等。但是以交換機為基礎(chǔ)的架構(gòu)也有著一定的不足,例如:有限的存儲空間、陳舊的存儲技術(shù)等。但是在數(shù)據(jù)緩存過程中,可對數(shù)據(jù)處理與緩存方面進行優(yōu)化,促使操作過程更加的靈活、高效。
3.3服務(wù)器與交換機相結(jié)合的結(jié)構(gòu)
以服務(wù)器為中心以及以交換機為中心的系統(tǒng)架構(gòu)都存在不足,若能夠?qū)烧哌M行有效的結(jié)合,組成一個混合式的結(jié)構(gòu)就能夠彌補單一式架構(gòu)存在的不足,從而將兩者的優(yōu)勢充分地發(fā)揮出來。這種混合的結(jié)構(gòu)模式的主要優(yōu)勢在網(wǎng)絡(luò)結(jié)構(gòu)、路由成本、可擴展性、構(gòu)建成本上均有體現(xiàn)?;旌鲜降南到y(tǒng)架構(gòu)可通過交換機和服務(wù)器提供數(shù)據(jù)的路由轉(zhuǎn)發(fā)功能,從而使網(wǎng)絡(luò)結(jié)構(gòu)的靈活性以及隨意性得到提高。但是針對其可擴展性而言,方此種混合式結(jié)構(gòu)受服務(wù)器網(wǎng)卡設(shè)置數(shù)目的影響,同時數(shù)據(jù)中心的節(jié)點規(guī)模也是存在一定限制的;針對構(gòu)建成本方面而言,混合結(jié)構(gòu)可將交換機結(jié)構(gòu)與服務(wù)器結(jié)構(gòu)的優(yōu)勢更好地體現(xiàn)出來,在保證使用性能的基礎(chǔ)上減少運行所需的成本。
4分布式緩存技術(shù)存在問題
在分布式緩存的運行過程中,存儲空間不足的現(xiàn)象會經(jīng)常出現(xiàn),此時,緩存系統(tǒng)會對部分緩存的對象進行主動的釋放,從而使存儲空間得到增加。一旦沒有足夠的空間,緩存的對象即使尚未過期也將被釋放。分布式緩存的淘汰策略分為FIFO、LRU和LFU三種。FIFO是一種簡單的消除策略,緩存對象以隊列形式存儲在緩存中,如果沒有足夠的空間,則釋放隊列的頭(首先緩存)對象,通常由鏈表方式實現(xiàn);LRU是一個基于訪問時間的淘汰策略,若無足夠的空間,將釋放最長時間未到達(最久未被訪問)的對象,通草用優(yōu)先級隊列實現(xiàn);LFU是根據(jù)最近訪問頻率消除最近最少被訪問對象的策略,若無足夠的空間,則將釋放最近最少被訪問的對象,該算法通常也通過優(yōu)先級隊列實現(xiàn)。但是由于分布式緩存中工作節(jié)點的內(nèi)存資源有限,對于本地存儲龐大的數(shù)據(jù)輸出,可能出現(xiàn)查詢數(shù)據(jù)無法一次性加載到內(nèi)存中,從而進行多次數(shù)據(jù)傳輸?shù)那闆r,而內(nèi)存與磁盤的數(shù)據(jù)傳輸又會增加查詢?nèi)蝿?wù)的執(zhí)行時間并降低查詢效率,所以對于一些輕量級數(shù)據(jù)管理業(yè)務(wù),大多數(shù)數(shù)據(jù)庫查詢請求是對某些關(guān)鍵數(shù)據(jù)屬性的頻繁查詢處理,因此,在將數(shù)據(jù)加載到內(nèi)存的過程中,盡可能將經(jīng)常處理的屬性數(shù)據(jù)加載到內(nèi)存中是數(shù)據(jù)庫查詢的主要目標,并且可以調(diào)整高頻率數(shù)據(jù)的查詢機會,從而提高數(shù)據(jù)庫查詢處理的效率。
5分布式緩存技術(shù)的發(fā)展方向
(1)加大研究基于糾刪碼的技術(shù):云計算環(huán)境下,一些數(shù)據(jù)放置方法都比較簡單,且都以復制容錯技術(shù)為針對目標。實際工作中對基于糾錯碼的放置技術(shù)的研究力度不夠,無法滿足數(shù)據(jù)中心結(jié)構(gòu)的要求,導致該技術(shù)的容錯性低和數(shù)據(jù)訪問效率低,因此要研究出基于糾錯碼的放置技術(shù),從而符合實際的操作需要,節(jié)約資源,降低成本嘲。(2)改善數(shù)據(jù)網(wǎng)絡(luò)結(jié)構(gòu):不同的應(yīng)用具有不同的特性,各種數(shù)據(jù)的訪問方式會隨著應(yīng)用變化而變化。在未來,人們可以根據(jù)數(shù)據(jù)訪問方式的多樣化,科學構(gòu)建有著高效控制能力的數(shù)據(jù)結(jié)構(gòu),增加系統(tǒng)吞吐量。(3)降低能耗成本:為了降低數(shù)據(jù)中心的成本,可以對存儲應(yīng)用的數(shù)據(jù)訪問模式進行研究,將數(shù)據(jù)中心網(wǎng)絡(luò)中的不必要鏈路以及交換機關(guān)閉,在數(shù)據(jù)的容錯性能以及效率不受到影響的前提下,達到節(jié)能的效果。
6結(jié)束語
當前網(wǎng)絡(luò)科技已在全國范圍內(nèi)推廣、普及,基于信息技術(shù)的企業(yè)發(fā)展就是要通過技術(shù)對數(shù)據(jù)進行處理和保存,在此背景下云計算的出現(xiàn)大大改善了數(shù)據(jù)存儲的環(huán)境,其能夠?qū)嫶蟮臄?shù)據(jù)節(jié)點與網(wǎng)絡(luò)設(shè)備進行有效的關(guān)聯(lián),繼而構(gòu)建規(guī)模更大的數(shù)據(jù)中心,使得數(shù)據(jù)的處理與存儲更加的方便與安全?;谠朴嬎愕姆植际骄彺婕夹g(shù)需要針對存在的問題不斷加強研究,從而為數(shù)據(jù)存儲的安全性和穩(wěn)定性奠定基礎(chǔ)。
參考文獻
[1]孟慶玉.基于云計算的分布式存儲技術(shù)研究[J].信息系統(tǒng)工程,2018(10):43.
[2]鐘啟文.云計算環(huán)境下分布式緩存技術(shù)的現(xiàn)狀與挑戰(zhàn)[J].信息與電腦(理論版),2018(16):171-172.
[3]屠要峰,劉輝,張國良,劉春.一種分布式緩存系統(tǒng)的關(guān)鍵技術(shù)及應(yīng)用[J].計算機科學,2018,45(05):156-162.
[4]陳迪.云計算環(huán)境下內(nèi)存數(shù)據(jù)庫的應(yīng)用與優(yōu)化[D].電子科技大學,2018.
作者簡介:黃柳婷(1987-),女,廣西橫縣人,本科,主要從事CDN運營管理,互聯(lián)網(wǎng)質(zhì)量運營分析管理方面的工作。