網(wǎng)絡(luò)存儲管理系統(tǒng)性能的優(yōu)化

陳廣旭 董啟雄 龔瀛

摘要:存儲架構(gòu)與存儲資源日益的復(fù)雜性,使得系統(tǒng)管理者必須花更大的精力投入到如何更有效的管理存儲資源上。如何設(shè)計一個廉價簡單易用的存儲管理系統(tǒng)成為存儲界關(guān)注的焦點。本文對網(wǎng)絡(luò)存儲管理系統(tǒng)性能的優(yōu)化進(jìn)行了探討。

關(guān)鍵詞:網(wǎng)絡(luò)存儲 管理系統(tǒng) 性能優(yōu)化

針對存儲管理系統(tǒng)的具體應(yīng)用,我們主要從文件系統(tǒng)、網(wǎng)絡(luò)性能和服務(wù)性能方面對網(wǎng)絡(luò)存儲管理系統(tǒng)進(jìn)行優(yōu)化。

一、網(wǎng)絡(luò)存儲管理系統(tǒng)性能瓶頸

存儲管理系統(tǒng)嵌入在一個存儲網(wǎng)絡(luò)環(huán)境之中,想知道它的瓶頸必須先了解整個存儲網(wǎng)絡(luò)系統(tǒng)的結(jié)構(gòu)。存儲網(wǎng)絡(luò)系統(tǒng)由存儲設(shè)備、網(wǎng)絡(luò)設(shè)備和客戶端主機(jī)三個部分組成。存儲設(shè)備是指該系統(tǒng)中采用的NAS、SAN、IP-SAN等磁盤陣列設(shè)備,這些設(shè)備在存儲管理系統(tǒng)的管理下向客戶端主機(jī)提供服務(wù);網(wǎng)絡(luò)設(shè)備主要是指FC交換機(jī)或以太網(wǎng)交換機(jī);客戶端主機(jī)是指安裝了以太網(wǎng)卡、FC HBA卡,并安裝了一定應(yīng)用軟件的主機(jī)設(shè)備。

存儲系統(tǒng)的瓶頸分析主要是看這三個部分中哪一種會首先達(dá)到其性能的最大值。存儲設(shè)備成為整個系統(tǒng)的瓶頸,是指存儲設(shè)備的帶寬達(dá)到最大值,或IOPS達(dá)到最大值,存儲設(shè)備限制了系統(tǒng)性能的進(jìn)一步提升,甚至影響了整個系統(tǒng)的正常運行。由于不同業(yè)務(wù)系統(tǒng)對存儲的性能要求不同,一般小文件(小于1MB)讀寫型的系統(tǒng)中對I/O的要求較高,大文件的讀寫型系統(tǒng)對存儲設(shè)備帶寬的要求比較高。不用應(yīng)用模式下系統(tǒng)對存儲設(shè)備的要求不同,瓶頸點出現(xiàn)的位置和特點也不一樣。

應(yīng)用模式1:

小型網(wǎng)站系統(tǒng),應(yīng)用大多集中于遠(yuǎn)程用戶對WEB頁面訪問,網(wǎng)站內(nèi)部為WEB服務(wù)器和數(shù)據(jù)庫之間的讀寫,應(yīng)用系統(tǒng)對存儲的壓力非常小,差不多所有類型、所有檔次的存儲設(shè)備都可以作為核心存儲,存儲設(shè)備的帶寬和IOPS很難會達(dá)到極限。在這樣的系統(tǒng)中,與存儲設(shè)備連接的網(wǎng)絡(luò)設(shè)備以太網(wǎng)交換機(jī)和接入網(wǎng)部分的可用帶寬最有可能成為存儲網(wǎng)絡(luò)的瓶頸。

應(yīng)用模式2:

如果該網(wǎng)站是一個大型的網(wǎng)絡(luò)視頻系統(tǒng),支持大量用戶在線進(jìn)行視頻節(jié)目播放和下載,這種類型的網(wǎng)站前端接入網(wǎng)一般都在2Gb/s以上。一般來講,由于NAS設(shè)備的帶寬和IOPS相對較小,因此NAS比SAN和IP-SAN設(shè)備更容易成為系統(tǒng)的瓶頸,而SAN和IP-SAN較難成為瓶頸。瓶頸還經(jīng)常會出現(xiàn)在負(fù)責(zé)節(jié)目播放和下載功能的視頻服務(wù)器處。如果視頻服務(wù)器配置的數(shù)量不足,或視頻服務(wù)器之間無法正常地實現(xiàn)自動地網(wǎng)絡(luò)負(fù)載均衡,那么整個系統(tǒng)的性能壓力瓶頸就會出現(xiàn)在視頻服務(wù)器,使用整個視頻網(wǎng)站無法給遠(yuǎn)程用戶提供流暢的節(jié)目畫面。

應(yīng)用模式3:

非線性編輯制作系統(tǒng)。在非線性編輯制作網(wǎng)絡(luò)中,所有工作站共享式地訪問核心存儲系統(tǒng),每臺工作站同時以50-200Mb/S的恒定碼率訪問存儲設(shè)備。業(yè)務(wù)系統(tǒng)對帶寬的壓力非常大,而IOPS壓力較小。存儲設(shè)備內(nèi)部設(shè)計時,一般會通過增加磁盤數(shù)量、增加擴(kuò)展柜數(shù)量、跨擴(kuò)展柜創(chuàng)建RAID組、增加主機(jī)通道數(shù)量等方式最大限度地利用存儲控制器前端和后端的總可用帶寬,使得磁盤、磁盤通道、主機(jī)通道等的總帶寬大于控制器的總帶寬,這樣在工作站訪問時存儲設(shè)備時,才能最大地發(fā)揮出控制器的帶寬性能。帶寬瓶頸在控制器部位才能說明是最好的存儲系統(tǒng)設(shè)計方案。 從上面的四種典型的應(yīng)用模式中,在存儲網(wǎng)絡(luò)當(dāng)中,對于存儲管理系統(tǒng)最可能出現(xiàn)的瓶頸一般表現(xiàn)在三個方面:網(wǎng)絡(luò)性能、存儲服務(wù)性能(比如NAS或SAN)和文件系統(tǒng)。

二、網(wǎng)絡(luò)存儲管理系統(tǒng)優(yōu)化思路

對于網(wǎng)絡(luò)性能的優(yōu)化,首先優(yōu)化與網(wǎng)絡(luò)設(shè)備有關(guān),網(wǎng)絡(luò)設(shè)備(例如網(wǎng)卡、集線器、網(wǎng)關(guān)和路由器)的選擇對網(wǎng)絡(luò)的性能表現(xiàn)有很大的影響,選擇合適的網(wǎng)絡(luò)硬件是非常必要的,而對于網(wǎng)絡(luò)設(shè)備帶寬參數(shù)是最重要的,由于存儲網(wǎng)絡(luò)中有大數(shù)據(jù)量的傳輸操作和高頻率的I/O請求,因此在存儲網(wǎng)絡(luò)中應(yīng)該選擇帶寬高的網(wǎng)絡(luò)設(shè)備。其次是網(wǎng)絡(luò)設(shè)計本身,我們采用IP accounting技術(shù)來定位網(wǎng)絡(luò)設(shè)計的瓶頸,然后通過網(wǎng)絡(luò)分割和DNS負(fù)載均衡等技術(shù)來提高網(wǎng)絡(luò)性能。

對于服務(wù)性能,主要是提高基于WEB GUI訪問方式Apache服務(wù)器的性能和涉及NAS服務(wù)的NFS服務(wù)器性能和Samba服務(wù)器性能。對于WEB GUI訪問方式的優(yōu)化,最重要的就是優(yōu)化Apache Web服務(wù)器的性能。而提高Apache服務(wù)器的方法主要有三種:第一種,通過確定已經(jīng)編譯好的HTTP模塊哪些模塊的需要的,哪些模塊的是不必要的,刪除不必要模塊可以使Apache服務(wù)器更加專用,更加高效,從很大程度上提升Apache服務(wù)器的性能;第二種,通過調(diào)整Apache配置文件,用相關(guān)命令來調(diào)整Apache服務(wù)器的參數(shù)設(shè)置,使得Apache更加適合存儲管理系統(tǒng)的應(yīng)用;第三種,針對具體的使用環(huán)境,通過加載相關(guān)的模塊來加速Web應(yīng)用。

對于文件系統(tǒng),存儲管理系統(tǒng)采用的文件系統(tǒng)一般是Ext3。對于Ext3文件系統(tǒng)里的平均文件大小,默認(rèn)設(shè)置的塊尺寸太小可能導(dǎo)致尋道時間增加,fsck檢查文件系統(tǒng)速度相對較慢,并且產(chǎn)生更多文件碎片。通過實驗來確定文件系統(tǒng)里文件的平均大小,依據(jù)平均大小值來調(diào)整文件系統(tǒng)的塊尺寸大小,這樣就可以大大的提高文件系統(tǒng)的訪問速度。另外一種優(yōu)化方法就是通過Ext3文件系統(tǒng)磁盤工具來調(diào)整文件系統(tǒng)的相關(guān)設(shè)置來優(yōu)化性能。

網(wǎng)絡(luò)存儲管理系統(tǒng)的優(yōu)化思路就是針對具體的存儲應(yīng)用環(huán)境,找出可能稱為系統(tǒng)瓶頸的地方,通過調(diào)整相關(guān)設(shè)置,使得我們的設(shè)計沒有瓶頸,盡量使設(shè)備發(fā)揮最大性能。

三、網(wǎng)絡(luò)存儲管理系統(tǒng)優(yōu)化具體方法

(一)網(wǎng)絡(luò)性能的優(yōu)化

除了硬件的選擇,網(wǎng)絡(luò)還剩下什么可以優(yōu)化呢?當(dāng)然是網(wǎng)絡(luò)設(shè)計本身。本節(jié)將討論如何為存儲管理系統(tǒng)設(shè)計高性能的網(wǎng)絡(luò)。

1.網(wǎng)絡(luò)分割技術(shù)優(yōu)化以太局域網(wǎng)或廣域網(wǎng)

單一的以太網(wǎng)分段結(jié)構(gòu),通過一組集線器堆疊的方式互聯(lián),這就意味這所有的計算機(jī)共享著一個通道。這樣就造成了網(wǎng)絡(luò)帶寬的瓶頸。基于以上問題,我們設(shè)計不同應(yīng)用的計算機(jī)被分割在不同的IP網(wǎng)絡(luò)中,并通過一個網(wǎng)關(guān)進(jìn)行互聯(lián),該網(wǎng)關(guān)可以是啟用IP forwarding功能的Red Hat Linux系統(tǒng),并通過一些靜態(tài)路由完成標(biāo)準(zhǔn)的路由方針。

2.用交換機(jī)取代集線器可以大幅度的提升網(wǎng)絡(luò)的性能

以太網(wǎng)集線器與交換機(jī)最大不同在于交換機(jī)的每個端口都是自身的邏輯劃分。一臺連接到交換機(jī)某一端口的單獨計算機(jī)享有全部帶寬,不需要跟其他計算機(jī)競爭,從而避免了沖突。

傳統(tǒng)的以太網(wǎng)是10/100Mbps的,在現(xiàn)在的商業(yè)化環(huán)境下是遠(yuǎn)遠(yuǎn)不夠的,現(xiàn)代化的商業(yè)環(huán)境以電子郵件為基本的通信手段,廣泛的應(yīng)用Internet,視頻會議和其他高帶寬的作業(yè)。因此首先配備1000Mbps的高速交換機(jī),為計算機(jī)購買10/100/1000Mbps的自適應(yīng)網(wǎng)卡。擁有交換性能的高速以太網(wǎng)能給局域網(wǎng)帶來很高的性能表現(xiàn)。

3.通過IP accounting來提高網(wǎng)絡(luò)性能

IP accounting可以幫助我們了解IP報文如何在網(wǎng)絡(luò)中傳遞。一般情況下,我們在Linux網(wǎng)關(guān)系統(tǒng)上使用IP accounting技術(shù)。

假定要在192.168.1.0(eth0)、192.168.2.0(eth1)和202.96.128.68(eth2)三個網(wǎng)絡(luò)之間使用網(wǎng)關(guān)。前兩個是內(nèi)部部門,第三個是Internet服務(wù)提供商的上行網(wǎng)絡(luò)。

下面建立IP accounting規(guī)則如下:

/sbin/iptables–A FORWARD–i eth2–d 192.168.1.0/24

/sbin/iptables–A FORWARD–o eth2–s 192.168.1.0/24

第一行指明添加一個新規(guī)則到FORWARD鏈,這樣所有發(fā)往192.168.1.0的報文在通過網(wǎng)關(guān)的eth2時都被記錄。Eth2接口是服務(wù)提供商網(wǎng)絡(luò)連接的(可能經(jīng)由路由器、數(shù)字環(huán)線DSL或者電纜調(diào)試解調(diào)器Cable Modem。第二行指明添加個一個規(guī)則到FORWARD鏈,以便記錄源自192.168.1.0網(wǎng)絡(luò)并經(jīng)由eth2接口的IP報文。這兩條規(guī)則有效地監(jiān)控了所有在192.168.1.0網(wǎng)絡(luò)和Internet間傳遞的IP報文。

總之,網(wǎng)絡(luò)性能的表現(xiàn)是綜合作用的結(jié)果,受到操作系統(tǒng)、網(wǎng)絡(luò)設(shè)備、帶寬以及所選擇的構(gòu)造網(wǎng)絡(luò)的總體設(shè)計方案的影響。我們針對上述幾項采用了不同的方法來優(yōu)化我們網(wǎng)絡(luò)的整體性能。

(二)服務(wù)性能的優(yōu)化

存儲管理系統(tǒng)要對外提供NAS的一些常用的服務(wù),這些服務(wù)的性能不僅與服務(wù)軟件本身有關(guān)系,還受底層的操作系統(tǒng)的影響,可以對網(wǎng)絡(luò)存儲管理系統(tǒng)提供服務(wù)方面的機(jī)制進(jìn)行優(yōu)化。

1.Web服務(wù)器性能

在當(dāng)今的Linux操作系統(tǒng)上,默認(rèn)的Web服務(wù)器大多數(shù)是Apache。依照Apache開發(fā)小組的理解,Apache的首要任務(wù)是成為一個精確的HTTP協(xié)議服務(wù)器,而性能卻是次要的。但是從技術(shù)的角度來講,對Apache Web服務(wù)器進(jìn)行正確調(diào)整,可以提高它的性能,增強(qiáng)它的適應(yīng)性。

2、NFS服務(wù)器的性能

一個NFS系統(tǒng)的主要瓶頸是NFS服務(wù)器的磁盤I/O速度。該速度取決于NFS服務(wù)器是采用哪種磁盤。我們存儲管理系統(tǒng)的硬件采用應(yīng)該是Intel Xeon 3.0、6個帶有RAID5的SATA硬盤。下一個硬件瓶頸就是網(wǎng)絡(luò)本身。我們使用獨立的高帶寬連接入內(nèi)部網(wǎng)絡(luò)方法可以減少性能降低。建立一個NFS主干網(wǎng)專門用于傳送NFS信息報文會很大幅度的提高NFS服務(wù)的性能。

(三)文件系統(tǒng)性能優(yōu)化

Linux缺省情況下使用的文件系統(tǒng)為Ext2,Ext2文件系統(tǒng)的確高效穩(wěn)定。但是,隨著Linux系統(tǒng)在關(guān)鍵業(yè)務(wù)中的應(yīng)用,Linux文件系統(tǒng)的弱點也漸漸顯露出來了;其中系統(tǒng)缺省使用的Ext2文件系統(tǒng)是非日志文件系統(tǒng)。這在關(guān)鍵行業(yè)的應(yīng)用是一個致命的弱點。

Ext3文件系統(tǒng)是直接從Ext2文件系統(tǒng)發(fā)展而來,目前Ext3文件系統(tǒng)已經(jīng)非常穩(wěn)定可靠。它完全兼容Ext2文件系統(tǒng)。用戶可以平滑地過渡到一個日志功能健全的文件系統(tǒng)中來。Ext3日志文件系統(tǒng)有以下特點:高可用性;數(shù)據(jù)的完整性;文件系統(tǒng)的速度;數(shù)據(jù)轉(zhuǎn)換;多種日志模式。

基于以上優(yōu)點和特性,在存儲管理系統(tǒng)中采用Ext3文件系統(tǒng),對于Ext3文件系統(tǒng),主要用兩種手段來提升文件系統(tǒng):一種是將默認(rèn)的塊尺寸從1024改為多倍1024處理(一般不超過4096),使之更好的為大型文件的服務(wù)器服務(wù)。另外一種是通過Ext3文件系統(tǒng)磁盤工具調(diào)整文件系統(tǒng)。

本文從存儲管理系統(tǒng)要向用戶提供IP SAN和NAS的服務(wù)談起,首先對服務(wù)性能很有大影響的就是網(wǎng)絡(luò),通過操作系統(tǒng)、網(wǎng)絡(luò)設(shè)備、帶寬以及所選擇的網(wǎng)絡(luò)構(gòu)造的總體設(shè)計方案的改進(jìn)來對我們提供服務(wù)的環(huán)境進(jìn)行改善;其次,從存儲管理系統(tǒng)提供的最常見的應(yīng)用著手,分別介紹和分析如何優(yōu)化Web服務(wù)器、Email服務(wù)器、Samba服務(wù)器和NFS服務(wù)器性能,從而提高服務(wù)的質(zhì)量。

參考文獻(xiàn):

[1]余勝生,劉念,周敬利.一種基于光纖通道存儲網(wǎng)的存儲管理系統(tǒng)的設(shè)計與實現(xiàn).小型微型計算機(jī)系統(tǒng),2002,23(4):401～404

[2]蔡皖東.基于SAN的高可用性網(wǎng)絡(luò)存儲解決方案.小型微型計算機(jī)系統(tǒng),2001,21(3):284～287