存儲容災(zāi)在運(yùn)維中的探討

顧昕波

摘要：隨著日益興起的新媒體、全媒體在廣電領(lǐng)域展開，業(yè)務(wù)的連續(xù)性與安全成為越來越值得重視的一個(gè)話題。文章將對如何降低業(yè)務(wù)中斷的幾率，及時(shí)發(fā)現(xiàn)隱患所在，和災(zāi)備的一些常見核心技術(shù)展開討論。

關(guān)鍵詞：高可用性 失效切換 與切回 內(nèi)存回寫 鏈路綁定 復(fù)制 腦裂 元數(shù)據(jù)

對于廣電行業(yè)的播出與制作，最重要的是音視頻數(shù)據(jù)的安全可用與數(shù)據(jù)庫的安全可用。通常的做法是將音視頻數(shù)據(jù)放置在存儲上，數(shù)據(jù)庫置于群集中。采用冗余的設(shè)備與切換機(jī)制，當(dāng)服務(wù)器存儲出現(xiàn)故障時(shí)應(yīng)用不中斷，或減少中斷時(shí)間。理論上，這種標(biāo)準(zhǔn)的容災(zāi)操作是安全有效的。

磁盤陣列

對于存儲，磁盤陣列選型時(shí)采用全冗余的結(jié)構(gòu)，即硬盤做raid，控制器、電源等都是雙份互備。在未上線前通常會嘗試拔一兩塊硬盤，觀察存儲是否能正常重建；拔插控制器，測試其切換時(shí)間；關(guān)閉其中一個(gè)電源看整個(gè)設(shè)備是否會斷電。另外，如果存儲通過光纖與網(wǎng)線提供連接，還需要測試多路徑是否有效，iqn與wwn能否自動重連，ip可否正常漂移。整體的failover與failback必須有效。

一、寫緩存。正式上線后，隨著時(shí)間的推移，問題逐漸暴露出來。比如寫緩存（writeback cache）損壞，廠商給出結(jié)論是不會中斷應(yīng)用，但會降低讀寫速度，倘若業(yè)務(wù)本身對讀寫速度要求不高（如音頻制作），則相安無事。然而用戶所不知道的是，當(dāng)寫緩存（writeback cache）在損壞的一瞬間會丟失存在cache中的數(shù)據(jù)，假如此時(shí)陣列正好在做重建（rebuild）操作，那么在未來再次出現(xiàn)硬盤故障時(shí)，很有可能會卡在某個(gè)百分比進(jìn)度上，再也無法完成重建。

當(dāng)使用writeback時(shí)，系統(tǒng)認(rèn)為數(shù)據(jù)寫入內(nèi)存即完成了寫操作；而使用write through時(shí)，數(shù)據(jù)通過內(nèi)存同步到硬盤后，系統(tǒng)才認(rèn)為完成了寫操作。這也是導(dǎo)致兩者性能差異的主要原因。

二、鏈路切換。當(dāng)系統(tǒng)原有的規(guī)則發(fā)生調(diào)整時(shí)，也會發(fā)生相似的情況。尤其是業(yè)務(wù)原因?qū)е孪到y(tǒng)調(diào)整后無法測試，以及不能人為模擬出故障環(huán)境的情況下，諸如多根網(wǎng)線做聚合（bonding），當(dāng)其中某根網(wǎng)線中斷后又恢復(fù)，則發(fā)生ip漂移后又復(fù)原，發(fā)現(xiàn)跨網(wǎng)段不能訪問，但同網(wǎng)段可以訪問。此時(shí)可以判斷發(fā)包與收包走的不是同一條路由，交換機(jī)的路由表里還遺留著先前網(wǎng)絡(luò)failover時(shí)的路由信息。這是非常危險(xiǎn)的狀況，所以對存儲或網(wǎng)絡(luò)設(shè)備的任何操作要安排合適的停機(jī)時(shí)段。即使有十成的把握，也不可大意。

存儲廠商盡管宣稱產(chǎn)品具有諸多可靠的功能，包括支持各種RAID類型，雙控允許雙active負(fù)載及任意切換，網(wǎng)絡(luò)能夠做聚合，形成性能與安全上的雙重優(yōu)勢，但仍不乏隱患。實(shí)測時(shí)往往不可見，而絕大多數(shù)在滿足多個(gè)條件后才會觸發(fā)。

三、鏡像與復(fù)制。對于DAS，常規(guī)容災(zāi)手段是用兩個(gè)及多個(gè)存儲柜做互備，形式上分同步鏡像與異步復(fù)制兩種模式，機(jī)制上則分為文件級與塊級。對于誤刪除的文件，只在異步情況下才有可能被找回。但廣電行業(yè)追求備份的時(shí)效性，很少會使用異步，畢竟考慮到數(shù)據(jù)庫與對應(yīng)的音頻文件必須分秒不差。假如原存儲宕機(jī)啟用備份存儲，出現(xiàn)小時(shí)級別的數(shù)據(jù)差量，是不能容忍的。對于損壞的原始文件（可能文件頭錯(cuò)誤無法讀?。瑝K級別的同步會將錯(cuò)誤信息一起復(fù)制到備份存儲中。而文件級的同步則會跳過該文件。這也是兩種機(jī)制的細(xì)微差別。

分布式文件系統(tǒng)

一、元數(shù)據(jù)管理。當(dāng)存儲的規(guī)模達(dá)到一定量，對性能有所要求時(shí)，DAS就無法滿足了。對于視頻業(yè)務(wù)的一種解決方案是使用SAN配合分布式文件系統(tǒng)，比如stornext，lustre等。此時(shí)元數(shù)據(jù)服務(wù)器便成為重點(diǎn)保護(hù)對象，所有文件的位置索引存放于元數(shù)據(jù)中。常規(guī)上會設(shè)置兩臺元數(shù)據(jù)服務(wù)器，它們處于active-passive模式，采用心跳的方式互相監(jiān)測。而所有的節(jié)點(diǎn)服務(wù)器均連接同一套存儲陣列，可以是ip或者FC的形式。每一個(gè)節(jié)點(diǎn)服務(wù)器各出一個(gè)用戶ip，它們用一個(gè)虛擬ip來輪詢。這樣用戶工作站只要連接虛擬ip便可以訪問文件系統(tǒng)了。另一個(gè)傳統(tǒng)的做法是在用戶工作站上安裝廠商提供的客戶端，由客戶端發(fā)起輪詢，在某個(gè)節(jié)點(diǎn)發(fā)生故障時(shí)可以及時(shí)切換訪問路徑。SAN環(huán)境最怕文件系統(tǒng)出現(xiàn)故障，比如元數(shù)據(jù)突然不可用，元數(shù)據(jù)服務(wù)器切換失敗產(chǎn)生腦裂（split brain）等。一些產(chǎn)品聲稱這方面有應(yīng)急手段，像stornext這樣的文件系統(tǒng)在節(jié)點(diǎn)服務(wù)器產(chǎn)生故障時(shí)，元數(shù)據(jù)服務(wù)器也會同時(shí)承擔(dān)節(jié)點(diǎn)服務(wù)器的功能。而另一種方式就是取消元數(shù)據(jù)服務(wù)器由節(jié)點(diǎn)兼任，將長途電話交換原理引入。每個(gè)節(jié)點(diǎn)即為一個(gè)城市，所有的城市包含完整的元數(shù)據(jù)結(jié)構(gòu)，比如區(qū)號管理，沒有特定的統(tǒng)管城市（即metadata server）。

沒有元數(shù)據(jù)服務(wù)器（MDS）的存儲架構(gòu)會更加安全一些。它們可以設(shè)定壞1到2個(gè)節(jié)點(diǎn)或者個(gè)別磁盤陣列整體宕機(jī)后仍能正常對外展開業(yè)務(wù)。更有甚者，比如美國在線（AOL），陣列是不做raid的，而將每塊盤單獨(dú)拿來作為一個(gè)LUN使用，文件系統(tǒng)通過一定的機(jī)制來識別，將每個(gè)硬盤的數(shù)據(jù)同步到相鄰陣列柜中，這樣無論是單個(gè)硬盤故障或者整個(gè)陣列柜宕機(jī)，都不會影響業(yè)務(wù)。單個(gè)硬盤不做raid的好處是，總體IOPS可以比處于相同狀況下做raid5或6的性能提高幾十倍。所有硬盤各自為政，不必考慮寫入隊(duì)列與條帶化（stripe），亦不用等待相鄰的硬盤與同步延時(shí)。這種模式可應(yīng)付大量的小文件并發(fā)業(yè)務(wù)，比如動畫渲染，海量郵件交換，皮克斯（pixer）與雅虎（yahoo）便是一個(gè)典型的例子。

二、橫向擴(kuò)展。分布式文件系統(tǒng)是可以橫向擴(kuò)展的，即當(dāng)容量與性能需求增長時(shí)，可以擴(kuò)充節(jié)點(diǎn)服務(wù)器與存儲柜。而且，許多廠商都宣稱在這方面可以無縫擴(kuò)容，不必安排停機(jī)時(shí)間，這樣保證了業(yè)務(wù)的連續(xù)性。這個(gè)特性還表現(xiàn)在一些主流的NAS上，諸如netapp與isilon。然而看似節(jié)省了服務(wù)器資源，但實(shí)質(zhì)上NAS仍是自帶文件服務(wù)器的（Filer），俗稱“機(jī)頭”。其內(nèi)部仍是SAN或者DAS結(jié)構(gòu)，用戶不可見罷了。因此，它的容災(zāi)功能也近似于SAN或者DAS，災(zāi)備手段也無非是鏡像（mirror）、復(fù)制（replication）、HA切換以及網(wǎng)絡(luò)或光纖鏈路聚合等。比如isilon的內(nèi)部機(jī)制可以允許一個(gè)陣列柜宕機(jī)，而netapp的metrocluster也有類似的效果。它們的容災(zāi)功能差異不大，做對比測評選型時(shí)無非就是看哪家產(chǎn)品的bug少且應(yīng)用廣泛，價(jià)格便宜。

VMWARE虛擬機(jī)

近幾年，虛擬機(jī)興起已普遍運(yùn)用于廣電領(lǐng)域。VMware作為這方面的領(lǐng)頭羊，有著與大多數(shù)存儲相似的容災(zāi)和高可用性特征。網(wǎng)絡(luò)方面有多路徑（multipath）冗余；服務(wù)器方面有cluster群集，內(nèi)又劃分資源池，可以靈活地做資源規(guī)劃；在存儲方面支持cifs和samba，也能通過iqn或wwn的形式直連存儲。在資源調(diào)配方面，將cluster與資源池和vmotion三者結(jié)合，動態(tài)分配CPU與內(nèi)存資源，避開了CPU沖100%或out of memory等導(dǎo)致死機(jī)的情況。這里要提一下vmotion，在規(guī)劃guest os時(shí)，可以設(shè)置CPU與內(nèi)存的上下閾值，假如此guest os的應(yīng)用由于某些原因達(dá)到閾值上限，它會自動遷移到資源相對空閑的宿主服務(wù)器上，且是無縫的，最終用戶完全無法察覺。它的原理在于只遷移操作系統(tǒng)在內(nèi)存中的駐存，不移動硬盤數(shù)據(jù)，所以才會如此迅速有效，因此虛擬機(jī)的引入增強(qiáng)了運(yùn)維人員的效率。以往物理工作站出現(xiàn)故障需要重裝，現(xiàn)在只需要運(yùn)用虛擬機(jī)的克隆功能便可以迅速復(fù)制出一批現(xiàn)成的客戶機(jī)。而快照功能又能應(yīng)付客戶機(jī)上的誤操作和誤刪除，這極大地節(jié)約了時(shí)間，對于運(yùn)維工作是革命性的進(jìn)步。

微軟ALWAYS ON

關(guān)于高可用性的幾種方式與機(jī)制，近幾年并沒有顯著的進(jìn)步，但是效率上卻有大大的改善。十年前微軟群集（MSCS）的切換往往需要30秒的業(yè)務(wù)停頓，而存儲控制器的failover與failback也大多會造成掛載卷不可用，windows上出現(xiàn)寫入緩存失敗。然而現(xiàn)在的產(chǎn)品大多已經(jīng)沒有這種現(xiàn)象了，微軟always on群集的切換幾乎是無縫的，結(jié)合sql2012的群集功能，非常適合播出系統(tǒng)。主流存儲器如EMC和NETAPP等品牌，其高端產(chǎn)品允許壞多個(gè)硬盤甚至一個(gè)存儲柜宕機(jī)業(yè)務(wù)不會受影響。網(wǎng)絡(luò)方面的切換，幾乎最多只丟失一個(gè)包，終端用戶完全不會察覺。

結(jié)語

最后，我們可以把上述提及的幾個(gè)重要術(shù)語與核心功能進(jìn)行簡短歸納，大致如下：鏡像（mirror）用于保證原始數(shù)據(jù)與備份數(shù)據(jù)的一致。HA主要在于故障切換時(shí)保持業(yè)務(wù)的連續(xù)性。鏈路聚合在于其中一條發(fā)生中斷時(shí)自動跳轉(zhuǎn)到另一條。IP漂移是在當(dāng)前網(wǎng)絡(luò)流所在的網(wǎng)線發(fā)生中斷時(shí)通過輪詢的方式將ip自動轉(zhuǎn)移到另一個(gè)具有相同業(yè)務(wù)提供能力的網(wǎng)口上。Active-passive，顧名思義，active的控制器提供業(yè)務(wù)，passive的處于待機(jī)準(zhǔn)備隨時(shí)切換的狀態(tài)下。另一種模式active-active，兩個(gè)控制器同時(shí)提供業(yè)務(wù)，我們又可以稱之為均衡負(fù)載（load balance）。而raiddp、metrocluster、vmotion、always on則是isilon、netapp、vmware、microsoft廠商各自特有的容災(zāi)技術(shù)手段。

（作者單位：上海廣播電視臺）

參考文獻(xiàn)：1.陳少春：《計(jì)算機(jī)存儲技術(shù)與應(yīng)用》，北京，電子科技大學(xué)出版社，2017年版。

2.張 冬：《大話存儲》，北京，清華大學(xué)出版社，2008年版。