金融行業(yè)核心系統(tǒng)存儲雙活核心難點(diǎn)解讀

鄧 毓 黃順歡

（江西省農(nóng)村信用社聯(lián)合社，江西 南昌 330031）

傳統(tǒng)的核心系統(tǒng)存儲都是采用集中式存儲，通過搭建兩地三中心的存儲架構(gòu)來防范核心系統(tǒng)數(shù)據(jù)的物理性錯誤，并通過數(shù)據(jù)備份來防范數(shù)據(jù)的邏輯錯誤。然而目前的兩地三中心存儲架構(gòu)為主備架構(gòu)，一來如果主存儲發(fā)生故障，必然需要進(jìn)行存儲主備切換，由于核心系統(tǒng)數(shù)據(jù)量巨大，切換時間漫長，即使成功切換之后RPO=0，RTO也不少于10分鐘；二來雖然備存儲實(shí)時存在一份和主存儲一樣的數(shù)據(jù)副本，但是這份副本長時間不對外提供讀寫服務(wù)，資源使用率低倒也無所謂，這份副本能否在切換之后正常使用，是需要打一個大大的問號。所以企業(yè)每年都會定期進(jìn)行災(zāi)難演練，也可能是出于對這份備副本的“不放心”?；谶@兩點(diǎn)，核心系統(tǒng)是有需要進(jìn)行分布式雙活架構(gòu)的轉(zhuǎn)型，來盡量降低故障帶來的影響，滿足RPO=0，RTO＜1分鐘的要求，而轉(zhuǎn)型的最關(guān)鍵一步便是存儲雙活。雖然存儲雙活技術(shù)方案層出不窮，幾乎所有主流的存儲廠商都有一套甚至多套存儲雙活技術(shù)解決方案，但基于核心系統(tǒng)的重要地位和獨(dú)特的特征，存儲雙活技術(shù)的真正落地實(shí)現(xiàn)還是存在著諸多難點(diǎn)，下面對其中三個核心難點(diǎn)一一剖析。

一、最“突出”的難點(diǎn)就是性能影響問題

傳統(tǒng)的集中式主備存儲架構(gòu)，在主存儲寫入數(shù)據(jù)時，需要將數(shù)據(jù)同步一份至備存儲，完成后算是一次完整的寫周期；而雙活存儲架構(gòu)則不一樣，兩個存儲雖然都同時受理寫請求，也會將寫入的數(shù)據(jù)同步一份至另一端，但關(guān)鍵點(diǎn)在于兩個存儲并不同時對同一個存儲塊寫操作，也就是說寫同一個數(shù)據(jù)塊時，搶占成功的存儲會對該存儲塊加一道“鎖”，防止被另一端寫，另一端想要讀該數(shù)據(jù)塊，也得乖乖等數(shù)據(jù)同步完成之后才能進(jìn)行，所以這樣看來，雙活存儲雖然物理上實(shí)現(xiàn)了雙活讀寫，但實(shí)際的讀寫性能上，由于存在著大量的“等待鎖釋放”和“數(shù)據(jù)同步完成”兩個動作，造成了性能的影響，這個影響面跟什么有關(guān)系呢？第一個動作取決于寫操作的頻繁度，也就是寫IOPS，寫IOPS越高，鎖競爭現(xiàn)象越嚴(yán)重；第二個動作取決于兩個存儲間的距離和存儲緩存的大小，距離越遠(yuǎn)，寫同步往返延時越高，存儲緩存越小，寫緩存延遲現(xiàn)象的比例越高。然而核心系統(tǒng)正是由于業(yè)務(wù)集中度和并發(fā)度高，對讀寫響應(yīng)時間也特別嚴(yán)格，特別是對流水表的寫入操作，如果兩個存儲都同時承擔(dān)著高并發(fā)地對這些集中式的數(shù)據(jù)表讀寫的任務(wù)，那造成的鎖競爭現(xiàn)象將更加嚴(yán)重，再加上本身兩個存儲間距離原因?qū)е碌难訒r，性能影響將成倍放大，輕者業(yè)務(wù)處理緩慢，重則核心系統(tǒng)直接癱瘓，核心系統(tǒng)如果難以破解該難點(diǎn)，也將無法使用存儲雙活技術(shù)。

二、最具“風(fēng)險”的難點(diǎn)就是腦裂與鏈路隱患問題

一方面，在傳統(tǒng)主備存儲架構(gòu)中，由于兩個存儲間的關(guān)聯(lián)是松耦合的關(guān)系，存儲與存儲間心跳探測也只是為了保證數(shù)據(jù)同步，心跳鏈路中斷也只是數(shù)據(jù)復(fù)制中斷而已，并不會造成實(shí)質(zhì)的存儲切換等動作，最多會因?yàn)橹袛?，造成主存儲的IO短暫HANG住，對業(yè)務(wù)也幾乎無感知。然而倘若升級為存儲雙活架構(gòu)，由于整個架構(gòu)呈現(xiàn)的是一種對稱式的架構(gòu)，兩個存儲都是作為主存儲，必然需要一個第三方的仲裁設(shè)備，在存儲間鏈路中斷時，來投票選舉出存活的主存儲，不至于因兩個存儲互相爭搶主動權(quán)，而造成兩敗俱傷的慘烈局面。然而問題就在于此，當(dāng)發(fā)生腦裂現(xiàn)象時，仲裁之后存儲恢復(fù)時間需要多久？這個時間取決于投票表決的時間和競選失敗的存儲前一刻的IO吞吐量，因?yàn)楦傔x成功的存儲需要將這部分IO回退來保證業(yè)務(wù)數(shù)據(jù)的一致性，而核心系統(tǒng)存儲的IO吞吐量無疑是非常大的，尤其是在晚間批量時，這也將意味著當(dāng)發(fā)生鏈路中斷，為了防范腦裂，需要將整個存儲IO HANG住，并且這個HANG住的時間也因?yàn)槭呛诵南到y(tǒng)變得更長。而矛盾點(diǎn)卻在于，核心系統(tǒng)是最重要的系統(tǒng)，對業(yè)務(wù)連續(xù)性的要求比任何業(yè)務(wù)系統(tǒng)都要高上一大截，鏈路中斷造成的RTO太長將無法接受，更令人恐怖的是，如果此時正處晚間核心系統(tǒng)批量，那第二天白天還能否開業(yè)就真的是一個問號了，所以換句話說，建設(shè)核心系統(tǒng)存儲雙活需要保證高可靠的鏈路，無論這個鏈路是本地還是跨中心的，只有這個最重要的前提條件具備了，才能開始著手存儲雙活；另一方面，如果雙活存儲間的鏈路是跨中心的，還需要考慮鏈路的穩(wěn)定性問題。由于這個鏈路通常是租用運(yùn)營商的裸光纖，光衰問題和抖動問題也是目前無法解決的難點(diǎn)，一旦發(fā)生于核心系統(tǒng)，性能受影響不說，如果因此觸發(fā)腦裂仲裁，造成IO HANG住，又是一場全局性的災(zāi)難，所以核心系統(tǒng)上跨中心的存儲雙活更是難上加難。

三、最具“考驗(yàn)”的難點(diǎn)就是存儲架構(gòu)轉(zhuǎn)型過程問題

如果前面兩道鬼門關(guān)要么因自身企業(yè)核心系統(tǒng)IO壓力不大，業(yè)務(wù)連續(xù)性要求不高而“不太在乎”，要么靠著過軟硬件技術(shù)而“化險為夷”，那在將傳統(tǒng)存儲高可用架構(gòu)轉(zhuǎn)型為雙活存儲架構(gòu)時，依舊存在些許技術(shù)難點(diǎn)的考驗(yàn)。表現(xiàn)為：在存儲雙活技術(shù)選型時，該技術(shù)是否為真正的存儲雙活？而不是備存儲將IO轉(zhuǎn)發(fā)至主存儲的模式，該技術(shù)的成熟度和穩(wěn)定性如何？是否能夠保護(hù)原有存儲投資？能否支持兩地三中心擴(kuò)展等等；在存儲雙活實(shí)施過程中，巨量的核心系統(tǒng)數(shù)據(jù)如何快速同步到另一份存儲副本？完成同步之后的兩個存儲副本以怎樣的方式掛載給多臺核心系統(tǒng)主機(jī)？是兩個副本再虛擬成一個卷共享給主機(jī)還是分別掛給不同的主機(jī)？實(shí)施時，是否需要停止核心系統(tǒng)，停機(jī)窗口如何安排等等；在存儲雙活運(yùn)維時，如何實(shí)時監(jiān)控存儲雙活的性能狀況，遇到緊急存儲故障或者鏈路波動時，應(yīng)急措施是怎樣的，是否需要人工干預(yù)，需要人工干預(yù)時，采取哪些應(yīng)急解決辦法等等。以上問題一個個接踵而至，都是在轉(zhuǎn)型存儲雙活架構(gòu)時，需要事先進(jìn)行周全縝密的考慮，只有通過了這層“考驗(yàn)”，方能大膽放心的著手核心系統(tǒng)存儲雙活優(yōu)化。