提升業(yè)務(wù)連續(xù)性保障，同城雙活保駕護(hù)航

薛寶明 陳炎 陳羹

新時(shí)代的背景下，江蘇省農(nóng)村信用社聯(lián)合社以黨的十九大提出的新目標(biāo)為引領(lǐng)，深入貫徹新發(fā)展理念，圍繞“服務(wù)實(shí)體經(jīng)濟(jì)、防控金融風(fēng)險(xiǎn)、深化金融改革”三項(xiàng)任務(wù)，謀劃深化改革、創(chuàng)新發(fā)展的思路舉措。隨著省聯(lián)社深入改革，如何進(jìn)一步突出省聯(lián)社尤其是在科技領(lǐng)域的服務(wù)職能和能力，就需要省聯(lián)社科技團(tuán)隊(duì)大膽創(chuàng)新、小心求證，為農(nóng)商行提供更新、更穩(wěn)定、更高效的科技支撐能力。

探索同城應(yīng)用雙活，提高業(yè)務(wù)連續(xù)性保障水平

隨著電子渠道替代率提升，電子業(yè)務(wù)的快速發(fā)展對(duì)銀行核心系統(tǒng)的業(yè)務(wù)連續(xù)性提出了更高的要求，使得江蘇農(nóng)信目前的災(zāi)備體系需要進(jìn)一步提升。對(duì)于現(xiàn)有災(zāi)備中心的主備模式，備份資源大部分空轉(zhuǎn)閑置，如何能將這部分資源更好使用起來(lái)，更高效的用好科技投資是每家商業(yè)銀行都在考慮的問(wèn)題。

隨著集群技術(shù)越來(lái)越成熟，以及對(duì)業(yè)務(wù)連續(xù)性要求越來(lái)越高，同城雙活模式正成為不少銀行生產(chǎn)運(yùn)營(yíng)的首選方案。如工行采用了并行主機(jī)雙活2.0非對(duì)稱(chēng)架構(gòu)方案，人行采用了基于隊(duì)列復(fù)制的雙活方案，交行采用了同城雙站點(diǎn)大集群的雙活方案，等等。江蘇農(nóng)信也在積極探尋如何進(jìn)一步提高主機(jī)系統(tǒng)的高可用和業(yè)務(wù)連續(xù)性水平，提升主機(jī)核心系統(tǒng)的價(jià)值。

探尋一：并行主機(jī)雙活2.0非對(duì)稱(chēng)架構(gòu)方案

參考工行并行主機(jī)雙活2 0非對(duì)稱(chēng)架構(gòu)方案，改造應(yīng)用，在生產(chǎn)中心和災(zāi)備中心之間構(gòu)建并行主機(jī)雙活2 0非對(duì)稱(chēng)架構(gòu)，實(shí)現(xiàn)核心應(yīng)用同時(shí)運(yùn)行在同城雙中心。

探尋二：多站點(diǎn)集群架構(gòu)方案

將升級(jí)的災(zāi)備主機(jī)遷移至相距3公里的同城數(shù)據(jù)中心，與原生產(chǎn)中心構(gòu)建同城跨中心集群架構(gòu)，并采用數(shù)據(jù)同步復(fù)制（GDPS/PPRC）保護(hù)數(shù)據(jù)。將交易響應(yīng)時(shí)間要求不高的工作負(fù)載分流至同城雙活中心運(yùn)行，提高主機(jī)資源利用率。

遵從業(yè)務(wù)特點(diǎn)和科技能力，選擇適合農(nóng)信的雙活方案

江蘇農(nóng)信的法人單位主要為區(qū)域性農(nóng)商銀行，相較于全國(guó)性的商業(yè)銀行，其客戶群體主要集中在本地，資產(chǎn)規(guī)模相對(duì)較??；另外從科技能力上看，也與國(guó)有大型商業(yè)銀行有著一定的差距。但從業(yè)務(wù)品種、電子業(yè)務(wù)的連續(xù)性要求上與國(guó)有大行的要求類(lèi)似，甚至在村鎮(zhèn)覆蓋上下沉更深。因此江蘇農(nóng)信就需要從自身業(yè)務(wù)特點(diǎn)和科技能力出發(fā)，選擇一種契合自身特性，方案復(fù)雜性、風(fēng)險(xiǎn)度和投資相對(duì)低一些的，但又能大幅提升核心系統(tǒng)高可用性和業(yè)務(wù)連續(xù)性能力的方案。并行主機(jī)雙活2.0非對(duì)稱(chēng)架構(gòu)和多站點(diǎn)集群架構(gòu)兩種技術(shù)方案從特性上看，無(wú)疑后者是更適合省級(jí)農(nóng)信的同城雙活方案。

測(cè)評(píng)聚焦結(jié)果喜人，改革再鑄生命力

從2017年3月初開(kāi)始，江蘇農(nóng)信與IBM對(duì)多站點(diǎn)集群架構(gòu)方案進(jìn)行近兩個(gè)月可行性分析研究，在省聯(lián)社各級(jí)領(lǐng)導(dǎo)的關(guān)心和支持下，決定于2017年5月3日，挑選了核心系統(tǒng)13支重要交易，集結(jié)各技術(shù)團(tuán)隊(duì)精兵強(qiáng)將前往廠商北京系統(tǒng)中心進(jìn)行測(cè)試。目的是通過(guò)模擬測(cè)試來(lái)驗(yàn)證同城跨站點(diǎn)集群架構(gòu)的技術(shù)關(guān)鍵點(diǎn)以及可達(dá)到的高可用災(zāi)備效果，測(cè)試并評(píng)估交易在跨3KM距離的多站點(diǎn)集群架構(gòu)下的性能影響。整個(gè)測(cè)試為期2個(gè)月，參與人員包含江蘇農(nóng)信科技部，以及廠商產(chǎn)品部門(mén)（硬件，軟件）。測(cè)試主要包含性能測(cè)試和高可用測(cè)試，設(shè)計(jì)測(cè)試場(chǎng)景多達(dá)20個(gè)。通過(guò)測(cè)試驗(yàn)證了實(shí)施跨站點(diǎn)集群的技術(shù)可行性，通過(guò)實(shí)施GDPS自動(dòng)化工具，可改變?cè)仁止げ僮鞯那袚Q模式，在主站點(diǎn)維護(hù)等計(jì)劃內(nèi)切換場(chǎng)景下RTO可由原先的小時(shí)級(jí)提升到分鐘級(jí)，在發(fā)生災(zāi)難或意外導(dǎo)致主站點(diǎn)完全不可用的計(jì)劃外切換場(chǎng)景下RTO可由原先的四小時(shí)縮短到兩小時(shí)。性能方面三公里跨站點(diǎn)的架構(gòu)下本地節(jié)點(diǎn)交易響應(yīng)時(shí)間沒(méi)有明顯變化，遠(yuǎn)端節(jié)點(diǎn)交易響應(yīng)時(shí)間略有增長(zhǎng)，整體在可接受范圍內(nèi)。

2017年測(cè)試結(jié)束后，江蘇農(nóng)信組織召開(kāi)業(yè)內(nèi)技術(shù)評(píng)審會(huì)議，邀請(qǐng)五大行的主機(jī)技術(shù)專(zhuān)家到南京，參與探討多站點(diǎn)集群架構(gòu)方案的可行性，會(huì)議中五大行專(zhuān)家對(duì)架構(gòu)方案給與了肯定，同時(shí)也提出了很多中肯建議和見(jiàn)解。

為了更全面驗(yàn)證此架構(gòu)的性能和可靠性，江蘇農(nóng)信科技部和產(chǎn)品研發(fā)部共同合作，挑選出業(yè)務(wù)高峰期具有代表性的五大類(lèi)26支交易，到廠商系統(tǒng)中心再次進(jìn)行測(cè)試驗(yàn)證。本次測(cè)試從2018年2月26日開(kāi)始，于2018年4月13日結(jié)束，為期1.5個(gè)月。參與人員包含江蘇農(nóng)信科技部和產(chǎn)品研發(fā)部，以及廠商產(chǎn)品部門(mén)（硬件，軟件）。本次主要針對(duì)性能進(jìn)行測(cè)試，設(shè)計(jì)六大類(lèi)11個(gè)測(cè)試場(chǎng)景，從混合交易，單測(cè)“重”交易，壓測(cè)TPS拐點(diǎn)，“重”交易如何路由控制等方面，更系統(tǒng)、全面的測(cè)試架構(gòu)性能。

·經(jīng)過(guò)兩次大型測(cè)試，針對(duì)5節(jié)點(diǎn)多站點(diǎn)集群架構(gòu)，詳細(xì)評(píng)估距離對(duì)于性能的影響，這是重點(diǎn)，也是難點(diǎn)。

·前端交易如何合理分發(fā)至核心系統(tǒng)，如何控制交易分發(fā)，這更是關(guān)鍵。

·在同城站點(diǎn)級(jí)災(zāi)備切換能力維持不變的基礎(chǔ)上，實(shí)現(xiàn)自動(dòng)化同城切換，這是提升。

多站點(diǎn)集群架構(gòu)下性能表現(xiàn)：

·在光纖3KM外增加一個(gè)集群節(jié)點(diǎn)，并未給本地集群上CPU使用率帶來(lái)明顯增加。說(shuō)明增加一個(gè)集群節(jié)點(diǎn)，沒(méi)有影響原有生產(chǎn)中心集群的運(yùn)行。

·通過(guò)主機(jī)上的CICS進(jìn)行交易分發(fā)控制，使3KM外的集群節(jié)點(diǎn)僅運(yùn)行“輕”交易，測(cè)試結(jié)果顯示，3KM外集群節(jié)點(diǎn)交易響應(yīng)時(shí)間因距離的影響略有增加，本地集群交易響應(yīng)時(shí)間也略有增長(zhǎng)，但是增加范圍均在可接受范圍之內(nèi)。

全新升級(jí)再造，基于真實(shí)應(yīng)用的多站點(diǎn)集群架構(gòu)測(cè)試

在充分借鑒大行雙活建設(shè)經(jīng)驗(yàn)的基礎(chǔ)上，這是一次不對(duì)交易進(jìn)行區(qū)分，采用真實(shí)交易基于三公里的跨站點(diǎn)集群測(cè)試，較為全面的測(cè)試和驗(yàn)證多站點(diǎn)集群架構(gòu)的性能和高可用性。同時(shí)本次測(cè)試數(shù)據(jù)準(zhǔn)備和抽取樣本，以及交易占比和交易分發(fā)配比均與生產(chǎn)環(huán)境十分相似，因此可以說(shuō)，這次測(cè)試對(duì)真實(shí)生產(chǎn)環(huán)境來(lái)說(shuō)，是具有參考意義的。在不改變應(yīng)用的情況下，對(duì)中間件進(jìn)行修改，控制交易分發(fā)，這是一個(gè)創(chuàng)新。它以最小代價(jià)實(shí)現(xiàn)同城雙活，提升IT架構(gòu)能力的同時(shí)，也更合理有效利用雙中心主機(jī)資源，實(shí)現(xiàn)資源高效利用，優(yōu)化成本。