加快金融數(shù)據(jù)庫轉(zhuǎn)型 夯實(shí)工行數(shù)字基建基礎(chǔ)支撐

中國工商銀行軟件開發(fā)中心專家 魯金彪

近年來，隨著互聯(lián)網(wǎng)經(jīng)濟(jì)的發(fā)展和金融行業(yè)數(shù)字化轉(zhuǎn)型的不斷推進(jìn)，金融業(yè)務(wù)線上化和服務(wù)場(chǎng)景生態(tài)化，金融服務(wù)鏈與各行業(yè)社會(huì)服務(wù)鏈交織融合，金融應(yīng)用系統(tǒng)面臨處理海量數(shù)據(jù)、超高并發(fā)、超高峰值等一系列挑戰(zhàn)，傳統(tǒng)集中式數(shù)據(jù)庫越來越難應(yīng)對(duì)。同時(shí)，面對(duì)復(fù)雜的國際環(huán)境，對(duì)全球信息技術(shù)產(chǎn)品供應(yīng)鏈體系產(chǎn)生了較大沖擊，基于傳統(tǒng)集中式數(shù)據(jù)庫構(gòu)建的信息系統(tǒng)面臨著較大的不確定性風(fēng)險(xiǎn)。工商銀行結(jié)合金融科技發(fā)展趨勢(shì)與金融業(yè)務(wù)創(chuàng)新需求，綜合研判分布式數(shù)據(jù)庫技術(shù)發(fā)展情況，積極開展分布式數(shù)據(jù)庫聯(lián)合創(chuàng)新和應(yīng)用創(chuàng)新，初步形成了以分布式數(shù)據(jù)庫為基礎(chǔ)的金融級(jí)數(shù)據(jù)庫轉(zhuǎn)型解決方案。

一、聯(lián)合創(chuàng)新，夯實(shí)數(shù)據(jù)庫核心承載能力

工商銀行自2019 年引入分布式數(shù)據(jù)庫以來，已在包括實(shí)物貴金屬、中間業(yè)務(wù)系統(tǒng)等20 多個(gè)業(yè)務(wù)系統(tǒng)試點(diǎn)上線，覆蓋辦公系統(tǒng)、一般業(yè)務(wù)系統(tǒng)和關(guān)鍵業(yè)務(wù)系統(tǒng)各類典型業(yè)務(wù)場(chǎng)景。近年來，結(jié)合金融行業(yè)核心系統(tǒng)超高并發(fā)和海量數(shù)據(jù)存儲(chǔ)的要求，以及多渠道、全天候持續(xù)對(duì)外服務(wù)能力的要求，工商銀行積極探索金融科技融合創(chuàng)新模式，以聯(lián)合創(chuàng)新等方式加強(qiáng)與頭部科技企業(yè)合作，積極開展分布式數(shù)據(jù)庫產(chǎn)品金融級(jí)承載能力建設(shè)，對(duì)標(biāo)主機(jī)“兩地三中心”部署架構(gòu)和高可用能力，基于存算分離形成多集群部署架構(gòu)，夯實(shí)分布式數(shù)據(jù)庫核心承載能力。

一是數(shù)據(jù)可靠性高?；谌W存集中存儲(chǔ)實(shí)現(xiàn)計(jì)算與存儲(chǔ)分離，軟硬協(xié)同，具備PB 級(jí)海量數(shù)據(jù)存儲(chǔ)能力和企業(yè)級(jí)高可靠能力。

二是系統(tǒng)可用性高。具備同城雙園區(qū)+異地園區(qū)部署能力，園區(qū)內(nèi)故障場(chǎng)景RPO=0、RTO＜60秒，同城園區(qū)級(jí)故障場(chǎng)景RPO=0、RTO＜180 秒，同城雙園區(qū)故障場(chǎng)景切換到異地園區(qū)RPO＜60秒、RTO＜600 秒。

三是集群性能高。同城主備集群間采用磁盤級(jí)復(fù)制實(shí)現(xiàn)增量日志強(qiáng)同步，日志同步效率提升一倍以上，降低了主備同步對(duì)主集群性能的影響，基于2 路國芯服務(wù)器最小規(guī)模主備集群部署，TPMC 達(dá)到45 萬（約1.5 萬TPS）。

四是服務(wù)連續(xù)性能力高。具備業(yè)務(wù)不中斷前提下主備集群數(shù)據(jù)庫版本輪換升級(jí)和應(yīng)用版本灰度升級(jí)能力，滿足了金融核心應(yīng)用7×24 小時(shí)服務(wù)連續(xù)性要求。

二、應(yīng)用創(chuàng)新，錘煉數(shù)據(jù)庫平滑遷移方案

傳統(tǒng)集中式數(shù)據(jù)庫以其較強(qiáng)的功能黏性、優(yōu)秀的系統(tǒng)穩(wěn)定性、良好的軟硬適配能力，在金融行業(yè)的存量系統(tǒng)中占據(jù)較大的份額；并且存量系統(tǒng)往往與特定傳統(tǒng)集中式數(shù)據(jù)庫特性高度耦合，業(yè)務(wù)邏輯內(nèi)嵌至數(shù)據(jù)庫實(shí)現(xiàn)，具有歷史比較久遠(yuǎn)、業(yè)務(wù)長期穩(wěn)定、關(guān)聯(lián)應(yīng)用較多等特點(diǎn)；同時(shí)，信創(chuàng)軟硬件產(chǎn)品均處于發(fā)展階段，產(chǎn)品的穩(wěn)定性、成熟度等方面與傳統(tǒng)商用軟硬件產(chǎn)品相比還存在一定的差距。因此，有效控制轉(zhuǎn)型風(fēng)險(xiǎn)，確保轉(zhuǎn)型的平滑、穩(wěn)定、安全，成為金融業(yè)數(shù)據(jù)庫架構(gòu)轉(zhuǎn)型中的難點(diǎn)。工商銀行聚焦傳統(tǒng)數(shù)據(jù)庫與應(yīng)用耦合度高的難點(diǎn)進(jìn)行突破，對(duì)大型業(yè)務(wù)系統(tǒng)開展數(shù)據(jù)庫轉(zhuǎn)型技術(shù)攻關(guān)，初步形成了一套高效可控低成本的數(shù)據(jù)庫平滑轉(zhuǎn)型解決方案。

一是實(shí)現(xiàn)跨異構(gòu)數(shù)據(jù)庫的自動(dòng)遷移。針對(duì)部分傳統(tǒng)集中式數(shù)據(jù)庫特有的數(shù)據(jù)庫對(duì)象、高級(jí)特性和非標(biāo)準(zhǔn)SQL 語法，通過建設(shè)配套的自動(dòng)化數(shù)據(jù)庫遷移工具，提前評(píng)估和規(guī)劃遷移工作進(jìn)程，識(shí)別遷移風(fēng)險(xiǎn)，再通過工具自動(dòng)化進(jìn)行語法轉(zhuǎn)換和邏輯校驗(yàn)，降低遷移成本、控制遷移風(fēng)險(xiǎn)，快速低成本地實(shí)現(xiàn)從商業(yè)專用平臺(tái)向開放創(chuàng)新平臺(tái)的遷移，自動(dòng)遷移成功率和編譯通過率均可達(dá)95%以上。

二是實(shí)現(xiàn)異構(gòu)數(shù)據(jù)庫轉(zhuǎn)型全過程的自動(dòng)化測(cè)試。傳統(tǒng)集中式數(shù)據(jù)庫涉及眾多數(shù)據(jù)庫對(duì)象、功能特性和龐大的代碼行數(shù)，遷移到分布式數(shù)據(jù)庫后的功能完整性、正確性及訪問性能都面臨巨大挑戰(zhàn)。工商銀行建設(shè)了覆蓋單元測(cè)試、功能測(cè)試、性能測(cè)試和測(cè)試管理等研發(fā)測(cè)試全過程的自動(dòng)化測(cè)試工具鏈，一方面通過SQL 解析、分支預(yù)測(cè)等技術(shù)實(shí)現(xiàn)技術(shù)測(cè)試自動(dòng)化，另一方面復(fù)用存量業(yè)務(wù)測(cè)試資產(chǎn)實(shí)現(xiàn)業(yè)務(wù)功能測(cè)試自動(dòng)化，整體自動(dòng)化測(cè)試覆蓋率可達(dá)80%。

三是實(shí)現(xiàn)試運(yùn)行階段生產(chǎn)環(huán)境測(cè)試驗(yàn)證的系統(tǒng)級(jí)解決方案。研發(fā)交易錄放工具，在試運(yùn)行階段，先在舊系統(tǒng)抓取流量，然后在新系統(tǒng)分別進(jìn)行一致性流量回放和性能回放實(shí)現(xiàn)功能和性能的驗(yàn)證。首先，一致性回放將抓取到的SQL 按源庫的執(zhí)行順序以事務(wù)為單位在新系統(tǒng)進(jìn)行回放，實(shí)現(xiàn)業(yè)務(wù)功能全覆蓋測(cè)試，保證新舊系統(tǒng)功能完全對(duì)等；其次，性能回放將抓取到的SQL 按照一定規(guī)則分發(fā)進(jìn)行多線程并發(fā)回放，以接近實(shí)際生產(chǎn)業(yè)務(wù)壓力的速度回放到新系統(tǒng)，進(jìn)行性能、可用性及可靠性測(cè)試，確保新舊系統(tǒng)可完整承載業(yè)務(wù)壓力。

四是實(shí)現(xiàn)新舊系統(tǒng)并行階段數(shù)據(jù)一致性的系統(tǒng)級(jí)解決方案。優(yōu)化異構(gòu)數(shù)據(jù)庫增量數(shù)據(jù)復(fù)制工具，在雙庫并行階段，新舊系統(tǒng)均有業(yè)務(wù)流量，通過數(shù)據(jù)復(fù)制工具進(jìn)行業(yè)務(wù)高峰期增量歸檔數(shù)據(jù)在異構(gòu)數(shù)據(jù)庫間的雙向復(fù)制，實(shí)現(xiàn)新舊系統(tǒng)業(yè)務(wù)數(shù)據(jù)的準(zhǔn)實(shí)時(shí)一致，確保故障場(chǎng)景下能及時(shí)回切，提升對(duì)外服務(wù)的連續(xù)性。

三、融合共建，助力金融行業(yè)數(shù)據(jù)庫轉(zhuǎn)型

工商銀行作為北京金融科技產(chǎn)業(yè)聯(lián)盟分布式專委會(huì)主任委員，發(fā)揮自身優(yōu)勢(shì)，以不斷提升我國金融級(jí)分布式數(shù)據(jù)庫技術(shù)和生態(tài)建設(shè)水平為目標(biāo)，以助力金融機(jī)構(gòu)數(shù)據(jù)庫轉(zhuǎn)型發(fā)展為己任。工商銀行通過整合凝集產(chǎn)、學(xué)、研、用各方優(yōu)勢(shì)力量，結(jié)合自身豐富的應(yīng)用場(chǎng)景及應(yīng)用開發(fā)實(shí)踐經(jīng)驗(yàn)，形成了經(jīng)驗(yàn)積累和資產(chǎn)沉淀，并立足分布式專委會(huì)不斷推進(jìn)標(biāo)準(zhǔn)規(guī)范建設(shè)、聯(lián)合檢測(cè)認(rèn)證、技術(shù)難點(diǎn)攻關(guān)和產(chǎn)業(yè)生態(tài)應(yīng)用方面的工作，助力金融行業(yè)數(shù)據(jù)庫轉(zhuǎn)型。

一是形成技術(shù)資產(chǎn)沉淀。工商銀行在傳統(tǒng)集中式數(shù)據(jù)庫轉(zhuǎn)型實(shí)踐中，充分總結(jié)經(jīng)驗(yàn)，編寫了轉(zhuǎn)型部署方案、轉(zhuǎn)型技術(shù)方案、數(shù)據(jù)庫遷移技術(shù)指引、數(shù)據(jù)庫遷移測(cè)試白皮書、各類工具使用手冊(cè)等涵蓋數(shù)據(jù)庫轉(zhuǎn)型全過程的指導(dǎo)手冊(cè)，形成了整套的系統(tǒng)性技術(shù)資產(chǎn)和解決方案，開拓了傳統(tǒng)集中式數(shù)據(jù)庫轉(zhuǎn)型工作的新思路、新方法，為金融行業(yè)提供了低成本、高效可控的轉(zhuǎn)型借鑒。

二是提升金融級(jí)分布式數(shù)據(jù)庫技術(shù)和生態(tài)建設(shè)水平。工商銀行切實(shí)履行分布式專委會(huì)主任委員職責(zé)，在人行科技司的指導(dǎo)和聯(lián)盟秘書處的統(tǒng)籌協(xié)調(diào)下，并聯(lián)合專委會(huì)各成員單位，牽頭制定《分布式數(shù)據(jù)庫技術(shù)金融應(yīng)用規(guī)范技術(shù)架構(gòu)》《分布式數(shù)據(jù)庫技術(shù)金融應(yīng)用規(guī)范安全技術(shù)要求》等5 項(xiàng)金融行業(yè)標(biāo)準(zhǔn)和團(tuán)隊(duì)標(biāo)準(zhǔn)，圍繞分布式數(shù)據(jù)庫技術(shù)金融應(yīng)用、分布式數(shù)據(jù)庫產(chǎn)品適配測(cè)試與安全評(píng)估、金融行業(yè)分布式數(shù)據(jù)庫應(yīng)用一體化解決方案和產(chǎn)用對(duì)接與協(xié)作，開展標(biāo)準(zhǔn)規(guī)范建設(shè)、技術(shù)難點(diǎn)攻關(guān)、聯(lián)合檢測(cè)認(rèn)證和產(chǎn)業(yè)生態(tài)應(yīng)用四個(gè)方面工作，推動(dòng)我國分布式數(shù)據(jù)庫產(chǎn)業(yè)有序、良性、可持續(xù)發(fā)展，不斷提升我國金融級(jí)分布式數(shù)據(jù)庫技術(shù)和生態(tài)建設(shè)水平，助力金融行業(yè)數(shù)據(jù)庫轉(zhuǎn)型。

四、未來展望

根據(jù)《“十四五”國家信息化規(guī)劃》，金融行業(yè)加快數(shù)字化轉(zhuǎn)型，打造安全可控的金融信息系統(tǒng)已是大勢(shì)所趨。工商銀行經(jīng)過技術(shù)攻關(guān)與創(chuàng)新實(shí)踐，充分驗(yàn)證了傳統(tǒng)集中式數(shù)據(jù)庫向分布式數(shù)據(jù)庫轉(zhuǎn)型的可行性，為大型商業(yè)銀行核心銀行系統(tǒng)自主可控轉(zhuǎn)型走出了寬闊的道路。

未來，工商銀行將持續(xù)圍繞分布式數(shù)據(jù)庫的創(chuàng)新運(yùn)用，夯實(shí)工行數(shù)字基建基礎(chǔ)支撐，形成金融行業(yè)傳統(tǒng)集中式數(shù)據(jù)庫轉(zhuǎn)型最佳實(shí)踐，通過技術(shù)沉淀和轉(zhuǎn)型實(shí)踐經(jīng)驗(yàn)總結(jié)，識(shí)別行業(yè)共性需求，形成的高效可控低成本的數(shù)據(jù)庫平滑轉(zhuǎn)型技術(shù)方案及配套工具，為金融同業(yè)提供轉(zhuǎn)型的良好借鑒，助力中小金融機(jī)構(gòu)加快自身數(shù)據(jù)庫轉(zhuǎn)型進(jìn)程，共建金融科技新生態(tài)，推動(dòng)金融業(yè)實(shí)現(xiàn)高水平科技自立自強(qiáng)。