面向分布式數(shù)據(jù)的跨系統(tǒng)數(shù)據(jù)同步中臺(tái)構(gòu)建方法

甘 杉，余 蕓，蕭展輝

（南方電網(wǎng)數(shù)字電網(wǎng)研究院有限公司，廣東廣州 510000）

中臺(tái)是指為應(yīng)對(duì)數(shù)據(jù)快速變化而搭建的互聯(lián)網(wǎng)架構(gòu)，既能實(shí)現(xiàn)前端主機(jī)所提出的處理需求，也能避免重復(fù)建設(shè)行為的出現(xiàn)，從而達(dá)到提高系統(tǒng)工作效率的目的。前臺(tái)也叫系統(tǒng)的前端平臺(tái)，是與終端用戶進(jìn)行信息直接交互的應(yīng)用層結(jié)構(gòu)；后臺(tái)則是指系統(tǒng)的后端平臺(tái)，一般情況下，前端用戶感知不到該結(jié)構(gòu)的存在的；中臺(tái)是以“前臺(tái)+后臺(tái)”架構(gòu)為基礎(chǔ)搭建的應(yīng)用結(jié)構(gòu)，可根據(jù)用戶需求的變化情況，更改與后端迭代用戶相關(guān)的信息響應(yīng)速率，一方面為用戶主體提供穩(wěn)定的連接服務(wù)，另一方面也可實(shí)現(xiàn)對(duì)后端存儲(chǔ)數(shù)據(jù)的高效管理[1-2]。

在跨區(qū)域傳輸環(huán)境中，由于信息節(jié)點(diǎn)散亂分布等原因，極易導(dǎo)致信息“碎片化問(wèn)題”的出現(xiàn)。為解決此問(wèn)題，傳統(tǒng)方法借助IT 平臺(tái)實(shí)現(xiàn)MyCAT 分表配置，統(tǒng)計(jì)數(shù)據(jù)信息的現(xiàn)有傳輸能力，再通過(guò)多級(jí)表單對(duì)信息參量進(jìn)行按需存儲(chǔ)，從而最大程度上將碎片信息整合成完整的塊狀傳輸結(jié)構(gòu)。然而該方法在單位時(shí)間內(nèi)所能承載的跨區(qū)域傳輸文件量相對(duì)有限，并不能實(shí)現(xiàn)對(duì)信息碎片化行為的有效抑制?；诖?，提出面向分布式數(shù)據(jù)的跨系統(tǒng)數(shù)據(jù)同步中臺(tái)構(gòu)建方法，在分布式數(shù)據(jù)庫(kù)的基礎(chǔ)上，建立完整的同步服務(wù)架構(gòu)，再通過(guò)分離輸入信息的方式，總結(jié)中臺(tái)運(yùn)作機(jī)制的實(shí)際應(yīng)用能力。

1 面向分布式數(shù)據(jù)的跨系統(tǒng)傳輸環(huán)境

1.1 分布式數(shù)據(jù)庫(kù)

分布式數(shù)據(jù)庫(kù)作為跨系統(tǒng)數(shù)據(jù)同步中臺(tái)體系的基礎(chǔ)應(yīng)用框架，由服務(wù)層、計(jì)算層、存儲(chǔ)層三部分結(jié)構(gòu)共同組成。其中，服務(wù)層以SQL多模引擎作為核心搭建結(jié)構(gòu)，可同時(shí)負(fù)載數(shù)據(jù)信息量的調(diào)度、查詢與管理需求，并可以原數(shù)據(jù)的形式，將待傳輸?shù)目鐓^(qū)域信息參量分配至相關(guān)主機(jī)元件之中。計(jì)算層結(jié)構(gòu)負(fù)責(zé)生成與分布式數(shù)據(jù)相關(guān)的計(jì)算實(shí)例文件，并可按照跨區(qū)域傳輸需求，對(duì)已存儲(chǔ)的數(shù)據(jù)信息參量進(jìn)行整合，從而實(shí)現(xiàn)對(duì)同步中臺(tái)體系穩(wěn)定性水平的大幅提升[3-4]。存儲(chǔ)層結(jié)構(gòu)存在于分布式數(shù)據(jù)庫(kù)最底層，可在中臺(tái)體系的作用下，維持跨系統(tǒng)轉(zhuǎn)存主機(jī)的應(yīng)用能力，從而建立能夠滿足執(zhí)行需求的、穩(wěn)定的分布式框架體系結(jié)構(gòu)。分布式數(shù)據(jù)庫(kù)結(jié)構(gòu)示意圖如圖1 所示。

圖1 分布式數(shù)據(jù)庫(kù)結(jié)構(gòu)示意圖

1.2 數(shù)據(jù)分片

數(shù)據(jù)分片是一種新型的分表類(lèi)數(shù)據(jù)庫(kù)結(jié)構(gòu)體，也是跨系統(tǒng)數(shù)據(jù)同步中臺(tái)的關(guān)鍵執(zhí)行結(jié)構(gòu)。對(duì)于分布式數(shù)據(jù)信息而言，隨著信息傳輸規(guī)模的不斷擴(kuò)大，網(wǎng)絡(luò)環(huán)境中生成的分片結(jié)構(gòu)體數(shù)量也會(huì)逐漸增多。一般情況下，數(shù)據(jù)分片的設(shè)置必須同時(shí)滿足信息分布均衡、分布規(guī)模跨度小、信息傳輸延展性強(qiáng)三個(gè)要求，且由于跨系統(tǒng)數(shù)據(jù)同步性等級(jí)的不斷提升，分片結(jié)構(gòu)體之間的聯(lián)系緊密程度也會(huì)逐漸增強(qiáng)[5-6]。設(shè)Eˉ代表分布式數(shù)據(jù)信息的傳輸延展系數(shù)均值，代表跨系統(tǒng)數(shù)據(jù)的分布規(guī)模特征值，p代表信息分布的均衡特性條件，聯(lián)立上述物理量，可將跨系統(tǒng)數(shù)據(jù)同步中臺(tái)的數(shù)據(jù)分片結(jié)果表示為：

式中，χ代表跨系統(tǒng)數(shù)據(jù)的分布式傳輸系數(shù)，代表跨系統(tǒng)數(shù)據(jù)的同步調(diào)度權(quán)限量。

1.3 輸入信息分離

輸入信息分離是跨系統(tǒng)數(shù)據(jù)同步中臺(tái)構(gòu)建過(guò)程中的關(guān)鍵處理環(huán)節(jié)，可在已知分布式數(shù)據(jù)傳輸目的地的基礎(chǔ)上，對(duì)數(shù)據(jù)信息參量所處的實(shí)時(shí)環(huán)境進(jìn)行準(zhǔn)確記錄，從而將數(shù)據(jù)信息節(jié)點(diǎn)最大化聚合起來(lái)，避免信息碎片化行為的出現(xiàn)。從宏觀角度來(lái)看，輸入信息分離處理的執(zhí)行步驟相對(duì)較為復(fù)雜，需要同時(shí)考慮跨系統(tǒng)數(shù)據(jù)傳輸量、數(shù)據(jù)信息同步傳輸時(shí)間兩項(xiàng)物理量[7-8]?？缦到y(tǒng)數(shù)據(jù)傳輸量可表示為I，若以分布式傳輸作為參考條件，則可認(rèn)為該項(xiàng)物理量的數(shù)值水平越高，輸入信息的實(shí)際分離結(jié)果越明顯。數(shù)據(jù)信息同步傳輸時(shí)間可表示為T(mén)，一般來(lái)說(shuō)，該項(xiàng)物理量的取值結(jié)果應(yīng)盡可能地小，也只有這樣才能實(shí)現(xiàn)對(duì)數(shù)據(jù)文件跨區(qū)域傳輸速率的不斷促進(jìn)。在上述物理量的支持下，聯(lián)立式（1），可將輸入信息分離結(jié)果表示為：

式中，α代表跨系統(tǒng)數(shù)據(jù)的分離系數(shù)指標(biāo)，w1、w2代表兩個(gè)不同的分布式數(shù)據(jù)同步傳輸系數(shù)值。

2 跨系統(tǒng)數(shù)據(jù)同步中臺(tái)的需求分析

在分布式數(shù)據(jù)的跨系統(tǒng)傳輸環(huán)境中，按照同步服務(wù)架構(gòu)搭建、傳輸用例關(guān)系研究、中臺(tái)運(yùn)作機(jī)制完善的處理流程，完成跨系統(tǒng)數(shù)據(jù)同步中臺(tái)的應(yīng)用需求分析。

2.1 同步服務(wù)架構(gòu)

跨系統(tǒng)數(shù)據(jù)的同步服務(wù)架構(gòu)分為下載服務(wù)、解析服務(wù)兩個(gè)執(zhí)行體系。其中，下載服務(wù)體系可接收APK結(jié)構(gòu)中暫存的分布式數(shù)據(jù)信息，并可在符合數(shù)據(jù)校驗(yàn)需求的前提下，借助FileUtils 模塊，將數(shù)據(jù)信息參量排列成全新的傳輸格式，在該過(guò)程中存在一定的處理失敗率，因此服務(wù)體系具備自發(fā)失敗并重試的能力。解析服務(wù)體系以ApkUtil 結(jié)構(gòu)作為建設(shè)主體，可借助aapt 傳輸平臺(tái)，對(duì)跨系統(tǒng)數(shù)據(jù)進(jìn)行同步整合，再將最終獲得的分布式數(shù)據(jù)包存儲(chǔ)于ApkInfo 結(jié)構(gòu)之中，以供其他中臺(tái)應(yīng)用主機(jī)的直接調(diào)取與應(yīng)用[9-10]。跨系統(tǒng)數(shù)據(jù)同步服務(wù)架構(gòu)示意圖如圖2 所示。

圖2 跨系統(tǒng)數(shù)據(jù)同步服務(wù)架構(gòu)示意圖

2.2 傳輸用例關(guān)系

跨系統(tǒng)數(shù)據(jù)同步中臺(tái)的傳輸用例關(guān)系涉及APK解析、遍歷測(cè)試、數(shù)據(jù)監(jiān)控、報(bào)告生成四方面內(nèi)容。

APK 解析行為生成于跨系統(tǒng)數(shù)據(jù)傳輸?shù)钠鹗茧A段，可在同步服務(wù)架構(gòu)的作用下，打散分布式數(shù)據(jù)間的存儲(chǔ)與連接關(guān)系，從而使得ApkInfo 結(jié)構(gòu)的存儲(chǔ)壓力得到有效緩解，實(shí)現(xiàn)對(duì)跨系統(tǒng)數(shù)據(jù)的按需整合[11-12]。

遍歷測(cè)試行為直接作用于待傳輸?shù)姆植际綌?shù)據(jù)信息參量，可按照跨系統(tǒng)同步中臺(tái)的應(yīng)用需求對(duì)相關(guān)信息文件進(jìn)行二次整合，進(jìn)而拉近跨系統(tǒng)節(jié)點(diǎn)之間的實(shí)時(shí)傳輸關(guān)系。

數(shù)據(jù)監(jiān)控行為對(duì)于分布式數(shù)據(jù)信息起到較強(qiáng)的約束作用，可根據(jù)相鄰系統(tǒng)之間的跨平臺(tái)傳輸距離確定中臺(tái)主機(jī)所處的實(shí)時(shí)位置，從而實(shí)現(xiàn)對(duì)數(shù)據(jù)傳輸同步性的有效保障[13-14]。

報(bào)告生成行為決定了跨系統(tǒng)數(shù)據(jù)同步中臺(tái)的信息傳輸廣度條件，一般來(lái)說(shuō)，待處理的分布式數(shù)據(jù)越多，傳輸報(bào)告的生產(chǎn)速度也就越快，與之相關(guān)的同步中臺(tái)應(yīng)用穩(wěn)定性也就越強(qiáng)。

2.3 中臺(tái)運(yùn)作機(jī)制

中臺(tái)運(yùn)作機(jī)制是確?？缦到y(tǒng)數(shù)據(jù)同步中臺(tái)構(gòu)建的基礎(chǔ)應(yīng)用條件，可在初期傳輸階段，將數(shù)據(jù)信息參量劃分成多個(gè)模塊結(jié)構(gòu)，其中，一部分直接反饋至分布式信息處理主機(jī)中，另一部分則用于抵消由傳輸用例關(guān)系帶來(lái)的抑制性干擾的影響[15-16]。規(guī)定同步中臺(tái)主機(jī)在單位時(shí)間內(nèi)所能承載的最大跨系統(tǒng)數(shù)據(jù)量只能達(dá)到ΔC，在平臺(tái)體系構(gòu)建權(quán)重保持為ξ的情況下，聯(lián)立公式（2），可將中臺(tái)運(yùn)作機(jī)制的基礎(chǔ)應(yīng)用條件表示為：

式中，k為數(shù)據(jù)信息參量的分布式劃分系數(shù)，f為跨系統(tǒng)數(shù)據(jù)的用例傳輸系數(shù)值。在實(shí)際應(yīng)用過(guò)程中，中臺(tái)運(yùn)作機(jī)制的穩(wěn)定性越強(qiáng)，分布式數(shù)據(jù)在跨區(qū)域環(huán)境中的傳輸速率也就越快，因此在確保數(shù)據(jù)信息間傳輸用例關(guān)系不發(fā)生改變的情況下，應(yīng)盡可能增大中臺(tái)運(yùn)作機(jī)制基礎(chǔ)應(yīng)用條件的實(shí)際計(jì)算數(shù)值。至此，完成各級(jí)指標(biāo)系數(shù)的計(jì)算與處理，在分布式傳輸環(huán)境下，實(shí)現(xiàn)跨系統(tǒng)數(shù)據(jù)同步中臺(tái)構(gòu)建方法的順利應(yīng)用。

3 實(shí)例分析

利用Linux 虛擬主機(jī)截取實(shí)驗(yàn)所需的數(shù)據(jù)信息資源，分別從時(shí)間與傳輸能力兩個(gè)方向?qū)?shù)據(jù)信息的應(yīng)用能力進(jìn)行考量，一般情況下，數(shù)據(jù)信息資源的傳輸最大值只能達(dá)到12 G。數(shù)據(jù)信息獲取示意圖如圖3 所示。

圖3 數(shù)據(jù)信息獲取示意圖

為保證數(shù)據(jù)文件的跨區(qū)域穩(wěn)定傳輸，將頂層主機(jī)IP 設(shè)置為175.149.41.100、中層主機(jī)IP 設(shè)置為172.31.255.255、底層主機(jī)IP 設(shè)置為127.255.255.254，且在實(shí)驗(yàn)過(guò)程中，所有應(yīng)用主機(jī)的IP 地址參量都不能被改變。

該實(shí)驗(yàn)分兩部分進(jìn)行，首先在Linux 虛擬主機(jī)中輸入面向分布式數(shù)據(jù)的跨系統(tǒng)數(shù)據(jù)同步中臺(tái)構(gòu)建方法的軟件執(zhí)行程序，將所獲得的數(shù)據(jù)信息作為實(shí)驗(yàn)組數(shù)據(jù)資源；其次在Linux 虛擬主機(jī)中輸入MyCAT分表方法的軟件執(zhí)行程序，將所獲得的數(shù)據(jù)信息作為對(duì)照組數(shù)據(jù)資源；最后將實(shí)驗(yàn)組、對(duì)照組指標(biāo)參量進(jìn)行對(duì)比。

單位時(shí)間內(nèi)跨區(qū)域傳輸?shù)臄?shù)據(jù)文件數(shù)量能夠反映碎片信息的出現(xiàn)幾率，且前者始終對(duì)后者起到反向影響作用，即單位時(shí)間內(nèi)跨區(qū)域傳輸?shù)臄?shù)據(jù)文件數(shù)量越多，碎片信息的出現(xiàn)幾率也就越低，反之則越高。

具體實(shí)驗(yàn)結(jié)果如圖4-5 所示。

圖4 數(shù)據(jù)文件傳輸量（單流量）

分析圖4 可知，在單流量情況下，實(shí)驗(yàn)組、對(duì)照組數(shù)據(jù)文件的傳輸量水平始終相對(duì)較低，但在整個(gè)實(shí)驗(yàn)過(guò)程中，該數(shù)值始終保持連續(xù)上升的數(shù)值變化趨勢(shì)，且實(shí)驗(yàn)組上升幅度明顯高于對(duì)照組。

分析圖5 可知，在多流量情況下，實(shí)驗(yàn)組、對(duì)照組的數(shù)據(jù)文件傳輸量水平與單流量情況保持一致。在第3 與第4 組別之間，實(shí)驗(yàn)組的數(shù)值上升幅度最小，但對(duì)照組的數(shù)值上升幅度在整個(gè)實(shí)驗(yàn)過(guò)程中并未發(fā)生明顯變化。

圖5 數(shù)據(jù)文件傳輸量（多流量）

綜上可知，面向分布式數(shù)據(jù)的跨系統(tǒng)數(shù)據(jù)同步中臺(tái)構(gòu)建方法主要具備以下兩項(xiàng)應(yīng)用優(yōu)勢(shì)：

1）在單流量、多流量傳輸情況下，隨著該方法的應(yīng)用，數(shù)據(jù)文件傳輸量水平均出現(xiàn)明顯上升的變化趨勢(shì)；

2）單位時(shí)間內(nèi)跨區(qū)域傳輸數(shù)據(jù)文件數(shù)量值的增大，能夠較好地抑制碎片信息的出現(xiàn)，符合跨區(qū)域穩(wěn)定傳輸數(shù)據(jù)文件的實(shí)際應(yīng)用需求。

4 結(jié)束語(yǔ)

針對(duì)分布式數(shù)據(jù)來(lái)講，跨系統(tǒng)數(shù)據(jù)同步中臺(tái)構(gòu)建方法從分布式數(shù)據(jù)庫(kù)的角度著手，通過(guò)數(shù)據(jù)分片處理的方式，對(duì)已輸出信息進(jìn)行有效地分離，再根據(jù)同步服務(wù)架構(gòu)的連接形式，確定具體的傳輸用例關(guān)系，從而較好地完善中臺(tái)運(yùn)作機(jī)制。實(shí)驗(yàn)結(jié)果顯示，應(yīng)用跨系統(tǒng)數(shù)據(jù)同步中臺(tái)構(gòu)建方法后，無(wú)論是單流量還是多流量環(huán)境，數(shù)據(jù)文件的傳輸量水平均出現(xiàn)了一定程度的提升，不但防止了信息“碎片化問(wèn)題”的出現(xiàn)，也實(shí)現(xiàn)了對(duì)數(shù)據(jù)文件的穩(wěn)定跨區(qū)域傳輸，在實(shí)際應(yīng)用過(guò)程中，具備較強(qiáng)的促進(jìn)性作用。