劉峰 楊杰 李志斌 齊佳音
摘要:自“數(shù)據(jù)+業(yè)務(wù)”的雙中臺架構(gòu)被提出以來,中臺間數(shù)據(jù)進行安全交互的效能顯得尤為重要,基于此,本研究提出了一種高效的交互式協(xié)議,在借助區(qū)塊鏈雙鏈結(jié)構(gòu)保證數(shù)據(jù)安全可信的情況下,改善了內(nèi)生性數(shù)據(jù)在中臺間交互效率低的問題,對新協(xié)議中核心的門限簽名技術(shù)進行實驗?zāi)M的結(jié)果表明新協(xié)議在鏈下簽名、鏈上驗簽過程中比傳統(tǒng)單一鏈上簽名及驗簽的方法節(jié)省了42.1%的時間成本,新協(xié)議對中臺融合區(qū)塊鏈技術(shù)、加快中臺與區(qū)塊鏈的廣泛實踐均具有積極推動作用。
關(guān)鍵詞:雙中臺雙鏈架構(gòu):高效數(shù)據(jù)交互協(xié)議:鏈下門限簽名:鏈上驗證簽名:區(qū)塊鏈
中圖分類號:TP301 文獻標(biāo)志碼:A DOI:10.3969/j,issn,1000-5641.202091014
0引言
傳統(tǒng)的數(shù)據(jù)中臺主要服務(wù)于數(shù)據(jù)的分層與屬性分離,具有沉淀公共數(shù)據(jù)的能力,數(shù)據(jù)中臺是通過數(shù)據(jù)技術(shù)對海量數(shù)據(jù)進行采集、計算、存儲、加工,同時統(tǒng)一標(biāo)準(zhǔn)和口徑的一種共享平臺,其最早由阿里巴巴于2016年的研究報告中提出,目的是幫助實現(xiàn)全局數(shù)據(jù)規(guī)范,力圖將技術(shù)平臺開發(fā)的功能充分反哺到前端應(yīng)用,阿里巴巴數(shù)據(jù)中臺出現(xiàn)的緣由則是來源于其內(nèi)部眾多業(yè)務(wù)部門千變?nèi)f化的數(shù)據(jù)需求和高速時效性的要求,既要滿足多個業(yè)務(wù)前臺的數(shù)據(jù)需求,同時還要應(yīng)對大規(guī)模數(shù)據(jù)的線性可擴展問題以及復(fù)雜活動場景業(yè)務(wù)系統(tǒng)的解耦問題等,不過,數(shù)據(jù)中臺的概念目前仍過于寬泛,業(yè)界亦無行業(yè)性標(biāo)準(zhǔn),在國內(nèi)科技公司競相展開大中臺規(guī)劃的時候,阿里巴巴首席信息官張建鋒近些年則在不同場合提出了業(yè)務(wù)中臺的架構(gòu)思想,所謂的業(yè)務(wù)中臺是指所有應(yīng)用系統(tǒng)都必須與之建立聯(lián)系,以便更好地實現(xiàn)企業(yè)核心業(yè)務(wù)運行機制的一種整合型體系系統(tǒng),張考慮使用業(yè)務(wù)中臺與數(shù)據(jù)中臺融合創(chuàng)新的新思路來進一步細化中臺職能,但是,數(shù)據(jù)中臺和業(yè)務(wù)中臺融合過程中存在的突出問題是數(shù)據(jù)交互的效能問題,在中臺間多股業(yè)務(wù)流和數(shù)據(jù)流交互傳輸時,很難明晰出一條完整的業(yè)務(wù)與數(shù)據(jù)處理過程,內(nèi)生性的業(yè)務(wù)信息與數(shù)據(jù)信息的雜糅,導(dǎo)致業(yè)務(wù)流的溯源、數(shù)據(jù)流的調(diào)度變得煩瑣,數(shù)據(jù)交互的安全性也面臨著一定的挑戰(zhàn),因此,如何確保在安全情況下提升中臺間內(nèi)生性數(shù)據(jù)交互效能以推動中臺建設(shè)是亟待研究的問題。
針對上述問題,本研究使用區(qū)塊鏈技術(shù)來對交互的數(shù)據(jù)進行拆分,區(qū)塊鏈技術(shù)作為一種點對點的新興計算機技術(shù),可以在解決業(yè)務(wù)溯源困難、數(shù)據(jù)調(diào)度粗略問題方面提供可能途徑,借助區(qū)塊鏈技術(shù)特性,一方面賦能“數(shù)據(jù)+業(yè)務(wù)”的雙中臺系統(tǒng)在數(shù)據(jù)安全流轉(zhuǎn)和數(shù)據(jù)安全存儲方面的隱私保護;另一方面借助共識機制和經(jīng)濟模型,融合區(qū)塊鏈生態(tài)的資源來對實際落地場景進行技術(shù)融合創(chuàng)新,區(qū)塊鏈技術(shù)融于雙中臺,但并不會侵入相關(guān)中臺業(yè)務(wù),而是類似作為中臺系統(tǒng)的底層技術(shù)進行賦能,避免了區(qū)塊鏈技術(shù)直接對海量數(shù)據(jù)進行處理的低效率問題,利用區(qū)塊鏈公開透明、難被篡改等優(yōu)勢,能夠?qū)σ呀?jīng)處理過的有價值數(shù)據(jù)進行流轉(zhuǎn)、存儲及追溯,從而最終服務(wù)于數(shù)據(jù)交互效能的提升。
本研究根據(jù)中臺中交互數(shù)據(jù)源的不同,將業(yè)務(wù)流信息和數(shù)據(jù)流信息放置于基于區(qū)塊鏈的業(yè)務(wù)鏈和數(shù)據(jù)鏈上分別進行存儲,進而提出了一種面向雙中臺雙鏈架構(gòu)的內(nèi)生性數(shù)據(jù)交互協(xié)議,通過該協(xié)議,核心數(shù)據(jù)信息通過集合中臺中一定數(shù)量的信息主體對上鏈數(shù)據(jù)信息進行授權(quán),將合法信息批量傳人指定區(qū)塊鏈,同時,抽離協(xié)議中核心的門限簽名算法構(gòu)造內(nèi)生性數(shù)據(jù)交互流轉(zhuǎn)的模型,通過實驗,分析算法在進行數(shù)據(jù)交互時的時間開銷,并與傳統(tǒng)的鏈上單一簽名、驗簽進行比較,證實了該協(xié)議在改善數(shù)據(jù)交互效能上具有一定的優(yōu)勢。
1研究基礎(chǔ)
1.1數(shù)據(jù)中臺現(xiàn)狀
不少學(xué)者為推動中臺的發(fā)展做了相關(guān)的研究,概括而言,目前的數(shù)據(jù)中臺的階段模式可以分為以下三種。
第一種是阿里巴巴最初提出的數(shù)據(jù)中臺,主要是為了在“大中臺,小前臺”的業(yè)務(wù)戰(zhàn)略下進行數(shù)據(jù)化的實踐,通過劃分不同業(yè)務(wù)邊界然后進行業(yè)務(wù)建模,進而指導(dǎo)系統(tǒng)的服務(wù)化建設(shè),在延續(xù)阿里巴巴提出的數(shù)據(jù)中臺戰(zhàn)略思想的基礎(chǔ)上,鄧立君提出緊跟大數(shù)據(jù)時代的發(fā)展潮流,通過融合數(shù)據(jù)中臺到大數(shù)據(jù)中心的建設(shè)中,實現(xiàn)對所有業(yè)務(wù)進行數(shù)據(jù)化處理,以充分發(fā)揮數(shù)據(jù)資產(chǎn)價值。
第二種是業(yè)務(wù)中臺,根據(jù)業(yè)務(wù)需求的不同,劃分不同業(yè)務(wù)邊界然后進行業(yè)務(wù)建模,進而指導(dǎo)系統(tǒng)的服務(wù)化建設(shè),對于業(yè)務(wù)中臺的作用,宮志奇認為業(yè)務(wù)中臺能夠解決效率問題,同時也能降低業(yè)務(wù)創(chuàng)新成本,而趙冠東等學(xué)者則是考慮基于業(yè)務(wù)中臺技術(shù)對全渠道運營支撐平臺架構(gòu)進行改良設(shè)計,主要包括運營活動、運營渠道管理以及監(jiān)督預(yù)警,并研究了部署方式和面向電力營銷的運營支撐平臺的業(yè)務(wù)內(nèi)容。
第三種是碎片化中臺,在前兩種數(shù)據(jù)中臺的基礎(chǔ)之上,根據(jù)業(yè)務(wù)或職能進行更細粒度的拆分,使得中臺碎片化,以降低成本,進一步提高組織效率,在此類中臺實踐中,付威認為數(shù)據(jù)中臺遵循高度集中化與可復(fù)用原則,可在中臺基礎(chǔ)上將服務(wù)組件快速封裝起來,提供給前臺便利使用,
傳統(tǒng)數(shù)據(jù)中臺功能過于集中化,而在真實的業(yè)務(wù)場景下,系統(tǒng)往往需要通過不同的業(yè)務(wù)服務(wù)來獲取業(yè)務(wù)所需要的數(shù)據(jù),這種方式即便考慮用分布式系統(tǒng)架構(gòu)來實現(xiàn)傳統(tǒng)的數(shù)據(jù)中臺相關(guān)功能,技術(shù)上仍然存在緩存穿透、造成雪崩效應(yīng)的問題,為解決這一痛點,通常的做法是進行數(shù)據(jù)治理,可以實現(xiàn)更高效地提升高并發(fā)業(yè)務(wù)場景下的計算和存儲能力,但考慮到業(yè)務(wù)的需求分析會隨著不同時間點動態(tài)變化,如果不能對新業(yè)務(wù)進行及時處理,也無法做到在技術(shù)上根據(jù)需求的特性進行持續(xù)功能迭代和技術(shù)更替,那么數(shù)據(jù)治理的效益將會大打折扣,因此“數(shù)據(jù)+業(yè)務(wù)”形式的雙中臺架構(gòu)逐漸進入產(chǎn)業(yè)界中。
1.2“數(shù)據(jù)+業(yè)務(wù)”雙中臺
典型的“數(shù)據(jù)+業(yè)務(wù)”雙中臺架構(gòu)將數(shù)據(jù)處理與業(yè)務(wù)服務(wù)按照邏輯順序及處理對象屬性進行并列設(shè)計,使得業(yè)務(wù)上的需求分析能夠及時得到反饋,有助于緩解現(xiàn)有數(shù)據(jù)平臺中單一數(shù)據(jù)中臺業(yè)務(wù)冗余的技術(shù)痛點,達到有效進行數(shù)據(jù)治理的目的,同時業(yè)務(wù)中臺的剝離,還有助于一部分業(yè)務(wù)信息能提前進行預(yù)處理,從而提升業(yè)務(wù)處理效能,具有普適性的“數(shù)據(jù)+業(yè)務(wù)”雙中臺架構(gòu)如圖1所示。
從圖1的左半部分業(yè)務(wù)中臺可以看出,業(yè)務(wù)中臺的基礎(chǔ)件是由業(yè)務(wù)中的微服務(wù)平臺、分布式數(shù)據(jù)庫、消息隊列和應(yīng)用監(jiān)控組成的,上層則根據(jù)業(yè)務(wù)主體的不同,分配不同的服務(wù)、權(quán)能和管理措施,右半部分數(shù)據(jù)中臺的基礎(chǔ)件是由數(shù)據(jù)采集、數(shù)據(jù)分析、數(shù)據(jù)服務(wù)和數(shù)據(jù)安全四個部分組成,數(shù)據(jù)中臺中會依照不同的算法模型對不同的數(shù)據(jù)進行不同的處理,在風(fēng)險控制模型中,需要對主數(shù)據(jù)的安全性、質(zhì)量進行評估分析;在采集模型中,需要對上傳的數(shù)據(jù)進行歸類,收集整合同類業(yè)務(wù)數(shù)據(jù)進行后續(xù)處理;對于計算模型,主要是根據(jù)業(yè)務(wù)需要提取數(shù)據(jù)中的關(guān)鍵信息進行分析計算,然后給出對應(yīng)的處理結(jié)果,此外,數(shù)據(jù)中臺還會向外提供數(shù)據(jù)查詢的接口并給出相應(yīng)的數(shù)據(jù)接口配置,方便根據(jù)服務(wù)需求進行調(diào)整,然后調(diào)用。
在這種雙中臺架構(gòu)下,進行業(yè)務(wù)分析時,使用業(yè)務(wù)中臺進行處理;進行數(shù)據(jù)分析時,則使用數(shù)據(jù)中臺進行處理,從而減少業(yè)務(wù)和數(shù)據(jù)的耦合度,與此同時兩者還能相輔相成、互相改進,形成增強閉環(huán),并進一步降低各中臺中信息的冗余,提升一定的計算效能。
1.3基于區(qū)塊鏈技術(shù)的雙中臺架構(gòu)
在數(shù)據(jù)中臺逐漸豐富和完善的同時,區(qū)塊鏈技術(shù)也在走向成熟,例如,畢婭等人就提出了一種用戶信息鏈和交易鏈的雙鏈結(jié)構(gòu),在保證用戶隱私的同時,將業(yè)務(wù)信息與交易數(shù)據(jù)進行拆分,減少了節(jié)點記錄信息的冗余量,再如,Gai等提出了用于融合區(qū)塊鏈和數(shù)據(jù)中臺以創(chuàng)造附加價值的概念模型,IJi等人也給出了一種使用區(qū)塊鏈技術(shù)來實現(xiàn)整個數(shù)據(jù)生命周期中的數(shù)據(jù)跟蹤的方法。
鑒于上述先行研究,在雙中臺的基礎(chǔ)上,為了在數(shù)據(jù)安全可信的情況下更好地對數(shù)據(jù)信息和業(yè)務(wù)記錄進行管理,本研究也引入了基于區(qū)塊鏈技術(shù)的雙鏈架構(gòu),根據(jù)具體業(yè)務(wù)和數(shù)據(jù)讀取的需要,將具有不同共識機制、不同經(jīng)濟模型、不同交易處理能力的區(qū)塊鏈進行組合,以便借助不同的區(qū)塊鏈生態(tài)力量搭建最符合實際場景的業(yè)務(wù)體系,具體的雙鏈架構(gòu)設(shè)計如圖2所示,
雙鏈架構(gòu)依據(jù)數(shù)據(jù)鏈和業(yè)務(wù)鏈進行拆分,并最終服務(wù)于一個應(yīng)用中處理,數(shù)據(jù)鏈的區(qū)塊中存儲的是數(shù)據(jù)信息,業(yè)務(wù)鏈的區(qū)塊中存儲的是業(yè)務(wù)記錄,根據(jù)業(yè)務(wù)和數(shù)據(jù)特性,架構(gòu)中數(shù)據(jù)鏈?zhǔn)亲鳛樗接墟?,而業(yè)務(wù)鏈可以是公有鏈,也可以是聯(lián)盟鏈,然后根據(jù)數(shù)據(jù)、業(yè)務(wù)記錄的具體信息決定是采用默克爾樹(Merkle Tree)結(jié)構(gòu)存儲的區(qū)塊鏈還是用默克爾帕特里夏樹(Merkle Patricia Tree)結(jié)構(gòu)存儲的區(qū)塊鏈,同時對于雙鏈架構(gòu)并不僅限定數(shù)量為兩條鏈,而有可能是以數(shù)據(jù)類型和業(yè)務(wù)類型所區(qū)分的兩種鏈,每一種鏈均可以由具體的去中心化應(yīng)用(Dapp)或調(diào)用服務(wù)來進行協(xié)同通信。
這樣的實現(xiàn)方式會在內(nèi)生性數(shù)據(jù)交互上有以下三個方面的好處:1)鏈上的任意用戶節(jié)點可以在不知道隱私數(shù)據(jù)信息的情況下查看大致的業(yè)務(wù)處理情況,這樣就在保證數(shù)據(jù)安全的同時,也保證了業(yè)務(wù)記錄的真實可信;2)將業(yè)務(wù)記錄和數(shù)據(jù)信息拆分開來,相比單鏈處理,同一時刻能夠減少大部分節(jié)點記賬信息的冗余,一定程度上提高了系統(tǒng)的吞吐量性能;3)方便系統(tǒng)運維和管理,能夠在邏輯上進行業(yè)務(wù)的平滑擴展。
結(jié)合上述的基礎(chǔ)知識,本文給出雙中臺雙鏈架構(gòu)下的數(shù)據(jù)交互過程,如圖3所示,首先,將某個數(shù)據(jù)源輸人數(shù)據(jù)中臺,由數(shù)據(jù)中臺采集數(shù)據(jù)后,對數(shù)據(jù)源中的信息進行安全分析,然后經(jīng)過數(shù)據(jù)中臺周轉(zhuǎn),將信息存人數(shù)據(jù)鏈,與此同時,抽離出數(shù)據(jù)源的業(yè)務(wù)數(shù)據(jù)交由業(yè)務(wù)中臺進行處理判斷,對不同主體進行不同的業(yè)務(wù)處理,然后將其傳人業(yè)務(wù)鏈中進行保存,并根據(jù)業(yè)務(wù)需求輸出結(jié)果反饋,即實施業(yè)務(wù)服務(wù)。
如果業(yè)務(wù)主體需要進行相關(guān)服務(wù),那么需要經(jīng)過業(yè)務(wù)中臺的業(yè)務(wù)服務(wù)進行訪問,由業(yè)務(wù)服務(wù)反饋給業(yè)務(wù)中臺后,向數(shù)據(jù)中臺請求相關(guān)數(shù)據(jù)的調(diào)用,并記錄此次業(yè)務(wù)數(shù)據(jù)到業(yè)務(wù)鏈,數(shù)據(jù)中臺收到請求后進行合法確認,然后調(diào)用數(shù)據(jù)鏈上的內(nèi)容進行返回,最終將內(nèi)容反饋給業(yè)務(wù)主體,因此,雙中臺的架構(gòu)設(shè)計既有效地提高了數(shù)據(jù)在業(yè)務(wù)鏈路分片的準(zhǔn)確度和效率,同時減少了數(shù)據(jù)耦合,有利于在未來業(yè)務(wù)中對數(shù)據(jù)集進行預(yù)分類,而且,在以雙中臺架構(gòu)為核心的基礎(chǔ)上融入雙鏈架構(gòu),對比單一區(qū)塊鏈結(jié)構(gòu)更有效地利用了解耦思想來對上鏈信息進行合理區(qū)分,在不使用效率和性能相對低下的跨鏈交互技術(shù)的同時,還能夠最大限度地減少區(qū)塊鏈數(shù)據(jù)的并發(fā)數(shù)據(jù)量,提高吞吐量,極大地提高了雙中臺雙鏈系統(tǒng)的整體效能。
但是,在充分利用雙中臺雙鏈架構(gòu)的技術(shù)優(yōu)勢之時一個無法回避的問題也隨之產(chǎn)生,即為了充分利用區(qū)塊鏈公開透明、全程加密、安全追溯的優(yōu)勢,在雙中臺與雙鏈之間做簽名和驗簽時會面臨低效的問題,因此設(shè)計一個相對高效的交互協(xié)議來提升交互效率就顯得尤為重要。
2一種面向雙中臺雙鏈架構(gòu)的內(nèi)生性數(shù)據(jù)交互協(xié)議
針對以雙中臺為核心的分布式系統(tǒng)和去中心化區(qū)塊鏈系統(tǒng)間的數(shù)據(jù)協(xié)同中的效能問題提出以下的協(xié)議,如圖4所示。
結(jié)合圖4.以業(yè)務(wù)中臺和業(yè)務(wù)鏈間數(shù)據(jù)交互為例,研究中的協(xié)議核心部分按照舒普(shoup)門限簽名算法來對業(yè)務(wù)主體傳輸?shù)臉I(yè)務(wù)記錄進行授權(quán)后上鏈,一方面舒普門限簽名中簽名的生成和驗證是完全非交互的,減少了不必要的傳輸開銷;另一方面舒普門限簽名者身份防偽造,實現(xiàn)了各個業(yè)務(wù)主體間的權(quán)利均分,避免了濫用職權(quán)上傳惡意業(yè)務(wù)記錄,下面給出這個協(xié)議中主要算法的詳細步驟,
第一步:需要由中臺中設(shè)定的可信中心隨機選取一個多項式f(x)。如果等式不成立,則上鏈?zhǔn)?如果等式成立,則表明簽名有效,允許將交易記錄加密上鏈保存,等到需要調(diào)用時,再從鏈上拉取相關(guān)信息進行解密,從而在一定程度上保障了內(nèi)生性數(shù)據(jù)的交互安全,
3實驗驗證及結(jié)果
本章將圍繞數(shù)據(jù)上鏈前的數(shù)據(jù)交互,先給出一個泛化場景的形式化證明和通用算法,然后對此進行仿真模擬實驗,測試協(xié)議在數(shù)據(jù)交互上的效能。
3.1形式化驗證
為驗證本研究中的鏈上鏈下數(shù)據(jù)協(xié)同技術(shù)是否合理有效,率先給出形式化證明的算法流程圖加以分析,如圖5所示,