• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于分布式系統(tǒng)設(shè)計(jì)中NewSQL數(shù)據(jù)庫技術(shù)分析

    2022-01-20 13:29:26邵麒李亞鵬佟文朋
    電子制作 2021年24期
    關(guān)鍵詞:分片副本一致性

    邵麒,李亞鵬,佟文朋

    (中國人民解放軍31401部隊(duì),吉林長春,130000)

    0 引言

    在信息時(shí)代下,網(wǎng)絡(luò)領(lǐng)域的應(yīng)用模式和數(shù)據(jù)量不斷發(fā)生著變化,物聯(lián)網(wǎng)、云計(jì)算以及通信技術(shù)的快速發(fā)展,給數(shù)據(jù)的共享、存儲(chǔ)與管理提出了較高的要求,信息化領(lǐng)域關(guān)鍵數(shù)據(jù)庫技術(shù)的發(fā)展也由關(guān)系數(shù)據(jù)庫發(fā)展到NoSQL數(shù)據(jù)庫,再發(fā)展到如今的NewSQL數(shù)據(jù)庫,NewSQL數(shù)據(jù)庫吸收了NoSQL數(shù)據(jù)庫的分布式能力和傳統(tǒng)關(guān)系數(shù)據(jù)庫的強(qiáng)一致性特性,支持海量數(shù)據(jù)的儲(chǔ)存,同時(shí)具備很好的擴(kuò)展性能,可支持并滿足原子性一致性、持久性、隔離性特性的事務(wù),在分布式系統(tǒng)的設(shè)計(jì)與應(yīng)用中發(fā)揮著關(guān)鍵作用[1]。

    1 分布式系統(tǒng)對(duì)數(shù)據(jù)庫技術(shù)的需求

    隨著互聯(lián)網(wǎng)的普及,互聯(lián)網(wǎng)用戶數(shù)量逐年增加,產(chǎn)生的數(shù)據(jù)越來越多,因此,應(yīng)用系統(tǒng)必須具備對(duì)海量數(shù)據(jù)的存儲(chǔ)、管理能力和能夠支持用戶高并發(fā)訪問。分布式系統(tǒng)技術(shù)和分布式數(shù)據(jù)庫技術(shù)已經(jīng)成為云計(jì)算、大數(shù)據(jù)、物聯(lián)網(wǎng)等信息領(lǐng)域的重點(diǎn)研究方向。

    ■1.1 基于數(shù)據(jù)分片實(shí)現(xiàn)彈性擴(kuò)展及高性能

    數(shù)據(jù)庫單機(jī)在容量上有一定的限制,采用數(shù)據(jù)分片的方式可以突破這個(gè)限制,將數(shù)據(jù)建立在多節(jié)點(diǎn)上,可增強(qiáng)數(shù)據(jù)處理高效性和靈活性,實(shí)現(xiàn)系統(tǒng)的彈性擴(kuò)展,提高分布式系統(tǒng)的綜合性能?;跀?shù)據(jù)分片的方式有兩種,其中一種是水平分片,此分片方式將數(shù)據(jù)按照元組進(jìn)行劃分,分為很多組,然后分散到多個(gè)節(jié)點(diǎn)上;另一種數(shù)據(jù)分片方式為垂直分片,垂直分片是將數(shù)據(jù)表在豎列的排列方向上進(jìn)行數(shù)據(jù)切割,也可將數(shù)據(jù)分為很多小片段,各個(gè)片段之間除了主鍵外沒有交集,再將數(shù)據(jù)分散到不同的節(jié)點(diǎn)上。

    ■1.2 基于多副本技術(shù)提升數(shù)據(jù)安全

    為保證數(shù)據(jù)的正常使用,分布式系統(tǒng)數(shù)據(jù)庫中的數(shù)據(jù)會(huì)存有多個(gè)副本,利用充足的物理存儲(chǔ)資源將數(shù)據(jù)備份存儲(chǔ),以防因?yàn)橛布囊馔夤收显斐蓴?shù)據(jù)的丟失且不可恢復(fù),采用存儲(chǔ)多副本的方式保證數(shù)據(jù)的容災(zāi)性、安全性,即使出現(xiàn)硬件設(shè)備的故障丟失數(shù)據(jù),也可使用事先存儲(chǔ)的副本,避免造成經(jīng)濟(jì)損失。同樣,對(duì)海量數(shù)據(jù)進(jìn)行重復(fù)備份,勢(shì)必需要足夠的存儲(chǔ)空間、可靠的副本定位技術(shù)、完善的副本創(chuàng)建策略等,也需要解決多個(gè)副本彼此之間的一致性問題,這些都提升了分布式數(shù)據(jù)庫技術(shù)的難度和復(fù)雜性。

    ■1.3 基于分布式協(xié)同算法保障數(shù)據(jù)一致性

    分布式系統(tǒng)是建立在通信網(wǎng)絡(luò)之上,由一組為完成共同任務(wù)而進(jìn)行分工、協(xié)調(diào)合作的計(jì)算機(jī)節(jié)點(diǎn)組成。獨(dú)本數(shù)據(jù)在使用上不需要建立副本,系統(tǒng)也不需要考慮副本之間的數(shù)據(jù)一致性問題,有著較高的數(shù)據(jù)一致性。但是,分布式系統(tǒng)在數(shù)據(jù)庫上的設(shè)計(jì)需要建立副本以提高系統(tǒng)的運(yùn)行效果,顯著提升了數(shù)據(jù)的安全性和準(zhǔn)確性。但不同節(jié)點(diǎn)之間的信息的管理,造成了較高的通信成本。分布式系統(tǒng)對(duì)數(shù)據(jù)庫提出在降低成本的基礎(chǔ)上保障數(shù)據(jù)的一致性需求[2]。

    2 NewSQL數(shù)據(jù)庫的優(yōu)勢(shì)

    數(shù)據(jù)庫技術(shù)發(fā)展至今,中間研發(fā)并應(yīng)用過多種數(shù)據(jù)庫技術(shù),當(dāng)前分布式系統(tǒng)的核心技術(shù)以及主流發(fā)展方向是NewSQL數(shù)據(jù)庫技術(shù)。NewSQL數(shù)據(jù)庫不僅結(jié)合了NoSQL數(shù)據(jù)庫對(duì)大量數(shù)據(jù)的處理能力,也具備傳統(tǒng)數(shù)據(jù)庫的ACID和SQL等特性。具有以下顯著優(yōu)勢(shì)。

    ■2.1 資源共享

    NewSQL數(shù)據(jù)庫對(duì)于服務(wù)器資源具有統(tǒng)一集群的構(gòu)架思想,可將這些分散的資源進(jìn)行整合,化為一個(gè)服務(wù)整體,供客戶使用。統(tǒng)一集群的方式一定程度上解決了小集群之間的障礙,使得對(duì)集群資源的使用和管理更加合理、高效,有效提高了整體資源的利用率,可增強(qiáng)數(shù)據(jù)庫的資源共享能力。

    ■2.2 數(shù)據(jù)共享

    NewSQL數(shù)據(jù)庫的統(tǒng)一存儲(chǔ)架構(gòu)思想不再將數(shù)據(jù)分片存儲(chǔ),而是進(jìn)行統(tǒng)一、集中的存儲(chǔ),統(tǒng)一存儲(chǔ)的方式,實(shí)現(xiàn)了各種數(shù)據(jù)之間的整合管理,增強(qiáng)了數(shù)據(jù)庫的數(shù)據(jù)分享能力。統(tǒng)一、整體的數(shù)據(jù)資源具有分片資源缺乏的全量數(shù)據(jù)分析優(yōu)勢(shì),為系統(tǒng)的數(shù)據(jù)分析、總結(jié)與預(yù)測(cè)方面提供了較大幫助,同時(shí),統(tǒng)一存儲(chǔ)避免了因重復(fù)備份和不同節(jié)點(diǎn)溝通造成的物理資源的浪費(fèi),也實(shí)現(xiàn)了多樣化業(yè)務(wù)數(shù)據(jù)的統(tǒng)一存儲(chǔ)與管理[3]。

    ■2.3 安全保障

    在互聯(lián)網(wǎng)時(shí)代,數(shù)據(jù)安全問題頻繁發(fā)生,造成人們的數(shù)據(jù)信息曝光和丟失。數(shù)據(jù)庫技術(shù)不僅面臨著來自自然故障的壓力,也需要嚴(yán)防網(wǎng)絡(luò)黑客的惡意攻擊,分布式數(shù)據(jù)庫具備應(yīng)對(duì)單點(diǎn)故障、網(wǎng)絡(luò)故障等自然故障的應(yīng)對(duì)策略,針對(duì)惡意的竊聽、越權(quán)攻擊、破譯密文等網(wǎng)絡(luò)安全問題,NewSQL數(shù)據(jù)庫建立了統(tǒng)一安全架構(gòu),通過統(tǒng)一鑒權(quán)、保密通信、細(xì)粒度資源隔離與訪問控制以及庫文加密等手段,從多方面保證了數(shù)據(jù)資產(chǎn)的安全。

    ■2.4 易于使用

    分布式系統(tǒng)中NewSQL數(shù)據(jù)庫的應(yīng)用,可使得平臺(tái)底層的集群服務(wù)維護(hù)和監(jiān)控能力過強(qiáng),應(yīng)用開發(fā)者可在此良好基礎(chǔ)上使用平臺(tái)服務(wù)接口進(jìn)行應(yīng)用的設(shè)計(jì)與研發(fā),且易于數(shù)據(jù)分析人員和數(shù)據(jù)科學(xué)家的使用,便利了其對(duì)于數(shù)據(jù)的查詢和分析過程。

    3 分布式系統(tǒng)設(shè)計(jì)中NewSQL數(shù)據(jù)庫關(guān)鍵技術(shù)

    ■3.1 分布式存儲(chǔ)引擎

    分布式系統(tǒng)中NewSQL數(shù)據(jù)庫在數(shù)據(jù)存儲(chǔ)上保持分布式,其統(tǒng)一存儲(chǔ)的思想構(gòu)架可依靠鍵值對(duì)存儲(chǔ)引擎技術(shù),將主體數(shù)據(jù)進(jìn)行統(tǒng)一存儲(chǔ),放到統(tǒng)一的集群中,基于分布式共識(shí)算法協(xié)議保證分布式各節(jié)點(diǎn)之間數(shù)據(jù)的一致性,當(dāng)有數(shù)據(jù)進(jìn)行變更后會(huì)自動(dòng)生成一條共識(shí)算法日志,通過這條日志,將分布式系統(tǒng)中的每一節(jié)點(diǎn)都進(jìn)行數(shù)據(jù)的同步復(fù)制,在所有節(jié)點(diǎn)中,只要同步復(fù)制成功的節(jié)點(diǎn)占大多數(shù),就能安全、可靠地完成數(shù)據(jù)的寫入,一定程度上減小了數(shù)據(jù)同步復(fù)制的難度,保障了數(shù)據(jù)變更過程的正確性,如果在這一過程中出現(xiàn)了硬件設(shè)備的故障,只要同步復(fù)制成功的節(jié)點(diǎn)在一半以上,可后期通過共識(shí)算法協(xié)議將副本自動(dòng)補(bǔ)全即可,有效提升了數(shù)據(jù)存儲(chǔ)的可靠性[4]。

    分布式系統(tǒng)NewSQL數(shù)據(jù)庫中數(shù)據(jù)的存儲(chǔ)、運(yùn)算以及管理均采用分組的方式,系統(tǒng)的整體存儲(chǔ)空間由多個(gè)組域組成,并盡量均勻地分散于系統(tǒng)的眾多節(jié)點(diǎn)上,盡量使統(tǒng)一集群中每個(gè)節(jié)點(diǎn)的負(fù)載均衡,在此基礎(chǔ)上實(shí)現(xiàn)系統(tǒng)存儲(chǔ)容量的水平擴(kuò)展。分布式存儲(chǔ)引擎技術(shù)以組域?yàn)閱挝贿M(jìn)行數(shù)據(jù)的分散和復(fù)制,增加了數(shù)據(jù)存儲(chǔ)的安全性。數(shù)據(jù)分布式存儲(chǔ)示意圖如圖1所示。

    圖1 分布式儲(chǔ)存

    ■3.2 實(shí)時(shí)分析和查詢引擎

    在分布式系統(tǒng)設(shè)計(jì)中,NewSQL數(shù)據(jù)庫相比于采用主鍵索引模式的傳統(tǒng)關(guān)系數(shù)據(jù)庫,具有更加實(shí)時(shí)的次級(jí)索引機(jī)制,在海量數(shù)據(jù)的處理中,可進(jìn)行快速、靈活的篩選,同時(shí)可與基于內(nèi)存計(jì)算的大數(shù)據(jù)分布式計(jì)算框架進(jìn)行融洽銜接,實(shí)現(xiàn)區(qū)間裁剪和計(jì)算下推功能,為用戶提供實(shí)時(shí)分析和查詢功能。在查詢過程上也進(jìn)行了更加合理的設(shè)計(jì),以降低遠(yuǎn)程執(zhí)行函數(shù)的調(diào)用成本,將SQL數(shù)據(jù)庫命令集中的謂詞條件下推到存儲(chǔ)節(jié)點(diǎn)進(jìn)行計(jì)算,簡化了數(shù)據(jù)傳輸路徑,每個(gè)節(jié)點(diǎn)只需返回此節(jié)點(diǎn)中符合用戶分析與查詢條件的數(shù)據(jù),各節(jié)點(diǎn)返回的數(shù)據(jù)和結(jié)果在系統(tǒng)的解析層進(jìn)行匯聚以后統(tǒng)一處理。實(shí)時(shí)分析和查詢引擎的運(yùn)行示意圖如圖2所示。

    圖2 計(jì)算下推、逐層返回?cái)?shù)據(jù)

    ■3.3 HTAP混合負(fù)載架構(gòu)

    分布式系統(tǒng)設(shè)計(jì)中NewSQL數(shù)據(jù)庫具備HTAP混合負(fù)載架構(gòu),因其實(shí)現(xiàn)了NewSQL數(shù)據(jù)庫技術(shù)、列式存儲(chǔ)類在線分析類型數(shù)據(jù)庫技術(shù)、聯(lián)機(jī)交易類型數(shù)據(jù)庫技術(shù)的結(jié)合。在系統(tǒng)同時(shí)對(duì)聯(lián)機(jī)交易類業(yè)務(wù)和在線分析類業(yè)務(wù)進(jìn)行處理時(shí),可省略數(shù)據(jù)復(fù)制這一環(huán)節(jié),直接進(jìn)行業(yè)務(wù)的處理。數(shù)據(jù)庫技術(shù)的混合負(fù)載架構(gòu)采用列存儲(chǔ)方式,數(shù)據(jù)之間無較多關(guān)聯(lián),同時(shí)結(jié)合了高效處理層和分布式協(xié)同共識(shí)算法,在數(shù)據(jù)的存儲(chǔ)和復(fù)制上采用組域的形式,使系統(tǒng)具有良好的分布式特性[5]。

    4 結(jié)語

    綜上所述,網(wǎng)絡(luò)的普及和發(fā)展,引起了海量數(shù)據(jù)的儲(chǔ)存和管理挑戰(zhàn),分布式系統(tǒng)中NewSQL數(shù)據(jù)庫技術(shù)不僅傳承了傳統(tǒng)關(guān)系數(shù)據(jù)庫技術(shù)的強(qiáng)一致特性,還兼具了NoSQL數(shù)據(jù)庫的分布式能力。NewSQL數(shù)據(jù)庫技術(shù)的各種優(yōu)勢(shì)能夠較好滿足分布式系統(tǒng)對(duì)數(shù)據(jù)庫技術(shù)的需求,是當(dāng)今以及未來數(shù)據(jù)庫管理系統(tǒng)的主流發(fā)展方向。相信隨著云計(jì)算、物聯(lián)網(wǎng)等技術(shù)的不斷發(fā)展,NewSQL數(shù)據(jù)庫技術(shù)在分布式系統(tǒng)中的應(yīng)用將會(huì)更加廣泛。

    猜你喜歡
    分片副本一致性
    上下分片與詞的時(shí)空佈局
    詞學(xué)(2022年1期)2022-10-27 08:06:12
    關(guān)注減污降碳協(xié)同的一致性和整體性
    公民與法治(2022年5期)2022-07-29 00:47:28
    注重教、學(xué)、評(píng)一致性 提高一輪復(fù)習(xí)效率
    IOl-master 700和Pentacam測(cè)量Kappa角一致性分析
    分片光滑邊值問題的再生核方法
    CDN存量MP4視頻播放優(yōu)化方法
    面向流媒體基于蟻群的副本選擇算法①
    基于模糊二分查找的幀分片算法設(shè)計(jì)與實(shí)現(xiàn)
    副本放置中的更新策略及算法*
    基于事件觸發(fā)的多智能體輸入飽和一致性控制
    盐山县| 仲巴县| 万载县| 宣城市| 新兴县| 区。| 论坛| 体育| 梨树县| 怀化市| 武清区| 辽中县| 拜泉县| 海门市| 铅山县| 临湘市| 清涧县| 赫章县| 平南县| 丹凤县| 绿春县| 华宁县| 中牟县| 连平县| 旺苍县| 江西省| 买车| 怀化市| 天峻县| 湖南省| 岳阳市| 紫阳县| 海林市| 长白| 新密市| 佛冈县| 临泉县| 镇安县| SHOW| 长子县| 肥城市|