分布式數(shù)據(jù)庫技術(shù)的應(yīng)用研究

摘要：隨著IT技術(shù)迅速發(fā)展，數(shù)據(jù)庫系統(tǒng)架構(gòu)經(jīng)歷了演進(jìn)。為了解決相關(guān)部門的數(shù)據(jù)處理問題，以運(yùn)營商網(wǎng)絡(luò)運(yùn)行情況為例，對(duì)分布式數(shù)據(jù)庫技術(shù)加以研究，分析分布式數(shù)據(jù)庫技術(shù)在應(yīng)用時(shí)的不足之處，提出設(shè)置MPP+SharedNothing架構(gòu)、合理運(yùn)用高效透明壓縮技術(shù)、實(shí)現(xiàn)混合式存儲(chǔ)、利用并行處理技術(shù)、加強(qiáng)智能索引等解決措施，從而體現(xiàn)分布式數(shù)據(jù)庫技術(shù)在整合分散數(shù)據(jù)內(nèi)容時(shí)的處理價(jià)值所在，并可增加在數(shù)據(jù)管理和應(yīng)用方面的指導(dǎo)。

關(guān)鍵詞：分布式數(shù)據(jù)庫技術(shù) 數(shù)據(jù)信息 數(shù)據(jù)內(nèi)容

ResearchontheApplicationofDistributedDatabaseTechnology

MAJinru

YinchuanUniversityofEnergy，Yinchuan，NingxiaHuiAutonomousRegion，750000China

Abstract：WiththerapiddevelopmentofITtechnology，databasesystemarchitecturehasundergoneevolution.Inordertosolvethedataprocessingproblemsofrelevantdepartments，thisarticletakestheoperationofoperatornetworksasanexample，studiesdistributeddatabasetechnology，analyzestheshortcomingsofdistributeddatabasetechnologyinapplication.Itproposes solutionssuchassettingupMPP+SharedNothingarchitecture，rationallyapplyingefficienttransparentcompressiontechnology，realizinghybridstorage，applyingparallelprocessingtechnology，strengtheningintelligentindexing，etc.，soastoreflecttheprocessingvalueofdistributeddatabasetechnologyinintegratingdisperseddatacontentandcanincreaseguidanceindatamanagementandapplication.

KeyWords：Distributed;Databasetechnology;DataInformation;Datacontent

為保證運(yùn)營商網(wǎng)絡(luò)內(nèi)的數(shù)據(jù)信息能夠被合理地整合，相關(guān)人員需加強(qiáng)對(duì)數(shù)據(jù)傳輸情況的了解。當(dāng)前，多渠道內(nèi)的數(shù)據(jù)是呈現(xiàn)爆炸性增長狀態(tài)的，這對(duì)數(shù)據(jù)的分析、存儲(chǔ)和管理工作提出了更高的需求。對(duì)此，還需考慮大數(shù)據(jù)的分析場景，融入使用分布式數(shù)據(jù)庫技術(shù)到數(shù)據(jù)的處理環(huán)節(jié)，以整合多區(qū)域內(nèi)的數(shù)據(jù)信息，并保證大數(shù)據(jù)能夠順利地交換和整合。堅(jiān)持以“高效低成本”的基本原則，增加大數(shù)據(jù)分析系統(tǒng)在運(yùn)行期間的驅(qū)動(dòng)力，以分布式的數(shù)據(jù)庫架構(gòu)手段，促使數(shù)據(jù)信息能夠增強(qiáng)自身的拓展能力。

1分布式數(shù)據(jù)庫

分布式數(shù)據(jù)庫系統(tǒng)會(huì)利用相對(duì)較小的計(jì)算機(jī)系統(tǒng)的組合方式，將每臺(tái)計(jì)算機(jī)都放在單獨(dú)的位置，使其中可能包含數(shù)據(jù)庫管理系統(tǒng)（DatabaseManagementSystem，DBMS），并實(shí)現(xiàn)對(duì)一份完整的副本拷貝，使計(jì)算機(jī)內(nèi)有屬于自己的數(shù)據(jù)庫。將處于不同位置上的眾多計(jì)算機(jī)進(jìn)行連接，通過網(wǎng)絡(luò)構(gòu)建出一個(gè)具有全局性的、完整的且在邏輯上實(shí)現(xiàn)集中、在物理層面上實(shí)現(xiàn)分布的大型數(shù)據(jù)庫[1]。

2分布式數(shù)據(jù)庫技術(shù)的應(yīng)用措施

2.1設(shè)置MPP+SharedNothing架構(gòu)

通常情況下，分布式數(shù)據(jù)庫會(huì)在大規(guī)模并行處理（MassivelyParallelProcessing，MPP）技術(shù)的層面上整合各單元內(nèi)容，設(shè)置單元內(nèi)的存儲(chǔ)信息、計(jì)算信息和軟件資源，包括內(nèi)存、總線、操作系統(tǒng)、硬盤及其相關(guān)內(nèi)容[2]，展現(xiàn)出各個(gè)單元所具備的獨(dú)立性，利用自給和對(duì)等的方法，防止系統(tǒng)在運(yùn)行期間各個(gè)單元出現(xiàn)單點(diǎn)的瓶頸[3]。

（1）結(jié)合分布式數(shù)據(jù)庫的應(yīng)用情況，以動(dòng)態(tài)拓展的手段，整合單元內(nèi)容，并運(yùn)用協(xié)同處理的方式落實(shí)系統(tǒng)所具備的相同任務(wù)，促使各個(gè)單元之間順利地進(jìn)行信息的交互工作。以節(jié)點(diǎn)之間的連接，依靠互聯(lián)網(wǎng)，最終實(shí)現(xiàn)數(shù)據(jù)線信息的交互。這樣一來，各個(gè)單元之間需要根據(jù)本地的IP等情況，完成對(duì)區(qū)域內(nèi)資源的訪問。若存在異地的訪問情況，則需通過完全無共享（SharedNothing）這一架構(gòu)方式實(shí)現(xiàn)對(duì)數(shù)據(jù)內(nèi)容的平均分配，以實(shí)現(xiàn)數(shù)據(jù)的實(shí)時(shí)讀取，彌補(bǔ)Hadoop分布式文件系統(tǒng)（HadoopDistributedFileSystem，HDFS）的不足[4]。在確保每個(gè)節(jié)點(diǎn)上都有可處理的內(nèi)容后，排列節(jié)點(diǎn)存儲(chǔ)表，并實(shí)現(xiàn)對(duì)各區(qū)域內(nèi)資源的分布。如此，相關(guān)人員則可利用數(shù)據(jù)查詢、加載等方式了解各節(jié)點(diǎn)服務(wù)器的情況，以自動(dòng)化的手段，為無線網(wǎng)絡(luò)個(gè)人用戶提供優(yōu)質(zhì)服務(wù)[5]。

（2）為了實(shí)現(xiàn)對(duì)本架構(gòu)中數(shù)據(jù)內(nèi)容的優(yōu)化分布，還需以MPP架構(gòu)為主，利用并行查詢的處理手段，在系統(tǒng)響應(yīng)多個(gè)任務(wù)時(shí)，可以通過數(shù)據(jù)的傳輸與優(yōu)化分布方式，避免系統(tǒng)中的數(shù)據(jù)在傳遞過程中出現(xiàn)吞吐量過少或延遲性多久的問題。根據(jù)計(jì)算節(jié)點(diǎn)、存儲(chǔ)、CPU等硬件資源，實(shí)現(xiàn)對(duì)數(shù)據(jù)內(nèi)容的橫向拓展，以保證系統(tǒng)在運(yùn)用過程中業(yè)務(wù)的增長需求能夠得到滿足。而且，相關(guān)人員還需通過精細(xì)管理的方式實(shí)現(xiàn)對(duì)分布數(shù)據(jù)庫的調(diào)度，保證其能夠加強(qiáng)對(duì)數(shù)據(jù)流的管理。并且，在任務(wù)執(zhí)行過程中，可以對(duì)數(shù)據(jù)進(jìn)行恢復(fù)、備份、清洗、壓縮等工作，以高效并行的處理方式，以MPP+SharedNothing架構(gòu)的手段，完成專用網(wǎng)絡(luò)、處理單元和商業(yè)通用網(wǎng)絡(luò)的協(xié)作與通信[6]。

（3）以此架構(gòu)展現(xiàn)出單元所具備的較高容錯(cuò)性。確保某一單元內(nèi)的數(shù)據(jù)出錯(cuò)，其他單元仍可正常工作，以展現(xiàn)出系統(tǒng)所具備的高可用性，使它可以順利地應(yīng)用于分布式數(shù)據(jù)庫的架構(gòu)環(huán)節(jié)，完成對(duì)高復(fù)雜度、大規(guī)模數(shù)據(jù)任務(wù)的處理。

2.2合理運(yùn)用高效透明壓縮技術(shù)

利用高效透明壓縮技術(shù)，可以基于數(shù)據(jù)信息的分布和類型挖掘其規(guī)律，并幫助相關(guān)人員選擇最優(yōu)的壓縮手段，完成對(duì)數(shù)據(jù)庫級(jí)、表級(jí)和列級(jí)的設(shè)置，以靈活的壓縮選項(xiàng)，展現(xiàn)出壓縮比和平衡性能之間的關(guān)聯(lián)。

首先，其可以通過解壓和壓縮的方式實(shí)現(xiàn)對(duì)用戶信息的透明化處理，讓該部分內(nèi)容用于分布式數(shù)據(jù)庫的內(nèi)容排列過程中，以支持存儲(chǔ)的方式，生成有用的數(shù)據(jù)包，并保證其高透明度。這樣一來，相關(guān)人員則可運(yùn)用相關(guān)性相對(duì)較高的同構(gòu)數(shù)據(jù)內(nèi)容開展壓縮工作，使其壓縮比率可以占據(jù)1/5或1/20左右，讓數(shù)據(jù)能夠存儲(chǔ)于數(shù)據(jù)庫中，并保證存儲(chǔ)空間可以節(jié)省50%～

90%。

其次，相關(guān)人員可以在了解壓縮條件下的數(shù)據(jù)情況保證該部分信息能夠降低對(duì)I/O的要求。以數(shù)據(jù)查詢、加載的方式，實(shí)現(xiàn)與傳統(tǒng)數(shù)據(jù)庫的比較，使當(dāng)前融入高效透明壓縮技術(shù)的數(shù)據(jù)庫比傳統(tǒng)數(shù)據(jù)庫的處理效率提高幾十倍甚至以上。

2.3實(shí)現(xiàn)混合式存儲(chǔ)

與以往的行存數(shù)據(jù)庫相比，當(dāng)前的分布式數(shù)據(jù)庫可以通過在磁盤中增加數(shù)據(jù)信息的方式，以按行和按例的混合手段，實(shí)現(xiàn)對(duì)數(shù)據(jù)內(nèi)容的高效存儲(chǔ)，以方便相關(guān)人員根據(jù)列或行的內(nèi)容對(duì)所需信息進(jìn)行統(tǒng)計(jì)、查詢和分析，展現(xiàn)出數(shù)據(jù)的快速處理優(yōu)勢。所以，在當(dāng)前的分布式數(shù)據(jù)庫技術(shù)應(yīng)用后，相關(guān)人員可以將數(shù)據(jù)內(nèi)容應(yīng)用到多場景中，展現(xiàn)出其所具備的靈活性和響應(yīng)速度快的特點(diǎn)。

• 以按行或按列的方式，實(shí)現(xiàn)對(duì)數(shù)據(jù)內(nèi)容的存儲(chǔ)，保證相關(guān)人員可以根據(jù)表分區(qū)與各張表的情況及時(shí)與管理員對(duì)接，在系統(tǒng)端選擇相應(yīng)的數(shù)據(jù)格式。在完成壓縮方式和存儲(chǔ)方式的制訂工作后，可實(shí)現(xiàn)對(duì)數(shù)據(jù)內(nèi)容的靈活配置。例如：按照存儲(chǔ)歸檔的列進(jìn)行數(shù)據(jù)壓縮，可混合云中的內(nèi)筒，進(jìn)行融合，并打通公有云和私有云，結(jié)合該部分內(nèi)容進(jìn)行分別存儲(chǔ)，共同提供對(duì)外的存儲(chǔ)服務(wù)，配合軟件與硬件設(shè)備，將敏感且重要的數(shù)據(jù)存儲(chǔ)在私有云中，而公有云內(nèi)則存儲(chǔ)隱私性不強(qiáng)的內(nèi)容設(shè)置。
• 相關(guān)人員還需根據(jù)語句的具體查詢方式，從磁盤內(nèi)完成對(duì)相關(guān)數(shù)據(jù)內(nèi)容的調(diào)閱，確保其可以運(yùn)用行和列內(nèi)容的整理，節(jié)省I/O的開銷，以自動(dòng)化的模式，完成對(duì)數(shù)據(jù)內(nèi)容的分析、處理和存儲(chǔ)工作，以提高數(shù)據(jù)查詢和響應(yīng)速度。
• 利用分布式數(shù)據(jù)庫所具備的獨(dú)特性，生成數(shù)據(jù)包，保證相關(guān)人員能夠基于海量的數(shù)據(jù)內(nèi)容完成對(duì)數(shù)據(jù)信息的計(jì)算、分析等工作。即便數(shù)據(jù)庫內(nèi)的數(shù)據(jù)量有所增加，系統(tǒng)仍可保障數(shù)據(jù)的可拓展性，從而及時(shí)完成對(duì)數(shù)據(jù)內(nèi)容的處理工作，不會(huì)因?yàn)閿?shù)據(jù)形式的改變而出現(xiàn)存儲(chǔ)異常。

2.4利用并行處理技術(shù)

在分布式數(shù)據(jù)庫運(yùn)行過程中，相關(guān)人員可以通過數(shù)據(jù)查詢和數(shù)據(jù)加載的方式了解其所具備的自動(dòng)、高效處理性能。融入并行處理技術(shù)，利用智能算法增加多核資源內(nèi)容的適配性，以CPU資源的并行方式，保障用戶能夠通過數(shù)據(jù)庫完成對(duì)相關(guān)內(nèi)容的分區(qū)查詢，并保證數(shù)據(jù)在運(yùn)行過程中不會(huì)出現(xiàn)問題。

首先，可以根據(jù)數(shù)據(jù)的特征與具體分布情況選擇合適的算法，實(shí)現(xiàn)對(duì)數(shù)據(jù)內(nèi)容的處理，相當(dāng)于可以通過并發(fā)運(yùn)行與低效寫操作的方式實(shí)現(xiàn)對(duì)資源內(nèi)容的整理，并通過查詢操作，了解數(shù)據(jù)自適應(yīng)條件。

其次，相關(guān)人員可以通過分布式并行技術(shù)的使用，實(shí)現(xiàn)對(duì)系統(tǒng)內(nèi)資源信息的管控。以負(fù)載均衡的方式，實(shí)現(xiàn)對(duì)相關(guān)內(nèi)容的平衡與調(diào)度；利用并行處理的過程，讓用戶可以面向相同的數(shù)據(jù)庫系統(tǒng)完成對(duì)各節(jié)點(diǎn)工作內(nèi)容的調(diào)度；加強(qiáng)對(duì)查詢請(qǐng)求的分解，以制訂節(jié)點(diǎn)查詢方案。這樣一來，其可以結(jié)合不同節(jié)點(diǎn)內(nèi)所檢索到的數(shù)據(jù)內(nèi)容，生成查詢結(jié)果，并開展統(tǒng)一的匯總工作。待融入并行處理技術(shù)后，則可落實(shí)單個(gè)項(xiàng)目的查詢?nèi)蝿?wù)，使該部分內(nèi)容能夠在同一臺(tái)主機(jī)上進(jìn)行分解，使多個(gè)CPU能夠進(jìn)行并行運(yùn)算。同時(shí)，相關(guān)人員也可以結(jié)合用戶的具體情況，使用戶的查詢?nèi)蝿?wù)進(jìn)行分解，以多臺(tái)主機(jī)的形式，利用CPU完成運(yùn)算。

例如：為了確保數(shù)據(jù)能夠在數(shù)據(jù)庫內(nèi)合理應(yīng)用，可以通過數(shù)據(jù)分辨的方式來夯實(shí)分布式數(shù)據(jù)庫技術(shù)的基礎(chǔ)。按照規(guī)定，將數(shù)據(jù)內(nèi)容分成多個(gè)片段，采用不同節(jié)點(diǎn)的存儲(chǔ)方式，保證用戶在數(shù)據(jù)查詢過程中能夠以并行的方式實(shí)現(xiàn)對(duì)不同節(jié)點(diǎn)上數(shù)據(jù)片段內(nèi)容的檢索，從而根據(jù)最終結(jié)果了解數(shù)據(jù)需要被集合或返回。又如：可以通過數(shù)據(jù)復(fù)制的方式，提高數(shù)據(jù)信息的可用性。將各分片的數(shù)據(jù)內(nèi)容復(fù)制到對(duì)應(yīng)的節(jié)點(diǎn)上，以展現(xiàn)出數(shù)據(jù)信息的可用性和可靠性，實(shí)現(xiàn)對(duì)數(shù)據(jù)內(nèi)容的同步存儲(chǔ)，以方便用戶針對(duì)于節(jié)點(diǎn)中數(shù)據(jù)的情況進(jìn)行添加、修改、刪除等操作，從而確保數(shù)據(jù)庫中的內(nèi)容是一致的。

2.5加強(qiáng)智能索引

分布式數(shù)據(jù)庫所應(yīng)用的智能索引技術(shù)需建立在數(shù)據(jù)包的前提下，使相關(guān)人員可以在數(shù)據(jù)包進(jìn)行加載時(shí)，以自動(dòng)建立的方式開展信息統(tǒng)計(jì)和過濾活動(dòng)，將粗粒度較高的數(shù)據(jù)進(jìn)行處理，以智能索引的方式實(shí)現(xiàn)對(duì)數(shù)據(jù)內(nèi)容的描述，并利用高級(jí)信息與所描述內(nèi)容的聯(lián)系，實(shí)現(xiàn)對(duì)數(shù)據(jù)報(bào)需求的全面分析。

• 相關(guān)人員可以通過子查詢和多表連接的方式，在表中創(chuàng)建自動(dòng)索引，使相關(guān)人員以無須手工維護(hù)和建立的方式進(jìn)行工作，而是通過智能索引的方法，讓通過索引后的結(jié)果內(nèi)容不會(huì)出現(xiàn)膨脹的情況，待數(shù)據(jù)包完成建立以后，前面的數(shù)據(jù)包也不會(huì)受到影響。這樣一來，相關(guān)人員無需進(jìn)行解包處理，就可實(shí)現(xiàn)對(duì)數(shù)據(jù)內(nèi)容的快速調(diào)閱，降低了I/O的速度。即便面臨復(fù)雜的查詢工作，相關(guān)人員也可通過各節(jié)點(diǎn)的有效調(diào)度與平衡方式，以并行處理的方式，實(shí)現(xiàn)對(duì)300TB有效數(shù)據(jù)量的處理。
• 根據(jù)系統(tǒng)所具備的并行計(jì)算能力，以自主查詢集群的方式，實(shí)現(xiàn)對(duì)150TB以內(nèi)數(shù)據(jù)量的有效調(diào)閱，以展現(xiàn)出交換機(jī)、網(wǎng)卡和節(jié)點(diǎn)內(nèi)筒的高效適用性。同時(shí)，生成數(shù)據(jù)庫網(wǎng)絡(luò)架構(gòu)，將千兆電口的網(wǎng)卡應(yīng)用于對(duì)外節(jié)點(diǎn)內(nèi)，讓用戶可以登入系統(tǒng)，并在監(jiān)控信息通訊層面上考慮數(shù)據(jù)的通信。部署54/36個(gè)節(jié)點(diǎn)，設(shè)置集群一和集群二，在每個(gè)節(jié)點(diǎn)內(nèi)配置1臺(tái)服務(wù)器，以保證集群內(nèi)的節(jié)點(diǎn)是對(duì)等的。這樣，相關(guān)人員可以通過對(duì)節(jié)點(diǎn)內(nèi)容的拆分，利用智能索引的方式，完成對(duì)數(shù)據(jù)的裝載、壓縮、計(jì)算、刪除等工作。

3 結(jié)語

綜上所述，分布式數(shù)據(jù)技術(shù)可以讓數(shù)據(jù)分散到多個(gè)節(jié)點(diǎn)，擴(kuò)容數(shù)據(jù)庫，并能保持?jǐn)?shù)據(jù)一致和實(shí)現(xiàn)數(shù)據(jù)同步。但在多個(gè)節(jié)點(diǎn)存在相同數(shù)據(jù)副本時(shí)，與單機(jī)數(shù)據(jù)庫相比，維護(hù)成本、系統(tǒng)復(fù)雜性較高。未來，在應(yīng)用分布式數(shù)據(jù)庫技術(shù)時(shí)，應(yīng)做好傳輸加密機(jī)權(quán)限控制，實(shí)現(xiàn)對(duì)分布式數(shù)據(jù)庫的性能優(yōu)化，從而推進(jìn)該技術(shù)在云計(jì)算、大數(shù)據(jù)處理、物聯(lián)網(wǎng)等領(lǐng)域內(nèi)的廣泛應(yīng)用。

參考文獻(xiàn)

[1]王儒升.分布式數(shù)據(jù)庫在信息化管理系統(tǒng)中的應(yīng)用探析[J].電腦知識(shí)與技術(shù)，2023，19（35）：83-85.

[2]張子豪.分布式數(shù)據(jù)庫中事務(wù)協(xié)議與一致性協(xié)議的協(xié)同優(yōu)化[D].上海華東師范大學(xué)，2024.

[3]崔爽.中國場景推動(dòng)分布式數(shù)據(jù)庫立新標(biāo)[N].科技日?qǐng)?bào)，2023-11-23（6）.

[4]李勇，唐國琴，羅瑯騰，等.云環(huán)境下海量GPS、視頻監(jiān)控?cái)?shù)據(jù)存儲(chǔ)檢索研究[J].電力大數(shù)據(jù)，2022，25（5）：85-92.

[5]盧山.無線網(wǎng)絡(luò)優(yōu)化中大數(shù)據(jù)的應(yīng)用分析[J].中國新通信，2021，23（20）：68-69.

[6]侯曉東，王勐，周軒宇.分布式數(shù)據(jù)庫技術(shù)的現(xiàn)狀和發(fā)展方向[J].中國新通信，2020，22（8）：120.