基于Kubernetes的海量網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)方法研究

閆娟雅

摘要：針對(duì)傳統(tǒng)的集中式網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)方式存儲(chǔ)數(shù)據(jù)效率低的問題，研究了基于Kubernetes的海量網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)方法。對(duì)海量網(wǎng)絡(luò)數(shù)據(jù)動(dòng)態(tài)合并處理后，設(shè)計(jì)Kubernetes集群并部署外部上傳端與Kubernetes服務(wù)的訪問過程，從而實(shí)現(xiàn)對(duì)海量數(shù)據(jù)的存儲(chǔ)。對(duì)比實(shí)驗(yàn)結(jié)果顯示，該存儲(chǔ)方法相比能夠減少約62%的運(yùn)算內(nèi)存占用，并且存儲(chǔ)操作速度快，更能滿足實(shí)際需求。

關(guān)鍵詞：Kubernetes;海量數(shù)據(jù);網(wǎng)絡(luò)數(shù)據(jù);數(shù)據(jù)存儲(chǔ)

中圖分類號(hào)：TP392? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2021）27-0028-02

Kubernetes是用于管理云平臺(tái)中多個(gè)主機(jī)上的容器應(yīng)用部署方式[1]。相比于傳統(tǒng)系統(tǒng)綁定并通過插件、腳本或者沉重的虛擬機(jī)來安裝應(yīng)用的應(yīng)用部署方式，Kubernetes可以通過部署互相隔離的存儲(chǔ)容器的方式，在避免不同數(shù)據(jù)進(jìn)程互相干擾的同時(shí)，還能利用容器各自的文件系統(tǒng)有效區(qū)分計(jì)算資源。將Kubernetes應(yīng)用于網(wǎng)絡(luò)海量數(shù)據(jù)存儲(chǔ)中，能夠改善集中式數(shù)據(jù)存儲(chǔ)方法并發(fā)率低的問題。因此，本文將研究基于Kubernetes的海量網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)方法，并對(duì)該方法的可行性進(jìn)行驗(yàn)證。

1 基于Kubernetes的海量網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)方法研究

1.1 海量網(wǎng)絡(luò)數(shù)據(jù)動(dòng)態(tài)合并處理

網(wǎng)絡(luò)海量數(shù)據(jù)因網(wǎng)絡(luò)的互聯(lián)互通特殊性，網(wǎng)絡(luò)中的數(shù)據(jù)大多存在一定的相關(guān)性。為節(jié)省數(shù)據(jù)存儲(chǔ)過程中占用的內(nèi)容，需要對(duì)網(wǎng)絡(luò)海量數(shù)據(jù)進(jìn)行動(dòng)態(tài)合并處理。在本研究中，使用子集檢測(cè)的頻繁項(xiàng)挖掘算法，找出存在關(guān)聯(lián)關(guān)系的網(wǎng)絡(luò)數(shù)據(jù)，從而實(shí)現(xiàn)網(wǎng)絡(luò)海量數(shù)據(jù)的動(dòng)態(tài)合并，提高網(wǎng)絡(luò)海量數(shù)據(jù)的訪問速度，減少數(shù)據(jù)存儲(chǔ)過程中的輸入輸出次數(shù)[2]。

網(wǎng)絡(luò)海量數(shù)據(jù)不僅數(shù)據(jù)量大，而且數(shù)據(jù)更新累加速度極快，為提高數(shù)據(jù)的存儲(chǔ)效率采用并行化算法實(shí)現(xiàn)海量網(wǎng)絡(luò)數(shù)據(jù)動(dòng)態(tài)合并處理，具體處理步驟如下：

1）統(tǒng)計(jì)在某一時(shí)間段T內(nèi)，需要存儲(chǔ)的網(wǎng)絡(luò)海量數(shù)據(jù)個(gè)數(shù)。找到該時(shí)間段內(nèi)數(shù)據(jù)個(gè)數(shù)的最大值K，并設(shè)定該值為需要?jiǎng)討B(tài)合并的數(shù)據(jù)數(shù)量。

2）掃描網(wǎng)絡(luò)數(shù)據(jù)記錄日志，得到數(shù)據(jù)對(duì)應(yīng)的IP地址、時(shí)間、數(shù)據(jù)量等信息，并建立對(duì)應(yīng)時(shí)間段的網(wǎng)絡(luò)數(shù)據(jù)子集。

3）統(tǒng)計(jì)輸出所有時(shí)間段的網(wǎng)絡(luò)數(shù)據(jù)子集的數(shù)量。如果時(shí)間段的網(wǎng)絡(luò)數(shù)據(jù)子集的個(gè)數(shù)大于設(shè)定的閾值，并且子集項(xiàng)在大于K的子集項(xiàng)中沒有出現(xiàn)過，將所有子集輸出。

對(duì)于大小為K的網(wǎng)絡(luò)數(shù)據(jù)子集，將子集中的前K項(xiàng)初始化為1，后N-K項(xiàng)初始化為0。按順序掃描子集中所有元素，將排序?yàn)椤?0”交換為“01”。判斷在所有時(shí)間段的網(wǎng)絡(luò)數(shù)據(jù)子集中，k個(gè)標(biāo)記為“1”的元素全部移動(dòng)到子集序列的最右端，則停止處理。對(duì)每一組的網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行分片，以逗號(hào)分隔元素，獲取所有大小為K的網(wǎng)絡(luò)數(shù)據(jù)子集，并且輸出[3]。重復(fù)上述過程直至將所有時(shí)間段的網(wǎng)絡(luò)數(shù)據(jù)子集都完成動(dòng)態(tài)合并。海量網(wǎng)絡(luò)數(shù)據(jù)動(dòng)態(tài)合并后，設(shè)計(jì)部署數(shù)據(jù)存儲(chǔ)容器的Kubernetes集群。

1.2 Kubernetes 集群設(shè)計(jì)

根據(jù)Kubernetes的理論，若存儲(chǔ)大量的網(wǎng)絡(luò)數(shù)據(jù)，需要設(shè)計(jì)集群，通過對(duì)Kubernetes集群的部署，保持網(wǎng)絡(luò)數(shù)據(jù)狀態(tài)信息的同時(shí)，避免單存儲(chǔ)點(diǎn)方式故障造成的數(shù)據(jù)存儲(chǔ)停滯。

在Kubernetes集群中，利用分布式鍵值數(shù)據(jù)庫(kù)Etcd組件保存Kubernetes集群上的應(yīng)用信息、配置參數(shù)以及管理存儲(chǔ)對(duì)象的時(shí)間狀態(tài)信息。在對(duì)多個(gè)Etcd組件部署時(shí)，利用Raft算法產(chǎn)生分布式鍵值數(shù)據(jù)庫(kù)Etcd組件的Leader節(jié)點(diǎn)處理所有組件對(duì)數(shù)據(jù)的管理操作信息提交。若Etcd組件的Leader節(jié)點(diǎn)失效，Kubernetes集群集群會(huì)自動(dòng)重新選舉Leader節(jié)點(diǎn)從而保障Etcd數(shù)據(jù)存儲(chǔ)服務(wù)不受故障影響，實(shí)現(xiàn)高可用的目的[4]。根據(jù)Raft算法的處理原理，選舉的Leader節(jié)點(diǎn)通常為奇數(shù)節(jié)點(diǎn)，因此按照以下具體過程對(duì)Etcd集群部署：

1）在Kubernetes集群中下載和分發(fā)分布式鍵值數(shù)據(jù)庫(kù)Etcd組件安裝文件。

2）創(chuàng)建Etcd組件各節(jié)點(diǎn)的TLS證書，證書用于加密數(shù)據(jù)上傳與Etcd集群和Etcd集群間的通信。

3）創(chuàng)建分發(fā)分布式鍵值數(shù)據(jù)庫(kù)Etcd組件的systemd unit文件，并根據(jù)數(shù)據(jù)存儲(chǔ)目標(biāo)配置Etcd組件的服務(wù)參數(shù)。

4）檢查Kubernetes集群工作狀態(tài)。

在Kubernetes集群部署過程中，分發(fā)分布式鍵值數(shù)據(jù)庫(kù)Etcd組件集群確保了與Kubernetes集群部署運(yùn)行相關(guān)操作信息數(shù)據(jù)的可靠存儲(chǔ)。而利用Kubernetes集群中的 Master節(jié)點(diǎn)可以為接入集群的上傳設(shè)備提供集群入口和所有資源管理接口的API Server、管理集群資源的Controller Manager、負(fù)責(zé)集群調(diào)度的Schedule三個(gè)重要組件。為滿足網(wǎng)絡(luò)海量數(shù)據(jù)存儲(chǔ)時(shí)，Kubernetes集群的部署需求，以及保證各個(gè)組件不會(huì)因單獨(dú)的故障而影響集群的穩(wěn)定運(yùn)行，采用分別在多個(gè)集群Master節(jié)點(diǎn)上部署操作副本即可[5]。與Etcd組件各節(jié)點(diǎn)相類似，通過競(jìng)爭(zhēng)選舉機(jī)制產(chǎn)生leader節(jié)點(diǎn)，當(dāng)leader節(jié)點(diǎn)不可用后，剩余Master節(jié)點(diǎn)再次進(jìn)行選舉，從而產(chǎn)生新的leader節(jié)點(diǎn)從而保證kubernetes集群服務(wù)的可用性。

1.3 實(shí)現(xiàn)海量數(shù)據(jù)存儲(chǔ)

采用Kubernetes集群對(duì)網(wǎng)絡(luò)海量數(shù)據(jù)進(jìn)行存儲(chǔ)容器部署時(shí)，由于Kubernetes集群中的應(yīng)用服務(wù)無(wú)法直接對(duì)外服務(wù)，因此，為保證網(wǎng)絡(luò)海量數(shù)據(jù)能正常接入Kubernetes集群，需對(duì)Kubernetes集群由內(nèi)部向外部服務(wù)接口暴露出來，從而實(shí)現(xiàn)網(wǎng)絡(luò)數(shù)據(jù)的訪問存儲(chǔ)。

考慮到接入網(wǎng)絡(luò)海量數(shù)據(jù)的服務(wù)數(shù)量較多，采用Ingress方式設(shè)計(jì)Kubernetes集群設(shè)計(jì)網(wǎng)絡(luò)外端口訪問。Ingress可以通過定義了外部URL請(qǐng)求到內(nèi)部服務(wù)的轉(zhuǎn)發(fā)規(guī)則，具體轉(zhuǎn)發(fā)實(shí)現(xiàn)由Ingress Controller完成將對(duì)外界服務(wù)請(qǐng)求的響應(yīng)轉(zhuǎn)換為Kubernetes集群內(nèi)部服務(wù)。