聯(lián)通公有云平臺下軍校多源數(shù)據(jù)融合清洗技術(shù)

李弘揚， 史令飛， 張利龍

（海軍工程大學(xué)， 武漢 430033）

0 引 言

隨著5G 和物聯(lián)網(wǎng)技術(shù)的發(fā)展，采用數(shù)字化云平臺體系構(gòu)造的方法進(jìn)行軍隊院校的數(shù)字化管理，構(gòu)建智慧化的校園管理體系，通過對智慧教學(xué)支持平臺構(gòu)建，結(jié)合大數(shù)據(jù)分析方法，實現(xiàn)對軍隊院校管理過程中的數(shù)字化信息調(diào)度。 軍隊院校管理的運維數(shù)據(jù)主要有科研管理數(shù)據(jù)、教學(xué)管理數(shù)據(jù)、學(xué)生畫像數(shù)據(jù)以及師資分析數(shù)據(jù)等多源數(shù)據(jù)，這些多源數(shù)據(jù)的種類分布主要分為教學(xué)管理類、學(xué)生管理類和科研管理類以及資產(chǎn)管理類等［1］。 采用大數(shù)據(jù)的云融合技術(shù)，結(jié)合對海量數(shù)據(jù)的采集、清洗和調(diào)度處理，提高軍隊院校的數(shù)字化信息管理水平。 在進(jìn)行軍隊院校的多源管理數(shù)據(jù)處理中，處理數(shù)據(jù)存在冗余，需要采用數(shù)據(jù)清洗技術(shù)提高對數(shù)據(jù)分析的針對性，因此，研究軍校多源數(shù)據(jù)融合清洗技術(shù)，對提高數(shù)據(jù)調(diào)度和共享能力方面具有重要意義［2］。

對數(shù)據(jù)清洗是建立在對數(shù)據(jù)的融合濾波和抗干擾設(shè)計基礎(chǔ)上，構(gòu)建濾波檢測模型，通過動態(tài)參數(shù)融合和線性化調(diào)度，結(jié)合數(shù)據(jù)行為特征參數(shù)分析和提取，實現(xiàn)對信息化管理數(shù)據(jù)的清洗處理，傳統(tǒng)方法中，對信息化管理數(shù)據(jù)的清洗技術(shù)主要有基于protocol buffers 調(diào)度的數(shù)據(jù)緩存清洗技術(shù)、基于PSO粒子群調(diào)度的數(shù)據(jù)聚類清洗技術(shù)以及基于網(wǎng)格調(diào)度的數(shù)據(jù)清洗技術(shù)等［3］，通過對待清洗數(shù)據(jù)的非線性時間序列分析和包絡(luò)幅值檢測，通過線性預(yù)測方法實現(xiàn)對數(shù)據(jù)的動態(tài)清洗和優(yōu)化調(diào)度，但傳統(tǒng)方法對復(fù)雜平臺體系下的數(shù)據(jù)清洗聚類性好。 針對上述問題，本文提出基于聯(lián)通公有云平臺調(diào)度的軍隊院校多源數(shù)據(jù)融合清洗技術(shù)。 首先構(gòu)建軍隊院校的信息化管理數(shù)據(jù)的大數(shù)據(jù)挖掘模型，然后采用冗余數(shù)據(jù)濾波技術(shù)實現(xiàn)對多源管理數(shù)據(jù)的濾波處理和數(shù)據(jù)強化跟蹤，結(jié)合優(yōu)化的數(shù)據(jù)聚類算法，實現(xiàn)數(shù)據(jù)融合清洗，最后進(jìn)行仿真測試分析，展示了本文方法在提高軍隊院校多源管理數(shù)據(jù)動態(tài)清洗融合能力方面的優(yōu)越性。

1 平臺總體構(gòu)架

為了實現(xiàn)聯(lián)通公有云平臺下軍校多源數(shù)據(jù)融合清洗，構(gòu)建基于CiteSpace V 的軍隊院校多源數(shù)據(jù)融合調(diào)度模型，構(gòu)建軍隊院校多源數(shù)據(jù)動態(tài)融合清洗數(shù)據(jù)庫，結(jié)合AD 信息采樣進(jìn)行軍隊院校多源數(shù)據(jù)采樣，在聯(lián)通CMP 多云管理平臺體系下，通過聯(lián)通機房控制，結(jié)合動態(tài)融合的分布式云數(shù)據(jù)清洗技術(shù)［4］，采用交叉編譯和PCI 總線協(xié)議進(jìn)行軍隊院校多源數(shù)據(jù)融合清洗的平臺體系構(gòu)建，將軍隊院校的信息化管理系統(tǒng)分為管理資源數(shù)據(jù)庫模塊、網(wǎng)絡(luò)模塊、人機交互模塊和接口控制模塊等，通過對管理員的權(quán)限配置和動態(tài)參數(shù)分析，結(jié)合管理用戶分配，建立底層數(shù)據(jù)庫，信息管理平臺的底層結(jié)構(gòu)如圖1 所示。

圖1 平臺底層結(jié)構(gòu)模型Fig. 1 Platform bottom structure model

根據(jù)圖1 的底層結(jié)構(gòu)模型，采用嵌入式的BS 總線調(diào)度下進(jìn)行軍隊院校多源數(shù)據(jù)動態(tài)融合清洗的數(shù)據(jù)庫體系結(jié)構(gòu)設(shè)計，對軍隊院校多源數(shù)據(jù)融合清洗平臺設(shè)計分為數(shù)據(jù)采集輸入單元、數(shù)據(jù)庫模型調(diào)度單元、數(shù)據(jù)集成加工單元、數(shù)據(jù)三維可視化處理單元以及人機交互輸出單元等［5］，得到聯(lián)通公有云平臺下軍校多源數(shù)據(jù)融合調(diào)度模型的實現(xiàn)結(jié)構(gòu)如圖2 所示。

圖2 平臺實現(xiàn)結(jié)構(gòu)流程Fig. 2 Platform implementation structure flow

通過ADO.NET 組件庫建立軍隊院校多源數(shù)據(jù)融合清洗平臺的3D 可視化處理模型， 采用ModelBuilder 3D 中間件技術(shù)進(jìn)行軍隊院校多源數(shù)據(jù)動態(tài)融合過程中的私有云平臺調(diào)度，在上述總體結(jié)構(gòu)設(shè)計的基礎(chǔ)上，進(jìn)行數(shù)據(jù)清洗算法設(shè)計［6］。

2 多源數(shù)據(jù)挖掘和特征分析

2.1 軍隊校園多源分布大數(shù)據(jù)挖掘模型

構(gòu)建以科研管理數(shù)據(jù)、教學(xué)管理數(shù)據(jù)、學(xué)生畫像數(shù)據(jù)以及師資分析數(shù)據(jù)等為一體的大數(shù)據(jù)挖掘模型，根據(jù)對數(shù)據(jù)采集的活躍狀態(tài)節(jié)點分布式部署，結(jié)合傳感信息融合跟蹤識別［6］，建立軍隊校園多源分布大數(shù)據(jù)分布的樣本集，得到K個近鄰樣本值為：

其中，x表示多源數(shù)據(jù)調(diào)度節(jié)點匯聚鏈路增益；di表示科研管理數(shù)據(jù)的動態(tài)調(diào)度特征分布集；Cj表示聯(lián)合自相關(guān)分配參數(shù)；Sim（x，di） 為相似度；y（di，Cj） 為校園全域感知的動態(tài)信息特征分配參數(shù)。 基于可視化的數(shù)據(jù)特征重構(gòu)技術(shù)，建立軍隊院校數(shù)字化信息管理的云平臺處理模型，得到數(shù)字孿生的動態(tài)稀疏特征分配模型表示為：

其中，

采用線性化的均衡調(diào)度方案，實現(xiàn)軍校多源數(shù)據(jù)融合過程中的邊緣分布式檢測，得到邊緣特征分布檢測模型為：

其中，

通過稀疏性特征重組，結(jié)合線性均衡調(diào)度和分塊特征匹配，實現(xiàn)對軍隊校園多源分布大數(shù)據(jù)挖掘，根據(jù)數(shù)據(jù)挖掘結(jié)果進(jìn)行樣本特征點匹配［7］。

2.2 數(shù)據(jù)異構(gòu)特征分析

在構(gòu)建了大數(shù)據(jù)挖掘模型的基礎(chǔ)上，結(jié)合對分配數(shù)據(jù)的聯(lián)合關(guān)聯(lián)相似度分析，采用模糊自相關(guān)特征匹配技術(shù)，建立軍隊校園多源管理數(shù)據(jù)時間序列的檢測統(tǒng)計量，得到檢測統(tǒng)計特征分配模型參數(shù)表示為：

其中，a0為數(shù)據(jù)融合調(diào)度過程中的特征匹配系數(shù)；xn－i為任意某時刻點p處的語義相似度分配的條件概率密度；bj為每個節(jié)點采集的軍校信息化管理的匹配數(shù)據(jù)。 采用回歸分析方法，建立數(shù)據(jù)異構(gòu)特征匹配模型，得到特征匹配函數(shù)為：

其中，xa，b，d，p為第m類匹配數(shù)據(jù)的邊緣聯(lián)合特征分配特征向量；Vp為整合移動平均自回歸參數(shù)；為軍隊院校多源管理數(shù)據(jù)融合的聯(lián)合加權(quán)；（S） 為大數(shù)據(jù)模糊隸屬度；B為學(xué)習(xí)行為的多維特征分布集。 根據(jù)上述分析，采用基于物聯(lián)網(wǎng)模型的數(shù)字孿生技術(shù)建立智慧校園動態(tài)管理數(shù)據(jù)的可視化調(diào)度模型，采用冗余數(shù)據(jù)濾波技術(shù)實現(xiàn)對多源管理數(shù)據(jù)的濾波處理和強化跟蹤數(shù)據(jù)。

3 數(shù)據(jù)融合清洗算法實現(xiàn)

3.1 數(shù)據(jù)冗余濾波和強化跟蹤學(xué)習(xí)

采用模板匹配技術(shù)，對軍隊院校多源數(shù)據(jù)進(jìn)行動態(tài)增益控制，構(gòu)建雙向鏈路管控模型，表示為（k，i），提取軍隊院校多源數(shù)據(jù)融合相關(guān)性特征量，采用聯(lián)通公有云平臺調(diào)度方案，結(jié)合3DStudio MAX 軟件進(jìn)行軍隊院校多源數(shù)據(jù)融合清洗的過程分配，得到清洗過程的過程分配特征子集：

其中，pdrop為軍隊校園多源分布大數(shù)據(jù)清洗的冗余特征分量；k1為自相關(guān)特征匹配系數(shù)；l為數(shù)據(jù)分布的長度；Ecomm是動態(tài)約束參數(shù)。 在重連通圖中，通過數(shù)據(jù)融合聚類處理，結(jié)合聚類中心的強化跟蹤學(xué)習(xí)，實現(xiàn)對數(shù)據(jù)冗余濾波［8］。

3.2 數(shù)據(jù)模糊C 均值聚類及清洗

采用無線傳感器網(wǎng)絡(luò)的共享調(diào)度的方法，建立軍隊校園多源管理數(shù)據(jù)匹配模型，通過模糊C均值聚類進(jìn)行節(jié)點的參數(shù)動態(tài)調(diào)節(jié)［9］，得到模糊C均值聚類中心分別為p和q，鏈路l的聯(lián)合特征匹配模型參數(shù)通過頻率間隔指數(shù)TL×1（l ＜L） 調(diào)節(jié)，數(shù)據(jù)清洗的動態(tài)調(diào)節(jié)模型表示如下：

其中，F(xiàn)p1和Fq1為軍隊院校多源數(shù)據(jù)分布節(jié)點的能量匹配系數(shù)。 在N個簇首節(jié)點中，通過大數(shù)據(jù)融合、預(yù)測和自適應(yīng)處理，得到冗余濾波系數(shù)為p∈［0，p1，p2，…，pmax］。 根據(jù)計算數(shù)據(jù)的狀態(tài)差異度函數(shù)，得到匹配周期矩陣PN×1，數(shù)據(jù)清洗輸出為：

其中，i為數(shù)據(jù)清洗的冗余參數(shù)配置節(jié)點；G為連通圖；λi為冗余數(shù)據(jù)的分布網(wǎng)格單元；σ為協(xié)方差。 基于沖突調(diào)節(jié)機制，采用模糊C 均值聚類，得到數(shù)據(jù)特征參數(shù)提取和信息融合輸出為：

其中，σ為sink 節(jié)點周圍的統(tǒng)計分析數(shù)據(jù)；G為模糊C 均值聚類簇；hi為最大跳數(shù)；γi＝γth為閾值。 根據(jù)上述算法設(shè)計，實現(xiàn)對數(shù)據(jù)模糊C 均值聚類及清洗，提高數(shù)據(jù)的調(diào)度和檢索能力［10］。

4 仿真實驗測試

為了驗證本文方法在實現(xiàn)軍隊院校多源管理數(shù)據(jù)動態(tài)融合清洗的性能，數(shù)據(jù)采樣的動態(tài)分布覆蓋范圍為240×120 個網(wǎng)格節(jié)點，數(shù)據(jù)采樣的頻譜分布特征量為Pe＝0.12；種子節(jié)點集分布概率Pd＝0.09，云平臺虛擬機初始能量為90 KJ，吞吐量為23.4 B／S／HZ，多源數(shù)據(jù)管理平臺任務(wù)分配參數(shù)分布見表1。

表1 多源數(shù)據(jù)管理平臺任務(wù)分配參數(shù)Tab. 1 Task allocation parameters of multi－source data management platform

根據(jù)上述仿真條件設(shè)定，進(jìn)行軍隊院校多源管理數(shù)據(jù)采樣，得到原始采集的數(shù)據(jù)如圖3 所示。

圖3 原始采集的數(shù)據(jù)Fig. 3 Original collected data

以圖3 的軍隊院校多源管理數(shù)據(jù)為測試對象，采用本文方法進(jìn)行多源數(shù)據(jù)融合清洗調(diào)度冗余數(shù)據(jù)并封裝后返回到docker 中，得到輸出的數(shù)據(jù)如圖4所示。

圖4 冗余清洗輸出Fig. 4 Redundant cleaning output

分析圖4 得知，本文方法能有效實現(xiàn)對軍隊院校多源管理數(shù)據(jù)冗余數(shù)據(jù)，提高了數(shù)據(jù)的動態(tài)提取能力。 測試數(shù)據(jù)清洗過程收斂性，得到測試結(jié)果如圖5 所示。

圖5 收斂性測試Fig. 5 Convergence test

圖5 采用多元回歸聯(lián)合自相關(guān)分析方法進(jìn)行數(shù)據(jù)清洗性能的收斂性測試，分析得知，隨著嵌入維的增大，清洗過程逐步收斂，測試數(shù)據(jù)的查準(zhǔn)性，對比結(jié)果見表2。 分析得知，本文方法對數(shù)據(jù)的查準(zhǔn)率比傳統(tǒng)方法提升12.3%，

表2 查準(zhǔn)性測試Tab. 2 Comparison of precision test

5 結(jié)束語

采用大數(shù)據(jù)的云融合技術(shù)，結(jié)合對海量數(shù)據(jù)的采集、清洗和調(diào)度處理，提高軍隊院校的數(shù)字化信息管理水平。 本文提出基于聯(lián)通公有云平臺調(diào)度的軍隊院校多源數(shù)據(jù)融合清洗技術(shù)。 構(gòu)建軍隊院校的信息化管理數(shù)據(jù)的大數(shù)據(jù)挖掘模型，結(jié)合動態(tài)融合的分布式云數(shù)據(jù)清洗技術(shù)，將軍隊院校的信息化管理系統(tǒng)分為管理資源數(shù)據(jù)庫模塊、網(wǎng)絡(luò)模塊、人機交互模塊和接口控制模塊等，通過數(shù)據(jù)融合聚類處理，結(jié)合聚類中心的強化跟蹤學(xué)習(xí)，實現(xiàn)對數(shù)據(jù)冗余濾波和清洗。 分析得知，本文方法提高了對多源數(shù)據(jù)的動態(tài)清洗能力，數(shù)據(jù)調(diào)度過程的抗干擾性較強，數(shù)據(jù)采集和檢索的查準(zhǔn)率較高，在構(gòu)造軍校多源數(shù)據(jù)管理平臺和數(shù)字化建設(shè)中具有很好應(yīng)用價值。