基于灰色GM模型的數(shù)據(jù)壓縮處理方法

王勝杰 李煥云

摘要：傳統(tǒng)的數(shù)據(jù)壓縮方法在處理數(shù)據(jù)時(shí)負(fù)荷較大，響應(yīng)頻率較低，因此需要研究基于灰色GM模型進(jìn)行數(shù)據(jù)壓縮處理。首先對(duì)壓縮數(shù)據(jù)接口模塊進(jìn)行設(shè)計(jì)，并運(yùn)用GM模型進(jìn)行數(shù)據(jù)壓縮，最后對(duì)處理結(jié)果進(jìn)行建模分析，由此完成數(shù)據(jù)壓縮處理。為驗(yàn)證設(shè)計(jì)方法的有效性，進(jìn)行對(duì)比實(shí)驗(yàn)，證明設(shè)計(jì)方法相較于傳統(tǒng)方法具有更高的響應(yīng)頻率。

關(guān)鍵詞：數(shù)據(jù)壓縮;GM模型;響應(yīng)頻率

中圖分類號(hào)：TB114? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2021）36-0151-02

開放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：

數(shù)據(jù)壓縮是指在不丟失有用信息的前提下，縮減數(shù)據(jù)量以減少存儲(chǔ)空間，提高其傳輸、存儲(chǔ)和處理效率，或按照一定的算法對(duì)數(shù)據(jù)進(jìn)行重新組織，減少數(shù)據(jù)冗余和存儲(chǔ)空間的一種技術(shù)方法。數(shù)據(jù)壓縮包括有損壓縮和無損壓縮[1]。在計(jì)算機(jī)科學(xué)和信息論中，數(shù)據(jù)壓縮或者源編碼是按照特定的編碼機(jī)制用比未經(jīng)編碼少的數(shù)據(jù)位元（或者其他信息相關(guān)的單位）表示信息的過程。為提高數(shù)據(jù)壓縮響應(yīng)頻率，將GM模型應(yīng)用于數(shù)據(jù)壓縮處理中，并進(jìn)行實(shí)驗(yàn)分析，驗(yàn)證設(shè)計(jì)方法的有效性。

1 基于灰色GM模型的數(shù)據(jù)處理

1.1 壓縮數(shù)據(jù)接口模塊設(shè)計(jì)

運(yùn)用灰色GM模型對(duì)數(shù)據(jù)進(jìn)行處理，實(shí)現(xiàn)對(duì)數(shù)據(jù)的壓縮以及異常檢測(cè)。對(duì)數(shù)據(jù)壓縮得到的結(jié)果進(jìn)行異常分析，避免異常數(shù)據(jù)干擾采集數(shù)據(jù)系統(tǒng)運(yùn)行，從而產(chǎn)生空值的情況。并根據(jù)數(shù)據(jù)異常的情況進(jìn)行特征分類，調(diào)整異常數(shù)據(jù)的格式，對(duì)異常數(shù)據(jù)的值域區(qū)間進(jìn)行計(jì)算。由于異常數(shù)據(jù)對(duì)矩陣壓縮的結(jié)果影響很大，因此，需要對(duì)壓縮數(shù)據(jù)接口模塊進(jìn)行構(gòu)建，利用異常數(shù)據(jù)的值域區(qū)間重新調(diào)整數(shù)據(jù)異常值。首先針對(duì)接口模塊在數(shù)理統(tǒng)計(jì)中的殘差進(jìn)行計(jì)算，提供有關(guān)接口模塊的重要信息，對(duì)數(shù)據(jù)信息所產(chǎn)生的殘差進(jìn)行判斷，檢測(cè)處理數(shù)據(jù)接口模塊，重新規(guī)劃數(shù)據(jù)檢測(cè)處理規(guī)范[2]。對(duì)應(yīng)數(shù)據(jù)監(jiān)測(cè)的要求進(jìn)行接口模塊的觀測(cè)，對(duì)比實(shí)際觀測(cè)值與原數(shù)據(jù)觀測(cè)結(jié)果樣本，采用平方預(yù)測(cè)誤差來實(shí)現(xiàn)數(shù)據(jù)的監(jiān)測(cè)，進(jìn)行數(shù)據(jù)的異常檢測(cè)[3]。

為了在灰色GM模型中實(shí)現(xiàn)對(duì)實(shí)時(shí)數(shù)據(jù)的高效處理，整合數(shù)據(jù)計(jì)算優(yōu)勢(shì)模型，利用灰色GM模型對(duì)數(shù)據(jù)矩陣進(jìn)行處理。利用灰色GM模型與借口模塊進(jìn)行連接，并應(yīng)用機(jī)器學(xué)習(xí)算法處理數(shù)據(jù)。在出現(xiàn)復(fù)雜的數(shù)據(jù)整合情況時(shí)，在基于灰色GM模型的數(shù)據(jù)處理模式下，利用機(jī)器學(xué)習(xí)算法進(jìn)行數(shù)據(jù)處理模塊的選擇。該接口利用了灰色GM模型的顯著優(yōu)勢(shì)，通過并行處理分析訓(xùn)練模塊，完成對(duì)數(shù)據(jù)的離線整合。并以離線分析作為應(yīng)用基礎(chǔ)，建立離線分析整合的應(yīng)用層。按需向借口模塊提供實(shí)時(shí)分析算法，保證借口模塊檢測(cè)的時(shí)效性。利用監(jiān)測(cè)數(shù)據(jù)在接口模塊中的應(yīng)用效果，隨時(shí)進(jìn)行接口模塊連接。對(duì)數(shù)據(jù)分析的時(shí)延進(jìn)行計(jì)算，在保證數(shù)據(jù)分析準(zhǔn)確的同時(shí)提升分析效率。處理離線分析數(shù)據(jù)實(shí)時(shí)檢測(cè)窗口，輸入分析接口模塊系統(tǒng)實(shí)時(shí)數(shù)據(jù)。降低異常數(shù)據(jù)矩陣維度，進(jìn)行異常數(shù)據(jù)的檢測(cè)處理。利用訓(xùn)練模型處理小批量數(shù)據(jù)，并根據(jù)分析結(jié)果實(shí)現(xiàn)數(shù)據(jù)矩陣整合，得到壓縮數(shù)據(jù)接口模塊分析架構(gòu)，如圖1所示。

通過分析圖中接口模塊，針對(duì)壓縮數(shù)據(jù)接口模塊的實(shí)時(shí)流數(shù)據(jù)進(jìn)行統(tǒng)計(jì)，利用感知系統(tǒng)處理分析模塊，通過分析數(shù)據(jù)處理模型整合壓縮數(shù)據(jù)。對(duì)分析模型的系統(tǒng)匹配度進(jìn)行檢驗(yàn)，并匹配最新的分析模型計(jì)算數(shù)據(jù)處理效果。根據(jù)最新數(shù)據(jù)集規(guī)劃離線學(xué)習(xí)模型，并將數(shù)據(jù)處理特征進(jìn)行數(shù)據(jù)存儲(chǔ)，并基于此數(shù)據(jù)集進(jìn)行數(shù)據(jù)壓縮。壓縮數(shù)據(jù)接口模塊處理得到的分析結(jié)果可以直接輸出到數(shù)據(jù)存儲(chǔ)層中。

1.2 基于灰色GM模型的數(shù)據(jù)壓縮

通過數(shù)據(jù)挖掘研究數(shù)據(jù)壓縮，對(duì)數(shù)據(jù)樣本進(jìn)行處理，觀測(cè)分析數(shù)據(jù)序列，總結(jié)數(shù)據(jù)規(guī)律并將其應(yīng)用于觀測(cè)數(shù)據(jù)中，通過對(duì)數(shù)據(jù)序列進(jìn)行維度處理，完成壓縮采集數(shù)據(jù)。在數(shù)據(jù)規(guī)律圖像處理中，通過變換處理場(chǎng)景采集數(shù)據(jù)變量，通過數(shù)據(jù)存儲(chǔ)負(fù)荷的增加進(jìn)行數(shù)據(jù)分析。因此針對(duì)圖像以及多維度數(shù)據(jù)進(jìn)行壓縮，通過主成分分析，對(duì)數(shù)據(jù)的規(guī)模進(jìn)行降維，降低后續(xù)算法處理的復(fù)雜度，針對(duì)不同的需求，主成分分析也應(yīng)用了大量的改進(jìn)算法[4]。對(duì)整體數(shù)據(jù)趨勢(shì)的維度進(jìn)行整合，并從數(shù)據(jù)集合中選擇代表樣本，在新的數(shù)據(jù)空間中轉(zhuǎn)移數(shù)據(jù)集合，并通過維度性質(zhì)確定數(shù)據(jù)空間維度數(shù)據(jù)的下降趨勢(shì)。

分析樣本數(shù)據(jù)集的性質(zhì)，根據(jù)樣本集數(shù)據(jù)進(jìn)行PCA算法存儲(chǔ)。將數(shù)據(jù)矩陣應(yīng)用于多維度數(shù)據(jù)集，對(duì)比一般情況分析矩陣排列規(guī)律。利用算法將數(shù)據(jù)矩陣轉(zhuǎn)化為多維度的數(shù)據(jù)集，記錄數(shù)據(jù)集中的矩陣集合，并針對(duì)每條記錄結(jié)果進(jìn)行特征篩選，將數(shù)據(jù)向量對(duì)應(yīng)記錄結(jié)果，將每一個(gè)特征看作矩陣每一列集中的代表數(shù)據(jù)，對(duì)應(yīng)數(shù)據(jù)中的特征篩選代表數(shù)據(jù)集中的行列。據(jù)此，行程矩陣記錄的集合，公式如下：

[X=x11…x1k???xn1…xnk=X1，X2，X3，…Xk]? ? ? ? （1）

調(diào)整矩陣數(shù)據(jù)的投影，利用向量A和B的內(nèi)積，計(jì)算向量投影的具體長(zhǎng)度。通過內(nèi)積確定向量的具體位置，對(duì)內(nèi)積上的向量坐標(biāo)進(jìn)行計(jì)算，轉(zhuǎn)換數(shù)據(jù)坐標(biāo)，并將該坐標(biāo)向矩陣數(shù)列中擴(kuò)展，對(duì)數(shù)據(jù)向量的集合進(jìn)行矩陣處理，將矩陣與基矩陣相對(duì)應(yīng)。并做乘積處理，得到基矩陣與數(shù)據(jù)矩陣的乘積結(jié)果，以此達(dá)到轉(zhuǎn)換數(shù)據(jù)矩陣維度的目的，也使得數(shù)據(jù)矩陣維度降低。在保留相關(guān)性較弱維度的前提下，對(duì)數(shù)據(jù)矩陣進(jìn)行轉(zhuǎn)換[5]。通過非相關(guān)矩陣維度特性，進(jìn)行數(shù)據(jù)維度與基矩陣維度的對(duì)比，對(duì)高于基矩陣維度的數(shù)據(jù)矩陣，不能進(jìn)行降維處理。對(duì)數(shù)據(jù)矩陣的形式進(jìn)行處理，將基矩陣設(shè)定為：[a1，a2，a3，…]，重新組合元數(shù)據(jù)矩陣，轉(zhuǎn)化數(shù)據(jù)矩陣的排列類型，并根據(jù)線性組合調(diào)整數(shù)據(jù)矩陣序列。在保證數(shù)據(jù)方差不受轉(zhuǎn)化干擾的同時(shí)，利用基數(shù)據(jù)矩陣，對(duì)當(dāng)前特征數(shù)的均值h進(jìn)行設(shè)定。將特征數(shù)列的均值帶入數(shù)據(jù)矩陣中，利用變量m計(jì)算矩陣數(shù)據(jù)，規(guī)避均值對(duì)矩陣計(jì)算結(jié)果的干擾。再對(duì)二維數(shù)據(jù)進(jìn)行降維，轉(zhuǎn)換向量此原則顯然是不適用的，此時(shí)方差最大原則是適用的。對(duì)矩陣數(shù)據(jù)的區(qū)間進(jìn)行拓展，計(jì)算數(shù)據(jù)矩陣方差的應(yīng)用區(qū)間，利用矩陣數(shù)據(jù)的相關(guān)性調(diào)轉(zhuǎn)數(shù)據(jù)矩陣向量，同時(shí)測(cè)量矩陣存儲(chǔ)信息的數(shù)據(jù)冗余度。在矩陣數(shù)據(jù)存儲(chǔ)信息過多時(shí)，通過轉(zhuǎn)化數(shù)據(jù)結(jié)果降低數(shù)據(jù)冗余度，以此保留矩陣數(shù)據(jù)中的信息豐富度。盡可能選擇不相關(guān)冗余矩陣，對(duì)數(shù)據(jù)向量進(jìn)行調(diào)整，保證不同數(shù)據(jù)向量之間互不干擾。采用協(xié)方差計(jì)算數(shù)據(jù)矩陣變量的大小，分解方差矩陣中的特征值，針對(duì)原數(shù)據(jù)矩陣中的特征性質(zhì)，從P矩陣維度上進(jìn)行數(shù)據(jù)降維。按照從大到小的順序?qū)ο蛄繂挝贿M(jìn)行分析，通過前幾個(gè)矩陣向量進(jìn)行數(shù)據(jù)選取，利用矩陣特點(diǎn)呈現(xiàn)出的非相關(guān)性，對(duì)數(shù)據(jù)降低維度所需要的數(shù)據(jù)進(jìn)行采集。通過對(duì)矩陣中的p值求解，得到采集數(shù)據(jù)的壓縮降維維度，完成對(duì)采集數(shù)據(jù)的壓縮。

1.3 數(shù)據(jù)壓縮結(jié)果建模分析

考慮到建模分析，對(duì)分析模型X進(jìn)行壓縮整理。假設(shè)數(shù)據(jù)均值為[μ]，則模型標(biāo)準(zhǔn)差為a。當(dāng)新數(shù)據(jù)到達(dá)時(shí)，依據(jù)新的數(shù)據(jù)需要對(duì)壓縮數(shù)據(jù)進(jìn)行分析。通過監(jiān)測(cè)壓縮數(shù)據(jù)處理結(jié)果，得到壓縮數(shù)據(jù)集合[Y]：

[Y=y1，y2，…yk]? ? ? ? ? ? ? ? ? ? ? ? （2）

結(jié)合[X]、[Y]，基于灰色GM構(gòu)件灰微分方程：

[Yk+aZk=bXk]? ? ? ? ? ? ? ? ? ? ? ? ?（3）

其中

[k=1，2，...，n]，[Zk=0.5Yk+0.5Yk+1]? ? （4）

由此得出GM模型方程為：

[dYdt+aY=μX]? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（5）

由此得出數(shù)據(jù)處理結(jié)果，通過數(shù)據(jù)匯聚節(jié)點(diǎn)對(duì)數(shù)據(jù)進(jìn)行接收和上傳，完成數(shù)據(jù)壓縮以及數(shù)據(jù)處理通道的建立，至此完成對(duì)基于灰色GM模型的數(shù)據(jù)處理方法設(shè)計(jì)。

2 實(shí)驗(yàn)分析

應(yīng)用對(duì)比試驗(yàn)，比較基于灰色GM模型的數(shù)據(jù)壓縮方法與傳統(tǒng)方法1、傳統(tǒng)方法2的數(shù)據(jù)處理響應(yīng)次數(shù)，通過實(shí)驗(yàn)分析驗(yàn)證更優(yōu)的試驗(yàn)方法。

2.1 實(shí)驗(yàn)準(zhǔn)備

為了從協(xié)調(diào)器中讀取采集的數(shù)據(jù)，完成對(duì)串口的讀取。利用模塊串口擴(kuò)展服務(wù)器傳輸通道，通過CH340模塊進(jìn)行服務(wù)器協(xié)調(diào)，根據(jù)串口通信轉(zhuǎn)換USB，保證模塊串口傳輸速率的同時(shí)進(jìn)行串口信息傳遞。通過服務(wù)器的Linux內(nèi)核驅(qū)動(dòng)CH340模塊，在USB通信接口中植入?yún)f(xié)調(diào)器，分析模塊串口數(shù)據(jù)響應(yīng)頻率，利用協(xié)調(diào)器的特性對(duì)數(shù)據(jù)進(jìn)行處理，篩選數(shù)據(jù)處理結(jié)果，選擇測(cè)試區(qū)間，并針對(duì)測(cè)試區(qū)間進(jìn)行響應(yīng)頻率統(tǒng)計(jì)。利用硬件串口進(jìn)行模塊的串口連接，對(duì)數(shù)據(jù)處理響應(yīng)次數(shù)進(jìn)行計(jì)算，通過測(cè)量3組實(shí)驗(yàn)的節(jié)點(diǎn)，統(tǒng)計(jì)數(shù)據(jù)處理響應(yīng)結(jié)果，以2s作為響應(yīng)頻率統(tǒng)計(jì)區(qū)間單位，實(shí)現(xiàn)數(shù)據(jù)處理響應(yīng)的頻率的對(duì)比。

2.2 對(duì)比數(shù)據(jù)處理響應(yīng)次數(shù)

測(cè)量傳統(tǒng)方法1、傳統(tǒng)方法2和基于灰色GM模型的數(shù)據(jù)處理方法處理數(shù)據(jù)的響應(yīng)次數(shù)，如圖2。

圖中p1為基于灰色GM模型的數(shù)據(jù)處理方法處理數(shù)據(jù)的響應(yīng)次數(shù)曲線，p2為傳統(tǒng)方法1處理數(shù)據(jù)的響應(yīng)次數(shù)曲線，p3為傳統(tǒng)方法2處理數(shù)據(jù)的響應(yīng)次數(shù)曲線。分析圖中信息可知，傳統(tǒng)方法1處理數(shù)據(jù)響應(yīng)次數(shù)最高為32次，數(shù)據(jù)處理響應(yīng)次數(shù)最低為8次。傳統(tǒng)方法2處理數(shù)據(jù)響應(yīng)次數(shù)最高為29次，數(shù)據(jù)處理響應(yīng)次數(shù)最低為8次?；诨疑獹M模型的數(shù)據(jù)處理方法處理數(shù)據(jù)的響應(yīng)次數(shù)最高為35次，數(shù)據(jù)處理響應(yīng)次數(shù)最低為10次。因此，基于灰色GM模型的數(shù)據(jù)處理方法更佳。

3 結(jié)束語

基于灰色GM模型的數(shù)據(jù)壓縮方法，可以實(shí)現(xiàn)數(shù)據(jù)的精準(zhǔn)處理，能夠合理規(guī)避壓縮數(shù)據(jù)產(chǎn)生的數(shù)據(jù)處理誤差。未來應(yīng)當(dāng)對(duì)數(shù)據(jù)的壓縮以及異常檢測(cè)進(jìn)行研究，在實(shí)現(xiàn)了主成分更新的基礎(chǔ)上，盡量避免對(duì)方差矩陣進(jìn)行重復(fù)計(jì)算，通過降低資源能耗進(jìn)行方法計(jì)算。在此基礎(chǔ)上可以進(jìn)一步對(duì)方法實(shí)現(xiàn)改進(jìn)，使得數(shù)據(jù)處理過程更加簡(jiǎn)潔。

參考文獻(xiàn)：

[1] 劉永利，劉云鵬.實(shí)時(shí)數(shù)據(jù)處理系統(tǒng)自主閉環(huán)測(cè)試驗(yàn)證技術(shù)研究[J].軟件工程，2021，24（3）：2-7.

[2] 潘璇，徐思涵，蔡祥睿，等.基于深度學(xué)習(xí)的數(shù)據(jù)庫自然語言接口綜述[J].計(jì)算機(jī)研究與發(fā)展，2021，58（9）：1925-1950.

[3] 王英.基于OECD個(gè)人數(shù)據(jù)分類的“通知——同意”原則的有效性困境與出路[J].現(xiàn)代情報(bào)，2021，41（3）：168-177.

[4] 解明陽，陳新軍.基于不同階數(shù)灰色系統(tǒng)模型的北太平洋柔魚資源豐度預(yù)測(cè)[J].上海海洋大學(xué)學(xué)報(bào)，2021，30（4）：755-762.

[5] 劉智祿，王慧麗.基于GM模型和BP神經(jīng)網(wǎng)絡(luò)的西安市房?jī)r(jià)分析與預(yù)測(cè)[J].西安石油大學(xué)學(xué)報(bào)（社會(huì)科學(xué)版），2019，28（5）：9-14.

【通聯(lián)編輯：張薇】