一種基于動(dòng)態(tài)降維的數(shù)據(jù)約簡(jiǎn)方法

陳 衡

(淮北職業(yè)技術(shù)學(xué)院 教務(wù)處，安徽 淮北 235000)

一種基于動(dòng)態(tài)降維的數(shù)據(jù)約簡(jiǎn)方法

陳 衡

(淮北職業(yè)技術(shù)學(xué)院 教務(wù)處，安徽 淮北 235000)

根據(jù)數(shù)據(jù)處理形式的不同,提出基于動(dòng)態(tài)降維的數(shù)據(jù)約簡(jiǎn)方法和多維度動(dòng)態(tài)降維算法。通過(guò)引入數(shù)據(jù)冗余刪除理論，降低數(shù)據(jù)的冗余程度；采用數(shù)據(jù)降維技術(shù)，實(shí)現(xiàn)數(shù)據(jù)清洗，數(shù)據(jù)結(jié)構(gòu)并行，提升核心數(shù)據(jù)的知識(shí)表示能力。最后通過(guò)實(shí)驗(yàn)驗(yàn)證了本方法的有效性。

數(shù)據(jù)降維；數(shù)據(jù)約簡(jiǎn)；數(shù)據(jù)優(yōu)化

大數(shù)據(jù)是大規(guī)模聚合的多格式自主異構(gòu)數(shù)據(jù)源。[1]大規(guī)模海量數(shù)據(jù)是大數(shù)據(jù)的首要特征，數(shù)據(jù)信息的獲取依賴于大規(guī)模數(shù)據(jù)中心和存儲(chǔ)區(qū)域網(wǎng)絡(luò)結(jié)點(diǎn)。海量的大數(shù)據(jù)不僅導(dǎo)致數(shù)據(jù)具有異質(zhì)性，也使得數(shù)據(jù)具有互不相同的維度屬性。因此，最大程度的減小大數(shù)據(jù)的數(shù)據(jù)規(guī)模，提高有價(jià)值數(shù)據(jù)比，顯得尤為迫切。[2]此外，為了避免存儲(chǔ)和處理橫向資源的消耗，大數(shù)據(jù)流需要在線處理。高速性大數(shù)據(jù)處理是其第二個(gè)關(guān)鍵因素。高速性指的是處理數(shù)據(jù)流的高頻率，例太陽(yáng)能動(dòng)力學(xué)天文臺(tái)每天產(chǎn)生超過(guò)1T字節(jié)的數(shù)據(jù)，只有在約簡(jiǎn)或數(shù)據(jù)壓縮之后，快速大數(shù)據(jù)分析才可能實(shí)現(xiàn)。另一方面，大數(shù)據(jù)集所帶來(lái)的維數(shù)災(zāi)難，使得數(shù)據(jù)表示與計(jì)算十分困難。為了最大限度地挖掘有效知識(shí)模式，數(shù)百萬(wàn)的相關(guān)維度信息(包括變量，特征，屬性等)需要在不影響原始語(yǔ)義的前提下，盡可能多的簡(jiǎn)化。如研究互聯(lián)網(wǎng)用戶的搜索概況，必然涉及用戶行為的配置文件，該文件是包含搜索、頁(yè)面瀏覽和點(diǎn)擊流數(shù)據(jù)的稀疏矩陣，具有高維度的搜索關(guān)鍵字和網(wǎng)址。[3]類似地，個(gè)人基因組高通量測(cè)序不僅增加了數(shù)據(jù)的容量，降低了處理速度，也會(huì)帶來(lái)數(shù)據(jù)維度的增加。[4]因此，有必要降低大數(shù)據(jù)的維度，同時(shí)保留最重要且有價(jià)值的數(shù)據(jù)信息。

1 相關(guān)理論

1.1 冗余刪除理論

大數(shù)據(jù)分析的關(guān)鍵環(huán)節(jié)是解決數(shù)據(jù)冗余問(wèn)題。引起數(shù)據(jù)冗余的三個(gè)主要環(huán)節(jié)是數(shù)據(jù)添加重復(fù)節(jié)點(diǎn)階段、擴(kuò)展數(shù)據(jù)集階段以及數(shù)據(jù)復(fù)制階段。對(duì)于存儲(chǔ)機(jī)制而言，在集群級(jí)別的最大可用性數(shù)據(jù)必然會(huì)引起數(shù)據(jù)冗余。因此，有必要?jiǎng)h除重復(fù)數(shù)據(jù)，研究冗余消除方法。

面向集群的重復(fù)數(shù)據(jù)刪除的核心是基于磁盤(pán)備份的大數(shù)據(jù)聚類備份系統(tǒng)。存儲(chǔ)在多個(gè)磁盤(pán)和分區(qū)上的冗余數(shù)據(jù)需要大數(shù)據(jù)處理系統(tǒng)具備分布式集群處理能力。重復(fù)數(shù)據(jù)刪除技術(shù)使用散列函數(shù)，處理不同的數(shù)據(jù)塊(分區(qū))，降低節(jié)點(diǎn)內(nèi)與節(jié)點(diǎn)間的通信開(kāi)銷，提高存儲(chǔ)效率。大規(guī)模集群重復(fù)數(shù)據(jù)刪除面臨的主要問(wèn)題：由于信息過(guò)載，僅僅刪除服務(wù)器級(jí)別的重復(fù)數(shù)據(jù)，無(wú)法完全降低通信開(kāi)銷。研究解決信息孤島中數(shù)據(jù)路由，顯得尤為重要。另一個(gè)核心環(huán)節(jié)是磁盤(pán)組索引查找問(wèn)題，即在頻繁的隨機(jī)I / O查找和索引過(guò)程中，解決好大型數(shù)據(jù)集的重復(fù)塊索引同時(shí)，兼顧維持系統(tǒng)內(nèi)存的開(kāi)銷，降低客戶端備份負(fù)載。

重復(fù)數(shù)據(jù)刪除技術(shù)基于簇中局部數(shù)據(jù)相似性，主要涉及有狀態(tài)或無(wú)狀態(tài)路由選擇，對(duì)重復(fù)數(shù)據(jù)的位置進(jìn)行判斷，將類似的數(shù)據(jù)傳輸?shù)酵还?jié)點(diǎn)或分發(fā)到整個(gè)集群的相同節(jié)點(diǎn)，降低通信開(kāi)銷，并執(zhí)行相應(yīng)優(yōu)化操作。[5]為了降低通信和刪除無(wú)效節(jié)點(diǎn)間重復(fù)數(shù)據(jù)的系統(tǒng)開(kāi)銷，采用基于混合技術(shù)的理論與方法。綜合使用基于相似性和局部?jī)?yōu)先理論，重點(diǎn)解決節(jié)點(diǎn)間重復(fù)數(shù)據(jù)的過(guò)度刪除問(wèn)題，同時(shí)平衡了數(shù)據(jù)刪除與集群可擴(kuò)展性之間的關(guān)系。使用歸一化重復(fù)數(shù)據(jù)刪除率，評(píng)價(jià)上述理論的計(jì)算效率，可用公式1表示：

( 公式1)

其中P和L分別表示數(shù)據(jù)集的物理空間和邏輯空間， T表示用于重復(fù)數(shù)據(jù)刪除的處理時(shí)間。此外，DT表示重復(fù)數(shù)據(jù)的刪除吞吐量，DR表示總體重復(fù)數(shù)據(jù)刪除率。歸一化的有效重復(fù)刪除比率(Normalized Effective Reduplication Ratio，NEDR)用于衡量群集范圍內(nèi)重復(fù)數(shù)據(jù)刪除和存儲(chǔ)的不平衡程度，如公式2所示：

( 公式2)

公式2中，CDR表示集群級(jí)重復(fù)數(shù)據(jù)的刪除比率，SDR表示單節(jié)點(diǎn)級(jí)重復(fù)數(shù)據(jù)的刪除率。α表示存儲(chǔ)空間的平均使用率，而σ表示群集范圍的存儲(chǔ)使用標(biāo)準(zhǔn)偏差。

相比之下，系統(tǒng)在處理具有相同習(xí)慣的移動(dòng)用戶數(shù)據(jù)時(shí)，生成大量相似的冗余數(shù)據(jù)量以及大量缺乏時(shí)空相關(guān)性的感知數(shù)據(jù)。面向移動(dòng)網(wǎng)絡(luò)的數(shù)據(jù)轉(zhuǎn)發(fā)框架，消除采樣網(wǎng)絡(luò)的冗余以節(jié)省資源消耗。框架以兩個(gè)數(shù)據(jù)轉(zhuǎn)發(fā)協(xié)議為核心，即基于Epidemic融合路由協(xié)議以及二進(jìn)制發(fā)散與等待融合協(xié)議(Binary Spray and Wait with Fusion，BSWF)。模擬感知數(shù)據(jù)的智能融合以消除冗余。重復(fù)數(shù)據(jù)刪除技術(shù)能夠在不同的環(huán)境中處理不同級(jí)別的數(shù)據(jù)集合，包括移動(dòng)網(wǎng)絡(luò)、集群、云和數(shù)據(jù)中心等。因此，具體的應(yīng)用模型是確定選擇何種方法的關(guān)鍵。

1.2 模糊分類理論

模糊分類方法能夠有效解決醫(yī)療大數(shù)據(jù)的結(jié)構(gòu)化提取問(wèn)題，主要涉及大數(shù)據(jù)流的存儲(chǔ)以及臨床醫(yī)學(xué)知識(shí)模式的挖掘等領(lǐng)域。基于自主選擇的對(duì)沖模糊分類器(LHNFCSFs)[6]用以減少數(shù)據(jù)尺寸，增加選擇功能，并執(zhí)行分類操作。該分類器在自適應(yīng)模糊神經(jīng)網(wǎng)絡(luò)中，通過(guò)整合分類器以及過(guò)濾嘈雜冗余數(shù)據(jù)，加強(qiáng)了特征空間的表達(dá)能力，提高了分類器的精度。結(jié)果表明，通過(guò)減少醫(yī)療大數(shù)據(jù)維度問(wèn)題，提高數(shù)據(jù)分類性能。

張量是用高維數(shù)據(jù)進(jìn)行多維表示的量綱工具，基于矩陣角度分析，則是對(duì)多階方陣進(jìn)行多線性運(yùn)算，即相同的參考量在不同的坐標(biāo)中，按約定準(zhǔn)則進(jìn)行變換。處理大張量問(wèn)題是一個(gè)具有挑戰(zhàn)性的任務(wù)。張力分解(Tensor Decomposition ，TD)能夠?qū)⒏呔S數(shù)據(jù)分解成若干規(guī)模較小但具有代表性的張量。TD主要分成三類，包括典范分解(Canonical Polybasic Decomposition ，CPD)，塔克分解(Tucker decomposition)和張量鏈(Tensor Trains ，TT)。TD方案規(guī)定了張量分解的約束，這些分解方案降低了大數(shù)據(jù)集的維度并建立張量之間的互連張量網(wǎng)絡(luò)(Tensor Networks ，TNs)。利用最優(yōu)化算法尋找因子矩陣并用線性和非線性最小二乘法進(jìn)行優(yōu)化。張量分解策略與聚類分析、層次分類、數(shù)據(jù)融合、異常檢測(cè)、模式識(shí)別、數(shù)據(jù)集成、時(shí)間序列分析、預(yù)測(cè)建模以及多向組件分析等理論結(jié)合，用于降低大型科學(xué)計(jì)算中的維度。特征哈希散列(Feature Hashing，F(xiàn)H)通過(guò)隨機(jī)分配的方法，將實(shí)際空間中的特征集映射成低維空間的新維度。通常，所有降維技術(shù)都會(huì)降低數(shù)據(jù)質(zhì)量。

由于大數(shù)據(jù)流的輸入會(huì)引起高維特征空間膨脹，特征提取方法(Feature Extraction Methods，F(xiàn)EM)需要占用內(nèi)存中的整個(gè)數(shù)據(jù)空間，增加了計(jì)算的復(fù)雜度，降低分類器的整體性能。增量偏最小二乘法(Incremental Partial Least Squares，IPLS)是偏最小二乘法的變體，該方法有效地減小了大規(guī)模數(shù)據(jù)流的維度，提高了分類精度。算法過(guò)程可表示為：采用目標(biāo)函數(shù)進(jìn)行歷史數(shù)據(jù)更新，獲取主要數(shù)據(jù)投影方向；通過(guò)基于克雷洛夫序列和偏最小二乘支持向量機(jī)之間的等價(jià)關(guān)系，計(jì)算其余數(shù)據(jù)的投影方向。通常將IPLS與增量類間散射方法和增量最大間距技術(shù)等結(jié)合，用于增量測(cè)準(zhǔn)。結(jié)果顯示IPLS改善了計(jì)算的精度，提高了計(jì)算性能。

2 基于數(shù)據(jù)降維的約簡(jiǎn)算法

2.1 數(shù)據(jù)預(yù)處理

數(shù)據(jù)預(yù)處理是大數(shù)據(jù)處理的第二個(gè)重要階段，主要方法是基于語(yǔ)義分析 (使用本體)或關(guān)聯(lián)數(shù)據(jù)結(jié)構(gòu)。其核心是利用低內(nèi)存預(yù)濾波器處理數(shù)據(jù)流、URL以及基因組數(shù)據(jù)，結(jié)合二維峰值檢測(cè)方法降低數(shù)據(jù)規(guī)模。

大數(shù)據(jù)約簡(jiǎn)可以過(guò)濾Internet安全應(yīng)用程序中的惡意URL[7]。文獻(xiàn)[7]中提出了兩種特征縮減技術(shù)，提取特征詞匯，描述特征結(jié)果。然而詞匯特征識(shí)別需要首先解決惡意URL地址信息不斷發(fā)生改變，檢測(cè)軟件難以搜索的問(wèn)題。選擇被動(dòng)攻擊性(用于密集特征提取)和置信加權(quán)算法(用于稀疏特征提取)作為在線學(xué)習(xí)算法，通過(guò)訓(xùn)練模型，提取特征信息。

數(shù)據(jù)預(yù)處理技術(shù)高度依賴于大數(shù)據(jù)的性質(zhì)，目前領(lǐng)域內(nèi)尚無(wú)有效的統(tǒng)一處理大數(shù)據(jù)流的理論與方法。

2.2 數(shù)據(jù)降維算法

由于大量數(shù)據(jù)流的出現(xiàn)，引起了數(shù)據(jù)“維數(shù)災(zāi)難”，即數(shù)以百萬(wàn)計(jì)的數(shù)據(jù)變量和維度表示，增加了存儲(chǔ)和計(jì)算大數(shù)據(jù)的時(shí)間復(fù)雜度。面向不同應(yīng)用背景的數(shù)據(jù)降維方法能夠有效降低數(shù)據(jù)維度，主要有基于聚類分析方法、分布式計(jì)算方法、特征選擇技術(shù)、模糊邏輯實(shí)現(xiàn)技術(shù)、分布式尺寸縮小方法以及模糊邏輯分析等。

動(dòng)態(tài)量子聚類算法(DQC)能夠?qū)崿F(xiàn)可視化高維數(shù)據(jù)展示。[8]在高維特征空間中，基于密度分析相關(guān)變量數(shù)據(jù)的子集。DQC支持并行環(huán)境中的高度分布式數(shù)據(jù)處理，具有良好的可擴(kuò)展性。DQC其核心是通過(guò)構(gòu)造一個(gè)潛在代理函數(shù)來(lái)估計(jì)數(shù)據(jù)點(diǎn)的密度，即概率密度函數(shù)的估計(jì)。應(yīng)用于n維特征空間，以每個(gè)數(shù)據(jù)點(diǎn)為中心的高斯函數(shù)的和(參見(jiàn)公式3)。 DQC還定義了一個(gè)滿足薛定諤方程的向量函數(shù)(見(jiàn)公式4)，利用勢(shì)能定義哈密爾頓算子函數(shù)，從子集中計(jì)算高斯函數(shù)并將結(jié)果乘以量子時(shí)間進(jìn)化算子，然后計(jì)算每個(gè)中心的高斯函數(shù)。大型復(fù)雜的數(shù)據(jù)集可以在沒(méi)有任何先驗(yàn)假設(shè)或使用任何專家信息的前提下，進(jìn)行計(jì)算分析。此外，DQC還可用于噪聲數(shù)據(jù)識(shí)別，以消除不重要的屬性，進(jìn)而應(yīng)用于大數(shù)據(jù)分析領(lǐng)域。

(公式3)

( 公式4)

勢(shì)函數(shù)可以定義在相同的n維特征空間，為函數(shù)滿足時(shí)間獨(dú)立的薛定諤方程。傳統(tǒng)的降維算法使用高斯最大似然估計(jì)，只能處理20,000個(gè)變量以內(nèi)的數(shù)據(jù)集。通過(guò)應(yīng)用平行分治策略，可以將特征空間應(yīng)用到一百萬(wàn)個(gè)變量，實(shí)現(xiàn)數(shù)據(jù)降維。所提出的算法是高度可擴(kuò)展的且計(jì)算效率高于現(xiàn)有算法，如Glasso算法和ALM算法。[9]

數(shù)據(jù)集的知識(shí)發(fā)現(xiàn)具有很大的挑戰(zhàn)性。基于分布式k-均值的降維算法，克服現(xiàn)有的大規(guī)模并行架構(gòu)的局限性，采用局部還原技術(shù)，改進(jìn)計(jì)算性能。減少的數(shù)據(jù)量估計(jì)表示為公式5。

( 公式5)

通常，在線學(xué)習(xí)技術(shù)能充分發(fā)揮其輸入端的功能優(yōu)勢(shì)，但當(dāng)處理高維特征空間時(shí)，整體效率較低。在線特征選擇(Online Features Selection，OFs)方法，對(duì)輸入端的數(shù)據(jù)規(guī)模加以限制，在線學(xué)習(xí)者只能使用固定長(zhǎng)度的工作集，進(jìn)而減輕系統(tǒng)負(fù)載?；谙∈枵齽t化的數(shù)據(jù)截?cái)嗉夹g(shù)，研究了活動(dòng)特征的選擇預(yù)測(cè)算法。在批處理模式下，該算法優(yōu)于UCI數(shù)據(jù)集的RAND和PEtrun算法，在線學(xué)習(xí)模式效率較高。[10]

數(shù)據(jù)核心集是基于大數(shù)據(jù)的約簡(jiǎn)后的精簡(jiǎn)集，具有與原數(shù)據(jù)集相同的信息表示能力。核心集的屬性因知識(shí)發(fā)現(xiàn)算法的不同而有所區(qū)別。例基于k分量數(shù)據(jù)圖的核心集能夠表示大數(shù)據(jù)中的所有k分量的數(shù)據(jù)集。同樣，包含K聚類半徑R的核心集則代表具有相同半徑的k簇近似大數(shù)據(jù)。使用k-均值、主成分分析(Principal Component Analysis，PCA)和投影聚類等算法，將大規(guī)模并行數(shù)據(jù)流映射成核心數(shù)據(jù)集組件，將大數(shù)據(jù)減小到可管理的規(guī)模，降低了總體數(shù)據(jù)的復(fù)雜性。[11]

多維度數(shù)據(jù)動(dòng)態(tài)降維算法(Multi-dimension Dynamic Dimensionality Reduction algorithm，MDDR)的步驟描述如下：

輸入 數(shù)據(jù)列表List，初始數(shù)據(jù)集Di，公式3中的系統(tǒng)閾值σ

輸出 Ci表示動(dòng)態(tài)更新后的數(shù)據(jù)信息權(quán)重，i表示數(shù)據(jù)列表List的維度

1)計(jì)算原始數(shù)據(jù)List的數(shù)據(jù)維度，記為i；

2)對(duì)于n維特征空間，以每個(gè)數(shù)據(jù)點(diǎn)為中心的高斯函數(shù)的和，利用公式3計(jì)算，記為ηi；

3)依據(jù)公式4，計(jì)算每組數(shù)據(jù)的向量函數(shù)，獲取每組數(shù)據(jù)的中心高斯函數(shù)，記為Gi；

4)結(jié)合基于分布式k-均值的降維算法，計(jì)算降低后的數(shù)據(jù)量估計(jì)值，記為Ki；

5)依次遍歷出每組數(shù)據(jù)的中心高斯函數(shù)值，判斷該數(shù)值Gi是否小于Ki，若小于該數(shù)值，則輸出數(shù)據(jù)列表List的維度集i。

3 實(shí)驗(yàn)與分析

為驗(yàn)證本文MDDR算法的有效性，本節(jié)將設(shè)計(jì)對(duì)比實(shí)驗(yàn)，以分析比較該方法的優(yōu)缺點(diǎn)，實(shí)驗(yàn)結(jié)果進(jìn)行有效性分析。

數(shù)據(jù)約簡(jiǎn)的評(píng)價(jià)指標(biāo)涉及數(shù)據(jù)約簡(jiǎn)的準(zhǔn)確率和召回率。其中準(zhǔn)確率表示約簡(jiǎn)數(shù)據(jù)集與初始測(cè)試數(shù)據(jù)集合的維度比率，表示為公式6。

( 公式6)

上式中，L是初始數(shù)據(jù)集的維度數(shù)值， Nt表示約簡(jiǎn)后的數(shù)據(jù)維度。

召回率定義為數(shù)據(jù)列表中用戶選擇的數(shù)據(jù)維度與初始數(shù)據(jù)集維度的比率。表示為公式7。

( 公式7)

本文選取數(shù)據(jù)分析的常用數(shù)據(jù)集DataCrossing模擬實(shí)驗(yàn)數(shù)據(jù)集信息。并將MDDR算法與RED編碼算法、并行壓縮算法以及Sketching算法做對(duì)比分析。設(shè)置數(shù)據(jù)列表的長(zhǎng)度分別是1TB，10TB，100TB。實(shí)驗(yàn)結(jié)果如圖1、2所示。

通過(guò)分析實(shí)驗(yàn)結(jié)果，在數(shù)據(jù)量為1TB和10TB時(shí)，在準(zhǔn)確率和召回率上較其他方法性能較高，但在數(shù)據(jù)量達(dá)到10TB時(shí)，性能指標(biāo)在準(zhǔn)確率和召回率上，數(shù)值低于RED壓縮算法，但優(yōu)于剩余算法；MDDR算法的整體波動(dòng)性較其他算法較大。本算法在處理小規(guī)模數(shù)據(jù)時(shí)，性能較穩(wěn)定，而處理數(shù)據(jù)量較大時(shí)，算法穩(wěn)定性相對(duì)一般。本算法下一步的改進(jìn)方向是通過(guò)優(yōu)化本模型的動(dòng)態(tài)參數(shù)設(shè)置方法，獲取自適應(yīng)的閾值參數(shù)，達(dá)到參數(shù)的動(dòng)態(tài)平衡，以提升模型處理較大數(shù)據(jù)量的穩(wěn)定性。

[1]Wu X et al. Data mining with big data. IEEE Trans Knowl Data Eng.2014 ,26(1):97-107.

[2]Che D, Safran M, Peng Z . From big data to big data mining: challenges, issues, and opportunities. Database systems for advanced applications .2013,14(2):98-104.

[3]Battams K.Stream processing for solar physics: applications and implications for big solar data. arXiv preprint arXiv. 2014, 10(1):140-150.

[4]Zhai Y, Ong Y-S, Tsang IW.The emerging ‘‘big dimensionality’’.Comput Intell Mag IEEE.2014,9(3):14-26.

[5]Fan J, Han F, Liu H . Challenges of big data analysis. Nat Sci Rev 2014,1(2):293-314.

[6]Ward RM et al .Big data challenges and opportunities in high-throughput sequencing. Syst Biomed .2013,1(1):29-34.

[7]Weinstein M et al. Analyzing big data with dynamic quantum clustering. arXiv preprint arXiv: 2013, 4(5):131-139 .

[8]Hsieh C-J et al .BIG & QUIC: sparse inverse covariance estimation for a million variables. In: Advances in neural information processing systems , 2013,11(5):151-162.

[9]Vervliet N et al . Breaking the curse of dimensionality using decompositions of incomplete tensors: tensor-based scientific computing in big data analysis. IEEE Signal Process Mag .2014,31(5):71-79 .

[10]Feldman D, Schmidt M, Sohler C . Turning big data into tiny data: constant-size coresets for k-means, pca and projective clustering. In: Proceedings of the twenty-fourth annual ACMSIAM symposium on discrete algorithms ,2013,20(15):171-182 .

[11]Dong W et al .Tradeoffs in scalable data routing for deduplication clusters. Information Processing Systems .2015,13(20):150-162 .

Class No.:TP391 Document Mark：A

(責(zé)任編輯：宋瑞斌)

Data Reduction Method Based on Dynamic Dimension Reduction

Chen Heng

(Huaibei Vocational Technical College， HuaiBei, AnHui 235000，China)

According to the different forms of data processing, a data reduction method based on dynamic dimension reduction is proposed. By introducing data redundancy, the degree of data redundancy is reduced. The data reduction techniques is proposed to achieve the aims of data cleaning, and finally the optimization algorithm of multi-dimension dynamic dimensionality reduction algorithm are put forward, which enhances the core capability of knowledge representation. The validity of this method is verified by experiment.

data dimension reduction; data reduction; data optimization

陳衡，碩士，講師?；幢甭殬I(yè)技術(shù)學(xué)院。研究方向：計(jì)算機(jī)應(yīng)用。

安徽省高校質(zhì)量工程項(xiàng)目(2013sxzx033)；安徽省高校質(zhì)量工程項(xiàng)目(2015zjjh051)；淮北職業(yè)技術(shù)學(xué)院自然科學(xué)重點(diǎn)項(xiàng)目(2016A4)。

1672-6758(2017)03-0020-5

TP391

A