電子信息系統(tǒng)中多維度數(shù)據(jù)協(xié)同過濾方法

阮大治，徐東，黃海艇

（工業(yè)互聯(lián)網(wǎng)創(chuàng)新中心（上海）有限公司，上海 200232）

數(shù)據(jù)過濾是指將信息參量傳遞給固定用戶，并后續(xù)處理的完整執(zhí)行流程。相較于一般的數(shù)據(jù)庫系統(tǒng)，配置信息過濾行為的操作系統(tǒng)同時(shí)具備結(jié)構(gòu)化與半結(jié)構(gòu)化的處理能力，可在準(zhǔn)確接收文本信息的同時(shí)，直接執(zhí)行數(shù)據(jù)存儲(chǔ)的職能，從而大大節(jié)省信息參量傳輸耗時(shí)。從宏觀角度分析，數(shù)據(jù)過濾是將混合信息中濾除無效信息，作為數(shù)據(jù)文件糾正的末尾處理環(huán)節(jié)，可在檢查信息一致性的同時(shí)，實(shí)現(xiàn)整理缺失值與無效值參量[1-2]。一般來說，過濾后的信息參量可直接進(jìn)入數(shù)據(jù)倉庫，以供信息系統(tǒng)主機(jī)的直接調(diào)取與利用。

在電子信息系統(tǒng)中，隨數(shù)據(jù)傳輸時(shí)間的延長，一部分信息參量出現(xiàn)亂序排布的情況，從而使區(qū)域環(huán)境中數(shù)據(jù)維度條件呈現(xiàn)極度混亂的表現(xiàn)形式。傳統(tǒng)云共享型數(shù)據(jù)過濾方法可借助基本矩陣分解模型，確定不同維度信息參量，在電子信息系統(tǒng)中所屬的階層等級(jí)，再通過XML 框架，實(shí)現(xiàn)集中處理與分離無效值參量。然而，該方法在單位時(shí)間內(nèi)處理的電子信息數(shù)據(jù)量有限，并不能完全滿足系統(tǒng)主機(jī)信息參量的定向提取需求。為解決此問題，提出一種新的電子信息系統(tǒng)中多維度數(shù)據(jù)協(xié)同過濾方法，通過構(gòu)建Hadoop 分布框架的方式，定義關(guān)鍵的多維度數(shù)據(jù)集合，按照過濾偏好設(shè)置過濾標(biāo)準(zhǔn)，篩查處理隱向量，并以此為基礎(chǔ)，計(jì)算并得到準(zhǔn)確的協(xié)同梯度值結(jié)果，實(shí)現(xiàn)多維度數(shù)據(jù)協(xié)同過濾。

1 多維度數(shù)據(jù)分析

為實(shí)現(xiàn)電子信息系統(tǒng)中多維度數(shù)據(jù)分析，需要在Hadoop 分布框架的支持下，建立多維度數(shù)據(jù)集合，并且通過提取特征信息參量的方式，得到最終處理結(jié)果。

1.1 Hadoop分布框架

在電子信息系統(tǒng)中，Hadoop 平臺(tái)擁有極強(qiáng)的分布式處理能力，可同時(shí)開啟多個(gè)數(shù)據(jù)信息副本，并借助MapReduece 節(jié)點(diǎn)占據(jù)系統(tǒng)環(huán)境中空余的數(shù)據(jù)參量節(jié)點(diǎn)，從而完全獨(dú)立處理多維度數(shù)據(jù)信息，元數(shù)據(jù)直接存儲(chǔ)于系統(tǒng)數(shù)據(jù)庫。在邊緣Service 節(jié)點(diǎn)的作用下，Public、Private、Hybrid 三類次級(jí)節(jié)點(diǎn)可分別連接Hadoop 平臺(tái)主機(jī)元件，并可按照電子信息參量的實(shí)際傳輸需求，存儲(chǔ)多維度數(shù)據(jù)于不同的應(yīng)用結(jié)構(gòu)體系[3-4]。完整的Hadoop 平臺(tái)由Saas、Paas、Lass 三類結(jié)構(gòu)共同組成。其中，Saas 結(jié)構(gòu)負(fù)責(zé)電信號(hào)的處理與傳輸需求，Paas 結(jié)構(gòu)可分布判別多維度電子信息，Lass 結(jié)構(gòu)則可借助電子信息開發(fā)軟件，實(shí)現(xiàn)調(diào)取與利用數(shù)據(jù)參量多維度傳輸條件。

圖1 Hadoop分布框架結(jié)構(gòu)圖

1.2 多維度數(shù)據(jù)集合

多維度數(shù)據(jù)集合是一個(gè)獨(dú)立存在的電子信息參量表達(dá)定義體系，可在已知Hadoop 分布框架布局形式的基礎(chǔ)上，確定與待過濾信息匹配的協(xié)同處理作用強(qiáng)度，從而使電子信息參量具備更強(qiáng)的聚合性價(jià)值，便于系統(tǒng)主機(jī)后續(xù)的過濾與處理信息參量。一個(gè)多維度數(shù)據(jù)集合至少具備一個(gè)完整的協(xié)同處置強(qiáng)度指標(biāo)值，且隨著數(shù)據(jù)傳輸量的增加，電子信息系統(tǒng)所具備的過濾處理能力也在逐漸增強(qiáng)，直至所有信息參量都能被匹配至少一個(gè)協(xié)同處理系數(shù)值[5-6]。設(shè)u0代表電子信息系統(tǒng)中多維度數(shù)據(jù)參量的基本過濾系數(shù)，Rmin代表最小的電子信息特征值，Rmax代表最大的電子信息特征值，Ri代表第i個(gè)電子信息特征值，聯(lián)立上述物理量，可將多維度數(shù)據(jù)集合表示為：

其中，β代表電信號(hào)傳輸特征值，代表多維度電子數(shù)據(jù)的單位傳輸均值量。

1.3 特征信息參量提取

為實(shí)現(xiàn)協(xié)同過濾多維度數(shù)據(jù)參量，需要在電子信息系統(tǒng)環(huán)境中，利用已知的系數(shù)值條件，提取特征信息參量集，并從中選取具有實(shí)用性價(jià)值的參量文件，以供數(shù)據(jù)庫主機(jī)的直接調(diào)取與應(yīng)用。特征信息參量是指一類具有極強(qiáng)傳輸能力的電信號(hào)數(shù)據(jù)指標(biāo)，可在多維度數(shù)據(jù)集合中確定電子信息參量的實(shí)際傳輸位置，并通過整合關(guān)聯(lián)數(shù)據(jù)文件的方式，實(shí)現(xiàn)篩查與整合多維度電子信息數(shù)據(jù)[7-8]。設(shè)P1、P2代表兩個(gè)不同的電子信息數(shù)據(jù)文件編碼條件，λ代表多維度電子信息數(shù)據(jù)的提取權(quán)重值，聯(lián)立公式（1），可將特征信息參量提取結(jié)果表示為：

式中，μ代表電子信息的維度系數(shù)值，w0代表電子信息參量的起始傳輸位置，wn代表電子信息參量的終止傳輸位置，n代表單位時(shí)間內(nèi)的電子信息傳輸與調(diào)取次數(shù)。

2 多維度數(shù)據(jù)協(xié)同過濾方法

2.1 過濾偏好數(shù)據(jù)

過濾偏好是指電子信息系統(tǒng)在執(zhí)行多維度數(shù)據(jù)協(xié)同過濾時(shí)，遵循的信息參量處置標(biāo)準(zhǔn)。一般來說，隨電子信息累積量的增大，系統(tǒng)處理遵循的過濾偏好標(biāo)準(zhǔn)也會(huì)變化，但這種物理變化作用表現(xiàn)形式細(xì)微，并不能直接描述多維度數(shù)據(jù)集合的存在形式，但由于二者之間存在限制影響作用，可認(rèn)為數(shù)據(jù)集合中與信息參量匹配的維度數(shù)值量越大，電子信息系統(tǒng)所具備的過濾處理能力就越強(qiáng)[9-10]。在不考慮其他干擾條件的情況下，電子信息系統(tǒng)中過濾偏好設(shè)置結(jié)果只受數(shù)據(jù)集維度參量值、信息過濾處理強(qiáng)度兩項(xiàng)物理指標(biāo)的直接影響。數(shù)據(jù)集維度參量值可表示為q′，一般情況下，該項(xiàng)物理量的數(shù)值水平越高，電子信息系統(tǒng)所具備的數(shù)據(jù)過濾處理能力也就越強(qiáng)。信息過濾處理強(qiáng)度可表示為χ，在電子信息系統(tǒng)中，該項(xiàng)物理指標(biāo)能夠反映多維度數(shù)據(jù)參量所具備的協(xié)同傳輸能力，但由于信息數(shù)據(jù)傳輸量具有不確定性，該項(xiàng)物理指標(biāo)的實(shí)際數(shù)值水平不易過大。在上述物理量的支持下，聯(lián)立公式（2），可將電子信息系統(tǒng)的過濾偏好設(shè)置標(biāo)準(zhǔn)定義為：

其中，ε代表電子信息系統(tǒng)中數(shù)據(jù)參量供應(yīng)系數(shù)項(xiàng)，s代表電子信息數(shù)據(jù)的協(xié)同傳輸量均值。

2.2 隱向量篩查

隱向量是指電子信息系統(tǒng)中，因維度屬性過于復(fù)雜而被忽略的數(shù)據(jù)參量，由于過濾偏好設(shè)置情況的不同，待篩查的隱向量數(shù)值水平存在差異性。在電子信息系統(tǒng)環(huán)境中，大多數(shù)隱向量篩查行為都可滿足定值檢索條件，特別是在已知過濾偏好設(shè)置結(jié)果的情況下，可認(rèn)為待篩查的隱向量數(shù)值水平越高，多維度數(shù)據(jù)集合中的已存儲(chǔ)數(shù)據(jù)信息量也就越大[11-12]。在多維度指標(biāo)保持為定值參量時(shí)，協(xié)同過濾指令的作用范圍越廣泛，隱向量篩查行為的處理程度越深。因此，為獲得理想的多維度數(shù)據(jù)協(xié)同過濾結(jié)果，需要限定隱向量篩查行為的作用價(jià)值，并且通過計(jì)算電子信息傳輸量數(shù)值的方法，確定隱向量指標(biāo)的實(shí)際數(shù)值水平[13-14]。設(shè)γ代表電子信息數(shù)據(jù)的隱藏系數(shù)，f代表多維度數(shù)據(jù)的協(xié)同過濾量，l˙代表電子信息數(shù)據(jù)的過濾特征值，聯(lián)立公式（3），可將電子信息系統(tǒng)的隱向量篩查結(jié)果表示為：

式中，θ1、θ2代表兩個(gè)不同的電子信息數(shù)據(jù)維度編碼條件，ΔT代表單位過濾時(shí)長，代表既定的數(shù)據(jù)信息協(xié)同傳輸量。

2.3 協(xié)同梯度值計(jì)算

協(xié)同梯度是指多維度數(shù)據(jù)在電子信息系統(tǒng)中能到達(dá)的最大傳輸深度值，對(duì)于數(shù)據(jù)信息過濾行為而言，協(xié)同梯度值越大，電子信息系統(tǒng)具備的數(shù)據(jù)參量承載能力越強(qiáng)。在不考慮其他干擾條件情況下，協(xié)同梯度值計(jì)算結(jié)果受到電子信息系統(tǒng)承載能力、數(shù)據(jù)流傳輸覆蓋面積兩項(xiàng)物理指標(biāo)的直接影響[15-16]。數(shù)據(jù)流傳輸覆蓋面積由下限參量v0、上限參量vn兩部分共同組成，上述兩項(xiàng)參數(shù)指標(biāo)間設(shè)置的物理距離越長，多維度數(shù)據(jù)在電子信息系統(tǒng)中能到達(dá)的傳輸距離越遠(yuǎn)。設(shè)ξ代表與電子信息系統(tǒng)匹配的數(shù)據(jù)承載系數(shù)值，聯(lián)立公式（4），可將協(xié)同梯度值計(jì)算結(jié)果表示為：

其中，φ代表既定的隱向量數(shù)據(jù)排查系數(shù)，代表多維度數(shù)據(jù)參量的協(xié)同傳輸系數(shù)值，代表電子信息參量的平均過濾數(shù)值。

至此，完成各項(xiàng)物理系數(shù)值的計(jì)算與處理，在不考慮其他外界干擾條件的情況下，實(shí)現(xiàn)多維度數(shù)據(jù)協(xié)同過濾方法的應(yīng)用。

3 實(shí)驗(yàn)分析

為驗(yàn)證電子信息系統(tǒng)中多維度數(shù)據(jù)協(xié)同過濾方法的實(shí)際應(yīng)用能力，設(shè)計(jì)對(duì)比實(shí)驗(yàn)。在電信號(hào)輸出主機(jī)中同時(shí)輸入多維度數(shù)據(jù)協(xié)同過濾方法、云共享型過濾方法兩種執(zhí)行流程，其中前者作為實(shí)驗(yàn)組、后者作為對(duì)照組?？刂铺l器裝置，使信號(hào)量顯示器中物理示數(shù)值快速趨于穩(wěn)定，當(dāng)其示數(shù)量不再發(fā)生變化時(shí)，將所獲數(shù)據(jù)平均分成兩份，其中一部分作為實(shí)驗(yàn)組電子信息數(shù)據(jù)參量，另一部分作為對(duì)照組電子信息數(shù)據(jù)參量。

圖2 電子信息系統(tǒng)中的數(shù)據(jù)信息收發(fā)

QBI 指標(biāo)在單位時(shí)間內(nèi)數(shù)值變化量水平能夠描述電子信息數(shù)據(jù)的實(shí)際傳輸能力，一般情況下，QBI指標(biāo)數(shù)值越大，電子信息數(shù)據(jù)的傳輸能力也就越強(qiáng)，反之則越弱。實(shí)驗(yàn)時(shí)間共計(jì)60 min，每15 min 為一個(gè)實(shí)驗(yàn)組別，每組實(shí)驗(yàn)數(shù)據(jù)分別在三個(gè)時(shí)間點(diǎn)采集數(shù)據(jù)，時(shí)間間隔為5 min，即每組數(shù)據(jù)獲得三個(gè)數(shù)據(jù)值。通過表1 記錄了實(shí)驗(yàn)組、對(duì)照組QBI 指標(biāo)數(shù)值的具體變化情況。

表1 QBI指標(biāo)對(duì)比

分析表1 可知，實(shí)驗(yàn)組QBI 指標(biāo)在前兩個(gè)單位時(shí)長內(nèi)，一直保持小幅上升的數(shù)值變化趨勢(shì)，而從第三個(gè)單位時(shí)長開始，這種數(shù)值上升狀態(tài)開始不斷擴(kuò)大，且一直延續(xù)至實(shí)驗(yàn)結(jié)束；對(duì)照組QBI 指標(biāo)在前兩個(gè)單位時(shí)長內(nèi)，也一直保持小幅上升的數(shù)值變化趨勢(shì)，而從第三個(gè)單位時(shí)長開始，這種數(shù)值上升趨勢(shì)得到有效抑制，開始呈現(xiàn)連續(xù)穩(wěn)定的數(shù)值變化狀態(tài)，從第四個(gè)單位時(shí)長開始，則開始連續(xù)下降的變化形式。在整個(gè)實(shí)驗(yàn)過程中，實(shí)驗(yàn)組最大值73.84%與對(duì)照組最大值34.31%相比，上升了39.53%。

BBS 系數(shù)反映電子信息系統(tǒng)對(duì)于數(shù)據(jù)參量的按需提取能力，BBS 系數(shù)值越大，電子信息系統(tǒng)所具備的數(shù)據(jù)參量按需提取能力越強(qiáng)，由于不同時(shí)間段的BBS 系數(shù)變化趨勢(shì)不同，為了便于詳細(xì)分析，將實(shí)驗(yàn)數(shù)據(jù)分為兩個(gè)時(shí)間段，呈現(xiàn)更多更詳細(xì)的數(shù)據(jù)。實(shí)驗(yàn)數(shù)值對(duì)比情況如圖3 所示：

圖3 BBS系數(shù)對(duì)比圖

分析圖3 可知，實(shí)驗(yàn)組BBS 系數(shù)在前25 min 的實(shí)驗(yàn)時(shí)間內(nèi)，保持先上升、再下降、然后重復(fù)的變化趨勢(shì)；在30～55 min 的實(shí)驗(yàn)時(shí)間內(nèi)，BBS 系數(shù)則保持先上升、再下降的趨勢(shì)。整個(gè)實(shí)驗(yàn)過程中最大數(shù)值達(dá)到了83.15%。對(duì)照組BBS 系數(shù)在整個(gè)實(shí)驗(yàn)過程中始終與實(shí)驗(yàn)組保持相同的變化趨勢(shì)，但其均值水平卻遠(yuǎn)低于實(shí)驗(yàn)組，其最大數(shù)值只能達(dá)到70.04%，與實(shí)驗(yàn)組最大值相比，下降了13.11%。

4 結(jié)束語

與云共享型過濾方法相比，多維度數(shù)據(jù)協(xié)同過濾方法解決了數(shù)據(jù)維度混亂問題，這是因?yàn)樵摲椒☉?yīng)用了Hadoop 分布框架，定向提取特征信息參量，并且通過設(shè)置過濾偏好的方式，得到最終的協(xié)同梯度值計(jì)算結(jié)果，最終有效過濾相關(guān)電子信息參量。從實(shí)用性角度分析，QBI 指標(biāo)數(shù)值與BBS 指標(biāo)數(shù)值的增大，可在維持?jǐn)?shù)據(jù)參量按需提取能力的同時(shí)，增強(qiáng)系統(tǒng)主機(jī)在單位時(shí)間內(nèi)的數(shù)據(jù)上傳能力，具備較強(qiáng)的實(shí)際應(yīng)用可行性。