基于Python語(yǔ)言的高敏數(shù)據(jù)動(dòng)態(tài)抓取方法研究

彭文良，吳紅虹

(1.池州職業(yè)技術(shù)學(xué)院 電子信息與傳媒系，安徽 池州 247000；2.池州職業(yè)技術(shù)學(xué)院 經(jīng)濟(jì)與管理系，安徽 池州 247000)

隨著互聯(lián)網(wǎng)信息的頻繁交互，互聯(lián)網(wǎng)高敏數(shù)據(jù)增多，需要結(jié)合優(yōu)化的數(shù)據(jù)和信息處理方法實(shí)現(xiàn)對(duì)互聯(lián)網(wǎng)高敏數(shù)據(jù)的檢測(cè)和識(shí)別，結(jié)合動(dòng)態(tài)數(shù)據(jù)抓取方法進(jìn)行互聯(lián)網(wǎng)高敏數(shù)據(jù)動(dòng)態(tài)特征分析，實(shí)現(xiàn)互聯(lián)網(wǎng)高敏數(shù)據(jù)動(dòng)態(tài)抓取。通過(guò)融合相似度特征分析和特征重組，提高互聯(lián)網(wǎng)高敏數(shù)據(jù)的抓取能力，從而實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)信息的實(shí)時(shí)監(jiān)管。研究互聯(lián)網(wǎng)高敏數(shù)據(jù)的動(dòng)態(tài)抓取方法，在互聯(lián)網(wǎng)高敏數(shù)據(jù)的挖掘和動(dòng)態(tài)分析中具有重要意義，相關(guān)的互聯(lián)網(wǎng)高敏數(shù)據(jù)動(dòng)態(tài)抓取方法研究受到人們的極大關(guān)注[1]。

對(duì)互聯(lián)網(wǎng)敏感數(shù)據(jù)動(dòng)態(tài)抓取的設(shè)計(jì)是在敏感信息的特征分析和空間融合參數(shù)識(shí)別的基礎(chǔ)上，構(gòu)建互聯(lián)網(wǎng)敏感數(shù)據(jù)的參數(shù)特征辨識(shí)和重構(gòu)模型[2]，結(jié)合關(guān)聯(lián)空間融合性重組的方法，實(shí)現(xiàn)對(duì)互聯(lián)網(wǎng)敏感數(shù)據(jù)的提取和大數(shù)據(jù)分析，提高互聯(lián)網(wǎng)敏感數(shù)據(jù)的動(dòng)態(tài)信息檢測(cè)和識(shí)別能力。互聯(lián)網(wǎng)敏感數(shù)據(jù)的抓取方法主要有基于模糊PID識(shí)別的互聯(lián)網(wǎng)敏感數(shù)據(jù)動(dòng)態(tài)抓取方法、基于相似度特征分析的互聯(lián)網(wǎng)敏感數(shù)據(jù)動(dòng)態(tài)抓取方法以及基于粒子群尋優(yōu)的互聯(lián)網(wǎng)敏感數(shù)據(jù)動(dòng)態(tài)抓取方法等[3-5]，通過(guò)模糊信息特征匹配，進(jìn)行互聯(lián)網(wǎng)敏感數(shù)據(jù)動(dòng)態(tài)抓取，利用上述方法進(jìn)行互聯(lián)網(wǎng)敏感數(shù)據(jù)動(dòng)態(tài)抓取的特征辨識(shí)度不高，信息融合水平不好。對(duì)此，本研究提出基于Python語(yǔ)言的高敏數(shù)據(jù)動(dòng)態(tài)抓取方法。首先構(gòu)建互聯(lián)網(wǎng)高敏數(shù)據(jù)的存儲(chǔ)結(jié)構(gòu)模型，采用模糊語(yǔ)義本體信息匹配濾波的方法，建立互聯(lián)網(wǎng)高敏數(shù)據(jù)交互的模糊語(yǔ)義本體信息檢測(cè)模型，結(jié)合特征分析方法，實(shí)現(xiàn)對(duì)互聯(lián)網(wǎng)高敏數(shù)據(jù)線性輸出的穩(wěn)定性控制和自相關(guān)約束檢測(cè)，建立互聯(lián)網(wǎng)高敏數(shù)據(jù)的控制參數(shù)集，通過(guò)統(tǒng)計(jì)特征分析實(shí)現(xiàn)對(duì)互聯(lián)網(wǎng)高敏數(shù)據(jù)的關(guān)聯(lián)性調(diào)度，分析互聯(lián)網(wǎng)高敏數(shù)據(jù)的語(yǔ)義相似度，采用語(yǔ)義信息交換的方法實(shí)現(xiàn)互聯(lián)網(wǎng)高敏數(shù)據(jù)的動(dòng)態(tài)特征檢測(cè)，根據(jù)信息融合和大數(shù)據(jù)聚類結(jié)果，實(shí)現(xiàn)對(duì)互聯(lián)網(wǎng)高敏數(shù)據(jù)的動(dòng)態(tài)抓取。最后采用Python語(yǔ)言實(shí)現(xiàn)對(duì)互聯(lián)網(wǎng)高敏數(shù)據(jù)的動(dòng)態(tài)抓取，設(shè)計(jì)仿真實(shí)驗(yàn)，展示本設(shè)計(jì)方法在對(duì)互聯(lián)網(wǎng)高敏數(shù)據(jù)動(dòng)態(tài)抓取能力方面的優(yōu)越性能。

1 互聯(lián)網(wǎng)高敏數(shù)據(jù)信息分布和特征表達(dá)

1.1 互聯(lián)網(wǎng)高敏數(shù)據(jù)信息分布

為了實(shí)現(xiàn)基于Python語(yǔ)言的高敏數(shù)據(jù)動(dòng)態(tài)抓取，構(gòu)建互聯(lián)網(wǎng)高敏數(shù)據(jù)的存儲(chǔ)結(jié)構(gòu)模型，采用模糊語(yǔ)義本體信息匹配濾波的方法進(jìn)行數(shù)據(jù)分析，并構(gòu)建互聯(lián)網(wǎng)高敏數(shù)據(jù)分布模型[6]，得到的互聯(lián)網(wǎng)高敏數(shù)據(jù)分布情況如圖1所示。

圖1 互聯(lián)網(wǎng)高敏數(shù)據(jù)分布模型

根據(jù)圖1所示的敏感數(shù)據(jù)分布模型，采用過(guò)濾式和包裹式方法，得到互聯(lián)網(wǎng)敏感數(shù)據(jù)多樣本方差的參數(shù)匹配模型為：

(1)

式(1)中，(xi,xj)表示互聯(lián)網(wǎng)敏感數(shù)據(jù)中篩選的多樣本匹配參數(shù)，b為互聯(lián)網(wǎng)敏感數(shù)據(jù)的相似度分布系數(shù)，K表示互聯(lián)網(wǎng)敏感數(shù)據(jù)的耦合系數(shù)。采用主成分線性相關(guān)決策的方法[7]，得到互聯(lián)網(wǎng)敏感數(shù)據(jù)的主成分信息索引的數(shù)據(jù)匹配集為：

(2)

采用冗余信息濾波檢測(cè)，得到互聯(lián)網(wǎng)敏感數(shù)據(jù)的欠采樣解析控制參數(shù)，結(jié)合鄰階信息的回歸分析，建立互聯(lián)網(wǎng)敏感數(shù)據(jù)的回歸樣本擬合模型，表示為：

(3)

式(3)中，αj表示互聯(lián)網(wǎng)敏感數(shù)據(jù)冗余度，采用最大概率密度分析方法，進(jìn)行互聯(lián)網(wǎng)敏感數(shù)據(jù)的最近鄰點(diǎn)匹配，得到互聯(lián)網(wǎng)敏感數(shù)據(jù)檢測(cè)和濾波分析的統(tǒng)計(jì)向量為：

(4)

式(4)中，αi表示互聯(lián)網(wǎng)敏感數(shù)據(jù)的自適應(yīng)輸出系數(shù)。SR，SS和SE分別表示互聯(lián)網(wǎng)敏感數(shù)據(jù)的參數(shù)調(diào)度集，通過(guò)三階自相關(guān)信息匹配的方法，進(jìn)行互聯(lián)網(wǎng)敏感數(shù)據(jù)的分布式檢測(cè)，提高互聯(lián)網(wǎng)敏感數(shù)據(jù)的檢測(cè)識(shí)別能力。

1.2 互聯(lián)網(wǎng)敏感數(shù)據(jù)特征表達(dá)

采用K近鄰的欠采樣的方法，進(jìn)行互聯(lián)網(wǎng)敏感數(shù)據(jù)的深度學(xué)習(xí)和特征分解，構(gòu)建互聯(lián)網(wǎng)敏感數(shù)據(jù)的數(shù)據(jù)特征分析模型[8-11]，得到互聯(lián)網(wǎng)敏感數(shù)據(jù)的多維參數(shù)檢測(cè)模型為：

(5)

式(5)中，x(t)表示互聯(lián)網(wǎng)敏感數(shù)據(jù)的離散樣本，基于深度學(xué)習(xí)的數(shù)據(jù)特征分析方法，得到互聯(lián)網(wǎng)敏感數(shù)據(jù)的差分信息特征匹配結(jié)果為：

(6)

式(6)中ωj=(ω0j,ω1j,…,ωk-1,j)T表示互聯(lián)網(wǎng)離散區(qū)域敏感數(shù)據(jù)的相似度，根據(jù)自適應(yīng)的信息加載方法，得到互聯(lián)網(wǎng)高敏數(shù)據(jù)檢測(cè)的閾值控制因子分布模型為yi，采用互聯(lián)網(wǎng)高敏數(shù)據(jù)的關(guān)聯(lián)檢測(cè)方法，得到互聯(lián)網(wǎng)敏感數(shù)據(jù)動(dòng)態(tài)抓取的特征規(guī)則模型為：

(7)

通過(guò)三層全連接層參數(shù)識(shí)別的方法，進(jìn)行互聯(lián)網(wǎng)敏感數(shù)據(jù)的欠采樣和特征提取，得到的互聯(lián)網(wǎng)高敏數(shù)據(jù)的特征檢測(cè)識(shí)別模型如圖2所示。

圖2 互聯(lián)網(wǎng)高敏數(shù)據(jù)的特征檢測(cè)識(shí)別模型

在圖2所示的互聯(lián)網(wǎng)高敏數(shù)據(jù)的特征檢測(cè)識(shí)別模型中，抓取統(tǒng)計(jì)特征量，實(shí)現(xiàn)對(duì)互聯(lián)網(wǎng)高敏數(shù)據(jù)的線性輸出穩(wěn)定性控制和自相關(guān)約束檢測(cè)[12-14]，得到關(guān)聯(lián)分布系數(shù)SP和互聯(lián)網(wǎng)高敏數(shù)據(jù)的信息特征分布矩陣Q′，更新互聯(lián)網(wǎng)高敏數(shù)據(jù)的聚類中心點(diǎn)，則互聯(lián)網(wǎng)高敏數(shù)據(jù)的特征表達(dá)式為：

(8)

建立基于最小二乘規(guī)劃模型，進(jìn)行互聯(lián)網(wǎng)高敏數(shù)據(jù)的信息檢測(cè)和動(dòng)態(tài)抓取，可以提高互聯(lián)網(wǎng)高敏數(shù)據(jù)的檢測(cè)識(shí)別能力[15]。

2 互聯(lián)網(wǎng)高敏數(shù)據(jù)動(dòng)態(tài)抓取融合控制與優(yōu)化輸出

2.1 互聯(lián)網(wǎng)高敏數(shù)據(jù)動(dòng)態(tài)抓取融合控制

建立互聯(lián)網(wǎng)高敏數(shù)據(jù)的控制參數(shù)集，通過(guò)統(tǒng)計(jì)分析實(shí)現(xiàn)對(duì)互聯(lián)網(wǎng)高敏數(shù)據(jù)的關(guān)聯(lián)性調(diào)度，分析互聯(lián)網(wǎng)高敏數(shù)據(jù)的語(yǔ)義相似度性，得到互聯(lián)網(wǎng)高敏數(shù)據(jù)的線性包絡(luò)融合向量和線性空間融合矩陣Q，存在逆矩陣Q-1，使得互聯(lián)網(wǎng)敏感數(shù)據(jù)動(dòng)態(tài)抓取的概率模型滿足正定條件：

(9)

公式(9)中，QS表示高敏數(shù)據(jù)的捕獲異常概率，由上述條件可知互聯(lián)網(wǎng)高敏數(shù)據(jù)檢測(cè)和動(dòng)態(tài)抓取的語(yǔ)義本體參數(shù)分布模型滿足：

det(Q′)=(yT)e-2π+det(Q)

(10)

式(10)中，det(Q)表示互聯(lián)網(wǎng)高敏數(shù)據(jù)的融合調(diào)度參數(shù)，采用包絡(luò)分析建立互聯(lián)網(wǎng)高敏數(shù)據(jù)的分類和線性識(shí)別模型，得到互聯(lián)網(wǎng)高敏數(shù)據(jù)的線性多維空間融合輸出：

(11)

式(11)中，Rtt表示互聯(lián)網(wǎng)高敏數(shù)據(jù)的融合空間維度，對(duì)于?iSS，在互聯(lián)網(wǎng)敏感數(shù)據(jù)的融合分布區(qū)域中采用子空間聚類方法，得到互聯(lián)網(wǎng)高敏數(shù)據(jù)的模糊信息聚類融合分布子空間的語(yǔ)義相似度參數(shù)uM和采用動(dòng)態(tài)線性標(biāo)記的方法，得到互聯(lián)網(wǎng)高敏數(shù)據(jù)的融合屬性集為Com(U,c)：

(12)

式(12)中，uij為第j個(gè)互聯(lián)網(wǎng)高敏數(shù)據(jù)屬性分布集中的相似解，分析互聯(lián)網(wǎng)高敏數(shù)據(jù)的動(dòng)態(tài)輸出參數(shù)規(guī)律，得到互聯(lián)網(wǎng)高敏數(shù)據(jù)動(dòng)態(tài)抓取的融合控制中心為：

(13)

式(13)中，uaj和ubj表示互聯(lián)網(wǎng)高敏數(shù)據(jù)的分布維數(shù)，根據(jù)上述分析，進(jìn)行互聯(lián)網(wǎng)高敏數(shù)據(jù)的動(dòng)態(tài)融合控制。

2.2 互聯(lián)網(wǎng)高敏數(shù)據(jù)動(dòng)態(tài)抓取優(yōu)化輸出

采用語(yǔ)義信息交換的方法實(shí)現(xiàn)互聯(lián)網(wǎng)高敏數(shù)據(jù)的動(dòng)態(tài)特征檢測(cè)，根據(jù)信息融合和大數(shù)據(jù)聚類結(jié)果，得到互聯(lián)網(wǎng)高敏數(shù)據(jù)的輸出結(jié)果[16]，采用關(guān)聯(lián)維檢索的方法，建立互聯(lián)網(wǎng)高敏數(shù)據(jù)動(dòng)態(tài)抓取的檢測(cè)統(tǒng)計(jì)輸出量為：

(14)

式(14)中，EcJ表示互聯(lián)網(wǎng)高敏數(shù)據(jù)的輸出向量集，ScJ表示互聯(lián)網(wǎng)高敏數(shù)據(jù)的自適應(yīng)空間組合函數(shù)。建立互聯(lián)網(wǎng)高敏數(shù)據(jù)的線性映射組合輸出分布矩，表示為：

(15)

式(15)中，g11，g12表示互聯(lián)網(wǎng)高敏數(shù)據(jù)的線性映射分布參數(shù)，根據(jù)互聯(lián)網(wǎng)高敏數(shù)據(jù)的動(dòng)態(tài)輸出分布式檢測(cè)結(jié)果，進(jìn)行互聯(lián)網(wǎng)高敏數(shù)據(jù)的相干處理，通過(guò)模糊度檢測(cè)和動(dòng)態(tài)識(shí)別技術(shù)，實(shí)現(xiàn)對(duì)互聯(lián)網(wǎng)高敏數(shù)據(jù)的動(dòng)態(tài)抓取識(shí)別，得到互聯(lián)網(wǎng)高敏數(shù)據(jù)的動(dòng)態(tài)抓取的聯(lián)合迭代函數(shù)為：

(16)

式(16)中，cauchy(θ，α)為標(biāo)準(zhǔn)柯西分布，θ=0，α=1，分析上述過(guò)程，得到互聯(lián)網(wǎng)高敏數(shù)據(jù)抓取輸出的聚類參數(shù)為：

(17)

式(17)中，pj(t)為互聯(lián)網(wǎng)高敏數(shù)據(jù)的動(dòng)態(tài)抓取的過(guò)程控制函數(shù),η1，η2均為[0,1] 之間的隨機(jī)數(shù)，結(jié)合參數(shù)尋優(yōu)控制方法，得到互聯(lián)網(wǎng)高敏數(shù)據(jù)的動(dòng)態(tài)抓取的優(yōu)化控制輸出為：

(18)

式(18)中，φ(x)表示互聯(lián)網(wǎng)高敏數(shù)據(jù)的輸出效率，Xmax，Xmin分別為互聯(lián)網(wǎng)高敏數(shù)據(jù)動(dòng)態(tài)抓取交互的下界和上界分布閾值。根據(jù)公式(18)可知，可以通過(guò)調(diào)控?cái)?shù)據(jù)輸出效率實(shí)現(xiàn)高敏數(shù)據(jù)動(dòng)態(tài)抓取交互優(yōu)化控制。

3 仿真實(shí)驗(yàn)與結(jié)果分析

為了驗(yàn)證本文方法在實(shí)現(xiàn)互聯(lián)網(wǎng)高敏數(shù)據(jù)動(dòng)態(tài)抓取的有效性，采用Python進(jìn)行仿真測(cè)試。文獻(xiàn)[1]方法、文獻(xiàn)[15]方法以及本文方法的參數(shù)設(shè)置如下：互聯(lián)網(wǎng)高敏數(shù)據(jù)的特征采樣樣本長(zhǎng)度為1300，互聯(lián)網(wǎng)高敏數(shù)據(jù)融合的聚類樣本序列為520，互聯(lián)網(wǎng)高敏數(shù)據(jù)的動(dòng)態(tài)抓取參數(shù)匹配系數(shù)為0.38，模態(tài)數(shù)量為12，K=4，N=1000，γ=0.05，根據(jù)參數(shù)設(shè)定，得到的互聯(lián)網(wǎng)高敏數(shù)據(jù)檢測(cè)統(tǒng)計(jì)特征量和包絡(luò)幅值分布如圖3所示。

圖3 互聯(lián)網(wǎng)高敏數(shù)據(jù)檢測(cè)統(tǒng)計(jì)特征量和包絡(luò)幅值分布

根據(jù)圖3的互聯(lián)網(wǎng)高敏數(shù)據(jù)檢測(cè)統(tǒng)計(jì)特征量和包絡(luò)幅值檢測(cè)結(jié)果，實(shí)現(xiàn)對(duì)互聯(lián)網(wǎng)高敏數(shù)據(jù)的動(dòng)態(tài)抓取，將本文方法與文獻(xiàn)[1]和文獻(xiàn)[15]的方法進(jìn)行對(duì)比，得到的互聯(lián)網(wǎng)高敏數(shù)據(jù)動(dòng)態(tài)抓取結(jié)果如圖4所示。

圖4 互聯(lián)網(wǎng)高敏數(shù)據(jù)動(dòng)態(tài)抓取結(jié)果

分析圖4得知，當(dāng)數(shù)據(jù)抓取時(shí)間為2 s時(shí)，文獻(xiàn)[1]方法的高敏感數(shù)據(jù)動(dòng)態(tài)抓取輸出幅值為0.173 dBm,文獻(xiàn)[15]方法的高敏感數(shù)據(jù)動(dòng)態(tài)抓取輸出幅值為0.176 dBm，本文方法的高敏感數(shù)據(jù)動(dòng)態(tài)抓取輸出幅值為0.184 dBm。當(dāng)數(shù)據(jù)抓取時(shí)間為8 s時(shí)，文獻(xiàn)[1]方法的高敏感數(shù)據(jù)動(dòng)態(tài)抓取輸出幅值為0.188 dBm，文獻(xiàn)[15]方法的高敏感數(shù)據(jù)動(dòng)態(tài)抓取輸出幅值為0.195 dBm，本文方法的高敏感數(shù)據(jù)動(dòng)態(tài)抓取輸出幅值為0.199 dBm。本文方法的高敏感數(shù)據(jù)動(dòng)態(tài)抓取輸出幅值明顯高于其他兩種方法。說(shuō)明本文方法能有效實(shí)現(xiàn)對(duì)互聯(lián)網(wǎng)高敏數(shù)據(jù)的動(dòng)態(tài)抓取，數(shù)據(jù)輸出的特征聚類性較好。測(cè)試不同方法進(jìn)行互聯(lián)網(wǎng)高敏數(shù)據(jù)抓取的誤差，得到對(duì)比結(jié)果如表1所示。

分析表1得知，當(dāng)實(shí)驗(yàn)迭代次數(shù)為100次時(shí)，文獻(xiàn)[1]方法的互聯(lián)網(wǎng)高敏數(shù)據(jù)抓取誤差為0.236，文獻(xiàn)[15]方法的互聯(lián)網(wǎng)高敏數(shù)據(jù)抓取誤差為0.146，本文方法的互聯(lián)網(wǎng)高敏數(shù)據(jù)抓取誤差為0.113。當(dāng)實(shí)驗(yàn)迭代次數(shù)為200次時(shí)，文獻(xiàn)[1]方法的互聯(lián)網(wǎng)高敏數(shù)據(jù)抓取誤差為0.134，文獻(xiàn)[15]方法的互聯(lián)網(wǎng)高敏數(shù)據(jù)抓取誤差為0.132，本文方法的互聯(lián)網(wǎng)高敏數(shù)據(jù)抓取誤差為0.043。本文方法的互聯(lián)網(wǎng)高敏數(shù)據(jù)動(dòng)態(tài)抓取的誤差低于其他方法，說(shuō)明其高敏數(shù)據(jù)動(dòng)態(tài)抓取的準(zhǔn)確度較高。

表1 互聯(lián)網(wǎng)高敏數(shù)據(jù)抓取誤差對(duì)比

4 結(jié)論

通過(guò)融合相似度特征分析和特征重組，提高互聯(lián)網(wǎng)高敏數(shù)據(jù)的抓取能力，從而實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)信息的實(shí)時(shí)監(jiān)管，本設(shè)計(jì)提出基于Python語(yǔ)言的高敏數(shù)據(jù)動(dòng)態(tài)抓取方法。采用語(yǔ)義信息交換的方法實(shí)現(xiàn)互聯(lián)網(wǎng)高敏數(shù)據(jù)的動(dòng)態(tài)特征檢測(cè)，根據(jù)信息融合和大數(shù)據(jù)聚類結(jié)果，得到互聯(lián)網(wǎng)高敏數(shù)據(jù)的特征提取結(jié)果，通過(guò)模糊度檢測(cè)和動(dòng)態(tài)識(shí)別技術(shù)，實(shí)現(xiàn)對(duì)互聯(lián)網(wǎng)高敏數(shù)據(jù)的動(dòng)態(tài)抓取識(shí)別。研究得知，數(shù)據(jù)抓取時(shí)間為8 s時(shí)，本設(shè)計(jì)方法的高敏感數(shù)據(jù)動(dòng)態(tài)抓取輸出幅值為0.199 dBm。實(shí)驗(yàn)迭代次數(shù)為200次時(shí)，本設(shè)計(jì)方法的互聯(lián)網(wǎng)高敏數(shù)據(jù)抓取誤差為0.043。本設(shè)計(jì)方法的高敏感數(shù)據(jù)動(dòng)態(tài)抓取輸出幅值明顯高于其他兩種方法，說(shuō)明本設(shè)計(jì)方法能有效實(shí)現(xiàn)對(duì)互聯(lián)網(wǎng)高敏數(shù)據(jù)的動(dòng)態(tài)抓取，數(shù)據(jù)輸出的特征聚類性較好。本設(shè)計(jì)方法的互聯(lián)網(wǎng)高敏數(shù)據(jù)動(dòng)態(tài)抓取的誤差低于其他方法，說(shuō)明其高敏數(shù)據(jù)動(dòng)態(tài)抓取的準(zhǔn)確度較高。