基于B-CNN模型的異構(gòu)網(wǎng)絡(luò)大數(shù)據(jù)知識(shí)擴(kuò)充算法研究

張偉華，王海英

(鄭州商學(xué)院 信息與機(jī)電工程學(xué)院， 河南 鞏義 451200)

1 引言

異構(gòu)網(wǎng)絡(luò)大數(shù)據(jù)存在多元性與分布式傳播等特性，因此降低質(zhì)量較差數(shù)據(jù)干擾屬于數(shù)據(jù)知識(shí)工程急需解決的問題，對(duì)數(shù)據(jù)傳播時(shí)的數(shù)據(jù)知識(shí)庫(kù)重建關(guān)注度越來越高。數(shù)據(jù)知識(shí)擴(kuò)充數(shù)據(jù)解決該問題的有效途徑。李直旭等人通過屬性與屬性值的共現(xiàn)關(guān)系實(shí)現(xiàn)數(shù)據(jù)知識(shí)擴(kuò)充，應(yīng)堅(jiān)超等人以集合論內(nèi)互逆/對(duì)稱關(guān)系為核心思想，提出關(guān)系統(tǒng)計(jì)的知識(shí)擴(kuò)展方法，上述2種方法均可有效實(shí)現(xiàn)知識(shí)擴(kuò)充，但擴(kuò)充效果并不理想，原因是這2種方法無法剔除無效數(shù)據(jù)，導(dǎo)致擴(kuò)充效率較低。雙線性卷積神經(jīng)網(wǎng)絡(luò)(bilinear convolution neural networks，B-CNN)通過兩路VGGNet組建而成，可增強(qiáng)特征表達(dá)效果，完成端到端訓(xùn)練的預(yù)測(cè)分類，具備較優(yōu)的分類效果；為此研究基于B-CNN模型的異構(gòu)網(wǎng)絡(luò)大數(shù)據(jù)知識(shí)擴(kuò)充算法，利用B-CNN模型提取有效三元組，剔除無效數(shù)據(jù)，降低質(zhì)量低下數(shù)據(jù)的干擾，提升知識(shí)擴(kuò)充效果。

在B-CNN各個(gè)特征通道內(nèi)引進(jìn)比例因子，結(jié)合正則化激活方式構(gòu)建稀疏層，實(shí)現(xiàn)通道篩選，根據(jù)比例因子的大小衡量特征通道的重要性，裁剪掉重要程度較低的通道，實(shí)現(xiàn)B-CNN模型的改進(jìn)，避免網(wǎng)絡(luò)過分?jǐn)M合，增強(qiáng)提取特征的顯著性；利用改進(jìn)B-CNN構(gòu)建異構(gòu)網(wǎng)絡(luò)大數(shù)據(jù)知識(shí)表示模型，在三元組矩陣內(nèi)，通過維度變換方式增加卷積滑動(dòng)窗口的滑動(dòng)步數(shù)，在不同維度中，提高該矩陣中實(shí)體與關(guān)系的信息共享作用，獲取不同維度中三元組的全部信息=(,,)，其中，異構(gòu)網(wǎng)絡(luò)大數(shù)據(jù)實(shí)體集是，知識(shí)描繪對(duì)象是，內(nèi)全部元素的知識(shí)屬性集是；利用可變粒度策略處理(,,)，實(shí)現(xiàn)異構(gòu)網(wǎng)絡(luò)大數(shù)據(jù)知識(shí)擴(kuò)充。

2.1 基于B-CNN的異構(gòu)網(wǎng)絡(luò)大數(shù)據(jù)知識(shí)表示模型

..BCNN模型

B-CNN的輸入是，利用2個(gè)特征提取網(wǎng)絡(luò)與，依據(jù)卷積核展開卷積操作獲取特征提取函數(shù)與，利用外積方式匯聚與，再通過求和池化獲取雙線性特征，傳輸至內(nèi)積層展開預(yù)測(cè)。與內(nèi)各個(gè)卷積層均會(huì)設(shè)置Relu激活函數(shù)，公式如下：

()=max(0,)

(1)

B-CNN的主要部分通過三元組=(,,)組成，與屬于一種函數(shù)映射∶×→×，輸入的的位置信息是，維度是×；池化函數(shù)是；將與映射為×維的特征×，經(jīng)由外積方式匯聚與的輸出特征，獲取雙線性特征，公式如下：

(,,,)=(,)(,)

(2)

其中，∈，∈。

的作用為將全部位置的特征融合為一個(gè)總特征，公式如下：

(3)

令與提取的特征維度分別是×與×，因此輸出的矩陣為×。

(4)

通過引進(jìn)稀疏懲罰項(xiàng)，調(diào)整的稀疏程度，引進(jìn)位置為訓(xùn)練目標(biāo)函數(shù)，的表達(dá)公式如下：

(5)

其中，訓(xùn)練權(quán)重是；輸入數(shù)據(jù)實(shí)體集與真實(shí)標(biāo)簽是(,)；調(diào)整稀疏程度的參數(shù)是；正則化操作是(·)；交叉熵?fù)p失函數(shù)是，表達(dá)公式如下：

(6)

其中，的精度值是()；的預(yù)測(cè)值是()。

通道稀疏處理后，改進(jìn)B-CNN網(wǎng)絡(luò)內(nèi)存在很多與零接近的，裁剪掉這些完成通道的修剪，在修剪時(shí)設(shè)置一個(gè)閾值，避免出現(xiàn)過擬合現(xiàn)象；改進(jìn)B-CNN整體是有向非循環(huán)圖，僅需求解特征提取網(wǎng)絡(luò)梯度便能實(shí)現(xiàn)網(wǎng)絡(luò)訓(xùn)練。

利用改進(jìn)B-CNN構(gòu)建異構(gòu)網(wǎng)絡(luò)大數(shù)據(jù)知識(shí)表示模型，該模型的作用是利用改進(jìn)B-CNN學(xué)習(xí)、訓(xùn)練并輸出各個(gè)三元組(,,)的科學(xué)性的打分函數(shù)′(,,)，科學(xué)的(,,)知識(shí)得分不得低于不科學(xué)的(,,)知識(shí)得分。令改進(jìn)B-CNN構(gòu)成的有向非循環(huán)知識(shí)圖譜為=(,)，關(guān)系集是；知識(shí)表示模型將與描繪為維向量空間內(nèi)的向量，各個(gè)三元組下向量為(,,)，將(,,)融合為一個(gè)三列矩陣=[,,]∈×3，利用知識(shí)表示模型以維度變換方式變更，獲取=×，其中×=×3，知識(shí)表示模型將輸入改進(jìn)B-CNN的與網(wǎng)絡(luò)內(nèi)卷積層，利用卷積操作，再經(jīng)由外積方式與求和池化操作，提取(,,)的雙線性特征。令的集合是，的數(shù)量是=||，令獲取的特征矩陣維度是×。利用知識(shí)表示模型向量化處理×，獲取向量∈×1。乘上權(quán)重矩陣×，并映射至維向量空間內(nèi)，再和權(quán)重向量∈×1內(nèi)積獲取(,,)的打分。知識(shí)表示模型的′(,,)表達(dá)公式如下：

′(,,)=((*))×·

(7)

其中，卷積操作是“*”；內(nèi)積操作是“·”；向量化操作是；非線性函數(shù)是；通過式(7)獲取有效三元組。

Adam優(yōu)化器最小化損失函數(shù)，實(shí)現(xiàn)知識(shí)表示模型內(nèi)參數(shù)的訓(xùn)練，的計(jì)算公式如下：

(8)

其中，(,,)是常數(shù)，取值為1或-1；有效與無效三元組集合為、′，當(dāng)(,,)∈時(shí)，(,,)=1，當(dāng)(,,)∈′時(shí)，(,,)=-1；利用內(nèi)各個(gè)(,,)的頭實(shí)體或尾實(shí)體任意更改成其余實(shí)體獲取′。

2.2 可變粒度的知識(shí)擴(kuò)充算法

利用可變粒度策略對(duì)21小節(jié)獲取的有效三元組=(,,)展開知識(shí)擴(kuò)充。令?∈，?∈，線性關(guān)系屬性映射為:→，內(nèi)隨機(jī)一個(gè)元素的知識(shí)屬性映射關(guān)系為。令粗糙權(quán)重是；多粒度粗糙知識(shí)工程為；則粗糙的知識(shí)工程是=(,∩(),∪)。

(9)

針對(duì)，基于可變粒度設(shè)計(jì)知識(shí)的參數(shù)與屬性，表達(dá)公式如下：

(10)

可變粒度更換方程如下：

=(×sin+×cos)(,,)

(11)

其中，可變粒度是；的多維向量空間水平交叉弧度是；在空間降維時(shí)形成的垂直交叉弧度是。

和知識(shí)工程的迭代關(guān)系如下：

(12)

(13)

3 實(shí)驗(yàn)分析

為驗(yàn)證本文算法的有效性，通過15臺(tái)計(jì)算機(jī)構(gòu)建一個(gè)實(shí)驗(yàn)集群，每臺(tái)計(jì)算機(jī)的內(nèi)存是16 GB，硬盤存儲(chǔ)空間是2 T。異構(gòu)網(wǎng)絡(luò)數(shù)據(jù)知識(shí)庫(kù)空間配置如下：

利用nginx安裝1個(gè)中心節(jié)點(diǎn)與14個(gè)處理節(jié)點(diǎn)，通過處理節(jié)點(diǎn)完成差異化服務(wù)，該數(shù)據(jù)知識(shí)空間屬于內(nèi)部局域網(wǎng)，通過Oracle Load Test軟件仿真大量并發(fā)請(qǐng)求，將JetBrains WenStorm/VS Code當(dāng)成開發(fā)環(huán)境，操作系統(tǒng)是CentOS 7.3，各節(jié)點(diǎn)的聯(lián)絡(luò)方式是千兆以太網(wǎng)，令數(shù)據(jù)知識(shí)發(fā)送請(qǐng)求的時(shí)間是70 s。建立兩路VGGNet，通過維度變換增加進(jìn)行卷積操作提取特征函數(shù)進(jìn)行計(jì)算，獲取不同維度中三元組矩陣的信息，經(jīng)由求和池化操作，實(shí)現(xiàn)B-CNN模型的應(yīng)用。圖1為B-CNN模型網(wǎng)絡(luò)結(jié)構(gòu)示意圖。

圖1 B-CNN模型網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig.1 B-CNN Model network structure

將平均排名(Mean Rank，MR)與前8名存在預(yù)測(cè)準(zhǔn)確三元組的比例(Hits@8)作為評(píng)價(jià)本文算法中知識(shí)表示模型有效性的指標(biāo)，MR指三元組集合的平均排名；MR低或Hits@8高說明本文算法的知識(shí)表示效果較優(yōu)。調(diào)整稀疏程度參數(shù)過大或過小均會(huì)影響知識(shí)表示模型的效果，當(dāng)過大時(shí)，會(huì)導(dǎo)致大量知識(shí)特征被抑制，造成獲取有效三元組的精度較低；當(dāng)過小時(shí)，會(huì)導(dǎo)致比例因子失去意義，無法篩選特征通道；一般情況下的取值為10≤≤10；利用本文算法獲取異構(gòu)網(wǎng)絡(luò)數(shù)據(jù)庫(kù)內(nèi)的有效三元組，完成數(shù)據(jù)知識(shí)表示，測(cè)試本文算法在不同的取值時(shí)的MR與Hits@8，測(cè)試結(jié)果如圖2與圖3所示。

圖2 MR測(cè)試結(jié)果曲線Fig.2 Mr test results

圖3 Hits@8測(cè)試結(jié)果曲線Fig.3 Hits@8 test result

根據(jù)圖2與圖3可知，隨著訓(xùn)練周期的不斷增加，在不同取值時(shí)本文算法的MR逐漸下降，Hits@8逐漸提升；當(dāng)=10時(shí)，MR的收斂速度最快，在訓(xùn)練周期為20時(shí)趨于平穩(wěn)，最終的MR值也顯著低于其余2種取值；=10時(shí)的收斂速度雖快于=10，在訓(xùn)練周期為30時(shí)趨于平穩(wěn)，但最終MR值卻高于=10時(shí)的MR值；當(dāng)λ=10時(shí)，Hits@8的收斂速度依舊最快，在訓(xùn)練周期為20時(shí)趨于平穩(wěn)；=10與=10時(shí)的收斂速度較慢，分別在訓(xùn)練周期為40、50時(shí)趨于平穩(wěn)，且最終Hits@8值顯著低于=10時(shí)最終Hits@8值；綜合分析可知，當(dāng)=10時(shí)，MR值最低且Hits@8值最高，因此，此時(shí)本文算法的知識(shí)表示效果較優(yōu)。

表1 NMI與ARI測(cè)試結(jié)果曲線Table 1 NMI and Ari test results

根據(jù)表1可知，在不同數(shù)據(jù)集中，本文算法的NMI與ARI隨著細(xì)粒度閾值提升出現(xiàn)先提升后下降的趨勢(shì)，且在擴(kuò)充不同數(shù)據(jù)集時(shí)，本文算法的NMI值與ARI值均較高，與1較為接近，說明本文算法具備較優(yōu)的知識(shí)擴(kuò)充效果；綜合分析細(xì)粒度閾值為0.4時(shí)，本文算法在擴(kuò)充不同數(shù)據(jù)集知識(shí)時(shí)的NMI與ARI值最高。實(shí)驗(yàn)證明：本文算法具備較優(yōu)的知識(shí)擴(kuò)充效果，且細(xì)粒度閾值為0.4時(shí)，知識(shí)擴(kuò)充效果最佳。

測(cè)試本文算法在擴(kuò)充上述3個(gè)數(shù)據(jù)集知識(shí)時(shí)，隨著處理節(jié)點(diǎn)增加，該算法完成知識(shí)擴(kuò)充所需的迭代次數(shù)，驗(yàn)證本文算法的收斂效果，測(cè)試結(jié)果如圖4所示。

圖4 收斂效果Fig.4 Convergence effect

根據(jù)圖4可知，在擴(kuò)充不同數(shù)據(jù)集的知識(shí)時(shí)，隨著處理節(jié)點(diǎn)數(shù)量的提升，本文算法的迭代次數(shù)逐漸上升，在節(jié)點(diǎn)數(shù)達(dá)到6個(gè)以上的時(shí)候，迭代基本維持在5次以下，并且不再有上升趨勢(shì)，原因是本文算法通過粒度可變調(diào)度處理粗粒度數(shù)據(jù)，并展開降維處理，確定不確定性的線性描繪，去掉不確定性的數(shù)據(jù)，降低知識(shí)獲取迭代次數(shù)，提升知識(shí)獲取效率，迅速完成數(shù)據(jù)知識(shí)擴(kuò)充。

4 結(jié)論

1) 利用B-CNN構(gòu)建知識(shí)表示模型，獲取異構(gòu)網(wǎng)絡(luò)大數(shù)據(jù)的有效三元組，通過可變粒度策略對(duì)有效三元組展開知識(shí)擴(kuò)充。

2) 所提出算法可增強(qiáng)知識(shí)擴(kuò)充效果，提升知識(shí)獲取效率。