“數(shù)據(jù)分析與計(jì)算專欄”主持人語(yǔ)

尊敬的讀者朋友，您好！在作者和編輯老師的共同努力下，本專欄又和您見(jiàn)面了！文獻(xiàn)大數(shù)據(jù)分析和重疊社區(qū)發(fā)現(xiàn)是大數(shù)據(jù)與社會(huì)計(jì)算領(lǐng)域的研究熱點(diǎn)，也是本期關(guān)注的兩個(gè)主題。文獻(xiàn)大數(shù)據(jù)分析的研究目的之一，就是幫助廣大研究人員快速進(jìn)入目標(biāo)領(lǐng)域，敏捷追蹤其中的方向、方法和工具等，從而有效降低研究成本，縮短成果周期;重疊社區(qū)發(fā)現(xiàn)是復(fù)雜網(wǎng)絡(luò)挖掘領(lǐng)域的基礎(chǔ)性工作，成果應(yīng)用于社交網(wǎng)絡(luò)、通訊網(wǎng)絡(luò)、蛋白質(zhì)相互作用網(wǎng)絡(luò)、代謝路徑網(wǎng)絡(luò)、交通網(wǎng)絡(luò)等各種網(wǎng)絡(luò)的數(shù)據(jù)分析中，可服務(wù)于人力資源管理、新藥研制、交通規(guī)劃、傳染病防治、輿情控制等領(lǐng)域。

本期“數(shù)據(jù)分析與計(jì)算專欄”共推出2篇文章。

[JP2]第1篇是翟君偉等撰寫的“基于LDA主題模型的文獻(xiàn)特征項(xiàng)多重共現(xiàn)可視化方法”。共現(xiàn)網(wǎng)絡(luò)分析是文獻(xiàn)計(jì)量研究中分析文獻(xiàn)特征項(xiàng)數(shù)據(jù)關(guān)系的一種可視化方法，為解決多重共現(xiàn)網(wǎng)絡(luò)中節(jié)點(diǎn)過(guò)多、連線密度過(guò)大、不利于發(fā)現(xiàn)數(shù)據(jù)的價(jià)值以及可視化效果較低等問(wèn)題，引入LDA主題模型，采用空間劃分的方法，將特征項(xiàng)全域可視化的問(wèn)題轉(zhuǎn)化為子空間可視化問(wèn)題。首先，使用SATI文獻(xiàn)題錄信息分析軟件抽取文獻(xiàn)關(guān)鍵詞，進(jìn)行TF-IDF計(jì)算，以計(jì)算結(jié)果作為實(shí)驗(yàn)數(shù)據(jù);其次，使用Python構(gòu)建主題模型，對(duì)目標(biāo)文獻(xiàn)集合進(jìn)行主題聚類分析;最后，使用Ucinet軟件對(duì)不同主題子空間文獻(xiàn)進(jìn)行多重共現(xiàn)分析，并將子空間分析結(jié)果疊加和重構(gòu)，完成多重共現(xiàn)可視化系統(tǒng)的結(jié)構(gòu)化表達(dá)。結(jié)果表明：與原多重共現(xiàn)可視化方法相比，基于LDA主題模型的多重共現(xiàn)可視化改進(jìn)方法降低了共現(xiàn)網(wǎng)絡(luò)中的節(jié)點(diǎn)數(shù)量和節(jié)點(diǎn)間連線密度，使得多重共現(xiàn)可視化系統(tǒng)的結(jié)構(gòu)更為清晰，增加了數(shù)據(jù)的可讀性，突出了數(shù)據(jù)價(jià)值，有效提升了多重共現(xiàn)可視化效果。

第2篇是張妍等撰寫的“基于社區(qū)森林模型的分布式重疊社區(qū)發(fā)現(xiàn)算法”。針對(duì)傳統(tǒng)單機(jī)重疊社區(qū)發(fā)現(xiàn)算法已經(jīng)不適于大規(guī)模復(fù)雜網(wǎng)絡(luò)挖掘，以及不能支持網(wǎng)絡(luò)表示學(xué)習(xí)任務(wù)相關(guān)要求的問(wèn)題，提出了一種基于社區(qū)森林模型的分布式重疊社區(qū)發(fā)現(xiàn)算法（distributed community forest model，簡(jiǎn)稱DCFM算法）。首先，將網(wǎng)絡(luò)數(shù)據(jù)集存儲(chǔ)到分布式文件系統(tǒng)，將數(shù)據(jù)分塊，使用分布式計(jì)算框架在每個(gè)數(shù)據(jù)分塊上執(zhí)行CFM算法;然后，執(zhí)行社區(qū)合并;最后，匯總社區(qū)劃分結(jié)果，使用真實(shí)的DBLP數(shù)據(jù)集將算法運(yùn)行于Spark集群上，采用F均值和運(yùn)行時(shí)間對(duì)算法進(jìn)行評(píng)估。結(jié)果表明：DCFM算法的F均值稍遜于CFM算法，但其運(yùn)算時(shí)間隨著節(jié)點(diǎn)的增加接近線性下降，在犧牲小部分F均值的同時(shí)，DCFM算法具備處理大規(guī)模網(wǎng)絡(luò)數(shù)據(jù)的能力;分割份數(shù)對(duì)計(jì)算時(shí)間的影響也很大，在com-dblp.ungraph.txt數(shù)據(jù)集上，CFM算法處理數(shù)據(jù)需要192 min，而DCFM算法在將數(shù)據(jù)分成6份時(shí)，需要約91 min，分成100份后僅需要約13 min。因此，在大數(shù)據(jù)平臺(tái)上采用分布式計(jì)算骨干度，進(jìn)行社區(qū)劃分、合并的DCFM算法是一種可行的大規(guī)模復(fù)雜網(wǎng)絡(luò)挖掘方法，通過(guò)對(duì)網(wǎng)絡(luò)進(jìn)行分割，可以大幅加快社區(qū)劃分速度，提高社區(qū)發(fā)現(xiàn)效率。

限于學(xué)術(shù)水平，以上文章定有可進(jìn)一步完善之處，歡迎各位朋友不吝指正！

主持人簡(jiǎn)介：

劉濱，男，1975年出生，教授，碩士生導(dǎo)師，河北科技大學(xué)大數(shù)據(jù)與社會(huì)計(jì)算研究中心主任，主要研究領(lǐng)域包括網(wǎng)絡(luò)新媒體、大數(shù)據(jù)、社會(huì)計(jì)算等。已發(fā)表學(xué)術(shù)論文100余篇，主持國(guó)家級(jí)科研課題2項(xiàng)、省級(jí)科研課題9項(xiàng)。