面向科技情報(bào)的互聯(lián)網(wǎng)信息源自動(dòng)發(fā)現(xiàn)技術(shù)

高 輝，陳 鈞，牛海波，羅 威

中國(guó)國(guó)防科技信息中心 北京 100142

面向科技情報(bào)的互聯(lián)網(wǎng)信息源自動(dòng)發(fā)現(xiàn)技術(shù)

高 輝，陳 鈞，牛海波，羅 威

中國(guó)國(guó)防科技信息中心 北京 100142

自動(dòng)獲取高質(zhì)量互聯(lián)網(wǎng)信息源是科技情報(bào)工作的一項(xiàng)基礎(chǔ)性研究?jī)?nèi)容。以網(wǎng)站/網(wǎng)頁(yè)類(lèi)信息源和Twitter信息源為研究對(duì)象，基于共引關(guān)系以及關(guān)注關(guān)系和文本內(nèi)容，分別提出了兩類(lèi)信息源的自動(dòng)發(fā)現(xiàn)方法，并面向科技情報(bào)領(lǐng)域進(jìn)行了實(shí)驗(yàn)。對(duì)信息源自動(dòng)發(fā)現(xiàn)技術(shù)應(yīng)用形式進(jìn)行了研究，分析了科技情報(bào)工作對(duì)信息源服務(wù)的具體要求，提出了3類(lèi)應(yīng)用場(chǎng)景。

科技情報(bào)；互聯(lián)網(wǎng)信息源；Twitter；共引；社會(huì)網(wǎng)絡(luò)分析

1 引言

科技情報(bào)人員通常通過(guò)兩種方式獲取互聯(lián)網(wǎng)信息：一是通過(guò)搜索引擎對(duì)某一主題相關(guān)的信息進(jìn)行全面搜索；二是對(duì)所關(guān)注的領(lǐng)域積累大量有價(jià)值的網(wǎng)絡(luò)信息源，通過(guò)對(duì)這些信息源持續(xù)跟蹤而獲得領(lǐng)域動(dòng)態(tài)。第二種方式是一個(gè)長(zhǎng)期而持續(xù)的工作，是進(jìn)行技術(shù)預(yù)警、技術(shù)熱點(diǎn)發(fā)現(xiàn)與跟蹤、技術(shù)發(fā)展趨勢(shì)預(yù)測(cè)等重要工作的基礎(chǔ)。因此，全面掌握所關(guān)注領(lǐng)域相關(guān)的互聯(lián)網(wǎng)信息源，對(duì)科技情報(bào)人員來(lái)說(shuō)至關(guān)重要。

互聯(lián)網(wǎng)信息源是指互聯(lián)網(wǎng)上能夠提供信息的各類(lèi)媒體，各種機(jī)構(gòu)、院校、企業(yè)幾乎都擁有自己的網(wǎng)站甚至社交媒體賬號(hào)，大量科技工作者通過(guò)各種社交媒體向外界發(fā)布著科技類(lèi)消息，因此這些網(wǎng)站和社交媒體賬號(hào)都是科技工作人員潛在的信息源。隨著互聯(lián)網(wǎng)的發(fā)展，互聯(lián)網(wǎng)信息源的數(shù)量也不斷增長(zhǎng)，截至2014年7月全球網(wǎng)站數(shù)目超過(guò)9.7億個(gè)1http://www. internetlivestats. com/totalnumber-ofwebsites/，2015年5月Twitter用戶(hù)數(shù)量超過(guò)5億戶(hù)，活躍用戶(hù)超過(guò)3億戶(hù)2https:// en.wikipedia.org/ wiki/Twitter。傳統(tǒng)人工積累搜集互聯(lián)網(wǎng)信息源的方式已經(jīng)不能滿(mǎn)足大數(shù)據(jù)時(shí)代對(duì)科技情報(bào)工作的要求，因此必須對(duì)互聯(lián)網(wǎng)信息源的自動(dòng)發(fā)現(xiàn)技術(shù)開(kāi)展研究。

互聯(lián)網(wǎng)信息源是互聯(lián)網(wǎng)數(shù)據(jù)的生產(chǎn)者，信息源種類(lèi)和數(shù)量的增加以及活躍度的提高，導(dǎo)致了數(shù)據(jù)的爆炸式增長(zhǎng)。全世界數(shù)據(jù)總量以每?jī)赡攴环乃俣冗f增，而近十年來(lái)增長(zhǎng)最快的當(dāng)屬互聯(lián)網(wǎng)數(shù)據(jù)。未來(lái)的任務(wù)主要不是獲取越來(lái)越多的數(shù)據(jù)，而是數(shù)據(jù)的去冗分類(lèi)、去粗取精，提高知識(shí)發(fā)現(xiàn)的產(chǎn)出率[1]。要在不明顯增加采集成本的條件下盡可能地提高數(shù)據(jù)的質(zhì)量。這就要求在采集互聯(lián)網(wǎng)信息時(shí)盡量選擇與研究領(lǐng)域緊密相關(guān)的信息源，減少不必要的數(shù)據(jù)采集。如何獲取相關(guān)性強(qiáng)、權(quán)威性高、時(shí)效性強(qiáng)的信息源，并能夠及時(shí)有效地把信息源提供給科技情報(bào)研究人員，是一個(gè)重要的研究課題。

目前公開(kāi)的互聯(lián)網(wǎng)信息源服務(wù)主要有Yahoo Directory、Open Directory Project和Go Guide等，其實(shí)質(zhì)屬于目錄式搜索引擎：一種按目錄分類(lèi)的網(wǎng)站鏈接列表，用戶(hù)可以按照分類(lèi)目錄或關(guān)鍵字找到所需要的站點(diǎn)或欄目（即網(wǎng)頁(yè)類(lèi)信息源）。目錄搜索引擎以人工方式或半自動(dòng)方式搜集信息并整理分類(lèi)。例如Open Directory Project的編輯工作目前共有近9萬(wàn)人參與，搜集了400萬(wàn)個(gè)站點(diǎn)信息，擁有100多萬(wàn)個(gè)分類(lèi)3http:// www.dmoz.org。該類(lèi)信息源服務(wù)的缺點(diǎn)是需要人工介入、維護(hù)量大、信息量少、信息更新不及時(shí)。

本文研究科技領(lǐng)域相關(guān)的互聯(lián)網(wǎng)信息源自動(dòng)發(fā)現(xiàn)技術(shù)，以網(wǎng)站/網(wǎng)頁(yè)類(lèi)（以下簡(jiǎn)稱(chēng)Web類(lèi)）和Twitter類(lèi)信息源作為主要研究對(duì)象，提出并實(shí)現(xiàn)了互聯(lián)網(wǎng)信息源自動(dòng)發(fā)現(xiàn)技術(shù)，并對(duì)信息源的應(yīng)用要求和服務(wù)形式進(jìn)行了研究。

2 相關(guān)工作

2.1 問(wèn)題描述

科技情報(bào)人員關(guān)注的互聯(lián)網(wǎng)信息源可分為傳統(tǒng)的Web信息源和社交媒體信息源兩大類(lèi)。其中，Web信息源主要包括領(lǐng)域相關(guān)的新聞聚合頁(yè)或者重要機(jī)構(gòu)的新聞發(fā)布頁(yè)等。而社交媒體主要包括Twitter、Facebook、BBS、博客或者微信等，本文選取Twitter作為研究對(duì)象。

在信息源發(fā)現(xiàn)的需求建模中，科技情報(bào)人員往往無(wú)法使用有限的關(guān)鍵詞對(duì)其關(guān)注的信息源進(jìn)行描述。但是對(duì)于具有一定工作經(jīng)歷的科技情報(bào)人員來(lái)說(shuō)，他們已經(jīng)掌握了有限數(shù)量的領(lǐng)域內(nèi)信息源，因此本文信息源自動(dòng)發(fā)現(xiàn)技術(shù)的思路是：以已知信息源為種子，通過(guò)算法發(fā)現(xiàn)更多未知的信息源。如圖1所示，首先給定一定數(shù)量的已有信息源作為種子，根據(jù)網(wǎng)頁(yè)/Twitter所具有的網(wǎng)絡(luò)關(guān)聯(lián)特性或內(nèi)容相關(guān)性，自動(dòng)發(fā)現(xiàn)與種子領(lǐng)域相關(guān)且重要的新信息源，這個(gè)過(guò)程可以轉(zhuǎn)化為挖掘與種子網(wǎng)頁(yè)和Twitter賬戶(hù)相關(guān)度高的其他網(wǎng)頁(yè)和賬戶(hù)的過(guò)程。

2.2 相似網(wǎng)頁(yè)自動(dòng)發(fā)現(xiàn)相關(guān)工作

相似網(wǎng)頁(yè)/網(wǎng)站發(fā)現(xiàn)的相關(guān)工作可以簡(jiǎn)單分為基于內(nèi)容的方法和基于鏈接關(guān)系的方法?；趦?nèi)容的方法完全根據(jù)網(wǎng)頁(yè)的內(nèi)容來(lái)計(jì)算網(wǎng)頁(yè)間的關(guān)聯(lián)度。參考文獻(xiàn)[2]從網(wǎng)頁(yè)的各種標(biāo)簽內(nèi)容中提取特征，提出了一種模糊內(nèi)容分析方法來(lái)探索網(wǎng)頁(yè)間的相關(guān)度。參考文獻(xiàn)[3]首先用元搜索方法得到潛在相關(guān)的網(wǎng)頁(yè)集合，然后抽取網(wǎng)頁(yè)關(guān)鍵詞進(jìn)行相關(guān)性分析。SimilarSiteSearch4http://www. similarsitesearch. com/about.html基于網(wǎng)頁(yè)內(nèi)容，使用機(jī)器學(xué)習(xí)方法對(duì)主題相近的網(wǎng)頁(yè)進(jìn)行識(shí)別，并在互聯(lián)網(wǎng)上提供有限的服務(wù)和相關(guān)API?；阪溄雨P(guān)系的算法將全部網(wǎng)頁(yè)視為一個(gè)有向圖，并利用圖的連通性和加權(quán)信息來(lái)計(jì)算網(wǎng)頁(yè)間的關(guān)聯(lián)度。PageRank[4]算法和HITS[5]算法可以在一定程度上對(duì)相關(guān)網(wǎng)頁(yè)進(jìn)行排序，但是PageRank算法過(guò)分關(guān)注權(quán)威性而忽視相關(guān)性，HITS算法中可能出現(xiàn)主題漂移現(xiàn)象。參考文獻(xiàn)[6]使用Companion和Co-Citation的兩種算法來(lái)度量網(wǎng)頁(yè)間的相關(guān)度。Companion算法將利用給定網(wǎng)頁(yè)的出鏈接與入鏈接及其鄰近網(wǎng)頁(yè)構(gòu)建一個(gè)有權(quán)圖，并用一種HITS變種算法來(lái)挖掘給定網(wǎng)頁(yè)的相關(guān)網(wǎng)頁(yè)。Co-Citation即共引算法，通過(guò)檢查網(wǎng)頁(yè)的共引關(guān)系強(qiáng)度來(lái)挖掘給定網(wǎng)頁(yè)的相關(guān)網(wǎng)頁(yè)。參考文獻(xiàn)[7]將網(wǎng)頁(yè)分塊算法引入共引過(guò)程中，并綜合了鏈接錨文字的相似性和網(wǎng)頁(yè)模板塊過(guò)濾等方法，提高了關(guān)聯(lián)網(wǎng)頁(yè)的挖掘精度。

圖1 信息源自動(dòng)發(fā)現(xiàn)流程

2.3 相似微博用戶(hù)自動(dòng)發(fā)現(xiàn)相關(guān)工作

社交媒體用戶(hù)之間通過(guò)關(guān)注、交互等行為形成了巨大的網(wǎng)絡(luò)，微博相似用戶(hù)發(fā)現(xiàn)方法首先將分析對(duì)象定位為網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)，相關(guān)的研究集中在：團(tuán)體挖掘（發(fā)現(xiàn)用戶(hù)的社交圈）[8]、人物影響力計(jì)算[9,10]、信息傳播[11]等問(wèn)題。參考文獻(xiàn)[12]和參考文獻(xiàn)[13]提出了兩種基于標(biāo)簽信息進(jìn)行用戶(hù)推薦的方法。參考文獻(xiàn)[14]提出在社交網(wǎng)絡(luò)的歷史數(shù)據(jù)可以獲取的情況下，使用基于內(nèi)容的方法進(jìn)行用戶(hù)推薦是有效的。參考文獻(xiàn)[15,16]對(duì)LDA模型進(jìn)行改進(jìn)后，將其應(yīng)用于微博主題挖掘，得到了較好的效果，能夠進(jìn)一步用于相似主題用戶(hù)的發(fā)現(xiàn)。

3 互聯(lián)網(wǎng)信息源自動(dòng)發(fā)現(xiàn)技術(shù)

本文中Web類(lèi)信息源的自動(dòng)發(fā)現(xiàn)將完全依賴(lài)于鏈接關(guān)系而不考慮文本內(nèi)容，這是因?yàn)閃eb類(lèi)信息源的所有者一般都是機(jī)構(gòu)組織等，網(wǎng)頁(yè)內(nèi)鏈接需經(jīng)過(guò)審查才得以上線(xiàn)，因此比較能夠代表相關(guān)性和權(quán)威性。同時(shí)網(wǎng)頁(yè)內(nèi)正文內(nèi)容難以獲得（各網(wǎng)站頁(yè)面結(jié)構(gòu)差異較大），噪聲較多，基于文本內(nèi)容進(jìn)行相關(guān)性與權(quán)威性度量并不理想。Twitter信息源則采用基于關(guān)聯(lián)關(guān)系和內(nèi)容相結(jié)合的自動(dòng)發(fā)現(xiàn)方式，主要因?yàn)門(mén)witter用戶(hù)多為個(gè)人，用戶(hù)之間的關(guān)注關(guān)系比較隨意和多樣化，無(wú)法真正反映出領(lǐng)域相關(guān)性。同時(shí)由于字?jǐn)?shù)限制，推文（Tweet）內(nèi)容比較精辟，在遣詞造句上多選擇具有實(shí)際意義的詞。推文內(nèi)容能夠批量獲得，且結(jié)構(gòu)性比較好，因此本文同時(shí)基于關(guān)聯(lián)關(guān)系和內(nèi)容對(duì)Twitter信息源進(jìn)行自動(dòng)發(fā)現(xiàn)。

3.1 網(wǎng)頁(yè)類(lèi)信息源自動(dòng)發(fā)現(xiàn)技術(shù)及實(shí)現(xiàn)

3.1.1 網(wǎng)頁(yè)類(lèi)信息源自動(dòng)發(fā)現(xiàn)技術(shù)

針對(duì)網(wǎng)頁(yè)類(lèi)信息源，主要基于共引思想來(lái)自動(dòng)發(fā)現(xiàn)與信息源相關(guān)的新信息源。給定一個(gè)網(wǎng)頁(yè)u，含有指向u的鏈接的網(wǎng)頁(yè)v稱(chēng)為u的父親網(wǎng)頁(yè)，也稱(chēng)v引用了u；u內(nèi)部的鏈接指向的網(wǎng)頁(yè)w稱(chēng)為u的兒子網(wǎng)頁(yè)，也稱(chēng)w被u引用。如果網(wǎng)頁(yè)p1和p2具有相同的父親網(wǎng)頁(yè)，則p1和p2稱(chēng)為共引關(guān)系。

共引分析最早出現(xiàn)在學(xué)術(shù)文獻(xiàn)的分析中，共引是指兩篇文獻(xiàn)同時(shí)被其他文獻(xiàn)引用。同被引用的文獻(xiàn)在主題上具有或多或少的相似性，因此同被引用的次數(shù)可以預(yù)測(cè)文獻(xiàn)在內(nèi)容方面的相關(guān)性。在互聯(lián)網(wǎng)中同樣存在上述特性，一般認(rèn)為具有共引關(guān)系的網(wǎng)頁(yè)在所屬領(lǐng)域上具有或多或少的相似性，因此共引次數(shù)可以預(yù)測(cè)網(wǎng)頁(yè)在內(nèi)容方面的相關(guān)性[17]。給定種子信息源，本文通過(guò)挖掘互聯(lián)網(wǎng)中與其具有共引關(guān)系的網(wǎng)站來(lái)構(gòu)建候選信息源。

共引算法一般過(guò)程是[6]：設(shè)u為種子信息源，首先找到引用它的父親網(wǎng)頁(yè)集合BP，再抽取BP中每一個(gè)父親網(wǎng)頁(yè)所引用的其他網(wǎng)頁(yè)，組成兄弟網(wǎng)頁(yè)集合BS。計(jì)算BS中網(wǎng)頁(yè)與u出現(xiàn)共引的次數(shù)，共引次數(shù)越多說(shuō)明與u的相關(guān)性越高。以圖2（a）為例，可以直接看出BS中的共引次數(shù)，其中s2,2與u的共引為3次。如果把閾值設(shè)為2次，則可以認(rèn)為s1,2、s2,2、s4,2與u相關(guān)，它們是由種子u得到的新信息源。

圖2 共引算法示意

在傳統(tǒng)共引算法基礎(chǔ)上，前期研究[18]中提出了基于多種子聯(lián)合共引的信息源發(fā)現(xiàn)算法，與傳統(tǒng)算法不同，該算法選擇N個(gè)已有信息源（種子集合U）作為輸入，同時(shí)考慮了父親網(wǎng)站的質(zhì)量對(duì)最終結(jié)果的影響。為了對(duì)父親網(wǎng)頁(yè)的質(zhì)量進(jìn)行度量，引入了引用度的概念。如圖2（b）所示，BP中父親網(wǎng)頁(yè)pi,j（i∈[1,N]，j∈[1,B]，其中N為種子信息源總個(gè)數(shù)，B為每個(gè)種子信息源父親網(wǎng)頁(yè)的總個(gè)數(shù)）引用U中所有種子網(wǎng)頁(yè)的總次數(shù)，稱(chēng)為pi,j的引用度，表示為C(pi,j)，對(duì)種子集合引用次數(shù)越多，其引用度就越高，代表與種子之間的相關(guān)性（質(zhì)量）越高。假設(shè)在圖2（b）中p1,B和pN,1為同一個(gè)網(wǎng)頁(yè)，即p1,B=pN,1，以圖2（b）的引用關(guān)系為例，BP中節(jié)點(diǎn)的引用度見(jiàn)表1。相應(yīng)地，BS中兄弟網(wǎng)頁(yè)si,j,k（k∈[1,BF]，其中BF是每個(gè)父親網(wǎng)頁(yè)除種子信息源外其他兒子網(wǎng)頁(yè)的總個(gè)數(shù)）的共引度則定義為si,j,k所有父親的引用度之和。以圖2（b）的引用關(guān)系為例，BS中節(jié)點(diǎn)的共引度見(jiàn)表2。

與傳統(tǒng)共引思想相同，本文得到的共引度同樣代表了BS中網(wǎng)頁(yè)與種子網(wǎng)頁(yè)之間的相關(guān)性。同時(shí)，與HITS算法[5]類(lèi)似，BP對(duì)種子節(jié)點(diǎn)的引用度代表了Hub值，而B(niǎo)S中兄弟節(jié)點(diǎn)被BP引用的次數(shù)則代表了Authority值，因此本文共引度在一定程度上也代表了網(wǎng)頁(yè)的重要度。

3.1.2 網(wǎng)頁(yè)類(lèi)信息源自動(dòng)發(fā)現(xiàn)技術(shù)實(shí)現(xiàn)

在對(duì)Web信息源自動(dòng)發(fā)現(xiàn)技術(shù)的實(shí)現(xiàn)中，首先對(duì)已掌握的信息源按照相關(guān)度進(jìn)行人工分組（每組平均10個(gè)），每個(gè)組作為輸入的種子信息源集合。令父親網(wǎng)頁(yè)數(shù)B=200，兄弟網(wǎng)頁(yè)數(shù)BF=40。父親網(wǎng)頁(yè)的自動(dòng)抓取使用Google公司或者AOL公司的Link搜索功能，當(dāng)查找http://news. sciencemag.org/的父親頁(yè)面時(shí)，只要輸入“l(fā)ink：http://news.sciencemag.org/”，便會(huì)返回眾多父親頁(yè)面，本文通過(guò)編程實(shí)現(xiàn)了父親網(wǎng)頁(yè)的自動(dòng)獲取。目前以現(xiàn)有的200個(gè)信息源作為種子，利用本文技術(shù)獲得6 200個(gè)質(zhì)量較高的新信息源。參考文獻(xiàn)[18]對(duì)采用多種子聯(lián)合共引算法與普通共引算法的實(shí)驗(yàn)結(jié)果進(jìn)行了對(duì)比，指出準(zhǔn)確度能夠提高50%以上。

表1 BP節(jié)點(diǎn)的引用度

表2 BS節(jié)點(diǎn)的共引度

3.2 微博類(lèi)信息源自動(dòng)發(fā)現(xiàn)技術(shù)及實(shí)現(xiàn)

3.2.1 微博類(lèi)信息源自動(dòng)發(fā)現(xiàn)技術(shù)

Twitter用戶(hù)之間通過(guò)關(guān)注、被關(guān)注、消息轉(zhuǎn)發(fā)等行為構(gòu)成復(fù)雜的社會(huì)網(wǎng)絡(luò)，本文基于社會(huì)網(wǎng)絡(luò)分析法研究Twitter信息源自動(dòng)發(fā)現(xiàn)技術(shù)。在Twitter使用實(shí)踐中，用戶(hù)積極選擇并參與構(gòu)建個(gè)性化關(guān)系，與一些具有相似特征和愛(ài)好的用戶(hù)自發(fā)地聚集到一起形成社區(qū)[19]，因此可以把與種子信息源處于相同社區(qū)的其他用戶(hù)作為領(lǐng)域相關(guān)的候選新信息源，可以基于推文內(nèi)容對(duì)相關(guān)性進(jìn)一步度量。社會(huì)網(wǎng)絡(luò)中中心度的概念往往代表著節(jié)點(diǎn)的重要性，因此可以通過(guò)研究社區(qū)內(nèi)節(jié)點(diǎn)的中心度來(lái)衡量新信息源的權(quán)威性。Twitter信息源自動(dòng)發(fā)現(xiàn)主要分為候選集構(gòu)建、用戶(hù)重要度評(píng)估和領(lǐng)域相關(guān)性度量3個(gè)步驟，具體流程如圖3所示。

候選集構(gòu)建。首先選擇種子用戶(hù)作為起點(diǎn)，抽取其所有粉絲（關(guān)注者）作為第二輪樣本，繼續(xù)選擇每個(gè)粉絲的粉絲作為第三輪樣本，依次進(jìn)行抽取，直到達(dá)到終止條件。同時(shí)將種子用戶(hù)自己關(guān)注的其他用戶(hù)加入用戶(hù)樣本。本質(zhì)上，該滾雪球樣本一般是圍繞著種子用戶(hù)的關(guān)系而組織的[20]，構(gòu)成的網(wǎng)絡(luò)關(guān)聯(lián)是緊密的，可以認(rèn)為該樣本與種子用戶(hù)之間已經(jīng)具備一定的領(lǐng)域相關(guān)性。在此基礎(chǔ)上，利用基于圖分割的社區(qū)挖掘方法獲得種子所屬的社區(qū)，進(jìn)一步剔除無(wú)關(guān)用戶(hù)。

用戶(hù)重要度評(píng)估。中心性分析以社會(huì)網(wǎng)絡(luò)節(jié)點(diǎn)的度數(shù)衡量節(jié)點(diǎn)中心性特征，以反映出節(jié)點(diǎn)在網(wǎng)絡(luò)中的中心性地位差異，如果節(jié)點(diǎn)具有較高的度數(shù)，則它可能擁有更大的影響力。本項(xiàng)目用點(diǎn)度中心度來(lái)評(píng)測(cè)社區(qū)中的重要人物，點(diǎn)度中心度值高表示該用戶(hù)受到較多人的關(guān)注，他發(fā)表的言論能夠迅速被他人接收并對(duì)他人產(chǎn)生影響，該用戶(hù)具有信息源的潛質(zhì)。

領(lǐng)域相關(guān)性度量。領(lǐng)域相關(guān)性是評(píng)價(jià)信息源質(zhì)量的重要指標(biāo)，通過(guò)社團(tuán)發(fā)現(xiàn)算法得到的候選集仍存在大量相關(guān)性不高的用戶(hù)，因此本文引入了基于主題模型的推文內(nèi)容相關(guān)性度量方法。LDA（latent dirichlet allocation）是一種重要的主題模型，本文使用LDA對(duì)候選集中用戶(hù)的推文進(jìn)行話(huà)題聚類(lèi)，如果某個(gè)用戶(hù)與種子用戶(hù)在某一段時(shí)間內(nèi)所發(fā)推文屬于同一主題，則認(rèn)為該用戶(hù)與種子用戶(hù)具有領(lǐng)域相關(guān)性。

3.2.2 Twitter信息源自動(dòng)發(fā)現(xiàn)技術(shù)實(shí)現(xiàn)

Web類(lèi)種子信息源大都對(duì)應(yīng)Twitter官方賬號(hào)，本節(jié)以Web類(lèi)信息源對(duì)應(yīng)的Twitter賬號(hào)作為T(mén)witter種子信息源。編程實(shí)現(xiàn)了Google搜索和Twitter API用戶(hù)搜索相互補(bǔ)充的Twitter賬戶(hù)的自動(dòng)獲取，由200個(gè)Web類(lèi)種子信息源得到了134個(gè)Twitter種子信息源。

圖3 Twitter信息源自動(dòng)發(fā)現(xiàn)流程

Twitter信息的獲取主要基于Twitter API實(shí)現(xiàn)，首先抽取種子用戶(hù)的關(guān)注用戶(hù)以及種子用戶(hù)的粉絲、粉絲的粉絲，從而獲得用戶(hù)樣本；采用Pajek[21]對(duì)該樣本組成的網(wǎng)絡(luò)進(jìn)行可視化分析，計(jì)算種子所在社區(qū)以及各節(jié)點(diǎn)點(diǎn)度中心度；抓取每個(gè)用戶(hù)最新的200條推文組成該賬戶(hù)的文檔，使用的JGibbLda工具包對(duì)用戶(hù)文檔進(jìn)行聚類(lèi)，預(yù)先設(shè)置主題數(shù)量為4；在聚類(lèi)結(jié)果中，如果與種子文檔歸屬相同的主題，則說(shuō)明該文檔對(duì)應(yīng)的賬戶(hù)與種子具有內(nèi)容上的緊密相關(guān)性，通過(guò)該過(guò)程過(guò)濾掉不相關(guān)賬戶(hù)；最后結(jié)合各用戶(hù)的中心度得到最終相關(guān)度高、重要性高的新信息源。

4 互聯(lián)網(wǎng)信息源自動(dòng)發(fā)現(xiàn)技術(shù)應(yīng)用

相比人工搜集方法，本文提出的信息源自動(dòng)發(fā)現(xiàn)方法具有自動(dòng)高效、覆蓋面全、對(duì)新產(chǎn)生信息源反應(yīng)快等明顯優(yōu)勢(shì)。為了提供完善的應(yīng)用服務(wù)，需要進(jìn)一步對(duì)信息源進(jìn)行標(biāo)注和分類(lèi)，建立國(guó)別地區(qū)、技術(shù)領(lǐng)域、應(yīng)用范圍、所有者性質(zhì)（如個(gè)人、政府機(jī)構(gòu)、大學(xué)院所）等維度的分類(lèi)體系。然后根據(jù)信息源對(duì)應(yīng)網(wǎng)站和微博的標(biāo)題、關(guān)鍵詞、摘要等描述信息，利用機(jī)器學(xué)習(xí)方法實(shí)現(xiàn)對(duì)信息源的分類(lèi)和組織，最后形成完備的信息源庫(kù)。結(jié)合大數(shù)據(jù)時(shí)代對(duì)科技情報(bào)工作提出的新要求，信息源自動(dòng)發(fā)現(xiàn)技術(shù)具有如下應(yīng)用場(chǎng)景。

（1）構(gòu)建信息源地圖，系統(tǒng)掌控全球科技信息資源

信息源地圖指的是用可視化手段對(duì)信息源的綜合展示，利用地圖、熱圖和網(wǎng)絡(luò)圖等多種形式來(lái)展現(xiàn)科技領(lǐng)域信息源的地理位置、活躍度、統(tǒng)計(jì)分布、類(lèi)別、信息源間關(guān)聯(lián)交互等情況。通過(guò)一個(gè)全面、準(zhǔn)確、動(dòng)態(tài)的互聯(lián)網(wǎng)信息源地圖，決策人員和情報(bào)研究人員可以對(duì)科技信息資源進(jìn)行全局把控和分析，從更高層次上挖掘發(fā)現(xiàn)其特點(diǎn)和規(guī)律，預(yù)測(cè)其變化趨勢(shì)，具有重要戰(zhàn)略意義。

（2）實(shí)現(xiàn)信息源檢索服務(wù)，為情報(bào)研究工作提供保障

提供完善、靈活的信息源檢索服務(wù)，為情報(bào)研究人員實(shí)現(xiàn)對(duì)科技領(lǐng)域互聯(lián)網(wǎng)信息的持續(xù)跟蹤和完成各項(xiàng)應(yīng)急任務(wù)提供有力保障。其檢索形式主要有以下3種。

· 目錄式檢索：用戶(hù)通過(guò)分類(lèi)層次目錄方式檢索庫(kù)中已存在的信息源。

· 關(guān)鍵字檢索：通過(guò)匹配信息源對(duì)應(yīng)的描述性信息，檢索庫(kù)中已存在的信息源。

· 種子檢索：當(dāng)利用以上兩種方式無(wú)法檢索到所需要的信息源時(shí)，說(shuō)明庫(kù)中可能不存在該類(lèi)信息源，這時(shí)用戶(hù)可以輸入已有信息源作為種子，通過(guò)服務(wù)系統(tǒng)在線(xiàn)挖掘獲得新信息源。

除提供以上3種基本檢索服務(wù)外，還可以開(kāi)發(fā)個(gè)性訂制和相關(guān)推薦等多種形式的智能服務(wù)。

（3）全面、深度挖掘科技信息源，為科技情報(bào)大數(shù)據(jù)提供數(shù)據(jù)來(lái)源

自動(dòng)、高效、全面發(fā)現(xiàn)科技領(lǐng)域的信息源，建立標(biāo)準(zhǔn)的訪(fǎng)問(wèn)接口，實(shí)現(xiàn)與互聯(lián)網(wǎng)海量信息采集平臺(tái)無(wú)縫連接，為成規(guī)模的互聯(lián)網(wǎng)信息資源獲取提供必要前提。依據(jù)具有高度領(lǐng)域相關(guān)性的信息源采集數(shù)據(jù)，能夠提高互聯(lián)網(wǎng)數(shù)據(jù)采集的精準(zhǔn)性和針對(duì)性，減少噪聲數(shù)據(jù)的干擾，降低帶寬、存儲(chǔ)和計(jì)算成本。

5 結(jié)束語(yǔ)

互聯(lián)網(wǎng)信息源自動(dòng)發(fā)現(xiàn)技術(shù)能夠高效發(fā)現(xiàn)大量新信息源，但較大的數(shù)量可能會(huì)使科技情報(bào)人員應(yīng)接不暇，同時(shí)無(wú)法保證每個(gè)新信息源都是真正需要的，對(duì)新信息源的二次甄別也會(huì)影響其有效利用。值得慶幸的是，大數(shù)據(jù)相關(guān)技術(shù)已經(jīng)廣泛用于互聯(lián)網(wǎng)信息的海量采集、處理和分析，大大提高了科技情報(bào)工作的效率，本文技術(shù)的直接用戶(hù)更傾向于機(jī)器，而非情報(bào)人員本身。

下一步工作需要充分考慮從不同類(lèi)型數(shù)據(jù)中發(fā)現(xiàn)信息，更全面地發(fā)現(xiàn)新信息源。因此，Web信息源自動(dòng)發(fā)現(xiàn)和Twitter信息源自動(dòng)發(fā)現(xiàn)兩個(gè)過(guò)程不應(yīng)孤立串行執(zhí)行，應(yīng)充分利用兩類(lèi)信息之間的互相映射、互相引用等關(guān)聯(lián)關(guān)系，使兩個(gè)過(guò)程緊密結(jié)合起來(lái)。再進(jìn)一步，互聯(lián)網(wǎng)資源采集系統(tǒng)對(duì)信息源采集到的網(wǎng)頁(yè)和推文中包含的大量外鏈信息或者Twitter用戶(hù)信息進(jìn)行相關(guān)度和權(quán)威度的評(píng)估，選擇優(yōu)質(zhì)信息源入庫(kù)，實(shí)現(xiàn)信息源庫(kù)的自我擴(kuò)展。

[1] 中國(guó)計(jì)算機(jī)學(xué)會(huì)大數(shù)據(jù)專(zhuān)家委員會(huì). 中國(guó)大數(shù)據(jù)技術(shù)與產(chǎn)業(yè)發(fā)展白皮書(shū)（2013）, 2013 CCF Task Force on Big Data. White Paper on Big Data Technology and Industry Development in China (2013), 2013

[2] Loia V, Senatore S, Sessa M I. Discovering related web pages through fuzzy-context reasoning. Proceedings of the 2002 IEEE International Conference on Plasma Science, Banff, Alberta, Canada, 2002: 150～155

[3] Jaskirat S, Mukesh K. A meta search approach to find similarity between webpages using different similarity measures. Proceedings of ICAC3 2011, Mumbai, India, 2011: 150～160

[4] Brin S, Page L. The anatomy of a largescale hypertextual Web search engine. Computer Networks and ISDN Systems, 1998, 30(98): 107～117

[5] Kleinberg J M. Authoritative sources in a hyperlinked environment. Journal of the ACM, 1999, 46(5): 604～632

[6] Dean J, Monika R. Finding related pages in the world wide web. Computer Networks, 1999, 31(11): 1467～1479

[7] 沈筱彥. Web信息檢索若干關(guān)聯(lián)挖掘問(wèn)題的研究（博士學(xué)位論文）. 北京: 北京郵電大學(xué), 2009 She X Y. Research on several association rule mining problems for web information retrieval system (doctor dissertation). Beijing: Beijing University of Posts and Telecommunications, 2009

[8] Clauset A, Newman M E J, Moore C．Finding community structure in very large networks．Physical Review E: Statistical Nonlinear & Soft Matter Physics, 2004, 70(6): 264～277

[9] Crandall D, Cosley D, Huttenlocher D,et al. Feedback effects between similarity and social influence in online communities. Proceedings of the KDD’08, Las Vegas, Nevada, USA, 2008: 160～168

[10] Weng J, Lim E P, Jiang J,et al. Twitterrank：findingtopic-sensitive influential twitterers. Proceedings of the 3rd ACM International Conference on Web Search and Data Mining, New York, USA, 2010: 261～270

[11] Wang D S, Wen Z, Tong H H,et al. Information spreading in context. Proceedings of the WWW 2011, Hyderabad, India, 2011: 735～744

[12] Yan Z, Zhou J. User recommendation with tensor factorization in social networks. Proceedings of 2012 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), Kyoto, Japan, 2012: 3853～3856

[13] Guy I, Zwerdling N, Ronen I,et al. Social media recommendation based on people and tags. Proceedings of the 33rd International ACM SIGIR Conference on Research and Development in Information Retrieval, Geneva, Switzerland, 2010: 194～201

[14] Chen J, Geyer W, Dugan C,et al. Make new friends, but keep the old: recommending people on social networking sites. Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, New York, USA, 2009: 201～210

[15] 張晨逸, 孫建伶, 丁軼群. 基于MB-LDA 模型的微博主題挖掘. 計(jì)算機(jī)研究與發(fā)展, 2011, 48(10): 1795～1802 Zhang C Y, Sun J L, Ding Y Q. Topic mining for microblog based on MB-LDA model. Journal of Computer Research and Development, 2011, 48(10): 1795～1802

[16] 張曉艷, 王挺, 梁曉波. LDA模型在話(huà)題追蹤中的應(yīng)用. 計(jì)算機(jī)科學(xué), 2011, 38(10A): 136～139 Zhang X Y, Wang T, Liang X B. Use of LDA model in topic tracking. Computer Science, 2011, 38(10A): 136～139

[17] Larson R. Bibliometrics of the world wide web: an exploratory analysis of the intellectual structure of cyberspace. Proceedings of Ann Meeting Am Soc Information Sciences, Medford, USA, 1996

[18] Gao H, Niu H B, Luo W. Internet information source discovery based on multi-seeds cocitation. Proceedings of International Conference on Security, Pattern Analysis, and Cybernetics (SPAC) 2014, Wuhan, China, 2014

[19] 王連喜, 蔣盛益, 龐觀松等. 微博用戶(hù)關(guān)系挖掘研究綜述. 情報(bào)雜志, 2012, 31(12): 91～97 Wang L X, Jiang S Y, Pang G S,et al. A literature review of user relationship mining on microblog. Journal of Interlligence, 2012, 31(12): 91～97

[20] Scott J. 社會(huì)網(wǎng)絡(luò)分析法（第二版）. 劉軍（譯）. 重慶: 重慶大學(xué)出版社, 2007 Scott J. Social Network Analysis (Second Edition). Translated by Liu J. Chongqing: Chongqing University Press, 2007

[21] Wouter D N, Andrej M, Vladimir B. Exploratory Social Network Analysis with Pajek (Second Edition). Cambridge: Cambridge University Press, 2011

高輝，男，博士，中國(guó)國(guó)防科技信息中心工程師，主要研究方向?yàn)榛ヂ?lián)網(wǎng)信息獲取、信息抽取、知識(shí)庫(kù)構(gòu)建和信息可視化。

陳鈞，男，中國(guó)國(guó)防科技信息中心高級(jí)工程師、研究室主任，中國(guó)計(jì)算機(jī)學(xué)會(huì)大數(shù)據(jù)專(zhuān)家委員會(huì)委員，中國(guó)科學(xué)技術(shù)情報(bào)學(xué)會(huì)信息技術(shù)專(zhuān)業(yè)委員會(huì)委員，主要研究方向?yàn)榭萍夹畔⒋髷?shù)據(jù)、網(wǎng)絡(luò)工程等。

牛海波，男，中國(guó)國(guó)防科技信息中心工程師，主要研究方向?yàn)榇笠?guī)?；ヂ?lián)網(wǎng)信息資源獲取、信息重構(gòu)與融合、知識(shí)庫(kù)構(gòu)建等。

羅威，男，中國(guó)國(guó)防科技信息中心副研究員，主要研究方向?yàn)樾畔⒊槿?、大?guī)模文本挖掘。

Gao H, Chen J, Niu H B,et al. Internet information sources automatic discovery technology for scientific and technological intelligence. Big Data Research, 2015040

Internet Information Sources Automatic Discovery Technology for Scientific and Technological Intelligence

Gao Hui, Chen Jun, Niu Haibo, Luo Wei
China Defense Science & Technology Information Center, Beijing 100142, China

It is a basic work to discover high quality internet information sources automatically for scientific and technological intelligence. The technology of website/webpage information sources discovery was presented based on the co-citation relationship, and the technology of Twitter information sources discovery was presented based on the following relationship and content analysis. Then, the application forms of automatic discovery of information sources were discussed. Three kinds of application scenarios were presented based on the analysis of the requirements of scientific and technological intelligence.

scientific and technological intelligence, internet information source, Twitter, co-citation, social network analysis

10.11959/j.issn.2096-0271.2015040

2015-10-24

國(guó)家社會(huì)科學(xué)基金資助項(xiàng)目（No.4CTQ012）

Foundation Item:The National Social Science Foundation of China (No.4CTQ012)

高輝，陳鈞，牛海波等.面向科技情報(bào)的互聯(lián)網(wǎng)信息源自動(dòng)發(fā)現(xiàn)技術(shù). 大數(shù)據(jù), 2015040