基于語義技術(shù)的搜索引擎平臺(tái)搭建的可行性研究

王清飛

(鄭州牧業(yè)工程高等?？茖W(xué)校圖書館，河南 鄭州 450011)

隨著Internet的飛速發(fā)展，各種各樣的信息資源在網(wǎng)絡(luò)上發(fā)布，用戶通過什么樣的技術(shù)策略或者手段才能在這個(gè)信息的海洋中找到自己需要的信息成為專家學(xué)者研究的對(duì)象，于是基于分類目錄和基于關(guān)鍵詞技術(shù)的搜索工具應(yīng)運(yùn)而生，它們的出現(xiàn)給用戶使用網(wǎng)絡(luò)信息資源帶來了很大的方便。但是由于計(jì)算機(jī)技術(shù)和知識(shí)的普及，致使網(wǎng)絡(luò)信息資源爆炸式的增加，目前的檢索工具出現(xiàn)了不能滿足人們需要的情形。針對(duì)Internet暴露出來的缺陷，1998年，Web的創(chuàng)始人Tim Berners－Lee首次提出了“語義Web”(Semantic Web)的概念及其技術(shù)路線，闡述了語義Web的基本思想，語義Web的目標(biāo)是使得Web上的信息具有計(jì)算機(jī)可以理解的語義，滿足智能軟件代理(Agent)對(duì)WWW上異構(gòu)和分布信息的有效訪問和檢索［1］。語義技術(shù)的核心就是:為萬維網(wǎng)上發(fā)布的信息進(jìn)行語義的標(biāo)注，使機(jī)器可以理解這些數(shù)據(jù)的含義，最后實(shí)現(xiàn)智能推理和信息自動(dòng)化的處理。因此關(guān)于將語義技術(shù)和搜索引擎技術(shù)相結(jié)合的智能化搜索引擎的研究已經(jīng)迫在眉睫。

1 目前搜索引擎存在的問題

隨著社會(huì)經(jīng)濟(jì)和計(jì)算機(jī)技術(shù)的發(fā)展，社會(huì)上的信息量劇增，為方便信息交流和獲取，隨之產(chǎn)生了搜索引擎，無論是目錄式搜索，還是關(guān)鍵詞搜索，都給用戶使用網(wǎng)絡(luò)來獲取信息提供了巨大的方便，使得網(wǎng)絡(luò)在人們的生活中顯得越來越重要，網(wǎng)絡(luò)信息也隨之劇增。近幾年，專家和企業(yè)都在研究搜索技術(shù)與搜索的策略，并且取得了很大的進(jìn)步，但是這種進(jìn)步在網(wǎng)絡(luò)信息量的劇增面前顯得很微小，這時(shí)，一些搜索引擎的弊端就逐漸地顯現(xiàn)出來。

從目前用戶的使用角度來看，搜索引擎有以下幾點(diǎn)不足:1)隨著網(wǎng)絡(luò)技術(shù)的發(fā)展，一些網(wǎng)站建設(shè)的新技術(shù)應(yīng)運(yùn)而生，一些新的網(wǎng)站應(yīng)用技術(shù)也在網(wǎng)絡(luò)上流行，F(xiàn)lash導(dǎo)航，視頻資源播放等新型技術(shù)的產(chǎn)生，直接對(duì)傳統(tǒng)的搜索引擎帶來挑戰(zhàn)。2)網(wǎng)絡(luò)上頁面資源的更新速度大大加快，現(xiàn)在幾乎每個(gè)公司都有自己的網(wǎng)站，并且?guī)缀趺刻於加行碌男畔⒏?。同時(shí)，一些新型網(wǎng)絡(luò)社區(qū)的建設(shè)，給很多用戶提供了創(chuàng)建個(gè)人主頁的機(jī)會(huì)，信息量增加的速度變快，大量的信息給搜索引擎的Crawler系統(tǒng)帶來新的挑戰(zhàn)。3)網(wǎng)絡(luò)信息的異構(gòu)性更加突出。由于網(wǎng)絡(luò)技術(shù)的發(fā)展，可以發(fā)布網(wǎng)絡(luò)信息的用戶群發(fā)生了變化，以前都是以單位為主要的群體，轉(zhuǎn)變成以個(gè)人為目標(biāo)用戶群的。這樣發(fā)布的信息從格式上更加難以控制，并且結(jié)構(gòu)類型也有不小的變化，從而增加了信息的異構(gòu)性，這樣對(duì)搜索引擎的標(biāo)引技術(shù)提出了新的要求。4)動(dòng)態(tài)生成技術(shù)，數(shù)據(jù)庫技術(shù)的廣泛應(yīng)用，使網(wǎng)絡(luò)上的很大一部分網(wǎng)站從靜態(tài)轉(zhuǎn)換成了動(dòng)態(tài)。好多網(wǎng)站信息是由數(shù)據(jù)庫代碼自動(dòng)生成了，這樣對(duì)網(wǎng)絡(luò)資源的真正URL以及資源的數(shù)據(jù)不好確認(rèn)，給搜索程序帶來不小的困難。5)由于信息量巨大以及部分網(wǎng)絡(luò)信息描述的不準(zhǔn)確，給檢索帶來不小的誤差，這樣用戶輸入關(guān)鍵詞以后，搜索引擎檢索出來的數(shù)據(jù)量很龐大，一些用戶真正需要的數(shù)據(jù)不一定能夠排在顯示的前端，而用戶也不會(huì)一一的耐心看下去，這樣產(chǎn)生的檢索噪音給用戶的使用帶來很大的影響。

2 基于語義技術(shù)的搜索引擎平臺(tái)研究現(xiàn)狀

2.1 國(guó)外相關(guān)研究

相關(guān)理論主要有，NEC美國(guó)研究所的 Steve Lawrenee和C.Lee Giles從1998年和1999年起連續(xù)在《自然》和《科學(xué)》雜志上撰文對(duì)搜索引擎技術(shù)的研究進(jìn)行評(píng)述。著名的信息檢索會(huì)議TREC也從1998年開始增加了Web Track課題，以考察Web文檔與其他類型文檔在檢索性質(zhì)上的不同之處，并將測(cè)試在大規(guī)模的Web庫(如100G字節(jié))上進(jìn)行信息檢索的算法性能［2］。由美國(guó)Information公司主辦的搜索引擎國(guó)際會(huì)議從1996年開始每年舉行一次，對(duì)搜索引擎技術(shù)進(jìn)行總結(jié)、討論和展望，對(duì)搜索引擎技術(shù)起到了很好的推動(dòng)作用。此外還有EIEE主辦的國(guó)際萬維網(wǎng)會(huì)議、人機(jī)交互會(huì)議等。然后就是在Berners-Lee提出了語義網(wǎng)的設(shè)想，相關(guān)專家和學(xué)者開始將語義網(wǎng)思想運(yùn)用到搜索引擎中，提高和優(yōu)化搜索的性能。主要文獻(xiàn)有2004年Boulos，Maged N.Kamel［3］的“A First Look at Health Cyber Map Medical Semantic Subject Search Engine”，D-Lib Magazine［4］的 “ALVIS-Superpeer Semantic Search Engine”，2005 年 Schenkel，Ralf;Theobald，Anja;Weikum，Gerhard［5］的“Semantic Similarity Search on Semistructured Data with the XXL Search Engine”，2007 年 Yufei Li;Yuan Wang;Xiaotao Huang［6］的“A Relation-Based Search Engine in Semantic Web”等關(guān)于語義搜索的文章。

相關(guān)技術(shù)主要有:1990年蒙特利爾的McGill大學(xué)學(xué)生 AlanEmtage、PeterDeutsch、BillWheelan 開發(fā)了一個(gè)自動(dòng)索引因特網(wǎng)上的匿名FTP網(wǎng)站文件的程序，它就是Archie(ArchieFAQ)，搜索引擎的首例。然后到目錄式搜索引擎雅虎，關(guān)鍵字搜索引擎Google?，F(xiàn)在國(guó)外已經(jīng)在Mozilla瀏覽器的pre-Nglyauot版本和Netscpae瀏覽器的.407或.45+版本大量采用RDF技術(shù)，實(shí)現(xiàn)了智能瀏覽，幫助瀏覽網(wǎng)頁的用戶提供其他與其瀏覽內(nèi)容有關(guān)的信息。美國(guó)FourthoughtInc公司是專為企業(yè)知識(shí)管理應(yīng)用提供XML解決方案的軟件供應(yīng)商和咨詢公司，開發(fā)了4Suite，它是XML、RDF和知識(shí)管理應(yīng)用的一個(gè)開放源碼平臺(tái)，并在其知識(shí)管理解決方案中，實(shí)現(xiàn)從XML數(shù)據(jù)抽取RDF數(shù)據(jù)、并在RDF基礎(chǔ)上提出一種簡(jiǎn)潔的語義搜索功能［7］。斯坦福大學(xué)、微軟和W3C共同開發(fā)的TAP也是基于Semantic Web的語義搜索引擎。

2.2 國(guó)內(nèi)相關(guān)研究

在技術(shù)方面，國(guó)內(nèi)先后有清華大學(xué)、北京大學(xué)、國(guó)家智能研究中心等高校和研究機(jī)構(gòu)對(duì)搜索引擎技術(shù)開展研究，并開發(fā)出了幾個(gè)較好的系統(tǒng)。如由北京大學(xué)計(jì)算機(jī)系網(wǎng)絡(luò)研究室開發(fā)的“天網(wǎng)”中英文搜索引擎，在系統(tǒng)規(guī)模及系統(tǒng)性能方面達(dá)到了國(guó)外中型搜索引擎系統(tǒng)的技術(shù)水平。Google作為第二代智能全文式搜索工具，可以對(duì)網(wǎng)頁的全文進(jìn)行檢索。百度是目前最大的中文搜索引擎，使用超鏈接分析技術(shù)，除了分析索引網(wǎng)頁本身的內(nèi)容，還分析索引所有指向該網(wǎng)頁的鏈接的URL、AnchorText、甚至鏈接周圍的文字。我國(guó)從2002年起在863計(jì)劃中把語義Web技術(shù)與Ontology，列為“十五”期間計(jì)算機(jī)技術(shù)的重大課題之一。國(guó)家自然科學(xué)基金項(xiàng)目《基于本體論和語義Web的產(chǎn)品信息基礎(chǔ)結(jié)構(gòu)》，以本體論為指導(dǎo)，以XML形式化描述基于知識(shí)的產(chǎn)品信息模型數(shù)據(jù)，在語義 Web上建立產(chǎn)品信息基礎(chǔ)結(jié)構(gòu)［8］。宋峻峰［9］提出的基于本體的信息檢索模型采用描述邏輯構(gòu)造本體，利用本體對(duì)文檔進(jìn)行了語義標(biāo)注，生成文檔的邏輯視圖和用戶信息需求的邏輯視圖，實(shí)現(xiàn)了檢索過程中真正的語義匹配，是真正的語義檢索。郭少友教授提出和設(shè)計(jì)的“以文檔為中心的上下文檢索研究”也屬于語義檢索的范疇。

3 語義技術(shù)應(yīng)用到搜索引擎的可行性分析

3.1 語義技術(shù)與信息存儲(chǔ)技術(shù)的結(jié)合

目前，RDF數(shù)據(jù)的存儲(chǔ)基本上有兩種方案，XML/RDF文件的形式存儲(chǔ)是一種可行的方式，但是考慮到對(duì)于大量的事實(shí)數(shù)據(jù)，考慮到可擴(kuò)展性，查詢方式，效率等諸多的因素，以RDF數(shù)據(jù)庫或者關(guān)系數(shù)據(jù)庫來存儲(chǔ)RDF事實(shí)數(shù)據(jù)庫是一種比較好的選擇。

3.2 語義技術(shù)與檢索技術(shù)的結(jié)合

通過對(duì)用戶查詢關(guān)鍵詞的語義匹配和語義相關(guān)性擴(kuò)展，最后形成符合特定知識(shí)本體語言的查詢語句實(shí)現(xiàn)語義檢索，例如:

SELECT?a，

SELECT(?，http://127.0.0.2/Milan#動(dòng)物，松鼠)

但是這樣的形式比較復(fù)雜，因此可以在語義檢索中設(shè)計(jì)一個(gè)Agent，用來分析用戶輸入的關(guān)鍵詞，查詢Agent接收用戶輸入的關(guān)鍵詞，并將它傳遞給匹配Agent，根據(jù)知識(shí)本體和語義詞典對(duì)這些關(guān)鍵詞進(jìn)行比較分析，并構(gòu)造出適合該檢索的新的檢索式或者查詢語句，并且將該檢索式返回，這個(gè)過程實(shí)現(xiàn)語義匹配過程。但是有的時(shí)候?yàn)榱诉M(jìn)一步獲得更多的信息，還需要根據(jù)知識(shí)本體或者語義詞典對(duì)輸入的查詢語句進(jìn)行相關(guān)的推理，推理的過程有很高的智能化，例如在檢索的過程中，發(fā)現(xiàn)沒有松鼠這個(gè)關(guān)鍵字，但是松鼠是喜歡吃松子的，所以當(dāng)檢索到松子的時(shí)候，這個(gè)頁面有可能也是關(guān)于“松鼠”這個(gè)關(guān)鍵詞的相關(guān)頁面，同時(shí)推理機(jī)制也會(huì)根據(jù)情況構(gòu)造出新的檢索式:

SELECT?a，

WHERE(?，http://127.0.0.2/Milan#堅(jiān)果，松子)

3.3 語義技術(shù)在數(shù)據(jù)庫搭建中的應(yīng)用

我們知道數(shù)據(jù)庫構(gòu)建的過程中是有很多表或者集合組成，傳統(tǒng)的描述僅僅是描述其關(guān)鍵字字段或者其屬性值，利用相似度算法進(jìn)行機(jī)械的匹配查詢，滿足一定的相似度就對(duì)該條記錄做讀取、刪除等操作。

王珊教授等研究了基于本體的關(guān)系數(shù)據(jù)庫語義檢索，分析和研究單個(gè)關(guān)系數(shù)據(jù)庫上基于本體的語義檢索問題，其中指出，關(guān)系數(shù)據(jù)庫主要有兩部分組成，一部分是元數(shù)據(jù)(Meta-data)也稱為模式(Schema)如數(shù)據(jù)類型名，表的屬性名，表名，主鍵及外鍵［10］。另外一部分是真正的數(shù)據(jù)，關(guān)鍵數(shù)據(jù)庫的元數(shù)據(jù)描述了其存儲(chǔ)數(shù)據(jù)之間的簡(jiǎn)單語義關(guān)系，由于關(guān)系模型描述能力的限制，并不能完全的描述數(shù)據(jù)庫之間豐富的語義關(guān)系。關(guān)系數(shù)據(jù)庫的查詢語句使用的是結(jié)構(gòu)化查詢語句SQL進(jìn)行的，這是一種精確的查詢語句，查詢條件是精確的，同時(shí)查詢結(jié)果也是精確的，由于關(guān)系數(shù)據(jù)庫僅僅只能表現(xiàn)數(shù)據(jù)庫中有限的語義關(guān)系，所以其查詢的語義性也是有限的，而本體則能進(jìn)一步的描述關(guān)系數(shù)據(jù)庫的語義。

隨著本體跟語義網(wǎng)的技術(shù)的不斷發(fā)展和應(yīng)用，基于本體的關(guān)系數(shù)據(jù)庫也逐漸成為研究的熱點(diǎn)。關(guān)系數(shù)據(jù)庫的語義可以分為兩級(jí)語義，一級(jí)是元數(shù)據(jù)級(jí)別的語義，另外一級(jí)是數(shù)據(jù)級(jí)的語義，利用不同語義級(jí)別可以實(shí)現(xiàn)不同的語義檢索。文獻(xiàn)指出本體通過對(duì)數(shù)據(jù)庫進(jìn)行兩種級(jí)別的語義描述，分別可以從元數(shù)據(jù)或者數(shù)據(jù)中抽取，識(shí)別出概念，然后對(duì)本體中已經(jīng)存在的概念進(jìn)行映射，或者根據(jù)本體的學(xué)習(xí)技術(shù)，構(gòu)建出一個(gè)新的本體［10］。也可以直接使用已有的本體中的概念來描述元數(shù)據(jù)的數(shù)據(jù)，這兩種方法都稱為本體標(biāo)注。本體標(biāo)注也是關(guān)系數(shù)據(jù)庫語義檢索的基礎(chǔ)技術(shù)。本體標(biāo)注就是把本體和數(shù)據(jù)聯(lián)系到一起，以便建立基于本體的語義索引［11］。

3.4 元數(shù)據(jù)標(biāo)引技術(shù)

利用元數(shù)據(jù)技術(shù)對(duì)網(wǎng)絡(luò)信息資源進(jìn)行標(biāo)引，有利于信息資源的描述，同時(shí)也可以縮小網(wǎng)絡(luò)信息資源的異構(gòu)特點(diǎn)，根據(jù)元數(shù)據(jù)的標(biāo)準(zhǔn)對(duì)網(wǎng)絡(luò)信息資源進(jìn)行統(tǒng)一的標(biāo)引，這樣對(duì)信息的描述更詳盡，同時(shí)也可以體現(xiàn)各個(gè)相關(guān)數(shù)據(jù)之間的語義特點(diǎn)。目前比較通用的是DC，利用DC的著錄格式對(duì)網(wǎng)絡(luò)信息資源進(jìn)行著錄與表示，其不但能詳盡的描述信息資源的特點(diǎn)，同時(shí)也可以體現(xiàn)出描述各項(xiàng)之間的語義關(guān)系。因此將元數(shù)據(jù)引入到網(wǎng)絡(luò)信息資源標(biāo)引技術(shù)中，有利于改善網(wǎng)絡(luò)搜索引擎。

3.5 語義技術(shù)在分詞算法中的應(yīng)用

常用的分詞算法主要有正向最大匹配法、逆向最大匹配法、專家系統(tǒng)分析法、高頻優(yōu)先法、全自動(dòng)詞典切詞法、擴(kuò)充轉(zhuǎn)移網(wǎng)絡(luò)分詞法、神經(jīng)網(wǎng)絡(luò)等分詞方法。但是以上所有的分詞方法都會(huì)存在一定的錯(cuò)誤率，所以我們要在分詞算法中引入語義技術(shù)，以便提高分詞的準(zhǔn)確性。這種思維方式就是根據(jù)漢語的特點(diǎn)以及其自身的規(guī)律，可以考慮從漢語的構(gòu)詞規(guī)則如筆畫來試圖解決這樣的問題，這是一種新的自動(dòng)分詞研究方向。另外再對(duì)數(shù)據(jù)或者信息資源進(jìn)行處理和標(biāo)引時(shí)，在使用受控語言和自然語言的同時(shí)，還可以運(yùn)用其他的人工構(gòu)造語言，像程序設(shè)計(jì)語言，邏輯語言，數(shù)學(xué)公式等。這幾種人工語言跟自然語言一樣，他們都有一套自己的完整的語法規(guī)則與相當(dāng)數(shù)量的符號(hào)組成，我們可以根據(jù)他們的特點(diǎn)，對(duì)其組成規(guī)律進(jìn)行總結(jié)，并且并入到語義字典中，并利用本體對(duì)其相互關(guān)系進(jìn)行描述。

為了便于計(jì)算機(jī)對(duì)漢語進(jìn)行自動(dòng)分詞處理，就需要對(duì)現(xiàn)在的分詞語法方法做以下三方面的改造:一是要在待分詞的漢語文本的詞與詞之間增加適當(dāng)?shù)拈g隔符，即設(shè)立分詞標(biāo)志，這樣通過設(shè)立的分詞標(biāo)志，可以方便地對(duì)文本進(jìn)行分詞處理，大大提高效率;二是要對(duì)漢語的詞語進(jìn)行明確界定，即規(guī)定什么是“詞”，這樣主要可以解決兩方面的問題，單字詞與字元素之間的區(qū)別以及短語或者成語與詞 (詞組)之間的區(qū)別;三是要制定完整的漢語書寫規(guī)則。這些都是應(yīng)該在漢語文本生成之前完成，并且從技術(shù)實(shí)現(xiàn)的條件來看是可行的，這樣就省去了很大一部分精力對(duì)預(yù)處理文本進(jìn)行分詞［12］。

4 結(jié)論

基于語義技術(shù)的搜索引擎平臺(tái)的搭建是一門新興的研究課題，它旨在解決如何讓信息用戶在海量的信息中，精準(zhǔn)地找到自己需求的信息，在構(gòu)建的過程中，可以將語義技術(shù)運(yùn)用到信息的描述、信息的存儲(chǔ)、信息的檢索以及信息的輸出過程中。國(guó)內(nèi)外也有了一定的研究成果，并且也構(gòu)建了一些語義技術(shù)的搜索引擎平臺(tái)，但是大部分還是處于試驗(yàn)階段，很多的關(guān)鍵技術(shù)難題還沒有攻克。筆者認(rèn)為，數(shù)字資源的語義描述，中文的分詞技術(shù)，還有語義的檢索方式和輸出排序是目前需要進(jìn)一步研究的重點(diǎn)。

［1］Berners－Lee T.Semantic Web Road Map［EB/OL］.［2010 －10 －23］.http://www.w3.org/design issuee/semantic.

［2］Mikeusehold，Michal gruninger.The Web Search Engine Review［J］.IGCAI＇99，1999，93—96.

［3］Boulos，Maged N，Kamel.A First Look at Health Cyber Map Medical Semantic Subject Search Engine［J］.Technology ＆Health Care，2004(11):33—41.

［4］ALVIS.Superpeer Semantic Search Engine［J］.Preview D －Lib Magazine，2004(6):10—12.

［5］ Schenkel Ralf，Theobald Anja，Weikum Gerhard.Semantic Similarity Search on Semistructured Data with the XXL Search Engine［J］.Information Retrieval，2005(12):521—545.

［6］Yufei Li，Yuan Wang，Xiaotao Huang.A Relation －Based Search Engine in Semantic Web［J］.IEEE Transactions on Knowledge ＆ Data Engineering，2007(2):273—281.

［7］黃大鵬.基于語義Web的搜索引擎研究［D］.西安:西安理工大學(xué)，2004.

［8］楊秋芬，陳躍新.ontology方法學(xué)綜述［J］.計(jì)算機(jī)應(yīng)用研究，2002(4):24—25.

［9］宋俊峰，張維明，肖衛(wèi)東，唐九陽.基于本體的信息檢索模型研究［J］.南京大學(xué)學(xué)報(bào)(自然科學(xué))，2005，41(2):189—197.

［10］王 珊，張 俊，彭朝輝等.基于本體的關(guān)系數(shù)據(jù)庫語義檢索［J］.計(jì)算機(jī)科學(xué)與檢索，2007(1):59—77.

［11］ KANG B.A Novel Approach to Semantic Indexing Based on Concept［C］proceeding of the 41st Annual Meeting on Association for Computational Linguistics，2003:44—46.

［12］邱均平，文庭孝，周黎明.漢語自動(dòng)分詞與內(nèi)容分析法研究［J］.情報(bào)學(xué)報(bào)，2005(6):310—317.