基于集對分析的搜索引擎質(zhì)量評價

摘要:該文通過建立搜索引擎綜合評價體系，提出了將集對分析理論運(yùn)用到搜索引擎質(zhì)量評定的綜合評價方法。通過此方法可以定量的評價搜索引擎的綜合性能。

關(guān)鍵詞:搜索引擎;質(zhì)量評價;集對分析;評價指標(biāo)

中圖分類號:TP393文獻(xiàn)標(biāo)識碼:A文章編號:1009-3044(2009)36-10599-03

Quality Evaluation of Search Engine Based on SPA

HE Xiao-yan， ZHU Jun-dong

(Information Center of North China Coal Medical University， Tangshan 063000， China)

Abstract: This article is to establish the general assessment system for search engine and to provide methods for quality evaluation of the general assessment system by using the theory of set pair analysis and to evaluate the integrated functions of search engine quantitatively.

Key words: search engine; quality evaluation; SPA analysis; evaluating indicator

搜索引擎是為滿足人們對網(wǎng)絡(luò)信息的搜索需求而新興的一種網(wǎng)絡(luò)工具，搜索引擎的質(zhì)量直接影響著檢索效果，通過對搜索引擎性能的評價，一方面能更好地了解搜索引擎的優(yōu)劣，為用戶選擇合適的搜索引擎提供依據(jù)，決定著引擎用戶從網(wǎng)上獲取信息的成功與否;另一方面可以促進(jìn)網(wǎng)絡(luò)搜索引擎的提供者改進(jìn)完善搜索引擎工具和檢索技術(shù)，以提高網(wǎng)絡(luò)信息檢索質(zhì)量。因此有必要對它們進(jìn)行系統(tǒng)詳細(xì)的分析對比和評價，以達(dá)到幫助用戶方便使用的目的，并為今后搜索引擎的進(jìn)一步發(fā)展提供借鑒。

1 集對分析

1.1 集對

所謂集對[1]，是指具有一定聯(lián)系的兩個集合所組成的對子。它把確定性與不確定性看作是一個確定-不確定系統(tǒng)，在這個系統(tǒng)中，確定性與不確定性是互相制約的，不可截然分割，因此，對于不確定性的描述要從確定和不確定兩個方面來進(jìn)行，并用聯(lián)系度表達(dá)式μ=a+bi+cj來系統(tǒng)地描述不確定性，其中a稱為集對同一度;b稱為集對差異度;c稱為集對的對立度。

1.2 集對分析的基本思路

在一定的問題(W)背景下，將集合A、集合B組成集對H，然后展開分析，共得N個特性，表示所論值域內(nèi)的統(tǒng)一性個數(shù)，對立性個數(shù)和差異性個數(shù)之和，把具有相同的特性記為同聯(lián)系(設(shè)有S個)，而把具有相反的特性記為反聯(lián)系(設(shè)有P個)，其余的特性既不同一，又不對立，稱為差異聯(lián)系(共有F=N-S-P個)。從而得到兩個集合在指定問題背景下的聯(lián)系度表達(dá)式[2]:

1.3 聯(lián)系度μ

聯(lián)系度是集對分析中的一個重要概念，用μ表示。在μ中，稱S/N，F(xiàn)/N，P/N分別為所論兩個集合在指定問題背景下的同一度、差異度和對立度。令S/N=a，F(xiàn)/N=b，P/N=c。由此聯(lián)系度μ可記為μ=a+bi+cj，其中a+b+c=1(1)

其中i為差異標(biāo)記符號或相應(yīng)系數(shù)，取值為[-1，1];j為對立標(biāo)記符號或相應(yīng)系數(shù)，規(guī)定取值為-1。

1.4 集對勢

在(1)式中，若c≠0時，稱同一度a與對立度c的比值為所論集對在指定問題背景下的集對勢，用“shi”表示:

shi=a/c (2)

當(dāng)a/c>1，a/c=1和a/c<1時分別稱為集對同勢、集對均勢和集對反勢。集對勢說明了集對的兩個集合聯(lián)系的趨勢。shi的大小代表評價主體對評價客體的評價等級，shi的值越大一般可認(rèn)為評價主體對評價客體的評價越優(yōu);shi的值越小一般可認(rèn)為評價主體對評價客體的評價越差。

2 構(gòu)建基于集對分析的搜索引擎評價模型

2.1 確定評價指標(biāo)體系

根據(jù)評價原則，可以確定搜索引擎質(zhì)量評價指標(biāo)體系(見式1)。評價指標(biāo)體系主要由索引構(gòu)成、檢索功能、檢索效果、結(jié)果顯示和用戶交互五個基本維度組成，每一個一級指標(biāo)都有隸屬的二級指標(biāo)。

2.2 利用AHP計算各指標(biāo)權(quán)重系數(shù)

層次分析法(Analytic Hierarchy Process，AHP)的基本思想是先按問題要求建立一個描述系統(tǒng)功能或特征的內(nèi)部獨(dú)立的遞階層次結(jié)構(gòu)，在每一層的同類因素中，通過比較兩兩元素的相對重要性，給出相應(yīng)的比例標(biāo)度，構(gòu)造上層某要素對下層相關(guān)元素的判斷矩陣，以給出相關(guān)元素對上層某要素的相對重要性序列[3]。求得一致性比率(CR)當(dāng)CR≤0.1時，認(rèn)為判斷矩陣滿足一致性要求。

w=(w1，w2，…，wl)，且滿足w1+w2+…+wl=1 (3)

2.3 確定聯(lián)系度μ

1) 確定同一度a、差異度b和對立度c

根據(jù)評價指標(biāo)體系，針對各二級指標(biāo)進(jìn)行問卷調(diào)查。每個二級指標(biāo)的評語集有三個選項:優(yōu)、一般和差，讓評判者進(jìn)行選擇。對于每個指標(biāo)，假設(shè)有N個人進(jìn)行評價，若其中有x個打“優(yōu)”，y個人打“一般”，z個人打“差”，則可得同一度a=x/N、差異度b=y/N以及對立度c=z/N。

2)確定差異度系數(shù)

當(dāng)i在[-1，1]區(qū)間取值時，鑒于不同的情況有不同的確定方法:極值法、中值法、概率取值法和函數(shù)模擬法等等。本文采用中值法確定i值[4]，取i=0.5。

3)確定聯(lián)系度、計算集對勢

當(dāng)i=0.5，i恒取-1時，根據(jù)上述得到的a，b，c值可計算各聯(lián)系度的值:

μ=a+bi+cj=a+b/2-c (4)

在確定完a，b，c后就可以根據(jù)(2)式計算各指標(biāo)的集對勢。

4)計算屬性矩陣Q和評價結(jié)果R

對于指標(biāo)體系U的5個二級指標(biāo)的屬性矩陣Q(i)可以表示為:

(5)

其中i=1，...，5;m為二級指標(biāo)體系Ui對應(yīng)的二級指標(biāo)個數(shù)。

由(3)、(5)式可得一級評價指標(biāo)體系的屬性矩陣:

(6)

根據(jù)(3)、(6)式可得最后評價結(jié)果R:

(7)

根據(jù)均分原則給出R等級對照表(見表1)，由表1即可得到 最終的綜合評價等級。

3 實驗及結(jié)果分析

下面運(yùn)用集對分析對某一搜索引擎進(jìn)行綜合評價。

把評價指標(biāo)制成調(diào)查問卷(見附表1)發(fā)給一些搜索引擎的使用者100名。調(diào)查問卷中每個評價指標(biāo)都有三個評價等級“優(yōu)”、“一般”、“差”。請他們在每個指標(biāo)對應(yīng)的評價等級下面打“√” 。在評分過程中，為了避免人為因素的影響，請他們按評價等級對每項指標(biāo)獨(dú)立的作出判斷。根據(jù)收回的調(diào)查表統(tǒng)計平均，得到各指標(biāo)的最終結(jié)果。得到的調(diào)查結(jié)果見表2。其中x列為打“優(yōu)”的總?cè)藬?shù)，y列為打“一般”的總?cè)藬?shù)，z列為打“差”的總?cè)藬?shù)。

3.1 確定指標(biāo)權(quán)重系數(shù)

運(yùn)用層次分析法確定一級評價指標(biāo)體系 的權(quán)重向量w=(0.21，0.22，0.38，0.07，0.12)，四個二級評價指標(biāo)體系的權(quán)重向量分別為:wU1=(0.30，0.63，0.07)，wU2=(0.75，0.25)，wU3=(0.35，0.35，0.05，0.10，0.15)，wU4=(0.24，0.70，0.06)，wU5=(0.69，0.23，0.08)。

3.2確定聯(lián)系度、計算集對勢

3.2.1 確定聯(lián)系度、集對勢

按照下面的公式計算每項結(jié)果填入表2中。

a=x/N，b=y/N，c=z/N，μ=a+b/2-c，shi=a/c，其中N=100。

3.2.2 集對勢分析

根據(jù)表2中集對勢大小可以得到指標(biāo)評價的優(yōu)劣次序。其中最好的是“幫助信息”指標(biāo)，最差的是“感知的全面性”指標(biāo)。

對于集對勢比較靠前的指標(biāo)，說明用戶對其比較滿意，今后需要保持下去;對于排序靠中的指標(biāo)，說明還有提高的空間，今后需要加強(qiáng)一些;對于排序靠后的指標(biāo)，說明用戶的滿意程度較低，這些指標(biāo)需要特別注意加強(qiáng)。

3.3 計算屬性矩陣和評價結(jié)果

由式(5)可得一級指標(biāo)的屬性矩陣:

根據(jù)式(6)可以計算一級指標(biāo)的各聯(lián)系度:

同理μ2=0.6525，μ3=0.386，μ4=0.6405，μ5=0.54765。

可得網(wǎng)絡(luò)搜索引擎質(zhì)量評價體系的屬性矩陣Q:

由式(7)得評價結(jié)果:

根據(jù)表1可得這個網(wǎng)絡(luò)搜索引擎的評價結(jié)果為“優(yōu)秀”。

4 結(jié)束語

該文在集對分析理論的基礎(chǔ)上，提出了基于聯(lián)系數(shù)學(xué)的搜索引擎性能綜合評價模型，為定量的評價搜索引擎提供了一種途徑。實例表明， 該模型客觀、合理、實用。而且通過查看搜索引擎在某指標(biāo)上的聯(lián)系數(shù)的有機(jī)構(gòu)成， 還可獲知該搜索引擎應(yīng)在哪些方面改進(jìn)性能。

參考文獻(xiàn):

[1] 趙克勤.集對分析及初步應(yīng)用[M].杭州:浙江科學(xué)技術(shù)出版社，2000:10-18.

[2] 任艷玲，朱明放.基于集對分析的綜合評價方法及其應(yīng)用[J].微計算機(jī)信息，2007，23，12(3):220-222.

[3] Saaty T L.The Analytic Hierarchy Process[M].New York:Megraw-Hill，1980.

[4] 趙克勤，曹鴻興.集對分析與界殼論[M].北京:氣象出版社，2002.

[5] 鄭鵬，張弼云.基于集對分析的圖書館服務(wù)質(zhì)量綜合評價[J].情報雜志，2008(1):145-148.