一種不確定信息進(jìn)行推理的人工智能評價系統(tǒng)

楊榮領(lǐng)YANG Rong-ling；林輝LIN Hui；安生陽AN Sheng-yang；梁萬英LIANG Wan-ying；黃景勝HUANG Jing-sheng

（華南理工大學(xué)廣州學(xué)院，廣州 510800）

（Guangzhou College of South China University of Technology，Guangzhou 510800，China）

0 引言

如今社會上的評價系統(tǒng)還存在一些不確定的因數(shù)影響評價質(zhì)量，有些人認(rèn)為評價系統(tǒng)不公平，為了能更公平地解決這些問題，該項目起到重要的作用。就舉個例子：大學(xué)的教師評價系統(tǒng)，就督導(dǎo)而言，他就有權(quán)威性，但是他不會每個教師的都去聽，這點(diǎn)就會讓老師覺得有點(diǎn)不公平。得出的結(jié)果讓很多老師無法接受，教師評價系統(tǒng)除了這個因素外，還有些因素是該系的學(xué)生很多，算出來的評價很高，得出的結(jié)論也不準(zhǔn)確。

為了能更全面更科學(xué)更公正地評價這些不確定的信息，將不確定的因數(shù)進(jìn)行推理和分析，得出一個準(zhǔn)確的結(jié)論，這是我們所需要的。

1 人工智能評價系統(tǒng)所存在的問題

項目主要研究的內(nèi)容是：首先該項目的評價系統(tǒng)模型需要評價的樣本點(diǎn)x1，x2，x3，…，設(shè)A 是同學(xué)的評分，占a%；B 是老師的評分，占b%；C 是督導(dǎo)的評分，占c%。C 具有權(quán)威性，但是同時它具有不確定性，不一定每個教師都去聽課。A，B 都能得到所需的數(shù)據(jù)，C 能對該系統(tǒng)的評價質(zhì)量有較準(zhǔn)確的評價，誤差較小。本模型在此基礎(chǔ)上，通過統(tǒng)計分析，以圖尋找一種較好的較公正的質(zhì)量評價方法。

2 解決思路

我們想通過對于沒有督導(dǎo)（C）評價的教師進(jìn)行調(diào)整A，B 的比重來讓系統(tǒng)進(jìn)一步實(shí)現(xiàn)公平。

研究方法一：對具有權(quán)威數(shù)據(jù)C 項的樣本進(jìn)行質(zhì)量排序，設(shè)A、B 項數(shù)據(jù)服從正態(tài)分布，以A，B 項數(shù)據(jù)對所有樣本進(jìn)行質(zhì)量排序，計算該排序結(jié)果與僅僅C 項排序結(jié)果的誤差方差D，通過調(diào)整A，B 項數(shù)據(jù)的比重使得方差D最小，得到樣本點(diǎn)的較好的質(zhì)量評價結(jié)果。

該模型中的樣本點(diǎn)的質(zhì)量數(shù)據(jù)信息不全是完善的，有部分樣本點(diǎn)只有A，B 項數(shù)據(jù)，有部分樣本點(diǎn)有A，B，C 項數(shù)據(jù)，如何利用不完善的信息對樣本點(diǎn)進(jìn)行質(zhì)量排序。

解決方案：對具有權(quán)威數(shù)據(jù)C 項樣本點(diǎn)進(jìn)行質(zhì)量排序，設(shè)A，B 項數(shù)據(jù)誤差服從正太分布，以A，B 項數(shù)據(jù)對所有樣本點(diǎn)進(jìn)行質(zhì)量排序，計算該排序結(jié)果與只有C 項排序結(jié)果的誤差方差D 最小，這樣得到樣本點(diǎn)的較好的質(zhì)量評價結(jié)果。

設(shè)某模型的樣本點(diǎn)為x1，x2，x3…，A，B，C 是獲取樣本點(diǎn)質(zhì)量評估的數(shù)據(jù)，A 占a，B 占b，C 占c。a+b+c=1；把含有C 的樣本歸為一類Q，設(shè)αi，βi，γi分別為第i 個樣本在A，B，C 上的平均分?jǐn)?shù)。Yi為xi在A，B，C 的總評分，Yi=αi*a+βi*b+γi*c，根據(jù)總評分來質(zhì)量排序J，在Q 中A，B 服從正態(tài)分布，A 占e，B 占d，令e+d=1；Zi為xi在A，B 的總評分，Zi=αi*e+βi*d；根據(jù)總評分來質(zhì)量排序K，m 為含C樣本總數(shù)，方差通過調(diào)整A，B 的比重，使D 盡可能地小，讓排序J 和排序K 接近。

表1

初步得出的結(jié)論：在方差D 在允許范圍內(nèi)，AB 組合等價與ABC 組合的不確定，挺高評價的公平性。

該研究方法存在一個問題，對于沒有督導(dǎo)（C）評價的樣本點(diǎn)沒有進(jìn)行分析。所以對于沒有C 評價的樣本點(diǎn)不公平。該方案不可行。

研究方法二：主要目標(biāo)都是抓住具有權(quán)威性C 的樣本進(jìn)行排序。先選擇含有權(quán)威性C 的樣本點(diǎn)出來排序，得到序列J；想通過權(quán)威性的排序體現(xiàn)評價系統(tǒng)的公平性。將沒有權(quán)威性C 的樣本分出來再進(jìn)行排序,得出序列K，講序列J 的總評分插入到序列K 中，調(diào)整沒有權(quán)威C 的樣本點(diǎn)的比重，讓它接近公平。

不完善的數(shù)據(jù)和完善的數(shù)據(jù)樣本點(diǎn)都能用上了。利用這些樣本點(diǎn)如何通過調(diào)整比例得到公平的效果。

解決方案：對含有權(quán)威性C 的樣本點(diǎn)進(jìn)行篩選，對這些樣本點(diǎn)進(jìn)行一輪排序，得到序列J。J 的序列是不變的。另外篩選出沒有權(quán)威性C 的樣本點(diǎn)，得到序列K。將序列J 的每項樣本點(diǎn)按順序插入序列K 中，調(diào)整K 序列中A，B的比重得到新的序列N，能得到一條公平性較好的評價。

設(shè)該模型樣本點(diǎn)為x1，x2，x3…，A，B，C 是獲取樣本點(diǎn)質(zhì)量評估的數(shù)據(jù)，A 占a，B 占b，C 占c。a+b+c=1；設(shè)αi，βi，γi分別為第i 個樣本在A，B，C 上的平均分?jǐn)?shù)；把含有權(quán)威性C 的樣本點(diǎn)先篩選出來，進(jìn)行排序，得到序列J，其中Ji=αi*a+βi*b+γi*c；再將沒有權(quán)威性C 的樣本點(diǎn)整合成一個序列K，不需要急于排序。Ki=ai*γ+bi*（1-γ）因?yàn)檎{(diào)整A，B會使原序列Ki的序列改變，通過A，B 比重可以找到一條或者多條序列和我們所需的序列N。對于有多條序列我們同樣的要用方差來解決問題。

結(jié)論：由于缺少序列M 做比較確定序列N 的合理性公平性，至于序列M 是一條公平合理的排序序列（即參考序列）。該研究方法不可行。結(jié)論不成立。

經(jīng)過以上兩種研究方法，發(fā)現(xiàn)幾點(diǎn)問題：

①要實(shí)現(xiàn)公平，就要對有權(quán)威性和沒權(quán)威性的樣本都用來進(jìn)行數(shù)據(jù)測試。

②還要有一條規(guī)范的評價標(biāo)準(zhǔn)，方便作為對照模板，與待確認(rèn)的序列進(jìn)行比較，達(dá)到公平的目的。

③數(shù)據(jù)的使用，選擇數(shù)據(jù)具有隨機(jī)性，否者會讓人覺得數(shù)據(jù)不可靠。

④通過調(diào)整比例得出的序列不一定只有一條，若我們要找一條比較適合公平的序列還要用到方差來求解，讓方差更接近0，波動小，就選擇該序列。

⑤一個公平的智能評價系統(tǒng)，是針對于有權(quán)威性來僅需排序，對于沒有權(quán)威性的數(shù)據(jù)我們要正常使用，使用自定義的比例讓評價得到一定的公平，然后對權(quán)威數(shù)據(jù)進(jìn)行分析、對比。

以上面幾點(diǎn)問題為討論的中心內(nèi)容，得到第3 種研究方法：

同樣的我們還是要以權(quán)威數(shù)據(jù)C 項樣本進(jìn)行質(zhì)量篩選進(jìn)行排序，不同的是，用了類似高中的控制變量法來解決問題?？刂艫，B 的權(quán)威樣本（即含權(quán)威性C）數(shù)據(jù)不變，通過去掉C 項的評分，在調(diào)整A，B 的權(quán)威樣本評分比重。讓他們的排序和之前的排序一致，就可得出較公平的結(jié)論。其實(shí)比重可以用另外一種方式求解，這樣求解不太精確。我們的研究項目就是不確定信息來較好地去評價。

該研究方法能較公平地評價教師的成績。最終目的是將沒有權(quán)威性C 的樣本用一個比例去計算得到較公平的結(jié)果。畢竟權(quán)威性對教師較準(zhǔn)確，但是具有不確定性，會讓教師覺得不公平，為了解決這個問題，我們定義一個樣本集Z=xi（i=1，2，3……）。對于一位教師（即xi）評分的獲取由A，B，C 構(gòu)成。A 項是同學(xué)對教師的評分，B 項是老師的教師的評分，C 項是督導(dǎo)（即具有權(quán)威性）對教師的評分。A，B，C 分別占總體的a%，b%，c%；αi，βi，γi分別是xi中的A，B，C 所對應(yīng)的平均成績。對于第i 位教師的成績有權(quán)威性評價的樣本Yi=αi*a+βi*b+γi*c；對于沒權(quán)威性的評價樣本先保留到序列的最后，對Yi進(jìn)行排序得到一個有權(quán)威性的序列J，由于序列J 是有權(quán)威性的，所以就算怎么改變A，B 的比重也不能改變序列J 的排序。對于有權(quán)威性的樣本xi，只除去權(quán)威性的成績，保留A，B 原有的成績，將除去權(quán)威性的樣本歸為一類Q，Q 的A，B 比重重新規(guī)劃，設(shè)A占p，B 占1-p；對于每個除去權(quán)威性樣本xi 的平均成績Wi=αi*p+βi*（1-p）；將算出來的結(jié)果進(jìn)行排序，得到序列K，通過調(diào)整比例讓序列K 的排序和序列J 的排序一致。可得到公平的比例去等效于有權(quán)威性的樣本。

為了能深入地理解：例如有5 個樣本x1，x2，x3，x4，x5，其中A 項占50%，B 項占20%，C 項占30%。這是有權(quán)威性C 的公平評分比重。x1，x2，x4是有權(quán)威性C 評價的樣本，而x3和x5則沒有權(quán)威性評價。要讓他們能起到對比的作用。換一種想法，對于督導(dǎo)評價老師的成績那些樣本，去掉督導(dǎo)評價得到的不就是沒有權(quán)威性的評價那些樣本。所以將x1，x2，x4這些有權(quán)威性的數(shù)據(jù)找出來歸為一類Q，通過計算每個樣品的成績Y1=α1*0.5+β1*0.2+γ1*0.3；Y2=α2*0.5+β2*0.2+γ2*0.3；Y4=α4*0.5+β4*0.2+γ4*0.3；對Q 類的樣本Y1，Y2，Y4進(jìn)行排序，得到一個從大到小的序列J，假設(shè)序列為Y2，Y4，Y1。然后將Q 類的權(quán)威性C 評分去掉歸為P 類，剩下的就是X1，X2，X4樣本的A，B 項的平均成績，設(shè)A 項占比例的p，B項占1-p（0

表2

以下是我們探討的解決思路：

方式一：就是上面提到的p 算法，即通過調(diào)整p 的值改變總成績Zi的序列，讓該排序和有權(quán)威性C 的樣本排序基本一致，可以算出的p 在允許范圍內(nèi)，p 是在一個區(qū)間的，解決p 的具體值，就要用方差來計算兩個序列的方差，盡可能地使方差接近于零（運(yùn)用極限思想解決）。算出的p，這樣就可以將沒有督導(dǎo)評分的樣本用p 和1-p 來計算只有A,B 的評分的樣本，得到的數(shù)據(jù)可以較公平地去評價教師。

方式二：為了更能體現(xiàn)對于樣本集中本來就沒有督導(dǎo)評價的樣本實(shí)現(xiàn)公平。這是中期答辯發(fā)現(xiàn)的問題。為了解決這個問題，我們可以使用第二層比較的方式去處理。先回顧下前面的重要信息，我們是將含有權(quán)威性C 的樣本歸為Q 類，在Q 類的基礎(chǔ)上擴(kuò)展一開始就沒督導(dǎo)評價的樣本，即在Q 類中添加不含有權(quán)威性的Y3和Y5這兩個樣本。用假設(shè)法，我們先假設(shè)p 是個合理公平的比例；P 類是有除去權(quán)威性和沒有權(quán)威性的樣本集，可以算出每個樣本所對應(yīng)的總成績Zi=αi*p+βi*（1-p），進(jìn)行排序得到新序列K1，K1序列為：Z4，Z5，Z1，Z3，Z2。以K1作為公平標(biāo)準(zhǔn)的評價序列，再將p 回代到Q 類中的沒有權(quán)威性C 的樣本計算他們的總成績，有權(quán)威性C 的樣本還是按照原來的比重來計算每個樣本的總成績。對Q 類樣本的總成績進(jìn)行排序，得到新的序列J1，改變合理比例p 的值，如果p 改變了，序列K1和序列J1的序列都有可能發(fā)生變化，最終目的是讓序列J1和K1的樣本的排序達(dá)到一致的效果。那么該p 值就是我們所要找的合理比例?？梢杂胮 來計算那些沒有被督導(dǎo)評到的樣本，公平性大大地提高了，符合不確定信息進(jìn)行推理的人工智能評價系統(tǒng)。

筆者覺得方式二更能體現(xiàn)公平，因?yàn)檫@方式能考慮到各種情況的因素，對于有權(quán)威性的樣本和沒有權(quán)威性的樣本都能有一個模板進(jìn)行對比。

3 得出結(jié)論

結(jié)論：通過方式二，求得的p 可在沒有權(quán)威性的樣本進(jìn)行使用并計算得出的結(jié)果是具有公平性的，即有權(quán)威的樣本按原先給的比例計算和沒有權(quán)威的樣本用p 的值計算的公平性評價是等效的。

在該項目中的創(chuàng)新點(diǎn)就是，對于不確定的信息，要解決這類問題，還是要找到一條較明確的評分標(biāo)準(zhǔn)。用排序的思想去解決不確定的信息，讓不確定的信息在某種程度上看是確定的，即讓人覺得該系統(tǒng)能達(dá)到公平。

最重要的創(chuàng)新點(diǎn)是假設(shè)法和兩重對比，讓有權(quán)威和沒權(quán)威的樣本都能達(dá)到統(tǒng)一的公平的評價標(biāo)準(zhǔn)。假設(shè)一個評價標(biāo)準(zhǔn)：對于有權(quán)威的樣本按給定的評價標(biāo)準(zhǔn)比重作為評價標(biāo)準(zhǔn)，然后讓沒有權(quán)威的樣本假設(shè)有個評價標(biāo)準(zhǔn)比重p，能讓沒有權(quán)威的樣本變得和有權(quán)威的樣本使用的是同一套正確的評價標(biāo)準(zhǔn)。兩重對比體現(xiàn)在第一對于有權(quán)威的樣本和去掉權(quán)威的樣本進(jìn)行第一次對比，得到一個比重p的比例，假設(shè)p 是標(biāo)準(zhǔn)評價比例，那么對擴(kuò)展的Q 類（即包含沒有權(quán)威的）樣本中沒有權(quán)威的樣本代入p 進(jìn)行計算得到一個新的序列既有權(quán)威也有非權(quán)威的樣本排序J1，P類樣本中被除去的權(quán)威性的和本來就沒有權(quán)威性的樣本進(jìn)行排序得到K1，假設(shè)K1是用標(biāo)準(zhǔn)評價比重p 來計算的，那么就以K1作為模板進(jìn)行對比J1的序列是否一致。從而達(dá)到兩重對比，更具有說服力。

在研究該項目過程中，發(fā)現(xiàn)很多的問題，為了解決問題需要小組的討論，每當(dāng)討論出解決思路的時候，會有其他成員的思想不能達(dá)成一致，需要進(jìn)一步的交流。我們每遇到困難，并沒有先想放棄，而是想有沒有好的解決方案，如果一開始就放棄，可想而知，下次遇到困難就會放棄，有點(diǎn)像破窗原理。

4 研究成果

項目的研究成果：通過一系列的討論和分析得出p 的算法。讓不確定信息進(jìn)行推理的人工智能評價系統(tǒng)能更好地去解決公平性這個智能的問題。通過這次項目，讓我們提高自己的分析和解決能力。的確做一個項目要花費(fèi)挺多的時間和心思在上面，為進(jìn)入社會打下一定的基礎(chǔ)。

[1]李德毅，杜鸧.不確定性人工智能[M].國防工業(yè)出版社，2005.

[2]溫武，鐘沃堅.離散數(shù)學(xué)及應(yīng)用[M].華南理工大學(xué)出版社，2010.

[3]同濟(jì)大學(xué)應(yīng)用數(shù)學(xué)系.概率統(tǒng)計簡明教程[M].高等教育出版社，2003，7：83-85.

[4]郭平.基于多層次綜合評價系統(tǒng)的教學(xué)質(zhì)量評價系統(tǒng)[C].現(xiàn)代計算機(jī)，2006（237）：3.

[5]江麗麗.基于數(shù)據(jù)挖掘技術(shù)的教學(xué)內(nèi)容雙向評價系統(tǒng)的設(shè)計與實(shí)現(xiàn)[D].江蘇：中國礦業(yè)大學(xué)，2010.

[6]邰蕾蕾.青年科技人才績效評價系統(tǒng)的設(shè)計與實(shí)現(xiàn)[C].運(yùn)籌與管理，2013，22（6）：12.