淺析基金評審的模糊屬性

付雪峰，戴亞飛，黃艷，崔琳，陳擁軍

國家自然科學基金委員會，化學科學部，北京 100085

1 引言

基礎(chǔ)研究是整個科學體系的源頭1。國家對基礎(chǔ)研究項目的組織、評審、管理等出臺了一系列相關(guān)政策與規(guī)定。國務院印發(fā)的《關(guān)于全面加強基礎(chǔ)科學研究的若干意見》明確提出了“完善符合基礎(chǔ)研究規(guī)律的項目組織、申報、評審與決策機制”的要求2。國家自然科學基金委員會(以下簡稱基金委)是國家基礎(chǔ)研究項目的重要組織部門，貫徹“依靠專家、發(fā)揚民主、擇優(yōu)支持、公正合理”的方針，秉持“公開、公平、公正”的評審原則，采用同行評議的方式對項目申請進行評審。

高質(zhì)量的同行評議對實現(xiàn)基金項目的精準資助具有重要意義3-8。然而，評審過程中會出現(xiàn)同行評議結(jié)果與項目的真實質(zhì)量不相符的情況。本文將以國家自然科學基金項目的通訊評審(函評)為例，針對同行評議結(jié)果與項目真實質(zhì)量不相符的現(xiàn)象進行分析，提出可能的解決方案。

2 評審偏差

國家自然科學基金項目在申請階段的評審一般包括函評和會議評審(會評)兩個環(huán)節(jié)。函評過程中，每個項目均被分配給數(shù)名同行專家進行評審。評審專家針對項目的科學價值(Intellectual Merit)、影響力(Broader Impacts)、創(chuàng)新性(Originality)和可行性(Plausibility)進行評判。本文中，把上述四個要素的總體完成情況稱為項目的“真實質(zhì)量”，把評審專家對“真實質(zhì)量”的評價稱為“質(zhì)量預期”。評審專家在不受非科學因素干擾的情況下，理解所評項目的科學內(nèi)涵、準確把握評審標準，就能做出正確的“質(zhì)量預期”評價，給出合理的評審結(jié)果。

實際評審結(jié)果和理想評審預期之間有時會出現(xiàn)評審偏差(Bias in peer review)。評審偏差是指評審專家評審項目時，受到各種因素干擾而未能對項目進行準確、客觀、公正的評價9。評審偏差產(chǎn)生的原因很復雜10-12，可能因素包括：受到項目申請人學術(shù)地位或?qū)W緣關(guān)系等因素影響、自身科學鑒賞力不足、對項目研究內(nèi)容存在個人偏好以及對評審標準把握不一等13。本文主要探討由于對評審標準把握不一而產(chǎn)生的“質(zhì)量預期誤判”，從而導致評審偏差的問題。

基金委化學科學部(以下簡稱化學部)對歷年重要人才類項目和研究類項目的評審與執(zhí)行情況進行了大量的統(tǒng)計分析，試圖尋找評審偏差的來源，提出有效的解決措施和辦法，完善項目評審，提高項目遴選質(zhì)量，推動化學學科整體健康發(fā)展。通過統(tǒng)計分析發(fā)現(xiàn)，不僅函評評價和會評評價之間存在偏差，獲資助項目的會評評價與結(jié)題評價(項目完成質(zhì)量)之間也存在偏差。例如：獲資助項目會評評價一般，結(jié)題評價很好；獲資助項目會評評價很好，但結(jié)題評價一般。在排除項目負責人個體因素的情況下，說明在項目函評和會評階段，確實有部分評審專家對項目的評價出現(xiàn)了評審偏差。

3 基金評審的模糊屬性

從發(fā)布項目指南到項目結(jié)題驗收，國家自然科學基金項目管理過程涉及多個環(huán)節(jié)。2019年化學部在基金項目申請和評審過程中采取了“專家參與指派”、“三盲評審”等一系列新舉措14,15，并提出了會評的“確認-糾偏-擇優(yōu)”機制16，有效降低了由于項目申請人學術(shù)地位和學緣關(guān)系等因素導致的評審偏差。但是，由“質(zhì)量預期誤判”導致的評審偏差問題仍然沒有得到很好解決。

評審專家通過對項目申請真實質(zhì)量的評價形成質(zhì)量預期，并對質(zhì)量預期分別給出“好”或“不好”程度的判斷，再將這種判斷歸入“優(yōu)、良、中、差”等級(對應4、3、2、1評分)。然而，這些等級(或集合)之間的邊界并不清晰。在評審過程中，由于項目質(zhì)量預期評價的復雜性和專家對真實質(zhì)量認知的局限性，評審專家在做出評價決策時可能會在項目等級歸屬問題上猶豫不決。例如，質(zhì)量預期“好”到什么程度是“優(yōu)”？或者，比“優(yōu)”差多少是“良”？雖然每個等級的外在表現(xiàn)形式(評分值)是明確的，但其內(nèi)涵(質(zhì)量預期的等級)卻是不確定的、具有模糊屬性(如圖1所示)?；痦椖吭u審是一種群體決策17過程，單個評審專家對質(zhì)量預期等級的模糊性可能會導致評審偏差或因疊加作用產(chǎn)生更大的評審偏差，進而顛覆處于資助或不資助邊緣區(qū)域項目的評審結(jié)果。因此，有必要對基金評審過程中的模糊屬性進行詳細分析并進行合理處置。

圖1 基金評審的模糊屬性。

4 評審結(jié)果的模糊集合表達

在經(jīng)典集合(Two-valued Sets)理論中，一個對象是否屬于集合，只有“是”或者“否”兩種情況。比如定義一個集合表示“天氣熱”，那么我們需要設(shè)置一個閾值(如氣溫超過30 °C)。當氣溫高于這個閾值時，這天就屬于“天氣熱”集合，反之則不屬于“天氣熱”集合。這種歸類簡單明了，但在解決實際問題時可能會遇到困難：比如氣溫是29 °C時，就不屬于“天氣熱”集合了，但在人們主觀判斷上卻可能覺得天氣熱。這表明主觀評價中存在模糊屬性，經(jīng)典集合無法描述這種模糊屬性。在現(xiàn)實生活中，人們通常不會把諸如天氣、“顏值”等與人類主觀感受密切相關(guān)的事務簡單分成是或否、對或錯的類別，而更傾向于以“是”或“否”的程度來區(qū)分。例如，在進行天氣總體情況描述時，天氣預報一般不說：“今天熱，有云”，而會使用一些模糊的說法，如“今天天氣較熱，部分地區(qū)多云”等等。這些“較”、“部分”、“多”等修飾程度的語言雖然是模糊的，但在人類世界中卻可以傳遞比數(shù)值更為豐富的信息。

模糊集合(Fuzzy Sets)由L. A. Zadeh在1965年提出，用語言變量代替數(shù)值變量來描述系統(tǒng)行為，能夠較好地反映人類思維及決策過程的復雜性，更適用于“有人參與”的系統(tǒng)，提供了一種處理類似“天氣熱”等不確定性的有效方法18-21。模糊集合在自動控制、化工、交通、機器人、電子、家電、管理、決策、醫(yī)療、心理和經(jīng)濟等多方面得到了廣泛的應用，現(xiàn)已成為人工智能領(lǐng)域最為實用的理論工具之一22。

與經(jīng)典集合相比，模糊集合在處理“天氣熱”問題時，把氣溫作為基礎(chǔ)變量，構(gòu)建一個值域為[0，1]的一致性函數(shù)，給基礎(chǔ)變量賦予一個模糊參數(shù)(也稱為一致性)。如此，集合中的每個對象就由基礎(chǔ)變量(氣溫)和模糊參數(shù)(由一致性函數(shù)生成的0到1之間的數(shù)值)組成。由這些對象構(gòu)成的集合就是模糊集合。如氣溫為35 °C，則可表達為(35，1)，其中“1”表示這天完全屬于“天氣熱”模糊集合；如氣溫為15 °C，則可表達為(15，0)，其中“0”表示這天完全不屬于“天氣熱”模糊集合；如氣溫為25 °C，可表達為(25，0.7)，其中“0.7”表示以0.7的一致性屬于“天氣熱”模糊集合，當然也可以說是以某種“不一致性”不屬于“天氣熱”模糊集合。通過上述事例，我們可以得到模糊集合的幾個要素：一致性函數(shù)表示一個對象對于某個模糊集合的隸屬程度，這種隸屬程度用0到1之間的模糊參數(shù)表達，一個對象可以同時屬于多于一個模糊集合。

圖2 基金項目申請評分等級的模糊參數(shù)。

應用模糊集合理論，我們可對項目申請函評評價的每個等級或評分值賦予一致性函數(shù)，構(gòu)造等級或評分值的模糊集合，以此解決“優(yōu)、良、中、差”等級或“4、3、2、1”評分邊界不清晰的問題。如果將一個項目申請包中的所有項目申請當作一個集合，則“優(yōu)、良、中、差”等級就是這個項目申請包的四個模糊子集(項目評分等級的模糊參數(shù)如圖2所示)。若某個項目申請的質(zhì)量預期“特別好”，評分值就可表達為(4，1)，其中1表示完全屬于“優(yōu)”這個模糊子集；若某個項目的質(zhì)量預期“很好”，則可表達為(4，0.6)，也就是以0.6的一致性屬于“優(yōu)”這個模糊子集；若某個項目的質(zhì)量預期“較好”，則可表達為(3，0.8)，即以0.8的一致性屬于“良”這個模糊子集；若某個項目評審的質(zhì)量預期“不太好”，則可表達為(1，0.7)，即以0.7的一致性屬于“差”這個模糊子集。

在實際應用中，評審專家依然是按照現(xiàn)有評審規(guī)則對項目申請給出“優(yōu)、良、中、差”等級和對應的4、3、2、1評分，在專家完成評審之后，由系統(tǒng)通過一致性函數(shù)的算法進行相應的模糊參數(shù)賦值。我們希望運用模糊集合理論和一致性函數(shù)減小評審結(jié)果的質(zhì)量預期誤判，提升群體決策的共識程度，從而進一步提高評審質(zhì)量。

5 總結(jié)和展望

本文針對國家自然科學基金項目函評環(huán)節(jié)的同行評議進行分析，討論了基金評審結(jié)果的模糊屬性，闡述了如何利用模糊集合更精準地描述評審結(jié)果。評價等級/評分的模糊集合在形式上比較容易實現(xiàn)。但是，描述和設(shè)置模糊參數(shù)、構(gòu)造一致性函數(shù)、將一組評分的模糊集合轉(zhuǎn)化為一個確定的結(jié)論(或單一分值表達)是一個較為復雜的問題。今后，我們將針對正確構(gòu)建一致性函數(shù)開展深入研究，努力解決“質(zhì)量預期誤判”導致的評審偏差問題，以助力基金委“負責任、講信譽、計貢獻”的評審機制改革，為實現(xiàn)科學基金項目精準資助的目標提供理論依據(jù)。