學(xué)術(shù)文獻(xiàn)中知識(shí)單元的質(zhì)量評(píng)價(jià)研究

畢崇武 沈雪瑩 彭澤 祁寧杰

摘 要： ［目的／ 意義］ 為改變“以刊評(píng)文” 的學(xué)術(shù)質(zhì)量評(píng)價(jià)方法， 本文嘗試從文本片段入手開(kāi)展知識(shí)單元粒度的學(xué)術(shù)質(zhì)量評(píng)價(jià)。［方法／ 過(guò)程］ 首先基于知識(shí)單元的描述規(guī)則抽取學(xué)術(shù)文獻(xiàn)中的知識(shí)單元； 其次梳理現(xiàn)有的學(xué)術(shù)質(zhì)量評(píng)價(jià)指標(biāo)， 構(gòu)建初步的知識(shí)單元質(zhì)量評(píng)價(jià)體系； 然后完善初選的評(píng)價(jià)指標(biāo)體系， 并根據(jù)領(lǐng)域?qū)＜乙庖?jiàn)對(duì)待評(píng)的知識(shí)單元質(zhì)量進(jìn)行賦分； 最后利用回歸分析擬合各量化指標(biāo)與專(zhuān)家賦分， 實(shí)現(xiàn)知識(shí)單元質(zhì)量的自動(dòng)評(píng)價(jià)。［結(jié)果／ 結(jié)論］ 構(gòu)建起以形式評(píng)價(jià)、內(nèi)容評(píng)價(jià)和效用評(píng)價(jià)為核心的三維評(píng)價(jià)模型， 實(shí)現(xiàn)了融合領(lǐng)域?qū)＜乙庖?jiàn)的知識(shí)質(zhì)量自動(dòng)化計(jì)量方法， 克服了長(zhǎng)久以來(lái)學(xué)術(shù)質(zhì)量評(píng)價(jià)過(guò)度依賴(lài)于學(xué)術(shù)載體的不足， 真正將學(xué)術(shù)評(píng)價(jià)的單位從知識(shí)載體深入到知識(shí)內(nèi)容中。

關(guān)鍵詞： 知識(shí)質(zhì)量； 知識(shí)單元； 知識(shí)計(jì)量； 知識(shí)評(píng)價(jià)

ＤＯＩ：１０．３９６９ ／ ｊ．ｉｓｓｎ．１００８－０８２１．２０２３．１１．００９

〔中圖分類(lèi)號(hào)〕Ｇ２０３ 〔文獻(xiàn)標(biāo)識(shí)碼〕Ａ 〔文章編號(hào)〕１００８－０８２１ （２０２３） １１－０１１２－１１

自１６６５ 年世界上第一本學(xué)術(shù)期刊《學(xué)者雜志》（Ｊｏｕｒｎａｌ ｄｅｓ Ｓｃａｖａｎｓ）問(wèn)世以來(lái)， 以期刊出版為核心的學(xué)術(shù)交流體系為學(xué)術(shù)研究提供了極大保障，并由此衍生出以學(xué)術(shù)期刊為基礎(chǔ)的學(xué)術(shù)評(píng)價(jià)活動(dòng)。

目前， 影響因子、被引頻次等指標(biāo)已廣泛應(yīng)用至學(xué)位申請(qǐng)、績(jī)效考核、職稱(chēng)評(píng)審等科研環(huán)節(jié)［１］ ， “以刊評(píng)文” 的現(xiàn)象越演越烈。事實(shí)上， 根據(jù)引文分析的研究結(jié)果， 學(xué)術(shù)期刊的引用存在著高度集中的分布規(guī)律， 學(xué)術(shù)期刊的評(píng)測(cè)質(zhì)量并不能反映單篇論文的實(shí)際質(zhì)量。

２０２０ 年２ 月， 科技部、教育部連續(xù)出臺(tái)《關(guān)于破除科研評(píng)價(jià)中“唯論文” 不良導(dǎo)向的若干措施（試行）》《關(guān)于規(guī)范高等學(xué)校ＳＣＩ 論文相關(guān)指標(biāo)使用 樹(shù)立正確評(píng)價(jià)導(dǎo)向的若干意見(jiàn)》， 直指學(xué)術(shù)評(píng)價(jià)中“唯論文” “ＳＣＩ 至上” 等“以刊評(píng)文” 的不良導(dǎo)向。由此可見(jiàn)， 科技管理部門(mén)對(duì)破除現(xiàn)有學(xué)術(shù)評(píng)價(jià)頑疾早已有所導(dǎo)向， 但對(duì)于如何構(gòu)建一個(gè)科學(xué)、合理的評(píng)價(jià)體系仍在探索。

為徹底摒棄“以刊評(píng)文” 的評(píng)價(jià)理念， 本文提出了一種知識(shí)單元粒度的學(xué)術(shù)質(zhì)量評(píng)價(jià)方法。該方法從形式、內(nèi)容和效用３ 個(gè)維度展開(kāi)學(xué)術(shù)評(píng)價(jià)，并融合專(zhuān)家意見(jiàn)實(shí)現(xiàn)知識(shí)質(zhì)量的自動(dòng)化計(jì)量。研究成果旨在克服以往學(xué)術(shù)質(zhì)量評(píng)價(jià)過(guò)度依賴(lài)學(xué)術(shù)載體的不足， 將學(xué)術(shù)評(píng)價(jià)單位從知識(shí)載體深入到知識(shí)內(nèi)容中。

１ 文獻(xiàn)回顧與啟示

知識(shí)的定義方式?jīng)Q定了知識(shí)質(zhì)量的概念。管理學(xué)領(lǐng)域評(píng)價(jià)科研成果時(shí)， 知識(shí)通常指人類(lèi)在特定時(shí)空針對(duì)某一問(wèn)題形成的解答［２］ ， 而知識(shí)質(zhì)量通常指這一解答在提高生產(chǎn)力、影響社會(huì)生活、節(jié)約試錯(cuò)成本以及知識(shí)增值等特性上滿(mǎn)足要求的程度［３］ 。本文通過(guò)回溯已有研究成果， 試圖尋找知識(shí)單元的質(zhì)量計(jì)量方法。

１.１ 相關(guān)文獻(xiàn)回顧

國(guó)內(nèi)外少有文獻(xiàn)探討過(guò)知識(shí)質(zhì)量的計(jì)量或評(píng)價(jià)問(wèn)題。邱均平等［４］ 曾提出， 知識(shí)質(zhì)量計(jì)量是知識(shí)計(jì)量研究中的重要內(nèi)容， 是對(duì)知識(shí)及其成果的學(xué)術(shù)質(zhì)量和社會(huì)影響的評(píng)價(jià)。周波等［５］ 從信號(hào)、過(guò)程、模型、本體４ 個(gè)維度探索了知識(shí)市場(chǎng)情景下的知識(shí)質(zhì)量評(píng)價(jià)模型。Ｒａｏ Ｌ 等［６］ 和Ｙｏｏ Ｄ Ｋ 等［７］ 分別以企業(yè)內(nèi)部知識(shí)管理、項(xiàng)目團(tuán)隊(duì)成員合作為情景提出了多維度的知識(shí)質(zhì)量評(píng)價(jià)模型。此外， 也有少數(shù)學(xué)者探究在線(xiàn)問(wèn)答社區(qū)或管理信息系統(tǒng)中的知識(shí)質(zhì)量評(píng)估問(wèn)題， 尤其是在線(xiàn)醫(yī)療平臺(tái)中的用戶(hù)內(nèi)容評(píng)估問(wèn)題［８－１０］ 。事實(shí)上， 這些稀少的研究成果無(wú)法為本文提供充分的研究基礎(chǔ)。因此， 本文從更寬泛的研究視角回顧有關(guān)學(xué)術(shù)質(zhì)量評(píng)價(jià)、信息質(zhì)量評(píng)價(jià)的相關(guān)文獻(xiàn)， 以求為本文研究構(gòu)建基礎(chǔ)。

１） 學(xué)術(shù)質(zhì)量評(píng)價(jià)方法

學(xué)術(shù)質(zhì)量評(píng)價(jià)經(jīng)歷了從表面到內(nèi)在、從單維到多維、從人工到自動(dòng)的發(fā)展過(guò)程， 所聚焦的評(píng)價(jià)指標(biāo)體系涵蓋了規(guī)范性評(píng)價(jià)、科學(xué)性評(píng)價(jià)、影響力評(píng)價(jià)、創(chuàng)新性評(píng)價(jià)等［１１］ 。目前開(kāi)展學(xué)術(shù)質(zhì)量評(píng)價(jià)最普遍的研究思路是： 在設(shè)計(jì)科學(xué)、客觀的評(píng)價(jià)體系的基礎(chǔ)上， 以同行評(píng)議及其改進(jìn)方法為主， 以文獻(xiàn)計(jì)量、科學(xué)計(jì)量等引文評(píng)價(jià)方法為輔， 力求將人工智能技術(shù)應(yīng)用于學(xué)術(shù)質(zhì)量的自動(dòng)化評(píng)價(jià)中。在同行評(píng)議方面， 現(xiàn)有研究對(duì)不同方法的可靠性、公平性、有效性開(kāi)展了廣泛而深入的討論， 并設(shè)置了保障措施確保評(píng)議結(jié)果的質(zhì)量［１２－１４］ 。在引文評(píng)價(jià)方面， 學(xué)者們基于學(xué)術(shù)文獻(xiàn)的引用機(jī)制， 利用引用內(nèi)容、引用位置、引用情感等信息， 設(shè)計(jì)評(píng)價(jià)指標(biāo)來(lái)間接地開(kāi)展學(xué)術(shù)質(zhì)量評(píng)價(jià)［１５－１６］ 。此外， 人工智能技術(shù)的日益成熟使海量的定量分析和高效的定性分析成為可能。大量研究致力于利用自動(dòng)化評(píng)價(jià)減輕評(píng)審負(fù)擔(dān)、增加評(píng)審效率， 也由此成為學(xué)術(shù)質(zhì)量評(píng)價(jià)的一個(gè)方向［１７－１８］ 。

２） 信息質(zhì)量評(píng)價(jià)方法

信息質(zhì)量評(píng)價(jià)由起初僅評(píng)價(jià)信息資源的好壞，逐步發(fā)展為如今包含用戶(hù)主觀價(jià)值取向因素在內(nèi)的多屬性評(píng)估［１９］ 。Ｍａｒｓｃｈａｋ Ｊ［２０］ 最早提出信息質(zhì)量表征的是信息資源描述客觀事物或事件的準(zhǔn)確程度， 在此基礎(chǔ)上Ｊｕｒａｎ Ｊ Ｍ［２１］ 拓展出有用性和適用性?xún)蓚€(gè)信息質(zhì)量評(píng)價(jià)維度。此后， 大量學(xué)者從信息產(chǎn)品服務(wù)角度提出高質(zhì)量的信息應(yīng)滿(mǎn)足受眾群體的用戶(hù)需求， 并構(gòu)建了諸多多維度、多屬性的信息質(zhì)量評(píng)價(jià)模型［２２－２５］ 。隨著社交網(wǎng)絡(luò)的發(fā)展， 網(wǎng)絡(luò)中的信息質(zhì)量受到廣泛關(guān)注， 不少學(xué)者以官方門(mén)戶(hù)網(wǎng)站、在線(xiàn)問(wèn)答社區(qū)為代表， 對(duì)網(wǎng)絡(luò)信息質(zhì)量開(kāi)展了全面、系統(tǒng)的研究工作， 并成為當(dāng)前的研究熱點(diǎn)［２６－２７］ 。通過(guò)梳理已有研究可知， 當(dāng)前評(píng)價(jià)方法可分為定性、定量和半定量３ 類(lèi)。其中， 定性評(píng)價(jià)有利于從整體上把握信息質(zhì)量的核心概念， 能夠?qū)﹄y以量化的評(píng)價(jià)對(duì)象進(jìn)行評(píng)估， 而定量評(píng)估能夠獲得更加客觀、公正的評(píng)價(jià)結(jié)果。但需注意的是， 無(wú)論選用何種信息質(zhì)量評(píng)價(jià)方法， 其評(píng)估工作均是一項(xiàng)系統(tǒng)性工程， 必須遵守規(guī)范化的評(píng)估程序［２８］ 。

１.２ 已有文獻(xiàn)啟示

回顧已有文獻(xiàn)不難發(fā)現(xiàn)， 無(wú)論是學(xué)術(shù)質(zhì)量評(píng)價(jià)還是信息質(zhì)量評(píng)價(jià)， 每項(xiàng)研究的評(píng)價(jià)過(guò)程各有優(yōu)劣， 選取的評(píng)價(jià)指標(biāo)均對(duì)應(yīng)特定情境， 因此知識(shí)質(zhì)量評(píng)價(jià)無(wú)法完全照搬任何一個(gè)評(píng)價(jià)模型或評(píng)價(jià)體系， 但是既有理論也提供了如下啟示。

１） 選用多維度評(píng)價(jià)體系全面測(cè)量知識(shí)質(zhì)量

知識(shí)本身較為抽象， 難以像普通產(chǎn)品通過(guò)定量參數(shù)直接測(cè)量其質(zhì)量， 因此需要多個(gè)評(píng)價(jià)維度使其質(zhì)量的概念由抽象變得具體。此外， 單維度評(píng)價(jià)體系會(huì)產(chǎn)生較大的主觀偏差， 而多維度評(píng)價(jià)體系能夠在一定程度上降低誤判風(fēng)險(xiǎn)。

２） 融合主觀的定性評(píng)價(jià)與客觀的定量評(píng)價(jià)

定性評(píng)價(jià)能夠借助評(píng)價(jià)者的邏輯分析與經(jīng)驗(yàn)判斷克服知識(shí)本身較為抽象的問(wèn)題， 而定量評(píng)價(jià)能夠具體、精準(zhǔn)地排除主觀因素影響?？傮w說(shuō)來(lái)， 定性評(píng)價(jià)與定量評(píng)價(jià)各有優(yōu)勢(shì)， 應(yīng)該將兩者結(jié)合起來(lái)，形成綜合的評(píng)價(jià)方法［２９］ 。

３） 借助人工智能實(shí)現(xiàn)知識(shí)質(zhì)量的快速評(píng)估

以往學(xué)術(shù)評(píng)價(jià)活動(dòng)受限于數(shù)據(jù)獲取、數(shù)據(jù)分析等問(wèn)題， 其評(píng)價(jià)結(jié)果難以全面反映客觀事實(shí)。隨著人工智能技術(shù)逐步滲透到學(xué)術(shù)評(píng)價(jià)的各個(gè)流程， 利用計(jì)算機(jī)完成知識(shí)質(zhì)量評(píng)測(cè)， 可以解決主觀判斷弊端， 并極大地提高評(píng)測(cè)效率。

２ 知識(shí)單元的質(zhì)量評(píng)價(jià)指標(biāo)體系構(gòu)建

２.１ 評(píng)價(jià)指標(biāo)的初步篩選

通過(guò)閱讀和綜述關(guān)于知識(shí)質(zhì)量、信息質(zhì)量和學(xué)術(shù)質(zhì)量的相關(guān)文獻(xiàn)， 本文認(rèn)為知識(shí)單元的質(zhì)量可以根據(jù)多方面因素來(lái)測(cè)量。例如， 來(lái)源、認(rèn)證、推介等外部特征； 準(zhǔn)確性、創(chuàng)新性、可驗(yàn)性等內(nèi)部特征；實(shí)際作用、有效程度、影響范圍等使用特征。在此基礎(chǔ)上， 本文借鑒葉繼元教授［３０］ 提出的“全評(píng)價(jià)”體系框架， 將定性評(píng)價(jià)和定量評(píng)價(jià)相融合， 進(jìn)而擴(kuò)展到以形式評(píng)價(jià)、內(nèi)容評(píng)價(jià)和效用評(píng)價(jià)為核心的三維評(píng)價(jià)模式， 并初步選?。保?個(gè)評(píng)價(jià)指標(biāo)納入考慮范圍， 如表１ 所示。

在劃定評(píng)價(jià)指標(biāo)范圍后， 為實(shí)現(xiàn)評(píng)價(jià)指標(biāo)的規(guī)范化篩選， 本文依據(jù)訪(fǎng)談結(jié)果修正評(píng)價(jià)指標(biāo)的相關(guān)表述， 重點(diǎn)從合理性和完整性?xún)蓚€(gè)方面， 探討評(píng)價(jià)指標(biāo)的劃分是否合理、名稱(chēng)是否恰當(dāng)、語(yǔ)義是否模糊、操作是否可行等問(wèn)題。由于表１ 中部分指標(biāo)間的邏輯關(guān)系存在著交叉部分， 為了后續(xù)設(shè)計(jì)問(wèn)卷時(shí)簡(jiǎn)潔明了， 本文前期采用非結(jié)構(gòu)化訪(fǎng)談確定初步的知識(shí)單元質(zhì)量評(píng)價(jià)指標(biāo)體系。為了保證訪(fǎng)談結(jié)果的準(zhǔn)確性和有效性， 本文邀請(qǐng)了圖書(shū)情報(bào)領(lǐng)域研究方向?yàn)椤翱茖W(xué)計(jì)量” 和“知識(shí)組織” 的６ 名博士研究生作為被訪(fǎng)談?wù)?。訪(fǎng)談過(guò)程共分為兩個(gè)部分， 前期與被訪(fǎng)談?wù)呔椭R(shí)單元質(zhì)量評(píng)價(jià)應(yīng)該需要什么指標(biāo)進(jìn)行一對(duì)一訪(fǎng)談； 后期將被訪(fǎng)談?wù)呔奂谝黄穑_(kāi)展小型座談會(huì)， 就得到的結(jié)果進(jìn)行篩選與總結(jié)。最終， 本文得到如圖１ 所示的知識(shí)單元質(zhì)量評(píng)價(jià)指標(biāo)體系的初選結(jié)果。

由圖１ 可知， 形式評(píng)價(jià)、內(nèi)容評(píng)價(jià)和效用評(píng)價(jià)各有側(cè)重。其中， 形式評(píng)價(jià)針對(duì)知識(shí)質(zhì)量的信號(hào)特征， 依據(jù)知識(shí)自生產(chǎn)至應(yīng)用等諸多環(huán)節(jié)中的質(zhì)量信號(hào)， 可將其概括為知識(shí)來(lái)源、知識(shí)認(rèn)證和知識(shí)推介。雖然知識(shí)質(zhì)量的信號(hào)特征并不等同于知識(shí)質(zhì)量， 但是甄別、對(duì)比和理解知識(shí)質(zhì)量的信號(hào)特征卻是推斷知識(shí)質(zhì)量的重要手段［５］ 。內(nèi)容評(píng)價(jià)針對(duì)知識(shí)單元的實(shí)際描述， 根據(jù)分結(jié)構(gòu)化訪(fǎng)談結(jié)果， 圖１ 將表１中的“新穎性” 和“創(chuàng)新性” 統(tǒng)稱(chēng)為“創(chuàng)新性”，將“可驗(yàn)性” 和“科學(xué)性” 統(tǒng)稱(chēng)為“科學(xué)性”。因?yàn)樵谠L(fǎng)談過(guò)程中， 大部分被訪(fǎng)談?wù)哒J(rèn)為知識(shí)主題的新穎程度也屬于廣泛意義上的創(chuàng)新程度。本文結(jié)合文獻(xiàn)［３１］中將學(xué)術(shù)創(chuàng)新劃分為“大創(chuàng)新” 和“小創(chuàng)新”， 即從創(chuàng)新的理論本身出發(fā)， 不管是主題性的“大創(chuàng)新” 還是方法上的“小創(chuàng)新”， 均屬于創(chuàng)新的范疇， 因此將“新穎性” 和“創(chuàng)新性” 統(tǒng)稱(chēng)為“創(chuàng)新性”。另外， 在小型座談會(huì)中， 被訪(fǎng)談?wù)咭恢抡J(rèn)為“可驗(yàn)性” 可以歸屬于“科學(xué)性”， 因?yàn)槿绻荒芡ㄟ^(guò)實(shí)際操作來(lái)檢驗(yàn)的知識(shí)內(nèi)容， 則知識(shí)內(nèi)容缺乏說(shuō)服力， 也無(wú)法稱(chēng)為知識(shí)。在此基礎(chǔ)上，本文參考文獻(xiàn)［４４－４５］中的想法———可驗(yàn)性是檢驗(yàn)內(nèi)容是否科學(xué)的重要指標(biāo)之一， 將表１ 中的“可驗(yàn)性” 指標(biāo)歸類(lèi)于“科學(xué)性” 指標(biāo)。效應(yīng)評(píng)價(jià)針對(duì)知識(shí)單元的應(yīng)用效果， 本文將其劃分為實(shí)際作用、有效程度和影響范圍。

２.２ 指標(biāo)體系的檢測(cè)與分析

２.２.１ 問(wèn)卷設(shè)計(jì)與發(fā)放

為進(jìn)一步驗(yàn)證指標(biāo)體系的可行性和合理性， 本文通過(guò)在網(wǎng)絡(luò)和實(shí)地發(fā)放調(diào)查問(wèn)卷， 獲取科研人員針對(duì)不同評(píng)價(jià)指標(biāo)的真實(shí)態(tài)度。由于問(wèn)卷的發(fā)放目的是探究知識(shí)單元的質(zhì)量評(píng)價(jià)指標(biāo)體系， 涉及到學(xué)術(shù)文獻(xiàn)中的知識(shí)單元使用及評(píng)價(jià)， 因此調(diào)查對(duì)象需要對(duì)學(xué)術(shù)研究具有一定了解。鑒于此， 本文通過(guò)設(shè)置“是否參與過(guò)科研工作” 這一選項(xiàng)過(guò)濾出有效問(wèn)卷； 并且， 為了保證調(diào)查文件的數(shù)據(jù)可靠， 降低被試者的習(xí)慣性好評(píng)或壞評(píng)， 本文對(duì)量表中的每個(gè)問(wèn)題設(shè)置了正反面， 根據(jù)正反面的得分情況再一次篩選出有效問(wèn)卷。有效問(wèn)卷篩選規(guī)則為“是否參與過(guò)科研工作” ＝“是”， 正反面回答的平均得分位于區(qū)間［２.５，３.５］。最終， 本文總計(jì)回收的調(diào)查問(wèn)卷３２４ 份， 其中有效問(wèn)卷２００ 份。以這些數(shù)據(jù)為基礎(chǔ)， 本文根據(jù)信度分析和效度分析的常規(guī)流程， 對(duì)圖１ 中由初選結(jié)果構(gòu)建的指標(biāo)體系進(jìn)行完善。

首先， 檢測(cè)有效問(wèn)卷的可靠性， 計(jì)算Ａｌｐｈａ 為０.７５５（＜０.７，０.８＞）， 說(shuō)明量表中具有較高的內(nèi)在一致性。然后， 依據(jù)ＫＭＯ 檢驗(yàn)和Ｂａｒｔｌｅｔｔ 球形檢驗(yàn)，以檢測(cè)問(wèn)卷數(shù)據(jù)是否適合做因子分析， 如表２ 所示。其中， ＫＭＯ 值為０.７５４（＞０.６）； 球形檢驗(yàn)顯著性為０.０００（＜０.００５）， 表明量表數(shù)據(jù)具有效度。

２.２.２ 探索性因子分析

使用ＳＰＳＳ ２３.０ 對(duì)隨機(jī)選取的１０２ 份有效問(wèn)卷進(jìn)行探索性因子分析。首先計(jì)算每個(gè)因子的正反面平均得分， 以此作為每個(gè)因子分析的輸入數(shù)據(jù)。每個(gè)因子記為Ｋｉ ， 對(duì)應(yīng)圖１ 中的具體指標(biāo)。然后選擇“主成分分析” 方法， 提取特征值大于１ 的因子， 并選取“最大方差法” 獲得旋轉(zhuǎn)后的成分矩陣如表３ 所示。

由表３ 可知， 形式評(píng)價(jià)包括知識(shí)來(lái)源Ｋ１、知識(shí)認(rèn)證Ｋ２、知識(shí)推介Ｋ３ 和相容性Ｋ５； 內(nèi)容評(píng)價(jià)包括準(zhǔn)確性Ｋ４ 和科學(xué)性Ｋ７； 效用評(píng)價(jià)包括實(shí)際作用Ｋ８、有效程度Ｋ９、影響范圍Ｋ１０。創(chuàng)新性Ｋ６ 的最高值為０.４６４＜０.５， 效度較低， 因此將該指標(biāo)刪除。表３ 結(jié)果與圖１ 中的指標(biāo)體系較為相符， 接下來(lái)結(jié)合驗(yàn)證性因子對(duì)指標(biāo)體系進(jìn)行修正和確立。后續(xù)２.３ 小節(jié)將針對(duì)指標(biāo)的修改給出合理解釋。

２.２.３ 驗(yàn)證性因子分析

使用ＩＢＭ ＳＰＳＳ Ａｍｏｓ ２１.０ 工具進(jìn)行驗(yàn)證性因子分析， 即利用剩下的９８ 份有效問(wèn)卷對(duì)３ 個(gè)潛變量、９ 個(gè)觀測(cè)變量和９ 個(gè)殘差變量的模型進(jìn)行效度驗(yàn)證。本文采用最大似然估計(jì)（Ｍａｘｉｍｕｍ Ｌｉｋｅｌｉ?ｈｏｏｄ）得到因子載荷系數(shù)如表４ 所示。

表４ 展示了不同因子與關(guān)聯(lián)變量間的相關(guān)關(guān)系， 通常使用標(biāo)準(zhǔn)化載荷系數(shù)來(lái)表示相關(guān)關(guān)系。從Ｐ 值可以看出， Ｐ（Ｋ１ ）＝ ０.３７２＞０.００１， 并且其標(biāo)準(zhǔn)化載荷系數(shù)僅為０.１０４＜０.４， 說(shuō)明Ｋ１ 與Ｆ１ 之間的對(duì)應(yīng)關(guān)系非常弱， 需從Ｆ１ 中移除； Ｋ５ 的標(biāo)準(zhǔn)化載荷系數(shù)為０.３６９＜０.４， 說(shuō)明Ｋ５ 與Ｆ１ 之間的對(duì)應(yīng)關(guān)系也較弱， 可將其從Ｆ１ 中移除。移除Ｋ１、Ｋ５ 指標(biāo)之后， 本文得到的模型擬合指標(biāo)結(jié)果如表５ 所示。表５ 數(shù)據(jù)顯示， 移除指標(biāo)后的模型擬合程度相對(duì)較好。

２.３ 指標(biāo)體系的修正與確立

本文綜合考慮了探索性因子分析和驗(yàn)證性因子分析的計(jì)算結(jié)果， 調(diào)整了最初的知識(shí)單元質(zhì)量評(píng)價(jià)指標(biāo)體系， 如圖２ 所示。圖２ 與圖１ 的前期結(jié)果相比， 知識(shí)來(lái)源Ｋ１、相容性Ｋ５ 和創(chuàng)新性Ｋ６ 經(jīng)過(guò)信度和效度的測(cè)驗(yàn)， 均已移除。從這一結(jié)果來(lái)看， 科研人員在利用知識(shí)時(shí)， 更加關(guān)注知識(shí)的準(zhǔn)確性和效用， 而知識(shí)來(lái)源和相容性相對(duì)來(lái)說(shuō)不是很重要； 此外， 檢測(cè)結(jié)果顯示知識(shí)單元的創(chuàng)新性需要從指標(biāo)體系中移除。筆者認(rèn)為這一原因在于： 知識(shí)單元的質(zhì)量評(píng)價(jià)體系不等同于學(xué)術(shù)評(píng)價(jià)體系， 知識(shí)單元作為最小、獨(dú)立的知識(shí)單位， 是存在于人類(lèi)知識(shí)庫(kù)中結(jié)構(gòu)化的有價(jià)值信息， 其中強(qiáng)調(diào)的知識(shí)并非必須具有創(chuàng)新性， 而是必須具有科學(xué)性， 因此知識(shí)的創(chuàng)新性在知識(shí)單元的質(zhì)量評(píng)價(jià)體系中未被領(lǐng)域?qū)＜抑匾暋?/p>

３ 融合專(zhuān)家意見(jiàn)的知識(shí)質(zhì)量自動(dòng)化計(jì)量方法

當(dāng)前學(xué)術(shù)評(píng)價(jià)的主要方式是專(zhuān)家評(píng)審， 這不僅需要大量評(píng)審專(zhuān)家， 耗時(shí)、耗力， 而且受主觀偏見(jiàn)、研究方向等因素影響。如果能夠由計(jì)算機(jī)自動(dòng)化完成評(píng)價(jià)過(guò)程， 并給出評(píng)價(jià)結(jié)果的分析報(bào)告， 可以在一定程度上解決上述問(wèn)題。本文設(shè)計(jì)了知識(shí)單元質(zhì)量的自動(dòng)化評(píng)估思路， 如圖３ 所示。

首先， 從輸入數(shù)據(jù)中提取各計(jì)量指標(biāo)對(duì)應(yīng)的質(zhì)量特征ｘ； 然后， 構(gòu)建回歸模型刻畫(huà)知識(shí)單元的質(zhì)量特征ｘ 和預(yù)測(cè)結(jié)果ｐ 之間的潛在關(guān)系， 并通過(guò)模型訓(xùn)練確定各評(píng)價(jià)指標(biāo)的實(shí)際參數(shù)； 最后， 選取優(yōu)化算法不斷縮小預(yù)測(cè)結(jié)果ｐ 與專(zhuān)家評(píng)分ｙ 之間的誤差數(shù)值， 實(shí)現(xiàn)專(zhuān)家評(píng)測(cè)結(jié)果與自動(dòng)計(jì)量結(jié)果趨于一致。

３.１ 評(píng)價(jià)指標(biāo)的獲取與量化

３.１.１ 形式評(píng)價(jià)維度計(jì)量指標(biāo)

１） 知識(shí)認(rèn)證

知識(shí)單元是組成知識(shí)的基本單元， 對(duì)其認(rèn)證可依據(jù)其載體的認(rèn)證結(jié)果。學(xué)術(shù)期刊是知識(shí)單元的重要載體， 其影響因子雖可在一定程度上揭示學(xué)術(shù)期刊的實(shí)際水平， 但容易受到單篇高被引論文影響。