廣西科技報告專業(yè)質(zhì)量評價指標體系構(gòu)建研究

陳怡玲,徐 燕,李 榮,黃 輝

(1.廣西壯族自治區(qū)科學(xué)技術(shù)情報研究所,廣西 南寧 530022;2.廣西警察學(xué)院,廣西 南寧 530028)

0 引言

科技報告是科技人員為了描述其從事的科研、設(shè)計、工程、試驗和鑒定等活動的過程、進展及結(jié)果,按照規(guī)定的標準格式編寫而成的特種文獻[1]?？萍紙蟾媸强蒲泄ぷ髡哂涗涰椖垦芯抗ぷ魅^程的特種文獻,是科技創(chuàng)新成果的一種表現(xiàn)形式,是科技人員交流其研究活動及成果的重要手段。優(yōu)質(zhì)的科技報告還能夠從側(cè)面反映一個國家或地區(qū)整體的科研狀況以及發(fā)展的趨勢。因此,提高科技報告質(zhì)量對整個科技報告制度建設(shè),對實現(xiàn)社會主義現(xiàn)代化的偉大事業(yè)有著極其重要的意義。

自從2014年國家全面推進民口科技報告制度建設(shè)以來,我國科技報告數(shù)量直線上升。截至2022年11月,國家科技報告服務(wù)系統(tǒng)官網(wǎng)顯示,已收錄科技報告38.5萬份。廣西科技報告制度建設(shè)起步相對較晚,從2018年1月開始在部分自治區(qū)科技計劃項目中收集科技報告,截至2022年12月,廣西科技報告服務(wù)系統(tǒng)收藏科技報告數(shù)量為5 000余份。由于廣西科技報告制度建設(shè)尚處于初級階段,該階段主要以收集報告、數(shù)據(jù)積累為主,并沒有強調(diào)科技報告的質(zhì)量。隨著試點工作的推進,科技報告數(shù)量不斷增加,科技報告質(zhì)量參差不齊的問題日益顯現(xiàn)。比如,有些科技報告篇幅較短,文章結(jié)構(gòu)不合理,寫作邏輯不科學(xué),布局謀篇不規(guī)范,對技術(shù)內(nèi)容描述不夠深入,對研究過程描述過于簡單等。而且目前的審核主要是格式上的審核和評價,專業(yè)技術(shù)內(nèi)容評價尚未開展。這些問題不單是廣西科技報告質(zhì)量審核中存在的問題,也是國家和地方科技報告審核中普遍存在的問題。針對這些問題,國內(nèi)相關(guān)學(xué)者開展了有關(guān)科技報告質(zhì)量評價的理論研究,但在實踐中只有國防科技報告部分開展了科技報告質(zhì)量評價,民口科技報告領(lǐng)域尚未開展科技報告質(zhì)量評價的實踐活動。因此,在科技報告審核流程中引入科技報告質(zhì)量評價是有現(xiàn)實意義的。

國內(nèi)科技報告研究學(xué)者普遍認為,科技報告的質(zhì)量可分為文獻質(zhì)量(撰寫水平、編制質(zhì)量)、專業(yè)質(zhì)量(技術(shù)內(nèi)容、科學(xué)價值)和效益質(zhì)量(應(yīng)用價值、使用價值)3個層次[2]。其中,專業(yè)質(zhì)量從根本上決定一篇科技報告的實際質(zhì)量?？萍紙蟾娴膶I(yè)質(zhì)量是反映科技報告實質(zhì)質(zhì)量的最重要指標,評價內(nèi)容主要是技術(shù)研究內(nèi)容的完整性、技術(shù)內(nèi)容的創(chuàng)新性、技術(shù)成果的可重復(fù)性等。在科技報告3個質(zhì)量層次中,專業(yè)質(zhì)量為最根本的層次,最能反映報告的科學(xué)價值和創(chuàng)新性,是整個科技報告質(zhì)量的核心和靈魂,文獻質(zhì)量和效益質(zhì)量均需以專業(yè)質(zhì)量為基礎(chǔ)。因此,在科技報告質(zhì)量評價中強調(diào)專業(yè)質(zhì)量評價,由相關(guān)領(lǐng)域?qū)＜疫M行專業(yè)質(zhì)量評價是開展科技報告質(zhì)量評價的重中之重,對從根本上提高科技報告的質(zhì)量水平具有決定性意義。

1 我國科技報告專業(yè)質(zhì)量評價研究現(xiàn)狀

在國內(nèi),劉冠偉[3]運用層次分析法構(gòu)建國防科技報告評價指標體系,包含撰寫水平、應(yīng)用價值和技術(shù)內(nèi)容3個二級指標及9個三級指標,并確定權(quán)重;裴雷等[2]第一次比較全面地設(shè)計了民口科技報告質(zhì)量評價體系,包括文獻質(zhì)量、專業(yè)質(zhì)量和效益質(zhì)量3個一級指標,并分別針對3個質(zhì)量層次設(shè)計了二級指標和三級指標,其中,專業(yè)質(zhì)量評價參考指標包括3個二級指標和15個三級指標;朱麗波等[4]構(gòu)建的科技報告質(zhì)量指標體系以報告編撰水平、實用價值、技術(shù)屬性為二級指標,下設(shè)9個三級指標構(gòu)成,同樣是有關(guān)專業(yè)質(zhì)量評價指標設(shè)置的范圍太廣,操作性不強,準確度不高;任惠超等[5]參考國防科技報告質(zhì)量評價體系,構(gòu)建了以科學(xué)價值、編制質(zhì)量2個層次為一級指標,下設(shè)7個二級指標的驗收階段評價指標模型,還構(gòu)建了以報告科學(xué)價值和使用價值2個層次為一級指標,下設(shè)6個二級指標的驗收后評價指標模型;廖奇梅等[6]按照科技報告類型分類編制福建省科技報告質(zhì)量評價指標體系,包括3個一級指標和8個二級指標,其中,專業(yè)技術(shù)質(zhì)量指標包含技術(shù)創(chuàng)新性、內(nèi)容完備程度、技術(shù)重現(xiàn)度3個二級指標;王輝等[7]針對科技報告3個質(zhì)量層次中的文獻質(zhì)量構(gòu)建了評價體系,以文獻質(zhì)量為一級指標,下設(shè)3個二級指標和14個三級指標。

綜上所述,我國已有不少學(xué)者進行了科技報告專業(yè)質(zhì)量評價指標的相關(guān)研究,但還存在著一些不足,表現(xiàn)在:只是在全體系指標構(gòu)建時宏觀提及專業(yè)質(zhì)量評價,沒有專門針對專業(yè)質(zhì)量指標進行微觀設(shè)計和具體賦值,評價指標均比較上位,模糊性大,在實際操作中難以進行定量評價,操作性不強,準確度不高,需加強科技報告專業(yè)質(zhì)量微觀層面研究,才能進一步應(yīng)用于未來的專業(yè)質(zhì)量評價工作。

本文借鑒國內(nèi)已有的科技報告專業(yè)質(zhì)量評價研究成果,結(jié)合廣西實際,采用層次分析法,構(gòu)建了一套可操作性強的廣西科技報告專業(yè)質(zhì)量評價指標體系,彌補當前相關(guān)研究的不足。

2 廣西科技報告專業(yè)質(zhì)量評價體系構(gòu)建

本文采用1971年美國運籌學(xué)家Saaty提出的層次分析法(AHP)對廣西科技報告專業(yè)質(zhì)量評價體系進行構(gòu)建與權(quán)重的計算。層次分析法是一個多指標綜合評價算法,其主要原理是在分析一個現(xiàn)象或問題之前,首先將現(xiàn)象或問題根據(jù)它們的性質(zhì)分解為有關(guān)因素,并根據(jù)它們之間的關(guān)系分類而形成一個多層次的結(jié)構(gòu)模型,然后通過經(jīng)驗或?qū)＜?來判斷和衡量低層因素對高層因素的相對重要性,并根據(jù)重要性的程度得出權(quán)重排序,進而可以量化分析比較。層次分析法的核心是將影響因素層次化和數(shù)據(jù)化,它把一個抽象的現(xiàn)象或問題由難到易地予以分解,易于對復(fù)雜問題進行直觀判斷,并作出決策。層次分析法的步驟主要分為5步。第1步是確定關(guān)鍵因素;第2步是根據(jù)因素之間的關(guān)系來構(gòu)建結(jié)構(gòu)模型;第3步是構(gòu)造判斷矩陣;第4步是層次單排序及其一致性檢驗,即對指標定權(quán);第5步為層次總排序及其一致性檢驗。以下將按照上述步驟來構(gòu)建廣西科技報告專業(yè)質(zhì)量評價體系。

2.1 廣西科技報告專業(yè)質(zhì)量評價指標的篩選

按照層次分析法的步驟,首先要對影響科技報告專業(yè)質(zhì)量的要素進行分解、整理、抽取,并對其進行層次化和數(shù)據(jù)化處理。影響科技報告專業(yè)質(zhì)量的要素有多個,其中,最核心的要素是數(shù)據(jù)質(zhì)量、創(chuàng)新質(zhì)量及內(nèi)容質(zhì)量。對科技報告專業(yè)質(zhì)量的構(gòu)成因素進行全面梳理分析,并基于此建立客觀、全面的評價體系,可以有效地對科技報告專業(yè)質(zhì)量進行定量的評判,幫助該領(lǐng)域或接近該領(lǐng)域的專家對科技報告專業(yè)質(zhì)量進行科學(xué)的同行評議,更有效地評定科技報告的學(xué)術(shù)水平或重要性。

本文基于已有文獻研究和咨詢從事相關(guān)工作的專家,梳理分析得到多個與科技報告專業(yè)質(zhì)量評價相關(guān)的原始指標,然后根據(jù)廣西科技報告撰寫提交的實際情況,再結(jié)合行業(yè)專家意見,對指標進行合理選擇和科學(xué)歸納,最終形成能夠客觀、全面評價廣西科技報告專業(yè)質(zhì)量的3個二級指標和15個三級指標,如表1所示。

表1 廣西科技報告專業(yè)質(zhì)量評價指標體系及說明

2.2 構(gòu)建層次評價模型

研究組按照AHP方法的基本要求,圍繞“廣西科技報告專業(yè)質(zhì)量評價”這個決策事件,確定其目標層、準則層、指標層,運用Yaahp軟件(層次分析法軟件)建立廣西科技報告專業(yè)質(zhì)量評價指標模型,如圖1所示。

2.3 構(gòu)造判斷矩陣

構(gòu)造判斷矩陣就是通過各要素之間相互兩兩比較,并確定各準則層對目標層的權(quán)重。簡言之,就是把準則層的指標進行兩兩判斷,具體來說,就是對準則層數(shù)據(jù)質(zhì)量(B1)、創(chuàng)新質(zhì)量(B2)、內(nèi)容質(zhì)量(B3)3個元素,相互之間使用1～9標度法[8](見表2)進行重要性比較。其中,兩個元素兩兩比較哪個重要,重要的程度是多少,按1～9進行賦值,然后對構(gòu)造的判斷矩陣不一致的地方進行調(diào)整,重新比較其重要性,直至結(jié)果通過一致性檢驗。

表2 1-9標度法

通過Yaahp軟件,構(gòu)建的判斷矩陣具體內(nèi)容如表3—6所示。

表3 準則層判斷矩陣

表4 數(shù)據(jù)質(zhì)量指標層判斷矩陣

表5 創(chuàng)新質(zhì)量指標層判斷矩陣

表6 內(nèi)容質(zhì)量指標層判斷矩陣

其中,對角線為各個指標自己的判斷,數(shù)值均為1。例如“數(shù)據(jù)質(zhì)量”對于“數(shù)據(jù)質(zhì)量”而言,其重要性為1,因為指標自身與自身對比肯定是1∶1。對于第一行第二列,也就是“數(shù)據(jù)質(zhì)量”與“創(chuàng)新質(zhì)量”對比,研究組認為“數(shù)據(jù)質(zhì)量”比“創(chuàng)新質(zhì)量”稍不重要,那么就可以標值為1/3,相應(yīng)的,對角線左邊的值是對角線右邊值的倒數(shù),以此類推,直到構(gòu)建完成一個判斷矩陣。

由此得出:

2.4 計算評價指標相對權(quán)重和矩陣一致性檢驗

層次分析法中的各個指標對目標層所占的權(quán)重通過先求出各個指標所在的判斷矩陣最大特征根λmax,然后由對應(yīng)的歸一化特征向量W得到[7]。如采用Yaahp軟件,求得準則層判斷矩陣A最大特征根λmax為3.018 3,其歸一化后的特征向量是WA=(0.122 6,0.320 2,0.557 1)T,從而得出準則層數(shù)據(jù)質(zhì)量、創(chuàng)新質(zhì)量、內(nèi)容質(zhì)量3個指標的相對權(quán)重分別為 0.122 6,0.320 2,0.557 1。以此類推,計算得到指標層各判斷矩陣B1(數(shù)據(jù)質(zhì)量)、B2(創(chuàng)新質(zhì)量)、B3(內(nèi)容質(zhì)量)的最大特征根λmax和歸一化特征向量W結(jié)果如下:

λB1=5.445 9 ,λB2=7.791 8 ,λB3=3.024 7

WB1=(0.154 8,0.502 4,0.103 2,0.057 0, 0.182 5)

WB2=(0.204 5,0.286 5,0.156 3,0.048 2, 0.183 9, 0.090 3, 0.030 4)

WB3=(0.567 9,0.098 2,0.333 9)

在層次分析法中,需要對矩陣一致性進行檢驗。一致性檢驗的作用在于檢驗構(gòu)建的判斷矩陣是否存在邏輯問題,如果判斷矩陣邏輯不合理,將造成指標權(quán)重值的不可靠。

當一致性比例>0.1時,判斷矩陣不具有一致性,權(quán)重值可靠性低,則需要根據(jù)實際情況賦值判斷矩陣。當一致性比例<0.1時,判斷矩陣一致性良好,求解得到的權(quán)重值可接受。如當一致性比例=0時,則判斷傳遞邏輯通順,具有完全一致性。

通過Yaahp軟件計算上述判斷矩陣A,B1,B2,B3的一致性比例,得到的值分別為0.017 6,0.099 5,0.097 0,0.023 7,表明各判斷矩陣的一致性均在合理范圍內(nèi)。

2.5 根據(jù)評價指標相對權(quán)重計算其綜合權(quán)重

各評價指標對總目標的加權(quán)權(quán)重由各評價指標相對權(quán)重分別與對應(yīng)的準則層相對權(quán)重相乘得到[7](見表7),廣西科技報告專業(yè)質(zhì)量評價指標體系各指標權(quán)重分布如圖2所示。

圖2 廣西科技報告專業(yè)質(zhì)量評價指標體系指標權(quán)重分布

表7 廣西科技報告專業(yè)質(zhì)量評價指標體系權(quán)重分布

內(nèi)容質(zhì)量占的比重較大,其中,類似查重指標又占比較大;另外,創(chuàng)新質(zhì)量指標的權(quán)重是數(shù)據(jù)質(zhì)量指標權(quán)重的兩倍多,說明在科技報告質(zhì)量評價中,原創(chuàng)創(chuàng)新性非常重要(見表8)。

表8 廣西科技報告專業(yè)質(zhì)量評分結(jié)果

3 實證分析

為了數(shù)據(jù)的真實性和可代表性,從廣西科技報告服務(wù)系統(tǒng)(http://gxkjbg.gxinfo.org.cn:90/)隨機選取20份科技報告作為實證分析數(shù)據(jù)樣本,邀請5名長期從事科技報告審核的專家進行打分評價。考慮到可操作性,約定表1中每個三級指標滿分為100分,科技報告審核專家根據(jù)每個科技報告的實際情況打相應(yīng)的分數(shù)。為了減少科技報告審核專家主觀因素的干擾,每個三級指標的得分取5名科技報告審核專家打分的平均值。由于每個三級指標都采用百分制,打分結(jié)果無須進行再歸一化處理。然后根據(jù)打分的平均值再乘以表7中每個三級指標的綜合權(quán)重,整理得到最終評分結(jié)果如表8所示。

根據(jù)評價總分值的大小,把廣西科技報告專業(yè)質(zhì)量劃分為差(總分<60)、一般(60≤總分<80)、良好(80≤總分<90)、較高(總分≥90)4個層次。從表8可以看出,廣西科技報告專業(yè)質(zhì)量基本位于一般和良好層次,屬于中上水平,這在一定程度上反映了廣西科技報告的專業(yè)質(zhì)量水平。廣西實施科技報告制度時間還不長,對科技報告質(zhì)量的獎懲制度還沒有形成,大部分科技報告作者還沒有提交高質(zhì)量科技報告的動力,但是隨著科技報告管理機構(gòu)不斷推進科技報告宣講和培訓(xùn)等工作,廣西科技報告的專業(yè)質(zhì)量還是取得了一定的成績。

4 結(jié)語

科技報告內(nèi)容記錄了整個科技項目的研究過程,是重要的無形資產(chǎn),如何提升其質(zhì)量是重要的研究課題。科技報告質(zhì)量包括文獻質(zhì)量、專業(yè)質(zhì)量和效益質(zhì)量3個方面,其中,專業(yè)質(zhì)量對整體質(zhì)量起到根本的決定性作用,科技報告專業(yè)質(zhì)量的好壞可以在一定程度上體現(xiàn)科研人員的科研水平、創(chuàng)新水平,是科技報告質(zhì)量至關(guān)重要的構(gòu)成部分。

本文基于科技報告實踐工作和研究成果構(gòu)建的這套廣西科技報告專業(yè)質(zhì)量評價體系,可為廣西將來開展科技報告專業(yè)質(zhì)量評價提供決策模型和評分依據(jù),幫助專家對科技報告質(zhì)量進行專業(yè)評估,為科技報告評優(yōu)打分等提供參考工具。