基于AHP 的科技報(bào)告質(zhì)量評價(jià)

吳赫君WU He-jun；陳晨CHEN Chen；李貴萍LI Gui-ping；陳翰CHEN Han

（①國網(wǎng)浙江省電力有限公司經(jīng)濟(jì)技術(shù)研究院，杭州 310000；②同濟(jì)大學(xué)經(jīng)濟(jì)與管理學(xué)院，上海 200092）

1 科技報(bào)告質(zhì)量評價(jià)的目的及意義

科技報(bào)告是科研（專業(yè)）人員為了描述其從事的科研、設(shè)計(jì)、工程、試驗(yàn)和鑒定等活動(dòng)的過程、進(jìn)展和結(jié)果，按照規(guī)定的標(biāo)準(zhǔn)格式編寫而成的特殊文獻(xiàn)，也是國家基礎(chǔ)性科技創(chuàng)新資源[1]。我國的科技報(bào)告起源于1984 年的國防科技報(bào)告體系建設(shè)工作。2014 年國家號召部門、地方單位大力開展科技報(bào)告撰寫和發(fā)表工作，除國防科技項(xiàng)目之外，科技部、國家自然基金委、交通運(yùn)輸部和各省市主管的科技項(xiàng)目都開始積極地提交科技報(bào)告。盡管近年來國家、地方的科技報(bào)告制度建設(shè)取得了顯著成效，但是科技報(bào)告的質(zhì)量管理體系并不完善。隨著科技報(bào)告數(shù)量的激增，各個(gè)部門所提交的科技報(bào)告的質(zhì)量并沒有受到嚴(yán)格控制，國家科技報(bào)告的整體質(zhì)量水平提升緩慢，降低了科技報(bào)告的科技含量和應(yīng)用價(jià)值。

科技報(bào)告質(zhì)量評價(jià)在管理程序制定和實(shí)施管理方面尚有瓶頸。國內(nèi)雖然已有科技報(bào)告的質(zhì)量評價(jià)體系，但這些體系仍存在一些問題，比如：集中于宏觀層面，主要關(guān)注評價(jià)體系整體框架的構(gòu)建和原則的設(shè)計(jì)，提出的指標(biāo)概念抽象，難以對權(quán)重進(jìn)行定量計(jì)算。實(shí)際中，一些企業(yè)會(huì)與高校、研究院等開展項(xiàng)目合作，科技報(bào)告往往是項(xiàng)目的一項(xiàng)重要成果。然而，企業(yè)內(nèi)部的科技報(bào)告評價(jià)體系通常較為粗糙，對報(bào)告評價(jià)的角度單一，評價(jià)指標(biāo)也不夠完備，難以準(zhǔn)確區(qū)分報(bào)告之間質(zhì)量的高低，影響企業(yè)對于項(xiàng)目成果的質(zhì)量把控。

在這一背景下，本研究旨在建立科學(xué)的科技報(bào)告質(zhì)量評價(jià)指標(biāo)體系，針對科技報(bào)告質(zhì)量管理中編制、校核、審核、批準(zhǔn)這四個(gè)流程，構(gòu)建適合于科技報(bào)告的評價(jià)指標(biāo)體系和模型，更加客觀和準(zhǔn)確地對科技報(bào)告的質(zhì)量進(jìn)行評價(jià)，并從本質(zhì)上提升業(yè)內(nèi)科技報(bào)告供應(yīng)商產(chǎn)出的質(zhì)量水平，促進(jìn)我國的科技報(bào)告產(chǎn)業(yè)高質(zhì)量發(fā)展。

2 文獻(xiàn)綜述

目前，一些學(xué)者針對科技報(bào)告的質(zhì)量評價(jià)體系和方法進(jìn)行了初步的探索。裴雷和孫建軍[2]通過梳理國內(nèi)外科技報(bào)告質(zhì)量評價(jià)指標(biāo)體系建設(shè)的理論和實(shí)踐，結(jié)合中國科技報(bào)告工作進(jìn)展和實(shí)踐，提出了科技報(bào)告質(zhì)量評價(jià)指標(biāo)體系設(shè)計(jì)的原則、方法、描述框架和參考體系，并為我國科技報(bào)告質(zhì)量評價(jià)的未來發(fā)展方向指明了重點(diǎn)。朱麗波等[3]通過運(yùn)用頭腦風(fēng)暴法、專家調(diào)查法、層次分析法與Yaahp 軟件，分析科技報(bào)告的質(zhì)量影響因素，選取相應(yīng)的評價(jià)指標(biāo)，并通過構(gòu)建科技報(bào)告的評價(jià)指標(biāo)遞階層次結(jié)構(gòu)，計(jì)算各評價(jià)指標(biāo)相對權(quán)重和加權(quán)權(quán)重。苗軍[4]分析了科技報(bào)告共享前和共享后兩個(gè)主要階段的質(zhì)量評價(jià)特點(diǎn)，構(gòu)建基于自評的科技報(bào)告質(zhì)量評價(jià)指標(biāo)體系，其中一級指標(biāo)有文獻(xiàn)編制質(zhì)量和專業(yè)技術(shù)質(zhì)量，文獻(xiàn)編制質(zhì)量對應(yīng)的二級指標(biāo)有結(jié)構(gòu)完整、格式規(guī)范和寫作水平，專業(yè)技術(shù)質(zhì)量對應(yīng)的二級指標(biāo)有技術(shù)創(chuàng)新性、內(nèi)容完備程度、技術(shù)重現(xiàn)度和應(yīng)用價(jià)值。綜上可知，國內(nèi)現(xiàn)有的有關(guān)科技報(bào)告質(zhì)量體系研究的文獻(xiàn)相對較少。本文基于現(xiàn)有文獻(xiàn)給出的指標(biāo)體系，結(jié)合專家意見，識(shí)別科技報(bào)告質(zhì)量評價(jià)的指標(biāo)，并運(yùn)用統(tǒng)計(jì)學(xué)、運(yùn)籌學(xué)等多學(xué)科知識(shí)建立科技報(bào)告質(zhì)量評價(jià)模型。

3 科技報(bào)告質(zhì)量評價(jià)體系的建立

層次分析法是一種經(jīng)典的多指標(biāo)綜合評價(jià)方法，由美國運(yùn)籌學(xué)家薩蒂于1982 年提出，它綜合了人們的主觀判斷，將評價(jià)目標(biāo)分為若干層次和若干指標(biāo)，確定各個(gè)指標(biāo)權(quán)重進(jìn)而對目標(biāo)進(jìn)行綜合評價(jià)，是一種簡明、實(shí)用的定性與定量相結(jié)合的、系統(tǒng)化的、層次化的分析方法。

科技報(bào)告的質(zhì)量評價(jià)體系所包含的評價(jià)指標(biāo)眾多，且這些指標(biāo)對于目標(biāo)的重要性不同，評價(jià)的角度也不同。要達(dá)到完備、有序地評價(jià)科技報(bào)告的目的，需按照文件的不同屬性將這些評價(jià)指標(biāo)歸類為幾個(gè)大類指標(biāo)，并在這些大類下進(jìn)一步細(xì)分得到下一層的指標(biāo)，如此對每一層的各個(gè)指標(biāo)進(jìn)行分解，直到評價(jià)指標(biāo)難以繼續(xù)細(xì)分下去，以便在后續(xù)確定每一指標(biāo)對目標(biāo)影響的權(quán)重。層次分析法符合科技報(bào)告質(zhì)量評價(jià)指標(biāo)體系的特點(diǎn)，因此，本研究通過建立科技報(bào)告質(zhì)量評價(jià)指標(biāo)并基于AHP 計(jì)算指標(biāo)權(quán)重得到科技報(bào)告質(zhì)量評價(jià)體系。

3.1 評價(jià)指標(biāo)體系設(shè)計(jì)

為保證科技報(bào)告落實(shí)質(zhì)量管理以及高質(zhì)量產(chǎn)出，科技報(bào)告一般需經(jīng)過編制、校核、審核、批準(zhǔn)四個(gè)環(huán)節(jié)進(jìn)行質(zhì)量評價(jià)。在編制環(huán)節(jié)中，編寫人員對科技報(bào)告進(jìn)行根據(jù)關(guān)注指標(biāo)進(jìn)行自查并修訂；在校核環(huán)節(jié)中，專業(yè)負(fù)責(zé)人或?qū)I(yè)技術(shù)人員對科技報(bào)告質(zhì)量進(jìn)行校核，在編寫人自查基礎(chǔ)上對科技報(bào)告做全面檢查、并根據(jù)差錯(cuò)嚴(yán)重程度和出錯(cuò)次數(shù)進(jìn)行評分且向編寫人員提出修改意見與建議；在審核環(huán)節(jié)中，審核負(fù)責(zé)人負(fù)責(zé)根據(jù)校核分?jǐn)?shù)對修改后科技報(bào)告進(jìn)行進(jìn)一步評估；在批準(zhǔn)環(huán)節(jié)，負(fù)責(zé)人需對科技報(bào)告中的關(guān)鍵信息進(jìn)行把關(guān)并批準(zhǔn)通過。由于科技報(bào)告質(zhì)量評價(jià)各階段利益主體和質(zhì)量評價(jià)主體各不相同，他們在科技報(bào)告質(zhì)量管理過程中的評價(jià)目的和考察內(nèi)容有所差異，因此如何將評價(jià)需求差異體現(xiàn)在科技報(bào)告質(zhì)量評價(jià)指標(biāo)體系的構(gòu)建中，如何體現(xiàn)科技報(bào)告評價(jià)的階段性特點(diǎn)是本研究的難點(diǎn)。

在評價(jià)過程中，各評價(jià)主體主要對科技報(bào)告的文件規(guī)范性、內(nèi)容合理性以及技術(shù)嚴(yán)謹(jǐn)性進(jìn)行評價(jià)和反饋，編寫人員根據(jù)反饋結(jié)果修改和完善科技報(bào)告。目前缺少可量化的質(zhì)量評價(jià)體系對科技報(bào)告進(jìn)行打分。本研究針對科技報(bào)告的編制、校核、審核、批準(zhǔn)這四個(gè)環(huán)節(jié)構(gòu)建評價(jià)指標(biāo)體系，確定校核、審核兩個(gè)主要評價(jià)過程的評價(jià)指標(biāo)權(quán)重，以此為依據(jù)進(jìn)行科技報(bào)告質(zhì)量評分。本研究主要從文獻(xiàn)編制質(zhì)量和專業(yè)技術(shù)質(zhì)量兩個(gè)維度進(jìn)行考察并將其作為科技報(bào)告質(zhì)量評價(jià)指標(biāo)體系的一級指標(biāo)。為保證評價(jià)體系完備合理，本研究依據(jù)科技報(bào)告特性[5]，如結(jié)構(gòu)完整性、內(nèi)容準(zhǔn)確性、格式規(guī)范性、大環(huán)境適應(yīng)性、方案可行性等建立科技報(bào)告評價(jià)體系中的二級和三級指標(biāo)。

3.1.1 編制過程評價(jià)指標(biāo)體系

在科技報(bào)告編寫過程中和呈送前，編寫人需要分別從文件編制質(zhì)量和專業(yè)技術(shù)質(zhì)量兩個(gè)維度對編寫的科技報(bào)告進(jìn)行自我評估，并針對不同的指標(biāo)及其評價(jià)標(biāo)準(zhǔn)改進(jìn)科技報(bào)告。參考現(xiàn)有研究[4]，本節(jié)設(shè)計(jì)了編制環(huán)節(jié)的評價(jià)指標(biāo)體系。經(jīng)過多輪綜合專家意見，針對該過程設(shè)計(jì)了包括2 個(gè)一級指標(biāo)、5 個(gè)二級指標(biāo)、16 個(gè)三級指標(biāo)及評價(jià)標(biāo)準(zhǔn)的技術(shù)報(bào)告質(zhì)量自查指標(biāo)體系。具體指標(biāo)體系如表1 所示。

表1 編制過程科技報(bào)告自評指標(biāo)及評價(jià)標(biāo)準(zhǔn)

3.1.2 校核過程評價(jià)指標(biāo)體系

校核環(huán)節(jié)是科技報(bào)告質(zhì)量管理流程中第二個(gè)流程，由專業(yè)負(fù)責(zé)人或?qū)I(yè)技術(shù)人員擔(dān)任校核工作。校核人在編寫人自查基礎(chǔ)上對科技報(bào)告做全面檢查，重點(diǎn)考察科技報(bào)告推理過程準(zhǔn)確性、研究邏輯合理性、結(jié)論創(chuàng)新性、研究可實(shí)踐性和需求滿足程度。若科技報(bào)告不符合指標(biāo)要求，校核人應(yīng)根據(jù)差錯(cuò)嚴(yán)重程度和出錯(cuò)次數(shù)進(jìn)行評分并向編寫人員提出修改意見與建議。該過程設(shè)計(jì)了包括2 個(gè)一級指標(biāo)、5 個(gè)二級指標(biāo)、16 個(gè)三級指標(biāo)及評價(jià)標(biāo)準(zhǔn)的技術(shù)報(bào)告質(zhì)量評價(jià)指標(biāo)體系。

3.1.3 審核過程評價(jià)指標(biāo)體系

通過校核評價(jià)后，科技報(bào)告進(jìn)入審核環(huán)節(jié)進(jìn)行進(jìn)一步評價(jià)。與校核環(huán)節(jié)不同的是，審核環(huán)節(jié)更重視科技報(bào)告中提出的結(jié)論和建議與科技報(bào)告編寫人對行業(yè)思想和方針的把握程度，因此在建立評價(jià)指標(biāo)時(shí)，重點(diǎn)考察核心結(jié)論與關(guān)鍵數(shù)據(jù)的內(nèi)容準(zhǔn)確性、技術(shù)方案是否符合原則統(tǒng)一性（即方案提出是否適應(yīng)國家政策方針、法律法規(guī)、行業(yè)規(guī)范和企業(yè)戰(zhàn)略）以及方案實(shí)際可操作性。審核過程在校核評估基礎(chǔ)上對上述關(guān)鍵指標(biāo)進(jìn)行評價(jià)，以保證只有高質(zhì)量、高標(biāo)準(zhǔn)的科技報(bào)告進(jìn)入批準(zhǔn)環(huán)節(jié)。該過程設(shè)計(jì)了包括1 個(gè)一級指標(biāo)、3 個(gè)二級指標(biāo)、7 個(gè)三級指標(biāo)及評價(jià)標(biāo)準(zhǔn)的技術(shù)報(bào)告質(zhì)量評價(jià)指標(biāo)體系。

3.1.4 批準(zhǔn)過程評價(jià)指標(biāo)體系

批準(zhǔn)環(huán)節(jié)是科技報(bào)告質(zhì)量管理流程中的最后一個(gè)環(huán)節(jié)。在批準(zhǔn)過程中，負(fù)責(zé)人需對科技報(bào)告的專業(yè)技術(shù)質(zhì)量進(jìn)行把關(guān)，關(guān)注核心結(jié)論和關(guān)鍵數(shù)據(jù)準(zhǔn)確性以及技術(shù)方案是否與大環(huán)境相適應(yīng)，并著重考慮技術(shù)能否在企業(yè)內(nèi)實(shí)施并帶來實(shí)際效益。該環(huán)節(jié)評價(jià)負(fù)責(zé)人需綜合校核和審核評價(jià)得到的打分結(jié)果對科技報(bào)告最終的質(zhì)量等級進(jìn)行評定。該過程設(shè)計(jì)了包括1 個(gè)一級指標(biāo)：專業(yè)技術(shù)質(zhì)量；3 個(gè)二級指標(biāo)：內(nèi)容準(zhǔn)確性、大環(huán)境適應(yīng)性和實(shí)際可操作性；4 個(gè)三級指標(biāo)：核心結(jié)論準(zhǔn)確性、關(guān)鍵數(shù)據(jù)準(zhǔn)確性、與國家政策、法律法規(guī)、行業(yè)規(guī)范、企業(yè)戰(zhàn)略的適應(yīng)程度和技術(shù)路線可行性。

3.2 確定指標(biāo)權(quán)重

本研究應(yīng)用軟件Yaahp 實(shí)現(xiàn)層次分析法并確定評價(jià)指標(biāo)權(quán)重。在評價(jià)指標(biāo)體系確定基礎(chǔ)上，統(tǒng)一采用Satty 提出的9 分位比例標(biāo)度[6，7]度量兩指標(biāo)間的相對重要性，將研究問題從定性分析轉(zhuǎn)為定量分析，使用問卷調(diào)查法收集13 位專家對同級指標(biāo)間相對重要性評分并根據(jù)得到的多份重要性打分進(jìn)行投票制，即少數(shù)服從多數(shù)的綜合處理，最終得到綜合打分判斷矩陣。

綜合判斷矩陣建立后還需進(jìn)行一致性檢驗(yàn)以保證各元素重要度間的協(xié)調(diào)性。使用Yaahp 軟件對每個(gè)綜合矩陣進(jìn)行一致性檢驗(yàn)，若計(jì)算結(jié)果一致性比率CR 值<0.1 時(shí)，該矩陣符合一致性，否則一致性檢驗(yàn)不通過，需要對該矩陣中的重要性打分進(jìn)行修正。最后經(jīng)過反復(fù)檢驗(yàn)和調(diào)整，所有指標(biāo)相對重要性打分通過一致性檢驗(yàn)，得到最終綜合判斷矩陣。然后，根據(jù)綜合判斷矩陣計(jì)算得到不同等級指標(biāo)的權(quán)重。最后將Yaahp 軟件分析得到的三級指標(biāo)權(quán)重乘以對應(yīng)二級指標(biāo)和一級指標(biāo)權(quán)重，即得到各指標(biāo)在該過程評價(jià)指標(biāo)體系中的實(shí)際權(quán)重。經(jīng)過上述計(jì)算分析，最終得到校核和審核過程評價(jià)體系的綜合指標(biāo)權(quán)重分別如表2、3 所示。

表2 校核過程評價(jià)指標(biāo)權(quán)重排序

表3 審核過程評價(jià)指標(biāo)權(quán)重排序

本節(jié)為提升科技報(bào)告撰寫質(zhì)量并嚴(yán)格落實(shí)科技報(bào)告質(zhì)量管理提供數(shù)學(xué)工具?；跇?gòu)建的科技報(bào)告評價(jià)指標(biāo)及其權(quán)重，科技報(bào)告供應(yīng)商可進(jìn)一步依據(jù)指標(biāo)評價(jià)要求對科技報(bào)告進(jìn)行打分，最終得到綜合評分以對科技報(bào)告撰寫內(nèi)容及質(zhì)量進(jìn)行把關(guān)。

4 結(jié)論

科技報(bào)告是科研項(xiàng)目和過程的總結(jié)性文獻(xiàn)，它在科研項(xiàng)目管理的過程中產(chǎn)生，由于科研過程往往周期比較長，跨越眾多階段，因此項(xiàng)目管理的流程也會(huì)較為復(fù)雜和漫長，科技報(bào)告的科學(xué)管理顯得尤為重要。質(zhì)量管理是科技報(bào)告管理的生命，對科技報(bào)告的質(zhì)量開展評價(jià)，能夠篩選出優(yōu)質(zhì)的科技報(bào)告，對科技報(bào)告的質(zhì)量發(fā)展起到積極的引導(dǎo)作用。對于科技報(bào)告供應(yīng)商來說，推進(jìn)科技報(bào)告質(zhì)量體系的構(gòu)建，能夠有效督促科研人員提高文件質(zhì)量，保證未來一段時(shí)期行業(yè)內(nèi)科技報(bào)告管理水平和能力的穩(wěn)步發(fā)展。

本文回顧了國內(nèi)科技報(bào)告質(zhì)量評價(jià)的研究現(xiàn)狀，針對當(dāng)前科技報(bào)告質(zhì)量評價(jià)存在的問題，運(yùn)用層次分析法，構(gòu)建了基于實(shí)際需求，實(shí)操性較強(qiáng)的分階段分層的文件質(zhì)量評價(jià)指標(biāo)體系，能夠輔助專家和科研人員有效地對文件質(zhì)量做出評價(jià)，為科技報(bào)告資源體系的理論研究與實(shí)踐建設(shè)提供借鑒，促進(jìn)業(yè)界科技報(bào)告質(zhì)量水平的提升。對于科技報(bào)告供應(yīng)商來說，科技報(bào)告質(zhì)量體系的構(gòu)建能夠有效督促科研人員提高文件質(zhì)量，保證未來一段時(shí)期行業(yè)內(nèi)科技報(bào)告管理水平和能力的穩(wěn)步發(fā)展。