吳赫君WU He-jun;陳晨CHEN Chen;李貴萍LI Gui-ping;陳翰CHEN Han
(①國網(wǎng)浙江省電力有限公司經(jīng)濟(jì)技術(shù)研究院,杭州 310000;②同濟(jì)大學(xué)經(jīng)濟(jì)與管理學(xué)院,上海 200092)
科技報(bào)告是科研(專業(yè))人員為了描述其從事的科研、設(shè)計(jì)、工程、試驗(yàn)和鑒定等活動(dòng)的過程、進(jìn)展和結(jié)果,按照規(guī)定的標(biāo)準(zhǔn)格式編寫而成的特殊文獻(xiàn),也是國家基礎(chǔ)性科技創(chuàng)新資源[1]。我國的科技報(bào)告起源于1984 年的國防科技報(bào)告體系建設(shè)工作。2014 年國家號召部門、地方單位大力開展科技報(bào)告撰寫和發(fā)表工作,除國防科技項(xiàng)目之外,科技部、國家自然基金委、交通運(yùn)輸部和各省市主管的科技項(xiàng)目都開始積極地提交科技報(bào)告。盡管近年來國家、地方的科技報(bào)告制度建設(shè)取得了顯著成效,但是科技報(bào)告的質(zhì)量管理體系并不完善。隨著科技報(bào)告數(shù)量的激增,各個(gè)部門所提交的科技報(bào)告的質(zhì)量并沒有受到嚴(yán)格控制,國家科技報(bào)告的整體質(zhì)量水平提升緩慢,降低了科技報(bào)告的科技含量和應(yīng)用價(jià)值。
科技報(bào)告質(zhì)量評價(jià)在管理程序制定和實(shí)施管理方面尚有瓶頸。國內(nèi)雖然已有科技報(bào)告的質(zhì)量評價(jià)體系,但這些體系仍存在一些問題,比如:集中于宏觀層面,主要關(guān)注評價(jià)體系整體框架的構(gòu)建和原則的設(shè)計(jì),提出的指標(biāo)概念抽象,難以對權(quán)重進(jìn)行定量計(jì)算。實(shí)際中,一些企業(yè)會(huì)與高校、研究院等開展項(xiàng)目合作,科技報(bào)告往往是項(xiàng)目的一項(xiàng)重要成果。然而,企業(yè)內(nèi)部的科技報(bào)告評價(jià)體系通常較為粗糙,對報(bào)告評價(jià)的角度單一,評價(jià)指標(biāo)也不夠完備,難以準(zhǔn)確區(qū)分報(bào)告之間質(zhì)量的高低,影響企業(yè)對于項(xiàng)目成果的質(zhì)量把控。
在這一背景下,本研究旨在建立科學(xué)的科技報(bào)告質(zhì)量評價(jià)指標(biāo)體系,針對科技報(bào)告質(zhì)量管理中編制、校核、審核、批準(zhǔn)這四個(gè)流程,構(gòu)建適合于科技報(bào)告的評價(jià)指標(biāo)體系和模型,更加客觀和準(zhǔn)確地對科技報(bào)告的質(zhì)量進(jìn)行評價(jià),并從本質(zhì)上提升業(yè)內(nèi)科技報(bào)告供應(yīng)商產(chǎn)出的質(zhì)量水平,促進(jìn)我國的科技報(bào)告產(chǎn)業(yè)高質(zhì)量發(fā)展。
目前,一些學(xué)者針對科技報(bào)告的質(zhì)量評價(jià)體系和方法進(jìn)行了初步的探索。裴雷和孫建軍[2]通過梳理國內(nèi)外科技報(bào)告質(zhì)量評價(jià)指標(biāo)體系建設(shè)的理論和實(shí)踐,結(jié)合中國科技報(bào)告工作進(jìn)展和實(shí)踐,提出了科技報(bào)告質(zhì)量評價(jià)指標(biāo)體系設(shè)計(jì)的原則、方法、描述框架和參考體系,并為我國科技報(bào)告質(zhì)量評價(jià)的未來發(fā)展方向指明了重點(diǎn)。朱麗波等[3]通過運(yùn)用頭腦風(fēng)暴法、專家調(diào)查法、層次分析法與Yaahp 軟件,分析科技報(bào)告的質(zhì)量影響因素,選取相應(yīng)的評價(jià)指標(biāo),并通過構(gòu)建科技報(bào)告的評價(jià)指標(biāo)遞階層次結(jié)構(gòu),計(jì)算各評價(jià)指標(biāo)相對權(quán)重和加權(quán)權(quán)重。苗軍[4]分析了科技報(bào)告共享前和共享后兩個(gè)主要階段的質(zhì)量評價(jià)特點(diǎn),構(gòu)建基于自評的科技報(bào)告質(zhì)量評價(jià)指標(biāo)體系,其中一級指標(biāo)有文獻(xiàn)編制質(zhì)量和專業(yè)技術(shù)質(zhì)量,文獻(xiàn)編制質(zhì)量對應(yīng)的二級指標(biāo)有結(jié)構(gòu)完整、格式規(guī)范和寫作水平,專業(yè)技術(shù)質(zhì)量對應(yīng)的二級指標(biāo)有技術(shù)創(chuàng)新性、內(nèi)容完備程度、技術(shù)重現(xiàn)度和應(yīng)用價(jià)值。綜上可知,國內(nèi)現(xiàn)有的有關(guān)科技報(bào)告質(zhì)量體系研究的文獻(xiàn)相對較少。本文基于現(xiàn)有文獻(xiàn)給出的指標(biāo)體系,結(jié)合專家意見,識(shí)別科技報(bào)告質(zhì)量評價(jià)的指標(biāo),并運(yùn)用統(tǒng)計(jì)學(xué)、運(yùn)籌學(xué)等多學(xué)科知識(shí)建立科技報(bào)告質(zhì)量評價(jià)模型。
層次分析法是一種經(jīng)典的多指標(biāo)綜合評價(jià)方法,由美國運(yùn)籌學(xué)家薩蒂于1982 年提出,它綜合了人們的主觀判斷,將評價(jià)目標(biāo)分為若干層次和若干指標(biāo),確定各個(gè)指標(biāo)權(quán)重進(jìn)而對目標(biāo)進(jìn)行綜合評價(jià),是一種簡明、實(shí)用的定性與定量相結(jié)合的、系統(tǒng)化的、層次化的分析方法。
科技報(bào)告的質(zhì)量評價(jià)體系所包含的評價(jià)指標(biāo)眾多,且這些指標(biāo)對于目標(biāo)的重要性不同,評價(jià)的角度也不同。要達(dá)到完備、有序地評價(jià)科技報(bào)告的目的,需按照文件的不同屬性將這些評價(jià)指標(biāo)歸類為幾個(gè)大類指標(biāo),并在這些大類下進(jìn)一步細(xì)分得到下一層的指標(biāo),如此對每一層的各個(gè)指標(biāo)進(jìn)行分解,直到評價(jià)指標(biāo)難以繼續(xù)細(xì)分下去,以便在后續(xù)確定每一指標(biāo)對目標(biāo)影響的權(quán)重。層次分析法符合科技報(bào)告質(zhì)量評價(jià)指標(biāo)體系的特點(diǎn),因此,本研究通過建立科技報(bào)告質(zhì)量評價(jià)指標(biāo)并基于AHP 計(jì)算指標(biāo)權(quán)重得到科技報(bào)告質(zhì)量評價(jià)體系。
為保證科技報(bào)告落實(shí)質(zhì)量管理以及高質(zhì)量產(chǎn)出,科技報(bào)告一般需經(jīng)過編制、校核、審核、批準(zhǔn)四個(gè)環(huán)節(jié)進(jìn)行質(zhì)量評價(jià)。在編制環(huán)節(jié)中,編寫人員對科技報(bào)告進(jìn)行根據(jù)關(guān)注指標(biāo)進(jìn)行自查并修訂;在校核環(huán)節(jié)中,專業(yè)負(fù)責(zé)人或?qū)I(yè)技術(shù)人員對科技報(bào)告質(zhì)量進(jìn)行校核,在編寫人自查基礎(chǔ)上對科技報(bào)告做全面檢查、并根據(jù)差錯(cuò)嚴(yán)重程度和出錯(cuò)次數(shù)進(jìn)行評分且向編寫人員提出修改意見與建議;在審核環(huán)節(jié)中,審核負(fù)責(zé)人負(fù)責(zé)根據(jù)校核分?jǐn)?shù)對修改后科技報(bào)告進(jìn)行進(jìn)一步評估;在批準(zhǔn)環(huán)節(jié),負(fù)責(zé)人需對科技報(bào)告中的關(guān)鍵信息進(jìn)行把關(guān)并批準(zhǔn)通過。由于科技報(bào)告質(zhì)量評價(jià)各階段利益主體和質(zhì)量評價(jià)主體各不相同,他們在科技報(bào)告質(zhì)量管理過程中的評價(jià)目的和考察內(nèi)容有所差異,因此如何將評價(jià)需求差異體現(xiàn)在科技報(bào)告質(zhì)量評價(jià)指標(biāo)體系的構(gòu)建中,如何體現(xiàn)科技報(bào)告評價(jià)的階段性特點(diǎn)是本研究的難點(diǎn)。
在評價(jià)過程中,各評價(jià)主體主要對科技報(bào)告的文件規(guī)范性、內(nèi)容合理性以及技術(shù)嚴(yán)謹(jǐn)性進(jìn)行評價(jià)和反饋,編寫人員根據(jù)反饋結(jié)果修改和完善科技報(bào)告。目前缺少可量化的質(zhì)量評價(jià)體系對科技報(bào)告進(jìn)行打分。本研究針對科技報(bào)告的編制、校核、審核、批準(zhǔn)這四個(gè)環(huán)節(jié)構(gòu)建評價(jià)指標(biāo)體系,確定校核、審核兩個(gè)主要評價(jià)過程的評價(jià)指標(biāo)權(quán)重,以此為依據(jù)進(jìn)行科技報(bào)告質(zhì)量評分。本研究主要從文獻(xiàn)編制質(zhì)量和專業(yè)技術(shù)質(zhì)量兩個(gè)維度進(jìn)行考察并將其作為科技報(bào)告質(zhì)量評價(jià)指標(biāo)體系的一級指標(biāo)。為保證評價(jià)體系完備合理,本研究依據(jù)科技報(bào)告特性[5],如結(jié)構(gòu)完整性、內(nèi)容準(zhǔn)確性、格式規(guī)范性、大環(huán)境適應(yīng)性、方案可行性等建立科技報(bào)告評價(jià)體系中的二級和三級指標(biāo)。
3.1.1 編制過程評價(jià)指標(biāo)體系
在科技報(bào)告編寫過程中和呈送前,編寫人需要分別從文件編制質(zhì)量和專業(yè)技術(shù)質(zhì)量兩個(gè)維度對編寫的科技報(bào)告進(jìn)行自我評估,并針對不同的指標(biāo)及其評價(jià)標(biāo)準(zhǔn)改進(jìn)科技報(bào)告。參考現(xiàn)有研究[4],本節(jié)設(shè)計(jì)了編制環(huán)節(jié)的評價(jià)指標(biāo)體系。經(jīng)過多輪綜合專家意見,針對該過程設(shè)計(jì)了包括2 個(gè)一級指標(biāo)、5 個(gè)二級指標(biāo)、16 個(gè)三級指標(biāo)及評價(jià)標(biāo)準(zhǔn)的技術(shù)報(bào)告質(zhì)量自查指標(biāo)體系。具體指標(biāo)體系如表1 所示。
表1 編制過程科技報(bào)告自評指標(biāo)及評價(jià)標(biāo)準(zhǔn)
3.1.2 校核過程評價(jià)指標(biāo)體系
校核環(huán)節(jié)是科技報(bào)告質(zhì)量管理流程中第二個(gè)流程,由專業(yè)負(fù)責(zé)人或?qū)I(yè)技術(shù)人員擔(dān)任校核工作。校核人在編寫人自查基礎(chǔ)上對科技報(bào)告做全面檢查,重點(diǎn)考察科技報(bào)告推理過程準(zhǔn)確性、研究邏輯合理性、結(jié)論創(chuàng)新性、研究可實(shí)踐性和需求滿足程度。若科技報(bào)告不符合指標(biāo)要求,校核人應(yīng)根據(jù)差錯(cuò)嚴(yán)重程度和出錯(cuò)次數(shù)進(jìn)行評分并向編寫人員提出修改意見與建議。該過程設(shè)計(jì)了包括2 個(gè)一級指標(biāo)、5 個(gè)二級指標(biāo)、16 個(gè)三級指標(biāo)及評價(jià)標(biāo)準(zhǔn)的技術(shù)報(bào)告質(zhì)量評價(jià)指標(biāo)體系。
3.1.3 審核過程評價(jià)指標(biāo)體系
通過校核評價(jià)后,科技報(bào)告進(jìn)入審核環(huán)節(jié)進(jìn)行進(jìn)一步評價(jià)。與校核環(huán)節(jié)不同的是,審核環(huán)節(jié)更重視科技報(bào)告中提出的結(jié)論和建議與科技報(bào)告編寫人對行業(yè)思想和方針的把握程度,因此在建立評價(jià)指標(biāo)時(shí),重點(diǎn)考察核心結(jié)論與關(guān)鍵數(shù)據(jù)的內(nèi)容準(zhǔn)確性、技術(shù)方案是否符合原則統(tǒng)一性(即方案提出是否適應(yīng)國家政策方針、法律法規(guī)、行業(yè)規(guī)范和企業(yè)戰(zhàn)略)以及方案實(shí)際可操作性。審核過程在校核評估基礎(chǔ)上對上述關(guān)鍵指標(biāo)進(jìn)行評價(jià),以保證只有高質(zhì)量、高標(biāo)準(zhǔn)的科技報(bào)告進(jìn)入批準(zhǔn)環(huán)節(jié)。該過程設(shè)計(jì)了包括1 個(gè)一級指標(biāo)、3 個(gè)二級指標(biāo)、7 個(gè)三級指標(biāo)及評價(jià)標(biāo)準(zhǔn)的技術(shù)報(bào)告質(zhì)量評價(jià)指標(biāo)體系。
3.1.4 批準(zhǔn)過程評價(jià)指標(biāo)體系
批準(zhǔn)環(huán)節(jié)是科技報(bào)告質(zhì)量管理流程中的最后一個(gè)環(huán)節(jié)。在批準(zhǔn)過程中,負(fù)責(zé)人需對科技報(bào)告的專業(yè)技術(shù)質(zhì)量進(jìn)行把關(guān),關(guān)注核心結(jié)論和關(guān)鍵數(shù)據(jù)準(zhǔn)確性以及技術(shù)方案是否與大環(huán)境相適應(yīng),并著重考慮技術(shù)能否在企業(yè)內(nèi)實(shí)施并帶來實(shí)際效益。該環(huán)節(jié)評價(jià)負(fù)責(zé)人需綜合校核和審核評價(jià)得到的打分結(jié)果對科技報(bào)告最終的質(zhì)量等級進(jìn)行評定。該過程設(shè)計(jì)了包括1 個(gè)一級指標(biāo):專業(yè)技術(shù)質(zhì)量;3 個(gè)二級指標(biāo):內(nèi)容準(zhǔn)確性、大環(huán)境適應(yīng)性和實(shí)際可操作性;4 個(gè)三級指標(biāo):核心結(jié)論準(zhǔn)確性、關(guān)鍵數(shù)據(jù)準(zhǔn)確性、與國家政策、法律法規(guī)、行業(yè)規(guī)范、企業(yè)戰(zhàn)略的適應(yīng)程度和技術(shù)路線可行性。
本研究應(yīng)用軟件Yaahp 實(shí)現(xiàn)層次分析法并確定評價(jià)指標(biāo)權(quán)重。在評價(jià)指標(biāo)體系確定基礎(chǔ)上,統(tǒng)一采用Satty 提出的9 分位比例標(biāo)度[6,7]度量兩指標(biāo)間的相對重要性,將研究問題從定性分析轉(zhuǎn)為定量分析,使用問卷調(diào)查法收集13 位專家對同級指標(biāo)間相對重要性評分并根據(jù)得到的多份重要性打分進(jìn)行投票制,即少數(shù)服從多數(shù)的綜合處理,最終得到綜合打分判斷矩陣。
綜合判斷矩陣建立后還需進(jìn)行一致性檢驗(yàn)以保證各元素重要度間的協(xié)調(diào)性。使用Yaahp 軟件對每個(gè)綜合矩陣進(jìn)行一致性檢驗(yàn),若計(jì)算結(jié)果一致性比率CR 值<0.1 時(shí),該矩陣符合一致性,否則一致性檢驗(yàn)不通過,需要對該矩陣中的重要性打分進(jìn)行修正。最后經(jīng)過反復(fù)檢驗(yàn)和調(diào)整,所有指標(biāo)相對重要性打分通過一致性檢驗(yàn),得到最終綜合判斷矩陣。然后,根據(jù)綜合判斷矩陣計(jì)算得到不同等級指標(biāo)的權(quán)重。最后將Yaahp 軟件分析得到的三級指標(biāo)權(quán)重乘以對應(yīng)二級指標(biāo)和一級指標(biāo)權(quán)重,即得到各指標(biāo)在該過程評價(jià)指標(biāo)體系中的實(shí)際權(quán)重。經(jīng)過上述計(jì)算分析,最終得到校核和審核過程評價(jià)體系的綜合指標(biāo)權(quán)重分別如表2、3 所示。
表2 校核過程評價(jià)指標(biāo)權(quán)重排序
表3 審核過程評價(jià)指標(biāo)權(quán)重排序
本節(jié)為提升科技報(bào)告撰寫質(zhì)量并嚴(yán)格落實(shí)科技報(bào)告質(zhì)量管理提供數(shù)學(xué)工具?;跇?gòu)建的科技報(bào)告評價(jià)指標(biāo)及其權(quán)重,科技報(bào)告供應(yīng)商可進(jìn)一步依據(jù)指標(biāo)評價(jià)要求對科技報(bào)告進(jìn)行打分,最終得到綜合評分以對科技報(bào)告撰寫內(nèi)容及質(zhì)量進(jìn)行把關(guān)。
科技報(bào)告是科研項(xiàng)目和過程的總結(jié)性文獻(xiàn),它在科研項(xiàng)目管理的過程中產(chǎn)生,由于科研過程往往周期比較長,跨越眾多階段,因此項(xiàng)目管理的流程也會(huì)較為復(fù)雜和漫長,科技報(bào)告的科學(xué)管理顯得尤為重要。質(zhì)量管理是科技報(bào)告管理的生命,對科技報(bào)告的質(zhì)量開展評價(jià),能夠篩選出優(yōu)質(zhì)的科技報(bào)告,對科技報(bào)告的質(zhì)量發(fā)展起到積極的引導(dǎo)作用。對于科技報(bào)告供應(yīng)商來說,推進(jìn)科技報(bào)告質(zhì)量體系的構(gòu)建,能夠有效督促科研人員提高文件質(zhì)量,保證未來一段時(shí)期行業(yè)內(nèi)科技報(bào)告管理水平和能力的穩(wěn)步發(fā)展。
本文回顧了國內(nèi)科技報(bào)告質(zhì)量評價(jià)的研究現(xiàn)狀,針對當(dāng)前科技報(bào)告質(zhì)量評價(jià)存在的問題,運(yùn)用層次分析法,構(gòu)建了基于實(shí)際需求,實(shí)操性較強(qiáng)的分階段分層的文件質(zhì)量評價(jià)指標(biāo)體系,能夠輔助專家和科研人員有效地對文件質(zhì)量做出評價(jià),為科技報(bào)告資源體系的理論研究與實(shí)踐建設(shè)提供借鑒,促進(jìn)業(yè)界科技報(bào)告質(zhì)量水平的提升。對于科技報(bào)告供應(yīng)商來說,科技報(bào)告質(zhì)量體系的構(gòu)建能夠有效督促科研人員提高文件質(zhì)量,保證未來一段時(shí)期行業(yè)內(nèi)科技報(bào)告管理水平和能力的穩(wěn)步發(fā)展。