學術期刊評價中DEA方法的系統(tǒng)誤差研究

關鍵詞： 學術期刊； ＤＥＡ； 效率分析； 系統(tǒng)誤差； 學術評價

ＤＯＩ：１０．３９６９ ／ ｊ．ｉｓｓｎ．１００８－０８２１．２０２４．０９．０１３

〔中圖分類號〕Ｇ３０２ 〔文獻標識碼〕Ａ 〔文章編號〕１００８－０８２１ （２０２４） ０９－０１５４－０９

學術期刊是學術交流和學術思想傳播的重要平臺和載體， 將學術期刊出版視為知識生產系統(tǒng)， 并對學術期刊進行投入產出效率分析， 有助于提高學術質量， 促進科技繁榮， 為優(yōu)化學術期刊高效率發(fā)展路徑提供意見參考?，F有的學術期刊效率分析包括引證效率、知識交流效率、投入產出績效、期刊生產率、期刊運行效率、期刊傳播效果等； 投入產出效率分析在科技評價領域的應用也較為廣泛， 包括科研機構評價、科研團隊評價、大學評價、地區(qū)科技績效評價等。數據包絡分析（ＤＥＡ）是ＣｈａｒｎｅｓＡ 等［１］ 最早提出用于投入產出效率分析的方法。它基于運籌學的原理， 求解決策單元的效率， 并且對投入要素的改進方向進行估計， 被廣泛應用在經濟、社會、科技、軍事等評價領域。目前基于ＤＥＡ 模型的評價方法已經形成了一套龐大的體系， 根據測度效率的原理、約束因素、方法等不同， ＤＥＡ 模型又不斷延伸拓展為成百上千的模型。將ＤＥＡ 模型應用于學術期刊效率評價， 有助于從投入產出的角度分析學術期刊的發(fā)展現狀及發(fā)展過程中存在的問題。

學術期刊效率評價中不可避免地出現誤差。任何評價都存在一定的誤差， 誤差分為系統(tǒng)誤差和偶然誤差兩類， 系統(tǒng)誤差是指評價結果與真實值之間的差距， 偶然誤差是單次測量與多次測量平均值的差距， 兩者共同決定了評價結果的準確性。學術期刊效率評價中只存在系統(tǒng)誤差， 產生系統(tǒng)誤差的原因多種多樣， 比如評價目的不明確、投入產出指標選取錯誤、模型方法應用錯誤等均可以產生系統(tǒng)誤差。系統(tǒng)誤差的存在扭曲了評價結果， 從而影響學術期刊評價的科學性和有效性。由于評價方法導致的系統(tǒng)誤差又是隱含的， 不易察覺， 其對評價結果造成的危害較大。開展基于ＤＥＡ 模型的學術期刊效率評價的系統(tǒng)誤差研究， 不僅有利于深化ＤＥＡ方法在學術期刊評價中的應用， 提高學術評價方法的科學性和有效性， 而且有利于保證評價結果的公平公正性和合理性。

１文獻綜述

關于ＤＥＡ 模型在學術期刊評價中的應用， 學術期刊效率分析的相關文獻如表１ 所示。從評價目的來看， 現有的學術期刊評價研究主要涉及跨學科期刊比較［３］ 、引證效率［４－７］ 、知識交流效率［８－１１］ 、期刊投入產出績效［１２］ 、期刊生產率［１３］ 、期刊質量［１４］ 、科研論文產出績效［１５］ 、期刊運行效率［１６］ 、期刊數據庫傳播效果［１７］ 、圖情期刊影響力［１８］ 等方面。學術期刊評價的研究對象涉及林業(yè)［２］ 、工業(yè)［３］ 、醫(yī)學［１６］ 、經濟學［４］ 、圖書情報學［５－６，１１，１４，１８］ 、檔案管理［１０］ 等學科， 既包括自然科學相關學科， 也包括人文社科相關學科， 此外， 還有少量研究涉及大學學院與期刊數據庫。涉及的投入產出指標也五花八門， 包括特征因子、影響因子、被引特征、擴散指標等。從研究方法來看， 現有的學術期刊評價主要采用ＣＣＲ、ＢＣＣ 等傳統(tǒng)的ＤＥＡ 模型， 也有研究將超效率分析方法、Ｍａｌｍｑｕｉｓｔ 指數、隨機前沿、ＤＥＡ博弈交叉效率、非期望產出效率等方法拓展到學術期刊評價研究中， 總體來說， 學術期刊評價的研究方法還不夠豐富。

關于期刊評價中ＤＥＡ 方法的選擇， Ｏｒｔｅｇａ Ｆ Ｊ等［１９］ 采用生產函數隨機前沿模型， 以影響因子、期刊載文量、編輯成員數為投入變量， 總被引頻次為產出變量， 計算經濟學期刊生產效率。ＭｃＷｉｌｌｉａｍｓＡ 等［２０］探討了期刊錄用比例、專題組稿、期刊價格、編委會成員數量對期刊知識交流效率的影響。Ｓｃｈｌｅｎ?ｋｅｒ Ｍ Ｂ 等［２１］ 采用８ 項指標研究了加拿大各眼科和視覺科學排名前十期刊的學術生產率。Ｌｅｅ Ｈ 等［３］引入反映學科差異的指標， 用來解決影響因子無法跨學科比較問題， 并建立了跨學科期刊ＤＥＡ 方法。

關于評價誤差的理論研究， 費業(yè)泰［２４］ 給出了系統(tǒng)誤差的規(guī)范定義， 即測量中固有因素導致具有一定規(guī)律性的誤差。鄭凱［２５］ 認為， 測量精度是測量過程中隨機誤差和系統(tǒng)誤差共同作用的結果。ＳｃｈｗａｂＤ Ｐ［２２］ 指出， 評價方法科學性、合理性的重要判斷標準就是誤差的大小及其可控性。關于系統(tǒng)誤差的影響， 熊紅星等［２３］ 將方法層面的系統(tǒng)誤差稱為方法變異， 并指出其會影響評價結構甚至評價理論建構。還有學者提出評估誤差的方法， 例如， 楊桂元等［２６］構造損失函數評估預測誤差并對模型質量進行估計。

從現有的研究來看， 基于ＤＥＡ 方法研究期刊評價的文獻總體較少， 將ＤＥＡ 測度方法用于分析多變量的投入產出的研究則更加匱乏， 而關于系統(tǒng)誤差的研究主要集中在測量階段， 結合現有文獻，發(fā)現在以下方面有待進一步深入：

第一， 將系統(tǒng)誤差理論引入到多變量投入產出效率分析是一種全新的嘗試， 系統(tǒng)誤差對ＤＥＡ 學術期刊效率分析的影響如何， 目前尚未有研究涉及。

第二， 在基于ＤＥＡ 模型的學術期刊效率分析中， 哪些環(huán)節(jié)可能會產生系統(tǒng)誤差？ 系統(tǒng)誤差的大小又如何？ 這些問題還需要進行系統(tǒng)性的審視。

第三， 系統(tǒng)誤差的存在會影響學術期刊評價結果的科學性和合理性， 但是現有研究尚缺乏全面深入探究有效降低學術期刊ＤＥＡ 分析的系統(tǒng)誤差的方法。

２學術期刊效率測度系統(tǒng)誤差的基本分析

２.１ＤＥＡ 效率分析中誤差分類

根據傳統(tǒng)的測量理論， 單個測量對象的精確度取決于系統(tǒng)誤差和偶然誤差， 其中偶然誤差決定了測量的精密度， 系統(tǒng)誤差決定了測度的準確度， 如圖１所示。

式（２） 中， δｔ 表示單次測量的偶然誤差， 偶然誤差值取決于測量次數。在基于ＤＥＡ 的學科期刊效率分析中， 當學科期刊的投入產出指標和ＤＥＡ模型確定后， 基于ＤＥＡ 計算得到的效率值是唯一的， 與測算次數無關， 即偶然誤差為０。

綜上所述， 在基于ＤＥＡ 的學術期刊效率分析中， 重點研究系統(tǒng)誤差的原因有兩個： 第一， 盡管單指標測量是ＤＥＡ 效率分析的基礎， 但以ＤＥＡ 研究誤差問題應暫不討論單指標的系統(tǒng)誤差與偶然誤差。第二， 在多指標的投入產出分析中， 系統(tǒng)誤差存在且值恒定， 而偶然誤差為０， 因此， 系統(tǒng)誤差是基于ＤＥＡ 模型的學術期刊效率分析中誤差的主要來源。

２.２學術期刊投入產出效率的真實值

根據系統(tǒng)誤差的定義， 真實值存在與否對學術期刊效率測度的系統(tǒng)誤差具有極大的影響， 因此有必要進一步討論真實值問題。期刊效率真實值的確定較為困難， 從主觀認識角度來說， 效率非感性特征、評價目的理解性差異等原因使得期刊效率真實值確定非常困難； 從期刊角度來說， 期刊價值不可見、期刊特色不可比等問題同樣導致真實值確定較為困難， 如圖２所示。

２.２.１效率非感性特征

效率本質上是一種投入產出比， 效率的判斷不是基于個人的主觀感受和情緒， 而是基于客觀的事實和數據量化衡量出來的?；诖耍?ＤＥＡ 效率測度方法的準確性就至關重要， 但這并非是判斷真實值的方法， 因為真實值是獨立于測量方法以外的“看不見的真理”。

２.２.２評價目的理解性差異

期刊效率的評價目的包括提升引證效率、學術交流效率、期刊質量等， 在現有的期刊效率評價文獻中， 少有研究對需要測度的效率進行準確定義，描述也極為簡短， 從而導致人們對效率測度目的的認識具有多樣性， 而這種評價目的理解性差異勢必也會影響到真實值的確定。如在評價期刊的學術質量時， 有的專家認為形式指標應該納入到指標體系中， 但是有的專家則認為形式指標并不重要。

２.２.３期刊價值不可見

期刊價值難以測度是進行效率分析的最大問題。對于學術期刊而言， 論文的學術質量是決定期刊價值的重要因素， 然而迄今為止尚缺乏微觀領域有效的論文質量測度方法。盡管可以借助文獻計量指標對期刊價值進行測量， 但顆粒度較大的期刊論文可能存在“睡美人現象”，即論文的學術價值被大家真正認識到之前， 只有極少數甚至零引用。

２.２.４期刊特色不可比

任何期刊都具有自己的特色， 這是期刊在長期辦刊過程中形成的核心競爭力和優(yōu)勢所在。而在期刊效率的測度中， 與期刊特色相關的指標往往難以作為投入產出變量。此外， 不同類型、不同特色的期刊通常不具有可比性， 這使得確定期刊效率的真實值變得更為困難。

期刊效率真實值的存在是討論ＤＥＡ系統(tǒng)誤差的基礎， 但是以上原因使得期刊效率真實值很難獲取， 期刊效率的真實值是討論ＤＥＡ系統(tǒng)誤差的基礎。然而， 由于上述原因，期刊效率的真實值難以獲取， 從而使得基于ＤＥＡ模型研究系統(tǒng)誤差變得較為困難。因此，本文借鑒經濟學中常用的方法，假設期刊效率的真實值是存在的。因此， 本文借鑒經濟學中常用的處理方式， 假定期刊效率的真實值是存在的。

３學術期刊效率分析系統(tǒng)誤差的產生機制

３.１期刊ＤＥＡ效率分析的過程

基于ＤＥＡ模型的學術期刊效率分析過程如圖３所示， 首先根據期刊效率評價的目標選取投入產出變量， 接下來進行方法適用檢驗以確定具體采用哪種ＤＥＡ效率模型，并通過合適的軟件計算評價結果，最后將效率評價的結果進行公布。需要說明的是，ＤＥＡ分析中的方法適用檢查是必要的， 但在實際操作中往往容易被忽略。

３.２評價目的確定的系統(tǒng)誤差

評價目的帶來的系統(tǒng)誤差表面看似乎是一個偽問題， 但實際情況并非如此。在基于ＤＥＡ 模型的期刊效率分析中， 評價目的會直接影響到評價指標、評價方法等的選擇。例如， 如果評價目的是分析期刊的學術質量， 就不能采用ＤＥＡ 分析方法， 因為ＤＥＡ模型不能用來測度學術質量， 只適用于分析期刊投入產出質量。

３.３投入產出變量選取的系統(tǒng)誤差

在學術期刊的效率分析中， 投入產出變量的誤選問題比比皆是， 這是產生系統(tǒng)誤差的重要來源，有必要進行詳細分析。

３.３.１評價時間邏輯一致性

在ＤＥＡ效率分析中，必須保證投入指標與產出指標的時間軸一致， 若時間軸不一致， 將會導致評價對象混亂， 進而產生系統(tǒng)誤差。期刊評價的時間軸如圖４ 所示。以期刊引證效率分析為例， 假設投入指標的時間范圍為２０１８—２０１９年，產出指標的時間應為２０２０ 年， 在這種情況下， 將２０１８—２０１９年的基金論文比、引用期刊數、載文量、平均引文數作為投入變量， 將２０２０年的影響因子和他引影響因子作為產出變量。有３類指標不能作為產出變量， 一是即年指標， 因為即年指標代表了２０２０年發(fā)表論文在當年的被引用的次數， 不在２０１８—２０１９年期刊載文范圍內； 二是總被引頻次， 因為該指標代表的是期刊創(chuàng)刊以來的所有論文在２０２０年的被引次數， 同樣不在２０１８—２０１９年的期刊載文范圍內； 三是被引半衰期， 因為該指標代表的是期刊創(chuàng)刊以來的所有論文在２０２０年的時效性， 同樣不在２０１８—２０１９年的期刊載文范圍內。

３.３.２重要投入變量遺失

在期刊效率分析中， 重要投入變量缺失會使得評價結果偏離效率的真實值， 即出現系統(tǒng)誤差。如圖５中所示， 學術期刊是重要的知識載體， 知識創(chuàng)新是在前人的基礎上有所進步， 再加上必要的研發(fā)投入， 因此， 從知識交流角度來說， 學術期刊的投入變量包括前人知識、研發(fā)投入、知識創(chuàng)新， 產出指標主要包括期刊影響力、期刊時效性等。在投入指標中， 關于前人知識的相關指標較多， 如引用期刊數、平均引文數等， 研發(fā)投入包括基金論文比、研發(fā)經費等， 期刊產出的指標也容易選取。知識創(chuàng)新作為學術交流效率分析中至關重要的投入變量，無法通過詳細的指標來衡量， 在效率分析中往往被忽視。如果在ＤＥＡ效率分析中缺失知識創(chuàng)新這一重要指標， 會導致評價結果偏離真實值， 評價結果變得不可信。

３.３.３部分指標不具備價值單調性

一些文獻計量指標并不具備價值單調性， 比如篇均作者數， 沒有研究可以表明該指標的取值越大越好， 在研究中不能貿然選取。對于載文量指標來說， 在評價一般非核心期刊時， 可以將其作為投入指標， 以鼓勵這些期刊提高學術質量。但是對于優(yōu)秀期刊來說， 采用載文量作為投入指標就具有負面導向作用。對于地區(qū)分布數指標來說， 它代表的是期刊一年發(fā)表論文涉及作者的省際分布數量， 受到學科布局的影響， 也不宜作為投入指標。

３.３.４指標防止人為操控

期刊效率評價屬于應用研究， 需要考慮到評價指標可能出現的人為操控預防問題以降低評價的系統(tǒng)誤差， 但是目前這方面做的還遠遠不夠。例如，現有研究通常采用影響因子來表示產出， 但該指標包括自引， 如果自引過高， 就存在人為操控的可能。

而將自引率作為效率測度的非期望產出， 就可以有效地預防人為操縱問題。

３.３.５評價指標不符合評價目的相關的評價指標選擇

學術期刊效率評價總體上要發(fā)揮出正確的導向功能， 比如提高學術質量和期刊影響力、加強論文創(chuàng)新和學術交流等。但在目前的ＤＥＡ 期刊效率測度中， 將專業(yè)技術人員投入、一般工作人員投入同時作為投入指標， 將普通論文數量、核心期刊論文數量同時作為產出指標， 并且進行等權重處理， 這種做法不利于發(fā)揮學術評價的價值導向和指揮棒功能。

３.４評價方法適用性檢驗缺失導致的系統(tǒng)誤差

一般認為， 采用ＤＥＡ 模型進行效率分析的前提條件是決策單元即評價對象的數量必須大于投入產出指標之和的兩倍。過少的評價對象， 不具有代表性， 并且當數據量過少時， 容易出現異常點。而ＤＥＡ 對于異常點非常敏感， 導致關鍵數據的誤差影響整體評價結果。此外， 當數據量過少時， ＤＥＡ 前沿面的穩(wěn)健性存疑， ＤＥＡ 分析的區(qū)分能力也會變弱， 從而降低評價結果的可信度。

目前基于ＤＥＡ 模型的學術期刊效率分析研究中， 評價期刊數量最少只有５ 種， 而投入產出變量總數也為５ 種， 因此， 基于ＤＥＡ 模型的學術期刊效率測度結果是存在問題的。

３.５模型設定與系統(tǒng)誤差

ＤＥＡ模型有上萬種， 即使結合學術期刊評價目的去討論ＤＥＡ 模型的選用也是一個非常復雜的問題， 下面僅舉幾個例子進行必要的說明。

第一， 模型的粒度取決于評價目的。模型并不是越復雜越好， 而是要更好地服務于評價目的。從理論上看， 傳統(tǒng)的ＣＣＲ模型可以直接測度效率，但如果要將其分解為純技術效率和規(guī)模效率， 就要采用ＢＣＣ模型進行分解， 同時可以得到各投入指標的改進方向。但實際上， 期刊的純技術效率和規(guī)模效率的內涵很難精準描述， 如果采用經濟管理中的常規(guī)做法， ＤＥＡ 評價的目的是為了降低投入增加產出， 而這種調整可能存在人為操縱的可能， 在這種情況下采用傳統(tǒng)的ＣＣＲ 模型反而更好。

第二， 多階段ＤＥＡ模型與系統(tǒng)誤差。學術期刊論文總體上側重于基礎研究， 采用兩階段甚至是三階段的ＤＥＡ模型來開展研究， 分為基礎研究階段、應用研究階段、成果轉化階段。在基礎研究階段， 真正的創(chuàng)新是難以度量的， 會存在缺失重要變量帶來的誤差； 在應用研究階段， 其依托的基礎研究成果主要是人類幾十年甚至上百年前的研究成果，而非短期論文； 在成果轉化階段， 各種投入和產出要素很多， 涉及的相關變量難以搜集。以上因素都會對期刊效率評價產生較大的影響， 所以建議采用單階段的期刊效率評價模型開展研究。

第三， ＤＥＡ 模型不能任意拓展。本質上，ＤＥＡ效率分析是經濟管理中的研究方法， 目前在知識生產中的應用還處于探索階段。一些典型的ＤＥＡ模型如非增規(guī)模收入（ＮＩＲＳ）、非減規(guī)模收入（ＮＤＲＳ）、成本模型、受益模型、利潤模型、不可控投入（產出）模型等， 要掌握其原理后結合評價目的加以選用。

第四， ＤＥＡ 模型中的權重確定與系統(tǒng)誤差。涉及權重的ＤＥＡ 模型包括投入（產出）偏好模型、權重約束模型、乘數模型等諸多模型， 目前涉及權重的模型應用相對較少， 較少有研究在學術評價領域討論投入產出指標的權重賦值方法問題。權重具有主觀性質， 在對指標進行賦權時， 建議采用專家賦權法， 不宜采用類似熵權法、ＣＲＩＴＩＣ、變異系數法等客觀賦權法。

３.６結果公布與系統(tǒng)誤差

學術期刊評價的結果必須保持一定的區(qū)分度才有意義， 但是效率為１ 的決策單元的效率是相等的，也就是說不存在區(qū)分度， 這顯然是不合適的。因此在ＤＥＡ 效率模型的選擇中， 應盡量采用超效率模型研究學術期刊的效率， 以增加學術期刊評價結果的區(qū)分度。

４學術期刊ＤＥＡ效率分析系統(tǒng)誤差的預防與消減

學術期刊效率分析中必然存在系統(tǒng)誤差， 而系統(tǒng)誤差的存在會影響評價結果的科學性和合理性。本文將從學術期刊效率評價投入產出指標選取、評價對象規(guī)模、評價模型選擇、權重設置等方面提出預防與消減系統(tǒng)誤差的方法。

４.１認真選擇學術期刊效率評價投入產出指標

在學術期刊的效率評價中， 系統(tǒng)誤差的產生原因是多方面的， 其中投入產出指標的誤選問題對評價結果準確性的影響較大。在投入產出指標選取中，要注意評價指標的時間邏輯要保持一致， 擯棄非價值單調性指標與無意義指標的選取， 防止人為操控指標問題。對于關鍵的學術質量指標， 可嘗試探索選取學術質量相關的指標， 比如ｈ 指數， 該指標是影響力指標的一種， 與期刊質量高度相關， 必要時可考慮將其作為期刊學術質量的投入變量， 以避免關鍵變量的缺失問題。

４.２ 評價對象數量要達到一定規(guī)模

ＤＥＡ 評價對決策單元的數量有最低限度要求，并且ＤＥＡ 對異常值非常敏感， 因為其數據包絡曲線是由個別特殊的點構成的。在確保評價期刊數量達到投入產出指標兩倍的前提下， 還要保證期刊數量不低于２０ 種， 以提高ＤＥＡ 評價結果的穩(wěn)健性。

４.３結合評價目的選擇評價方法， 不宜濫用復雜ＤＥＡ模型

嚴格意義上說， 學術質量評價、影響力評價、績效評價等不適合采用ＤＥＡ 模型進行研究， 對于引證效率、編輯出版效率、學術交流效率評價等來說， 應結合評價目的選擇合適的評價方法。需要注意的是， ＤＥＡ 模型本來是應用于經濟管理領域的效率測度方法， 非常重視投入產出和技術經濟分析。但是對于學術期刊而言， 知識生產不是簡單的成本受益， 知識生產的特征和規(guī)律以及相關要求可能完全不同， 因此不宜濫用復雜ＤＥＡ 模型以及多階段ＤＥＡ 模型。此外， 盡量優(yōu)先采用超效率分析模型以保證完全有效率期刊的區(qū)分度。

４.４對于ＤＥＡ 評價中的權重設置應采用專家賦權法

對于投入（產出）偏好ＤＥＡ 模型、權重約束ＤＥＡ模型、乘數ＤＥＡ 模型等涉及權重的ＤＥＡ 模型來說， 必須采用專家賦權法對相關的投入產出指標進行賦權， 不宜采用客觀賦權法。《辭?！分袑嘀亟忉尀椤耙曋匾潭葹樵紨祿x予的、具有權衡輕重作用的數值”， 輕重的標準是由人來確定的，也就是說， 評價具有天然的主觀性， 只有專家主觀判斷指標的重要性才更為可靠， 客觀賦權法所體現的重要性無法體現評價為管理服務。

５研究結論

５.１ＤＥＡ學術期刊評價仍然處于探索階段

目前基于ＤＥＡ 模型的學術期刊效率測度的相關研究還較少， 尚處于起步探索階段。本文首先提出基于ＤＥＡ 模型的學術期刊效率評價存在誤差， 并結合誤差理論進一步分析得出， 基于ＤＥＡ 模型的學術期刊效率評價中不存在偶然誤差， 只存在系統(tǒng)誤差，最后針對具體的ＤＥＡ 方法用于經濟學領域以及情報學領域進行了應用區(qū)別的討論。同時， 由于學術期刊質量測度的復雜性， 導致在期刊引證效率、學術交流效率測度中出現關鍵指標缺失的問題， 勢必會導致期刊ＤＥＡ 效率評價結果失真， 盡管已有學者提出一些修正方法， 但其應用效果還有待驗證。此外，主要應用在經濟管理投入產出分析中的效率評價方法應用在知識生產中還會有諸多差異。

５.２評價指標選取與方法選擇是ＤＥＡ學術期刊評價系統(tǒng)誤差產生的主要原因

在基于ＤＥＡ 模型的學術期刊評價中， 投入產出指標選取與評價方法選擇是產生評價系統(tǒng)誤差的兩個主要環(huán)節(jié)。此外， 投入產出效率的真實值判定、期刊價值本身難以測度、重要變量遺失、指標非單調性特性、指標人為操控、評價方法適用性等也是產生系統(tǒng)誤差的重要原因。

５.３學術期刊與科技評價效率分析存在的系統(tǒng)誤差問題需因地制宜進行處理

ＤＥＡ學術期刊評價的系統(tǒng)誤差問題仍處于探索階段，由于測量方法的限制， 其誤差測度問題更應具體分析。針對基于ＤＥＡ模型的學術期刊效率分析中產生系統(tǒng)誤差的原因， 本文主要從指標選取、評價樣本的數量、方法模型方面提出了一些降低系統(tǒng)誤差的具體方法。同時， 科研機構、科研人員、科研項目、科研績效、科研政策等科技評價也可以采用ＤＥＡ分析， 對于存在的系統(tǒng)誤差問題， 同樣可以參照本文的范式進行檢查處理。需要注意的是，由于基礎研究、科研項目、科研人才等評價的公共物品屬性較強， 所以采用ＤＥＡ分析要謹慎且適度，而對于企業(yè)創(chuàng)新、區(qū)域創(chuàng)新、成果轉化等市場機制運作的相關評價則可以全方位借鑒ＤＥＡ分析方法。