基于用戶(hù)反饋的查新報(bào)告可信度調(diào)查研究

●杜 娟（浙江省醫(yī)學(xué)科學(xué)院 情報(bào)研究所，杭州 310013）

查新咨詢(xún)報(bào)告作為查新工作的最終產(chǎn)物，其可信度不僅反映了一個(gè)查新機(jī)構(gòu)本身的查新質(zhì)量，更在某些程度上影響著整個(gè)查新行業(yè)的信譽(yù)。查新咨詢(xún)報(bào)告要真正做到在科研成果鑒定，科研項(xiàng)目申請(qǐng)、立項(xiàng)及管理與決策中起到重要的鑒證作用，其查新報(bào)告的高信度在其中占有無(wú)可置疑的地位。隨著查新工作的不斷發(fā)展，全國(guó)眾多查新機(jī)構(gòu)出具的查新報(bào)告數(shù)量也日益增長(zhǎng)，這些查新報(bào)告的實(shí)際信度到底有多少，用其進(jìn)行科研評(píng)價(jià)的可靠性到底如何，這是所有查新人員與相關(guān)管理部門(mén)都想要弄明白的一個(gè)問(wèn)題。筆者通過(guò)用戶(hù)調(diào)查法先期進(jìn)行了查新報(bào)告在用戶(hù)中的可信度調(diào)查研究，以明確查新報(bào)告在查新用戶(hù)方的可信性定位。

1 查新報(bào)告的可信度及其影響因素

一個(gè)高質(zhì)量高信度的查新報(bào)告的出爐，必然是在查新員精準(zhǔn)理解與掌握項(xiàng)目研究?jī)?nèi)容及查新點(diǎn)后，進(jìn)行最全面的項(xiàng)目相關(guān)文獻(xiàn)采集，并從中發(fā)現(xiàn)準(zhǔn)確的密切相關(guān)文獻(xiàn)或部分創(chuàng)新點(diǎn)密切相關(guān)文獻(xiàn)，用簡(jiǎn)潔流暢的、專(zhuān)業(yè)的、有針對(duì)性與比較性的語(yǔ)言，按照項(xiàng)目研究?jī)?nèi)容及其創(chuàng)新點(diǎn)，客觀準(zhǔn)確地表述查新結(jié)果及查新結(jié)論。在相關(guān)文獻(xiàn)或密切相關(guān)文獻(xiàn)為零的狀態(tài)下，絕對(duì)不能有相關(guān)文獻(xiàn)或密切相關(guān)文獻(xiàn)的漏檢。

但實(shí)際操作離理想的標(biāo)準(zhǔn)有不小的距離，各種提高查新質(zhì)量的措施也只能是努力縮小這個(gè)差距，要求查新報(bào)告的絕對(duì)準(zhǔn)確性幾乎是不可能的，對(duì)查新項(xiàng)目的新穎性評(píng)價(jià)只能是在有限檢索范圍內(nèi)的一個(gè)結(jié)論。已有一些理論研究對(duì)影響查新報(bào)告質(zhì)量的因素進(jìn)行了探討，提出了有關(guān)查新報(bào)告的質(zhì)量評(píng)定標(biāo)準(zhǔn)及其指標(biāo)體系；［1,2］；也有少量理論性研究文獻(xiàn)就查新報(bào)告的可靠性、查新報(bào)告的失實(shí)、查新報(bào)告中相關(guān)文獻(xiàn)漏檢的影響因素進(jìn)行了分析。［3-5］綜觀我國(guó)查新研究方面的文獻(xiàn)不難發(fā)現(xiàn)，查新機(jī)構(gòu)所能應(yīng)用的數(shù)據(jù)源、各種數(shù)據(jù)源本身的數(shù)據(jù)收集量及時(shí)效性、查新人員的職業(yè)道德及知識(shí)結(jié)構(gòu)與工作能力等都是影響查新報(bào)告可信度的重要因素，這也是各個(gè)關(guān)注查新報(bào)告可信度的查新職界人士所擔(dān)憂(yōu)的癥結(jié)所在。因?yàn)橐粋€(gè)查新機(jī)構(gòu)不可能擁有世界上所有的文獻(xiàn)數(shù)據(jù)源，也不可能隨時(shí)能獲取查新項(xiàng)目可能相關(guān)的最新數(shù)據(jù)，查新人員處理一個(gè)個(gè)截然不同的查新項(xiàng)目的素質(zhì)與能力也千差萬(wàn)別，而經(jīng)常發(fā)生的短時(shí)間大量的查新要求又一定程度上迫使查新人員按照“最小努力原則”進(jìn)行查新工作，再加上一些查新機(jī)構(gòu)的經(jīng)濟(jì)杠桿、查新審核及專(zhuān)家咨詢(xún)制度的不完善、各查新機(jī)構(gòu)各自為政缺乏監(jiān)管的現(xiàn)狀，導(dǎo)致不少查新機(jī)構(gòu)出具的查新報(bào)告的可信度令管理部門(mén)、評(píng)審專(zhuān)家及用戶(hù)產(chǎn)生諸多質(zhì)疑。2研究?jī)?nèi)容及方法

2.1 查新報(bào)告可信度指標(biāo)及其比重的確定

參考國(guó)內(nèi)丁蘊(yùn)一、馬景娣、孫清玉等的查新報(bào)告質(zhì)量評(píng)定標(biāo)準(zhǔn)及評(píng)價(jià)指標(biāo)體系的有關(guān)定性及定量研究，［1,2,6］結(jié)合筆者近20年的查新工作實(shí)踐，確定此次調(diào)查研究所采用的查新報(bào)告可信度指標(biāo)及相應(yīng)比重。其中：

（1）按漏檢密切相關(guān)文獻(xiàn)進(jìn)行評(píng)定，可信度以百分制為單位計(jì)算。

① 項(xiàng)目有密切相關(guān)文獻(xiàn)（包括一篇到多篇） 而查新過(guò)程中全部漏檢，則查新報(bào)告的可信度為零。②項(xiàng)目有2-10篇的密切相關(guān)文獻(xiàn)而查新過(guò)程中部分漏檢，按漏檢比例除以2確定查新報(bào)告的可信度（100-漏檢率%/2）。因?yàn)轫?xiàng)目雖無(wú)新穎性，但此時(shí)的密切相關(guān)文獻(xiàn)量可一定程度上反映項(xiàng)目的先進(jìn)性。③ 項(xiàng)目有密切相關(guān)文獻(xiàn)但最密切相關(guān)文獻(xiàn)漏檢，則查新報(bào)告的可信度低于50%。④ 檢出的項(xiàng)目密切相關(guān)文獻(xiàn)已超過(guò)10篇以上，項(xiàng)目已無(wú)先進(jìn)性可言，更絕對(duì)否定了其新穎性，漏檢文獻(xiàn)量對(duì)報(bào)告的可信度無(wú)明顯影響。⑤ 對(duì)于有多個(gè)查新點(diǎn)的項(xiàng)目，因某一查新點(diǎn)漏檢密切相關(guān)文獻(xiàn)而錯(cuò)誤評(píng)定其為創(chuàng)新點(diǎn)，按其與總查新點(diǎn)的比例確定查新報(bào)告的可信度（100-漏檢點(diǎn)量/總查新點(diǎn)量%）。其中每個(gè)查新點(diǎn)的漏檢密切相關(guān)文獻(xiàn)量對(duì)查新報(bào)告可信度的影響可按上述評(píng)定方式結(jié)合查新點(diǎn)量計(jì)算。

（2）按查新報(bào)告形成過(guò)程中的質(zhì)量主要影響因素進(jìn)行查新報(bào)告可信度的評(píng)定，各指標(biāo)所占比重以百分制為單位計(jì)算。見(jiàn)表1。

筆者對(duì)丁蘊(yùn)一、馬景娣等提出的相關(guān)指標(biāo)分值作了些修改，認(rèn)為，在準(zhǔn)確掌握與理解項(xiàng)目研究相關(guān)知識(shí)、研究?jī)?nèi)容、查新點(diǎn)的前提下，所采用的數(shù)據(jù)資源的全面性是保證查全的基礎(chǔ)條件，不同數(shù)據(jù)資源檢索過(guò)程中的檢索策略及方法、對(duì)相關(guān)文獻(xiàn)與密切相關(guān)文獻(xiàn)的查找及判定是整個(gè)查新過(guò)程中最關(guān)鍵的質(zhì)控步驟，這也是最難以用標(biāo)準(zhǔn)化、規(guī)范化程序控制其質(zhì)量的工作。只有在查全的基礎(chǔ)上查準(zhǔn)，密切相關(guān)文獻(xiàn)的漏檢率達(dá)到最小程度，才有查新報(bào)告的可信度可言，所以這前兩部分的工作量也是最重要的。正確做好了這前二步，查新報(bào)告的可信度至少已應(yīng)達(dá)到70%以上。準(zhǔn)確識(shí)別了相關(guān)文獻(xiàn)與密切相關(guān)文獻(xiàn)，查新結(jié)果的表述可采用標(biāo)準(zhǔn)化、規(guī)范化的手段加以控制，包括采用信息優(yōu)化處理原則、一般相關(guān)文獻(xiàn)的概括性表述原則、新穎點(diǎn)突出原則等進(jìn)行表述，所以后兩部分的比重控制在30%。

2.2 用戶(hù)調(diào)研

以上述密切相關(guān)文獻(xiàn)漏檢情況及查新報(bào)告可信度評(píng)價(jià)指標(biāo)表1為主要內(nèi)容，同時(shí)為了解本部門(mén)查新報(bào)告在用戶(hù)中的信度，分浙江省醫(yī)學(xué)情報(bào)研究所（以下簡(jiǎn)稱(chēng)醫(yī)情所）、其他查新機(jī)構(gòu)兩個(gè)板塊進(jìn)行查新報(bào)告可信度評(píng)價(jià)?；谟脩?hù)的視角，采用問(wèn)卷調(diào)查法在浙江省隨機(jī)抽取15家單位的生物醫(yī)學(xué)查新用戶(hù)進(jìn)行匿名形式的相關(guān)調(diào)研，共回收有效調(diào)查表204份。為用戶(hù)評(píng)價(jià)方便起見(jiàn)，表1中的每個(gè)可信度評(píng)價(jià)指標(biāo)均以100%為最高標(biāo)準(zhǔn)，并結(jié)合每個(gè)用戶(hù)的相應(yīng)查新頻次進(jìn)行累加統(tǒng)計(jì)及核算。

3 結(jié)果

3.1 樣本基本信息

抽查的查新用戶(hù)均為地市級(jí)及其以上單位的生物醫(yī)學(xué)科研人員，其年齡、學(xué)歷、職稱(chēng)、查新頻次、查新目的構(gòu)成見(jiàn)表2。

這些查新用戶(hù)以高學(xué)歷、高職稱(chēng)居多；委托省醫(yī)情所的總查新頻次為518人次，委托其他查新機(jī)構(gòu)的總查新頻次為60人次，平均每人的查新頻次為2.83；查新目的系項(xiàng)目申報(bào)必須占87.25%，為使項(xiàng)目更有意義或用于項(xiàng)目準(zhǔn)備占30.39%，其中有12.75%的用戶(hù)系主動(dòng)查新，而不是為了應(yīng)付項(xiàng)目申報(bào)，表明了查新工作正在得到用戶(hù)的主動(dòng)響應(yīng)。

表2 查新用戶(hù)的基本信息

3.2 用戶(hù)對(duì)查新報(bào)告可信度的評(píng)價(jià)

調(diào)研結(jié)果表明，用戶(hù)反饋的省醫(yī)情所出具的518份查新報(bào)告中1份有密切相關(guān)文獻(xiàn)漏檢，漏檢率為0.19%，為漏檢評(píng)定標(biāo)準(zhǔn)的第一種情況，這份查新報(bào)告的可信度即為零。其他查新機(jī)構(gòu)的密切相關(guān)文獻(xiàn)漏檢率為8.33%（5/60），其中為漏檢評(píng)定標(biāo)準(zhǔn)第一種情況的4份（查新報(bào)告的可信度為零）、為漏檢評(píng)定標(biāo)準(zhǔn)第三種情況的1份（查新報(bào)告可信度＜50%）。

除去漏檢的6人次查新報(bào)告評(píng)價(jià)，將其余572頻次的查新報(bào)告可信度指標(biāo)逐一列入Excel表進(jìn)行匯總統(tǒng)計(jì)，結(jié)果見(jiàn)表3。

表3 基于用戶(hù)的查新報(bào)告可信度評(píng)價(jià)統(tǒng)計(jì)表

4 討論

按設(shè)置的調(diào)查表，此次用戶(hù)調(diào)查反饋認(rèn)可的查新報(bào)告信度較高，除省醫(yī)情所1份、其他查新機(jī)構(gòu)5份有密切相關(guān)文獻(xiàn)漏檢外，其余572頻次的查新報(bào)告可信度指標(biāo)成績(jī)均在優(yōu)良以上。13個(gè)指標(biāo)中，查新結(jié)果與結(jié)論表述的簡(jiǎn)潔性得分最低，分別為86.75與85.23；項(xiàng)目研究?jī)?nèi)容理解準(zhǔn)確性、檢索結(jié)果表述專(zhuān)業(yè)性及準(zhǔn)確性得分最高，分別為96.73和96.84，總體可信度達(dá)93.49%。由此說(shuō)明，我省生物醫(yī)學(xué)領(lǐng)域出具的查新報(bào)告在用戶(hù)中已具有較高的可信度，其中省醫(yī)情所的查新報(bào)告可信度達(dá)94.19%，其他查新機(jī)構(gòu)的查新報(bào)告可信度達(dá)86.89%。

從調(diào)查結(jié)果可以看出，人的因素是查新報(bào)告可信度中最重要的影響因素。浙江省所作為衛(wèi)生部定點(diǎn)的專(zhuān)業(yè)性醫(yī)學(xué)科技項(xiàng)目查新機(jī)構(gòu)，查新人員均具有醫(yī)學(xué)專(zhuān)業(yè)或醫(yī)藥信息學(xué)專(zhuān)業(yè)的知識(shí)，對(duì)專(zhuān)業(yè)性較強(qiáng)的醫(yī)學(xué)科研項(xiàng)目的研究?jī)?nèi)容理解與查新點(diǎn)把握的能力較強(qiáng)，與用戶(hù)溝通較順暢，在這方面的可信度得分較高。而數(shù)據(jù)庫(kù)稍有欠缺，尤其是國(guó)外文獻(xiàn)資源，所以在數(shù)據(jù)資源上相對(duì)分值低些。在實(shí)際操作中我們已通過(guò)網(wǎng)絡(luò)資源進(jìn)行了彌補(bǔ)，最后的查新結(jié)果除一些查新員的能力因素導(dǎo)致結(jié)果稍有偏差外，密切相關(guān)文獻(xiàn)尤其是項(xiàng)目最密切相關(guān)文獻(xiàn)漏檢的發(fā)生并不多見(jiàn)（此次調(diào)查顯示的漏檢率為0.19%）。而用戶(hù)反饋的查新結(jié)果與結(jié)論的簡(jiǎn)潔性得分偏低，表明我們?cè)谶@方面的工作尤其需要加強(qiáng)。

其他查新機(jī)構(gòu)的查新報(bào)告可信度稍低可能與這次的樣本主要為省醫(yī)情所用戶(hù)有關(guān)，他們?cè)谄渌麢C(jī)構(gòu)進(jìn)行的查新頻次僅占了10.38%。當(dāng)然相對(duì)較高的密切相關(guān)文獻(xiàn)漏檢率還是與其中一些查新機(jī)構(gòu)專(zhuān)業(yè)人員配置不合理、非專(zhuān)業(yè)人員從事生物醫(yī)學(xué)查新有關(guān)。盡管這些查新機(jī)構(gòu)的數(shù)據(jù)庫(kù)全面性分值高于省醫(yī)情所，但其查新人員對(duì)相關(guān)知識(shí)的缺乏必然導(dǎo)致目標(biāo)文獻(xiàn)查找與判定困難，并最終導(dǎo)致查新結(jié)果與結(jié)論的不知所云以及相關(guān)文獻(xiàn)與密切相關(guān)文獻(xiàn)的漏檢。

國(guó)內(nèi)以前有關(guān)查新用戶(hù)的相關(guān)調(diào)查或理論研究多限于用戶(hù)滿(mǎn)意度的調(diào)查，并將其應(yīng)用于查新質(zhì)量評(píng)估體系中，這是有失偏頗的。不同的查新用戶(hù)對(duì)其項(xiàng)目的查新結(jié)果有不同的期望與滿(mǎn)意標(biāo)準(zhǔn)，他們主觀所需要的查新結(jié)果，有時(shí)甚至與查新報(bào)告的高信度背道而馳，特別是那些純粹為了應(yīng)付項(xiàng)目申報(bào)要求的用戶(hù)，他們期望的查新結(jié)果是相關(guān)文獻(xiàn)或者是密切相關(guān)文獻(xiàn)越少越好，而新穎點(diǎn)是越多越好。此次調(diào)研的樣本基本信息顯示，多數(shù)用戶(hù)的查新目的還是因項(xiàng)目申報(bào)的必備要求，但也有30.39%用戶(hù)的查新是為了使項(xiàng)目更有意義或是為了項(xiàng)目準(zhǔn)備，對(duì)于這些用戶(hù)來(lái)說(shuō)，他們希望查新報(bào)告的可信度越高越好。隨著網(wǎng)絡(luò)普及以及網(wǎng)絡(luò)資源可獲取程度的增高，很多查新用戶(hù)往往在其課題申報(bào)或成果鑒定前做了大量的文獻(xiàn)檢索工作，他們已有更多的能力和標(biāo)準(zhǔn)來(lái)評(píng)判查新報(bào)告的可信度，所以基于用戶(hù)的查新報(bào)告可信度調(diào)查也一定程度上確切反映了我們的查新報(bào)告質(zhì)量。

查新工作主要還是要靠人來(lái)完成的，查新所用的各種數(shù)據(jù)資源的缺陷也需要人去加以修正，提高查新報(bào)告可信度的最好方法還是提高查新人員的素質(zhì)，包括道德水準(zhǔn)、敬業(yè)精神、知識(shí)面及工作能力。查新員及查新機(jī)構(gòu)不能為了單純的經(jīng)濟(jì)效益盲目接收非本專(zhuān)業(yè)的查新申請(qǐng)。查新報(bào)告只有在用戶(hù)、評(píng)審專(zhuān)家、管理部門(mén)都具有高信度，我們的查新工作才能擁有持久的旺盛的生命力，而這需要我們?nèi)w查新人員兢兢業(yè)業(yè)的工作來(lái)證明。

［1］丁蘊(yùn)一，等.查新報(bào)告質(zhì)量評(píng)定標(biāo)準(zhǔn)［J］.情報(bào)科學(xué)，2004，22（10）：1223-1225.

［2］馬景娣，繆家鼎.關(guān)于查新報(bào)告質(zhì)量評(píng)定標(biāo)準(zhǔn)的探討 ［J］.情報(bào)科學(xué)，2005，23（11）：1681-1684，1707.

［3］杜津萍，黨亞茹.科技查新可靠度分析［J］.圖書(shū)館工作與研究，2008（6）：79-82.

［4］楊杰.科技查新結(jié)論不實(shí)的原因及對(duì)策［J］.圖書(shū)館學(xué)刊，2006（1）：80-81.

［5］馬小燕.淺析漏檢率對(duì)查新報(bào)告結(jié)論的不確定性影響 ［J］.現(xiàn)代情報(bào)，2004（9）：180-181，183.

［6］孫清玉.科技查新質(zhì)量評(píng)價(jià)指標(biāo)體系探討［J］.情報(bào)科學(xué)，2009，27（5）：743-746.