網(wǎng)絡環(huán)境下科技文獻開放共享評價研究

屈寶強 王 艷屈麗娟

（1．中國科學技術信息研究所，北京 100038；2．中國專利信息中心，北京 100088）

網(wǎng)絡環(huán)境下科技文獻開放共享評價研究

屈寶強1王 艷1屈麗娟2

（1．中國科學技術信息研究所，北京 100038；2．中國專利信息中心，北京 100088）

為了解科技文獻共享平臺的運行狀況，本研究基于用戶的視角提出“可見、可得、可用”評價模型，選取了省、市、自治區(qū)以及區(qū)域科技文獻共享平臺為評估對象，通過網(wǎng)絡信息搜集、信息檢索、定期監(jiān)測、軟件測試以及專家打分等方法，進行我國省級科技文獻共享平臺資源開放共享的評價，期望為科技文獻共享平臺的改進以及政府在科技文獻共享平臺規(guī)劃、投入等方面的決策提供依據(jù)。

網(wǎng)絡環(huán)境；科技文獻共享平臺；開放共享；評價；BP神經(jīng)網(wǎng)絡

1 引言

科技文獻資源共享是指通過共建和（或）共用的方式使資源稀缺方獲得了所需資源，其內(nèi)涵核心主要體現(xiàn)在必須以資源稀缺方的需求為起點，以滿足資源稀缺方的需求為歸宿點，資源共享的實現(xiàn)要求資源需求方與資源提供方之間能夠達成資源的有效匹配[1]。為實現(xiàn)科技文獻資源共享，在全國搭建了許多科技文獻共享平臺。

科技文獻共享平臺建設是涵蓋科技文獻信息資源、網(wǎng)絡資源、信息加工與服務、信息與網(wǎng)絡技術進行總體整合、規(guī)劃的一個系統(tǒng)工程，是跨行業(yè)、跨系統(tǒng)的科技文獻資源建設資金、技術和知識產(chǎn)權等各個方面的合作和共享?？萍嘉墨I共享平臺主要是通過兩個方面發(fā)揮作用：一方面，在網(wǎng)絡環(huán)境中，通過元數(shù)據(jù)、聯(lián)合目錄等對科技文獻資源進行描述，進而集成、整合到統(tǒng)一的聯(lián)合檢索平臺，方便用戶一站式、多類型檢索，完成科技文獻導航（可能導航到網(wǎng)絡中的數(shù)字資源，也可能是線下的紙質或者其他載體的資源）的方式促進科技文獻共享；另一方面，通過國家專項經(jīng)費的支持，解決部分科技文獻資源的知識產(chǎn)權問題，以數(shù)字形式或者其他形式提供給用戶，實現(xiàn)科技文獻的共享。

為了解我國科技文獻共享平臺的建設和運行情況，發(fā)現(xiàn)我國科技文獻共享平臺運行中存在的主要問題，改善科技文獻資源共享方式、方法，提高科技文獻資源的利用效率和水平，有必要對科技文獻共享平臺促進資源開放共享的水平進行分析評價。同時，開展以科技文獻共享平臺為對象的科技文獻開放共享評價是落實《科技進步法》《政府信息公開條例》《2004-2010年國家科技基礎條件平臺建設綱要》等相關法律和規(guī)章制度的要求，是監(jiān)督和評價公共財政資金投入效果的要求，是科技文獻共享平臺依托機構管理績效評價的要求。

2 研究進展

在科技文獻共享平臺的績效評估方面，已經(jīng)開展了不少研究，例如在文獻資源共享評估方面，陳潔設計了文獻信息資源共建共享績效評估體系，包括相關法律法規(guī)與政策、基本評估制度、評估的指標體系、評估的模式、責權利、實施方法和手段以及經(jīng)費、社會服務體系、信息化條件、社會觀念和氛圍等支撐條件和環(huán)境[2]；任勇旗對信息資源共享平臺的總體功能、技術水平、資源開放水平和服務水平進行綜合測試、分析和評價，以確定是否達到預期的目[3]。在科技文獻共享平臺評估指標方面，吳曉丹制定包括平臺形象、用戶期望、質量感知、價值感知在內(nèi)的科技文獻共享平臺用戶滿意度的測評模型[4]；金相龍建立了包括建設規(guī)模、服務能力、用戶滿意度為核心的評價指標體系[5]；孫琳針對平臺宣傳案啟動后可能出現(xiàn)的問題，提出了包括資源、服務效率和增值服務在內(nèi)的平臺運行評價體系[6]。在科技文獻共享平臺評估實踐方面，李磊提出陜西省科技圖書文獻資源共享平臺績效評價體系，包括服務態(tài)度、服務能力、服務業(yè)績?nèi)龑又笜梭w系[7]。李輝根據(jù)浙江省科技文獻共建共享平臺的實踐，提出了針對數(shù)據(jù)加工、平臺軟件系統(tǒng)的評價指標體系[8]；章昌平以桂林工程技術文獻信息中心為例，基于AHP-模糊綜合評價法，建立了包括讀者滿意度、敏捷度、總體環(huán)境、信息獲取等在內(nèi)的指標體系[9]；黃紅華構建了天津高等教育文獻保障中心績效評估指標體系，包括實體資源建設、電子資源建設、技術、服務、人員、財務等各個方面[10]。在科技文獻共享平臺評估體系方面，吳敏從評估原則、評估要素、如何實施等方面探討如何建立合理的評估機制，提出了文獻資源的可知曉性、可獲得性和獲取便利性應作為評價資源共享水平的關鍵[11]。

可以說，當前我國科技文獻共享平臺建設已經(jīng)取得初步成效，對平臺評價的研究和實踐也逐步開展，相關評價較多的是從科技文獻資源共享平臺管理者和建設者的視角開展的全方位評價或自評價；評價數(shù)據(jù)多來源于資源建設方，缺少相對客觀的第三方評價；對資源用戶終端需求的滿足程度重視不夠，公眾了解和參與監(jiān)督程度較低。

3 評價目的和對象選擇

3.1 評價目的

本次評價主要目的是為了解我國科技文獻共享平臺的建設和運行情況，發(fā)現(xiàn)我國科技文獻共享平臺運行中存在的主要問題，改善科技文獻資源共享方式、方法，提高科技文獻資源的利用效率和水平。本次評價從資源共享的本質入手[1]，科技文獻共享意味著參與共享的主體達到共有、共用、共承受、分擔的狀態(tài)，科技文獻共享平臺是促進共享的重要手段，評價的目的就是看他們采用了什么方法和手段，達成資源擁有方（科技文獻機構）與用戶需求之間資源匹配的程度如何。本次評價從用戶視角出發(fā)，盡可能以普通用戶的身份使用相關科技文獻共享平臺，通過實際體驗和感知對科技文獻共享平臺資源共享水平進行反饋、考察和評價。本次評價主要在互聯(lián)網(wǎng)環(huán)境下從網(wǎng)絡中獲取公開數(shù)據(jù)，將網(wǎng)絡看作是對科技文獻資源共享中介聯(lián)盟的信息化基礎設施，也可以看作是資源共享的中介，認為只要是通過網(wǎng)絡將科技文獻資源相關信息傳遞給用戶的過程就是開放共享的過程。

3.2 評價對象

在本次評價中，本著同類可比的原則，選取我國省級科技文獻共享平臺為評價對象，具體如表1所示。

4 評價指標體系

4.1 指標構建原理

對于科技文獻資源，科技文獻共享過程中涉及科技文獻資源的描述性元數(shù)據(jù)、科技文獻資源以及經(jīng)過加工、集成后的知識資源或文獻資源，多種信息資源混合在一起，加大了評價的難度。在整個科技文獻共享過程中，既有科技文獻資源共享本身，也有科技文獻資源共享促進工作（元數(shù)據(jù)的共享），二者共同作用從而滿足用戶的需求?？萍嘉墨I共享平臺可以通過文獻資源的屬性信息和元數(shù)據(jù)直接揭示科技文獻資源的屬性和特征，從而使這些文獻資源通過共享平臺可以被看見和了解；通過對資源的數(shù)字化信息進行檢索和下載等，可以實現(xiàn)信息資源本身被直接獲得，或者根據(jù)提供的線索和信息，通過平臺的一些相關服務或者其他文獻提供機構的服務獲得資源，即通過平臺，文獻可以被用戶獲得；通過文獻資源利用效果的反饋、用戶評價等功能的設置和維護，可以發(fā)現(xiàn)資源共享中可能存在的問題，并給予適當改進并增強平臺功能，以提高用戶對資源的共享利用效率，這樣就能保證科技文獻資源資源能為用戶所用，能被用戶用好。

基于上述分析，文獻[12]提出科技資源開放共享評價的理論模型，具體到科技文獻資源的開放共享評價，也將其分為“可見”“可得”“可用”3個層次。資源可見性主要考察科技文獻共享平臺在運行過程中其所擁有的資源能夠為用戶所見、所知道的程度。資源可得性主要考察用戶從科技文獻共享平臺得到所需要科技文獻資源的狀況。資源可用性主要考察用戶得到的科技文獻資源是否可以使用，是否適合用戶需求，主要通過用戶感知到的科技文獻資源質量、服務保障、服務方式等來測度，也可以借助于用戶使用的效果評論、滿意度等作為替代指標間接評判，通過獲取用戶對文獻資源利用結果的滿意程度間接反映是否真正“用得好”。

（2）指標制定過程

依據(jù)上述原理，指標體系構建過程中，認真分析我國科技文獻共享的發(fā)展現(xiàn)狀和發(fā)展趨勢上，結合用戶對科技文獻共享的需求，在多次征求專家意見的基礎上，對科技文獻共享評價指標體系的設計思路、總體框架、初步指標體系等進行初步構建，根據(jù)文獻調(diào)研、專家訪談、調(diào)研等，刪去了一些不是非常重要的指標，形成最終的指標體系，如表2所示。

在指標體系權重確定方面，主要采用BP神經(jīng)網(wǎng)絡方法，由相關研究人員對各指標打分來計算，最后確定合適的權重分配，具體計算過程如下。

評價指標體系U中含有u1，u2，…，un個指標，請有關專家（m≥30人組成）根據(jù)權數(shù)分配表，對U中的各項指標，提出自己認為最合適的權數(shù)。再根據(jù)專家估測的資料，進行單因素的權數(shù)統(tǒng)計，主要步驟如下：

（1）對于指標ui（i=1,2,…,n），在專家所賦予的權數(shù)aij中找出最大值Mi和最小值mi。Mi=Max{aij}，mi=Min{aij}（i=1,2,…,n；j=1,2,…,m）

（3）計算各組的權數(shù)的頻率與頻數(shù)。

（4）根據(jù)頻數(shù)與頻率分布情況，取最大頻率所在組的組中值為指標ui的權數(shù)ai（i=1,2,…,n），從而得出權重向量。

經(jīng)過計算得到表2中的指標權重。

4.2 評價數(shù)據(jù)采集與評價標準

（1）數(shù)據(jù)采集方式

數(shù)據(jù)采集主要以網(wǎng)站主頁數(shù)據(jù)采集為主，數(shù)據(jù)采集時間從2013年5-8月。

第一，本次評價主要針對科技文獻共享平臺網(wǎng)站采集相應數(shù)據(jù)，根據(jù)期刊論文和現(xiàn)有調(diào)研報告進行補充；第二，部分指標通過軟件公司自動、定期監(jiān)測獲得，如首屏時間、總下載時間、可訪問性等；第三，部分指標通過開源/免費的網(wǎng)站或者軟件測得，例如在評測各個網(wǎng)站的影響力方面，采用了外鏈數(shù)這個指標，主要是通過免費搜索引擎opensiteexplorer（http://www. opensiteexplorer.org/）測得；第四，部分數(shù)據(jù)通過試用的方式得到，例如在測度平臺的元數(shù)據(jù)質量時，通過咨詢相關專家，選取了10個檢索詞，分別對每個平臺進行檢索（沒有考慮各平臺中外文資源的擁有情況），比較其最終結果進行評分；第五，一些無法從公開渠道獲得的數(shù)據(jù)采用專家和用戶打分相結合的方式，例如在對指標“科技文獻資源質量”進行評測時，考慮到直接對平臺所有的文獻資源進行質量檢查不太可行，于是采取了相關文獻閱讀軟件提供情況這一替代指標，同時忽略了掃描不清晰、字跡模糊、錯頁、漏頁等情況，但是加入了專家和用戶打分作為參考。

為了保證調(diào)查的順利開展和調(diào)查的質量，對調(diào)查的每一個環(huán)節(jié)都實行嚴格的質量控制，包括方案設計研討、數(shù)據(jù)采集人員的培訓、調(diào)查實施階段的多人互相檢查控制和調(diào)查數(shù)據(jù)整理控制等。本次調(diào)查篩選在校研究生和課題組研究人員進行前期數(shù)據(jù)收集工作，對進行了嚴格挑選與培訓，細化明確各個調(diào)查項目的內(nèi)容和把握尺度。建立了調(diào)查數(shù)據(jù)質量檢查制度，包括人工審核、計算機審核、數(shù)據(jù)評估檢查等。

（2）數(shù)據(jù)誤差

在評價過程中，需要到網(wǎng)站上進行驗證和查看相應數(shù)據(jù)，發(fā)現(xiàn)一些不穩(wěn)定的網(wǎng)站（例如安徽省科技文獻信息資源共享服務平臺），如果在其不能訪問的情況下，會導致相關指標的分值偏低，但平臺的實際運作情況比這個結果要好得多，因此影響整體的結果，導致有些指標的分值有隨機性。

（3）評價標準

本次評價主要是采用相對性評分標準，各個指標的得分以評價結果最好的平臺為標桿，各指標對應字段采集到的數(shù)據(jù)類型有一定的差異。對于可以進行量化的數(shù)據(jù)，在打分過程中可以直接采用N/MaxN方式進行比較，對于難以進行量化的數(shù)據(jù)，需要根據(jù)采集到的數(shù)據(jù)進行初步估計和專家判斷已經(jīng)行無量綱轉化，隨后計算打分。

有些評價指標在數(shù)據(jù)采集中會出現(xiàn)一些奇異值，數(shù)據(jù)值特別大，例如網(wǎng)站檢測數(shù)據(jù)、外鏈等，按照N/MaxN方式計算得到的指標得分會出現(xiàn)失真的現(xiàn)象，平臺之間得分差值較大，這種奇異值則主要按照區(qū)間分布的方法進行初步估計，再進行打分，消除計算過程中分母過大導致的數(shù)據(jù)分差。例如：針對外鏈這一指標，將區(qū)間劃分為“〉15000”“1000～3000”“500～1000”“100～500”“〈100”“0”，在同一區(qū)間的不同平臺給予同樣的分數(shù)，能夠相對準確合理地體現(xiàn)不同平臺各指標的排名情況。采用同種方法的指標還包括閱讀軟件提供、獲取速度、網(wǎng)站欄目設置等。

另外，由于不同省市的科技水平和投入力度不同，通過網(wǎng)站上所得到的信息量也不相同，有些平臺在相關數(shù)據(jù)采集項上并沒有明確的信息，導致某一指標得分為空，例如“更新周期”，只有兩個平臺提供了比較準確的信息，其余平臺都無法獲取到有意義的數(shù)據(jù)，針對這類現(xiàn)象，主要是結合網(wǎng)站的其他信息、專家意見、最新文獻試檢等手段進行綜合估計，各種方法賦予不同權重，進而計算最終得分。

5 評價結果

根據(jù)“可見”“可得”“可用”3個一級指標的得分情況，計算得到網(wǎng)絡環(huán)境下用戶視角科技文獻共享平臺的整體開放共享情況，根據(jù)評價結果可以發(fā)現(xiàn)，得分在80分以上的平臺1個，得分在70～80分的平臺12個，得分在60～70分的平臺10個，得分在60分以下的平臺7個，與其他類型的科技資源開放共享平臺相比，得分的整體水平較高，這些平臺在促進文獻的利用方面發(fā)揮越來越重要的作用，大部分平臺的服務已經(jīng)將科技文獻目錄信息服務提升到資源集成開發(fā)、咨詢、統(tǒng)計等高層次服務，功能不斷拓展。得分不足20分的平臺有3個，分別為安徽省科技文獻信息資源共享服務平臺、貴州省科技文獻共享平臺、內(nèi)蒙古科技創(chuàng)新共享服務平臺，主要原因是平臺網(wǎng)站在本研究監(jiān)測時段內(nèi)不可訪問，無法獲取相關信息。排名前10的文獻共享平臺如表3所示。

對科技文獻資源開放共享總得分中各一級指標的構成情況進行分析，如圖1所示?？梢园l(fā)現(xiàn)：可得性和可用性的得分對科技文獻資源開放共享總得分中的比重較大，說明科技文獻共享平臺在可得、可用這兩個方面已經(jīng)取得了較大的進展，能夠將用戶需要的資源及時、準確地送交用戶，資源的能用性和適用性都比較好。進而，將各個指標換算為百分制，對3個一級指標進行了比較，結果如圖2所示。

通過比較發(fā)現(xiàn)，各個科技文獻共享平臺的可用性得分基本都在80分左右，說明科技文獻資源從資源質量方面得到認可，資源的可用性較強?？梢娦缘目傮w得分偏低，基本都在60分以下。由此可以得出，雖然科技文獻共享的平臺已經(jīng)初步搭建，軟硬件資源的建設也以取得了初步成效，但是科學組織和揭示科技文獻共享平臺所擁有的資源是目前平臺建設方面所欠缺的地方，也是下一階段工作的重要任務。

從各個指標對科技文獻共享平臺開放共享得分的影響程度來講，各個平臺總體水平差異不是十分明顯，評價結果排名靠前的平臺在資源一致性、資源更新及時性等可用性指標方面得分較高，評價結果排名靠前的平臺在資源覆蓋程度、資源規(guī)模、訪問量等資源可見性指標方面的得分較高?？傻眯灾笜艘约翱捎眯灾笜酥械姆栈雍头辗绞降确矫鎸φw得分的影響較小，表明各個平臺在這些內(nèi)容上建設模式、方法和工具基本相同。

各個科技文獻共享平臺在網(wǎng)絡基礎設施建設方面表現(xiàn)不佳，外鏈、獲取速度、網(wǎng)絡穩(wěn)定性等指標得分總體偏低。同時可以發(fā)現(xiàn)科技文獻共享平臺這幾項指標的得分與最終得分的相關性非常大，表面科技文獻共享平臺在資源揭示、組織和服務方面已經(jīng)相對成熟，而各個省市的科技投入特別是在平臺建設方面的投入多少決定了基礎設施升級換代的狀況，與評價結果呈現(xiàn)較強的正相關。

6 結語

本次評價依托網(wǎng)絡環(huán)境對科技文獻共享平臺的資源開放共享狀況進行分析。該評價方法簡單實用、易于操作，且評價數(shù)據(jù)可以通過公開的渠道獲得，評價結果比較準確。今后還需要根據(jù)科技文獻共享平臺網(wǎng)站的建設目的、管理模式、資源范圍、服務方式和服務對象等分類進行評估，并繼續(xù)加強在評價方法、指標、數(shù)據(jù)獲取等科學性和有效性，適當增加用戶體驗、用戶利用資源行為分析等，以進一步提升評價的科學性和準確性。

[1]彭潔,白晨,趙偉. 資源共享的本質問題研究.中國科技資源導刊,2013(1):2-7,11.

[2]陳潔,章昌平,周力青,等.試論文獻信息資源共建共享績效評估體系的設計[J].科技信息,2009(13):397-398.

[3]任勇旗,唐毅,劉召棟.信息資源共享平臺評價分析[J].科技情報開發(fā)與經(jīng)濟,2008,18(19):69-71.

[4]吳曉丹,吉久明.科技文獻共享平臺用戶滿意度測評研究[J].科技情報開發(fā)與經(jīng)濟,2008,18(25):58-60.

[5]金相龍.科技文獻共享平臺績效評價研究[J].現(xiàn)代情報,2009,29(12):52-54.

[6]孫琳,賈志雷.吉林省科技文獻信息服務平臺宣傳工作研究[J].現(xiàn)代情報,2008,28(9):50-52.

[7]李磊,黨寒東.陜西省科技圖書文獻資源共享平臺績效評價體系構想與設計[J].內(nèi)蒙古科技與經(jīng)濟,2007(8):150-151.

[8]李輝.浙江省科技文獻共建共享平臺研究與實踐[J].情報科學,2008,26(7):1040-1045.

[9]周力青, 章昌平, 陳潔. 桂林地區(qū)工程技術文獻信息共建共享模式研究[J]. 情報雜志, 2007, 26(1): 139-140.

[10]黃紅華,韓海濤,李秋實,等.天津高等教育文獻保障中心績效評估指標體系初探[J].新世紀圖書館, 2009 (6):33-37.

[11]吳敏,周德明.論文獻資源共享評估機制——以上?？萍嘉墨I共享服務為例[J].圖書館,2007(5):24-28.

[12]彭潔,趙偉,屈寶強.基于用戶視角的科技資源開放共享評價理論模型研究[J].中國科技資源導刊, 2013 (2):1-5.

Open-sharing Assessment of Scientific &Technical Literature Sharing Platform Based on Website Environment

Qu Baoqiang1, Wang Yan1, Qu Lijuan2
(1.Institute of Scientific & Technical Information of China, Beijing 100038;2. China Patent Information Center, Beijing 100088)

In order to know the situation of scientific literature sharing platform, the paper taking the province, autonomous region, city and regional scienti fi c literature sharing platform as the objects, it carries out the assessment based on the "visible, available, usable" evaluation model. The results can not only help to improvement the performance of sharing platform, but also as the reference for scientific literature sharing planning, investing etc..

network environment, science & technology literature, open access and resources sharing, assessment, BP neural network

G203

A

10.3772/j.issn.1674-1544.2014.06.009

屈寶強*（1980- ），男，中國科學技術信息研究所副研究員，研究方向：文獻共享、數(shù)據(jù)共享；王艷（1975- ），女，中國科學技術信息研究所副教授，研究方向：科技信息共享；屈麗娟（1988- ），女，中國專刊信息中心工程師，研究方向：信息資源管理。

2014年3月31日。