• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    高校圖書(shū)館科研數(shù)據(jù)管理服務(wù)能力評(píng)價(jià)指標(biāo)體系研究

    2024-01-29 11:15:36鄒小敏謝守美南昌大學(xué)公共政策與管理學(xué)院黃岡職業(yè)技術(shù)學(xué)院圖書(shū)館中南民族大學(xué)圖書(shū)館
    圖書(shū)館理論與實(shí)踐 2024年1期
    關(guān)鍵詞:評(píng)價(jià)服務(wù)

    胡 媛,鄒小敏,謝守美 (.南昌大學(xué)公共政策與管理學(xué)院;.黃岡職業(yè)技術(shù)學(xué)院圖書(shū)館;.中南民族大學(xué)圖書(shū)館)

    大科學(xué)時(shí)代,科研數(shù)據(jù)管理與共享成為大勢(shì)所趨。然而,密集而繁雜的科研數(shù)據(jù)是十分脆弱的,極易損壞甚至消失。因此,對(duì)科研數(shù)據(jù)進(jìn)行有效的管理和共享,不僅可以保存和檢驗(yàn)數(shù)據(jù),還極有可能促進(jìn)數(shù)據(jù)重用,發(fā)揮其更大的研究?jī)r(jià)值。圖書(shū)館作為文獻(xiàn)管理和信息組織機(jī)構(gòu),在科研數(shù)據(jù)管理服務(wù)領(lǐng)域具有不可替代的優(yōu)勢(shì)。自2011 年“數(shù)據(jù)監(jiān)護(hù)”概念進(jìn)入圖書(shū)館界后,圖書(shū)館開(kāi)始涉足科研數(shù)據(jù)管理與服務(wù),當(dāng)前階段科研數(shù)據(jù)管理服務(wù)已廣泛開(kāi)展,因此,構(gòu)建高校圖書(shū)館科研數(shù)據(jù)管理服務(wù)能力評(píng)價(jià)指標(biāo)體系有助于明確高??蒲袛?shù)據(jù)管理服務(wù)的整體發(fā)展水平,促進(jìn)高校科研數(shù)據(jù)管理服務(wù)能力提升,完善高校數(shù)據(jù)安全治理體系[1]。本文通過(guò)分析和梳理相關(guān)文獻(xiàn),構(gòu)建高校科研數(shù)據(jù)管理服務(wù)能力評(píng)價(jià)指標(biāo)體系,以期為我國(guó)高校科研數(shù)據(jù)管理服務(wù)能力評(píng)價(jià)的開(kāi)展提供更多的選擇,促進(jìn)高??蒲袛?shù)據(jù)管理服務(wù)向著更加規(guī)范、更加科學(xué)的研究方向發(fā)展。

    1 高??蒲袛?shù)據(jù)管理服務(wù)能力評(píng)價(jià)研究現(xiàn)狀

    科研數(shù)據(jù)管理服務(wù)評(píng)價(jià)對(duì)象涵蓋科研數(shù)據(jù)、科研數(shù)據(jù)基礎(chǔ)設(shè)施、科研數(shù)據(jù)管理服務(wù)??蒲袛?shù)據(jù)指高校數(shù)據(jù)中心存儲(chǔ)的科研數(shù)據(jù)質(zhì)量、元數(shù)據(jù)質(zhì)量等是否達(dá)到相關(guān)標(biāo)準(zhǔn),數(shù)據(jù)引用、使用、存儲(chǔ)等是否符合相關(guān)規(guī)范。科研數(shù)據(jù)基礎(chǔ)設(shè)施指高校是否具備能夠開(kāi)展科研數(shù)據(jù)管理的基礎(chǔ)設(shè)施,是否具備專(zhuān)業(yè)的平臺(tái)、工具和軟件等。科研數(shù)據(jù)管理服務(wù)指高校圖書(shū)館是否具備開(kāi)展科研數(shù)據(jù)管理服務(wù)的制度、組織、技術(shù)保障能力,是否開(kāi)展數(shù)據(jù)管理計(jì)劃、數(shù)據(jù)咨詢(xún)、數(shù)據(jù)素養(yǎng)教育、數(shù)據(jù)分析、數(shù)據(jù)生命周期管理、數(shù)據(jù)安全管理等服務(wù)內(nèi)容。

    高??蒲袛?shù)據(jù)管理服務(wù)能力評(píng)價(jià)主要圍繞服務(wù)內(nèi)容評(píng)價(jià)、指標(biāo)體系構(gòu)建、服務(wù)能力成熟度評(píng)級(jí)等方面展開(kāi)。服務(wù)內(nèi)容評(píng)價(jià)大多與實(shí)踐調(diào)查相結(jié)合,從調(diào)查和比較分析的角度,對(duì)高校開(kāi)展的具體服務(wù)內(nèi)容進(jìn)行統(tǒng)計(jì)和整理,總結(jié)發(fā)展經(jīng)驗(yàn)與問(wèn)題。王曉鵬以劍橋大學(xué)為研究對(duì)象,從政策、服務(wù)模式與內(nèi)容等角度分析其科研數(shù)據(jù)服務(wù)實(shí)踐情況,總結(jié)其服務(wù)模式與發(fā)展經(jīng)驗(yàn)[2]。周雷等以德國(guó)8 所高校為研究對(duì)象,從數(shù)據(jù)政策、運(yùn)營(yíng)組織、服務(wù)內(nèi)容等角度進(jìn)行對(duì)比分析,揭示其數(shù)據(jù)服務(wù)的特點(diǎn)與經(jīng)驗(yàn)[3]。王丹丹等以國(guó)外8 個(gè)主要科學(xué)數(shù)據(jù)管理平臺(tái)為研究對(duì)象,對(duì)其服務(wù)內(nèi)容、合作交流等方面進(jìn)行研究,為我國(guó)數(shù)據(jù)管理服務(wù)平臺(tái)建設(shè)總結(jié)經(jīng)驗(yàn)[4]。在評(píng)價(jià)指標(biāo)體系構(gòu)建研究方面,陳媛媛從科研數(shù)據(jù)管理教育、科研數(shù)據(jù)保存、科研數(shù)據(jù)服務(wù)過(guò)程、科研數(shù)據(jù)專(zhuān)業(yè)服務(wù)四個(gè)方面,構(gòu)建科研數(shù)據(jù)管理服務(wù)能力分級(jí)評(píng)價(jià)指標(biāo)體系[5];司莉等從管理、資源、平臺(tái)和服務(wù)四個(gè)角度構(gòu)建科研數(shù)據(jù)共享平臺(tái)績(jī)效評(píng)估指標(biāo)體系[6];丁楠等從文獻(xiàn)發(fā)布量、引用頻次、h 指數(shù)等角度構(gòu)建數(shù)據(jù)引用評(píng)價(jià)指標(biāo)體系[7]。在能力成熟度研究方面,適用于高校數(shù)據(jù)管理的有秦健教授團(tuán)隊(duì)的研究數(shù)據(jù)管理能力成熟度模型和澳大利亞研究數(shù)據(jù)管理能力成熟度模型[8]。盛小平等結(jié)合能力、活動(dòng)、等級(jí)三個(gè)維度,構(gòu)建科學(xué)數(shù)據(jù)開(kāi)放共享成熟度評(píng)價(jià)標(biāo)準(zhǔn)[9]。在構(gòu)建成熟度評(píng)價(jià)模型之后,部分學(xué)者進(jìn)行了相應(yīng)的實(shí)證研究。Cox 等在構(gòu)建覆蓋服務(wù)、結(jié)構(gòu)與技能的研究數(shù)據(jù)管理成熟度模型的基礎(chǔ)上,對(duì)多家高校和研究機(jī)構(gòu)的科研數(shù)據(jù)管理服務(wù)開(kāi)展調(diào)查,對(duì)其服務(wù)成熟度進(jìn)行實(shí)證評(píng)價(jià)[10]。

    綜上所述,雖然已有學(xué)者致力于構(gòu)建具有較強(qiáng)普適性和可操作性的評(píng)價(jià)體系,但是現(xiàn)階段國(guó)內(nèi)科研數(shù)據(jù)管理服務(wù)領(lǐng)域尚未出現(xiàn)業(yè)內(nèi)一致認(rèn)可的評(píng)價(jià)體系,相關(guān)評(píng)價(jià)研究缺乏統(tǒng)一的標(biāo)準(zhǔn)。因此,構(gòu)建具有普適性和可操作性的高校圖書(shū)館科研數(shù)據(jù)管理服務(wù)能力評(píng)價(jià)指標(biāo)體系具有重要意義。

    2 高校圖書(shū)館科研數(shù)據(jù)管理服務(wù)能力評(píng)價(jià)指標(biāo)體系構(gòu)建

    2.1 相關(guān)指標(biāo)篩選與確定

    在指標(biāo)維度與框架研究方面,葉繼元等從國(guó)內(nèi)高校圖書(shū)館的具體實(shí)踐情況出發(fā),結(jié)合“全評(píng)價(jià)”理論中的“三維”評(píng)價(jià)框架,從形式評(píng)價(jià)角度設(shè)置辦館支撐力(Support)指標(biāo),從內(nèi)容評(píng)價(jià)角度設(shè)置管理服務(wù)力(Management)指標(biāo),從效用評(píng)價(jià)角度設(shè)置社會(huì)效應(yīng)力(Effect)指標(biāo),構(gòu)建圖書(shū)館質(zhì)量評(píng)價(jià)SME 指標(biāo)框架[11]。SME 指標(biāo)框架不僅考慮國(guó)內(nèi)高校圖書(shū)館服務(wù)開(kāi)展程度的差異性和獨(dú)特性,而且兼顧智慧圖書(shū)館的未來(lái)發(fā)展趨勢(shì),對(duì)于不同類(lèi)型和層次的圖書(shū)館服務(wù)能力評(píng)價(jià)具有較好的適應(yīng)性和包容性。由此可見(jiàn),SME 指標(biāo)框架可以為本文評(píng)價(jià)指標(biāo)框架的構(gòu)建提供良好的思路。

    在數(shù)據(jù)管理服務(wù)能力成熟度模型研究方面,秦健教授團(tuán)隊(duì)的研究數(shù)據(jù)管理能力成熟度模型[12]和陳媛媛提出的科研數(shù)據(jù)管理服務(wù)能力分級(jí)評(píng)價(jià)指標(biāo)體系[5]頗具代表性,可為本文的形式評(píng)價(jià)與內(nèi)容評(píng)價(jià)指標(biāo)構(gòu)建提供參考。

    結(jié)合國(guó)內(nèi)科研數(shù)據(jù)管理服務(wù)發(fā)展實(shí)際,發(fā)現(xiàn)數(shù)據(jù)管理服務(wù)大多依托于平臺(tái)展開(kāi),因此平臺(tái)績(jī)效評(píng)估相關(guān)指標(biāo)可作為形式評(píng)價(jià)和內(nèi)容評(píng)價(jià)的適當(dāng)補(bǔ)充。其中,涂志芳等提出科研數(shù)據(jù)管理評(píng)價(jià)模型[13],司莉等提出科學(xué)數(shù)據(jù)共享平臺(tái)績(jī)效評(píng)估指標(biāo)體系[6],還有國(guó)家發(fā)布的《國(guó)家科技基礎(chǔ)條件平臺(tái)運(yùn)行服務(wù)績(jī)效考核指標(biāo)》[14],三者從不同的角度豐富了平臺(tái)績(jī)效評(píng)估指標(biāo),為本文指標(biāo)構(gòu)建提供了良好的基礎(chǔ)。

    數(shù)據(jù)傳播過(guò)程中產(chǎn)生的影響和效益是數(shù)據(jù)管理服務(wù)的有效反饋,因此,科研數(shù)據(jù)管理服務(wù)效用評(píng)價(jià)至關(guān)重要。其中,丁楠等構(gòu)建的數(shù)據(jù)引用評(píng)價(jià)指標(biāo)體系[7]和王毅平等構(gòu)建的影響力評(píng)價(jià)指標(biāo)[15],為本文效用評(píng)價(jià)指標(biāo)構(gòu)建奠定了基礎(chǔ)。

    本文以上述指標(biāo)體系中的科研數(shù)據(jù)管理相關(guān)指標(biāo)為重要參照,去除其中重復(fù)或不適用于我國(guó)高校圖書(shū)館科研數(shù)據(jù)管理服務(wù)能力評(píng)價(jià)的指標(biāo),將剩余指標(biāo)進(jìn)行歸納整理,得到高??蒲袛?shù)據(jù)管理服務(wù)指標(biāo)池(見(jiàn)表1)。

    表1 高??蒲袛?shù)據(jù)管理服務(wù)指標(biāo)池

    2.2 指標(biāo)體系的初步擬定

    筆者梳理科研數(shù)據(jù)管理服務(wù)能力評(píng)價(jià)指標(biāo)池,從形式、內(nèi)容和效用三個(gè)維度初步擬定指標(biāo)體系,并以北京大學(xué)圖書(shū)館開(kāi)放數(shù)據(jù)管理平臺(tái)為案例對(duì)指標(biāo)體系進(jìn)行試評(píng)價(jià),檢驗(yàn)評(píng)價(jià)指標(biāo)的可操作性和數(shù)據(jù)的可獲取性。

    2.2.1 指標(biāo)體系初選

    筆者從國(guó)內(nèi)高校圖書(shū)館科研數(shù)據(jù)管理服務(wù)實(shí)踐出發(fā),梳理指標(biāo)池中的各大指標(biāo),選取辦館支撐力、管理服務(wù)力、社會(huì)效應(yīng)力搭建指標(biāo)體系框架,經(jīng)過(guò)適當(dāng)調(diào)整得到服務(wù)支撐力、管理服務(wù)力和社會(huì)效應(yīng)力三個(gè)一級(jí)指標(biāo)。在此基礎(chǔ)上,從政策、組織、技術(shù)、經(jīng)費(fèi)、人員等角度,為一級(jí)指標(biāo)“服務(wù)支撐力”選取政策制定、運(yùn)行管理、制度落實(shí)、技術(shù)支持、基礎(chǔ)設(shè)施建設(shè)、成本效益、投資使用價(jià)值、條件價(jià)值、投資回報(bào)率、人員隊(duì)伍等指標(biāo),經(jīng)過(guò)歸納和整理,得到政策支撐、組織管理支撐、技術(shù)設(shè)備支撐、經(jīng)費(fèi)資源支撐、人員智力支撐五個(gè)二級(jí)指標(biāo)。從數(shù)據(jù)、教育、服務(wù)等角度,為一級(jí)指標(biāo)“管理服務(wù)力”選取服務(wù)對(duì)象數(shù)量、資源增量與質(zhì)量、數(shù)字素養(yǎng)培養(yǎng)、資源維護(hù)與更新、數(shù)據(jù)管理計(jì)劃服務(wù)、數(shù)據(jù)存儲(chǔ)與備份、元數(shù)據(jù)服務(wù)、資源服務(wù)量、數(shù)據(jù)保存服務(wù)、專(zhuān)題服務(wù)量、數(shù)據(jù)共享傳播服務(wù)、數(shù)據(jù)咨詢(xún)服務(wù)等指標(biāo),經(jīng)過(guò)討論,得到數(shù)據(jù)標(biāo)準(zhǔn)與規(guī)范、數(shù)據(jù)資源管理、用戶(hù)素養(yǎng)教育、管理服務(wù)過(guò)程四個(gè)二級(jí)指標(biāo)。從用戶(hù)、學(xué)術(shù)、社會(huì)、經(jīng)濟(jì)等角度,為一級(jí)指標(biāo)“社會(huì)效應(yīng)力”選取學(xué)術(shù)影響力、用戶(hù)滿(mǎn)意度、社會(huì)影響力、經(jīng)濟(jì)效益等指標(biāo),經(jīng)過(guò)梳理和調(diào)整,得到學(xué)術(shù)影響力、用戶(hù)滿(mǎn)意度、社會(huì)影響力、經(jīng)濟(jì)影響力四個(gè)二級(jí)指標(biāo)。

    明確二級(jí)指標(biāo)后,立足科研數(shù)據(jù)生命周期管理,從指標(biāo)池中篩選出細(xì)化的三級(jí)指標(biāo),經(jīng)過(guò)小組討論、補(bǔ)充與調(diào)整后,得到高校圖書(shū)館科研數(shù)據(jù)管理服務(wù)能力評(píng)價(jià)指標(biāo)體系(見(jiàn)表2)。

    表2 高校圖書(shū)館科研數(shù)據(jù)管理服務(wù)能力評(píng)價(jià)指標(biāo)體系

    本指標(biāo)體系共有3 個(gè)一級(jí)指標(biāo)、13 個(gè)二級(jí)指標(biāo)和38 個(gè)三級(jí)指標(biāo)。其中,服務(wù)支撐力(形式評(píng)價(jià)指標(biāo))主要體現(xiàn)為政策、組織管理、技術(shù)設(shè)備、經(jīng)費(fèi)資源、人員智力;管理服務(wù)力(內(nèi)容評(píng)價(jià)指標(biāo))主要體現(xiàn)為數(shù)據(jù)標(biāo)準(zhǔn)與規(guī)范、數(shù)據(jù)資源管理、用戶(hù)素養(yǎng)教育、管理服務(wù)過(guò)程;社會(huì)效應(yīng)力(效用評(píng)價(jià)指標(biāo))主要體現(xiàn)為用戶(hù)滿(mǎn)意度、學(xué)術(shù)影響力、社會(huì)影響力、經(jīng)濟(jì)影響力。

    2.2.2 指標(biāo)體系試評(píng)價(jià)

    在正式發(fā)布專(zhuān)家調(diào)查問(wèn)卷前,研究團(tuán)隊(duì)選用北京大學(xué)開(kāi)放數(shù)據(jù)管理平臺(tái)對(duì)指標(biāo)體系進(jìn)行試評(píng)價(jià),通過(guò)檢索高校圖工委網(wǎng)站、北京大學(xué)圖書(shū)館網(wǎng)站和開(kāi)放數(shù)據(jù)管理平臺(tái),對(duì)指標(biāo)數(shù)據(jù)可獲取性進(jìn)行檢驗(yàn),發(fā)現(xiàn)大部分指標(biāo)數(shù)據(jù)可從圖工委網(wǎng)站、圖書(shū)館網(wǎng)站和數(shù)據(jù)管理平臺(tái)直接獲得,少數(shù)指標(biāo)可以通過(guò)案例分析進(jìn)行評(píng)價(jià),只有極少數(shù)與用戶(hù)相關(guān)的指標(biāo)數(shù)據(jù)需要通過(guò)問(wèn)卷的方式獲?。ㄒ?jiàn)表2)。

    3 運(yùn)用德?tīng)柗品ㄐ拚笜?biāo)體系

    初步擬定指標(biāo)體系后,利用德?tīng)柗品ㄐ拚笜?biāo)體系,綜合本領(lǐng)域各位專(zhuān)家意見(jiàn)反饋,對(duì)各級(jí)體系進(jìn)行修改,進(jìn)而最終確定高校圖書(shū)館科研數(shù)據(jù)管理服務(wù)能力評(píng)價(jià)指標(biāo)體系。

    3.1 第一輪德?tīng)柗品▽?duì)指標(biāo)體系的修正

    為方便專(zhuān)家打分和提出意見(jiàn),本文根據(jù)初步擬定的指標(biāo)體系設(shè)計(jì)專(zhuān)家調(diào)查問(wèn)卷,通過(guò)郵件向本研究領(lǐng)域的專(zhuān)家發(fā)送問(wèn)卷,對(duì)回收的問(wèn)卷進(jìn)行統(tǒng)計(jì)分析。

    3.1.1 問(wèn)卷設(shè)計(jì)與收集

    問(wèn)卷由基本信息、指標(biāo)重要性評(píng)價(jià)、自評(píng)表三部分組成。指標(biāo)重要性評(píng)價(jià)部分采用李克特五級(jí)量表,分別賦予1-5 分的分值。專(zhuān)家自評(píng)表部分由判斷依據(jù)和熟悉程度構(gòu)成,按照表3 對(duì)判斷依據(jù)進(jìn)行賦值,按照表4 對(duì)熟悉程度進(jìn)行賦值。

    表3 專(zhuān)家判斷依據(jù)量化值

    表4 專(zhuān)家熟悉程度量化值

    對(duì)于本次擬調(diào)研專(zhuān)家的選擇,經(jīng)過(guò)小組討論之后,決定以在本研究領(lǐng)域發(fā)表優(yōu)質(zhì)期刊論文為標(biāo)準(zhǔn),在CNKI 中以“篇名and 關(guān)鍵詞= 科研數(shù)據(jù)管理+研究數(shù)據(jù)管理+科學(xué)數(shù)據(jù)管理”進(jìn)行檢索,按被引排序收集相關(guān)論文通信作者的郵箱。收集到有效郵箱的通信作者,則成為本次專(zhuān)家調(diào)查對(duì)象。本次問(wèn)卷調(diào)查歷時(shí)兩個(gè)月,從2021 年6月22 日開(kāi)始通過(guò)郵件的形式向110 位專(zhuān)家發(fā)放問(wèn)卷,截至2021 年9 月20 日回收專(zhuān)家問(wèn)卷22 份,有效問(wèn)卷22 份,問(wèn)卷有效率100%。

    3.1.2 問(wèn)卷結(jié)果統(tǒng)計(jì)分析

    由于某些外在因素影響,無(wú)法保證參與第一輪德?tīng)柗茖?zhuān)家調(diào)查的專(zhuān)家都繼續(xù)參與第二輪德?tīng)柗茖?zhuān)家調(diào)查,因此專(zhuān)家基本信息統(tǒng)計(jì)結(jié)果將在德?tīng)柗茖?zhuān)家調(diào)查結(jié)束后進(jìn)行分析。此次只從專(zhuān)家自評(píng)表、指標(biāo)重要性評(píng)價(jià)、專(zhuān)家修改意見(jiàn)及指標(biāo)選擇等方面進(jìn)行結(jié)果統(tǒng)計(jì)分析。

    (1)專(zhuān)家自評(píng)表的結(jié)果分析。專(zhuān)家自評(píng)表主要反映參與本次調(diào)查的專(zhuān)家的權(quán)威程度,根據(jù)專(zhuān)家的判斷依據(jù)和專(zhuān)家對(duì)調(diào)查對(duì)象的熟悉程度進(jìn)行衡量,其計(jì)算公式如下。

    式中的CR為專(zhuān)家權(quán)威程度、Ca為專(zhuān)家判斷依據(jù)、Cb為專(zhuān)家熟悉程度。一般情況下,專(zhuān)家權(quán)威系數(shù)CR≥0.7,則認(rèn)為調(diào)查結(jié)果可靠。針對(duì)參與本次專(zhuān)家調(diào)查的22 位專(zhuān)家,統(tǒng)計(jì)結(jié)果顯示21 位專(zhuān)家的權(quán)威系數(shù)大于等于0.7,整體權(quán)威系數(shù)均值為0.81,表明本次專(zhuān)家調(diào)查權(quán)威程度較高。

    (2)專(zhuān)家指標(biāo)重要性程度打分的結(jié)果分析。指標(biāo)重要性程度反映專(zhuān)家集中程度和協(xié)調(diào)程度,用于衡量專(zhuān)家對(duì)于指標(biāo)體系的態(tài)度和觀(guān)點(diǎn)的一致性程度,主要通過(guò)滿(mǎn)分頻率、重要性均值、標(biāo)準(zhǔn)差和變異系數(shù)等指標(biāo)進(jìn)行分析,計(jì)算公式如下

    式中的Mi為滿(mǎn)分頻率,m'i為指標(biāo)評(píng)分給出滿(mǎn)分的專(zhuān)家人數(shù)。

    式中的Cj為重要性均值,Xij為專(zhuān)家i 對(duì)指標(biāo)j 的評(píng)分值。

    式中的Vj為變異系數(shù),Sj為指標(biāo)得分標(biāo)準(zhǔn)差,Cj為重要性均值。

    專(zhuān)家集中程度取決于重要性均值和滿(mǎn)分頻率得分情況,一般情況下,指標(biāo)的重要性均值大于等于3,則可以進(jìn)入第二輪專(zhuān)家調(diào)查。本次統(tǒng)計(jì)結(jié)果顯示,所有指標(biāo)的重要性均值大于3.36,且滿(mǎn)分頻率結(jié)果尚可,由此表明指標(biāo)體系的集中程度較高。專(zhuān)家協(xié)調(diào)程度取決于標(biāo)準(zhǔn)差和變異系數(shù)得分情況,一般情況下,指標(biāo)的變異系數(shù)大于等于0.25,則說(shuō)明其協(xié)調(diào)程度不夠,需要修改或刪除。本次調(diào)查結(jié)果中,幾乎所有指標(biāo)的變異系數(shù)均小于0.22,只有E4 經(jīng)濟(jì)影響力的變異系數(shù)為0.28,而所有指標(biāo)的標(biāo)準(zhǔn)差小于0.94,表明指標(biāo)體系的協(xié)調(diào)程度較好。

    雖然E4 經(jīng)濟(jì)影響力的變異系數(shù)超過(guò)0.25,但是其重要性均值超過(guò)3,因此不宜直接刪除。經(jīng)過(guò)小組討論后,決定對(duì)其指標(biāo)內(nèi)容進(jìn)行修改,豐富其下屬三級(jí)指標(biāo),參與第二輪專(zhuān)家調(diào)查。

    (3)專(zhuān)家意見(jiàn)及評(píng)價(jià)指標(biāo)的修改。由于部分指標(biāo)的表述不夠準(zhǔn)確和明晰,因此在本次回收的22 份問(wèn)卷中,有10 位專(zhuān)家給出指標(biāo)修改意見(jiàn)。針對(duì)一級(jí)指標(biāo)的修改意見(jiàn)“服務(wù)支撐力更多指服務(wù)軟實(shí)力,不能完全覆蓋其下所有二級(jí)指標(biāo)”,因此在經(jīng)過(guò)小組內(nèi)部討論之后,將“服務(wù)支撐力”修改為“機(jī)構(gòu)支撐力”。針對(duì)二級(jí)指標(biāo)的修改意見(jiàn),“政策支撐可以修改為政策制度支撐”“人員智力支撐可以修改為專(zhuān)職人員支撐”“服務(wù)管理過(guò)程可以修改為過(guò)程管理服務(wù)”,經(jīng)過(guò)小組充分討論之后,決定采納上述專(zhuān)家的修改建議。此外,部分專(zhuān)家提出“組織管理支撐表意不夠清楚”“數(shù)據(jù)標(biāo)準(zhǔn)與規(guī)范和數(shù)據(jù)資源管理可能存在從屬關(guān)系”,經(jīng)過(guò)小組充分討論后,決定將組織管理支撐并入政策制度支撐,將數(shù)據(jù)標(biāo)準(zhǔn)與規(guī)范并入數(shù)據(jù)資源管理。修改后的高校圖書(shū)館科研數(shù)據(jù)管理服務(wù)能力評(píng)價(jià)指標(biāo)體系見(jiàn)圖1。

    3.2 第二輪德?tīng)柗品▽?duì)指標(biāo)體系的修正

    3.2.1 問(wèn)卷設(shè)計(jì)與收集

    依據(jù)第一輪德?tīng)柗品ㄐ拚蟮闹笜?biāo)體系設(shè)計(jì)第二輪專(zhuān)家調(diào)查問(wèn)卷,問(wèn)卷設(shè)計(jì)過(guò)程與第一輪問(wèn)卷設(shè)計(jì)類(lèi)似。

    以郵件的形式將問(wèn)卷發(fā)送給參與第一輪德?tīng)柗普{(diào)查的22 位專(zhuān)家,進(jìn)行第二輪德?tīng)柗茖?zhuān)家調(diào)查。本次問(wèn)卷收集從2021 年10 月19 日開(kāi)始,截至2021 年12 月30 日共回收有效專(zhuān)家問(wèn)卷20 份,問(wèn)卷回收率90.91%。

    3.2.2 問(wèn)卷結(jié)果統(tǒng)計(jì)分析

    筆者根據(jù)本輪20 位專(zhuān)家調(diào)查數(shù)據(jù),從專(zhuān)家基本信息、專(zhuān)家自評(píng)表、指標(biāo)重要性評(píng)價(jià)等方面進(jìn)行結(jié)果統(tǒng)計(jì)分析。

    (1)專(zhuān)家基本信息結(jié)果分析。對(duì)20 位專(zhuān)家的年齡、工作單位性質(zhì)、受教育程度、職稱(chēng)和工作年限等基本信息進(jìn)行統(tǒng)計(jì)分析,結(jié)果顯示,專(zhuān)家年齡分布較為平均,30 歲以下占比20%,31~40歲占比40%,41~50 歲占比30%,51~60 歲占比10%。絕大多數(shù)專(zhuān)家都在高等院校工作,包括北京大學(xué)、中國(guó)人民大學(xué)、南開(kāi)大學(xué)、西南交通大學(xué)、武漢大學(xué)、中國(guó)農(nóng)業(yè)大學(xué)、北京師范大學(xué)、河南大學(xué)、吉林大學(xué)、深圳大學(xué)、江蘇大學(xué)、湘潭大學(xué)等高校,少數(shù)專(zhuān)家在中國(guó)科學(xué)院等科研機(jī)構(gòu)工作。從受教育程度分析,15 位專(zhuān)家是博士研究生學(xué)歷,3 位專(zhuān)家是碩士研究生學(xué)歷,2 位專(zhuān)家是本科學(xué)歷。從職稱(chēng)角度分析,正高級(jí)專(zhuān)家有7位,副高級(jí)專(zhuān)家有6 位,中級(jí)專(zhuān)家有4 位。從工作年限的角度分析,總體工作年限均值達(dá)11.5年,工作20 年及以上的專(zhuān)家有5 位。從上述分析結(jié)果可以看出,本次調(diào)研專(zhuān)家的受教育程度較高且長(zhǎng)期從事科研工作,具有較高的專(zhuān)業(yè)水平和較長(zhǎng)的相關(guān)領(lǐng)域工作年限,調(diào)研結(jié)果能夠一定程度上確保研究結(jié)果的權(quán)威性和可靠性。

    (2)專(zhuān)家自評(píng)表結(jié)果分析。專(zhuān)家自評(píng)表能夠反映專(zhuān)家的權(quán)威程度。筆者對(duì)本輪20 位專(zhuān)家的判斷依據(jù)和熟悉程度進(jìn)行賦值和計(jì)算,結(jié)果顯示本輪有18 位專(zhuān)家的權(quán)威系數(shù)大于0.7,整體權(quán)威系數(shù)均值為0.83,由此得出本次調(diào)查專(zhuān)家權(quán)威程度較高。

    (3) 專(zhuān)家指標(biāo)重要性程度打分結(jié)果分析。指標(biāo)重要性程度主要反映專(zhuān)家集中程度和協(xié)調(diào)程度。筆者對(duì)本輪20 位專(zhuān)家的指標(biāo)重要性打分?jǐn)?shù)據(jù)進(jìn)行分析發(fā)現(xiàn),所有指標(biāo)的重要性均值大于3.5,且滿(mǎn)分頻率尚可,由此得出指標(biāo)體系的集中程度較高。所有指標(biāo)的變異系數(shù)小于0.25,且標(biāo)準(zhǔn)差小于0.9,由此得出指標(biāo)體系的協(xié)調(diào)程度較好。綜合分析得出,專(zhuān)家對(duì)本輪構(gòu)建的指標(biāo)體系框架與內(nèi)容認(rèn)可程度較高,且并未提出指標(biāo)修改意見(jiàn),因此相關(guān)指標(biāo)均可保留,不再進(jìn)行第三輪專(zhuān)家調(diào)查。

    4 指標(biāo)體系權(quán)重的計(jì)算與確定

    采用主觀(guān)和客觀(guān)相結(jié)合的方式計(jì)算指標(biāo)權(quán)重,主觀(guān)權(quán)重采用專(zhuān)家權(quán)威系數(shù)結(jié)合秩和比法確定,客觀(guān)權(quán)重采用熵值法計(jì)算。最后,歸一化得出綜合權(quán)重。

    4.1 主觀(guān)權(quán)重的計(jì)算與確定

    在綜合考慮專(zhuān)家權(quán)威系數(shù)和指標(biāo)重要性評(píng)分結(jié)果的基礎(chǔ)上,利用秩和比法對(duì)專(zhuān)家打分?jǐn)?shù)據(jù)進(jìn)行編秩[16],以專(zhuān)家權(quán)威系數(shù)為權(quán)重進(jìn)行賦權(quán),計(jì)算得出主觀(guān)權(quán)重。

    (1)對(duì)專(zhuān)家指標(biāo)重要性評(píng)分結(jié)果進(jìn)行編秩,得到相應(yīng)秩次Zij。將同一專(zhuān)家對(duì)不同指標(biāo)的打分結(jié)果按照由低至高的順序進(jìn)行排序,其序號(hào)成為相應(yīng)的秩次,相同序號(hào)則取其均值作為秩次。

    (2)綜合秩次和專(zhuān)家權(quán)威系數(shù),計(jì)算專(zhuān)家i對(duì)指標(biāo)j 打分?jǐn)?shù)值加權(quán)秩次。根據(jù)公式5,將第二輪德?tīng)柗茖?zhuān)家調(diào)查結(jié)果計(jì)算得到的專(zhuān)家權(quán)威系數(shù)CR 作為權(quán)重,給專(zhuān)家指標(biāo)重要性評(píng)分編秩結(jié)果賦權(quán)。

    式中的Z'ij為專(zhuān)家i 對(duì)指標(biāo)j 打分?jǐn)?shù)值的加權(quán)秩次,Zij為專(zhuān)家i 對(duì)指標(biāo)j 打分?jǐn)?shù)值的秩次,CR為各專(zhuān)家權(quán)威系數(shù)。

    表5 加權(quán)秩次和、加權(quán)秩次均值及主觀(guān)權(quán)重

    式中的Gj為指標(biāo)體系主觀(guān)權(quán)重,為加權(quán)秩次均值,m 為參加問(wèn)卷調(diào)查專(zhuān)家人數(shù)。

    4.2 客觀(guān)權(quán)重的計(jì)算與確定

    以20 位專(zhuān)家的指標(biāo)重要性均值打分為原始數(shù)據(jù),根據(jù)熵值法公式計(jì)算得到客觀(guān)權(quán)重。

    (1)采用均值法進(jìn)行數(shù)據(jù)標(biāo)準(zhǔn)化處理。

    式中的X'ij為標(biāo)準(zhǔn)化指標(biāo)數(shù)據(jù),Xij為專(zhuān)家i 對(duì)指標(biāo)j 的評(píng)分值,為指標(biāo)評(píng)分均值。

    (2)根據(jù)標(biāo)準(zhǔn)化數(shù)據(jù)處理結(jié)果,計(jì)算二級(jí)指標(biāo)的特征比重。

    式中的Pij為指標(biāo)特征比重,X'ij為標(biāo)準(zhǔn)化指標(biāo)數(shù)據(jù),m 為參與指標(biāo)評(píng)分的專(zhuān)家人數(shù)。

    (3)利用指標(biāo)特征比重,計(jì)算二級(jí)指標(biāo)熵值、差異性系數(shù)和客觀(guān)權(quán)重,計(jì)算結(jié)果見(jiàn)表6。

    表6 二級(jí)指標(biāo)熵值、變異系數(shù)和客觀(guān)權(quán)重

    式中的ej為指標(biāo)熵值,Pij為指標(biāo)特征比重。

    式中的gj為差異性系數(shù),ej為指標(biāo)熵值。

    式中的Hj為指標(biāo)客觀(guān)權(quán)重,gj為差異性系數(shù),n 為評(píng)價(jià)指標(biāo)數(shù)量。

    4.3 綜合權(quán)重的計(jì)算與確定

    對(duì)指標(biāo)體系的主觀(guān)權(quán)重與客觀(guān)權(quán)重進(jìn)行歸一化處理,計(jì)算得到二級(jí)指標(biāo)綜合權(quán)重,通過(guò)逆向順序加權(quán)法,計(jì)算得到一級(jí)指標(biāo)綜合權(quán)重。由于三級(jí)指標(biāo)過(guò)多,因此筆者綜合專(zhuān)家及小組內(nèi)部意見(jiàn),決定采用等權(quán)法確定三級(jí)指標(biāo)綜合權(quán)重,最終指標(biāo)體系及其權(quán)重計(jì)算結(jié)果(見(jiàn)圖2)。

    圖2 高校圖書(shū)館科研數(shù)據(jù)管理服務(wù)能力評(píng)價(jià)指標(biāo)體系及其權(quán)重

    5 研究結(jié)論

    本研究在梳理相關(guān)文獻(xiàn)和主流模型的基礎(chǔ)上,篩選高??蒲袛?shù)據(jù)管理服務(wù)相關(guān)指標(biāo),從形式、內(nèi)容、效用三個(gè)維度構(gòu)建評(píng)價(jià)指標(biāo)體系,最終得到由機(jī)構(gòu)支撐力、管理服務(wù)力、社會(huì)效應(yīng)力3 個(gè)一級(jí)指標(biāo),經(jīng)費(fèi)資源支撐、數(shù)據(jù)資源管理、用戶(hù)素養(yǎng)教育等11 個(gè)二級(jí)指標(biāo),成本效益分析、數(shù)據(jù)使用規(guī)范、科研成果產(chǎn)出等35 個(gè)三級(jí)指標(biāo)構(gòu)成的高校圖書(shū)館科研數(shù)據(jù)管理服務(wù)能力評(píng)價(jià)指標(biāo)體系。為明確各指標(biāo)的具體含義,提高指標(biāo)體系的可操作性,本文將對(duì)指標(biāo)體系內(nèi)涵及特點(diǎn)進(jìn)行詳細(xì)闡述。

    5.1 重視指標(biāo)體系邏輯關(guān)系

    在指標(biāo)體系構(gòu)建過(guò)程中,重視各個(gè)指標(biāo)之間的邏輯關(guān)系。應(yīng)用SME 指標(biāo)框架,從形式、內(nèi)容、效用維度設(shè)置一級(jí)指標(biāo)。從形式評(píng)價(jià)角度設(shè)置機(jī)構(gòu)支撐力(38.97%)指標(biāo),對(duì)圖書(shū)館開(kāi)展科研數(shù)據(jù)管理服務(wù)的基礎(chǔ)能力進(jìn)行評(píng)價(jià),通過(guò)政策制度、技術(shù)設(shè)備、經(jīng)費(fèi)資源、專(zhuān)職人員等指標(biāo)進(jìn)行衡量。從內(nèi)容評(píng)價(jià)角度設(shè)置管理服務(wù)力(29.10%)指標(biāo),對(duì)圖書(shū)館開(kāi)展科研數(shù)據(jù)管理服務(wù)的過(guò)程能力進(jìn)行評(píng)價(jià),通過(guò)數(shù)據(jù)資源管理、過(guò)程管理服務(wù)以及用戶(hù)素養(yǎng)教育等指標(biāo)進(jìn)行衡量。從效用評(píng)價(jià)角度設(shè)置社會(huì)效應(yīng)力(31.93%)指標(biāo),對(duì)科研數(shù)據(jù)管理服務(wù)所產(chǎn)生的影響和效益進(jìn)行評(píng)價(jià),通過(guò)學(xué)術(shù)影響力、用戶(hù)滿(mǎn)意度、社會(huì)影響力、經(jīng)濟(jì)影響力等指標(biāo)進(jìn)行衡量。在此基礎(chǔ)上,梳理各個(gè)指標(biāo)之間的邏輯關(guān)系,去除其中重復(fù)及含義不清的指標(biāo),最終得到邏輯清晰、含義明確的指標(biāo)體系。

    5.2 強(qiáng)調(diào)指標(biāo)體系賦權(quán)合理性

    各個(gè)指標(biāo)的相對(duì)重要程度不同,指標(biāo)賦權(quán)有利于提高科研數(shù)據(jù)管理服務(wù)評(píng)價(jià)的準(zhǔn)確性和合理性。以指標(biāo)重要性打分?jǐn)?shù)據(jù)為基礎(chǔ),采用秩和比法并結(jié)合專(zhuān)家權(quán)威系數(shù)計(jì)算主觀(guān)權(quán)重。秩和比法的優(yōu)勢(shì)在于將專(zhuān)家打分?jǐn)?shù)據(jù)轉(zhuǎn)化為相應(yīng)秩次,能夠有效降低極端值的影響,而以專(zhuān)家權(quán)威系數(shù)為權(quán)重,為指標(biāo)秩次賦權(quán),可以適當(dāng)增加權(quán)威專(zhuān)家對(duì)指標(biāo)權(quán)重的影響力,由此得到主觀(guān)權(quán)重。為避免單一權(quán)重計(jì)算方法產(chǎn)生的局限性,采取熵值法確定指標(biāo)體系客觀(guān)權(quán)重。熵值法的優(yōu)點(diǎn)在于根據(jù)數(shù)據(jù)本身的固有信息計(jì)算權(quán)重,可以盡可能降低人為主觀(guān)因素的影響,得出客觀(guān)、真實(shí)、可復(fù)現(xiàn)的客觀(guān)權(quán)重。最后,對(duì)主觀(guān)權(quán)重與客觀(guān)權(quán)重進(jìn)行歸一化處理,得到科學(xué)且合理的綜合權(quán)重。

    5.3 注重指標(biāo)體系的可操作性

    對(duì)指標(biāo)體系進(jìn)行試評(píng)價(jià),發(fā)現(xiàn)大部分?jǐn)?shù)據(jù)可通過(guò)高校圖工委網(wǎng)站、圖書(shū)館網(wǎng)站以及科研數(shù)據(jù)管理服務(wù)平臺(tái)獲得,少部分與用戶(hù)相關(guān)的數(shù)據(jù)則可通過(guò)問(wèn)卷獲取,整體而言指標(biāo)數(shù)據(jù)具有較強(qiáng)的可獲取性。此外,指標(biāo)體系中定性指標(biāo)與定量指標(biāo)設(shè)置相對(duì)均衡。定性指標(biāo)包括政策制度支撐、技術(shù)設(shè)備支撐、數(shù)據(jù)資源管理、過(guò)程管理服務(wù)、用戶(hù)素養(yǎng)教育、社會(huì)影響力,可通過(guò)是否存在相關(guān)政策制度文件、是否具備科研數(shù)據(jù)管理服務(wù)平臺(tái)、是否存在數(shù)據(jù)資源管理規(guī)范、是否開(kāi)展相關(guān)過(guò)程服務(wù)、是否開(kāi)展用戶(hù)素養(yǎng)教育、是否存在產(chǎn)生社會(huì)影響的實(shí)際案例等進(jìn)行衡量,對(duì)抽象評(píng)價(jià)內(nèi)容具有較強(qiáng)的適應(yīng)性。定量指標(biāo)包括經(jīng)費(fèi)資源支撐、專(zhuān)職人員支撐、用戶(hù)滿(mǎn)意度、學(xué)術(shù)影響力、經(jīng)濟(jì)影響力,可通過(guò)經(jīng)費(fèi)資源占比、成本效益分析、專(zhuān)職人員占比、用戶(hù)滿(mǎn)意度問(wèn)卷數(shù)據(jù)統(tǒng)計(jì)、學(xué)術(shù)成果數(shù)量等進(jìn)行衡量,評(píng)價(jià)結(jié)果準(zhǔn)確且客觀(guān)。綜合定性評(píng)價(jià)與定量評(píng)價(jià)的優(yōu)勢(shì),進(jìn)一步增強(qiáng)指標(biāo)體系的可操作性。

    5.4 突出經(jīng)費(fèi)資源支撐和用戶(hù)素養(yǎng)教育評(píng)價(jià)指標(biāo)

    對(duì)二級(jí)指標(biāo)權(quán)重進(jìn)行降序排列,權(quán)重最高的指標(biāo)為經(jīng)費(fèi)資源支撐,占比11.55%,下設(shè)經(jīng)費(fèi)使用分析和成本效益分析兩個(gè)三級(jí)指標(biāo)。經(jīng)費(fèi)資源支撐主要用于衡量機(jī)構(gòu)經(jīng)費(fèi)來(lái)源是否穩(wěn)定,用于科研數(shù)據(jù)管理服務(wù)的經(jīng)費(fèi)占比以及成本效益相關(guān)情況。經(jīng)費(fèi)資源是科研數(shù)據(jù)管理服務(wù)正常開(kāi)展的先行條件,也是購(gòu)置相關(guān)設(shè)備和建設(shè)技術(shù)平臺(tái)的基礎(chǔ),因此經(jīng)費(fèi)資源支撐權(quán)重占比較為突出。權(quán)重位列第二的指標(biāo)是管理服務(wù)力下用戶(hù)素養(yǎng)教育,占比10.97%,下設(shè)用戶(hù)素養(yǎng)教育內(nèi)容與用戶(hù)素養(yǎng)教育方式兩個(gè)三級(jí)指標(biāo)。素養(yǎng)教育作為高校學(xué)生教育的重要內(nèi)容,圖書(shū)館能否提供用戶(hù)素養(yǎng)教育服務(wù),能否通過(guò)豐富的教育方式與內(nèi)容提升用戶(hù)數(shù)字素養(yǎng)水平是科研數(shù)據(jù)管理服務(wù)能力的重要評(píng)價(jià)內(nèi)容。

    5.5 不足與展望

    在指標(biāo)體系的構(gòu)建過(guò)程中,筆者盡可能地保證了指標(biāo)體系普適性和數(shù)據(jù)客觀(guān)性,然而本文仍然存在以下不足之處:不同學(xué)者在構(gòu)建指標(biāo)體系的過(guò)程中,都有各自的研究視角和側(cè)重點(diǎn),因此本文構(gòu)建的指標(biāo)體系還有可供完善的空間。此外,本文構(gòu)建的指標(biāo)體系中的諸多指標(biāo)與平臺(tái)密切相關(guān),因此在評(píng)價(jià)不具備相關(guān)平臺(tái)的高校時(shí),具有較大的局限性。未來(lái),筆者將通過(guò)更加深入的研究,進(jìn)一步擴(kuò)展和完善指標(biāo)體系,使其更具普適性和可操作性。

    猜你喜歡
    評(píng)價(jià)服務(wù)
    SBR改性瀝青的穩(wěn)定性評(píng)價(jià)
    石油瀝青(2021年4期)2021-10-14 08:50:44
    中藥治療室性早搏系統(tǒng)評(píng)價(jià)再評(píng)價(jià)
    服務(wù)在身邊 健康每一天
    服務(wù)在身邊 健康每一天
    服務(wù)在身邊 健康每一天
    服務(wù)在身邊 健康每一天
    服務(wù)在身邊 健康每一天
    招行30年:從“滿(mǎn)意服務(wù)”到“感動(dòng)服務(wù)”
    商周刊(2017年9期)2017-08-22 02:57:56
    基于Moodle的學(xué)習(xí)評(píng)價(jià)
    關(guān)于項(xiàng)目后評(píng)價(jià)中“專(zhuān)項(xiàng)”后評(píng)價(jià)的探討
    国产av又大| 成年av动漫网址| 91九色精品人成在线观看| 9色porny在线观看| av在线播放精品| 青青草视频在线视频观看| 50天的宝宝边吃奶边哭怎么回事| 久久综合国产亚洲精品| 亚洲国产精品一区三区| 搡老乐熟女国产| 久久精品国产综合久久久| 丝袜脚勾引网站| 国产成人欧美| 国产精品二区激情视频| 久久久国产成人免费| 久久国产精品人妻蜜桃| 蜜桃国产av成人99| 国产在线免费精品| bbb黄色大片| 777米奇影视久久| 亚洲欧美一区二区三区久久| av在线app专区| 国产不卡av网站在线观看| 亚洲黑人精品在线| 国产成人欧美在线观看 | 最近最新中文字幕大全免费视频| 亚洲综合色网址| 日韩免费高清中文字幕av| 韩国精品一区二区三区| 99精国产麻豆久久婷婷| 777米奇影视久久| 免费在线观看视频国产中文字幕亚洲 | 男女午夜视频在线观看| 91av网站免费观看| 色综合欧美亚洲国产小说| 搡老熟女国产l中国老女人| 日韩制服丝袜自拍偷拍| 最近中文字幕2019免费版| 午夜老司机福利片| 王馨瑶露胸无遮挡在线观看| 日本91视频免费播放| 国产一区二区三区在线臀色熟女 | 在线观看人妻少妇| 性色av乱码一区二区三区2| 少妇人妻久久综合中文| 精品久久久精品久久久| 男人添女人高潮全过程视频| 久久精品成人免费网站| 精品一区二区三区av网在线观看 | 成人国产一区最新在线观看| 亚洲九九香蕉| 午夜激情久久久久久久| 亚洲五月色婷婷综合| 欧美黑人精品巨大| 中文欧美无线码| 淫妇啪啪啪对白视频 | av网站免费在线观看视频| 午夜激情久久久久久久| 欧美成人午夜精品| 99精品欧美一区二区三区四区| 国产黄频视频在线观看| 日日摸夜夜添夜夜添小说| 亚洲国产成人一精品久久久| 俄罗斯特黄特色一大片| 一级片免费观看大全| 国产成人免费观看mmmm| 99久久99久久久精品蜜桃| 亚洲 国产 在线| 日韩熟女老妇一区二区性免费视频| 日韩有码中文字幕| 一本综合久久免费| 精品视频人人做人人爽| 久久精品亚洲av国产电影网| 国产成人免费无遮挡视频| 妹子高潮喷水视频| 国产一区二区三区综合在线观看| 亚洲伊人久久精品综合| 在线 av 中文字幕| 精品乱码久久久久久99久播| 欧美人与性动交α欧美精品济南到| 精品国内亚洲2022精品成人 | 国精品久久久久久国模美| 欧美日韩亚洲高清精品| 免费高清在线观看日韩| 亚洲成国产人片在线观看| 亚洲欧美清纯卡通| 搡老岳熟女国产| 人成视频在线观看免费观看| 久久国产精品人妻蜜桃| 999精品在线视频| 19禁男女啪啪无遮挡网站| 日本一区二区免费在线视频| 不卡av一区二区三区| 国产精品香港三级国产av潘金莲| 久久性视频一级片| 免费一级毛片在线播放高清视频 | 黄色片一级片一级黄色片| 日本一区二区免费在线视频| 各种免费的搞黄视频| 2018国产大陆天天弄谢| 人人澡人人妻人| 一本久久精品| 日韩中文字幕欧美一区二区| 伊人久久大香线蕉亚洲五| 日韩欧美一区二区三区在线观看 | 久久人人爽av亚洲精品天堂| 一本综合久久免费| 在线观看www视频免费| 午夜影院在线不卡| 国产精品.久久久| 国产麻豆69| 国产亚洲精品一区二区www | 少妇精品久久久久久久| 亚洲五月婷婷丁香| 久久精品国产综合久久久| 亚洲欧美色中文字幕在线| 美女大奶头黄色视频| 中文字幕最新亚洲高清| 亚洲国产欧美日韩在线播放| 黄频高清免费视频| 久久热在线av| 人人妻,人人澡人人爽秒播| 性色av乱码一区二区三区2| 午夜久久久在线观看| 日韩一区二区三区影片| 久久久久精品人妻al黑| 中文精品一卡2卡3卡4更新| 精品少妇一区二区三区视频日本电影| 国产免费现黄频在线看| 欧美国产精品一级二级三级| 纯流量卡能插随身wifi吗| 99精国产麻豆久久婷婷| 中国国产av一级| 每晚都被弄得嗷嗷叫到高潮| 中文字幕另类日韩欧美亚洲嫩草| 亚洲av电影在线观看一区二区三区| 婷婷成人精品国产| 国产免费福利视频在线观看| 人人妻人人添人人爽欧美一区卜| 欧美av亚洲av综合av国产av| 亚洲色图 男人天堂 中文字幕| 在线观看免费高清a一片| 国产亚洲av片在线观看秒播厂| 啪啪无遮挡十八禁网站| 国产av国产精品国产| av在线app专区| 亚洲av欧美aⅴ国产| 国产日韩一区二区三区精品不卡| 免费黄频网站在线观看国产| 欧美日韩视频精品一区| 亚洲va日本ⅴa欧美va伊人久久 | www.熟女人妻精品国产| 亚洲伊人色综图| 亚洲欧美一区二区三区黑人| 看免费av毛片| 国产真人三级小视频在线观看| 国产成人精品无人区| 国产高清videossex| 欧美日韩亚洲高清精品| 国产精品 国内视频| 国产成人av激情在线播放| 老熟女久久久| 超色免费av| 真人做人爱边吃奶动态| 热99久久久久精品小说推荐| 桃花免费在线播放| 久久久久久免费高清国产稀缺| 午夜福利在线免费观看网站| 制服人妻中文乱码| 免费黄频网站在线观看国产| 国产熟女午夜一区二区三区| 色婷婷久久久亚洲欧美| 亚洲精品国产精品久久久不卡| 十分钟在线观看高清视频www| 国产精品久久久久久精品电影小说| 亚洲,欧美精品.| 99精品久久久久人妻精品| 一本久久精品| 亚洲国产日韩一区二区| 国产男女内射视频| 99国产极品粉嫩在线观看| 啪啪无遮挡十八禁网站| 国产免费一区二区三区四区乱码| 国产欧美日韩一区二区三 | 欧美精品亚洲一区二区| 黑丝袜美女国产一区| 美女扒开内裤让男人捅视频| 999久久久精品免费观看国产| 色94色欧美一区二区| 午夜激情久久久久久久| 久久精品国产a三级三级三级| 最近最新中文字幕大全免费视频| 天堂8中文在线网| 99久久人妻综合| 永久免费av网站大全| av国产精品久久久久影院| 欧美精品高潮呻吟av久久| 美女大奶头黄色视频| 久久热在线av| 亚洲精品在线美女| 蜜桃在线观看..| 日韩人妻精品一区2区三区| 久久ye,这里只有精品| 国产一级毛片在线| 色精品久久人妻99蜜桃| 欧美久久黑人一区二区| 妹子高潮喷水视频| 肉色欧美久久久久久久蜜桃| av网站在线播放免费| 两性午夜刺激爽爽歪歪视频在线观看 | 欧美成狂野欧美在线观看| 人妻人人澡人人爽人人| 国产欧美亚洲国产| 亚洲欧洲日产国产| 国产精品影院久久| 日本av免费视频播放| 日韩免费高清中文字幕av| 午夜福利,免费看| 可以免费在线观看a视频的电影网站| 动漫黄色视频在线观看| 日韩欧美免费精品| 免费在线观看日本一区| 两个人免费观看高清视频| 99久久国产精品久久久| 亚洲熟女毛片儿| 大陆偷拍与自拍| 男女高潮啪啪啪动态图| 丝袜喷水一区| 国产成人一区二区三区免费视频网站| 国产精品一二三区在线看| 国产欧美亚洲国产| 黄色片一级片一级黄色片| 日日夜夜操网爽| 丝袜在线中文字幕| 国产欧美日韩一区二区三 | 成年女人毛片免费观看观看9 | 欧美激情 高清一区二区三区| cao死你这个sao货| 欧美黄色淫秽网站| 热re99久久国产66热| 一边摸一边做爽爽视频免费| 国产真人三级小视频在线观看| 精品国产乱码久久久久久男人| 欧美黄色淫秽网站| 欧美乱码精品一区二区三区| 18禁观看日本| 美女高潮到喷水免费观看| 午夜老司机福利片| 亚洲欧美激情在线| 亚洲av欧美aⅴ国产| 亚洲中文日韩欧美视频| 高清视频免费观看一区二区| 多毛熟女@视频| 欧美+亚洲+日韩+国产| 亚洲激情五月婷婷啪啪| 色婷婷久久久亚洲欧美| 亚洲九九香蕉| 精品高清国产在线一区| 亚洲成av片中文字幕在线观看| 狂野欧美激情性xxxx| 免费在线观看影片大全网站| 18在线观看网站| 国产精品久久久久成人av| 国产在线视频一区二区| av天堂久久9| 波多野结衣av一区二区av| 99精品久久久久人妻精品| 国产精品1区2区在线观看. | avwww免费| 精品一区二区三区四区五区乱码| 成人av一区二区三区在线看 | 三上悠亚av全集在线观看| av超薄肉色丝袜交足视频| 午夜日韩欧美国产| 精品乱码久久久久久99久播| 久久ye,这里只有精品| 久久久国产欧美日韩av| 热99re8久久精品国产| 黄网站色视频无遮挡免费观看| 男女之事视频高清在线观看| 精品国产国语对白av| 人人妻人人爽人人添夜夜欢视频| 欧美精品av麻豆av| 在线观看一区二区三区激情| e午夜精品久久久久久久| 亚洲精品国产区一区二| 免费人妻精品一区二区三区视频| 国产精品一区二区精品视频观看| 高清黄色对白视频在线免费看| 丝袜美足系列| 久久精品人人爽人人爽视色| 啦啦啦在线免费观看视频4| 国产欧美日韩一区二区三 | 天天躁夜夜躁狠狠躁躁| 别揉我奶头~嗯~啊~动态视频 | 后天国语完整版免费观看| 黄色视频在线播放观看不卡| 天天操日日干夜夜撸| 黑人操中国人逼视频| 日本精品一区二区三区蜜桃| 亚洲国产精品一区三区| 蜜桃在线观看..| 美女扒开内裤让男人捅视频| 国产精品香港三级国产av潘金莲| 国产男人的电影天堂91| 亚洲国产毛片av蜜桃av| 亚洲av男天堂| 日韩欧美国产一区二区入口| 久久久精品国产亚洲av高清涩受| 久久人人97超碰香蕉20202| 香蕉国产在线看| 狂野欧美激情性bbbbbb| 国产精品 国内视频| 欧美性长视频在线观看| 成年美女黄网站色视频大全免费| 国产成+人综合+亚洲专区| 亚洲av日韩精品久久久久久密| 国产成人av激情在线播放| 国产免费av片在线观看野外av| 欧美一级毛片孕妇| 啦啦啦免费观看视频1| 少妇人妻久久综合中文| 极品少妇高潮喷水抽搐| 亚洲伊人久久精品综合| 精品亚洲乱码少妇综合久久| 亚洲国产av影院在线观看| 欧美日韩亚洲高清精品| 中文字幕人妻熟女乱码| 悠悠久久av| 91国产中文字幕| 精品少妇一区二区三区视频日本电影| 久久精品成人免费网站| 少妇 在线观看| 亚洲av欧美aⅴ国产| 免费日韩欧美在线观看| 日本a在线网址| 人妻人人澡人人爽人人| 少妇裸体淫交视频免费看高清 | 日本精品一区二区三区蜜桃| 色视频在线一区二区三区| 欧美午夜高清在线| 制服人妻中文乱码| 99精品欧美一区二区三区四区| 国产精品一区二区在线不卡| 精品乱码久久久久久99久播| 精品一区二区三区av网在线观看 | 日韩视频一区二区在线观看| 9191精品国产免费久久| 久久久久久免费高清国产稀缺| 老鸭窝网址在线观看| 一边摸一边抽搐一进一出视频| 免费观看人在逋| 欧美乱码精品一区二区三区| 狠狠婷婷综合久久久久久88av| 欧美日韩国产mv在线观看视频| 日本精品一区二区三区蜜桃| 精品国内亚洲2022精品成人 | 999久久久精品免费观看国产| 免费人妻精品一区二区三区视频| 国产无遮挡羞羞视频在线观看| 超色免费av| 下体分泌物呈黄色| 亚洲黑人精品在线| 亚洲精品成人av观看孕妇| 亚洲激情五月婷婷啪啪| 天堂俺去俺来也www色官网| 久久久久国内视频| 久久久精品区二区三区| 青草久久国产| 国产一级毛片在线| 亚洲精华国产精华精| 国产免费一区二区三区四区乱码| 免费在线观看视频国产中文字幕亚洲 | 午夜两性在线视频| 国产精品av久久久久免费| 国产一区二区三区av在线| 国产亚洲精品一区二区www | 国产一区二区 视频在线| 国产精品影院久久| 亚洲激情五月婷婷啪啪| 9191精品国产免费久久| 精品视频人人做人人爽| bbb黄色大片| 精品福利观看| 国产精品.久久久| 国产精品 欧美亚洲| 999久久久国产精品视频| 人成视频在线观看免费观看| 免费一级毛片在线播放高清视频 | 激情视频va一区二区三区| 国产伦人伦偷精品视频| 国产一区二区 视频在线| 波多野结衣av一区二区av| av福利片在线| 不卡一级毛片| 亚洲精品自拍成人| 老司机深夜福利视频在线观看 | 免费一级毛片在线播放高清视频 | 日韩大码丰满熟妇| 亚洲国产欧美网| 国产亚洲欧美在线一区二区| 高潮久久久久久久久久久不卡| 久久亚洲精品不卡| 欧美成狂野欧美在线观看| 欧美少妇被猛烈插入视频| 国产野战对白在线观看| 久久这里只有精品19| 天天躁夜夜躁狠狠躁躁| 欧美成狂野欧美在线观看| 秋霞在线观看毛片| 免费看十八禁软件| 97精品久久久久久久久久精品| 母亲3免费完整高清在线观看| 91九色精品人成在线观看| 性高湖久久久久久久久免费观看| 男女国产视频网站| 久久精品熟女亚洲av麻豆精品| 国产一区二区在线观看av| 亚洲国产欧美网| 国产一区二区激情短视频 | 热99久久久久精品小说推荐| 多毛熟女@视频| 啦啦啦免费观看视频1| 免费在线观看黄色视频的| 亚洲中文字幕日韩| a级片在线免费高清观看视频| 午夜久久久在线观看| 日本91视频免费播放| 菩萨蛮人人尽说江南好唐韦庄| 老司机靠b影院| 亚洲国产欧美一区二区综合| 老司机亚洲免费影院| 亚洲九九香蕉| 亚洲欧美日韩高清在线视频 | 男女高潮啪啪啪动态图| 久久精品熟女亚洲av麻豆精品| 99国产精品99久久久久| 淫妇啪啪啪对白视频 | 99国产综合亚洲精品| 亚洲欧美日韩高清在线视频 | 亚洲国产日韩一区二区| 国产高清国产精品国产三级| 精品亚洲乱码少妇综合久久| 大香蕉久久成人网| 一边摸一边做爽爽视频免费| 一本一本久久a久久精品综合妖精| 亚洲成国产人片在线观看| 91成人精品电影| 色婷婷av一区二区三区视频| 丝袜在线中文字幕| 日韩大码丰满熟妇| 国产视频一区二区在线看| 国内毛片毛片毛片毛片毛片| svipshipincom国产片| 天天影视国产精品| 女人精品久久久久毛片| 男女午夜视频在线观看| 人人妻人人澡人人看| 天天躁夜夜躁狠狠躁躁| 日韩有码中文字幕| 欧美 日韩 精品 国产| 交换朋友夫妻互换小说| 无限看片的www在线观看| 视频区欧美日本亚洲| 我的亚洲天堂| 热99久久久久精品小说推荐| 国产激情久久老熟女| 午夜影院在线不卡| 国产精品亚洲av一区麻豆| av在线app专区| 中文欧美无线码| 亚洲三区欧美一区| 亚洲精品久久久久久婷婷小说| 97人妻天天添夜夜摸| 亚洲av日韩在线播放| 大香蕉久久网| 免费在线观看日本一区| 99精品欧美一区二区三区四区| 男女国产视频网站| av视频免费观看在线观看| 法律面前人人平等表现在哪些方面 | 国产欧美亚洲国产| 日日夜夜操网爽| 国产一区二区三区综合在线观看| 久久综合国产亚洲精品| 亚洲av美国av| 黄色a级毛片大全视频| 高清视频免费观看一区二区| 亚洲国产精品一区三区| 国产免费av片在线观看野外av| 亚洲国产中文字幕在线视频| 巨乳人妻的诱惑在线观看| 一本色道久久久久久精品综合| 久久久国产欧美日韩av| 国产97色在线日韩免费| 国产亚洲精品第一综合不卡| 各种免费的搞黄视频| 国产在线观看jvid| 可以免费在线观看a视频的电影网站| 涩涩av久久男人的天堂| 两人在一起打扑克的视频| 极品少妇高潮喷水抽搐| 亚洲精品乱久久久久久| 天天躁狠狠躁夜夜躁狠狠躁| 成人国产av品久久久| 国产一级毛片在线| 精品国产乱码久久久久久小说| 久久久久久久国产电影| 老鸭窝网址在线观看| 亚洲av男天堂| av在线app专区| 狂野欧美激情性xxxx| 国产精品久久久av美女十八| 亚洲国产av影院在线观看| 嫩草影视91久久| 午夜精品久久久久久毛片777| 免费在线观看视频国产中文字幕亚洲 | 久久久国产欧美日韩av| e午夜精品久久久久久久| 中文字幕制服av| 热99re8久久精品国产| 精品人妻一区二区三区麻豆| 精品一区二区三区四区五区乱码| 亚洲av成人不卡在线观看播放网 | 欧美+亚洲+日韩+国产| 久久这里只有精品19| 十八禁高潮呻吟视频| 日本撒尿小便嘘嘘汇集6| 男女午夜视频在线观看| 国产精品亚洲av一区麻豆| 国产真人三级小视频在线观看| 日本猛色少妇xxxxx猛交久久| 午夜福利一区二区在线看| 伦理电影免费视频| 国产伦理片在线播放av一区| 午夜免费鲁丝| av有码第一页| 美女福利国产在线| 久久国产精品大桥未久av| 久久精品亚洲熟妇少妇任你| 啪啪无遮挡十八禁网站| 少妇 在线观看| 久久九九热精品免费| 久久久久久人人人人人| 国产欧美日韩综合在线一区二区| av线在线观看网站| av片东京热男人的天堂| 天天影视国产精品| 国产精品欧美亚洲77777| 另类亚洲欧美激情| 91老司机精品| 五月开心婷婷网| 黑人操中国人逼视频| 亚洲av日韩在线播放| 悠悠久久av| 美女扒开内裤让男人捅视频| 女性生殖器流出的白浆| 一二三四在线观看免费中文在| 午夜老司机福利片| 宅男免费午夜| 日韩免费高清中文字幕av| 久久久久国内视频| 婷婷色av中文字幕| bbb黄色大片| 动漫黄色视频在线观看| 日韩欧美一区二区三区在线观看 | 我要看黄色一级片免费的| 黄频高清免费视频| 欧美精品亚洲一区二区| 国产黄频视频在线观看| 欧美日韩亚洲高清精品| 极品人妻少妇av视频| 日本欧美视频一区| 欧美精品av麻豆av| 十八禁网站网址无遮挡| 精品国产国语对白av| 在线看a的网站| 久久久久国产精品人妻一区二区| 大香蕉久久成人网| 成年av动漫网址| 欧美黄色淫秽网站| av欧美777| 91老司机精品| 90打野战视频偷拍视频| 欧美性长视频在线观看| 中国美女看黄片| 每晚都被弄得嗷嗷叫到高潮| 老司机午夜十八禁免费视频| 亚洲国产毛片av蜜桃av| 欧美另类一区| 老汉色av国产亚洲站长工具| 亚洲欧美一区二区三区久久| 亚洲美女黄色视频免费看| 精品一区二区三卡| 色播在线永久视频| 免费人妻精品一区二区三区视频| 欧美在线黄色| 亚洲av成人一区二区三| 香蕉国产在线看| av欧美777| 精品久久久精品久久久| 制服诱惑二区| 80岁老熟妇乱子伦牲交| 亚洲欧美清纯卡通| 日韩有码中文字幕| 久久中文看片网| 男人爽女人下面视频在线观看| 亚洲国产av影院在线观看| 在线精品无人区一区二区三| 手机成人av网站| 亚洲免费av在线视频| 亚洲精品国产精品久久久不卡| 日韩一区二区三区影片| 久久久国产一区二区| 国产男女超爽视频在线观看|