• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于數(shù)據(jù)生命周期的學術(shù)圖書館數(shù)據(jù)可重復性支持服務

    2023-09-13 11:24:34孔祥輝王乙竹
    新世紀圖書館 2023年7期
    關(guān)鍵詞:數(shù)據(jù)管理

    孔祥輝?王乙竹

    摘 要 當前可重復性危機日益嚴重,已經(jīng)對科學研究事業(yè)的健康發(fā)展構(gòu)成重大挑戰(zhàn)。學術(shù)圖書館有責任和義務參與到化解這場危機的進程中。論文基于數(shù)據(jù)生命周期的整體視角,深入分析危機形成的數(shù)據(jù)因素,以可重復性為價值導向并結(jié)合學術(shù)圖書館服務優(yōu)勢,提出對應的數(shù)據(jù)支持服務建設(shè)思路與具體實施策略,包括數(shù)據(jù)預公開與規(guī)劃服務、高質(zhì)量數(shù)據(jù)采集服務、元數(shù)據(jù)開發(fā)與咨詢服務、統(tǒng)計培訓與協(xié)作服務等。

    關(guān)鍵詞 學術(shù)圖書館;數(shù)據(jù)生命周期;可重復性危機;數(shù)據(jù)管理

    分類號G251;G258.6

    DOI 10.16810/j.cnki.1672-514X.2023.07.010

    Academic Librarys Data Reproducibility of Service Based on Data Life Cycle

    Kong Xianghui, Wang Yizhu

    Abstract The current reproducibility crisis is becoming increasingly severe, which has posed significant challenges to the healthy development of scientific research. Academic libraries have the responsibility and obligation to participate in the process of resolving this crisis. Based on the overall perspective of the data life cycle, this paper deeply analyzes the data factors that caused the crisis, takes reproducibility as the value orientation and combines the advantages of academic library services, and puts forward corresponding data support service construction ideas and specific implementation strategies, including data pre-disclosure and planning services, high-quality data collection services, metadata development and consulting services, statistical training and collaboration services.

    Keywords Academic libraries. Data life cycle. Reproducibility crisis. Data management.

    0 引言

    可重復性是科學界的常用術(shù)語。根據(jù)美國國家科學基金會(NSF)發(fā)布的《科學中的可重復性與可復制性》(Reproducibility and Replicability in Science)研究共識報告[1]中的定義,它是指使用與原始研究相同的數(shù)據(jù)代碼、程序、方法、步驟或分析條件獲得一致的結(jié)果。伴隨著數(shù)據(jù)密集型、數(shù)據(jù)驅(qū)動型科研范式的確立和興起,可重復性已愈發(fā)成為衡量科研成果質(zhì)量的重要標尺。然而目前科研領(lǐng)域正逐步陷入到可重復性危機陷阱之中,很多已經(jīng)發(fā)表的論文成果都經(jīng)受不起重現(xiàn)的考驗。頂級學術(shù)期刊《Nature》的一項調(diào)查顯示[2],科研人員有超過半數(shù)無法重現(xiàn)自己的研究結(jié)果,有70%無法重現(xiàn)他人的研究。這種情況不僅降低了自身對于研究工作有效性的信心,還嚴重威脅到公眾對科學的信任感。如何提高研究成果的可重復性,從根本上防范并化解危機已成為各類科研主體及相關(guān)利益方所共同關(guān)心的重大問題。學術(shù)圖書館是科研交流創(chuàng)新體系的重要一環(huán),有必要及時審時度勢把握科研發(fā)展的脈搏,厘清當前所面臨的危機態(tài)勢,發(fā)揮自身的服務價值與優(yōu)勢來協(xié)助科研界推進危機的解決。

    1 研究綜述

    可重復危機問題進入公眾視野并引起廣泛關(guān)注,是由John Ioannidis在2005年所發(fā)表的一篇先導性文章所致,他聲稱高達90%的研究結(jié)果都是錯誤的[3]。此后針對該主題的研究焦點集中在以下三個方面:(1)對危機的本身認識及爭論。以Daniele Fanelli[4]等為代表的少數(shù)學者認為,很多研究成果確實存在捏造、偽造、有偏見性、有選擇性和不可復制等亟待解決的問題,但并不表明它們會破壞整個科學事業(yè)?!拔C”一詞的表述是錯誤的,應該用時代所賦予的新機遇和新挑戰(zhàn)才更準確和令人信服。但無論是從機構(gòu)層面,如美國開放科學中心(OSC)開展的大規(guī)模復制項目[5],還是學者個體層面開展的小范圍重復性評估研究,都發(fā)現(xiàn)社會科學、行為科學、心理學、教育學、醫(yī)學等眾多學科領(lǐng)域已發(fā)表成果存在重現(xiàn)率偏低情況,并且已經(jīng)引發(fā)了很多直接或潛在的負面問題。因此,大部分學者都認同危機的客觀存在并已達到刻不容緩的地步。(2)危機起因的多維度分析。主要包括缺乏原始數(shù)據(jù)共享,可疑研究操作、P值濫用、選擇性報告、糟糕實驗設(shè)計、自由度失控、樣本不足、技術(shù)偏見、數(shù)據(jù)可用性差、低效力研究、無法管理復雜數(shù)據(jù)集、認知偏差、報告不佳、出版偏倚等。(3)對策研究。危機形成的原因復雜深刻,涉及面廣泛,學者們從技術(shù)、機制、方法、環(huán)境等多元化角度探尋化解危機的策略,代表成果有構(gòu)建區(qū)塊鏈技術(shù)方案、改進學術(shù)激勵機制、引入人工智能成果評估技術(shù)、改進期刊研究指南、完善同行評審制度、改進統(tǒng)計方法、加強科學嚴謹性與可重復性教育等。

    為科研服務是學術(shù)圖書館的中心任務,充分運用服務職能助力提升研究可重復性以解決危機成為了天然的職責和使命。Franklin Sayre[6]在回顧透明度和開放性促進(TOP)指南、美國統(tǒng)計協(xié)會(ASA)可重復性指南等內(nèi)容時指出,學術(shù)圖書館員應憑借在文獻檢索、文獻評估、系統(tǒng)綜述、學術(shù)交流、數(shù)據(jù)管理及對數(shù)據(jù)密集型研究方法支持等方面的豐富經(jīng)驗,在推動研究更具可重復性方面發(fā)揮重要作用。Stodden等[7]強調(diào)圖書館可通過協(xié)助研究人員制定完善的數(shù)據(jù)管理計劃、優(yōu)化數(shù)據(jù)存檔方案等手段,來支持其實現(xiàn)向開放與可重復研究文化的轉(zhuǎn)變。然而目前研究成果數(shù)量有限,內(nèi)容上仍處于服務思路構(gòu)想的初級階段,尚未建立系統(tǒng)的理論框架,也沒有形成可執(zhí)行的具體實施策略為實踐提供參考指導。

    在數(shù)據(jù)密集型科研范式時代,數(shù)據(jù)成為現(xiàn)代科學發(fā)現(xiàn)的核心要素。研究成果能否經(jīng)受住重復性檢驗取決于數(shù)據(jù)的質(zhì)量。學術(shù)圖書館必須堅持用數(shù)據(jù)視野來透視可重復危機的本質(zhì);同時由于數(shù)據(jù)具有完整的生命周期屬性,還必須以系統(tǒng)化思維和方法,結(jié)合文獻內(nèi)容分析,利用現(xiàn)有的生命周期模型框架全面審視危機背后的數(shù)據(jù)因素,并立足于數(shù)據(jù)管理服務職能手段,通過重組優(yōu)化、重點布局,形成一個嶄新的、完整的服務策略體系。

    2 科研數(shù)據(jù)生命周期

    數(shù)據(jù)實踐活動與科學研究工作密切相關(guān),滲透進科研活動的各個環(huán)節(jié),科研活動經(jīng)過選題、計劃、立項、實施、出版、結(jié)題等一系列活動構(gòu)成了完整周期。因此,科研數(shù)據(jù)無論來自于哪種學科、以何種格式或載體存在,也都會體現(xiàn)出一定的循環(huán)過程,同樣具有生命周期的普遍特性。目前學界已提出多個理論模型對數(shù)據(jù)的生命周期進行解釋,如Data ONE研究數(shù)據(jù)生命周期模型、英國數(shù)據(jù)管理中心DDC模型、英國數(shù)據(jù)檔案館UKDA模型、美國地質(zhì)調(diào)查局USGS模型、ICPSR社會科學數(shù)據(jù)存檔生命周期模型等。通過對比整理這些模型核心要素,本文將科研數(shù)據(jù)生命周期劃分為數(shù)據(jù)規(guī)劃、數(shù)據(jù)收集、數(shù)據(jù)組織、數(shù)據(jù)分析、數(shù)據(jù)存儲、數(shù)據(jù)出版、數(shù)據(jù)再利用7個階段。各階段數(shù)據(jù)實踐內(nèi)容如表1所示。

    3 基于數(shù)據(jù)生命周期視角下的可重復危機數(shù)據(jù)因素

    數(shù)據(jù)周期模型體現(xiàn)了數(shù)據(jù)實踐活動整體邏輯結(jié)構(gòu)、階段內(nèi)容與內(nèi)在價值聯(lián)系??芍貜托允菙?shù)據(jù)基于模型運行下的綜合作用結(jié)果,可以說貫穿于整個數(shù)據(jù)生命周期過程之中,在不同階段的不當實踐行為或管理失位都會誘發(fā)潛在風險;通過對現(xiàn)有文獻成果有關(guān)危機形成的各種因素的表述分析來看,其生成機制背后都有著數(shù)據(jù)因素推動或者體現(xiàn)出高度關(guān)聯(lián)性。

    3.1 缺乏數(shù)據(jù)規(guī)劃與監(jiān)管

    科研成果不可重復的直接原因是數(shù)據(jù)本身存在的缺失、混亂、虛假、錯誤等一系列問題,而未能對數(shù)據(jù)實踐全過程實施有效的計劃和監(jiān)管,維護數(shù)據(jù)應有的科學性、完整性和真實性,則是這些表象原因背后的深層原因。在尚無明確的規(guī)劃指引和相應的制度監(jiān)督約束背景下,科研人員在數(shù)據(jù)實踐進程中會明顯缺乏預判性和前瞻性,研究自由度變得很大甚至失去控制。研究自由度是指從生成假設(shè)、研究設(shè)計、分析處理數(shù)據(jù)和報告結(jié)果等研究過程中所體現(xiàn)的靈活性,表現(xiàn)為靈活擇取方法或者臨時決策行為[8]。通常情況下,由于缺乏精準定義的理論或者經(jīng)驗證據(jù),這些行為具備一定合理性,但同時也會帶來大量的隨機和不確定性,可能會影響數(shù)據(jù)的顯著性檢驗結(jié)果。例如,研究人員為了追求可供發(fā)表的陽性結(jié)果,會巧妙地利用自由度進行選擇性報告(selective reporting)、P值篡改(p-hacking)、已知結(jié)果后提出假設(shè)(HARKing)等各類可疑研究操作,夸大統(tǒng)計學效能以產(chǎn)生自己想要的預期結(jié)果,最終造成結(jié)果呈現(xiàn)假陽性的隱患大幅增加,其結(jié)論失真失實而難以復制。有研究估計,因濫用研究自由度而導致研究成果的假陽性率高達61%[9]。

    3.2 數(shù)據(jù)收集方式不足

    數(shù)據(jù)收集是數(shù)據(jù)生命周期的核心階段,即運用各種方法和渠道對研究所需的數(shù)據(jù)進行采集獲取,為數(shù)據(jù)分析奠定前提。數(shù)據(jù)收集方式?jīng)Q定數(shù)據(jù)質(zhì)量。而數(shù)據(jù)采樣則是眾多學科領(lǐng)域數(shù)據(jù)收集的最常見形式。在同等條件下數(shù)據(jù)樣本量越大,越更能代表總體,擴大了可能的數(shù)據(jù)范圍從而限制異常值或極端值的影響,提高統(tǒng)計效力和統(tǒng)計結(jié)果的精確性。

    然而,多數(shù)學科研究普遍存在樣本量不足問題。在數(shù)據(jù)采樣模式上,研究人員更多采用小樣本而非大樣本進行研究,或從多個小樣本挑選陽性結(jié)果進行報告,直接損害了其分析結(jié)果作為證據(jù)的有效性。許多發(fā)現(xiàn)盡管具有統(tǒng)計學上的顯著意義,但其真實性存疑。此外,研究人員普遍缺乏盲法運用、樣本量估算和使用方便樣本等問題,數(shù)據(jù)收集質(zhì)量很難得到有效保證,容易造成誤導性的結(jié)論,進而影響研究潛在的可重復性。

    3.3 數(shù)據(jù)揭示力度不夠

    數(shù)據(jù)組織階段涉及活動廣泛,決定了數(shù)據(jù)分析、存儲、共享等活動效率。而科研活動日益復雜化、系統(tǒng)化,其數(shù)據(jù)實踐條件的復雜性,如異構(gòu)多源的原始實驗數(shù)據(jù)、測量參數(shù)、實驗設(shè)置、參與人員、軟件參數(shù)、方法、步驟和結(jié)果等信息,只有通過全面有效的組織揭示幫助科研人員予以全面把握,才有可能保證結(jié)果的可重現(xiàn)。

    元數(shù)據(jù)是目前數(shù)據(jù)組織的最重要工具。創(chuàng)建元數(shù)據(jù)是確保數(shù)據(jù)公開、透明、可用和揭示完整研究過程的有力手段,對于重現(xiàn)已發(fā)表的結(jié)果非常重要。遺憾的是,當前科研文獻中普遍存在各類元數(shù)據(jù)不足的問題。一項針對不同學科的科學家調(diào)研顯示[10],75%的受訪者認為元數(shù)據(jù)可獲取性較差嚴重阻礙了他們嘗試重現(xiàn)他人結(jié)果的信心,而能夠獲得描述步驟型元數(shù)據(jù)僅有36%、設(shè)置型為38%、方法型為32%。同時,在創(chuàng)建元數(shù)據(jù)情況方面并不理想。為數(shù)據(jù)集增添合適的元數(shù)據(jù)或描述文檔以實現(xiàn)長期存儲與監(jiān)護,會額外增加科研人員的時間成本和精力,因此只有在完成既定科研任務或成果產(chǎn)出時才會得到重視[11];而已創(chuàng)建的元數(shù)據(jù)質(zhì)量也令人堪憂,在數(shù)據(jù)收集策略、處理來源,分析方法等細節(jié)普遍缺乏詳細描述,數(shù)據(jù)可用性差,不能供他人充分理解并進行研究有效性評估。

    3.4 數(shù)據(jù)分析方法誤用

    數(shù)據(jù)分析是指為了提取有用信息和形成結(jié)論,用適當?shù)慕y(tǒng)計分析方法對數(shù)據(jù)加以詳細分析概括總結(jié)的過程。分析結(jié)果的可靠性取決于統(tǒng)計分析方法的正確選擇使用和對結(jié)果的合理解釋,而實現(xiàn)這兩點必須有一定統(tǒng)計學知識為基礎(chǔ)。對于非統(tǒng)計學專業(yè)或基礎(chǔ)薄弱的科研人員在缺失教育的情況下極容易出現(xiàn)概念、原理理解上的偏差,導致p值濫用、不恰當?shù)靥幚懋惓V怠⒄`用非參數(shù)和參數(shù)檢驗、忽視統(tǒng)計獨立性等方法誤用問題[12],而這種情況卻在眾多學科中普遍存在。方法誤用的后果就是導致統(tǒng)計功效低下,p值喪失應有的統(tǒng)計學意義,分析結(jié)果偏離客觀事實,得出的研究結(jié)論不科學,后人能夠成功重復出來的可能性也就變得很低。

    3.5 數(shù)據(jù)存儲基礎(chǔ)薄弱

    數(shù)據(jù)存儲是以存儲庫為基礎(chǔ),通過保存、歸檔等形式實現(xiàn)數(shù)據(jù)的長期保存和利用的活動,能夠有效維護數(shù)據(jù)的安全性和完整性,提高數(shù)據(jù)可利用、可發(fā)現(xiàn)和可識別屬性,為數(shù)據(jù)公開共享和可重復利用創(chuàng)造前提。技術(shù)進步促使科研領(lǐng)域生成愈發(fā)廣泛、復雜的數(shù)據(jù)集,如果不能以標準化、規(guī)?;姆绞綄?shù)據(jù)進行存儲,就容易導致數(shù)據(jù)缺失、可讀性差等問題,降低數(shù)據(jù)共享和再利用水平。

    目前,科研領(lǐng)域數(shù)據(jù)存儲基礎(chǔ)較為薄弱。一方面是可供公開訪問的數(shù)據(jù)存儲率較低。有學者對50種科學領(lǐng)域發(fā)表在頂級期刊的論文進行分析,發(fā)現(xiàn)其中只有9%的作者將完整的論文原始數(shù)據(jù)實現(xiàn)在線存儲[13]。即使很多頂級期刊制定了強制的數(shù)據(jù)共享政策,但依然無法改善這一現(xiàn)狀。另一方面數(shù)據(jù)存儲意愿低。即使多數(shù)研究機構(gòu)或主體認可數(shù)據(jù)存儲和共享對于研究的價值,但在缺乏存儲經(jīng)驗、基礎(chǔ)知識、產(chǎn)權(quán)保護,以及重視便利性忽略合理性的觀念驅(qū)使下,將數(shù)據(jù)保留在個人存儲設(shè)備不公開共享始終是科研人員的首選。

    3.6 數(shù)據(jù)出版存在弊病

    數(shù)據(jù)出版是數(shù)據(jù)實現(xiàn)共享的主要形式。在出版物和報告中披露數(shù)據(jù)分析過程、結(jié)果、各類決策和意圖等詳細信息,幫助后續(xù)研究者深入了解以便進行重復實驗。而現(xiàn)有的學術(shù)出版物普遍通過發(fā)布最終的代表性數(shù)字或數(shù)據(jù)集快照來展現(xiàn)結(jié)果,既沒有充分揭示如何生成這些數(shù)字和快照的原始數(shù)據(jù),也缺乏支持重復性驗證的關(guān)鍵信息。在某些競爭激烈的學科領(lǐng)域,數(shù)據(jù)甚至會被故意省略、模糊描述。即便很多研究人員或許從未偽造過數(shù)據(jù),但在“不發(fā)表即滅亡”的出版壓力下,也選擇省略了不支持研究假設(shè)的結(jié)果,或者拒絕披露負面數(shù)據(jù)。因此,當前數(shù)據(jù)出版方式與內(nèi)容的缺陷,使數(shù)據(jù)不適合重用、驗證和復制。

    3.7 可重復驗證研究匱乏

    可重復驗證研究就是對數(shù)據(jù)進行的重復性驗證分析,使其他研究人員能夠以現(xiàn)有研究為基礎(chǔ)提高方法和結(jié)果的可驗證性 ,在科學研究中形成自我校正的良性機制。對于提高自身及其同行研究成果的嚴謹性、可重復性和透明度至關(guān)重要。

    可重復驗證研究的專業(yè)強度、技術(shù)難度、時間成本較高。檢驗一項他人研究成果的可重復性不僅要考慮原研究中所使用的分析工具、環(huán)境等是否變化因素,還需要雄厚的專業(yè)知識基礎(chǔ)才能理解原研究中的數(shù)據(jù)、數(shù)學模型和統(tǒng)計技術(shù),因此這些分析對于那些知識有限的人來說很難實現(xiàn)。大多數(shù)科研人員對此類研究只能望其項背;而且現(xiàn)有科研文化導向難以支持其實現(xiàn)普及化。當今科研體系鼓勵創(chuàng)新成果的快速發(fā)表,只有新發(fā)現(xiàn)才會獲得更多的關(guān)注與獎勵,而負面結(jié)果(例如未發(fā)現(xiàn)顯著相關(guān)性)則受到排斥。這種局面迫使研究人員將自身研究成果的重復驗證變成一種投機行為,淪為發(fā)表論文的手段而非檢驗科學的準則,即只有發(fā)現(xiàn)不符合預期的結(jié)果才對數(shù)據(jù)自查自審,得到預期結(jié)果(更多的是假陽性)則立即停止[14],無法保證研究成果客觀、準確、可靠。

    4 基于數(shù)據(jù)生命周期的可重復性危機數(shù)據(jù)支持服務

    4.1 指導思路

    學術(shù)圖書館雖不是科研項目的主導者,但卻是科研數(shù)據(jù)的天然中介方與監(jiān)管者,憑借信息組織技術(shù)、專業(yè)人才、基礎(chǔ)設(shè)施、數(shù)據(jù)資源等優(yōu)勢,提供完善的科研數(shù)據(jù)管理與服務。通過協(xié)調(diào)數(shù)據(jù)管理中心、實驗室、科研管理部門、學術(shù)期刊、數(shù)據(jù)商等相關(guān)利益方促成廣泛合作,建立以學術(shù)圖書館為中心的服務共同體,利用資源建設(shè)、宣傳推廣,完善設(shè)施,交流協(xié)作、用戶教育等手段,對各階段的數(shù)據(jù)問題予以精準擊破,最終形成以提高科研可重復性為根本價值導向、覆蓋全周期的數(shù)據(jù)支持服務體系。

    4.2 具體策略

    4.2.1 數(shù)據(jù)預公開與規(guī)劃服務

    可重復性始于規(guī)劃,而在科研項目啟動前編寫數(shù)據(jù)管理計劃(DMP)則有助于將規(guī)劃從構(gòu)想轉(zhuǎn)變?yōu)榫唧w方案,即在開展數(shù)據(jù)實踐之前將數(shù)據(jù)采集規(guī)則、分析方法、統(tǒng)計指標、相關(guān)測試、數(shù)據(jù)存儲等細節(jié),預先進行科學地論證分析和記錄,探索所有潛在的風險和后果,使數(shù)據(jù)實踐具備可預見性。

    學術(shù)圖書館應以建立以DMP為核心的數(shù)據(jù)規(guī)劃服務。(1)協(xié)助科研人員加強DMP內(nèi)容建設(shè)與質(zhì)量控制。加大資源推廣力度,充分發(fā)揮各類學科的DMP標準模板、研究指南、預研究清單、政策文件等資源的指導性作用,幫助科研人員建立標準化與規(guī)范化的DMP,明確從數(shù)據(jù)設(shè)計、執(zhí)行和解釋等各環(huán)節(jié)操作所需的量化指標和具體要求,并以此為基準開展后續(xù)的數(shù)據(jù)實踐,確保在真實、可控的軌道上進行,減少數(shù)據(jù)欺詐、偽造等行為以便獲得可重復結(jié)果。(2)積極開展預注冊服務,推動DMP預公開和透明化。數(shù)據(jù)管理規(guī)劃存在霍桑效應,即研究人員在意識到他們的研究方案將被公眾審查時,會主動加強對研究方案的自我審查力度[15]。如果能實現(xiàn)數(shù)據(jù)規(guī)劃的公開透明,將有助于研究人員把注意力集中到方法改良和確保成果真實有效上來。預注冊是實現(xiàn)這一目標的有效途徑,它促使科研人員在開始科研項目啟動之前,在平臺提前注冊并公開研究設(shè)計,數(shù)據(jù)假設(shè)、DMP等內(nèi)容,利用平臺的公共監(jiān)督功能,最大程度減少研究自由度、區(qū)分假設(shè)探索性研究與假設(shè)檢驗研究,具備科研過程監(jiān)督的價值屬性。因此學術(shù)圖書館應積極引入技術(shù)平臺,開展引導和咨詢服務,幫助科研人員增強預注冊的價值感知、積極踐行預注冊行為,使數(shù)據(jù)實踐的全過程都能得到有效監(jiān)督,避免各類可疑的研究操作,有序?qū)崿F(xiàn)計劃預期的客觀數(shù)據(jù)成果。

    4.2.2 數(shù)據(jù)高質(zhì)量采集服務

    學術(shù)圖書館應以幫助科研人員最大程度提高數(shù)據(jù)采樣數(shù)量和質(zhì)量,降低低樣本量對研究的不利影響為目標,開展數(shù)據(jù)搜集服務。(1)數(shù)據(jù)資源獲取服務。加大科研數(shù)據(jù)資源建設(shè),如各類實驗、統(tǒng)計、模擬、觀察類數(shù)據(jù)庫購買整合力度,拓展第三方數(shù)據(jù)獲取渠道,夯實科研項目所需的數(shù)據(jù)基礎(chǔ)。(2)數(shù)據(jù)采樣協(xié)助服務。發(fā)揮學術(shù)圖書館的學術(shù)聯(lián)絡優(yōu)勢,協(xié)調(diào)各研究團體之間開展合作,克服研究個體在數(shù)據(jù)搜集過程中的有限性與局限性,建立以圖書館為中心的的分布式協(xié)作數(shù)據(jù)采集網(wǎng)絡,為更大規(guī)模、更高性能的數(shù)據(jù)采樣創(chuàng)造條件。(3)開展元分析服務。元分析是通過統(tǒng)計方法對大量的相似研究進行量化評價并得出綜合性結(jié)論的方法[16],不僅有效擴大樣本量,提高統(tǒng)計檢驗力,還可以縮小置信區(qū)間的范圍,使對總體效應量的估計更加精確。在醫(yī)學、社會科學、教育科學、心理科學等領(lǐng)域得到普遍應用。圖書館員或?qū)W科館員可憑豐富的文獻檢索經(jīng)驗介入科研團隊,幫助研究人員改善檢索策略,使用明確系統(tǒng)的方法,最大限度地減少偏見,產(chǎn)生更可靠的元分析結(jié)果,為決策提供信息并創(chuàng)建可重復的研究。(4)方法指南服務。通過學科指南建設(shè)提供數(shù)據(jù)收集方法的專業(yè)指導,提高數(shù)據(jù)采樣的規(guī)范性和科學性。例如布朗大學學術(shù)圖書館就生物醫(yī)學領(lǐng)域的數(shù)據(jù)、圖像、定量免疫印跡等采集方法進行匯總并提供資源引薦。

    4.2.3 元數(shù)據(jù)開發(fā)與咨詢服務

    在數(shù)據(jù)組織階段,必須發(fā)揮元數(shù)據(jù)的重現(xiàn)功能,充分揭示數(shù)據(jù)要素和研究過程,實現(xiàn)研究透明化。為此學術(shù)圖書館應做好:(1)元數(shù)據(jù)模型開發(fā)與應用服務。通過加強對外合作,以實現(xiàn)可重復需求為中心積極研發(fā)并推廣全新的科研元數(shù)據(jù)模型,協(xié)助科研人員全方位提高數(shù)據(jù)可識別程度和解釋能力。例如芝加哥大學學術(shù)圖書館與分子工程研究所共同開發(fā)的再現(xiàn)性科學論文監(jiān)護與探索系統(tǒng)(Qresp)[17],用以指導研究人員在創(chuàng)建科學論文時,對使用的數(shù)據(jù)集、腳本、工具和筆記本之間關(guān)系的過程進行可視化記錄,實現(xiàn)研究數(shù)據(jù)—元數(shù)據(jù),擴展到個人數(shù)據(jù)文件—密集大數(shù)據(jù)環(huán)境的全方位揭示維度,建立數(shù)據(jù)與數(shù)據(jù)來源之間的關(guān)系,通過鏈接將研究中的所有數(shù)據(jù)信息得以集中,便于輸出引用和重復性使用。(2)元數(shù)據(jù)指導咨詢服務。采取開設(shè)微課程、微視頻、文本指南等多元途徑宣講元數(shù)據(jù)標準、元數(shù)據(jù)政策等,提高科研人員元數(shù)據(jù)構(gòu)建意識,并在元數(shù)據(jù)規(guī)范化操作規(guī)則指引下,正確記錄研究流程,揭示上下文信息、有關(guān)設(shè)備、協(xié)議、數(shù)據(jù)處理或?qū)嶒炇覘l件的細節(jié),確??茖W記錄的可靠性并提高研究過程的透明度。同時,積極推廣實驗室電子筆記本(ELN)、版本控制(Git)等技術(shù)工具,以工具為載體實現(xiàn)元數(shù)據(jù)記錄自動化,減少時間成本和精力。

    4.2.4 統(tǒng)計培訓與協(xié)作服務

    為夯實研究人員的統(tǒng)計學基礎(chǔ),使數(shù)據(jù)分析結(jié)果的可靠性得到有效保證,學術(shù)圖書館可開展:(1)學科統(tǒng)計培訓。定期舉辦短期培訓、學術(shù)報告或公開演講,邀請學科資深人士、統(tǒng)計學專家或第三方專業(yè)統(tǒng)計咨詢機構(gòu)開展基于學科的統(tǒng)計培訓,對本學科研究適用的統(tǒng)計學原理、常用統(tǒng)計方法、統(tǒng)計分析計劃、使用規(guī)則、常見誤區(qū)等給予及時指導,積極引領(lǐng)其他學者對該問題的重視及修正。(2)統(tǒng)計協(xié)作支持服務。如圖書館要通過多種協(xié)作手段介入來滿足數(shù)據(jù)分析過程中的各類需求。重點應包括①技術(shù)需求。杜蘭大學圖書館注重與校外統(tǒng)計顧問、統(tǒng)計公司的合作,運用來自NC3R的實驗設(shè)計助理(EDA,Experimental Design Assistant)為研究人員提供統(tǒng)計方法推薦,隨機化和盲法支持、樣本量計算等服務,助力設(shè)計更能產(chǎn)出可靠和可重復結(jié)果的穩(wěn)健實驗。②預估需求。如佛蒙特大學圖書館針對本校學生、博士后和科研人員,建立統(tǒng)計分析需求自檢清單,要求在數(shù)據(jù)分析之前進行自我評估,根據(jù)評估結(jié)果提供統(tǒng)計指標解讀、分析結(jié)果解釋等一系列對應的信息支持,保證統(tǒng)計分析方法使用的正確性。③資源需求。對涉及各學科的統(tǒng)計學相關(guān)教材、期刊、會議、報告、數(shù)據(jù)庫等文獻資源集中予以整合,建立專題書庫或數(shù)據(jù)庫,通過一站式檢索及時獲得最新最全的統(tǒng)計學指導資源。

    4.2.5 立體多維式數(shù)據(jù)存儲服務

    實現(xiàn)研究可重復的關(guān)鍵是要確保數(shù)據(jù)的完整性和開放性,而這依賴于數(shù)據(jù)存儲力度和存儲質(zhì)量。作為數(shù)據(jù)存儲的重要承擔機構(gòu),學術(shù)圖書館應繼續(xù)創(chuàng)新存儲服務,不斷提高自身在科研數(shù)據(jù)存儲應有的價值和地位,助力科研界改善數(shù)據(jù)存儲基礎(chǔ)薄弱的局面。服務創(chuàng)新的落腳點在:(1)加強各類存儲庫建設(shè)。通過依托機構(gòu)知識庫改造、第三方商業(yè)庫(如Dryad、Zenodo、Figshare、protocols.io等)、開源數(shù)據(jù)存儲平臺(如開放科學框架OSF)引入以及自籌自建的方式健全數(shù)據(jù)存儲體系,協(xié)助科研人員與管理者能夠?qū)⒖蒲腥^程中所涉及到的所有數(shù)據(jù),如原始數(shù)據(jù)集,軟件、研究代碼、分析腳本、研究協(xié)議、實驗記錄、工作流程、文檔注釋和元數(shù)據(jù)等都視為不可或缺的整體,實現(xiàn)全方位、全過程存儲,以獨立方式保存高度完整,并能通過DOI鏈接增強與出版物的引用,支持預印本服務器、實驗室筆記本、版本控制軟件等研究工具的數(shù)據(jù)共享,支持在開放、協(xié)作互動討論中來提高研究的可重復性。(2)建立學科導航。學術(shù)圖書館應積極按照學科門類整合各類存儲庫資源,提供索引與指南以滿足差異化、精細化的學科數(shù)據(jù)存儲需求。如歐美國家的學術(shù)圖書館都提供re3data、FAIRsharing等門戶信息或搜索引擎,幫助不同專業(yè)學科科研人員快速查找和鎖定存儲范圍,實現(xiàn)精準有效的存儲。(3)存儲標準化引導。加大數(shù)據(jù)存儲標準格式的宣傳和解釋力度,引導研究人員更多地采用“研究綱要”模式[18],按照一定的邏輯標準且易于識別的方式來儲存研究項目的數(shù)據(jù)材料,使其他研究人員能夠進行有效審查、復制和其他擴展研究。

    4.2.6 數(shù)據(jù)獨立與開放出版服務

    實現(xiàn)可重復就意味著數(shù)據(jù)應保持其最初的豐富性,不應為了解釋某一特定出版物中的發(fā)現(xiàn)而降低內(nèi)容屬性[19]。學術(shù)圖書館必須堅持以提高數(shù)據(jù)披露程度和開放性為目的,綜合運用多種服務手段積極介入出版進程,優(yōu)化數(shù)據(jù)出版環(huán)境,提高科研人員數(shù)據(jù)出版意識。舉措有:(1)數(shù)據(jù)出版資源建設(shè)。積極與學術(shù)期刊、數(shù)據(jù)庫商展開對話合作,加大數(shù)據(jù)期刊購入力度,建立研究項目的數(shù)據(jù)關(guān)聯(lián)出版服務。如愛荷華州立大學圖書館為推動數(shù)據(jù)獨立出版行為,提供專門發(fā)表數(shù)據(jù)論文的期刊資源導航。鼓勵科研用戶采用數(shù)據(jù)論文的形式,通過文檔描述的數(shù)據(jù)集,數(shù)據(jù)庫或數(shù)據(jù)包,描述數(shù)據(jù)及其收集的情況,與研究文章一起發(fā)表。(2)數(shù)據(jù)出版咨詢服務。加強對于學術(shù)期刊的數(shù)據(jù)出版政策、出版指南、可重復性研究指南的追蹤與解讀,形成咨詢報告在論文即將發(fā)表、數(shù)據(jù)出版之際進行推送,協(xié)助科研人員清晰地掌握數(shù)據(jù)出版標準,采取更科學的表述,盡可能排除存在偏差的數(shù)據(jù)操作,確保數(shù)據(jù)內(nèi)容得以真實、有效和可重復利用狀態(tài)呈現(xiàn)。(3)預印本服務。加強對以預印本為核心的OA學術(shù)出版資源揭示力度,如哈佛大學Countway圖書館開辟信息專欄介紹預印本的科普知識問題答疑、政策查詢、服務器資源索引等。同時提供預印本-后印本平臺托管服務,使研究人員能利用平臺對各類科研項目所產(chǎn)出的所有數(shù)據(jù)成果進行無限制訪問,并提高以預印本作為主流出版方式的認可程度,實現(xiàn)公開透明的發(fā)布、共享、討論和評估數(shù)據(jù)成果,同時提高對于一些負面或無效數(shù)據(jù)結(jié)果的包容性,克服發(fā)表偏倚帶來的消極影響。

    4.2.7 可重復驗證全面支持服務

    可重復驗證研究作為科研進程的有益補充,其價值重要性不言而喻。要真正在廣大科研群體之間實現(xiàn)可重復驗證研究的普及,使可重復性分析、對無效結(jié)果的發(fā)掘成為研究項目自我糾正的常態(tài)化機制,就需要對其提供全方位服務支持,激發(fā)研究動力,促進研究交流、降低研究成本,為研究創(chuàng)造空間、技術(shù)、硬件環(huán)境。學術(shù)圖書館對此可提供:(1)學術(shù)交流服務。要真正促使科研主體將可重復這一黃金準則內(nèi)化成自身科研行為標準,就必須強化對可重復驗證研究的宣傳力度,促成理念方法的廣泛認同。借助空間場域、學科聯(lián)絡、活動組織優(yōu)勢打造可重復驗證研究交流平臺。定期開展學術(shù)研討,圓桌會議、競賽交流等活動,如南安普敦大學學術(shù)圖書館的ReproducibiliTea 每周例會討論、萊登大學學術(shù)圖書館的可重復黑客馬拉松(ReproHack)活動,都極大提高了參與者對此研究的認知和參與程度。(2)信息門戶服務。通過匯總各類資源建立研究指南,揭示和報道可重復研究的基本概念、流程方法、最佳實踐、工具與資源索引。目前,北美地區(qū)很多學術(shù)圖書館都開辟了研究門戶并且關(guān)聯(lián)培訓、新聞動態(tài)信息,以達到推廣普及的效果。(3)數(shù)據(jù)開放許可服務。確保可重復驗證研究合法合規(guī)開展的前提是必須有明確的數(shù)據(jù)許可或使用協(xié)議作擔保。學術(shù)圖書館應聯(lián)合知識產(chǎn)權(quán)部門,提供數(shù)據(jù)開放許可協(xié)議的渠道和資源。普林斯頓大學圖書館科研數(shù)據(jù)管理中心強調(diào)在重用現(xiàn)有數(shù)據(jù)時必須明確獲得所有權(quán)的許可,并要求了解許可證設(shè)置的限制,以便于數(shù)據(jù)正確使用、減少數(shù)據(jù)的錯誤假設(shè)導致無效分析。(4)驗證平臺服務??芍貜万炞C的技術(shù)難點在于實現(xiàn)研究數(shù)據(jù)和環(huán)境的可移植性。學術(shù)圖書館應加快利用Docker、code ocean、GitHub等可重復性云計算平臺構(gòu)筑一站式在線數(shù)據(jù)驗證和實習空間,方面科研人員將研究產(chǎn)出如代碼、數(shù)據(jù)和計算執(zhí)行環(huán)境、配置信息等打包到一個“膠囊”中并提供DOI,使多方主體都能實現(xiàn)獲取并直接開啟驗證。同時,圍繞平臺建立配套的教育課程,邀請專業(yè)人員定期組織培訓教學。

    5 結(jié)語

    解決可重復危機問題刻不容緩。學術(shù)圖書館以科研數(shù)據(jù)管理基礎(chǔ)與服務職能優(yōu)勢自然成為應對危機的有力支持者?;跀?shù)據(jù)生命周期視角解構(gòu)危機并建立全新服務框架,既為新形勢下數(shù)據(jù)管理服務轉(zhuǎn)型提供新思路,也體現(xiàn)出學術(shù)圖書館在順應變革中推動科研進步的應有之義。

    參考文獻:

    NationalAcademies| R&R.pdf [EB/OL].[2023-03-18].https://nap.nationalacademies.org/resource/25303/R&R.pdf.

    BAKER M. 1,500 scientists lift the lid on reproducibility[J]. Nature:International weekly journal of science, 2016, 533(7604): 452-455.

    IOANNIDIS J P A. Why most published research findings are false[J]. PLoS medicine, 2005,2(8): 696-701.

    FANELLI D. Is science really facing a reproducibility?crisis, and do we need it to?[J]. Proceedings of the National Academy of Sciences, 2018, 115(11): 2628-2631.

    OSF | Reproducibility Project: Psychology[EB/OL].[2023-03-10].https://osf.io/ezcuj/.

    SAYRE F, RIEGELMAN A. The reproducibility crisis and academic libraries[J]. College and Research Libraries, 2018, 79(1): 2-9.

    STODDEN V, BORWEIN J, BAILEY D H. Setting the default to reproducible[J]. Computational science research. SIAM News, 2013, 46(5): 4-6.

    EPSKAMP S. Reproducibility and replicability in a fast-paced methodological world[J]. Advances in Methods and Practices in Psychological Science, 2019, 2(2): 145-155.

    LARAWAY S, SNYCERSKI S, PRADHAN S, et al. An overview of scientific reproducibility: consideration of relevant issues for behavior science/analysis[J]. Perspectives on Behavior Science, 2019, 42: 33-57.

    SAMUEL S, K?NIG-RIES B. Understanding experiments and research practices for reproducibility: an exploratory study[J]. PeerJ, 2021, 9: e11140.

    黃鑫,鄧仲華.國外高校學術(shù)圖書館科學數(shù)據(jù)的元數(shù)據(jù)服務研究[J].圖書與情報,2017(2):84-90.

    LINDSEY M L, BOLLI R, CANTY Jr J M, et al. Guidelines for experimental models of myocardial ischemia and infarction[J]. American Journal of Physiology-Heart and Circulatory Physiology, 2018, 314(4): 812-838.

    ALSHEIKH-ALI A A, QURESHI W, AL-MALLAH M H, et al. Public availability of published research data in high-impact journals[J]. PLOS ONE, 2011, 6(9): 1-4.

    劉佳,霍涌泉,陳文博,等.心理學研究的可重復性“危機”:一些積極應對策略[J].心理學探新,2018,38(1):86-90.

    MUNAF? M. Open science and research reproducibility[J]. ecancermedicalscience, 2016, 10.

    張力為,彭凡.體育科學如何應對可重復性危機?[J].體育學研究,2021,35(6):1-11.

    Scientific reproducibility, data management, and inspiration [EB/OL].[2023-03-03].https://www.lib.uchicago.edu/about/news/scientific-reproducibility-data-management-and-inspiration.

    ALSTON J M, RICK J A. A beginners guide to conducting reproducible research[J]. Bulletin of the Ecological Society of America, 2021,102(2): 1-14.

    The FAIR data principles[EB/OL].[2022-03-21].https://www.ands.org.au/working-with-data/fairdata.

    孔祥輝 錦州醫(yī)科大學圖書館館員。 遼寧錦州,121000。

    王乙竹 錦州醫(yī)科大學人文與健康管理學院講師。遼寧錦州,121000。

    (收稿日期:2022-12-29 編校:陳安琪,謝艷秋)

    猜你喜歡
    數(shù)據(jù)管理
    基于大數(shù)據(jù)管理的管道智慧檢驗系統(tǒng)的研發(fā)及應用
    企業(yè)級BOM數(shù)據(jù)管理概要
    定制化汽車制造的數(shù)據(jù)管理分析
    海洋環(huán)境數(shù)據(jù)管理優(yōu)化與實踐
    CTCS-2級報文數(shù)據(jù)管理需求分析和實現(xiàn)
    土地權(quán)屬調(diào)查的方法及數(shù)據(jù)管理
    自然資源一體化數(shù)據(jù)管理與服務平臺關(guān)鍵技術(shù)研究與應用
    列控數(shù)據(jù)管理平臺的開發(fā)
    一種嵌入式控制系統(tǒng)的高容錯小型數(shù)據(jù)管理方法
    電子測試(2018年6期)2018-05-09 07:31:49
    基于數(shù)據(jù)管理的綠通車輛規(guī)范化應用
    午夜精品国产一区二区电影 | 尾随美女入室| 九九爱精品视频在线观看| 99久久精品国产国产毛片| 青青草视频在线视频观看| 免费av毛片视频| 亚洲乱码一区二区免费版| 日韩欧美 国产精品| 2022亚洲国产成人精品| 免费av观看视频| 极品教师在线视频| 日本欧美国产在线视频| 国产视频首页在线观看| 少妇人妻一区二区三区视频| 91久久精品电影网| 国产熟女欧美一区二区| 亚洲av中文字字幕乱码综合| 亚洲久久久久久中文字幕| 特大巨黑吊av在线直播| 天堂俺去俺来也www色官网 | 高清在线视频一区二区三区| 国产美女午夜福利| 亚洲精品影视一区二区三区av| 久久99热这里只频精品6学生| 成人漫画全彩无遮挡| 国产视频首页在线观看| 日韩精品有码人妻一区| 亚洲欧美一区二区三区黑人 | 六月丁香七月| av一本久久久久| 久久久久久久久大av| 亚洲av国产av综合av卡| 人体艺术视频欧美日本| 91精品一卡2卡3卡4卡| 中文在线观看免费www的网站| 啦啦啦啦在线视频资源| 精品欧美国产一区二区三| 日日干狠狠操夜夜爽| 爱豆传媒免费全集在线观看| 人人妻人人澡欧美一区二区| 亚洲欧美精品自产自拍| 人人妻人人澡人人爽人人夜夜 | 亚洲电影在线观看av| www.av在线官网国产| 免费av观看视频| 国产免费又黄又爽又色| 亚洲三级黄色毛片| 蜜桃亚洲精品一区二区三区| 亚洲国产色片| 久久99热这里只频精品6学生| 午夜老司机福利剧场| 在现免费观看毛片| 丰满少妇做爰视频| 精品一区二区三区视频在线| 精品欧美国产一区二区三| 亚洲最大成人手机在线| 乱系列少妇在线播放| 亚洲国产精品成人久久小说| 乱系列少妇在线播放| 一级二级三级毛片免费看| 久久久久久久久久黄片| 两个人的视频大全免费| 中文字幕av成人在线电影| 天堂中文最新版在线下载 | 免费黄网站久久成人精品| 真实男女啪啪啪动态图| 精品人妻一区二区三区麻豆| 欧美成人精品欧美一级黄| 国产精品伦人一区二区| 97精品久久久久久久久久精品| a级毛色黄片| 国产亚洲一区二区精品| 欧美丝袜亚洲另类| 亚洲欧美一区二区三区国产| 在线 av 中文字幕| 麻豆国产97在线/欧美| 最新中文字幕久久久久| 91av网一区二区| av免费观看日本| 中文天堂在线官网| 国产老妇女一区| 国产毛片a区久久久久| 在线播放无遮挡| 成年女人在线观看亚洲视频 | 免费黄色在线免费观看| 99久国产av精品国产电影| 国产成人a∨麻豆精品| 国产精品女同一区二区软件| 国产成人福利小说| 我的女老师完整版在线观看| 街头女战士在线观看网站| 亚洲av国产av综合av卡| 亚洲激情五月婷婷啪啪| 一区二区三区高清视频在线| 亚洲精品视频女| 久久综合国产亚洲精品| 国产精品三级大全| 我要看日韩黄色一级片| av在线天堂中文字幕| 免费看美女性在线毛片视频| 国产黄色小视频在线观看| 亚洲精品久久午夜乱码| 91久久精品国产一区二区成人| 午夜福利视频精品| 最后的刺客免费高清国语| 日本一二三区视频观看| 大香蕉97超碰在线| 春色校园在线视频观看| 禁无遮挡网站| 在线免费十八禁| 人妻少妇偷人精品九色| 亚洲人成网站在线播| av在线老鸭窝| 日韩视频在线欧美| 免费人成在线观看视频色| 极品少妇高潮喷水抽搐| 成人美女网站在线观看视频| 日韩电影二区| 亚洲欧美成人精品一区二区| 久久久久久久久久久免费av| 欧美日韩一区二区视频在线观看视频在线 | 久久99热这里只有精品18| 亚洲欧洲日产国产| 成人午夜高清在线视频| 国产人妻一区二区三区在| 欧美高清性xxxxhd video| 久久这里有精品视频免费| 国产一区二区三区综合在线观看 | 97人妻精品一区二区三区麻豆| 国产欧美另类精品又又久久亚洲欧美| 日韩大片免费观看网站| 麻豆国产97在线/欧美| 深爱激情五月婷婷| 日韩av在线大香蕉| 麻豆成人午夜福利视频| 亚洲精品中文字幕在线视频 | 麻豆乱淫一区二区| 精品99又大又爽又粗少妇毛片| 黄色欧美视频在线观看| 精品少妇黑人巨大在线播放| 天堂中文最新版在线下载 | 在线播放无遮挡| 久久久久久久久久久免费av| 午夜福利网站1000一区二区三区| 97人妻精品一区二区三区麻豆| 2018国产大陆天天弄谢| 在线观看免费高清a一片| 乱系列少妇在线播放| 亚洲精品国产av蜜桃| 久久久久久久久中文| 在线天堂最新版资源| 五月伊人婷婷丁香| 黑人高潮一二区| 丝袜美腿在线中文| 欧美xxxx性猛交bbbb| 精品人妻一区二区三区麻豆| 91精品一卡2卡3卡4卡| 最近中文字幕2019免费版| av免费观看日本| 激情五月婷婷亚洲| 国产精品久久视频播放| 乱系列少妇在线播放| 欧美高清性xxxxhd video| 99久久精品一区二区三区| 欧美最新免费一区二区三区| 久久99蜜桃精品久久| 午夜激情久久久久久久| av卡一久久| 三级毛片av免费| 丝袜喷水一区| 国产精品不卡视频一区二区| www.av在线官网国产| 午夜福利在线在线| 亚洲一级一片aⅴ在线观看| 国产黄片视频在线免费观看| 免费观看的影片在线观看| 亚洲成人一二三区av| 成人综合一区亚洲| 色综合色国产| 亚洲精品亚洲一区二区| 少妇被粗大猛烈的视频| 国产黄a三级三级三级人| 国模一区二区三区四区视频| 最近的中文字幕免费完整| 精品亚洲乱码少妇综合久久| 亚洲精华国产精华液的使用体验| 精品国产露脸久久av麻豆 | 免费大片18禁| 一区二区三区乱码不卡18| 又爽又黄无遮挡网站| 亚洲欧美成人精品一区二区| 亚洲精品aⅴ在线观看| 日韩欧美三级三区| 一本久久精品| 亚洲精品国产av蜜桃| 欧美激情久久久久久爽电影| 黄片无遮挡物在线观看| 久久精品国产亚洲网站| 如何舔出高潮| 国产精品99久久久久久久久| 亚洲av国产av综合av卡| 久久久久久国产a免费观看| 高清欧美精品videossex| 国产91av在线免费观看| 日韩成人伦理影院| 欧美精品一区二区大全| 国产精品国产三级国产av玫瑰| 久久97久久精品| 欧美zozozo另类| 韩国高清视频一区二区三区| 成年女人在线观看亚洲视频 | 熟妇人妻久久中文字幕3abv| 天天躁夜夜躁狠狠久久av| 亚洲av成人精品一二三区| 69av精品久久久久久| 国产乱来视频区| 日韩电影二区| 99视频精品全部免费 在线| 少妇人妻一区二区三区视频| 一边亲一边摸免费视频| 久久久色成人| 天堂网av新在线| av福利片在线观看| 最新中文字幕久久久久| 超碰av人人做人人爽久久| 三级毛片av免费| 成人综合一区亚洲| 人妻制服诱惑在线中文字幕| 亚洲国产精品sss在线观看| 国产精品日韩av在线免费观看| 春色校园在线视频观看| 极品少妇高潮喷水抽搐| 国产黄片美女视频| 99久久精品热视频| 亚洲aⅴ乱码一区二区在线播放| 91精品国产九色| 人妻制服诱惑在线中文字幕| 久久精品人妻少妇| 日本猛色少妇xxxxx猛交久久| 国产在视频线精品| 欧美日韩亚洲高清精品| 欧美日本视频| 麻豆久久精品国产亚洲av| 亚洲av成人av| 国产老妇伦熟女老妇高清| 免费黄网站久久成人精品| 麻豆成人av视频| 国产三级在线视频| av在线天堂中文字幕| a级毛色黄片| 赤兔流量卡办理| 永久网站在线| 色吧在线观看| 午夜老司机福利剧场| 别揉我奶头 嗯啊视频| 岛国毛片在线播放| 久久精品国产自在天天线| 在线观看美女被高潮喷水网站| 97精品久久久久久久久久精品| 免费少妇av软件| 免费观看av网站的网址| 日日撸夜夜添| 久久久久九九精品影院| 精品人妻一区二区三区麻豆| 网址你懂的国产日韩在线| 欧美日韩在线观看h| 美女xxoo啪啪120秒动态图| 国产乱来视频区| 在线播放无遮挡| 久久99精品国语久久久| 免费观看无遮挡的男女| 国产日韩欧美在线精品| 两个人的视频大全免费| av一本久久久久| 国产单亲对白刺激| 亚洲在久久综合| 看非洲黑人一级黄片| 国产黄色小视频在线观看| 欧美丝袜亚洲另类| 美女被艹到高潮喷水动态| 欧美xxⅹ黑人| 少妇的逼好多水| 欧美xxxx性猛交bbbb| 少妇的逼水好多| 免费看a级黄色片| 在线观看美女被高潮喷水网站| 亚洲图色成人| 边亲边吃奶的免费视频| 国产成人91sexporn| 亚洲高清免费不卡视频| 女的被弄到高潮叫床怎么办| 国产探花极品一区二区| 国产精品国产三级专区第一集| 2018国产大陆天天弄谢| 国产精品嫩草影院av在线观看| 中文在线观看免费www的网站| 夫妻性生交免费视频一级片| 草草在线视频免费看| 亚洲国产精品成人综合色| 午夜福利成人在线免费观看| 久久久久久久久久久免费av| 国产成人免费观看mmmm| 大片免费播放器 马上看| 成年免费大片在线观看| 美女被艹到高潮喷水动态| 成人毛片a级毛片在线播放| 午夜激情久久久久久久| 亚洲精品日本国产第一区| 亚洲三级黄色毛片| 1000部很黄的大片| 少妇的逼好多水| 男人和女人高潮做爰伦理| 成人美女网站在线观看视频| 肉色欧美久久久久久久蜜桃 | 中文字幕av成人在线电影| 精品午夜福利在线看| 最近手机中文字幕大全| 亚洲图色成人| 国产黄片美女视频| 亚洲国产av新网站| 少妇猛男粗大的猛烈进出视频 | 国产中年淑女户外野战色| 日韩av在线免费看完整版不卡| 少妇的逼好多水| 国产淫片久久久久久久久| 欧美一级a爱片免费观看看| 亚洲精品aⅴ在线观看| 国产精品三级大全| 午夜爱爱视频在线播放| 青春草视频在线免费观看| 国内精品美女久久久久久| 亚州av有码| 国产亚洲av嫩草精品影院| 99久久精品一区二区三区| 亚洲精品久久久久久婷婷小说| 免费看美女性在线毛片视频| 国产精品蜜桃在线观看| 国产成人freesex在线| 久久精品国产自在天天线| 国产黄色小视频在线观看| 欧美高清性xxxxhd video| 天堂中文最新版在线下载 | 1000部很黄的大片| 乱人视频在线观看| 18禁动态无遮挡网站| 夜夜看夜夜爽夜夜摸| 久久精品综合一区二区三区| 国产乱来视频区| www.av在线官网国产| 在线免费观看的www视频| 亚洲欧美中文字幕日韩二区| 国产精品人妻久久久久久| 美女大奶头视频| 69av精品久久久久久| 久久久久久久久久久丰满| 亚洲第一区二区三区不卡| 精品午夜福利在线看| 最近的中文字幕免费完整| 高清视频免费观看一区二区 | 亚洲国产精品成人久久小说| 国产成人精品一,二区| 成年版毛片免费区| freevideosex欧美| 日本av手机在线免费观看| 国产一级毛片在线| 免费av不卡在线播放| 免费av毛片视频| 在现免费观看毛片| 在线播放无遮挡| 黄片wwwwww| 久久午夜福利片| 国产免费又黄又爽又色| 天天躁夜夜躁狠狠久久av| 国产综合精华液| 高清毛片免费看| 三级国产精品欧美在线观看| 97在线视频观看| 国产视频内射| 伦精品一区二区三区| 少妇丰满av| 免费观看的影片在线观看| 成人综合一区亚洲| av在线观看视频网站免费| 日日摸夜夜添夜夜爱| 啦啦啦韩国在线观看视频| 自拍偷自拍亚洲精品老妇| 97热精品久久久久久| 日韩一区二区视频免费看| 国产三级在线视频| 国产免费视频播放在线视频 | 少妇被粗大猛烈的视频| 亚洲高清免费不卡视频| 99久久精品一区二区三区| 日韩中字成人| 亚洲高清免费不卡视频| 丝袜喷水一区| 中文字幕av成人在线电影| 99九九线精品视频在线观看视频| 免费看日本二区| 欧美最新免费一区二区三区| 一级片'在线观看视频| 51国产日韩欧美| 免费人成在线观看视频色| 哪个播放器可以免费观看大片| 老司机影院成人| 久久精品国产亚洲av涩爱| www.色视频.com| 熟女人妻精品中文字幕| 一个人看视频在线观看www免费| 亚洲国产av新网站| 亚洲国产精品成人久久小说| 尾随美女入室| 久久久久久久久大av| 三级毛片av免费| 免费观看在线日韩| 久久99热这里只频精品6学生| 观看免费一级毛片| 久久久久久九九精品二区国产| 美女xxoo啪啪120秒动态图| 色尼玛亚洲综合影院| 男的添女的下面高潮视频| 青青草视频在线视频观看| 国产在视频线在精品| 天天躁夜夜躁狠狠久久av| 啦啦啦中文免费视频观看日本| 免费黄频网站在线观看国产| 街头女战士在线观看网站| 国产淫片久久久久久久久| 大香蕉久久网| 九色成人免费人妻av| 女的被弄到高潮叫床怎么办| 免费观看av网站的网址| 午夜亚洲福利在线播放| 免费观看精品视频网站| 日本午夜av视频| 精品欧美国产一区二区三| 久久鲁丝午夜福利片| 国产亚洲午夜精品一区二区久久 | 午夜免费激情av| 欧美日本视频| 久久久成人免费电影| 国产人妻一区二区三区在| 亚洲在久久综合| 国产精品一及| 少妇熟女欧美另类| 欧美日韩综合久久久久久| 高清日韩中文字幕在线| av女优亚洲男人天堂| 亚洲欧美日韩东京热| 免费av毛片视频| a级毛色黄片| 国产精品久久久久久久电影| 国产精品女同一区二区软件| 国产色爽女视频免费观看| 免费看a级黄色片| 国产在视频线精品| 国产伦在线观看视频一区| 爱豆传媒免费全集在线观看| 男人狂女人下面高潮的视频| av网站免费在线观看视频 | 97精品久久久久久久久久精品| 欧美bdsm另类| 亚洲国产最新在线播放| 成人午夜精彩视频在线观看| 久久精品夜夜夜夜夜久久蜜豆| 乱系列少妇在线播放| 国产黄片美女视频| 狂野欧美激情性xxxx在线观看| 中文在线观看免费www的网站| 人人妻人人澡欧美一区二区| 高清欧美精品videossex| 国产精品一区二区三区四区免费观看| 有码 亚洲区| 精品亚洲乱码少妇综合久久| av在线观看视频网站免费| 国产亚洲av嫩草精品影院| .国产精品久久| 卡戴珊不雅视频在线播放| 内射极品少妇av片p| 亚洲熟妇中文字幕五十中出| 午夜精品国产一区二区电影 | 99热这里只有是精品50| 日本与韩国留学比较| 国产老妇伦熟女老妇高清| 人人妻人人澡人人爽人人夜夜 | 亚洲人与动物交配视频| 国产精品一区二区在线观看99 | 三级毛片av免费| 你懂的网址亚洲精品在线观看| 国产黄片视频在线免费观看| 日韩欧美一区视频在线观看 | 国产av不卡久久| 内地一区二区视频在线| 2021天堂中文幕一二区在线观| 老司机影院成人| 亚洲成人av在线免费| 天美传媒精品一区二区| 小蜜桃在线观看免费完整版高清| 一本—道久久a久久精品蜜桃钙片 精品乱码久久久久久99久播 | 国产精品三级大全| 日韩欧美国产在线观看| 精华霜和精华液先用哪个| 亚洲成人久久爱视频| 国产精品一区二区三区四区免费观看| 久久久精品94久久精品| 真实男女啪啪啪动态图| 国内揄拍国产精品人妻在线| 韩国高清视频一区二区三区| 国产精品一区二区性色av| av国产久精品久网站免费入址| 伊人久久精品亚洲午夜| 国产高清国产精品国产三级 | 亚洲18禁久久av| 久久久久久久久久久丰满| 少妇丰满av| 亚洲久久久久久中文字幕| 欧美日韩精品成人综合77777| 国产69精品久久久久777片| 午夜福利网站1000一区二区三区| 丰满少妇做爰视频| 岛国毛片在线播放| 日日干狠狠操夜夜爽| 亚洲欧美日韩东京热| 观看美女的网站| 色5月婷婷丁香| 欧美日韩视频高清一区二区三区二| 波多野结衣巨乳人妻| 2018国产大陆天天弄谢| 国产免费又黄又爽又色| 国产精品国产三级国产av玫瑰| 99久久人妻综合| 亚洲欧洲国产日韩| 精品99又大又爽又粗少妇毛片| 亚洲自拍偷在线| 91精品国产九色| 久久国产乱子免费精品| 午夜激情福利司机影院| 国产精品综合久久久久久久免费| 亚洲国产色片| 午夜福利网站1000一区二区三区| 久久久久网色| 国产高潮美女av| 精品一区二区三区视频在线| 国产精品一区二区性色av| 国产亚洲精品久久久com| 国产精品久久久久久久电影| 午夜免费激情av| 国产精品1区2区在线观看.| 91久久精品国产一区二区成人| 亚洲经典国产精华液单| 成人午夜高清在线视频| 国产成人精品福利久久| 亚洲欧美日韩卡通动漫| 国产精品一区二区三区四区免费观看| 欧美日韩视频高清一区二区三区二| 中国美白少妇内射xxxbb| a级毛片免费高清观看在线播放| 国产伦精品一区二区三区四那| 午夜激情久久久久久久| 亚洲在线观看片| 2018国产大陆天天弄谢| av专区在线播放| 成人特级av手机在线观看| 国产成人午夜福利电影在线观看| 久久精品综合一区二区三区| 小蜜桃在线观看免费完整版高清| 舔av片在线| 国产成人一区二区在线| 欧美一区二区亚洲| 国产探花极品一区二区| 国产高清有码在线观看视频| 免费看光身美女| 亚洲精品久久午夜乱码| 黄色配什么色好看| 日韩av在线大香蕉| 精品国产露脸久久av麻豆 | 午夜福利成人在线免费观看| 男人舔女人下体高潮全视频| 中文字幕亚洲精品专区| 亚洲av成人精品一二三区| 又爽又黄a免费视频| av免费在线看不卡| 亚洲天堂国产精品一区在线| 免费不卡的大黄色大毛片视频在线观看 | 亚洲精华国产精华液的使用体验| 日韩强制内射视频| 麻豆成人av视频| 最近中文字幕高清免费大全6| 国产精品一区二区三区四区免费观看| 性插视频无遮挡在线免费观看| 精品不卡国产一区二区三区| 国产精品嫩草影院av在线观看| 汤姆久久久久久久影院中文字幕 | 男女那种视频在线观看| 国产精品一区二区三区四区久久| 一级毛片aaaaaa免费看小| 色哟哟·www| 亚洲精品一二三| 国产黄色小视频在线观看| 黄色配什么色好看| 毛片一级片免费看久久久久| 99视频精品全部免费 在线| 一本一本综合久久| 在线观看av片永久免费下载| 天堂俺去俺来也www色官网 | 综合色丁香网| 三级经典国产精品| 毛片女人毛片| 亚洲精品视频女| 亚洲精品456在线播放app| 久久这里只有精品中国| 久久久久久久亚洲中文字幕| 精品一区在线观看国产| 国产伦在线观看视频一区| 免费观看无遮挡的男女|