• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    開放科學的應用現(xiàn)狀及其對中國傳播學的借鑒意義

    2024-11-28 00:00:00徐敬宏
    人民論壇·學術前沿 2024年20期

    【摘要】開放科學已成為提升傳播學研究質(zhì)量的重要手段。自2015年起,西方傳播學領域便開始探索開放科學的多種實踐路徑,經(jīng)過近十年的發(fā)展已取得顯著進展。與此同時,中國在開放科學的應用上仍處于起步階段,缺乏成熟的經(jīng)驗和體系。通過分析西方傳播學如何運用預注冊研究、分享研究材料與方法、實施開放科學徽章、鼓勵復制性研究和推廣透明度及開放性指南等措施,來增強研究的透明度與復制性,提高公眾對科學研究的信任度,可以為開放科學于中國傳播學應用的創(chuàng)新實踐提供重要借鑒,推動國內(nèi)傳播學高質(zhì)量研究與應用。

    【關鍵詞】開放科學 開放傳播學 研究透明性 復制性研究

    【中圖分類號】G206 【文獻標識碼】A

    【DOI】10.16619/j.cnki.rmltxsqy.2024.20.010

    引言

    早在2015年,西方傳播學就開始了對開放科學的探索,當時Communication Methods and Measures出版了以開放科學為主題的專輯,掀起了關于“傳播學中存在的可疑研究和出版實踐”的思考。2021年,國際傳播學會(ICA)的旗艦刊物Journal of Communication以“開放傳播學研究”為主題出版特刊,其中33位知名傳播學研究者聯(lián)合署名,發(fā)表了名為《傳播學領域的開放科學議程》的論文,引發(fā)了傳播學學界的軒然大波。時至今日,一系列傳播學權威期刊針對開放科學進行了??接?,包括Digital Journalism、Media and Communication、Communication Research Reports等,呼吁“開放傳播學”的實踐,倡導實現(xiàn)傳播學研究在多個環(huán)節(jié)的開放,包括預注冊、開放數(shù)據(jù)等。

    經(jīng)過近十年的研究積累,西方傳播學逐漸形成了一系列促進開放科學融入傳播學實踐的方案。開放科學在國際層面的發(fā)展顯示了其逐漸成為科學研究與學術出版行業(yè)創(chuàng)新的重要方向和手段。從早期的“三大宣言”(即2002年的《布達佩斯開放獲取倡議》、2003年的《貝塞斯達開放獲取出版聲明》以及《關于科學與人文知識開放獲取的柏林聲明》)開始,開放科學就強調(diào)了學術出版物作為公共資源的共享屬性,提出的開放獲取模式被學術研究領域和傳播領域廣泛采納。此外,由開放科學中心(Center for Open Science, COS)開發(fā)的開放科學框架(Open Science Framework, OSF)的推出,進一步促進了研究過程的透明性和可追溯性,支持研究者在研究的各個階段進行開放和中心化的協(xié)作。2021年,聯(lián)合國教科文組織(UNESCO)發(fā)布了《開放科學建議書》,不僅標志著國際社會對開放科學核心原則和實踐的廣泛認可,也為全球開放科學政策和實踐提供了一個國際框架。由此,開放科學逐漸成為推動科學進步、增強學術研究透明度和公眾參與的關鍵工具。

    目前,我國傳播學對于開放科學的探索尚處于萌芽階段,缺乏開展開放科學的理論背書和實踐經(jīng)驗。近些年的相關研究表明,中國在開放科學理論與實踐領域面臨著諸如公眾對開放共享的認識不足、數(shù)據(jù)共享的界限不清晰、缺乏數(shù)據(jù)管理的規(guī)范化以及激勵機制不完善等挑戰(zhàn)。[1]為此,詳細梳理西方傳播學通過預注冊研究、分享研究材料和方法、實施開放科學徽章、鼓勵復制性研究以及推廣透明度和開放性指南等措施,能夠增強研究者對開放科學的理解、促進傳播學的學科創(chuàng)新發(fā)展,對開放科學在我國傳播學領域的應用具有借鑒意義。

    對研究進行預注冊

    預注冊。預注冊是開放科學中的一個重要概念,旨在提高研究的透明度和可靠性。根據(jù)Nosek等人的定義,預注冊(Preregistration)是指在數(shù)據(jù)收集或數(shù)據(jù)分析開始之前,將假設、研究設計和分析計劃明確地記載在官方的登記處的過程。[2]2013年,Nosek和Spies等學者建立了開放科學中心(Center for Open Science)網(wǎng)站(網(wǎng)址為https://osf.io/),提供免費服務。開放科學中心在2020年提出了一個全面的指南,不僅便于預注冊(網(wǎng)址為https://osf.io/jea94/),還便于存儲和共享數(shù)據(jù)、代碼及其他研究材料。在一些垂直細分的研究領域,研究者也開發(fā)了適合自身所在學科的預注冊規(guī)范。

    預注冊包含以下幾個步驟:一是明確研究假設和目標。在預注冊之前,研究者需要明確他們的研究假設和目標,包括詳細描述研究問題和概述預期的研究發(fā)現(xiàn)。二是詳細描述研究設計。研究設計應包括進行問卷調(diào)查或?qū)嶒灥姆椒ǎ鐦颖具x擇、實驗設置和數(shù)據(jù)收集方法等。三是制定數(shù)據(jù)分析計劃。這一步驟要求研究者詳細說明他們將如何分析數(shù)據(jù),包括使用的統(tǒng)計方法和數(shù)據(jù)處理的過程。四是計算樣本量和功效。為了防止樣本量過小導致低功效統(tǒng)計,研究者應事先進行功效分析,從而確定所需的樣本量。五是上傳預注冊文件。研究者將上述所有信息匯編成文檔,并在AsPredicted[3]或OSF[4]等官方平臺上進行注冊。六是對預注冊文件進行設置。一旦完成注冊,平臺將保存研究計劃,提供時間戳證明,研究計劃將不可以更改。研究者可以設置在一段時間后公開預注冊信息或者立即公開,也可以將預注冊鏈接到即將發(fā)表的論文上,以便讀者比較研究計劃和實際進行的研究之間的異同。

    預注冊對于提升我國傳播學研究質(zhì)量具有重要借鑒意義。首先,預注冊有助于防止“Harking”(Hypothesizing after the Results are Known,即在已知結(jié)果后提出假設)和“P-Hacking”(通過選擇性地報告數(shù)據(jù)或分析達到顯著性水平的不當操作)?!癏ARKing”和“P-hacking”這些行為可能會帶來虛假的研究結(jié)果,而預注冊通過事先確定研究步驟和分析方法來減少這種可能性。例如,Schafer和Schwarz從過去沒有預注冊的出版物中隨機抽取了900個效應,并與93個來自預注冊出版物的效應進行了比較,結(jié)果顯示預注冊研究的效應值(r=.16)不到未預注冊研究(r=.36)的一半,這表明預注冊可以有效降低“假陽性”的風險。[5]其次,預注冊不會妨礙研究人員進行后續(xù)的探索性數(shù)據(jù)分析,但要求研究者明確區(qū)分驗證性分析和探索性分析。探索性分析對于科學的進步至關重要,它們不應該被偽裝成驗證性分析,而應該被放在研究報告更顯眼的位置,預注冊有助于提高研究的透明度,使其他研究人員能夠更清楚地理解研究的設計和分析方法。最后,預注冊還可以提高研究的可復制性。通過公開詳細的研究計劃,其他研究人員可以更準確地復制研究,從而驗證研究結(jié)果的可靠性。

    預注冊報告。和預注冊緊密相關的一個概念是預注冊報告(Registered Reports)。預注冊報告的核心思想是在研究開始之前,對研究設計、方法和分析計劃進行同行評議,審稿人根據(jù)研究問題和研究設計的優(yōu)缺點來評估手稿,而不是基于研究結(jié)果。預注冊報告可以被看作預注冊的邏輯延伸,區(qū)別在于預注冊報告將同行評議的過程提前到開展研究之前。

    預注冊報告一般包含兩個階段:在第一階段,研究者提交一份包含引言、方法、樣本大小等信息的提案,然后評審人員評估這個研究提案的優(yōu)缺點。如果評審通過,研究者的論文將獲得“原則上的接受”,這意味著只要按照提案指定的方式進行,無論結(jié)果如何,論文都保證會被發(fā)表。在獲得“原則上的接受”后,研究者按照預注冊的計劃進行數(shù)據(jù)收集和研究。在第二階段,研究者提交完整的論文初稿,包括他們預注冊的分析計劃的結(jié)果、探索性結(jié)果和對發(fā)現(xiàn)的討論,任何偏離預注冊的內(nèi)容都需要進行解釋。在第二輪同行評審中,評審人員評估這項研究是否符合原本的計劃,并提供反饋。

    預注冊報告將同行評審的步驟提前的措施方法,對我們傳播學研究具有以下借鑒意義:首先,改進研究設計。預注冊報告在研究進行之前就提供了同行評議,與傳統(tǒng)的模式相比,在研究實施前評審人員可以提出建議來強化研究方法、提升研究質(zhì)量,從而避免潛在的設計缺陷。其次,消除發(fā)表偏見。由于預注冊報告采用“原則性接受”政策,其發(fā)表與否不依賴于研究結(jié)果。這意味著無論研究結(jié)果是正面還是負面,只要研究按照預先批準的計劃進行,就有可能被發(fā)表。這樣可以消除對非顯著結(jié)果的發(fā)表偏見,使得研究結(jié)果更加真實可靠。再次,鼓勵探索性研究。預注冊報告不僅可以用于驗證性研究,而且支持探索性研究,使研究者能夠自由地追求新的科學發(fā)現(xiàn),而不必擔心這些發(fā)現(xiàn)是否符合傳統(tǒng)的“顯著性”標準。最后,提高科學研究的透明度和可復制性。預注冊報告在研究開始之前明確研究設計和分析計劃,增加了科學研究的透明度,有助于其他研究者重復和驗證研究結(jié)果。

    分享研究材料、數(shù)據(jù)和方法

    分享的注意事項。在滿足倫理和道德要求的情況下,應該鼓勵研究人員分享研究過程中產(chǎn)生的各類信息,這些信息包括研究材料(問卷題目、實驗刺激材料、實驗協(xié)議、實驗指導、內(nèi)容分析的編碼表、元分析的編碼表等)、研究數(shù)據(jù)(原始數(shù)據(jù)、聚合數(shù)據(jù)、處理數(shù)據(jù)或合成數(shù)據(jù)等)和研究方法(實驗的操作和模擬環(huán)境、內(nèi)容編碼工具、網(wǎng)絡爬蟲工具、應用程序等)。對此,我國傳播學研究者在分享研究材料、研究數(shù)據(jù)和研究方法的時候需要注意以下事項。[6]

    研究材料有多種類型,在簡單的研究中,材料可能是問卷的題項或手動呈現(xiàn)給參與者的實驗刺激(視頻、圖像、聲音等);在稍微復雜一些的研究中,研究材料可能包括復雜的視頻刺激、與參與者交互的計算機程序或者用于呈現(xiàn)刺激和收集響應的計算機代碼。一些與人相關的實驗研究還涉及知情同意材料。分享這些研究材料對于研究結(jié)果的解釋和其他研究者進行復制研究都是有價值的。同時,讀者或?qū)徃迦诉€可以通過實驗材料對特定現(xiàn)象或范式進行細致的洞察。

    分享數(shù)據(jù)是透明和開放的關鍵,研究人員必須決定分享哪些數(shù)據(jù)?!霸紨?shù)據(jù)”是由軟件(如問卷平臺)、實驗者、攝像機或其他儀器等記錄的初始數(shù)據(jù),這類數(shù)據(jù)可能含有或能夠識別個人信息,因而分享此類數(shù)據(jù)具有較高的隱私風險。對此,一些情況下可以對這類數(shù)據(jù)進行匿名化處理,而另一些情況下進行匿名化處理則非常困難,例如對視頻數(shù)據(jù)。但是對于大部分文本數(shù)據(jù)而言,可以用表格的形式對數(shù)據(jù)進行匿名化統(tǒng)計分析。這些數(shù)據(jù)的存儲格式應該是常見的、通用的格式(如帶有逗號分隔的txt或者csv),而不需要依賴某一特定軟件才可以讀取和編輯,理想情況下,研究者不僅分享原始數(shù)據(jù),還一同分享在處理數(shù)據(jù)過程中生成的腳本,以確保數(shù)據(jù)分析過程的公開透明。

    研究方法是一份詳細的書面說明,其中包括假設、方法和分析方案等信息。對于相對簡單的研究,可以在研究報告的正文中包含所有這些信息,或者可以創(chuàng)建一個單獨的說明文件,并在報告正文中提供更高層次的總結(jié)。對于某些實驗程序,為了使讀者更好理解,可以拍攝指導性的視頻素材。總之,研究方案可以被視為文字表達層次,其匯集和描述了具體的研究產(chǎn)品,如材料、軟件和分析代碼等,并告知讀者在研究中如何應用。無論采用哪種方式,研究方案都需要具備足夠的細節(jié),這樣其他研究者可以在無原作者幫助的情況下復制前人的研究。

    遵循“FAIR”數(shù)據(jù)原則。在分享研究材料、數(shù)據(jù)和方法時,需要遵循一定的標準原則。目前比較流行的是“FAIR”數(shù)據(jù)原則,該原則由Wilkinson等在2016年提出,目前被引用量已經(jīng)破萬,成為公認的數(shù)據(jù)分享準則?!癋AIR”數(shù)據(jù)原則遵循可查找性(Findability)、可獲得性(Accessibility)、互操作性(Interoperability)和可重用性(Reusability)。表1羅列了Wilkinson等提出的“FAIR”數(shù)據(jù)原則的內(nèi)容。[7]

    分享研究材料、數(shù)據(jù)和方法對我國傳播學研究具有重要意義:第一,可以增強研究的透明度和信任度。分享研究數(shù)據(jù)、材料和方法有助于提高研究過程的透明度,這種透明度對于在科學界、政策制定者和公眾之間建立信任至關重要。研究者開放其數(shù)據(jù)和材料是他們積極參與開放科學實踐的重要環(huán)節(jié),這種開放性可以增加研究發(fā)現(xiàn)的可信度。第二,方便進行元分析和系統(tǒng)性綜述研究。通過分享數(shù)據(jù)、材料和方法,研究人員可以獲得必要的數(shù)據(jù)細節(jié),以便對前人的研究進行元分析和系統(tǒng)性評價。同時,研究者可以總結(jié)某一領域的研究趨勢、概括前人的研究發(fā)現(xiàn),有助于研究者得出更加穩(wěn)健的結(jié)論,更好地理解某一領域。第三,可以減少重復勞動,促進跨學科合作。不同領域的研究人員可以利用共享材料,而無需自己重新收集,這不僅節(jié)省了時間和資源,避免了重復努力,減少了科研成本,而且為更廣泛的研究群體參與科學對話提供了便利,并為潛在科研方向帶來新的視角、批評和對研究方法論與理論的改進。此外,后續(xù)研究者也可以在前人的基礎上應用新視角或新方法,加快科研創(chuàng)新進程。第四,豐富教學和培訓資料。從教育的視角來看,共享研究材料無疑是無價之寶,這些材料為學生和研究人員提供了進行學習和分析的真實例子與數(shù)據(jù)集,增強了教育體驗,促進了實踐技能的培養(yǎng)。第五,有助于數(shù)據(jù)的長期保存,增強數(shù)據(jù)的可訪問性,提高研究的影響力和可見性。對研究數(shù)據(jù)、材料和方法進行分享和歸檔確保了它們能被長期保存和訪問。對于罕見或獨特的數(shù)據(jù)集而言,這一實踐尤為重要,一旦這些數(shù)據(jù)丟失,就很難重建。此外,分享科研數(shù)據(jù)還可以增加研究的可見性,使研究成果獲得更多引用,提升研究者的專業(yè)形象和影響力。第六,促進公眾參與和支持。分享研究數(shù)據(jù)、材料和方法可以彌合學術界與公眾之間的信息和知識鴻溝,從業(yè)者、政策制定者和其他利益相關者可以直接獲取公開的數(shù)據(jù),直接將其應用在相應的領域中,從而增加研究的社會影響;同時,這種做法不僅惠及科學界,而且促進了知情決策和公眾參與,有助于培養(yǎng)公眾對研究者的信任,使開放科學應用更迅速、更廣泛。

    頒發(fā)開放科學徽章

    徽章的目的與分類。開放科學徽章(Open Science Badges)是一種旨在提升科學透明度的方法,最初是為了鼓勵科學研究中的開放實踐而設計的。開放科學徽章的引入始于2014年,最早由心理學權威刊物Psychological Science(2023年影響因子4.8)采用。開放科學徽章被用來標記和表彰公開數(shù)據(jù)、公開材料,或已經(jīng)預先注冊的研究。

    不同類型的開放科學徽章都需具備特定的申請條件。以Wiley數(shù)據(jù)庫為例,其規(guī)定了三種類型的開放科學徽章,分別代表作者實施了不同的開放科學實踐。[8]一是開放數(shù)據(jù)徽章(Open Data Badge):這個徽章表示作者共享了必要的、數(shù)字化的研究數(shù)據(jù),使其他研究人員可以訪問和使用這些數(shù)據(jù)。對于危及保密性或參與者匿名性的數(shù)據(jù),并不在開放數(shù)據(jù)的規(guī)范之內(nèi),這類數(shù)據(jù)也不會被授予開放數(shù)據(jù)徽章。二是開放材料徽章(Open Materials Badge):開放材料徽章表示作者提供了他們研究中使用的材料,如實驗設計、問卷或測量工具等,這些材料是寫作方法論的組成部分,也是復現(xiàn)所需的重要材料。任何無法數(shù)字共享的組件都必須詳細描述,以便其他研究者理解如何復現(xiàn)論文的程序,以及材料與方法論之間的關系。三是預注冊徽章(Preregistered Badge):預注冊徽章是為擁有預注冊設計的研究而授予的,而且在可能的情況下,研究材料本身也包括在內(nèi)。這并不限制作者報告額外分析的結(jié)果,作者可以隨時向徽章中添加注釋,如“預注冊+分析計劃徽章”,該徽章還包括研究的分析計劃和報告結(jié)果。

    其他數(shù)據(jù)庫也采用了類似的開放科學徽章政策,例如,Sage數(shù)據(jù)庫旗下的傳播學期刊Communication Research同樣提供了三種類型的開放科學徽章。[9]一是開放數(shù)據(jù)徽章:要求提供用于訪問公開可用數(shù)據(jù)的URL、DOI或其他永久路徑。這些數(shù)據(jù)必須存放在一個公開的、永久性的開放存取數(shù)據(jù)庫中,且需要有足夠的信息使其他研究者能夠復現(xiàn)所有報告的結(jié)論。二是開放材料徽章:需要提供訪問研究材料的URL、DOI或其他永久路徑,這些材料同樣應存放在公開的、永久性的開放存取數(shù)據(jù)庫中,必須確保有足夠的信息供其他研究者復現(xiàn)所有報告的方法。三是預注冊徽章:要求提供訪問預注冊研究計劃的URL、DOI或其他永久路徑,數(shù)據(jù)分析計劃必須在分析數(shù)據(jù)或觀察結(jié)果之前預先注冊,并且應該詳細說明是否變更了原本的預注冊分析計劃。

    徽章的呈現(xiàn)與意義。開放科學徽章一般以可視化標志的形式在論文的檢索和內(nèi)容頁面進行展示。例如,Communication Research Reports是傳播學領域最早采納開放科學徽章的期刊之一[10],它被Taylor & Francis數(shù)據(jù)庫收錄,用戶可以訪問每期期刊目錄,如果文章申請了開放科學徽章,文章文本框的右下角就會顯示。更進一步,在文章的PDF版本中,徽章標志會出現(xiàn)在兩個地方。一個在文章的封面,徽章會出現(xiàn)在文章屬性列表中(這些屬性還包括文章瀏覽次數(shù)、相關文章鏈接和補充材料等);另一個在文章的末尾,在“參考文獻”部分上方的“開放學術”(Open Scholarship)部分,徽章會以行內(nèi)形式顯示,與頁面的左邊距對齊。通過這些方式,Communication Research Reports將開放科學徽章的存在和其意義直觀地展示給讀者和研究人員,從而表達對開放科學實踐的鼓勵和認可。這些徽章代表了文章在數(shù)據(jù)共享、研究方法的公開,或研究設計的預注冊等開放科學方面的貢獻。

    Schneide等人研究了開放科學徽章是否能影響學生、科學家和公眾對科學家的信任。他們進行了三項實驗研究,實驗對象分別為大學生(270人)、科學家(250人)和公眾(257人)。參與者被隨機分配到三種場景之一:授予開放科學徽章(表明遵守開放科學實踐),未授予開放科學徽章(表明未遵守開放科學實踐)和開放科學無徽章(對照組)。研究發(fā)現(xiàn),除了公眾樣本不顯著外,徽章對信任的影響與預期一致,即開放科學徽章是增強科學論文目標受眾對科學家信任的有效手段。[11]這表明,開放科學徽章標示出研究遵循了開放科學實踐,有助于提高目標受眾對科學家的信任。因此,徽章作為一種可視化、直接突出的標志,有助于強化科學的透明度和可信度,提升公眾對學術研究的信任度和接受度。雖然研究并未發(fā)現(xiàn)開放科學徽章在公眾樣本中具有顯著的效果,但它在學術界和教育領域的正面影響不容忽視。在科學傳播和教育中,應更多地采用和強調(diào)開放科學實踐,以提升科學研究的整體信譽和接受度。

    鼓勵復制性研究

    復制性研究的類型。Dienlin等人歸納了三種復制性研究。[12]第一種是直接復制(Direct Replications)。研究者使用與原始研究相同的操作定義和數(shù)據(jù)分析方法重新進行研究,這種復制的目的是確保原始研究的結(jié)果是可重復的,即在相同的條件下,其他研究者可以得到相同的結(jié)果。第二種是近似復制(Close Replications)。研究者雖然保持了原始研究的主要特征,但在某些方面進行了調(diào)整。例如,可能會更新刺激材料或稍微改變研究條件,以測試研究結(jié)果在略有不同的條件下是否依然成立。第三種是概念復制(Conceptual Replications)。研究者可能會重新進行部分研究或使用不同的操作定義,這種復制的目的是測試原始研究的概念或理論假設是否在不同的方法或條件下依然有效。同時,Dienlin等人也強調(diào),內(nèi)部復制(Internal Replications),即研究者復制自己的工作,并不一定能確保其他人也能獨立地復制自己的研究。鑒于科學方法的要求和自我糾錯的必要性,復制其他研究者的研究仍是非常必要的。

    復制性研究的注意事項。鼓勵復制性研究需要多方主體的共同參與。首先,編輯和審稿人應對復制性研究持開放態(tài)度,認識到這類研究的重要性;期刊可以通過專欄或?qū)iT的議題來提升復制性研究的曝光率,鼓勵學術界對復制性研究進行討論。其次,期刊需要對發(fā)表高質(zhì)量的復制性研究負責,做好把關和篩選,通過提供專門的資金、簡化投稿過程或提高復制性研究的優(yōu)先級等措施鼓勵作者進行高質(zhì)量的復制性研究。再次,作者可以尋求與其他領域的研究者開展合作,利用不同領域的技術和方法來提升復制性研究的質(zhì)量;難以在傳統(tǒng)期刊上發(fā)表復制性研究的作者還可以通過預印本的方式來發(fā)表他們的研究,這樣既可以提高研究的可獲得性,也可以促進同行之間的即時反饋和討論。最后,復制性研究離不開來自高校和科研機構(gòu)的支持。相關資助機構(gòu)可以設立專門的資金來支持復制性研究項目,特別是那些在原始研究中未得到充分探討的領域,同時對如何進行高質(zhì)量復制性研究提供技能培訓和相關指導。

    在進行復制性研究時,需要注意以下幾個關鍵方面:首先,對復制性研究的目的需要有正確認知,復制性研究不應被用來貶低或攻擊原始研究的作者;相反,它們的目的是驗證和提升現(xiàn)有的知識層次。其次,作者可以在進行復制性研究之前,聯(lián)系原始研究的作者以獲得反饋和建議,從而減少后期犯錯誤的概率。再次,需要認真考慮樣本量和效應大小等功效問題,直接復制不應簡單地繼續(xù)模仿舊研究的樣本大小,需要進行新的功效分析,實際效應可能與報告中的效應不同,尤其是在原始研究樣本量不足的情況下,復制性研究必須擴大樣本,具有足夠的統(tǒng)計功效。最后,復制性研究要注重開放性,一方面,應當盡可能地公開其方法、數(shù)據(jù)和分析過程,以提升透明度和可驗證性;另一方面,應對研究發(fā)現(xiàn)持有開放的心態(tài),綜合評估復制性研究的結(jié)果,批判地思考。不僅要關注是否能夠復制結(jié)果,還要分析為何能夠或不能夠復制,這可能涉及方法、理論及實施之間的差異。在跨文化或不同環(huán)境下進行復制時,還需要考慮新環(huán)境的特點。

    借鑒透明度和開放性促進指南

    2015年,Science雜志上發(fā)表了文章“Promoting an Open Research Culture”,其中提出了“透明度和開放性促進指南(Transparency and Openness Promotion,以下簡稱TOP指南)”,旨在指導學術期刊和出版者如何更好地管理和發(fā)布研究數(shù)據(jù)、方法、材料和分析過程,進而提升科學研究的透明度、開放性和可復制性。TOP指南包括八項主要標準,分別涉及引用、數(shù)據(jù)透明度、分析方法透明度、研究材料透明度、設計與分析透明度、研究預注冊、分析計劃預注冊和復制性研究。如表2所示[13],每項標準又分為三個級別,從級別1到級別3,級別0僅供對比,不屬于TOP指南的范疇。

    TOP指南三個級別的具體要求與應用現(xiàn)狀。級別1主要涉及更新投稿指南,在此階段,作者需在提交論文時聲明是否分享了數(shù)據(jù)、代碼或材料。雖然鼓勵分享,但實際上并非強制要求。級別2要求作者必須在可靠的數(shù)據(jù)庫中分享他們的數(shù)據(jù)、代碼和材料,不僅要求作者聲明資源的可用性,而且還要求他們進行分享并提供訪問這些資源的路徑。級別3代表著向完全透明的方向轉(zhuǎn)變,期刊需要進行所有開放科學實踐包括研究的預注冊以及遵循TOP指南,這實際上要求期刊和作者采取更全面和細致的措施,以確保研究工作的透明性和可重復性。這三個級別構(gòu)成了一個逐步提升科研透明度和開放性的框架,同時兼顧了不同研究領域的具體需求,有助于期刊和研究者逐步提高科研交流的質(zhì)量,確保研究結(jié)果的真實性和可靠性。據(jù)OSF網(wǎng)站統(tǒng)計,目前已有超過5000個簽署者(包括期刊、科研機構(gòu)等)采納了TOP指南,體現(xiàn)了其在科研界的廣泛影響力。[14]

    在我國傳播學領域?qū)嵤┲改暇哂兄匾饬x。首先,透明的研究方法和數(shù)據(jù)共享可以顯著提高傳播學研究發(fā)現(xiàn)的可信度。其次,開放分享數(shù)據(jù)和研究方法有助于其他研究者進行復制性研究,促進傳播學研究的知識發(fā)現(xiàn)。再次,鼓勵研究的開放性可以加強傳播學社群的合作,培育更包容、更有生機的學術環(huán)境。最后,透明的研究流程可以激勵傳播學方法論的創(chuàng)新和改進,使研究者能夠更有效地批判現(xiàn)有的研究。在信息迅速傳播的時代,為了建立與公眾的信任,傳播學研究的透明度和開放性尤為重要。因此,我們需要呼吁在傳播學領域?qū)嵤㏕OP指南,特別是鼓勵期刊采用TOP指南,同時這一政策的實施也需要出版商、編輯、審稿人和作者等利益相關者的共同努力。

    試點開放式同行評審

    開放式同行評審的概念。開放式同行評審(Open Peer Review)是學術出版的一種創(chuàng)新,審稿人的身份對作者公開,作者的身份也對審稿人公開,整個評審過程對公眾透明。在開放式同行評審中,作者首先把他們的稿件提交到期刊,在某些情況下,作者可以建議審稿人,編輯綜合考量各方利益來邀請審稿人進行審稿。審稿人對文章進行評審,并提供反饋。開放式同行評審的特點是這些評論和反饋對公眾可見,而傳統(tǒng)的匿名同行評審采用雙盲政策,作者和審稿人的身份互不知曉。然后,作者根據(jù)審稿人的建議修改稿件,稿件在經(jīng)過多輪修改和評審后如果滿足審稿人和期刊的要求,審稿報告和稿件一同發(fā)表。

    開放式同行評審的概念在21世紀初開始流行,目的是彌補傳統(tǒng)同行評審缺乏透明度和發(fā)布時間遲緩的弊病。開放式同行評審的成功案例是F1000Research。[15]F1000Research是一家開放研究出版平臺,致力于為科學家、學者和臨床醫(yī)生提供快速發(fā)表文章的機會,減少來自編輯的偏見的影響。所有的文章都采用透明的同行評審。文章在提交后會經(jīng)過一系列的預發(fā)表檢查,確保文章符合所有政策和倫理指南。一般情況下,文章在定稿后可以在一周內(nèi)發(fā)表,其他人就可以立即查看和引用這篇論文。審稿人的審稿意見和姓名會與文章一同發(fā)表,連同作者對審稿人的回應和來自注冊用戶對文章的評論。F1000Research也鼓勵作者發(fā)表文章的修訂版本,所有的版本都是相互關聯(lián)的,并可以單獨引用。通過同行評審的文章一般會被收錄在外部數(shù)據(jù)庫中,如PubMed和Scopus等,所有發(fā)表的文章無論同行評審狀態(tài)如何,都會被收錄在谷歌學術中。

    開放式同行評審的意義。開放式同行評審給我國傳播學的學術發(fā)展帶來了很多機遇。首先,開放式同行評審很大程度上提高了出版的透明度,審稿人和作者的身份公開使得評審過程更加透明,增強評審過程的問責性和可信度,有助于提升研究的質(zhì)量。其次,開放式同行評審加快了論文的審稿和發(fā)表過程,使新的研究成果能夠更快地被其他研究者查閱。再次,透明的評審過程可能有助于減少審稿人的偏見,提高評審的公正性,同時對抗學術界中的濫竽充數(shù)的出版行為(即“掠奪性期刊”),增強學術研究團體的信任和協(xié)作。最后,開放式同行評審的反饋是公開的,審稿人的工作和貢獻得到了明確的認可,這可以作為他們學術貢獻的一部分,同時,其還允許公眾對研究成果進行評論,這種開放性有助于鼓勵研究者之間的建設性對話,將研究結(jié)果更廣泛地傳播給社會大眾,促進良好的學術生態(tài)的建立。

    總體而言,開放式同行評審提高了評審過程的透明度、加速了科研成果的發(fā)布,增加了學術對話,但它也帶來了新的挑戰(zhàn),如評審質(zhì)量的保證、潛在的偏見以及對審稿人身份的保護問題,這也需要研究者具備更大的責任感,維護學術出版的質(zhì)量和信譽。隨著學術界對這種模式的探索和發(fā)展,未來為了解決開放性同行評審所面臨的挑戰(zhàn),傳播學可以強化開放性同行評審的控制機制和質(zhì)量評估,制定嚴格的指導方針,如關于語氣、表達和尊重的指導,在提出論點、矛盾思想或批評的同時,不侵犯個人權利。此外,加強對開放性同行評審的教育培訓,教授撰寫評審報告的必要技能,以及如何在保持批判性立場的同時,對研究數(shù)據(jù)和結(jié)果提出建設性意見。

    (本文系全域認知與國際傳播安徽省哲學社會科學重點實驗室項目和安徽高校協(xié)同創(chuàng)新項目的研究成果;項目編號分別為:QYRZ202304、GXXT-2022-091。深圳大學傳播學院助理教授張如坤對本文亦有貢獻)

    注釋

    [1]徐敬宏、張如坤:《邁向開放科學的傳播學:機遇、挑戰(zhàn)與未來》,《編輯之友》,2020年第12期。

    [2]B. A. Nosek; C. R. Ebersole; A. C. Dehaven et al., "The Preregistration Revolution," Proceedings of the National Academy of Sciences, 2018, 115(11).

    [3]AsPredicted的網(wǎng)址為:https://aspredicted.org/。

    [4]OSF的網(wǎng)址為:https://www.cos.io/products/osf-registries。

    [5]T. Sch?fer; M. A. Schwarz, "The Meaningfulness of Effect Sizes in Psychological Research: Differences between Sub-disciplines and the Impact of Potential Biases," Frontiers in Psychology, 2019, 10.

    [6]O. Klein; T. E. Hardwicke; F. Aust et al., "A Practical Guide for Transparency in Psychological Science," Collabra: Psychology, 2018, 4(1).

    [7]M. D. Wilkinson; M. Dumontier; I. J. Aalbersberg et al., "The FAIR Guiding Principles for Scientific Data Management and Stewardship," Scientific Data, 2016, 3(1).

    [8]Wiley-Blackwell, "Wiley Open Science Badges," Photogrammetric Record, 2022, 37(177).

    [9]有關開放科學徽章的說明可參見:https://us.sagepub.com/en-us/nam/journal/communication-research#submission-guidelines。

    [10]Communication Research Reports關于開放科學的詳細說明可參見:https://osf.io/jsva7/wiki/Badge%20location%20by%20journal/。

    [11]J. Schneider; T. Rosman; A. Kelava et al., "Do Open Science Badges Increase Trust in Scientists among Undergraduates, Scientists, and the Public?" Psychological Science, 2021, 33(9).

    [12]T. Dienlin; N. Johannes; N. D. Bowman et al., "An Agenda for Open Science in Communication," Journal of Communication, 2021, 71(1).

    [13]B. A. Nosek; G. Alter; G. C. Banks et al., "Promoting an open research culture," Science, 2015, 348(6242).

    [14]OSF網(wǎng)站統(tǒng)計數(shù)據(jù)可參見:https://www.cos.io/initiatives/top-guidelines。

    [15]F1000Research的網(wǎng)址為:https://f1000research.com/about。

    責 編∕韓 拓 美 編∕周群英

    多毛熟女@视频| 国产视频一区二区在线看| 搡老乐熟女国产| 亚洲色图 男人天堂 中文字幕| 成人免费观看视频高清| 日本欧美视频一区| 久久精品久久久久久久性| 欧美 亚洲 国产 日韩一| 制服人妻中文乱码| 亚洲av男天堂| 如日韩欧美国产精品一区二区三区| 大陆偷拍与自拍| 欧美人与善性xxx| 男人舔女人的私密视频| 一本大道久久a久久精品| 午夜免费鲁丝| 国产激情久久老熟女| 免费在线观看黄色视频的| 亚洲欧美一区二区三区黑人| 尾随美女入室| 国产主播在线观看一区二区 | 国产又色又爽无遮挡免| 新久久久久国产一级毛片| 国产亚洲一区二区精品| 不卡av一区二区三区| av国产精品久久久久影院| 亚洲成国产人片在线观看| 观看av在线不卡| 久久天躁狠狠躁夜夜2o2o | 人人澡人人妻人| 高清av免费在线| 亚洲国产av影院在线观看| 久久性视频一级片| 伊人亚洲综合成人网| 老司机影院毛片| www.999成人在线观看| 国产精品香港三级国产av潘金莲 | 国产成人精品久久久久久| 高清视频免费观看一区二区| 女人高潮潮喷娇喘18禁视频| 一级黄色大片毛片| 精品卡一卡二卡四卡免费| 欧美国产精品一级二级三级| 欧美日韩一级在线毛片| 最新在线观看一区二区三区 | 高清不卡的av网站| 国产日韩一区二区三区精品不卡| 国产日韩一区二区三区精品不卡| 夜夜骑夜夜射夜夜干| 久久人人爽人人片av| 777久久人妻少妇嫩草av网站| 亚洲精品一区蜜桃| 在线精品无人区一区二区三| 丝袜美腿诱惑在线| 这个男人来自地球电影免费观看| 成人国语在线视频| 免费在线观看日本一区| 一级毛片我不卡| 一级黄色大片毛片| 亚洲av综合色区一区| 国产精品一区二区免费欧美 | 国产在线免费精品| 午夜免费男女啪啪视频观看| h视频一区二区三区| 国产亚洲av片在线观看秒播厂| 国产亚洲av高清不卡| 久久久久网色| 咕卡用的链子| 美国免费a级毛片| 亚洲精品日本国产第一区| 97人妻天天添夜夜摸| 亚洲成人免费电影在线观看 | 欧美成狂野欧美在线观看| 日韩av在线免费看完整版不卡| 亚洲九九香蕉| 99国产精品免费福利视频| 在线观看免费视频网站a站| 999久久久国产精品视频| 少妇 在线观看| 不卡av一区二区三区| 在线观看免费高清a一片| 亚洲中文日韩欧美视频| 国产精品一区二区免费欧美 | 午夜久久久在线观看| 中文字幕色久视频| 两人在一起打扑克的视频| 免费在线观看黄色视频的| 青草久久国产| 91国产中文字幕| 超色免费av| 日韩一本色道免费dvd| 国产免费福利视频在线观看| 叶爱在线成人免费视频播放| 国产精品.久久久| 黄色视频不卡| 黄色视频不卡| 女性生殖器流出的白浆| 国产免费福利视频在线观看| 汤姆久久久久久久影院中文字幕| 国产精品秋霞免费鲁丝片| www.熟女人妻精品国产| 女人爽到高潮嗷嗷叫在线视频| 精品国产超薄肉色丝袜足j| 丝袜喷水一区| 一二三四社区在线视频社区8| 男的添女的下面高潮视频| 免费看十八禁软件| 夫妻性生交免费视频一级片| 亚洲av电影在线进入| 成人亚洲欧美一区二区av| 国产精品av久久久久免费| 国产亚洲欧美在线一区二区| 19禁男女啪啪无遮挡网站| 性高湖久久久久久久久免费观看| 性高湖久久久久久久久免费观看| 看十八女毛片水多多多| 久久久亚洲精品成人影院| 亚洲av男天堂| 美女扒开内裤让男人捅视频| 久久久久精品国产欧美久久久 | 黄色视频不卡| 男人操女人黄网站| 欧美国产精品一级二级三级| 日日夜夜操网爽| 黄色怎么调成土黄色| 久久久久久久精品精品| 久久99热这里只频精品6学生| 校园人妻丝袜中文字幕| 一区二区三区四区激情视频| 国产1区2区3区精品| 美女福利国产在线| 一级毛片我不卡| 在现免费观看毛片| 九色亚洲精品在线播放| 麻豆乱淫一区二区| 亚洲国产欧美日韩在线播放| 在线亚洲精品国产二区图片欧美| 精品亚洲乱码少妇综合久久| 欧美精品高潮呻吟av久久| 日韩 欧美 亚洲 中文字幕| 国产av一区二区精品久久| 午夜福利,免费看| 看免费成人av毛片| 夫妻性生交免费视频一级片| 黄频高清免费视频| 纵有疾风起免费观看全集完整版| 日韩人妻精品一区2区三区| 久久久久久久久久久久大奶| 亚洲人成电影观看| 成人手机av| 中文字幕人妻熟女乱码| 少妇人妻久久综合中文| 成年女人毛片免费观看观看9 | 欧美日韩亚洲综合一区二区三区_| 啦啦啦 在线观看视频| 亚洲av欧美aⅴ国产| 18禁黄网站禁片午夜丰满| 国产成人av激情在线播放| 亚洲精品一卡2卡三卡4卡5卡 | 亚洲欧美一区二区三区久久| 久热爱精品视频在线9| 欧美亚洲日本最大视频资源| 美女午夜性视频免费| 亚洲精品久久成人aⅴ小说| h视频一区二区三区| 免费看不卡的av| 欧美激情 高清一区二区三区| 国产伦理片在线播放av一区| 亚洲成av片中文字幕在线观看| 老汉色av国产亚洲站长工具| 精品人妻熟女毛片av久久网站| 在线精品无人区一区二区三| 人成视频在线观看免费观看| 免费高清在线观看视频在线观看| 久久精品久久久久久噜噜老黄| 成年女人毛片免费观看观看9 | 免费观看av网站的网址| 久久久久久久久久久久大奶| 69精品国产乱码久久久| 亚洲成国产人片在线观看| 一级毛片电影观看| 黄色毛片三级朝国网站| 老司机亚洲免费影院| 亚洲中文字幕日韩| 亚洲国产精品国产精品| 亚洲国产看品久久| 欧美人与善性xxx| 欧美激情高清一区二区三区| 观看av在线不卡| 国产片内射在线| 黄网站色视频无遮挡免费观看| 久久天堂一区二区三区四区| 岛国毛片在线播放| 亚洲欧美一区二区三区黑人| 只有这里有精品99| 国产一区二区在线观看av| 黑人猛操日本美女一级片| 日日爽夜夜爽网站| 一边摸一边抽搐一进一出视频| 亚洲中文字幕日韩| 免费黄频网站在线观看国产| 国产91精品成人一区二区三区 | av国产精品久久久久影院| 99国产精品一区二区三区| 激情视频va一区二区三区| 日本五十路高清| 蜜桃在线观看..| 国产在线免费精品| 国产精品 国内视频| 国产极品粉嫩免费观看在线| 国产激情久久老熟女| 少妇猛男粗大的猛烈进出视频| 中文字幕精品免费在线观看视频| 午夜两性在线视频| 午夜免费成人在线视频| 久久久欧美国产精品| 大陆偷拍与自拍| 亚洲五月婷婷丁香| 十分钟在线观看高清视频www| 久久综合国产亚洲精品| 一本久久精品| 欧美日韩黄片免| 亚洲国产精品国产精品| 美女中出高潮动态图| 深夜精品福利| 人体艺术视频欧美日本| 久久久久久久久久久久大奶| 国产精品一国产av| 两人在一起打扑克的视频| 国产精品欧美亚洲77777| 久久青草综合色| av不卡在线播放| 啦啦啦啦在线视频资源| 久久久久久久国产电影| 一区二区日韩欧美中文字幕| 欧美激情极品国产一区二区三区| 国产女主播在线喷水免费视频网站| 婷婷色综合大香蕉| 亚洲精品国产一区二区精华液| 中文字幕高清在线视频| 亚洲三区欧美一区| 欧美97在线视频| 久久久国产精品麻豆| 这个男人来自地球电影免费观看| 成人国语在线视频| 日日夜夜操网爽| 侵犯人妻中文字幕一二三四区| 午夜福利视频在线观看免费| 人妻一区二区av| 国产成人精品久久二区二区91| 免费在线观看黄色视频的| 国产片内射在线| 日本欧美国产在线视频| 好男人电影高清在线观看| 成年人免费黄色播放视频| 午夜av观看不卡| 亚洲情色 制服丝袜| 亚洲欧美日韩另类电影网站| 国产精品麻豆人妻色哟哟久久| 丝袜美腿诱惑在线| 久9热在线精品视频| 少妇人妻 视频| 欧美中文综合在线视频| 美女福利国产在线| 女人高潮潮喷娇喘18禁视频| 成人亚洲精品一区在线观看| 亚洲精品自拍成人| 菩萨蛮人人尽说江南好唐韦庄| 免费久久久久久久精品成人欧美视频| 日日夜夜操网爽| 国产精品免费视频内射| 午夜免费成人在线视频| 免费观看人在逋| 人人妻人人澡人人看| 黄色怎么调成土黄色| 午夜两性在线视频| 人妻 亚洲 视频| 满18在线观看网站| 国产成人免费观看mmmm| 黄色毛片三级朝国网站| 超碰97精品在线观看| 午夜免费男女啪啪视频观看| 国产福利在线免费观看视频| 少妇人妻久久综合中文| 日日爽夜夜爽网站| 精品国产超薄肉色丝袜足j| 午夜福利一区二区在线看| 亚洲欧美精品自产自拍| 极品人妻少妇av视频| 午夜福利视频精品| 丝袜在线中文字幕| 尾随美女入室| 亚洲一区二区三区欧美精品| 91麻豆av在线| 婷婷色综合www| 精品人妻一区二区三区麻豆| 国产在线免费精品| 国产精品一国产av| 久久综合国产亚洲精品| 一边摸一边做爽爽视频免费| 考比视频在线观看| 老鸭窝网址在线观看| 久久久久国产一级毛片高清牌| 欧美日韩国产mv在线观看视频| www.自偷自拍.com| 国产在线免费精品| 99精品久久久久人妻精品| 精品一区二区三区av网在线观看 | 丝袜喷水一区| 国产av精品麻豆| 99久久精品国产亚洲精品| 国产成人a∨麻豆精品| 欧美日韩亚洲高清精品| 亚洲男人天堂网一区| 日韩大码丰满熟妇| 中文字幕最新亚洲高清| 亚洲精品成人av观看孕妇| 成人午夜精彩视频在线观看| 高清黄色对白视频在线免费看| 一本—道久久a久久精品蜜桃钙片| 国产免费一区二区三区四区乱码| 天天躁夜夜躁狠狠躁躁| 大香蕉久久网| 亚洲人成电影免费在线| 亚洲精品久久午夜乱码| 免费在线观看影片大全网站 | 汤姆久久久久久久影院中文字幕| 黑人猛操日本美女一级片| 国产精品99久久99久久久不卡| av欧美777| 高清黄色对白视频在线免费看| 首页视频小说图片口味搜索 | 黄色视频不卡| 欧美日韩一级在线毛片| 亚洲 欧美一区二区三区| 纯流量卡能插随身wifi吗| 深夜精品福利| 亚洲五月婷婷丁香| 欧美日韩视频高清一区二区三区二| 天堂俺去俺来也www色官网| 亚洲国产精品999| 欧美精品一区二区免费开放| 国产成人av激情在线播放| 亚洲精品中文字幕在线视频| 亚洲精品美女久久久久99蜜臀 | 国产成人欧美| 国产av精品麻豆| 自拍欧美九色日韩亚洲蝌蚪91| 又紧又爽又黄一区二区| 久久鲁丝午夜福利片| 女警被强在线播放| 欧美性长视频在线观看| 国产在线观看jvid| 精品免费久久久久久久清纯 | 99久久精品国产亚洲精品| 男男h啪啪无遮挡| 日韩制服丝袜自拍偷拍| 视频区欧美日本亚洲| 少妇人妻 视频| 真人做人爱边吃奶动态| 国产爽快片一区二区三区| cao死你这个sao货| 精品少妇内射三级| 国产亚洲av片在线观看秒播厂| 国产高清不卡午夜福利| 久久久久精品国产欧美久久久 | 男女边吃奶边做爰视频| 亚洲精品一卡2卡三卡4卡5卡 | 老司机在亚洲福利影院| 国产精品国产av在线观看| 一区二区三区精品91| av国产精品久久久久影院| 丝瓜视频免费看黄片| 狠狠婷婷综合久久久久久88av| 91麻豆av在线| 亚洲五月色婷婷综合| 久久精品国产亚洲av涩爱| 国产极品粉嫩免费观看在线| 精品少妇内射三级| 欧美av亚洲av综合av国产av| 伊人亚洲综合成人网| 亚洲国产精品一区三区| 日韩一卡2卡3卡4卡2021年| 亚洲精品国产av成人精品| 日韩精品免费视频一区二区三区| 18在线观看网站| 一本大道久久a久久精品| 精品视频人人做人人爽| 中国美女看黄片| 人人澡人人妻人| 黑人巨大精品欧美一区二区蜜桃| 老司机影院毛片| 啦啦啦在线观看免费高清www| 一级黄片播放器| 看免费成人av毛片| 国产成人免费观看mmmm| 一边摸一边抽搐一进一出视频| 国产91精品成人一区二区三区 | 婷婷成人精品国产| 夫妻性生交免费视频一级片| 少妇的丰满在线观看| 97精品久久久久久久久久精品| 高清视频免费观看一区二区| 午夜老司机福利片| 在线 av 中文字幕| 宅男免费午夜| 少妇人妻 视频| 久久久久网色| 亚洲av美国av| 亚洲伊人久久精品综合| 亚洲国产精品成人久久小说| 欧美黄色片欧美黄色片| 亚洲一卡2卡3卡4卡5卡精品中文| 久久国产亚洲av麻豆专区| 精品亚洲成国产av| 欧美精品人与动牲交sv欧美| 精品第一国产精品| 女人被躁到高潮嗷嗷叫费观| 老司机影院毛片| 一级片'在线观看视频| 一级黄片播放器| 国产欧美亚洲国产| 一级毛片 在线播放| 精品福利观看| 十八禁网站网址无遮挡| 午夜激情久久久久久久| 国产成人系列免费观看| 亚洲色图 男人天堂 中文字幕| 国产精品久久久久久精品电影小说| 国产伦人伦偷精品视频| 亚洲国产欧美网| 黄片小视频在线播放| 国产视频首页在线观看| 国产精品久久久av美女十八| 亚洲国产av影院在线观看| 999久久久国产精品视频| 最近最新中文字幕大全免费视频 | 嫩草影视91久久| 交换朋友夫妻互换小说| 脱女人内裤的视频| 美女中出高潮动态图| 精品国产乱码久久久久久小说| 成年人午夜在线观看视频| 在线天堂中文资源库| 久久久国产一区二区| 久久久久久人人人人人| 欧美精品一区二区大全| 啦啦啦视频在线资源免费观看| 免费少妇av软件| 久9热在线精品视频| 色婷婷久久久亚洲欧美| 十八禁网站网址无遮挡| 一级片'在线观看视频| 欧美+亚洲+日韩+国产| 亚洲,一卡二卡三卡| av在线老鸭窝| 免费高清在线观看日韩| 欧美中文综合在线视频| 国产高清视频在线播放一区 | 在线天堂中文资源库| 国产一区亚洲一区在线观看| 在线亚洲精品国产二区图片欧美| 久久久亚洲精品成人影院| 好男人视频免费观看在线| 欧美老熟妇乱子伦牲交| 99久久精品国产亚洲精品| 日韩一区二区三区影片| 欧美激情高清一区二区三区| 50天的宝宝边吃奶边哭怎么回事| 少妇精品久久久久久久| 69精品国产乱码久久久| 午夜激情av网站| 国产精品.久久久| 一级毛片电影观看| 精品人妻1区二区| 久久精品亚洲av国产电影网| 无限看片的www在线观看| 99国产精品免费福利视频| 成人三级做爰电影| 亚洲国产成人一精品久久久| cao死你这个sao货| 美女福利国产在线| 午夜福利一区二区在线看| 亚洲国产av影院在线观看| 韩国高清视频一区二区三区| 中文字幕人妻丝袜制服| 国精品久久久久久国模美| 人妻 亚洲 视频| 极品人妻少妇av视频| 亚洲精品在线美女| 亚洲一码二码三码区别大吗| 高潮久久久久久久久久久不卡| 久久国产精品男人的天堂亚洲| 美女主播在线视频| 亚洲精品成人av观看孕妇| 成年美女黄网站色视频大全免费| 亚洲色图综合在线观看| 久久毛片免费看一区二区三区| 亚洲精品久久成人aⅴ小说| 视频区图区小说| 日韩一区二区三区影片| 在线看a的网站| 又黄又粗又硬又大视频| 日韩,欧美,国产一区二区三区| 午夜久久久在线观看| av天堂在线播放| 国产精品一国产av| 一二三四在线观看免费中文在| 精品国产一区二区三区久久久樱花| 久久久久久久精品精品| 一区二区日韩欧美中文字幕| 十分钟在线观看高清视频www| 美女视频免费永久观看网站| 亚洲av欧美aⅴ国产| 女人爽到高潮嗷嗷叫在线视频| 在线精品无人区一区二区三| 国产激情久久老熟女| 丝袜喷水一区| 精品国产一区二区久久| 精品国产超薄肉色丝袜足j| 欧美在线一区亚洲| 国产成人精品久久二区二区免费| 99re6热这里在线精品视频| 国产精品三级大全| 黑人欧美特级aaaaaa片| 成人国产一区最新在线观看 | 欧美精品啪啪一区二区三区 | 嫩草影视91久久| 男人操女人黄网站| 亚洲欧美日韩另类电影网站| 大型av网站在线播放| 99九九在线精品视频| 欧美老熟妇乱子伦牲交| 国产亚洲欧美精品永久| 欧美+亚洲+日韩+国产| 如日韩欧美国产精品一区二区三区| 亚洲一区中文字幕在线| 久久人妻福利社区极品人妻图片 | 久久av网站| 国产亚洲午夜精品一区二区久久| 国产精品久久久av美女十八| 亚洲av男天堂| 国产爽快片一区二区三区| 国产精品一国产av| 建设人人有责人人尽责人人享有的| 亚洲国产欧美一区二区综合| www日本在线高清视频| 丝袜美腿诱惑在线| 国产免费一区二区三区四区乱码| www.av在线官网国产| xxxhd国产人妻xxx| 少妇被粗大的猛进出69影院| 国产激情久久老熟女| 国产真人三级小视频在线观看| 国产精品亚洲av一区麻豆| 亚洲伊人色综图| 久久久精品国产亚洲av高清涩受| 三上悠亚av全集在线观看| 日本午夜av视频| 亚洲国产欧美日韩在线播放| 久9热在线精品视频| 国产欧美日韩一区二区三区在线| 女警被强在线播放| 亚洲伊人色综图| 欧美黄色淫秽网站| 国产免费又黄又爽又色| 熟女少妇亚洲综合色aaa.| 午夜福利一区二区在线看| 欧美少妇被猛烈插入视频| 黄片小视频在线播放| 日本av手机在线免费观看| 欧美激情 高清一区二区三区| 精品一区在线观看国产| 午夜福利一区二区在线看| www.精华液| 在线观看免费视频网站a站| 啦啦啦在线观看免费高清www| 亚洲国产毛片av蜜桃av| 亚洲成国产人片在线观看| 国产亚洲av片在线观看秒播厂| 99久久精品国产亚洲精品| 十八禁高潮呻吟视频| 日韩一卡2卡3卡4卡2021年| 亚洲av成人不卡在线观看播放网 | 麻豆av在线久日| 国产黄色视频一区二区在线观看| 亚洲人成电影观看| 好男人电影高清在线观看| 一本色道久久久久久精品综合| 国产精品国产av在线观看| www.精华液| 国产在线观看jvid| 一本色道久久久久久精品综合| 日本欧美视频一区| 搡老乐熟女国产| 另类亚洲欧美激情| 成人三级做爰电影| 一区二区日韩欧美中文字幕| 男女高潮啪啪啪动态图| 国产一区二区三区综合在线观看| 啦啦啦在线免费观看视频4| 少妇裸体淫交视频免费看高清 | 午夜福利视频在线观看免费| 在线av久久热| 国产av一区二区精品久久| 午夜久久久在线观看| 热99久久久久精品小说推荐| 啦啦啦在线观看免费高清www| av天堂在线播放| 免费久久久久久久精品成人欧美视频| 久久亚洲精品不卡| 丁香六月欧美| 丝袜美腿诱惑在线| 亚洲五月色婷婷综合| 国产欧美日韩综合在线一区二区|