• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    人工智能輔助同行評議的技術(shù)潛力、應(yīng)用領(lǐng)域與倫理隱憂

    2023-04-29 00:00:00徐亦舒查欣雨
    數(shù)字出版研究 2023年3期

    摘 要:同行評議是科學(xué)研究中重要的質(zhì)量控制機(jī)制,但傳統(tǒng)同行評議在發(fā)展過程中面臨著來自效率與公平等方面的挑戰(zhàn)。人工智能(AI)作為一種新興的技術(shù)手段,具備對傳統(tǒng)同行評議所產(chǎn)生的問題進(jìn)行優(yōu)化與改善的潛力。通過對AI輔助同行評議的相關(guān)案例與研究成果進(jìn)行分析,梳理AI在同行評議中的技術(shù)潛力、應(yīng)用領(lǐng)域以及可能引發(fā)的倫理風(fēng)險和挑戰(zhàn),本文認(rèn)為,AI輔助同行評議是一種有前景的技術(shù)探索,但在實際操作過程中,為了確保AI輔助同行評議的科學(xué)性、公正性和可信性,也需要在數(shù)據(jù)質(zhì)量、人機(jī)協(xié)作、倫理規(guī)范等方面進(jìn)行充分的考量和平衡,以期突破傳統(tǒng)同行評議的瓶頸。

    關(guān)鍵詞:同行評議;人工智能;智能化轉(zhuǎn)型;質(zhì)量控制

    DOl: 10.3969/j.issn.2097-1869.2023.03.004 文獻(xiàn)標(biāo)識碼:A

    本文著錄格式:徐亦舒, 查欣雨. 人工智能輔助同行評議的技術(shù)潛力、應(yīng)用領(lǐng)域與倫理隱憂[J]. 數(shù)字出版研究, 2023, 2(3): 21-27.

    0 引言

    同行評議(Peer Review)是判斷稿件質(zhì)量、保護(hù)編輯,以避免學(xué)術(shù)成果重復(fù)、證明科研成果學(xué)術(shù)貢獻(xiàn)、維護(hù)科學(xué)共同體聲譽(yù)和信譽(yù)、應(yīng)對學(xué)科專業(yè)細(xì)化的要求以及提升科學(xué)交流質(zhì)量,同時能夠有效促進(jìn)學(xué)術(shù)生產(chǎn)與學(xué)術(shù)出版的良性運(yùn)作和整體科學(xué)知識創(chuàng)新[]。自1665年英國皇家學(xué)會官方刊物《哲學(xué)匯刊》首次采用同行評議作為審稿方法開始,到二戰(zhàn)后國家管理科學(xué)的模式確立,同行評議得到進(jìn)一步發(fā)展并形成一種封閉審稿機(jī)制。

    目前同行評議已經(jīng)成為世界范圍內(nèi)科學(xué)組織管理的主要運(yùn)行機(jī)制,是專家系統(tǒng)地以判斷標(biāo)準(zhǔn)進(jìn)行內(nèi)容質(zhì)量評價的重要制度,也是控制科研成果質(zhì)量的有力保證[]。但傳統(tǒng)同行評議(Traditional Peer Review,TPR)模式也因模式不完善、不透明、主觀偏見以及周期長等問題而不斷被詬病。

    傳統(tǒng)同行評議基本遵循一個相對固定的流程與標(biāo)準(zhǔn)對科研成果進(jìn)行質(zhì)量控制:通常會選擇2~3位同行專家擔(dān)任評議人,對相關(guān)科研成果從創(chuàng)新性、科學(xué)性、完整性等多個維度進(jìn)行質(zhì)量把關(guān),并提出相應(yīng)的評審意見;評議一般采取匿名的形式進(jìn)行,即作者與評議專家彼此間不直接進(jìn)行溝通;編輯等承擔(dān)聯(lián)系作者與評議專家的工作。同行評議作為科學(xué)學(xué)術(shù)共同體內(nèi)部的評判和關(guān)鍵決策程序,基本上是基于一定的評判標(biāo)準(zhǔn)對科學(xué)工作進(jìn)行系統(tǒng)性的“定性評價”,呈現(xiàn)出高度專業(yè)化和相對主觀化的特征,整體對專家經(jīng)驗存在高度依賴性[3]。其主觀性結(jié)果也是造成同行評議本身的公平性、有效性等問題的重要原因。此外,學(xué)術(shù)投稿、科研項目申報等數(shù)量與日俱增,學(xué)術(shù)研究的專業(yè)細(xì)分化以及跨學(xué)科學(xué)術(shù)研究日益同時出現(xiàn),也加劇了傳統(tǒng)同行評議制度的現(xiàn)實運(yùn)作困境。

    20世紀(jì)90年代以來,大眾對于科學(xué)研究的關(guān)注日益提升,科學(xué)研究倫理問題被普遍討論,科學(xué)研究迅速發(fā)展,科研成果數(shù)量不斷增多,諸多要素疊加,造成科學(xué)面臨著“走向社會”的壓力,原本相對封閉的科學(xué)自治結(jié)構(gòu)被迫向社會敞開。信息技術(shù)的快速發(fā)展在為同行評議“走向社會”奠定技術(shù)基礎(chǔ)的同時也打開了實踐空間,以在線審稿系統(tǒng)、預(yù)印本倉儲(E-print Repository)工具arXiv為代表的開放獲?。∣pen Access)和開放同行評議(Open Peer Review)以及人工智能(Artificial Intelligence ,AI)輔助同行評議等,從不同維度,如組織形式、流程設(shè)計、過程管理等,對傳統(tǒng)同行評議進(jìn)行重塑甚至顛覆[4]。

    AI技術(shù)快速迭代升級,尤其是2023年年初以來諸如ChatGPT等AI輔助工具展現(xiàn)出超乎想象的實際應(yīng)用效果,引發(fā)各行各業(yè)的廣泛關(guān)注。對于學(xué)術(shù)出版等相關(guān)領(lǐng)域而言,AI技術(shù)的介入,尤其是對AI輔助同行評議(AI-assisted Peer Review)的探索,將為突破傳統(tǒng)人工評議的瓶頸,以人機(jī)協(xié)同的方式提升評議的效率與質(zhì)量、優(yōu)化評議流程以及提升評議效率提供潛力。

    基于對國內(nèi)外AI輔助同行評議的相關(guān)研究與實踐案例進(jìn)行考察,嘗試從AI在同行評議中的技術(shù)潛力、發(fā)展方向以及潛在的倫理風(fēng)險與挑戰(zhàn)等方面對AI輔助同行評議的探索進(jìn)行回顧與反思,以期為提升我國學(xué)術(shù)出版質(zhì)量、加快該領(lǐng)域的數(shù)字化與智能化提供參考。需要特別說明的是,本文所討論的同行評議指的是一種抽象的科學(xué)共同體對于科研成果進(jìn)行質(zhì)量判斷與控制的實踐,而非特定的、針對科研工作者個體的評議行為。

    1 AI輔助同行評議的技術(shù)潛力

    2022年7月,施普林格·自然(Springer Nature)宣布推出一項AI引導(dǎo)的新服務(wù)——自然科研智訊(Nature Research Intelligence)。該服務(wù)包含三種產(chǎn)品,即自然策略報告(Nature Strategy Report)、自然指數(shù)(Nature Index )以及自然引航(Nature Navigator),以協(xié)助科研決策者制定數(shù)據(jù)驅(qū)動的戰(zhàn)略,發(fā)現(xiàn)研究與合作的機(jī)會,并更好地理解有關(guān)最新研究趨勢的真知灼見,進(jìn)而指導(dǎo)戰(zhàn)略決策、吸引資助和開展前沿研究,以此來造福社會。正如施普林格·自然的負(fù)責(zé)人Niels Peter Thomas所說,AI“不僅有助于我們創(chuàng)造新的知識,也有助于我們更好地閱讀和理解現(xiàn)有的內(nèi)容”。而AI與出版的融合,尤其是以AI技術(shù)賦能學(xué)術(shù)出版是近年來國內(nèi)外學(xué)術(shù)出版相關(guān)研究與實踐領(lǐng)域研究探索的重要內(nèi)容之一。盡管目前相關(guān)領(lǐng)域尚處于探索與起步階段,但機(jī)器學(xué)習(xí)(Machine Learning,ML)、自然語言處理(Natural Language Processing,NLP)以及自動化算法匹配等創(chuàng)新技術(shù)展現(xiàn)出巨大技術(shù)潛力,已經(jīng)開始逐步改變同行評議的面貌。

    1.1 NLP賦予文本可讀性

    NLP是AI的重要分支,其目的是利用計算機(jī)對自然語言進(jìn)行智能化處理?;A(chǔ)的NLP技術(shù)主要圍繞語言的不同層級展開,包括音位(語言的發(fā)音模式)、形態(tài)(字、字母如何構(gòu)成單詞、單詞的形態(tài)變化)、詞匯(單詞之間的關(guān)系)、句法(單詞如何形成句子)、語義(語言表述對應(yīng)的意思)、語用(不同語境中的語義解釋)、篇章(句子如何組合成段落)七個層級。這些基本的NLP技術(shù)經(jīng)常被運(yùn)用到下游的多種NLP任務(wù)中,如機(jī)器翻譯、對話、問答、文檔摘要等。依靠NLP技術(shù)讓機(jī)器能夠理解人類語言,用自然語言的方式與人類交流,最終實現(xiàn)“智能”。從2023年年初ChatGPT等這類AIGC應(yīng)用給人類帶來的強(qiáng)烈震撼中可以印證,借由NLP技術(shù),AI已經(jīng)能夠理解并生成人類的語言[5]。

    NLP對AI輔助同行評議發(fā)展至關(guān)重要,因為AI參與同行評議的一個關(guān)鍵性技術(shù)前提就是能夠有效理解文本數(shù)據(jù)(不同領(lǐng)域的科研成果內(nèi)容),即需要具備文本可讀性(Readability)[6]。有關(guān)可讀性公式(Readability Formulas)和認(rèn)知指數(shù)(Cognitive Indices)的研究也顯示,NLP是進(jìn)行文本質(zhì)量評估的有效工具。研究者在NLP技術(shù)的幫助下,利用從特定的醫(yī)學(xué)領(lǐng)域提取的特征,如領(lǐng)域信息量和類別等,最終幫助文章進(jìn)行自動且有效的分類[7]。再比如,有研究者使用NLP技術(shù)從評審內(nèi)容、評審相關(guān)性、評審覆蓋率、評審語氣、評審數(shù)量和是否剽竊他人評審意見六個方面幫助審稿人提高評審質(zhì)量[8]。

    但是,我們也需要清醒地認(rèn)識到科研成果是極其復(fù)雜的文本,對其進(jìn)行質(zhì)量判斷是一項極具挑戰(zhàn)性的工作,依然有很多挑戰(zhàn)需要應(yīng)對。比如:如何制定判斷標(biāo)準(zhǔn)?如何應(yīng)對學(xué)術(shù)語言的千變?nèi)f化?如何設(shè)計綜合性的判斷指標(biāo)?等等。

    1.2 AI算法促進(jìn)評議流程高效化

    同行評議在全球?qū)W術(shù)出版領(lǐng)域被普遍接納,并成為其中關(guān)鍵性環(huán)節(jié)與科研成果質(zhì)量把關(guān)程序。此外,隨著科學(xué)研究的快速發(fā)展,科研成果數(shù)量與學(xué)術(shù)論文數(shù)量都隨之高速增長,學(xué)術(shù)研究的生產(chǎn)量能超出了學(xué)術(shù)同行評議的供給量[9],導(dǎo)致同行評議壓力劇增以及科研成果發(fā)表周期被拉長。這就使得在同行評議中引入AI作為評議工具和手段,以人機(jī)協(xié)同的方式來提高評議的信度和效度成為可能。其中一個重要探索領(lǐng)域就是通過數(shù)據(jù)統(tǒng)計以及相關(guān)實驗算法分析來提升同行評議整體效率,而AI算法在其中發(fā)揮著重要作用。

    所謂AI算法是一系列計算機(jī)指令組成的程序,相較于一般算法,它的特殊之處在于能夠模仿人類在解決問題時所表現(xiàn)出來的智能行為,進(jìn)而推動特定問題的解決[10]。比如,Mrowinski等分析了《塞爾維亞化學(xué)學(xué)會雜志》(Journal of the Serbian Chemical Society)運(yùn)用自然啟發(fā)進(jìn)化算法——笛卡兒遺傳規(guī)劃( Cartesian Genetic Programming),在保持相同數(shù)量審稿人的情況下只消耗了原本70%的評議時長[11];江虎軍等對我國國家自然科學(xué)基金(National Natural Science Foundation of China,NSFC)評審過程中的同行評議專家智能指派項目進(jìn)行分析,發(fā)現(xiàn)同行評議智能化完全可行,并且隨著相關(guān)工作的完善,其質(zhì)量會進(jìn)一步提升[12]。

    AI算法不僅能夠輔助同行評議提升效率,同時通過不斷重復(fù)過程,能夠逐步建立起一套質(zhì)量判斷的新指標(biāo),進(jìn)而提升評議的科學(xué)性。但目前來看,AI輔助同行評議在算法設(shè)計、算法對于科學(xué)研究情境的識別以及算法合理性的規(guī)制等方面都尚處于起步階段。最后,無論NLP技術(shù)還是AI算法的加入,AI輔助同行評議的重要意義在于對傳統(tǒng)同行評議流程的標(biāo)準(zhǔn)化和自動化進(jìn)行改造,而這也是AI從“輔助”同行評議向深度“參與”同行評議,以及更深入地嵌入并逐步發(fā)揮主體性功能的重要體現(xiàn)。

    2 AI輔助同行評議的應(yīng)用領(lǐng)域

    傳統(tǒng)的同行評議在使用計算機(jī)設(shè)備時大多只是將其作為平臺性工具來進(jìn)行評議信息檢索和存取等活動,而在AI輔助同行評議中,AI將作為行動者在初審、送審和評審階段都發(fā)揮特定的作用。基于科研成果同行評議的獨(dú)特性,AI在其中的運(yùn)用呈現(xiàn)逐步深入的特征,主要集中在來稿審查、審稿人智能匹配以及學(xué)術(shù)影響力預(yù)測等方面。

    2.1 AI輔助來稿審查

    無論學(xué)術(shù)期刊來稿,還是科研項目申報投標(biāo)亦或是學(xué)位論文盲審,來稿審查是同行評議首要也是最基本的評議環(huán)節(jié)。一般而言,來稿審查主要涵蓋了結(jié)構(gòu)合理性審查、統(tǒng)計數(shù)據(jù)審查以及學(xué)術(shù)不端檢測等。具體來說,文本挖掘技術(shù)、關(guān)鍵詞掃描技術(shù)以及基于NLP技術(shù)的內(nèi)容剽竊檢測算法等前沿技術(shù)的運(yùn)用,使得AI可以對科研成果的結(jié)構(gòu)合理性、統(tǒng)計數(shù)據(jù)以及學(xué)術(shù)不端狀況進(jìn)行有效審查。

    其中,學(xué)術(shù)不端智能檢測功能是AI輔助同行評議功能開發(fā)與應(yīng)用得最早、最普遍,以及相對發(fā)展成熟的領(lǐng)域。比如,全球最大的學(xué)術(shù)出版商愛思唯爾(Elsevier)在2015年就開發(fā)了線上審稿與編輯系統(tǒng)Evise,系統(tǒng)會自動與反剽竊軟件進(jìn)行關(guān)聯(lián),檢測文章是否存在抄襲情況。我國的知網(wǎng)學(xué)術(shù)不端檢測平臺通過對文本、公式、表格等進(jìn)行檢測,得出文獻(xiàn)相似度等總結(jié)性分析材料。此外,與之相似的還有萬方數(shù)據(jù)的文獻(xiàn)相似性檢測服務(wù)、維普論文檢測系統(tǒng)以及美國的CrossCheck等等。

    2.2 AI輔助審稿人智能推薦

    審稿人智能推薦是AI輔助同行評議的另一項重要應(yīng)用,主要是通過AI推薦算法在特定數(shù)據(jù)庫中篩選出最佳審稿人。具體來說,審稿人推薦算法一般包括對象匹配和約束條件兩個部分[13],通常是在給定的多重約束條件下通過作者共現(xiàn)網(wǎng)絡(luò)來進(jìn)行審稿人智能匹配。

    審稿人的匹配與推薦過程能夠通過智能算法快速完成,從而有效提升審稿人推薦效率。相關(guān)研究表明,相較于人工審稿人指派,智能審稿人推薦與指派能夠更有效、更充分地利用所有符合約束條件的評議專家資源,同時也能夠更為精準(zhǔn)地進(jìn)行專家回避等,有效緩解評審專家超負(fù)荷評審問題[12]。相關(guān)實踐顯示,AI指派審稿人的效率約為人工指派的285倍[14],從而大大節(jié)約了人工送審成本。

    我國各項科學(xué)基金項目管理機(jī)構(gòu)早就開始嘗試運(yùn)用AI技術(shù)輔助項目評審。比如,國家自然科學(xué)基金就引入評審專家AI指派系統(tǒng),利用NLP技術(shù)抓取在線學(xué)術(shù)文獻(xiàn)數(shù)據(jù)庫和科學(xué)家個人網(wǎng)頁,搜集潛在評審專家信息,再通過語義分析比較項目申報書與潛在評審專家在研究方向上的契合度,同時考量專家的學(xué)術(shù)信譽(yù)數(shù)據(jù),最終篩選出合適的審稿人[14]。但是,盡管通過設(shè)計對象匹配和約束條件兩種算法可在短時間內(nèi)篩選出符合條件的人員,但是由于地域或跨學(xué)科等約束條件無法進(jìn)行擇優(yōu)排序,導(dǎo)致推薦出來的人員可能并非現(xiàn)實中的最佳人選,仍需要人工進(jìn)行最終把關(guān)。此外,受限于專家?guī)煲约叭找嫫毡榈目鐚I(yè)研究帶來的挑戰(zhàn),目前相關(guān)基金項目的同行評議智能指派依然有待進(jìn)一步完善。

    2.3 AI輔助學(xué)術(shù)影響力預(yù)測

    學(xué)術(shù)影響力是科學(xué)研究評價的一個極為關(guān)鍵的指標(biāo),因此對其進(jìn)行有效預(yù)測是同行評議的重中之重,也是評價學(xué)者、機(jī)構(gòu)、期刊、國家等學(xué)術(shù)實體影響力的基礎(chǔ)工作[15]。截至目前,國內(nèi)外學(xué)界在學(xué)術(shù)影響力的評判上并無統(tǒng)一標(biāo)準(zhǔn),只能借被引頻次等間接指標(biāo)來推測。

    通常而言,AI輔助科研成果影響力預(yù)測是借助ML技術(shù),通過挖掘數(shù)據(jù)的潛在規(guī)律來實現(xiàn)學(xué)術(shù)影響力預(yù)測功能,由此識別具有高影響力的科研成果。這對于科學(xué)研究管理者預(yù)測學(xué)科領(lǐng)域發(fā)展方向、研究主題以及推介重點(diǎn)研究成果等具有指導(dǎo)意義。根據(jù)現(xiàn)有的實踐經(jīng)驗來看,常用于預(yù)測論文、學(xué)者等學(xué)術(shù)影響力的ML方法主要有 NN、SVM、Markov 模型以及 XGBoost等[14]。目前,比較知名的實踐包括丹麥的UNSILO運(yùn)用NLP與ML技術(shù)提煉論文的結(jié)論和觀點(diǎn),形成內(nèi)容總結(jié)[16];美國的MBI通過建構(gòu)預(yù)測模型來推測審核稿件的未來被引頻次等[17]。

    盡管從目前的狀況來看,AI輔助學(xué)術(shù)影響力預(yù)測還存在諸多局限性,學(xué)術(shù)影響力預(yù)測也成為目前AI輔助同行評議最難以取代人工的部分,但無疑這是未來AI輔助同行評議最具價值和發(fā)展前景的領(lǐng)域和方向。

    3 AI輔助同行評議的倫理隱患

    隨著AI參與同行評議實踐日益普遍化和程度不斷深化,一些附著于AI技術(shù)的問題以及AI參與到同行評議之中后帶來的全新倫理問題等開始逐漸顯現(xiàn)。其中,最令人擔(dān)憂和受到關(guān)注的就是效率與公平之間的沖突等倫理問題,在實踐中具體體現(xiàn)為“數(shù)據(jù)中心”的運(yùn)作邏輯、智能技術(shù)對“人的主體性”的剝離以及人機(jī)協(xié)同評議對傳統(tǒng)學(xué)術(shù)倫理造成的沖擊等方面。

    3.1 “數(shù)據(jù)中心主義”的科學(xué)隱患

    AI的三大基礎(chǔ)分別是算法、算力及數(shù)據(jù),其中數(shù)據(jù)是AI模型訓(xùn)練的前提。從AI輔助同行評議的基本場景與流程中也可以發(fā)現(xiàn),其運(yùn)行的基礎(chǔ)之一就是大量現(xiàn)有科研成果資料、行業(yè)數(shù)據(jù)、人口數(shù)據(jù)、同行專家信息等多種類型數(shù)據(jù)資料。得益于越來越普遍的科研數(shù)據(jù)共享與科研成果開放,利用海量專業(yè)科研數(shù)據(jù)訓(xùn)練專業(yè)的AI模型成為可能。

    但隨著AI介入同行評議程度不斷加深,對于AI模型的智能程度也提出更高的要求,尤其是在AI參與到對科研成果的實質(zhì)性內(nèi)容的深層評估時,用于AI模型訓(xùn)練的數(shù)據(jù)質(zhì)量,尤其是數(shù)據(jù)的多樣性、公正性以及真實性,將直接影響到AI參與同行評議的公正、準(zhǔn)確以及科學(xué)性?!皵?shù)據(jù)中心”的運(yùn)作邏輯也給AI輔助同行評議埋下了隱患,比如延續(xù)社會性偏見、數(shù)據(jù)虛假等。

    具體來說,這些海量的科研數(shù)據(jù)集本身在時間、語言以及地域等方面就可能存在巨大的不平衡,而這種不平衡必然會造成訓(xùn)練出來的AI模型帶有一定程度的偏見。這種偏見一方面可能延續(xù)了傳統(tǒng)社會性偏見(比如性別、地域、年齡等),另一方面可能在學(xué)術(shù)評議中進(jìn)一步強(qiáng)化目前互聯(lián)網(wǎng)環(huán)境下涌現(xiàn)的種種偏見。比如,數(shù)字鴻溝導(dǎo)致對“數(shù)字貧困”群體的忽視,這種對數(shù)字邊緣群體的偏見就會日積月累傳遞到學(xué)術(shù)研究中。此外,如何有效杜絕大量網(wǎng)絡(luò)虛假信息對同行評議AI模型的侵襲也將是一大挑戰(zhàn)。

    3.2 “人的主體性”受到挑戰(zhàn)的風(fēng)險

    就目前AI輔助同行評議的現(xiàn)狀來看,其發(fā)展尚處于初級階段,即對科學(xué)成果評判與管理的主體依然是人類,AI介入其中的程度還相對有限,或者說AI尚未成為同行評議的主導(dǎo)者。其原因在于同行評議流程和文本結(jié)構(gòu)尚未在學(xué)界統(tǒng)一,尤其是在學(xué)術(shù)影響力分析層面,評價標(biāo)準(zhǔn)未統(tǒng)一、涉及領(lǐng)域復(fù)雜、課題新穎無參考數(shù)據(jù)等問題可能導(dǎo)致現(xiàn)階段的AI無法進(jìn)行量化處理,只能成為人工評議的“助手”而不是“替身”[18]。

    隨著AI智能化程度與整體算力不斷提升,AI參與同行評議的技術(shù)潛力與能力也將會得到快速釋放。不久的將來,AI參與同行評議的廣度與深度將會全面加強(qiáng),甚至出現(xiàn)AI輔助同行評議的“ChatGPT”或“iPhone”。這不免在同行評議領(lǐng)域引發(fā)關(guān)于AI的經(jīng)典擔(dān)憂:智能機(jī)器是否會取代人?也就是,AI是否會剝奪人對科學(xué)成果質(zhì)量把關(guān)、價值判斷以及管理等方面的主體性?

    對于這些擔(dān)憂,首先需要明確和達(dá)成共識的是:AI輔助人類是未來社會各行各業(yè)發(fā)展的必然趨勢,也必將成為人們的生活與工作常態(tài)。同時,在科研成果評議上,AI目前無法完全取代人類。在此基礎(chǔ)上,我們再去思考科研成果判斷與管理當(dāng)中可能面臨的“人的主體性”被剝奪的問題,我們要做的并不是去拒絕或者有意弱化AI對同行評議的輔助,而是需要加強(qiáng)其學(xué)習(xí)能力,不斷完善數(shù)據(jù)庫和算法模型,改變單一的程序性能,使之能夠在繁瑣、復(fù)雜、新穎的真實環(huán)境下做出適當(dāng)?shù)呐袛嗪瓦x擇。同時,人類應(yīng)致力于在認(rèn)知能力上取得與科技相匹配的進(jìn)步,以實現(xiàn)在同行評議領(lǐng)域的“AI賦能”,進(jìn)而去規(guī)避“AI支配”。

    3.3 對傳統(tǒng)學(xué)術(shù)倫理形成沖擊

    隨著AI在科學(xué)研究領(lǐng)域的應(yīng)用日益廣泛,科學(xué)研究倫理層面的問題開始被觸及,比如AI創(chuàng)造的知識產(chǎn)權(quán)、智能造假、智能剽竊等。2023年1月,巴黎政治大學(xué)因其學(xué)生大量使用ChatGPT做作業(yè)而向其學(xué)生和教師發(fā)送電子郵件,要求禁止使用ChatGPT等AI工具,并頒布“AI禁令”[19]。長久以來,“圍繞著技術(shù)跨越的哲學(xué)反思是異常復(fù)雜的,也是險象環(huán)生的,往往需要人有更多的審慎”[20]。從AI輔助同行評議逐步發(fā)展為AI參與同行評議,如何建立起基于AI的科研倫理也必然成為必須面對的新的倫理問題。

    在當(dāng)下的數(shù)據(jù)時代,AI作為一個嶄新的領(lǐng)域出現(xiàn),將智能輔助作為新元素融入數(shù)字文明時代,并成為類似于互聯(lián)網(wǎng)的一種大眾默認(rèn)功能。目前,AI輔助在學(xué)術(shù)影響力分析和審稿人篩選中仍處于研發(fā)狀態(tài),未能進(jìn)行大規(guī)模應(yīng)用。并且由于涉及知識產(chǎn)權(quán)問題,評議專家?guī)煲约罢撐膸炷芊袷占暾残枰鞣焦餐Γ块T應(yīng)出面協(xié)商,軟硬件技術(shù)提供高質(zhì)量保障,確保評議相關(guān)者利益不受損害,從而在AI逐步嵌入的過程中形成和完善基于“AI賦能”的科學(xué)成果管理與質(zhì)量判斷的科學(xué)倫理體系。

    4 結(jié)語

    科學(xué)技術(shù)發(fā)展是推動社會進(jìn)步的關(guān)鍵動力,而做好科研成果質(zhì)量控制是推動科學(xué)發(fā)展與成果轉(zhuǎn)化的關(guān)鍵環(huán)節(jié)。傳統(tǒng)同行評議從首次嘗試到逐步探索并制度化,再到全球范圍內(nèi)得到推廣,歷經(jīng)數(shù)百年發(fā)展至今,在公平與效率等方面都面臨著日益增大的調(diào)適與創(chuàng)新壓力。AI輔助同行評議在提升同行評議效率、簡化同行評議流程、縮短科研成果發(fā)表周期、科學(xué)指派審稿專家以及預(yù)測科研成果影響力等方面都具有重要價值,能夠有效提升同行評議的科學(xué)性。AI技術(shù)契合了同行評議社會化改革的發(fā)展方向,能夠應(yīng)用于同行評議的全過程和多領(lǐng)域。通過對AI輔助同行評議實踐的檢視發(fā)現(xiàn),學(xué)術(shù)機(jī)構(gòu)運(yùn)用數(shù)據(jù)庫進(jìn)行檢索和審查科研成果已經(jīng)相當(dāng)普遍,但是,目前AI輔助同行評議的整體層次尚待提升。

    同時,我們也需要注意不應(yīng)當(dāng)過度依賴AI而忽視人的作用,否則可能會導(dǎo)致“AI輔助”同行評議變成“AI支配”同行評議。在此過程中也需要警惕AI自身的算法問題,以及由此產(chǎn)生的科學(xué)成果質(zhì)量判斷上的倫理挑戰(zhàn),尤其是可能會造成新的公平困境。如何協(xié)調(diào)AI與科研成果管理之間的關(guān)系,如何理順科研管理與算法治理之間的關(guān)系,是未來AI輔助乃至賦能同行評議需要進(jìn)一步探討的問題。

    作者簡介

    徐亦舒,男,安徽大學(xué)新聞傳播學(xué)院講師、編輯出版學(xué)系出版智庫研究員。研究方向:數(shù)字出版、政治傳播。

    查欣雨,女,安徽大學(xué)新聞傳播學(xué)院碩士研究生。研究方向:數(shù)字文化、政治傳播。

    參考文獻(xiàn)

    劉紅,胡新和.學(xué)術(shù)期刊同行評審的發(fā)展、方式及挑戰(zhàn)[J].中國科技期刊研究,2005,16(5):605-608.

    張彤,周云霞,蔡斐,等.學(xué)術(shù)期刊同行評議的歷史演進(jìn)[J].中國科技期刊研究,2019,30 (6):588-595.

    付偉棠.我國學(xué)術(shù)期刊同行評議研究綜述[J].中國科技期刊研究,2019,30(8):819-826.

    WALKER R,DA SILVA P R.Emerging trends in peer review:A survey[J].Frontiers in neuroscience,2015(9):169.

    RUSSELL S J.Artificial intelligence a modern approach[M].New York:Pearson Education Inc,2010.

    CHECCO A,BRACCIALE L,LORETI P,et al.AI-assisted peer review[J].Humanities and Social Sciences Communications,2021,8(1):1-11.

    COZZA V,PETROCCHI M,SPOGNARDI A.A matter of words:NLP for quality evaluation of Wikipedia medical articles[C]//Web Engineering:16th International Conference,ICWE 2016,Lugano,Switzerland.Proceedings 16.Springer International Publishing,2016:448-456.

    RAMACHANDRAN L,GEHRINGER E F,YADAV R K.Automated assessment of the quality of peer reviews using natural language processing techniques[J].International Journal of Artificial Intelligence in Education,2017,(27):534-581.

    KOVANIS M,PORCHER R,RAVAUD P,et al.The global burden of journal peer review in the biomedical literature:Strong imbalance in the collective enterprise[J].PloS One,2016,11(11):e0166387.

    燕曉婕.人工智能時代行政決策的法治化進(jìn)路[J].哈爾濱師范大學(xué)社會科學(xué)學(xué)報,2020,11(1):37-40.

    MROWINSKI M J,F(xiàn)RONCZAK P,RONCZAK A,et al.Intelligence in peer review:How can evolutionary computation support journal editors?[J].PLoS One,2017,12(9):e0184711.

    江虎軍,郝艷妮,徐巖英,等.國家自然科學(xué)基金項目同行評議的智能化探討[J].中國科學(xué)基金,2019,33(2):149-153.

    PRICE S,F(xiàn)LACH P A.Computational support for academic peer review[J].Communications of the ACM,2017,60(3) :70-79.

    張彤,尹歡,蘇磊,等.人工智能輔助學(xué)術(shù)同行評議的應(yīng)用及分類[J].中國科技期刊研究,2021,32(1):65-74.

    白曉梅.基于社會網(wǎng)絡(luò)分析的學(xué)術(shù)影響力評估與預(yù)測[D].大連:大連理工大學(xué),2017.

    董文杰,李苑.科技期刊智能出版工具:UNSILO平臺[J].中國科技期刊研究,2020,31(6):702-709.

    HEAVEN D.AI peer reviewers unleashed to ease publishing grind[J].Nature,2018, 563(7733):609-610.

    陳銳,王文玉.司法人工智能與人類法官的角色定位辨析[J/OL].重慶大學(xué)學(xué)報(社會科學(xué)版),2021:1-16[2023-06-12].網(wǎng)絡(luò)首發(fā).

    界面新聞.巴黎政治大學(xué)禁用ChatGPT以防抄襲[EB/OL].(2023-01-28)[2023-06-12].https:/baijiahao.baidu.com/s?id=1756236407347221652amp;wfrspideramp;for=pc.

    杜駿飛.何以為人?AI興起與數(shù)字化人類[J].南京社會科學(xué),2023(3):76-85.

    Technical Potential, Application Fields and Ethical Concerns of AI-Assisted Peer Review

    XU Yishu, ZHA Xinyu

    School of Journalism and Communication, Anhui University, 230601, Hefei, China

    Abstract: Peer review is an important quality control mechanism for scientific research, but traditional peer review faces challenges from efficiency and fairness in the development process. As an emerging technology, artificial intelligence (AI) has the potential to optimize traditional peer review. By analyzing relevant cases and research results of AI-assisted peer review, the technical potential, application fields, and possible ethical risks and challenges that maybe triggered by AI in peer review were sorted out.AI-assisted peer review is a promising technological exploration, but to ensure the scientificity, fairness and credibility, it is also necessary to fully consider and balance data quality, human-machine collaboration, and ethical norms in the actual "operation process, with a view to breaking through the bottleneck of traditional peer review.

    Keywords: Peer review; Artificial intelligence; Intelligent transformation; Quality control

    xxx96com| 精品午夜福利视频在线观看一区| 听说在线观看完整版免费高清| 欧美三级亚洲精品| 人妻丰满熟妇av一区二区三区| 久久久久性生活片| 99久久无色码亚洲精品果冻| 国产精品av久久久久免费| 成人亚洲精品av一区二区| 日本a在线网址| 99热只有精品国产| 日韩成人在线观看一区二区三区| 午夜影院日韩av| 精品不卡国产一区二区三区| 麻豆一二三区av精品| 亚洲av成人精品一区久久| 国产日本99.免费观看| 这个男人来自地球电影免费观看| 女生性感内裤真人,穿戴方法视频| 少妇丰满av| 日韩人妻高清精品专区| 一二三四在线观看免费中文在| 一级毛片精品| 99热这里只有是精品50| 99久国产av精品| 色视频www国产| 成人av在线播放网站| 亚洲精华国产精华精| 亚洲性夜色夜夜综合| 琪琪午夜伦伦电影理论片6080| 日本与韩国留学比较| 又黄又粗又硬又大视频| 男女那种视频在线观看| 成年免费大片在线观看| 成人性生交大片免费视频hd| 欧美色视频一区免费| 欧美zozozo另类| 叶爱在线成人免费视频播放| 美女高潮喷水抽搐中文字幕| 国产精品久久久av美女十八| 国产精品久久久久久亚洲av鲁大| 午夜视频精品福利| 欧美日韩黄片免| 老熟妇乱子伦视频在线观看| 亚洲av片天天在线观看| 国内精品久久久久精免费| 淫妇啪啪啪对白视频| 一级毛片女人18水好多| 免费一级毛片在线播放高清视频| 久久久精品大字幕| 国产高清videossex| 午夜成年电影在线免费观看| 亚洲avbb在线观看| 婷婷丁香在线五月| 免费看日本二区| 欧美色欧美亚洲另类二区| 国产淫片久久久久久久久 | 欧美成人性av电影在线观看| 香蕉丝袜av| 国产一区二区三区在线臀色熟女| 亚洲av电影在线进入| 99在线人妻在线中文字幕| 亚洲18禁久久av| 琪琪午夜伦伦电影理论片6080| 国产亚洲欧美在线一区二区| 亚洲精品粉嫩美女一区| 国产精品九九99| 免费大片18禁| 亚洲性夜色夜夜综合| 国内毛片毛片毛片毛片毛片| or卡值多少钱| 午夜福利免费观看在线| 成在线人永久免费视频| 琪琪午夜伦伦电影理论片6080| 国产高清视频在线观看网站| 久久99热这里只有精品18| 国产一级毛片七仙女欲春2| 韩国av一区二区三区四区| 亚洲欧洲精品一区二区精品久久久| 制服人妻中文乱码| 高清在线国产一区| 亚洲欧洲精品一区二区精品久久久| 精品久久久久久久久久免费视频| 国内精品久久久久精免费| 啦啦啦韩国在线观看视频| 一级毛片精品| 免费在线观看日本一区| 级片在线观看| 成人欧美大片| 麻豆一二三区av精品| 亚洲一区二区三区不卡视频| 日韩国内少妇激情av| 99国产精品一区二区三区| 一本综合久久免费| 不卡av一区二区三区| 久久精品国产综合久久久| 韩国av一区二区三区四区| 亚洲国产日韩欧美精品在线观看 | 国产精品一区二区免费欧美| 久久久久精品国产欧美久久久| 久久人人精品亚洲av| 精品国内亚洲2022精品成人| 欧美最黄视频在线播放免费| 两个人看的免费小视频| 精品久久久久久久久久久久久| 欧洲精品卡2卡3卡4卡5卡区| 精品日产1卡2卡| 午夜成年电影在线免费观看| 日本一本二区三区精品| 亚洲人成网站高清观看| 一级毛片精品| 亚洲av成人一区二区三| 亚洲国产日韩欧美精品在线观看 | 99热精品在线国产| 成人18禁在线播放| 亚洲欧洲精品一区二区精品久久久| 久久热在线av| 中文字幕久久专区| 免费观看精品视频网站| 小蜜桃在线观看免费完整版高清| 中文资源天堂在线| 757午夜福利合集在线观看| 亚洲熟女毛片儿| 日韩免费av在线播放| 久久人人精品亚洲av| 亚洲成人中文字幕在线播放| 18禁观看日本| 女人高潮潮喷娇喘18禁视频| 女人高潮潮喷娇喘18禁视频| 欧美av亚洲av综合av国产av| 午夜a级毛片| 久久久久久久久久黄片| 亚洲狠狠婷婷综合久久图片| 一个人免费在线观看电影 | 亚洲成av人片在线播放无| 757午夜福利合集在线观看| 精品不卡国产一区二区三区| ponron亚洲| 搡老岳熟女国产| 亚洲片人在线观看| 岛国视频午夜一区免费看| 精品久久久久久久毛片微露脸| 90打野战视频偷拍视频| 久久亚洲真实| 久久久国产成人免费| 又爽又黄无遮挡网站| 99热这里只有精品一区 | 小说图片视频综合网站| 午夜视频精品福利| 97人妻精品一区二区三区麻豆| 在线观看一区二区三区| 国产成人福利小说| а√天堂www在线а√下载| 性色avwww在线观看| 中文字幕精品亚洲无线码一区| 久久草成人影院| 国产 一区 欧美 日韩| 国产成人精品久久二区二区免费| 91九色精品人成在线观看| 亚洲专区国产一区二区| 日韩免费av在线播放| 国内揄拍国产精品人妻在线| 国产精品一区二区三区四区久久| 亚洲狠狠婷婷综合久久图片| 中亚洲国语对白在线视频| 亚洲国产色片| 法律面前人人平等表现在哪些方面| 国产成人精品久久二区二区免费| 精品福利观看| 亚洲专区中文字幕在线| 国产精品av视频在线免费观看| 国产成年人精品一区二区| 91av网站免费观看| 俺也久久电影网| xxxwww97欧美| 免费在线观看成人毛片| 男人舔女人的私密视频| 欧洲精品卡2卡3卡4卡5卡区| 午夜影院日韩av| 中亚洲国语对白在线视频| 观看美女的网站| 国产亚洲av嫩草精品影院| 久久久国产成人精品二区| 国产人伦9x9x在线观看| 麻豆一二三区av精品| 在线a可以看的网站| 国产av在哪里看| 天堂动漫精品| 免费搜索国产男女视频| 精品一区二区三区视频在线 | 别揉我奶头~嗯~啊~动态视频| xxxwww97欧美| 亚洲在线自拍视频| 少妇熟女aⅴ在线视频| 两个人的视频大全免费| 欧美在线黄色| 一二三四社区在线视频社区8| av视频在线观看入口| bbb黄色大片| 成人18禁在线播放| 可以在线观看毛片的网站| tocl精华| 精品久久蜜臀av无| 高潮久久久久久久久久久不卡| 成人高潮视频无遮挡免费网站| 黄色 视频免费看| avwww免费| 19禁男女啪啪无遮挡网站| 亚洲av第一区精品v没综合| 欧美日韩福利视频一区二区| 色av中文字幕| 高潮久久久久久久久久久不卡| 亚洲va日本ⅴa欧美va伊人久久| 18禁观看日本| 国产精品久久久人人做人人爽| 国产一区二区激情短视频| 欧美xxxx黑人xx丫x性爽| aaaaa片日本免费| 中文字幕最新亚洲高清| 国产伦在线观看视频一区| 午夜视频精品福利| 精品国产三级普通话版| 久久久久久久久久黄片| 香蕉丝袜av| 99在线视频只有这里精品首页| 色av中文字幕| 无限看片的www在线观看| 18禁观看日本| 中文字幕人妻丝袜一区二区| 91在线精品国自产拍蜜月 | a级毛片a级免费在线| 欧美zozozo另类| x7x7x7水蜜桃| 久久热在线av| 成人永久免费在线观看视频| 我的老师免费观看完整版| 久久亚洲精品不卡| 免费看美女性在线毛片视频| 精品熟女少妇八av免费久了| 亚洲男人的天堂狠狠| 黑人操中国人逼视频| 在线a可以看的网站| 啦啦啦免费观看视频1| 国产午夜精品久久久久久| 十八禁人妻一区二区| 亚洲精品456在线播放app | 成人欧美大片| 全区人妻精品视频| 精品国产三级普通话版| 日日干狠狠操夜夜爽| x7x7x7水蜜桃| 亚洲在线自拍视频| 手机成人av网站| 久久久久亚洲av毛片大全| 91麻豆精品激情在线观看国产| 91在线精品国自产拍蜜月 | 嫁个100分男人电影在线观看| 首页视频小说图片口味搜索| 免费观看精品视频网站| 黑人巨大精品欧美一区二区mp4| 国产高清激情床上av| 夜夜爽天天搞| 久久精品国产99精品国产亚洲性色| 国产成人av激情在线播放| 欧美激情久久久久久爽电影| 999久久久国产精品视频| 精品国产美女av久久久久小说| 黄频高清免费视频| 日本撒尿小便嘘嘘汇集6| 国产激情偷乱视频一区二区| 亚洲一区二区三区色噜噜| 1024香蕉在线观看| 99久久无色码亚洲精品果冻| 免费在线观看亚洲国产| 日韩大尺度精品在线看网址| 99国产精品一区二区三区| 日本五十路高清| 最近视频中文字幕2019在线8| 久久久国产成人免费| 国产 一区 欧美 日韩| 曰老女人黄片| 色在线成人网| a级毛片a级免费在线| 欧美日韩一级在线毛片| 淫妇啪啪啪对白视频| 999久久久精品免费观看国产| 久久精品国产清高在天天线| a级毛片在线看网站| 精品久久蜜臀av无| 天堂av国产一区二区熟女人妻| 在线观看66精品国产| 国产精品久久久人人做人人爽| 欧美成人性av电影在线观看| 夜夜夜夜夜久久久久| 黑人操中国人逼视频| 亚洲一区二区三区色噜噜| 国产主播在线观看一区二区| 亚洲性夜色夜夜综合| 亚洲欧美激情综合另类| 久久久久久久久中文| 日韩欧美 国产精品| 中文字幕人成人乱码亚洲影| 俄罗斯特黄特色一大片| 亚洲欧美激情综合另类| 99国产精品99久久久久| 精品一区二区三区视频在线观看免费| 精品国产三级普通话版| 香蕉丝袜av| 三级毛片av免费| 国产激情欧美一区二区| 99视频精品全部免费 在线 | 1024手机看黄色片| 伦理电影免费视频| 手机成人av网站| 99久久精品热视频| 毛片女人毛片| 一本精品99久久精品77| 曰老女人黄片| 无遮挡黄片免费观看| 一个人免费在线观看的高清视频| 日韩有码中文字幕| 韩国av一区二区三区四区| 国产男靠女视频免费网站| 免费高清视频大片| 在线观看免费午夜福利视频| 亚洲午夜理论影院| 亚洲精品一区av在线观看| 少妇裸体淫交视频免费看高清| 欧美色欧美亚洲另类二区| 亚洲国产日韩欧美精品在线观看 | 亚洲 欧美 日韩 在线 免费| 99热只有精品国产| 嫁个100分男人电影在线观看| 国产高清videossex| 欧美三级亚洲精品| 99精品欧美一区二区三区四区| 香蕉国产在线看| 成人一区二区视频在线观看| 免费在线观看影片大全网站| 97超视频在线观看视频| 久久久国产成人免费| 午夜日韩欧美国产| 嫩草影视91久久| 露出奶头的视频| 欧美色欧美亚洲另类二区| 又黄又粗又硬又大视频| www日本黄色视频网| 国产一区二区三区在线臀色熟女| 久久久国产成人免费| 一卡2卡三卡四卡精品乱码亚洲| 精品日产1卡2卡| 国产成人av激情在线播放| 国产免费男女视频| 国产精品亚洲一级av第二区| 久久欧美精品欧美久久欧美| 一区福利在线观看| 国产欧美日韩精品亚洲av| 国产伦人伦偷精品视频| 99久久无色码亚洲精品果冻| 好男人在线观看高清免费视频| 狂野欧美白嫩少妇大欣赏| 欧美成人免费av一区二区三区| 两个人看的免费小视频| 亚洲一区二区三区不卡视频| 国产精品亚洲一级av第二区| 一区二区三区高清视频在线| 日韩人妻高清精品专区| 2021天堂中文幕一二区在线观| 日韩 欧美 亚洲 中文字幕| 深夜精品福利| 国产精品av久久久久免费| 一边摸一边抽搐一进一小说| bbb黄色大片| 国产高清videossex| 9191精品国产免费久久| 国语自产精品视频在线第100页| 国产一区二区三区视频了| 久久久久久大精品| 桃色一区二区三区在线观看| 成人国产综合亚洲| 少妇丰满av| 久久性视频一级片| 可以在线观看毛片的网站| av天堂在线播放| 91在线精品国自产拍蜜月 | 少妇的丰满在线观看| av福利片在线观看| 香蕉av资源在线| 久9热在线精品视频| 搡老熟女国产l中国老女人| 97人妻精品一区二区三区麻豆| 久久精品91无色码中文字幕| 亚洲天堂国产精品一区在线| 久久香蕉精品热| 久久久久久大精品| 亚洲第一欧美日韩一区二区三区| 一个人看视频在线观看www免费 | 亚洲自拍偷在线| av视频在线观看入口| 国产高清三级在线| 999久久久精品免费观看国产| 欧美黑人欧美精品刺激| 亚洲欧美日韩高清专用| 国产精品野战在线观看| 婷婷精品国产亚洲av在线| 国产成人精品久久二区二区91| 在线播放国产精品三级| 日本黄色视频三级网站网址| www.999成人在线观看| 午夜激情福利司机影院| 成人国产综合亚洲| 久久中文看片网| 精品无人区乱码1区二区| 亚洲国产精品合色在线| 国产91精品成人一区二区三区| 99在线视频只有这里精品首页| 亚洲av片天天在线观看| 亚洲成人中文字幕在线播放| 欧美xxxx黑人xx丫x性爽| 窝窝影院91人妻| www日本黄色视频网| 欧美成人一区二区免费高清观看 | 1024香蕉在线观看| 一级作爱视频免费观看| 亚洲国产精品合色在线| 黄片小视频在线播放| 99热6这里只有精品| 国产成+人综合+亚洲专区| 巨乳人妻的诱惑在线观看| 嫩草影院精品99| 国产亚洲精品久久久com| 精品久久久久久成人av| 搡老熟女国产l中国老女人| 老汉色∧v一级毛片| 99re在线观看精品视频| 午夜福利免费观看在线| 男插女下体视频免费在线播放| 免费看日本二区| 国产精品亚洲美女久久久| 久久欧美精品欧美久久欧美| 免费高清视频大片| 男人的好看免费观看在线视频| 蜜桃久久精品国产亚洲av| 日本黄大片高清| 成人三级黄色视频| 久久久久久国产a免费观看| 男女视频在线观看网站免费| e午夜精品久久久久久久| 欧美一级a爱片免费观看看| 亚洲人成网站在线播放欧美日韩| a级毛片a级免费在线| 日韩欧美在线二视频| 91字幕亚洲| 精品一区二区三区视频在线观看免费| 舔av片在线| 欧美大码av| 最新中文字幕久久久久 | 国产v大片淫在线免费观看| 999久久久精品免费观看国产| 观看美女的网站| 久久久精品大字幕| 国产不卡一卡二| 国产欧美日韩一区二区精品| 不卡av一区二区三区| 亚洲av免费在线观看| 亚洲第一欧美日韩一区二区三区| 不卡一级毛片| 欧美黑人巨大hd| 免费一级毛片在线播放高清视频| 国产又色又爽无遮挡免费看| 亚洲人成电影免费在线| 亚洲最大成人中文| 亚洲av成人av| 午夜福利成人在线免费观看| 久久久久久人人人人人| 俺也久久电影网| 免费无遮挡裸体视频| 极品教师在线免费播放| 国产高清三级在线| 色在线成人网| 欧美乱妇无乱码| 婷婷精品国产亚洲av| 99国产综合亚洲精品| 天堂av国产一区二区熟女人妻| 在线永久观看黄色视频| 首页视频小说图片口味搜索| 欧美一区二区精品小视频在线| 这个男人来自地球电影免费观看| 日韩国内少妇激情av| 日本精品一区二区三区蜜桃| 成人鲁丝片一二三区免费| 又粗又爽又猛毛片免费看| 午夜精品在线福利| 亚洲人成网站在线播放欧美日韩| 午夜福利免费观看在线| 免费观看精品视频网站| 99久久精品热视频| 亚洲第一欧美日韩一区二区三区| av在线蜜桃| 十八禁人妻一区二区| 亚洲精品一卡2卡三卡4卡5卡| 日本免费a在线| 久久久久久久久中文| 变态另类丝袜制服| 在线播放国产精品三级| 搡老岳熟女国产| 99久久精品国产亚洲精品| 国内少妇人妻偷人精品xxx网站 | 在线a可以看的网站| 国产精品女同一区二区软件 | 一本综合久久免费| 国产一区二区在线av高清观看| 免费观看精品视频网站| 国产成年人精品一区二区| 中文字幕最新亚洲高清| 国产不卡一卡二| 久久久久国产一级毛片高清牌| 午夜福利在线在线| 欧美日韩一级在线毛片| 日本成人三级电影网站| 91久久精品国产一区二区成人 | 黄色片一级片一级黄色片| 欧美日韩黄片免| 丝袜人妻中文字幕| 婷婷精品国产亚洲av| 色播亚洲综合网| 日韩国内少妇激情av| 一个人免费在线观看的高清视频| 一级毛片精品| 黄片小视频在线播放| 午夜成年电影在线免费观看| 欧美日本亚洲视频在线播放| 亚洲人成伊人成综合网2020| 国产高清视频在线播放一区| 欧美成狂野欧美在线观看| 国产伦一二天堂av在线观看| 综合色av麻豆| 成人欧美大片| 国产成人福利小说| 国产在线精品亚洲第一网站| 国产主播在线观看一区二区| 国产97色在线日韩免费| 嫩草影视91久久| 无人区码免费观看不卡| 亚洲精品在线美女| 男女视频在线观看网站免费| 亚洲午夜精品一区,二区,三区| 亚洲欧美日韩卡通动漫| 国内精品一区二区在线观看| 综合色av麻豆| 久久国产精品人妻蜜桃| 久久天堂一区二区三区四区| bbb黄色大片| 国产精品一区二区三区四区免费观看 | 在线观看免费视频日本深夜| 少妇裸体淫交视频免费看高清| 天堂影院成人在线观看| 国产主播在线观看一区二区| 成年免费大片在线观看| 久久久国产欧美日韩av| 免费在线观看亚洲国产| ponron亚洲| 亚洲成av人片免费观看| 亚洲精品一卡2卡三卡4卡5卡| 99久久无色码亚洲精品果冻| 精品国内亚洲2022精品成人| 亚洲熟妇熟女久久| 夜夜躁狠狠躁天天躁| 久久这里只有精品中国| 久久草成人影院| 日韩欧美国产一区二区入口| 三级毛片av免费| 午夜两性在线视频| 青草久久国产| 99热只有精品国产| 狂野欧美白嫩少妇大欣赏| 小说图片视频综合网站| 免费观看人在逋| 亚洲国产日韩欧美精品在线观看 | 久久这里只有精品19| 黑人巨大精品欧美一区二区mp4| 舔av片在线| 国产午夜精品论理片| a级毛片a级免费在线| 欧美绝顶高潮抽搐喷水| 国产成人精品无人区| 超碰成人久久| 性色av乱码一区二区三区2| 亚洲午夜理论影院| 俺也久久电影网| 亚洲自偷自拍图片 自拍| 哪里可以看免费的av片| 一级毛片精品| 岛国视频午夜一区免费看| 啦啦啦韩国在线观看视频| 成年女人永久免费观看视频| 亚洲在线观看片| 成年女人永久免费观看视频| 久久久久久久久免费视频了| 19禁男女啪啪无遮挡网站| 亚洲av片天天在线观看| 露出奶头的视频| 日本熟妇午夜| 国产精品 国内视频| 日韩精品中文字幕看吧| 在线观看午夜福利视频| 国产精品98久久久久久宅男小说| 最近最新免费中文字幕在线| 国产精品99久久99久久久不卡| 亚洲七黄色美女视频| 在线观看66精品国产| 99riav亚洲国产免费| 亚洲熟女毛片儿| 午夜福利在线观看吧| 日本成人三级电影网站|