• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    學術文本詞匯功能識別
    ——在論文新穎性度量上的應用

    2022-07-30 01:20:02羅卓然程齊凱
    情報學報 2022年7期
    關鍵詞:新穎性語義向量

    羅卓然,陸 偉,蔡 樂,程齊凱

    (1. 武漢大學信息管理學院,武漢 430072;2. 武漢大學信息檢索與知識挖掘研究所,武漢 430072)

    1 引 言

    從科學的發(fā)展來看,科學研究開始于問題發(fā)現(xiàn)[1],美國著名科學哲學家L?勞丹曾在其著作《進步及其問題——一種新的科學增長理論》中強調(diào),科學研究的目的是解決問題;問題和方法是科研工作的重要組成內(nèi)容,其中問題和方法的描述是科學話語的重要組成部分[2],它以特定的形式和程度表現(xiàn)在論文中,固化為論文中的某些詞匯或詞匯組合[3]。在創(chuàng)新學研究中,組合往往被看作創(chuàng)新產(chǎn)生的一個重要來源。創(chuàng)新理論的鼻祖約瑟夫·熊彼特(Joseph Alois Schumpeter) 在其著作《經(jīng)濟發(fā)展理論》中提出創(chuàng)新(innovation)是已有生產(chǎn)要素和生產(chǎn)條件的組合[4],該觀點后來得到了國際上許多有影響力學者的支持[5-6]。目前,學術界對于學術文本中的“創(chuàng)新”這一概念還未形成統(tǒng)一定義,常見的指代詞如新穎性、創(chuàng)新力、顛覆性、innovation、novelty、creativity、fresh ideas、disruptive innovation等從創(chuàng)新的內(nèi)容、時間、價值、影響等層面描述了創(chuàng)新的特征。學術研究成果的新穎性(novelty)能夠在某種程度上反映其創(chuàng)新性或前沿性[7],由于成果的價值一般需要較長的時間才能體現(xiàn)出來,在科研評價研究中常用新穎性描述研究成果的創(chuàng)新特質(zhì)。通過文獻調(diào)研與分析,本文發(fā)現(xiàn)學術論文的新穎性主要源于研究問題、研究方法、研究結論等元素的重組與結合,其中研究問題與研究方法的組合是形成創(chuàng)新的重要方式[2]。

    在科學研究領域,研究人員發(fā)現(xiàn)影響最大的科學研究成果主要基于以往工作的組合,尤其那些非典型的組合[8-11],并提出新穎性的主要來源是已有元素的重組或既有元素與新概念的組合[12-13]。此外,組合新穎性的內(nèi)容和形式也不拘一格,國內(nèi)外學者從參考文獻組合[14]、參考文獻的期刊組合[8-9,15]、詞匯組合共現(xiàn)[12,16-17]等內(nèi)容的組合對科學創(chuàng)新進行了研究。上述研究從組合創(chuàng)新的視角研究了科研論文的創(chuàng)新范式,為學術論文新穎性度量和創(chuàng)新性評價提供了理論和方法基礎。然而,這種從期刊組合或參考文獻組合的角度度量新穎性的方法,在脫離論文內(nèi)容的情況下測度論文新穎性,對新穎性的解釋力度還有所欠缺。值得注意的是,部分研究從論文詞匯組合的角度開展了新穎性研究,這類研究的對象更接近創(chuàng)新本體的內(nèi)容層面,但是僅從詞匯組合頻率的角度計算新穎性[18-19],而缺少考慮詞匯之間的語義差異,這種情況下可能會忽略新穎性的重要特征。例如,對生物醫(yī)學詞匯之間的組合和生物醫(yī)學與計算機科學詞匯的組合而言,后者是一種跨學科詞匯的組合,這種組合能為新穎性來源和創(chuàng)新擴散的研究提供重要線索。挖掘組合詞匯的語義內(nèi)涵,可以揭示不同跨領域研究背后的知識交叉與融合情況[20],有助于從詞匯功能的角度揭示論文新穎性的語義內(nèi)涵[21]。

    學術文本的詞匯功能是根據(jù)文本所在的語義環(huán)境對其承擔的語義角色和功能的認知和理解[22]。學術論文作為科研成果載體,其核心問題和核心方法解釋了論文待研究的問題和解決途徑[23],是體現(xiàn)論文新穎性和價值的重要功能元素。目前,國內(nèi)外關于學術論文中的研究問題或研究方法的研究,主要集中在領域研究主題識別[24]、研究方法庫構建[25]、跨學科研究問題[26]與研究方法分析[27-28]等方面,而將問題與方法的組合應用在論文新穎性測度上的研究相對較少。

    為進一步探索面向文本內(nèi)容層面的新穎性度量方法,本文以組合新穎性理論為基礎,以學術論文細粒度詞匯功能語義差異為切入點,利用深度學習預訓練模型獲取蘊含語義信息的詞向量,提出面向CS(computer science)領域進一步預訓練的詞匯新穎性計算方法,通過模型對比實驗證明本文的預訓練模型表現(xiàn)效果更好。最后,將提出的語義新穎性計算方法與已有的共現(xiàn)率新穎性計算方法進行比較,結果表明,本文提出的方法能夠捕獲詞匯及詞匯組合之間更細粒度的新穎性差異。

    2 相關研究

    2.1 學術文本詞匯功能研究

    術語抽取是海量文獻內(nèi)容分析研究的基礎,其中不同術語的功能識別是分析術語語義功能的重要環(huán)節(jié)。伴隨著細粒度文本挖掘和實體抽取研究的深入,文本詞匯功能識別研究引起了越來越多的關注,學者們從內(nèi)容元素、概念類型、詞匯功能和知識元等角度開展了詞匯功能相關研究。Kondo 等[29]將標題中的內(nèi)容元素分為head、method、goal 和other 四類,并通過構建特定領域的方法/技術演化路徑構建了技術趨勢圖生成系統(tǒng)。Gupta 等[30]將學術文獻的詞匯功能分為話題、技術和領域三類并實現(xiàn)其自動識別。Tsai 等[31]將收錄于ACL(Associa‐tion for Computational Linguistics) 數(shù)據(jù)庫中的科學文獻中的概念分為技術(technique)和應用(appli‐cation)兩個功能類別,并提出了用于識別、歸納和聚類這兩類概念的算法,研究結果可為深入了解ACL 社區(qū)的研究進展、變化和趨勢提供有用的見解。Tuomaala 等[32]對LIS (library and information science)領域1965—2005 年發(fā)表的研究論文進行了內(nèi)容分析,分析了研究論文主題分布與采用的方法和策略,解釋了研究問題和研究方法之間的聯(lián)系。Heffernan 等[2]認為科學研究是問題提出和解決的過程,將科學文獻中的詞匯功能分為研究問題和解決方法,并訓練分類模型對短語是否為問題或方法進行二值判斷。近年來,國內(nèi)學者也對學術文本術語及詞匯功能識別展開了一些探索和研究。趙洪等[33]構建了面向理論術語的深度學習模型,研究了該模型中理論術語的特征構造和標注方法,并通過實驗對比驗證了該模型的有效性。王昊等[34]對情報學理論方法進行研究,利用深度學習模型開展了訓練與測試,發(fā)現(xiàn)術語實體的長度、訓練語料量、實體的類型和數(shù)量等因素也與識別結果直接相關。李賀等[35]構建了學術論文的研究問題、理論、方法、結論4 個知識元本體,提出了基于知識元的學術論文創(chuàng)新性判斷方法。章成志等[36]將研究方法分為論文使用研究方法和論文引用研究方法,以《情報學報》10 年的論文全文為數(shù)據(jù)對象,利用神經(jīng)網(wǎng)絡模型抽取了研究方法實體并分析了其使用情況,發(fā)現(xiàn)情報學學科領域中使用頻次和引用頻次最高的均是與實驗相關的研究方法。化柏林[28]通過對文獻中研究方法內(nèi)容描述的分析,將學術論文中的方法知識元總結為方法定義知識元、方法關系知識元、方法特點知識元、方法流程知識元和方法功能知識元5種類型。程齊凱等[37]提出了一種基于深度學習和標題生成策略的學術文本詞匯功能識別模型,基于seq2seq 模型和attention 機制的方式捕獲詞匯的多層語義信息,實現(xiàn)了學術文本中問題詞和方法詞的生成。陸偉等[38]構造了一種基于規(guī)則標題的數(shù)據(jù)標注方法對數(shù)據(jù)進行標注,并利用BERT(bidirectional encoder representation from transformers)預訓練模型對輸入的文本進行向量化表征,利用LSTM(long short-term memory)對關鍵詞進行自動判別以實現(xiàn)論文關鍵詞的問題或方法的識別。

    2.2 組合新穎性度量研究

    在學術論文新穎性度量與評價研究領域,不少學者試圖將基于人工甄別的傳統(tǒng)新穎性度量方式轉(zhuǎn)化為自動識別的新型評價方式。作為創(chuàng)新模式研究的重要范式之一,組合目的是對創(chuàng)新發(fā)展和創(chuàng)新擴散過程進行理論化與建模[39-40]。從組合內(nèi)容和方式來看,代表性研究為參考文獻的期刊組合。Uzzi等[8]率先提出了基于重組的論文創(chuàng)新性度量,他們分析了來自Web of Science 中1950—2000 年發(fā)表的近1790 萬篇文獻,發(fā)現(xiàn)論文新穎性與先前工作的非常規(guī)組合有較大相關性。Boyack 等[15]基于Uzzi 等[8]的方法,以Scopus 中收錄的期刊為數(shù)據(jù)對象,利用基于期望標準差的K50 指標替代了Z-score 指標,結果顯示,該方法可以在文獻發(fā)表后的更早期得出同樣的結論。Wang 等[9]將科學研究視為一個組合過程,通過檢查已發(fā)表的論文是否首次對參考期刊進行組合來衡量科學的新穎性。除了參考文獻的期刊組合之外,有研究者直接利用參考文獻的組合來度量文獻的新穎性。Mukherjee 等[14]基于參考文獻的共被引網(wǎng)絡建立了“常規(guī)性-新穎性”的二維坐標系,將論文劃分為4 個創(chuàng)新類型。Ponomarev 等[41]認為,開創(chuàng)性成果是基于對已有研究的回顧與總結,提出了基于出版物引用動態(tài)檢測方法,并建立了論文創(chuàng)新性預測模型。Tahamtan 等[10]認為一篇論文中參考文獻的不尋常組合可以揭示其新穎性潛質(zhì),通過分析論文引文網(wǎng)絡中不同類型、不同主題的組合,歸納出了創(chuàng)新性論文常見的主題組合模式。此外,部分學者從與論文直接相關的詞匯角度度量了論文的新穎性。Azoulay 等[12]通過檢查論文中的MeSH 主題詞對,計算未出現(xiàn)在PubMed 上所有先前文獻中的詞對所占的比例,來衡量出版物的重組特征與新穎性,發(fā)現(xiàn)論文的重組程度與引文量之間存在負相關關系。Yan 等[40]定義了論文的新組合和新組件,提出了一種利用論文的關鍵字測度組合新穎性的方法。從問題詞和方法詞的角度,王艷艷等[18]利用人工的方法抽取科技文獻中的問題和方法,將問題、方法作為兩個維度構建了新穎性評估方法模型。錢佳佳等[19]根據(jù)詞頻和詞組合的頻次,提出了一種基于問題-方法組合的科技論文新穎性度量方法。Luo 等[42]考慮了詞匯的年齡和語義差異,提出了從詞匯生命指數(shù)和語義相似度兩個角度計算論文新穎性的方法。綜上,相關研究從期刊組合、引文組合、主題詞組合等角度開展了組合新穎性研究,也有從問題詞和方法詞的不同功能角度探索了論文新穎性測度,為本文的研究提供了良好借鑒的同時也存在研究數(shù)據(jù)不足、方法受限等情況。在此現(xiàn)狀下,本文發(fā)現(xiàn)從語義層面度量論文新穎性仍有進一步探索的空間。

    學術論文的研究問題與研究方法是表達學術文本新穎性的主要功能詞匯,這種具有特殊語義功能詞匯的組合為新穎性研究提供了新思路。因此,本文在前期學術文本詞匯功能研究的基礎上開展詞匯功能在論文新穎性度量上的研究。

    3 基于語義相似度的“問題-方法”新穎性度量方法

    3.1 數(shù)據(jù)選擇

    在程齊凱等[37]、陸偉等[38]前期關于詞匯功能的研究基礎上,本文利用論文研究問題、研究方法及其組合來測度論文的新穎性。為此,需要在論文中預先提取表征研究問題與研究方法的詞匯。由于論文的研究問題或研究方法可能不只一個,本文僅抽取了每篇論文中主要的問題詞和方法詞,即將論文認為是某一問題與某一方法的組合。本文中的主要問題詞是指能夠代表論文核心研究問題的詞或詞組,主要方法詞是指用于表征論文為研究解決問題所采用的方法、模型、工具或途徑的詞或詞組。實際中存在部分論文涉及多個研究問題或方法的情況,對于本文研究的組合新穎性而言,測度主要問題和主要方法的組合已能夠達到本文的研究目的,而多問題與多方法的自動抽取研究是下一步待解決的問題。

    本 文 將ACM (Association for Computing Ma‐chinery)Digital Library(下稱ACM 數(shù)據(jù)庫)作為數(shù)據(jù)來源,該數(shù)據(jù)庫收錄了計算機領域權威和前瞻性的出版物,提供了解計算機和信息技術領域資源的窗口。陸偉等[38]提出的問題方法識別模型整體準確率、召回率和F1 值分別達到0.83、0.87 和0.85,優(yōu)于傳統(tǒng)模型的效果。本文利用該模型提取了ACM數(shù)據(jù)庫中1968—2018 年的200182 篇文獻的研究問題詞和研究方法詞,并比較了模型識別效果與人工判斷的差異,在隨機篩選的100 條數(shù)據(jù)中主要問題方法詞識別一致性為82%。然后,抽取了每篇論文的DOI 號、題目、摘要、關鍵詞、發(fā)表時間等題錄信息,統(tǒng)計截止到2021 年2 月論文在ACM 數(shù)據(jù)庫中顯示的被引量。數(shù)據(jù)清洗操作中刪除了字段為空的數(shù)據(jù)記錄,保留了200103 條包含題錄信息和被引量在內(nèi)的“問題-方法”記錄數(shù)據(jù),并將其保存在數(shù)據(jù)庫中,實驗數(shù)據(jù)隨時間的數(shù)量分布如圖1 所示。統(tǒng)計每組“問題-方法”對出現(xiàn)頻數(shù),再按照字母升序的方式為每一個問題詞和方法詞構建索引。最后,在數(shù)據(jù)庫中對所有的記錄數(shù)據(jù)進行條件查詢,并為每條記錄的論文設置索引ID,從實驗數(shù)據(jù)中隨機抽取2018 年的200 條記錄作為分析數(shù)據(jù),剩余的199903 條數(shù)據(jù)作為歷史對照數(shù)據(jù)。

    圖1 論文數(shù)量分布

    3.2 技術基礎

    為從語義層面計算問題詞與方法詞的新穎性差異,本文采用深度學習預訓練模型,在大規(guī)??茖W文本數(shù)據(jù)集上訓練問題方法詞和方法詞的詞向量模型。詞向量是一種將詞表示成向量的無監(jiān)督學習技術,代表性的詞向量訓練模型有word2vec[43]、GloVe[44]、BERT[45]等。2018 年,谷歌提出的BERT模型刷新了自然語言處理領域的11 個方向的最佳指標,是繼word2vec 之后深度學習方法在自然語言處理中的又一突破。BERT 模型利用Transformer[46]構造多層雙向編碼,該模型訓練的詞向量可用于文本相似度相關任務中。Su[47]于2020 年提出的Sim‐BERT 模型是經(jīng)過微調(diào)的BERT 模型,在文本相似度任務上效果提升顯著,可見BERT 模型在語義相似度判斷上仍具有較好的表現(xiàn)。此外,SciBERT 是Beltagy 等[48]提出的一種基于BERT 的預訓練語言模型,該模型在BERT 的基礎上進一步在大型多領域的科學出版物語料庫上進行了無監(jiān)督預訓練,提高了模型處理下游自然語言處理任務的性能,該模型能用于解決缺乏高質(zhì)量、大規(guī)模標注科學數(shù)據(jù)的問題。

    鑒于科學語料在詞匯功能與內(nèi)容含義層面具有高度的專業(yè)性和領域區(qū)分度,直接使用SciBERT 的問題在于對所有的輸入向量都傾向于編碼到一個較小的空間區(qū)域內(nèi),導致大多數(shù)的問題方法詞對都具有較高的相似度分數(shù),不利于語義新穎性差異化度量。為此,本文參考文本表示領域的常規(guī)做法[49-50],再次引入ACM 語料做進一步預訓練,在獲取更好語言模型的同時得到更能表征問題詞和方法詞真實差異的向量表示。語言模型效果的常用評價指標是困惑度(perplexity),在一個測試集上得到的困惑度越低,說明建模的效果越好[51]。本文選擇困惑度作為模型評價指標。

    3.3 模型訓練與詞匯新穎性計算

    為從語義層面度量學術論文中研究問題詞匯與研究方法詞匯的新穎性差異,本文基于BERT 模型將詞匯表示成詞向量的形式,將利用這些詞向量表示輔助計算“問題-方法”組合的新穎性。進一步地,本文提出一個面向CS 領域進一步預訓練(fur‐ther pretrain)的詞匯新穎性計算方法,如圖2 所示。本文在SciBERT 的基礎上引入ACM 數(shù)據(jù)庫中200182 篇論文中的標題及摘要信息,通過無監(jiān)督訓練任務根據(jù)句子上下文來預測的概率分布,實現(xiàn)對SciBERT 的進一步預訓練,通過對模型調(diào)參和訓練,生成面向ACM 論文語料的詞向量表征模型SciBERT-further。

    圖2 面向CS領域進一步預訓練的詞匯新穎性計算方法

    進一步預訓練模型效果驗證。首先,對收集到的ACM 語料進行分句并統(tǒng)計句子信息,結果表明,25%的句子是短句,在15 詞以內(nèi),75%的句子在27詞以內(nèi),最大句長76 詞。為盡可能完全覆蓋語料中的句子,再訓練時設置模型最大句長為72。在打亂句子順序后,按照9∶1 的方式劃分訓練集和測試集。然后,針對本文相似的問題-方法在編碼后的表示空間中應當相近,不同的問題-方法應相距較遠的需求,為獲取更好的詞匯級詞向量表示,對同一樣本利用打亂詞序、特征裁剪兩種方式進行數(shù)據(jù)增強,同時利用模型的第一層詞匯編碼和最后一層句子編碼實現(xiàn)信息融合。最后,在測試時選擇了模型困惑度作為評測指標,對于測試集,將其測試樣本全部融合計算,取平均值計算該指標。訓練集的模型損失和測試集的困惑度分別如圖3a 和圖3b所示。

    圖3 進一步預訓練中模型損失和困惑度變化圖

    此外,本文在文本語義匹配任務(semantic tex‐tual similarity, STS) 的STS12、 STS13、 STS14、STS15、STS16 這5 個數(shù)據(jù)集上進行了實驗,并對比了Avg.GloVe、BERT、SciBERT 和SciBERT-further模型在無標注的STS 數(shù)據(jù)上的訓練效果,具體得分如表1 所示。結果顯示,在完全一致的設置下,本文提出的SciBERT-further 模型相對于Avg.GloVe 模型平均提升了3%,相對于BERT 提升了10.5%,相對于SciBERT 平均提升了17%,表明本文提出的SciBERT-further 模型能較好地表征詞匯真實特征,且比在類似任務上采用BERT 模型的表現(xiàn)更好[42]。

    表1 SciBERT-further與其他方法在無監(jiān)督情況下的性能比較

    問題詞和方法詞新穎性計算。提取學術論文“問題-方法”數(shù)據(jù)集中的問題詞和方法詞,在Sci‐BERT-further 模型中計算并獲取上述詞的詞向量。然后計算當前問題詞和方法詞與已有詞匯空間中所有詞匯的余弦相似度,取最大值,計算詞匯的新穎性,問題詞和方法詞的新穎性計算方式分別為

    其中,quesNov 表示問題詞新穎性,Vq表示當前問題詞的詞向量,Vqi表示問題詞域的第i個問題詞的向量表示,計算Vq和Vqi的余弦相似度,用1 減去最大的向量余弦相似度,得到quesNov 的值,若Vq與Vqi越相似,則表示Vq的新穎性越小;methodNov表示方法詞新穎性,Vm表示當前方法詞的詞向量表示,Vmi表示方法詞域中第i個方法詞的向量表示,用1 減去最大的向量余弦相似度,得到methodNov的值。

    3.4 “問題-方法”組合新穎性計算

    對于論文中的“問題-方法”組合,在學術論文“問題-方法”數(shù)據(jù)集中查找當前問題詞或當前方法詞是否存在。若存在,則表明是舊的研究問題或研究方法;若不存在,則表示當前詞在已有的問題詞域或方法詞域中不存在,屬于新的研究問題或研究方法。組合新穎性計算的是相對新穎性,即當前組合詞相對于組合對象的所有歷史組合詞的新穎性。這里對問題方法詞是否存在進行了精確查找,只要之前在數(shù)據(jù)集中未出現(xiàn)過即為新詞。語義相似度用在計算組合對象的新穎性上,即對舊的問題詞或方法詞,計算它的當前組合詞與歷史組合詞序列之間的相似度。在錢佳佳等[19]對“問題-方法“組合劃分的基礎上,本文從詞匯組合方式上將“問題-方法”組合進一步分為5 種類型:“新問題+新方法”組合、“新問題+舊方法”組合、“舊問題+新方法”組合、“舊方法+舊問題”舊組合和“舊方法+舊問題”新組合。

    對于“舊問題+新方法”和“新問題+舊方法”的組合而言,在已有的問題空間中分別提取與其組合過的詞,形成舊問題的方法序列和舊方法的問題序列。由于本文主要從詞匯功能組合的角度研究“問題-方法”組合,因此計算的是當前組合詞與已有組合序列的相似度。因此,對于“舊問題+新方法”組合,“新方法”不是相對于全部方法詞域來說的,而是相對于舊問題的方法序列而言,即只要當前方法詞沒有與當前問題的方法詞序列組合過,對于當前的組合來說該方法即為新方法。然后,計算當前方法詞的組合新穎性,分別計算當前方法詞與舊問題的組合序列中各個方法詞的相似度。最后,將當前組合詞的新穎性得分賦值給“問題-方法”組合,得出最終組合新穎性?;谡Z義相似度的“問題-方法”組合新穎性計算流程如圖4 所示。

    圖4 基于語義相似度的"問題-方法"組合新穎度計算流程

    對于舊問題或舊方法的組合而言,本文將“舊問題”和“舊方法”稱作當前詞,與其組合的對象稱作組合詞。對于“問題-方法”組合中的當前詞t,要測度其組合的新穎性,則需要判斷其組合詞p的相對新穎性。例如,對于現(xiàn)有研究中已存在的舊問題t,首先枚舉與該問題組合過的所有方法,形成t的歷史組合序列P(p1,p2,…,pn)。利用SciBERTfurther 模型計算當前組合詞p的向量表征Vp與P中各個歷史組合詞的詞向量的余弦相似度,計算方式為

    其中,VPi表示序列P中的第i個元素的詞向量表征;combSimi表示Vp與VPi的余弦相似度。

    “問題-方法”組合的相似度取當前組合詞p與當前詞t的歷史組合序列P中各個元素的最大相似度值,“問題-方法”組合的相似性越高,表示該組合的新穎性越低,將“問題-方法”的新穎性得分定義為combNov(t,p),計算方法為

    本文將論文的新穎性Novelty(D)定義為問題詞新穎性、方法詞新穎性以及問題-方法組合新穎性三項的算數(shù)平均值,即

    若一篇論文存在多個問題與方法,則逐個計算問題詞、方法詞以及所有的問題-方法組合的新穎性,對這些新穎性得分取算數(shù)平均值就得到論文新穎性。

    4 “問題-方法”新穎性測度實驗

    4.1 基于語義相似度的“問題-方法”新穎性計算

    采用訓練得到的詞向量模型SciBERT-further 計算得到所選問題詞和方法詞的詞向量,并根據(jù)公式(1)~公式(4)計算詞和組合的新穎性。由于計算出的新穎性得分均較小,不能顯著體現(xiàn)不同組合之間的差異性,為便于數(shù)據(jù)可視化分析,本文對數(shù)值小于1的新穎性得分進行了分值歸一化處理,計算方式為

    其中,noveltyNormal 表示歸一化后的新穎性得分,取值范圍為[0,1);noveltyScore 表示計算出的詞和組合的新穎性得分,noveltyScoremin表示測試集數(shù)據(jù)中新穎性得分的最小值,noveltyScoremax表示測試集數(shù)據(jù)中新穎性得分最大值;為避免分母為0,在分母中加上常數(shù)t,這里取t=0.001。

    通過上文的模型訓練與新穎性計算,得到了測試集中200 篇論文的“問題-方法”新穎性得分,其中“問題”詞、“方法”詞和“問題-方法”組合的新穎性得分取值范圍均為[0,1],具體分布如圖5 所示。圖中綠色的圓點表示“問題-方法”組合新穎性得分,圓點左邊藍色和右邊黃色的柱狀線分別表示論文研究問題和研究方法的新穎性得分。由統(tǒng)計數(shù)據(jù)和圖6 可知,2018 年發(fā)表的200 篇論文中,“舊問題+舊方法”的論文有1 篇,占所有測試論文的0.5%,說明對于ACM 數(shù)據(jù)庫中收錄的計算機領域的論文而言,同一個研究問題采用與已有研究完全相同的方法進行研究的論文占極少數(shù),而多數(shù)研究屬于“新問題+舊方法”或者“舊問題+新方法”的組合。此外,“新問題+新方法”的論文有95 篇,占所有測試論文的47.5%,由此可見,近半數(shù)的研究具有問題和方法兩個層面的創(chuàng)新。

    圖5 基于語義相似度的“問題-方法”新穎性得分(彩圖請見https://qbxb.istic.ac.cn/CN/volumn/home.shtml)

    圖6 “問題-方法”新穎性取值分布區(qū)間

    此外,本文對三類新穎性得分進行了區(qū)間分布統(tǒng)計,按區(qū)間將新穎性取值分為5 個部分:區(qū)間1,新穎性得分為0;區(qū)間2,新穎性得分取值范圍(0,0.3];區(qū)間3,新穎性得分取值范圍(0.3,0.6];區(qū)間4,新穎性得分取值范圍(0.6,1);區(qū)間5,新穎性得分取值為1。本文將詞匯新穎性的閾值設置為同類型所有詞新穎性得分的中位數(shù),統(tǒng)計結果表明,本實驗中問題詞和方法詞新穎性閾值均為1。

    由圖6 可見,測試集中的問題詞和方法詞的新穎性值的數(shù)量分布在5 個區(qū)間的呈現(xiàn)一致性,即位于區(qū)間1 的新穎性為0 的最少,而新穎性為1 的最多,說明在ACM 收錄的論文中無論是研究問題還是研究方法,與已有的主題完全重合的占比非常小,只占到所有分析數(shù)據(jù)的0.5%,而70.5%的問題詞和方法詞的新穎性為1,即在已有的主題詞空間中均未出現(xiàn)過。從“問題-方法”組合的角度看,組合新穎性值要整體小于單個問題詞或單個方法詞的新穎性值的分布,新穎性為1 的組合占所有測試數(shù)據(jù)的47.5%,組合新穎性值位于區(qū)間3 和區(qū)間4 的數(shù)據(jù)占所有數(shù)據(jù)的51.5%,表明“問題-方法”組合中有一半是具有中度新穎性的。整體而言,通過詞向量語義相似度計算的不同新穎性區(qū)間的數(shù)值差異明顯,問題詞和方法詞在不同新穎性區(qū)間的數(shù)量分布呈現(xiàn)相同的分布特征,亦表明不同功能的詞匯在語義相似度上具有一致性,說明本文提出的基于詞向量語義距離計算的“問題-方法”組合新穎性能夠測度不同詞匯之間的新穎性差異。

    4.2 結果分析與討論

    采用以上方式計算出論文的“問題-方法”組合新穎性的得分后,為進一步解釋該方法的度量效果,本文分別從高新穎性的高被引和高頻詞兩個角度對結果進行實例分析。

    從高新穎性和高被引角度來看,本文結合論文的被引量指標,從高新穎性得分(問題、方法、組合新穎性得分均為1)的論文中,列舉了排名前五的論文,如表2 所示。由表2 可知,新穎的研究主題包括用戶和項目關系學習、Ad-Hoc 搜索、上下文感知計算系統(tǒng)、網(wǎng)絡型數(shù)據(jù)挖掘、個性化檢索等,與主題相對應的新穎的研究方法包括潛在關系度量學習、語法軟匹配、將語境利用在遞歸推薦系統(tǒng)中、基于相似度的多功能圖嵌入和隨機點擊模型。由此可見,對計算機領域近些年的研究而言,若以論文的被引量代表論文的影響力,從問題和方法組合新穎性的角度來看,ACM 數(shù)據(jù)庫中收錄的新穎性和影響較強的論文研究主題與信息檢索、用戶信息行為、推薦系統(tǒng)密切相關,問題的解決方法則采用深度學習、人機協(xié)同、圖網(wǎng)絡等衍生方法,與用戶行為、情境感知、決策匹配等情景的相關性更高。

    表2 ACM數(shù)據(jù)庫2018年高新穎性論文示例

    從詞頻角度來看,詞的出現(xiàn)次數(shù)能夠反映該話題的熱度和關注度。本文統(tǒng)計了測試集中問題詞和方法詞的頻次,并分別選取了2 個高頻問題詞和2個高頻方法詞,獲取與其相關的論文信息,如表3所示。高頻問題詞“人機交互(human-robot interac‐tion)”和“無線網(wǎng)絡(wireless network)”是計算機領域經(jīng)典的研究問題。示例論文Q1-1 和Q1-2 圍繞經(jīng)典研究問題“人機交互”開展了研究,Q1-1 討論了如何進一步探索不同的反饋方法,并研究它們對信任、控制分配和工作負載的影響,屬于采用新方法解決舊問題的研究。論文Q1-2 開發(fā)了一個基于任務對話和聊天機器人的人機交互多通道系統(tǒng),并證明了該系統(tǒng)中應用強化學習是有益的,是舊問題+舊方法新組合類的研究。這兩篇論文研究了同樣的舊研究問題,Q1-2 采用了熱門的深度學習模型強化學習(reinforce learning),在發(fā)表后獲得了比Q1-1 更高的被引量,表明用舊方法+舊問題組合在新穎性上可能比新方法+舊問題弱一點,但是影響力不一定比新方法低,因為舊方法可能在某階段引起了大量的研究興趣,例如,Q1-2 中的“強化學習”一詞雖然在1998 年就已出現(xiàn),但隨著近些年智能計算和深度學習的發(fā)展,強化學習再度受到了較多的關注。示例論文Q2-1 和Q2-2 研究了計算機工程領域無線網(wǎng)絡(wireless network)的問題。Q2-1提出了一個處理器支持的超低延遲調(diào)度實現(xiàn)PULS(propellant utilization loading system),用于測試無限網(wǎng)絡下行調(diào)度協(xié)議的超低延遲需求。Q2-2 提出了無線網(wǎng)絡拓撲選擇和組件規(guī)模調(diào)整的設計空間探索方法,其新穎性類別為舊問題+舊方法的新組合,研究方法是舊方法且受到的關注較少,發(fā)表后獲得的被引量較低。

    表3 高頻問題詞和方法詞組合論文示例

    高頻方法詞社交媒體(social media)和機器學習(machine learning)是近年來人工智能方向的熱點詞,示例論文M1-1 和M1-2 研究了“社交媒體”作為研究方法時的應用。M1-1 研究了人們?nèi)绾慰创缃幻襟w在其社區(qū)中支持預防犯罪的使用,屬于常規(guī)舊問題+舊方法的新組合,新穎性較低且發(fā)表后獲得的引文量較少。M1-2 研究了人們對社交媒體新聞的態(tài)度,研究結果突出了打擊假新聞傳播的困難,該研究是將舊的研究方法應用在新的熱門研究問題“虛假新聞檢測”上的案例,問題的新穎性使論文獲得了較大的關注。示例論文M2-1 和M2-2是將機器學習作為研究方法的應用案例。M2-1 開展了將機器學習技術應用于預測醫(yī)院重癥監(jiān)護室病人死亡率的研究,是用舊方法解決新問題的案例。M2-2 圍繞機器學習在軟件工程中所面臨的挑戰(zhàn),以及機器學習如何從軟件工程方法中受益開展了研究,是舊問題與舊方法的新組合的案例。這兩篇論文是機器學習技術應用于不同領域的案例,均獲得了10 次引用,表明機器學習技術具有較強的推廣應用性。整體而言,無論是對于高頻問題詞還是方法詞而言,新穎性僅是從詞的新舊層面測量新穎性,而論文發(fā)表后的被引量不僅取決于研究問題或研究方法的新穎程度,還受到研究問題本身的適用性的影響。

    由上述分析可知,論文研究問題或方法的新穎性與發(fā)表后一定時期內(nèi)能獲得的被引量有一定聯(lián)系,但計算組合新穎性得分與被引量之間的相關性發(fā)現(xiàn),其未達到顯著程度,將其可能的原因總結為兩點。其一,對于某些研究問題,方法的創(chuàng)新可能獲得更大的影響,這是由于有的經(jīng)典問題本身就帶著“光環(huán)效應”,它可能是一個還未攻克的難題或瓶頸,也可能本就屬于熱點問題。其二,論文發(fā)表后的被引量或許可以反映一定的新穎性,但卻不能完全揭示新穎性或創(chuàng)新性的特征內(nèi)涵。一方面,對于經(jīng)典的理論或方法,新穎性的研究會面臨一些來自外部的阻力,包括來自現(xiàn)有科學范式的抵制[52];另一方面,由于受限于研究問題范圍的影響,也許在該問題上某方法的新穎性較高,但是這個問題還沒有受到相應的關注,或許需要更長的時間才能發(fā)現(xiàn)其新穎性并將其納入后續(xù)的研究中。

    4.3 新穎性計算方法對比分析

    本文提出的基于語義相似度的“問題-方法”組合新穎性計算方法是深度學習模型在詞匯新穎性度量上的應用。為進一步比較本文提出的方法與已有方法的差異,利用錢佳佳等[19]提出的基于問題-方法組合共現(xiàn)率的科技論文新穎性計算公式,計算了200 條分析數(shù)據(jù)的共現(xiàn)率新穎性,將該方法計算的問題新穎性、方法新穎性、組合新穎性和論文新穎性的結果與本文提出的語義新穎性計算結果進行了比較,如圖7a~圖7d 所示。其中quesNov、meth‐odNov、combNov 和paperVov 分別表示問題詞、方法詞、組合和論文的語義新穎性計算結果,nov_Q、nov_M、nov_Q2M 和nov_D 分別表示問題詞、方法詞、組合和論文的詞頻共現(xiàn)率新穎性計算結果。圖7 中三角形表示本文語義新穎性計算結果,圓點表示共現(xiàn)率新穎性的計算結果。對于單個詞的新穎性,由圖7a 和圖7b 可知,共現(xiàn)率新穎性的計算結果呈現(xiàn)明顯的兩極分化,集中在新穎性為1 和新穎性小于0.6。相較而言,語義新穎性的分布更為均勻,表明基于詞匯語義方法捕捉到的新穎性更為精準,這一現(xiàn)象在圖7c 中得到了更為顯著的驗證。由圖7c 可知,共現(xiàn)率新穎性的計算結果幾乎全部集中在新穎性為1 的區(qū)域,表明用該方法計算的組合新穎得分幾乎全部是1,象征著問題-方法組合都是一樣的新穎性,然而實際情況中的組合并不都是新穎的,受限于基于詞頻共現(xiàn)率的新穎性計算的局限性,該方法不能區(qū)分更為細微的新穎性差異;而基于語義的新穎性計算方法彌補了該方法的這一局限,能夠捕獲細微的差異。例如,語義新穎性計算方法計算的augment reality 和augment reality game 之間的差異就比augment reality 和blockchain 之間的差異要小,前兩者在向量空間中更為接近,相似度更高且相對新穎性不如后兩者;而基于詞頻共現(xiàn)率的新穎性計算認為這兩組詞的相對新穎性是一樣的,這將會在較大程度上損失新穎性測度精度。共現(xiàn)率新穎性計算方法中的實驗將論文新穎性計算公式中的問題、方法和問題-方法對的權重分別設為0.25、0.25 和0.5,即給問題-方法組合更大的權重,該做法在組合新穎性的理論層面是有意義的,然而受限于基于詞頻共現(xiàn)的新穎性計算方法,論文新穎性結果的整體分布更為緊密(聚集在0.8 附近),導致新穎性結果的差異更小,如圖7d 所示??偟膩碚f,對比實驗的結果表明,基于語義相似度的問題-方法組合新穎性計算方法要優(yōu)于基于詞頻共現(xiàn)的新穎性計算方法,前者利用詞向量的空間語義捕捉優(yōu)勢能計算出更為精細的新穎性。

    圖7 兩種新穎性計算方法對比

    5 總結與展望

    科學問題作為科學研究的邏輯起點,其解決方法是促進科學研究深入與發(fā)展的助推器。科學研究問題和研究方法的識別對科技前沿追蹤和創(chuàng)新研究發(fā)現(xiàn)具有重要研究意義。近年來隨著內(nèi)容分析研究的流行,從學術文本內(nèi)容視角對學術論文進行細粒度挖掘,是圖書情報學領域的一個新視角,其中學術論文詞匯語義功能的識別能夠幫助學者快速了解學術論文的核心內(nèi)容,有助于厘清研究問題、研究方法的演化過程和發(fā)展模式,輔助于論文創(chuàng)新識別和新穎性度量研究。

    本文以組合創(chuàng)新理論為基礎,以具備詞匯語義功能的學術論文問題詞和方法詞為數(shù)據(jù),從問題與方法組合的語義層面研究了論文新穎性度量方法。與已有新穎性計算方法進行比較,發(fā)現(xiàn)本文提出的方法能捕獲問題詞、方法詞和問題-方法組合之間更為精細的新穎性差異。本文的不足之處是問題詞和方法詞的識別效果在某種程度上會影響論文新穎性計算結果。本文提出的計算方法更類似于計算機領域新穎性追蹤(novelty track)的方法,該方法是獨立于問題詞和方法詞本身的,但結果的解釋卻依賴于詞匯識別結果,更為準確的詞匯識別結果將會使本文的研究結果更具有可解釋性和延伸價值,如用于新穎性和影響力之間的關系分析、創(chuàng)新擴散的規(guī)律分析等研究上。此外,問題新穎性、方法新穎性及組合新穎性與論文影響力之間的聯(lián)系也是值得進一步探索的方向。

    猜你喜歡
    新穎性語義向量
    向量的分解
    聚焦“向量與三角”創(chuàng)新題
    外觀新穎性對消費者購買意愿的影響:自我建構與產(chǎn)品類型的調(diào)節(jié)效應
    心理學報(2020年11期)2020-11-13 05:41:28
    語言與語義
    日本計劃將新穎性寬限期延長至12個月
    “上”與“下”語義的不對稱性及其認知闡釋
    向量垂直在解析幾何中的應用
    向量五種“變身” 玩轉(zhuǎn)圓錐曲線
    認知范疇模糊與語義模糊
    《國防專利條例》新穎性標準應當及時進行修改
    欧美精品高潮呻吟av久久| 精品国产一区二区三区四区第35| 中文字幕色久视频| avwww免费| 久久 成人 亚洲| 又大又爽又粗| 男女无遮挡免费网站观看| 丰满迷人的少妇在线观看| 久久人妻熟女aⅴ| 激情视频va一区二区三区| 亚洲精品乱久久久久久| 成人免费观看视频高清| 国产成+人综合+亚洲专区| 久久这里只有精品19| 久久国产精品男人的天堂亚洲| 欧美日韩国产mv在线观看视频| 99久久精品国产亚洲精品| 十八禁高潮呻吟视频| 一本综合久久免费| 日本wwww免费看| 国产亚洲欧美在线一区二区| 亚洲欧美日韩另类电影网站| 色婷婷av一区二区三区视频| 黄色视频不卡| 水蜜桃什么品种好| 正在播放国产对白刺激| 免费人妻精品一区二区三区视频| 国产又爽黄色视频| 欧美精品啪啪一区二区三区| 免费不卡黄色视频| 一级,二级,三级黄色视频| 国产精品1区2区在线观看. | 日韩 欧美 亚洲 中文字幕| 精品福利观看| 最近最新中文字幕大全电影3 | 青草久久国产| 欧美变态另类bdsm刘玥| 97人妻天天添夜夜摸| 91大片在线观看| 国产精品成人在线| 老汉色av国产亚洲站长工具| 不卡一级毛片| 久久 成人 亚洲| 精品欧美一区二区三区在线| 欧美日韩中文字幕国产精品一区二区三区 | 久久99一区二区三区| 国产精品久久久人人做人人爽| 亚洲精品国产区一区二| 日本av手机在线免费观看| 99久久精品国产亚洲精品| 久久天躁狠狠躁夜夜2o2o| 久久久欧美国产精品| 国产精品影院久久| 欧美日韩av久久| 一级毛片电影观看| 后天国语完整版免费观看| 国内毛片毛片毛片毛片毛片| 久热这里只有精品99| 国产av国产精品国产| 首页视频小说图片口味搜索| 啪啪无遮挡十八禁网站| 精品亚洲乱码少妇综合久久| 欧美 亚洲 国产 日韩一| 成人18禁在线播放| 日本一区二区免费在线视频| 国产成人精品无人区| 捣出白浆h1v1| 午夜福利视频在线观看免费| 成年版毛片免费区| 免费在线观看日本一区| 大码成人一级视频| 欧美激情 高清一区二区三区| 国产一区二区三区视频了| 欧美国产精品va在线观看不卡| 丰满人妻熟妇乱又伦精品不卡| 欧美激情高清一区二区三区| 亚洲国产看品久久| 女人爽到高潮嗷嗷叫在线视频| 叶爱在线成人免费视频播放| 男女无遮挡免费网站观看| 老司机靠b影院| www.熟女人妻精品国产| 女警被强在线播放| 高清黄色对白视频在线免费看| 80岁老熟妇乱子伦牲交| 免费日韩欧美在线观看| 久久久久精品国产欧美久久久| 99热国产这里只有精品6| 亚洲国产精品一区二区三区在线| av欧美777| 久久婷婷成人综合色麻豆| 欧美成人免费av一区二区三区 | 国产精品影院久久| 亚洲精品在线观看二区| 国产亚洲精品第一综合不卡| av线在线观看网站| 国产精品影院久久| 亚洲欧美色中文字幕在线| 啦啦啦免费观看视频1| 国产xxxxx性猛交| 国产野战对白在线观看| 色在线成人网| 亚洲成人手机| 2018国产大陆天天弄谢| 电影成人av| 久久人妻福利社区极品人妻图片| 丝瓜视频免费看黄片| 黑人巨大精品欧美一区二区mp4| 99九九在线精品视频| 成人影院久久| 精品国产一区二区久久| 久久天躁狠狠躁夜夜2o2o| 精品少妇黑人巨大在线播放| 飞空精品影院首页| 国产精品久久久久成人av| 伦理电影免费视频| 极品人妻少妇av视频| 久久精品91无色码中文字幕| 免费在线观看完整版高清| 天天影视国产精品| 妹子高潮喷水视频| 色综合婷婷激情| 成人18禁高潮啪啪吃奶动态图| 亚洲成国产人片在线观看| 久9热在线精品视频| 亚洲性夜色夜夜综合| 女同久久另类99精品国产91| 国产一区二区 视频在线| 国产成人精品在线电影| 午夜两性在线视频| 成年人黄色毛片网站| 午夜福利在线免费观看网站| 考比视频在线观看| 国产深夜福利视频在线观看| 亚洲自偷自拍图片 自拍| 法律面前人人平等表现在哪些方面| 精品国产乱码久久久久久小说| 极品教师在线免费播放| 欧美老熟妇乱子伦牲交| 大型黄色视频在线免费观看| 国产精品一区二区精品视频观看| 黄色毛片三级朝国网站| 欧美大码av| 2018国产大陆天天弄谢| e午夜精品久久久久久久| 青草久久国产| 午夜福利在线观看吧| 极品教师在线免费播放| 天天躁狠狠躁夜夜躁狠狠躁| 激情视频va一区二区三区| 免费av中文字幕在线| 免费看十八禁软件| 大型av网站在线播放| 女性生殖器流出的白浆| 新久久久久国产一级毛片| 国产精品成人在线| 精品国产乱码久久久久久小说| 中文字幕另类日韩欧美亚洲嫩草| 黄色丝袜av网址大全| 久久99一区二区三区| 国产免费av片在线观看野外av| 亚洲精品在线观看二区| 在线观看www视频免费| 国产成人免费无遮挡视频| 亚洲国产av新网站| 夜夜爽天天搞| 免费高清在线观看日韩| 精品一品国产午夜福利视频| 免费在线观看影片大全网站| 精品国产一区二区久久| 久久精品人人爽人人爽视色| 国产高清激情床上av| 在线亚洲精品国产二区图片欧美| 美国免费a级毛片| 最新美女视频免费是黄的| 国产97色在线日韩免费| 十八禁人妻一区二区| 国产午夜精品久久久久久| 十八禁高潮呻吟视频| 欧美亚洲日本最大视频资源| 王馨瑶露胸无遮挡在线观看| 午夜成年电影在线免费观看| 久久久精品国产亚洲av高清涩受| 最近最新免费中文字幕在线| tube8黄色片| 欧美激情久久久久久爽电影 | 国产精品久久久人人做人人爽| 岛国毛片在线播放| 久久中文字幕一级| 天天添夜夜摸| 两性夫妻黄色片| 日本一区二区免费在线视频| 一级片免费观看大全| 女警被强在线播放| 中文字幕最新亚洲高清| 99国产精品99久久久久| 国产老妇伦熟女老妇高清| 日本黄色视频三级网站网址 | 欧美亚洲日本最大视频资源| 乱人伦中国视频| 国产欧美日韩一区二区三| 欧美精品一区二区大全| 国产亚洲午夜精品一区二区久久| 精品少妇久久久久久888优播| 国产成人精品久久二区二区免费| 一本久久精品| 亚洲精品中文字幕在线视频| 国产精品香港三级国产av潘金莲| 国产欧美日韩精品亚洲av| 俄罗斯特黄特色一大片| 中国美女看黄片| 人人妻人人澡人人看| 免费久久久久久久精品成人欧美视频| xxxhd国产人妻xxx| 黄色成人免费大全| 一区二区日韩欧美中文字幕| 19禁男女啪啪无遮挡网站| 国产福利在线免费观看视频| 最黄视频免费看| www.熟女人妻精品国产| 一本久久精品| 婷婷成人精品国产| 国产精品香港三级国产av潘金莲| av有码第一页| 午夜福利在线观看吧| 久久精品国产99精品国产亚洲性色 | 日韩欧美国产一区二区入口| 精品人妻在线不人妻| 精品国产乱码久久久久久男人| 后天国语完整版免费观看| 国产精品欧美亚洲77777| 国产成人精品久久二区二区免费| 天堂俺去俺来也www色官网| 91成人精品电影| 欧美日韩中文字幕国产精品一区二区三区 | 亚洲三区欧美一区| 国产又色又爽无遮挡免费看| videosex国产| 欧美成狂野欧美在线观看| 2018国产大陆天天弄谢| 一级毛片精品| 亚洲色图av天堂| 在线观看人妻少妇| 成年人免费黄色播放视频| 午夜福利在线观看吧| 成人国语在线视频| 少妇猛男粗大的猛烈进出视频| 国产精品1区2区在线观看. | xxxhd国产人妻xxx| 无限看片的www在线观看| 欧美日韩亚洲高清精品| 国产伦理片在线播放av一区| 久久亚洲真实| 精品熟女少妇八av免费久了| 国产成人啪精品午夜网站| 国产亚洲精品一区二区www | 免费在线观看影片大全网站| av在线播放免费不卡| 老汉色av国产亚洲站长工具| 又大又爽又粗| 国产精品欧美亚洲77777| 久久精品亚洲精品国产色婷小说| 三上悠亚av全集在线观看| 欧美黄色片欧美黄色片| 欧美日韩中文字幕国产精品一区二区三区 | 欧美国产精品va在线观看不卡| 亚洲欧美激情在线| 日韩成人在线观看一区二区三区| 日韩三级视频一区二区三区| 嫁个100分男人电影在线观看| 日韩中文字幕视频在线看片| 亚洲欧美一区二区三区久久| 欧美日韩亚洲高清精品| 国产欧美日韩精品亚洲av| 超色免费av| 亚洲欧洲日产国产| 超碰成人久久| 97在线人人人人妻| 午夜福利在线免费观看网站| 欧美日韩一级在线毛片| 黄片播放在线免费| 激情视频va一区二区三区| 黄片小视频在线播放| 热99re8久久精品国产| 王馨瑶露胸无遮挡在线观看| 91成人精品电影| 亚洲精华国产精华精| 丰满人妻熟妇乱又伦精品不卡| 我要看黄色一级片免费的| 日韩欧美国产一区二区入口| 欧美日韩中文字幕国产精品一区二区三区 | 悠悠久久av| 宅男免费午夜| 母亲3免费完整高清在线观看| 精品午夜福利视频在线观看一区 | 久久精品国产a三级三级三级| 日本黄色日本黄色录像| 国产黄频视频在线观看| 黄色丝袜av网址大全| 亚洲欧美精品综合一区二区三区| 国产高清激情床上av| 欧美在线一区亚洲| 一本—道久久a久久精品蜜桃钙片| 日日摸夜夜添夜夜添小说| 国产在线一区二区三区精| 午夜福利免费观看在线| 成人手机av| 久久人妻av系列| 97人妻天天添夜夜摸| 国产精品香港三级国产av潘金莲| 日本a在线网址| 国产单亲对白刺激| av电影中文网址| 国产成人系列免费观看| 国产在线视频一区二区| 亚洲一区二区三区欧美精品| 成年女人毛片免费观看观看9 | 18禁黄网站禁片午夜丰满| 91老司机精品| 久久国产精品影院| 两个人免费观看高清视频| 天堂中文最新版在线下载| 精品一区二区三区四区五区乱码| 91老司机精品| 丝袜在线中文字幕| 91麻豆精品激情在线观看国产 | 妹子高潮喷水视频| 成年动漫av网址| cao死你这个sao货| 人妻久久中文字幕网| 757午夜福利合集在线观看| 欧美黑人精品巨大| 又大又爽又粗| 久久久久久久久免费视频了| 久久国产精品影院| 欧美黄色片欧美黄色片| 免费观看a级毛片全部| 啦啦啦视频在线资源免费观看| 欧美日韩亚洲高清精品| 成人亚洲精品一区在线观看| 亚洲成a人片在线一区二区| 一区二区三区乱码不卡18| 十八禁高潮呻吟视频| 久久中文字幕一级| 2018国产大陆天天弄谢| 亚洲专区国产一区二区| 久久毛片免费看一区二区三区| 日韩人妻精品一区2区三区| 欧美国产精品一级二级三级| 妹子高潮喷水视频| 国产亚洲欧美在线一区二区| 日本撒尿小便嘘嘘汇集6| 色老头精品视频在线观看| 国产av一区二区精品久久| 男人操女人黄网站| 国产av国产精品国产| av天堂在线播放| 狠狠婷婷综合久久久久久88av| 精品午夜福利视频在线观看一区 | 精品亚洲乱码少妇综合久久| 丝袜美腿诱惑在线| 精品久久蜜臀av无| 少妇猛男粗大的猛烈进出视频| 女人高潮潮喷娇喘18禁视频| 90打野战视频偷拍视频| 在线av久久热| 亚洲va日本ⅴa欧美va伊人久久| 99re在线观看精品视频| 1024视频免费在线观看| 国产一区二区激情短视频| 久久精品成人免费网站| av天堂久久9| 久久婷婷成人综合色麻豆| 国产成人精品在线电影| 久久久久国产一级毛片高清牌| 色老头精品视频在线观看| 国产欧美日韩一区二区三| 一级片免费观看大全| 黑人猛操日本美女一级片| 美女视频免费永久观看网站| 一二三四社区在线视频社区8| 热99re8久久精品国产| 成人永久免费在线观看视频 | 免费不卡黄色视频| 亚洲va日本ⅴa欧美va伊人久久| 少妇被粗大的猛进出69影院| 亚洲国产欧美一区二区综合| 国产精品一区二区在线不卡| 国产精品久久久久久精品古装| 日韩视频一区二区在线观看| 亚洲成国产人片在线观看| 麻豆成人av在线观看| 亚洲久久久国产精品| 免费在线观看黄色视频的| 两性午夜刺激爽爽歪歪视频在线观看 | 亚洲午夜精品一区,二区,三区| 国产高清激情床上av| 欧美日韩视频精品一区| 精品高清国产在线一区| 国产精品麻豆人妻色哟哟久久| 亚洲精华国产精华精| 高潮久久久久久久久久久不卡| 黄色 视频免费看| 国产欧美日韩精品亚洲av| 在线观看免费午夜福利视频| 美女福利国产在线| 欧美av亚洲av综合av国产av| 久久久久久久久久久久大奶| svipshipincom国产片| 亚洲五月色婷婷综合| 99国产精品免费福利视频| 性少妇av在线| 欧美国产精品va在线观看不卡| 在线永久观看黄色视频| 操出白浆在线播放| 久久精品国产综合久久久| 国产精品久久久久久精品古装| 国产在线免费精品| 在线观看免费日韩欧美大片| 亚洲伊人久久精品综合| 欧美精品亚洲一区二区| 女性生殖器流出的白浆| www.精华液| 老熟妇仑乱视频hdxx| 免费观看人在逋| 亚洲欧洲日产国产| 女人被躁到高潮嗷嗷叫费观| 久久精品国产亚洲av高清一级| 色尼玛亚洲综合影院| 美女视频免费永久观看网站| 大陆偷拍与自拍| 成人18禁在线播放| www.自偷自拍.com| 国产成人精品久久二区二区91| 亚洲av成人不卡在线观看播放网| 热99国产精品久久久久久7| 精品乱码久久久久久99久播| 无人区码免费观看不卡 | 免费女性裸体啪啪无遮挡网站| 久久久久精品国产欧美久久久| 国产男靠女视频免费网站| 夜夜爽天天搞| netflix在线观看网站| 蜜桃在线观看..| 亚洲国产av新网站| 国产日韩欧美视频二区| 欧美日韩亚洲综合一区二区三区_| 亚洲欧洲精品一区二区精品久久久| 久久久久久久大尺度免费视频| 亚洲精品中文字幕一二三四区 | 国产伦理片在线播放av一区| 操美女的视频在线观看| 欧美成人午夜精品| 久久中文字幕一级| 亚洲情色 制服丝袜| 日韩视频在线欧美| 成年人黄色毛片网站| 亚洲色图av天堂| 一个人免费在线观看的高清视频| 成人三级做爰电影| 自线自在国产av| 亚洲五月婷婷丁香| 不卡av一区二区三区| 欧美激情极品国产一区二区三区| 777米奇影视久久| 国产高清视频在线播放一区| 中国美女看黄片| 中文字幕精品免费在线观看视频| 免费在线观看完整版高清| 99热网站在线观看| 亚洲国产欧美日韩在线播放| 欧美日韩亚洲综合一区二区三区_| 精品国产乱子伦一区二区三区| 在线观看人妻少妇| 免费观看a级毛片全部| 欧美人与性动交α欧美软件| 大香蕉久久网| 欧美久久黑人一区二区| 天天躁狠狠躁夜夜躁狠狠躁| 成年人黄色毛片网站| 欧美精品啪啪一区二区三区| 亚洲av日韩精品久久久久久密| 最近最新中文字幕大全电影3 | 啪啪无遮挡十八禁网站| 亚洲午夜理论影院| 久久精品国产综合久久久| 一区福利在线观看| 日本vs欧美在线观看视频| 黄色视频在线播放观看不卡| 狠狠婷婷综合久久久久久88av| 一级毛片精品| av视频免费观看在线观看| 国产97色在线日韩免费| 999精品在线视频| 亚洲av国产av综合av卡| 搡老熟女国产l中国老女人| 久久久水蜜桃国产精品网| 久久久久精品国产欧美久久久| 搡老岳熟女国产| aaaaa片日本免费| 少妇粗大呻吟视频| 午夜福利在线观看吧| 欧美精品啪啪一区二区三区| 亚洲熟妇熟女久久| 亚洲精品国产色婷婷电影| av在线播放免费不卡| 国产区一区二久久| 亚洲国产成人一精品久久久| 免费看十八禁软件| 女性被躁到高潮视频| 99国产综合亚洲精品| 美女福利国产在线| 精品人妻熟女毛片av久久网站| 亚洲欧洲日产国产| 波多野结衣av一区二区av| 精品国产一区二区久久| 国产无遮挡羞羞视频在线观看| 最近最新免费中文字幕在线| 欧美人与性动交α欧美软件| 欧美日韩中文字幕国产精品一区二区三区 | 久久av网站| √禁漫天堂资源中文www| 涩涩av久久男人的天堂| 国产一区二区在线观看av| 少妇粗大呻吟视频| 最新的欧美精品一区二区| 五月天丁香电影| 俄罗斯特黄特色一大片| 精品卡一卡二卡四卡免费| 国产精品.久久久| 亚洲精品av麻豆狂野| 国产精品免费一区二区三区在线 | 男女边摸边吃奶| 欧美日韩av久久| 国产成人精品无人区| 我要看黄色一级片免费的| 午夜福利免费观看在线| 日日爽夜夜爽网站| 捣出白浆h1v1| 黑人欧美特级aaaaaa片| 欧美老熟妇乱子伦牲交| 欧美精品av麻豆av| 蜜桃在线观看..| 午夜免费鲁丝| 精品乱码久久久久久99久播| 人妻久久中文字幕网| 亚洲国产看品久久| 亚洲国产中文字幕在线视频| 欧美精品高潮呻吟av久久| 亚洲伊人久久精品综合| 久久久久久人人人人人| 69精品国产乱码久久久| 国产精品亚洲一级av第二区| 一边摸一边抽搐一进一小说 | 国产精品99久久99久久久不卡| 亚洲一码二码三码区别大吗| 亚洲自偷自拍图片 自拍| 极品教师在线免费播放| 国产成人av激情在线播放| 久热这里只有精品99| 午夜成年电影在线免费观看| 国产主播在线观看一区二区| 国产精品免费大片| 久久狼人影院| 亚洲综合色网址| av在线播放免费不卡| 国产亚洲欧美精品永久| 日韩欧美一区视频在线观看| 可以免费在线观看a视频的电影网站| 久久精品国产a三级三级三级| 操美女的视频在线观看| 新久久久久国产一级毛片| 两人在一起打扑克的视频| 色在线成人网| 少妇的丰满在线观看| 成人国产一区最新在线观看| 视频区图区小说| 国产在线一区二区三区精| 日韩大片免费观看网站| 国产精品麻豆人妻色哟哟久久| 91麻豆av在线| 免费少妇av软件| 夫妻午夜视频| 精品人妻在线不人妻| 国产精品免费大片| 久久精品熟女亚洲av麻豆精品| 国产精品欧美亚洲77777| 亚洲精品一二三| 精品一区二区三区av网在线观看 | 欧美乱妇无乱码| 欧美日韩亚洲高清精品| 一区二区av电影网| 黑人巨大精品欧美一区二区蜜桃| 99热网站在线观看| 国产精品麻豆人妻色哟哟久久| 大片电影免费在线观看免费| 男女无遮挡免费网站观看| 高清在线国产一区| 一二三四社区在线视频社区8| 久久 成人 亚洲| 俄罗斯特黄特色一大片| 岛国在线观看网站| 免费看十八禁软件| 久久久久久免费高清国产稀缺| 又大又爽又粗| 变态另类成人亚洲欧美熟女 | 国产成人欧美在线观看 | av天堂在线播放| 久久精品国产99精品国产亚洲性色 | 美女主播在线视频| 在线亚洲精品国产二区图片欧美| 人人妻人人澡人人看| 国产亚洲精品第一综合不卡| 老司机福利观看| 日韩欧美一区二区三区在线观看 |