• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    移動(dòng)醫(yī)療App 在線評(píng)論維度挖掘與情感分析

    2023-01-07 11:18:40黃桂玲
    關(guān)鍵詞:特征詞聚類維度

    柯 潔,楊 婉,黃桂玲,王 璇,劉 倩

    隨著互聯(lián)網(wǎng)醫(yī)療行業(yè)的快速發(fā)展,各類移動(dòng)醫(yī)療App 不斷涌現(xiàn)。根據(jù)移動(dòng)應(yīng)用市場(chǎng)知名咨詢公司data.ai 的統(tǒng)計(jì)數(shù)據(jù)顯示,截至2022 年2 月,中國(guó)移動(dòng)醫(yī)療App 數(shù)量已近2 000 個(gè),涉及在線問(wèn)診、網(wǎng)上就醫(yī)、醫(yī)藥服務(wù)、健康管理等多個(gè)細(xì)分領(lǐng)域[1]。受新型冠狀病毒肺炎(以下簡(jiǎn)稱“新冠肺炎”)疫情影響,人們對(duì)醫(yī)療App 的使用需求持續(xù)增長(zhǎng),進(jìn)一步推動(dòng)了傳統(tǒng)醫(yī)療服務(wù)向移動(dòng)端延伸。移動(dòng)醫(yī)療App 建立了醫(yī)院信息系統(tǒng)、移動(dòng)網(wǎng)絡(luò)平臺(tái)和用戶就醫(yī)需求之間的多元連接,使用戶可以隨時(shí)隨地訪問(wèn)醫(yī)療資源并獲取相應(yīng)的醫(yī)療健康服務(wù),是未來(lái)互聯(lián)網(wǎng)醫(yī)療行業(yè)發(fā)展的主要模式之一[2]。但隨著移動(dòng)醫(yī)療App 數(shù)量的爆發(fā)式增長(zhǎng),也引發(fā)了同質(zhì)化競(jìng)爭(zhēng)加劇、服務(wù)質(zhì)量參差不齊等一系列問(wèn)題。如何及時(shí)準(zhǔn)確地了解移動(dòng)醫(yī)療App 的用戶使用體驗(yàn)和評(píng)價(jià)意見(jiàn),進(jìn)而推動(dòng)移動(dòng)醫(yī)療的創(chuàng)新與發(fā)展,已成為國(guó)內(nèi)外學(xué)者和互聯(lián)網(wǎng)醫(yī)療行業(yè)共同關(guān)注的焦點(diǎn)。

    App 在線評(píng)論是洞察用戶體驗(yàn)和滿意度的重要數(shù)據(jù)來(lái)源,表達(dá)了用戶使用App 后的真實(shí)感受,蘊(yùn)含著重要研究?jī)r(jià)值。一方面有助于App 開(kāi)發(fā)商、運(yùn)營(yíng)商等主體基于用戶反饋信息進(jìn)行App 優(yōu)化與創(chuàng)新,提升用戶體驗(yàn)和使用意愿;另一方面可以幫助潛在用戶全面比較同類醫(yī)療App 之間的功能、內(nèi)容等差異,從而做出更加理性和正確的決策。而在線評(píng)論中往往包含用戶對(duì)App 不同屬性維度的評(píng)價(jià),并帶有強(qiáng)烈的感情色彩。通過(guò)對(duì)在線評(píng)論進(jìn)行維度挖掘和情感分析,可以準(zhǔn)確、全面地掌握用戶對(duì)移動(dòng)醫(yī)療App 的關(guān)注重點(diǎn)和滿意程度,進(jìn)而為優(yōu)化用戶體驗(yàn)指明方向。

    目前,常用的評(píng)論挖掘與情感分析方法包括情感詞典、機(jī)器學(xué)習(xí)算法和深度學(xué)習(xí)算法。其中,情感詞典中情感詞的判別與選擇取決于先驗(yàn)知識(shí)與實(shí)驗(yàn)設(shè)計(jì),在完備性和準(zhǔn)確性方面還存在不足;而傳統(tǒng)機(jī)器學(xué)習(xí)算法的精確度在很大程度上取決于標(biāo)注訓(xùn)練集的質(zhì)量,對(duì)人類經(jīng)驗(yàn)和領(lǐng)域知識(shí)的依賴性很高。隨著深度學(xué)習(xí)的快速發(fā)展,基于深度學(xué)習(xí)的文本情感分析方法逐漸得到廣泛應(yīng)用,并在自適應(yīng)特征學(xué)習(xí)和模型泛化能力上體現(xiàn)出明顯優(yōu)勢(shì)。因此,本文將綜合應(yīng)用多種深度學(xué)習(xí)算法,對(duì)移動(dòng)醫(yī)療App 在線評(píng)論進(jìn)行維度挖掘與情感分析。

    1 相關(guān)研究方法

    1.1 評(píng)論維度抽取方法

    評(píng)論維度抽取是指通過(guò)挖掘評(píng)論中的特征詞提取出用戶對(duì)產(chǎn)品或服務(wù)的具體評(píng)價(jià)維度,是對(duì)評(píng)論文本進(jìn)行細(xì)粒度觀點(diǎn)挖掘和情感識(shí)別的基礎(chǔ)[3]。常用的評(píng)論維度抽取方法主要包括模式匹配法、詞頻統(tǒng)計(jì)法和監(jiān)督學(xué)習(xí)法。

    模式匹配法是通過(guò)詞典中的每個(gè)詞與被處理文本之間逐一進(jìn)行匹配,或者根據(jù)文本特點(diǎn)與定制規(guī)則進(jìn)行匹配[4]。有學(xué)者基于中國(guó)知網(wǎng)(CNKI)提供的詞典,采用語(yǔ)義相似度計(jì)算方法實(shí)現(xiàn)觀點(diǎn)維度詞的抽?。?];有學(xué)者專門(mén)構(gòu)建了一個(gè)汽車領(lǐng)域的本體詞典,用于從相關(guān)評(píng)論中抽取客戶對(duì)不同品牌汽車性能和配置指標(biāo)的評(píng)價(jià)[6]。模式匹配法使用簡(jiǎn)單,準(zhǔn)確率高,但一般需要領(lǐng)域?qū)<裔槍?duì)不同領(lǐng)域建立相應(yīng)的詞典和規(guī)則庫(kù),投入的時(shí)間和人力成本很高,并且需要定期更新維護(hù)。

    基于詞頻統(tǒng)計(jì)的方法是將詞頻作為衡量詞語(yǔ)對(duì)文本重要性的測(cè)量指標(biāo),主要分為詞頻統(tǒng)計(jì)法和加權(quán)統(tǒng)計(jì)法[7]。有學(xué)者使用TF-IDF 算法和位置加權(quán)算法在新聞和博客評(píng)論文本中提取評(píng)論維度特征[8];有學(xué)者提出了一種基于C-value 度量統(tǒng)計(jì)的方法,用于對(duì)用戶評(píng)論進(jìn)行維度抽?。?]。詞頻統(tǒng)計(jì)法的優(yōu)勢(shì)在于可以快速提取主題詞及分析特征詞詞頻與主題類別之間的關(guān)系,但對(duì)評(píng)論中不常出現(xiàn)的特征詞分析效果較差。

    監(jiān)督學(xué)習(xí)法是將評(píng)論維度抽取作為自然語(yǔ)言處理領(lǐng)域中常見(jiàn)的序列標(biāo)注問(wèn)題,主要包括兩大類。一是基于語(yǔ)料庫(kù)的無(wú)監(jiān)督抽取,典型算法有隱式語(yǔ)義分析(latent semantic analysis,LSA)、隱含狄利克雷分布(latent dirichlet allocation,LDA)等,但這些算法沒(méi)有考慮評(píng)論文本中各個(gè)詞之間的位置關(guān)系,對(duì)細(xì)粒度的特征詞抽取效果并不理想;二是基于單文本的抽取,典型算法包括基于詞圖網(wǎng)絡(luò)的快速關(guān)鍵詞提取算法(rapid automatic keyword extraction,RAKE)、主題排序算法(topic rank,TR)、位置排序算法(position rank,PR)等[10-12],主要通過(guò)計(jì)算候選詞向量與主題的語(yǔ)義相似度排序并提取出特征詞。但常用于計(jì)算詞向量的Word2vec 等模型均為靜態(tài)模型,在語(yǔ)義環(huán)境變化較大的情況下容易產(chǎn)生誤差。近年來(lái),有研究者嘗試通過(guò)將預(yù)訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)模型作為語(yǔ)言模型,針對(duì)具體任務(wù)使用微調(diào)的方式進(jìn)行自然語(yǔ)言處理,取得了很好的效果。BERT 模型就是預(yù)訓(xùn)練模型之一,該模型利用其獨(dú)特的Transformer 結(jié)構(gòu)對(duì)文本進(jìn)行雙向?qū)W習(xí)和處理,利用自注意力機(jī)制(self-attention)學(xué)習(xí)詞間的關(guān)系,從而使詞向量產(chǎn)生更加豐富的內(nèi)涵,使原有的靜態(tài)向量具有“動(dòng)態(tài)”語(yǔ)言意義,甚至能在一定程度上讓同一個(gè)詞表達(dá)不同含義[13]。

    1.2 文本情感分析方法

    情感分析也稱為“情感傾向分析”或“意見(jiàn)挖掘”,是目前自然語(yǔ)言處理領(lǐng)域的研究熱點(diǎn),其目的是從文本中識(shí)別出用戶積極、中立或消極的情感態(tài)度[14]。情感分析方法主要包括情感詞典方法、傳統(tǒng)機(jī)器學(xué)習(xí)情感分析方法和深度學(xué)習(xí)方法。

    情感詞典方法主要依賴詞典的構(gòu)建,即先基于情感詞典獲取文檔中情感詞的情感值,再通過(guò)加權(quán)計(jì)算確定文檔的整體情感傾向,因此需要針對(duì)特定領(lǐng)域建立相應(yīng)的情感詞典,提高分類準(zhǔn)確率[15]。對(duì)于小樣本數(shù)據(jù)而言,該方法能夠取得較好的分類結(jié)果且易于理解,但隨著在線評(píng)論數(shù)據(jù)量的快速增長(zhǎng),情感詞典需要不斷更新擴(kuò)展才能提高結(jié)果的準(zhǔn)確率[16]。

    傳統(tǒng)機(jī)器學(xué)習(xí)情感分析方法是通過(guò)訓(xùn)練情感分類器來(lái)預(yù)測(cè)文本的情感傾向[17]。與情感詞典方法相比,機(jī)器學(xué)習(xí)的擴(kuò)展性和可重復(fù)性更好,能取得更加準(zhǔn)確的分類結(jié)果,但其準(zhǔn)確度很大程度上依賴于標(biāo)注訓(xùn)練集的質(zhì)量,受人工成本、專家經(jīng)驗(yàn)等因素的影響較大。

    近年來(lái),深度學(xué)習(xí)方法在情感分析領(lǐng)域得到廣泛應(yīng)用。經(jīng)典的深度學(xué)習(xí)模型包括卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks,CNN)、循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network,RNN)、長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)(long short-term memory,LSTM)、雙向長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)(Bi‐directional long short-term temory,BiLSTM)和注意力機(jī)制等[18]。深度學(xué)習(xí)方法比情感詞典方法和傳統(tǒng)機(jī)器學(xué)習(xí)方法有更強(qiáng)的表達(dá)能力和模型泛化能力。與此同時(shí),在單一深度學(xué)習(xí)模型基礎(chǔ)上,研究者還進(jìn)一步對(duì)集成多種神經(jīng)網(wǎng)絡(luò)方法的文本情感分析展開(kāi)了探索。有學(xué)者結(jié)合CNN 和LSTM 兩種模型的優(yōu)點(diǎn),利用CNN 模型提取較高層次的單詞或詞組,用向量進(jìn)行數(shù)據(jù)建模,并將其輸入LSTM 模型中得到更加復(fù)雜的向量表示,這樣既能獲取文本的局部特征,又能得到句子的時(shí)態(tài)語(yǔ)義[19];有學(xué)者應(yīng)用CNN 和RNN 結(jié)合的方法進(jìn)行在線評(píng)論情感分類,也取得了良好的分類效果[20]。

    在已有研究成果的基礎(chǔ)上,本文針對(duì)移動(dòng)醫(yī)療App 在線評(píng)論數(shù)據(jù)量大、口語(yǔ)特征明顯、一詞多義等特點(diǎn),采用集成多策略的深度學(xué)習(xí)方法,通過(guò)詞頻-逆向文件頻率算法(term frequency-inverse document frequency,TF-IDF)、BERT 模型與混合聚類的協(xié)同過(guò)濾推薦算法(Canopy+K-means)相結(jié)合的方式挖掘移動(dòng)醫(yī)療App 評(píng)論維度,明確用戶重點(diǎn)關(guān)注的App 屬性維度;應(yīng)用LSTM-CNN 模型進(jìn)行維度情感分析,從不同層面評(píng)估用戶對(duì)移動(dòng)醫(yī)療App 的滿意度,并通過(guò)實(shí)證研究,對(duì)所提出的評(píng)論維度挖掘和情感分析模型的準(zhǔn)確性和穩(wěn)定性進(jìn)行有效驗(yàn)證,為移動(dòng)醫(yī)療App 在線評(píng)論挖掘和用戶滿意度研究提供有益參考。

    2 研究設(shè)計(jì)

    2.1 研究框架

    本文采用一種集成多策略的深度學(xué)習(xí)方法對(duì)移動(dòng)醫(yī)療App 在線評(píng)論進(jìn)行維度挖掘和情感分析。維度挖掘的步驟:首先對(duì)采集到的移動(dòng)醫(yī)療App在線評(píng)論數(shù)據(jù)進(jìn)行清洗、分詞、詞性標(biāo)注和去停用詞等預(yù)處理,然后使用TF-IDF 算法對(duì)評(píng)論進(jìn)行抽詞標(biāo)引,提取特征詞,再應(yīng)用預(yù)訓(xùn)練的BERT 模型生成特征詞的詞向量,接著利用Canopy+K-means算法進(jìn)行特征詞分析,投射到高維空間進(jìn)行聚類,由此得到移動(dòng)醫(yī)療App 用戶在線評(píng)論中的不同維度。情感分析的步驟:進(jìn)一步通過(guò)分句和依存句法分析2 種文本分析方法從評(píng)論樣本中得到包含具體維度特征詞的短句,作為L(zhǎng)STM-CNN 情感分類模型的輸入語(yǔ)料,并根據(jù)各維度在所有評(píng)論中被提及的概率和該維度的情感傾向與整體評(píng)論情感傾向的一致性計(jì)算各維度權(quán)重。同時(shí),利用訓(xùn)練集與測(cè)試集評(píng)論語(yǔ)料對(duì)LSTM-CNN 情感分類模型進(jìn)行訓(xùn)練,并基于訓(xùn)練好的模型進(jìn)行評(píng)論情感傾向分類,進(jìn)而計(jì)算用戶對(duì)移動(dòng)醫(yī)療App 具體屬性維度的積極情感傾向率,在此基礎(chǔ)上評(píng)價(jià)用戶滿意度。具體研究框架如圖1 所示。

    圖1 移動(dòng)醫(yī)療App 在線評(píng)論維度挖掘與情感分析研究框架

    2.2 移動(dòng)醫(yī)療App 在線評(píng)論維度特征的抽取與聚類

    移動(dòng)醫(yī)療App 在線評(píng)論具有明顯的口語(yǔ)化和網(wǎng)絡(luò)用語(yǔ)化特點(diǎn),而且存在很多低價(jià)值甚至無(wú)效的信息。因此,首先需要對(duì)采集的評(píng)論數(shù)據(jù)進(jìn)行清洗、文本分詞、詞性標(biāo)注和去停用詞等預(yù)處理。其次,為了兼顧評(píng)論中特征詞抽取的時(shí)效性和準(zhǔn)確性,本文使用 TF-IDF 算法進(jìn)行特征詞抽取,并選取TF-IDF 值較高的名詞表征移動(dòng)醫(yī)療App 的屬性特征,進(jìn)行向量數(shù)據(jù)建模,作為后續(xù)特征聚類的輸入向量語(yǔ)料。

    在此基礎(chǔ)上,將候選特征詞輸入經(jīng)過(guò)預(yù)訓(xùn)練的BERT 模型,得到相應(yīng)詞向量,接著進(jìn)行“二階段”聚類:第一階段使用Canopy 聚類算法對(duì)在線評(píng)論中的屬性特征和向量語(yǔ)料進(jìn)行“粗”聚類,得到初始分類K 值;第二階段采用第一階段輸出的K 值進(jìn)行K 均值聚類(K-means),從而獲得更加精準(zhǔn)的分類結(jié)果,由此得到在線評(píng)論中用戶所關(guān)注的移動(dòng)醫(yī)療App 的主要維度[21]。與傳統(tǒng)K-means 聚類算法相比,Canopy 聚類算法的優(yōu)勢(shì)在于無(wú)須事先指定K 值,能夠顯著提高聚類效率,具有更高的實(shí)際應(yīng)用價(jià)值。

    2.3 在線評(píng)論維度權(quán)重計(jì)算

    由于移動(dòng)醫(yī)療App 各維度的評(píng)價(jià)意見(jiàn)對(duì)用戶滿意度會(huì)產(chǎn)生不同程度的影響,因此需要進(jìn)一步通過(guò)權(quán)重計(jì)算明確不同維度的重要性。具體而言,維度ax的權(quán)重主要與兩方面因素有關(guān)。一是維度ax在所有評(píng)論中被提及的頻次;二是用戶對(duì)維度ax的評(píng)論情感傾向與用戶整體評(píng)論情感傾向的一致性[22]。因此,可以通過(guò)公式(1)和公式(2)進(jìn)行計(jì)算。

    其中WX表示維度ax的權(quán)重值,A表示在線評(píng)論中所提取的維度個(gè)數(shù),si表示涉及維度ax的評(píng)論情感傾向,Si表示整體評(píng)論情感傾向。計(jì)算得到的維度ax的權(quán)重值越高,說(shuō)明其受用戶的關(guān)注度越高,對(duì)用戶整體評(píng)論情感傾向的決定性作用越強(qiáng)。

    2.4 基于LSTM-CNN 的在線評(píng)論情感分析

    本文構(gòu)建的LSTM-CNN 情感分析模型結(jié)構(gòu)如圖2 所示。該模型主要由LSTM 層、輸入層、卷積層、池化層和全連接層構(gòu)成。LSTM 模型是一種改進(jìn)的基于RNN 模型的網(wǎng)絡(luò)結(jié)構(gòu),能夠有效保存長(zhǎng)序列的歷史信息;而CNN 模型在整個(gè)分析過(guò)程中能夠比較精準(zhǔn)地定位核心語(yǔ)義信息,從而為后續(xù)數(shù)學(xué)模型判定得到文本的關(guān)鍵語(yǔ)義。因此,本文綜合應(yīng)用LSTM 和CNN 模型來(lái)提高移動(dòng)醫(yī)療App 在線評(píng)論情感分類的準(zhǔn)確率。

    圖2 LSTM-CNN 模型結(jié)構(gòu)

    首先利用提前訓(xùn)練好的BERT 模型將評(píng)論語(yǔ)料映射成向量矩陣,每1 個(gè)詞為1 個(gè)向量,將其按時(shí)序輸入LSTM 模型,從中提取有用的語(yǔ)義特征,從而使卷積層能提取到更加豐富的局部信息,提高模型分類的準(zhǔn)確率。接著,將LSTM 模型輸出的向量矩陣作為CNN 模型的輸入,在卷積層對(duì)LSTM每一時(shí)刻的輸出數(shù)據(jù)進(jìn)行卷積操作,提取出最重要的語(yǔ)義特征,再由池化層對(duì)卷積層輸出的數(shù)據(jù)進(jìn)行最大池化。其中,池化操作是設(shè)定一個(gè)Max 值作為中間變量,取每個(gè)過(guò)濾器中的Top-K 個(gè)最大值作為該過(guò)濾器的語(yǔ)義信息。最后,通過(guò)全連接層將前面提取到的局部特征進(jìn)行整合與歸一化處理,并基于柔性最大回歸(softmax regression)得到最終分類結(jié)果。

    3 實(shí)驗(yàn)結(jié)果和分析

    本文以App Store 中國(guó)應(yīng)用市場(chǎng)中醫(yī)療類免費(fèi)App 下載排行榜為依據(jù),在“七麥數(shù)據(jù)”平臺(tái)上逐一查詢排名前50 位的移動(dòng)醫(yī)療App 的評(píng)論數(shù)據(jù)?!捌啕湐?shù)據(jù)”是權(quán)威的移動(dòng)應(yīng)用數(shù)據(jù)分析平臺(tái),記錄了App Store、Google Play 和中國(guó)8 個(gè)主要的安卓手機(jī)應(yīng)用市場(chǎng)上App 的各類榜單、評(píng)分、評(píng)論等多維數(shù)據(jù)[23]。根據(jù)查詢結(jié)果,本文選取了2020 年1 月1 日至2021 年12 月31 日期間評(píng)論量超過(guò)500條的15 個(gè)醫(yī)療類App 作為實(shí)證研究對(duì)象。根據(jù)這些App 的詳細(xì)介紹,將其進(jìn)一步細(xì)分為互聯(lián)網(wǎng)醫(yī)院App(4 個(gè))、醫(yī)藥服務(wù)App(2 個(gè))、健康管理App(4 個(gè))和綜合服務(wù)App(5 個(gè))四大類。首先,應(yīng)用Python 爬蟲(chóng)技術(shù)采集這些App 的評(píng)論數(shù)據(jù),包括App 評(píng)分、評(píng)論數(shù)量、評(píng)論內(nèi)容、評(píng)論人、評(píng)論時(shí)間等,同時(shí)對(duì)用戶ID 進(jìn)行了隱私保護(hù)處理。采集格式如表1 所示。然后,對(duì)這些評(píng)論數(shù)據(jù)進(jìn)行清洗,得到23 771 條有效評(píng)論。接著從15 個(gè)樣本App 的在線評(píng)論中各隨機(jī)提取500 條評(píng)論數(shù)據(jù)作為情感分析語(yǔ)料,同時(shí)將沒(méi)有被提取的評(píng)論數(shù)據(jù)分成兩部分,其中80%的語(yǔ)料作為L(zhǎng)STM-CNN模型深度學(xué)習(xí)算法的訓(xùn)練集,20%的語(yǔ)料作為測(cè)試集。之后,使用jieba 工具對(duì)所有評(píng)論數(shù)據(jù)進(jìn)行分詞和詞性標(biāo)注,并進(jìn)行停用詞過(guò)濾,作為初始化語(yǔ)料。

    表1 移動(dòng)醫(yī)療App 在線評(píng)論數(shù)據(jù)采集樣例

    3.1 評(píng)論維度提取結(jié)果

    采用TF-IDF 算法計(jì)算得到移動(dòng)醫(yī)療App 在線評(píng)論對(duì)應(yīng)的TF-IDF 值,將這些值進(jìn)行排序,選擇排序靠前的特征詞作為候選特征詞,然后進(jìn)一步篩除詞頻較低和與醫(yī)療類App 屬性特征無(wú)關(guān)的詞語(yǔ),最終得到437 個(gè)特征詞。采用經(jīng)過(guò)預(yù)訓(xùn)練的BERT模型得到每個(gè)詞的詞向量,并進(jìn)行聚類分析。為測(cè)試基于BERT 的Canopy+K-Means 聚類算法的效果,本文嘗試提取BERT 倒數(shù)第2 層、倒數(shù)第3 層的特征,并用10%的語(yǔ)料進(jìn)行簡(jiǎn)單的FINE-TUNE 分類微調(diào),對(duì)提取調(diào)整后的BERT 特征進(jìn)行評(píng)估,結(jié)果如表2 所示。

    表2 基于BERT 模型不同聚類方法的效果比較

    表2 中聚類效果得分越高表示模型聚類效果越好??梢钥吹剑瑢ERT 模型微調(diào)后得到的句向量進(jìn)行求平均后得出的特征可以較好地生成聚類結(jié)果,因此本文采用BERT-FINE-TUNE-MEAN 方法進(jìn)行特征詞聚類。最終,通過(guò)Canopy+K-Means 聚類分析方法確定K 值為5。聚類后提取出專業(yè)性、易用性、可靠性、特色性、交互性5 個(gè)評(píng)論維度。各維度下的具體特征詞如圖3 所示。為了使提取到的維度盡可能全面覆蓋評(píng)論中涉及的App 屬性特性,本文利用通過(guò)維基百科中文語(yǔ)料訓(xùn)練的BERT詞向量對(duì)每個(gè)維度下的特征詞進(jìn)行了擴(kuò)充,得到移動(dòng)醫(yī)療App 評(píng)論特征詞集。

    圖3 移動(dòng)醫(yī)療App 在線評(píng)論維度提取結(jié)果

    3.2 評(píng)論維度權(quán)重計(jì)算結(jié)果

    根據(jù)App 在線評(píng)論維度提取結(jié)果,隨機(jī)選擇在線評(píng)論子集R,對(duì)R 中每條評(píng)論所包含的維度特征詞及其情感傾向進(jìn)行人工標(biāo)注。根據(jù)評(píng)論星級(jí)設(shè)定評(píng)論的整體情感傾向,5 星和4 星代表積極情感,3 星代表中性情感,1 星和2 星代表消極情感。其中,積極情感評(píng)論所占比例為58.3%,中性情感評(píng)論所占比例為12.6%,消極情感評(píng)論所占比例為29.1%。根據(jù)前述公式(1)和公式(2),計(jì)算得到移動(dòng)醫(yī)療App 5 個(gè)屬性維度的權(quán)重值,從高到低依次為:專業(yè)性(0.367)、可靠性(0.296)、交互性(0.153)、易用性(0.125)、特色性(0.059),如圖4 所示。其中,專業(yè)性和可靠性是用戶提到頻次最多且與評(píng)論整體情感一致性最高的2 個(gè)維度,所以權(quán)重值最高??梢?jiàn),移動(dòng)醫(yī)療App 提供的信息內(nèi)容與服務(wù)是否專業(yè)和是否可靠是用戶最為關(guān)注的方面。而“醫(yī)生的回復(fù)”“用戶間的社交聯(lián)系”“平臺(tái)的反饋”等內(nèi)容也經(jīng)常被用戶提及,這些內(nèi)容反映了醫(yī)患之間、用戶之間和用戶與平臺(tái)之間的多元交互性,也是醫(yī)療App 用戶關(guān)注的重點(diǎn),因此權(quán)重值也較高。此外,還有部分用戶對(duì)App 的界面是否簡(jiǎn)潔、功能是否易于使用、信息發(fā)布是否及時(shí)等易用性特征做出了評(píng)價(jià)。分析結(jié)果顯示,用戶評(píng)論里較少提及移動(dòng)醫(yī)療App 的特色性。通過(guò)對(duì)樣本App 進(jìn)行觀察發(fā)現(xiàn),大部分App 的功能和內(nèi)容同質(zhì)化現(xiàn)象嚴(yán)重,缺乏核心特色,導(dǎo)致用戶對(duì)醫(yī)療App 屬性特色的敏感度較低,也使該維度相關(guān)評(píng)論在整體評(píng)論中不具有主導(dǎo)作用,所以權(quán)重值最低。

    圖4 移動(dòng)醫(yī)療App 的在線評(píng)論維度權(quán)重值

    3.3 評(píng)論維度情感分析結(jié)果

    本文從15 個(gè)樣本App 中各抽取500 條在線評(píng)論,然后進(jìn)行特征分句,并過(guò)濾掉其中不包含上述5 個(gè)維度特征詞的短句,將過(guò)濾后的評(píng)論內(nèi)容作為情感分析依據(jù)。同時(shí),對(duì)包含不止1 個(gè)屬性特征的短句進(jìn)行依存句法分析,即通過(guò)語(yǔ)言單位內(nèi)成分之間的依存關(guān)系揭示句子的句法結(jié)構(gòu),如“醫(yī)生非常專業(yè)但回復(fù)速度太慢”,就需要分別提取包含專業(yè)性和交互性維度特征詞的兩個(gè)短句進(jìn)行情感分析,由此得到進(jìn)行移動(dòng)醫(yī)療App 在線評(píng)論情感分析的語(yǔ)料。

    采用LSTM-CNN 模型作為情感分析模型。為了驗(yàn)證模型的有效性與精確性,本文同時(shí)使用決策樹(shù)(Decision Tree)、LSTM、CNN 等4 種模型進(jìn)行情感分類效果對(duì)比(表3)。

    表3 不同模型的情感分類結(jié)果比較

    情感分類結(jié)果顯示,LSTM-CNN 模型在準(zhǔn)確率、召回率和F1 值上均取得了比單一深度學(xué)習(xí)模型更佳的效果,證明它能夠保證移動(dòng)醫(yī)療App 在線評(píng)論情感分類的準(zhǔn)確性與可靠性。在此基礎(chǔ)上,本文利用LSTM-CNN 模型對(duì)經(jīng)過(guò)特征分句處理的用戶評(píng)論語(yǔ)料進(jìn)行情感分析,分別得到15 個(gè)樣本App 在5個(gè)維度上的用戶評(píng)論積極情感傾向、中性情感傾向和消極情感傾向分析結(jié)果。其中,樣本App 的用戶評(píng)論積極情感傾向分析結(jié)果有顯著差異,而中性評(píng)論與消極評(píng)論由于數(shù)量相對(duì)較少,情感分析結(jié)果并未呈現(xiàn)出較大差異。根據(jù)已有研究提出的App 用戶滿意度評(píng)價(jià)標(biāo)準(zhǔn),在線評(píng)論的積極情感傾向率(積極情感傾向的評(píng)論在所有評(píng)論情感傾向中所占的比率)可作為衡量用戶體驗(yàn)和滿意度的重要依據(jù)[21,24],因此本文通過(guò)計(jì)算5 個(gè)維度上每個(gè)樣本App 的用戶評(píng)論積極情感傾向率來(lái)衡量用戶滿意度(表4)。

    表4 移動(dòng)醫(yī)療樣本App 各維度的用戶評(píng)論積極情感傾向率/%

    樣本App 在線評(píng)論的情感分析結(jié)果顯示,在專業(yè)性和可靠性維度上,“丁香醫(yī)生”“好大夫在線”“春雨醫(yī)生”“叮當(dāng)快藥”等移動(dòng)醫(yī)療App的積極情感傾向率都超過(guò)80%,說(shuō)明用戶對(duì)它們認(rèn)可度較高,而這些App 在我國(guó)移動(dòng)醫(yī)療服務(wù)起步階段就已上線,經(jīng)過(guò)多年運(yùn)營(yíng)與發(fā)展,已擁有龐大的用戶基礎(chǔ)和極高的知名度,并與國(guó)內(nèi)眾多三甲醫(yī)院、醫(yī)療服務(wù)機(jī)構(gòu)、藥品生產(chǎn)企業(yè)建立了廣泛的合作關(guān)系,積累了豐富的在線醫(yī)療資源,因此在專業(yè)性和可靠性上獲得了用戶高度認(rèn)可?!搬t(yī)鹿”和“京東健康”兩個(gè)App 在專業(yè)性和可靠性維度上的積極情感傾向率也位居前列,它們分別由阿里巴巴和京東兩個(gè)互聯(lián)網(wǎng)領(lǐng)軍企業(yè)開(kāi)發(fā)。由此可見(jiàn),開(kāi)發(fā)者的規(guī)模、實(shí)力、信譽(yù)等因素會(huì)對(duì)用戶觀點(diǎn)產(chǎn)生重要影響。在交互性和易用性維度上,由阿里巴巴、京東、字節(jié)跳動(dòng)等大型互聯(lián)網(wǎng)企業(yè)開(kāi)發(fā)的“醫(yī)鹿”(阿里巴巴)、“京東健康”(京東)、“小荷健康”(字節(jié)跳動(dòng))的用戶評(píng)論積極情感傾向率明顯高于其他App,主要原因可能是這些互聯(lián)網(wǎng)企業(yè)具有豐富的App 設(shè)計(jì)與開(kāi)發(fā)經(jīng)驗(yàn),更加注重產(chǎn)品的交互設(shè)計(jì)細(xì)節(jié)與可用性測(cè)試,因此能帶給用戶更佳的使用體驗(yàn);而其他App 則更多關(guān)注內(nèi)容生態(tài)和服務(wù)體系建設(shè),忽視了交互的便利性與功能的易用性。在特色性維度上,各App 在線評(píng)論積極情感傾向率均較低,基本都在70%以下,僅有“微醫(yī)”(88.27%)和“健康云”(82.21%)的用戶反饋較好。其中,“微醫(yī)”除了預(yù)約掛號(hào)、在線問(wèn)診等基本醫(yī)療服務(wù)外,還推出了“病友幫”“服務(wù)包”等特色服務(wù),而“健康云”則推出了親人健康管理、慢病管理、醫(yī)療資源智能匹配等特色化功能,在同類App 中表現(xiàn)出明顯的特色優(yōu)勢(shì)。

    不同類別的移動(dòng)醫(yī)療App 用戶在線評(píng)論積極情感傾向率顯示,醫(yī)藥服務(wù)類App 和綜合服務(wù)類App 在專業(yè)性、可靠性、交互性和易用性4 個(gè)維度上的用戶滿意度均較高,而健康管理類App 在這4個(gè)維度上的消極評(píng)價(jià)則較多(圖5),說(shuō)明目前我國(guó)移動(dòng)醫(yī)療應(yīng)用市場(chǎng)中,醫(yī)藥服務(wù)類App 和綜合服務(wù)類App 的整體發(fā)展情況較好,用戶接受程度較高;而健康管理類App 的醫(yī)療資源質(zhì)量和服務(wù)水平則參差不齊,有待進(jìn)一步提升。此外,在特色性維度上,各類App 的用戶在線評(píng)論積極情感傾向率均較低,說(shuō)明目前移動(dòng)醫(yī)療App 的同質(zhì)化現(xiàn)象嚴(yán)重,缺乏符合用戶個(gè)性化需求的特色功能與服務(wù)。雖然各大醫(yī)療App 開(kāi)發(fā)商已經(jīng)開(kāi)始重視特色化和精準(zhǔn)性醫(yī)療健康服務(wù)的建設(shè),但在醫(yī)療資訊、在線問(wèn)診、在線購(gòu)藥等核心功能方面的創(chuàng)新性還有待進(jìn)一步加強(qiáng)。

    圖5 移動(dòng)醫(yī)療細(xì)分領(lǐng)域App 在線評(píng)論積極情感傾向率分布

    3.4 結(jié)果分析

    本文綜合應(yīng)用TF-IDF 算法、BERT 模型和Canopy+K-means 聚類分析方法,以當(dāng)前我國(guó)移動(dòng)醫(yī)療應(yīng)用市場(chǎng)中用戶廣泛使用的App 為實(shí)證對(duì)象,基于真實(shí)的大規(guī)模評(píng)論數(shù)據(jù),提取得到受移動(dòng)醫(yī)療App 用戶關(guān)注的專業(yè)性、可靠性、交互性、易用性、特色性5 個(gè)主要維度作為衡量用戶滿意度的關(guān)鍵指標(biāo),進(jìn)一步細(xì)化了基于傳統(tǒng)問(wèn)卷調(diào)查和專家經(jīng)驗(yàn)提出的評(píng)價(jià)框架。已有研究大多側(cè)重于從服務(wù)質(zhì)量、信息質(zhì)量、交互質(zhì)量3 個(gè)維度衡量App 用戶滿意度,未能充分體現(xiàn)用戶對(duì)移動(dòng)醫(yī)療App 專業(yè)性、可靠性的特殊需求,也難以突出激烈市場(chǎng)競(jìng)爭(zhēng)下App 的特色性對(duì)用戶滿意度的重要影響[25-27]。因此,本文的研究結(jié)果能更全面、精準(zhǔn)地幫助App開(kāi)發(fā)商和運(yùn)營(yíng)商把握用戶對(duì)移動(dòng)醫(yī)療服務(wù)的現(xiàn)實(shí)需求。與此同時(shí),在評(píng)論維度挖掘基礎(chǔ)上,本文還進(jìn)一步計(jì)算了各維度的權(quán)重值,比較了不同維度對(duì)用戶滿意度的影響,明確了移動(dòng)醫(yī)療App 未來(lái)發(fā)展的重點(diǎn)方向。

    通過(guò)基于LSTM-CNN 模型的移動(dòng)醫(yī)療App 在線評(píng)論情感分析,本文通過(guò)計(jì)算得到各App 在不同維度上的用戶評(píng)論積極情感傾向率,并由此詳細(xì)比較了不同App 的優(yōu)勢(shì)與劣勢(shì),深入揭示了影響用戶滿意度的具體因素,有助于App 開(kāi)發(fā)商和運(yùn)營(yíng)商在“健康中國(guó)”戰(zhàn)略引導(dǎo)下,以用戶需求為中心,更有針對(duì)性地進(jìn)行內(nèi)容、功能、界面的優(yōu)化與完善。同時(shí),通過(guò)醫(yī)療健康各細(xì)分領(lǐng)域App 間的橫向比較,進(jìn)一步明確了不同類型移動(dòng)醫(yī)療App的核心優(yōu)勢(shì)和發(fā)展方向,有助于推動(dòng)我國(guó)移動(dòng)醫(yī)療App 的創(chuàng)新與發(fā)展,帶動(dòng)我國(guó)傳統(tǒng)醫(yī)療行業(yè)的數(shù)字化轉(zhuǎn)型與智能化升級(jí)。

    4 結(jié)語(yǔ)

    隨著移動(dòng)醫(yī)療服務(wù)的快速發(fā)展和新冠肺炎疫情的常態(tài)化防控,移動(dòng)醫(yī)療App 正逐漸成為人們有效使用醫(yī)療資源和服務(wù)的便捷方式。通過(guò)對(duì)移動(dòng)醫(yī)療App 在線評(píng)論進(jìn)行維度挖掘和情感分析,可以深入了解用戶在使用移動(dòng)醫(yī)療服務(wù)時(shí)的關(guān)注重點(diǎn)和體驗(yàn)效果,對(duì)App 開(kāi)發(fā)商和運(yùn)營(yíng)商進(jìn)行產(chǎn)品迭代創(chuàng)新和用戶體驗(yàn)優(yōu)化具有重要價(jià)值。針對(duì)已有研究方法的局限性,本文提出了一種集成多策略的深度學(xué)習(xí)方法對(duì)移動(dòng)醫(yī)療App 在線評(píng)論進(jìn)行維度挖掘和情感分析,綜合應(yīng)用TF-IDF 算法、BERT模型和Canopy+K-means 聚類分析方法提取App 在線評(píng)論的主要維度,在此基礎(chǔ)上進(jìn)一步利用LSTM-CNN 模型進(jìn)行在線評(píng)論細(xì)粒度情感分析,從而全面、準(zhǔn)確地衡量了用戶對(duì)不同移動(dòng)醫(yī)療App的滿意度。實(shí)驗(yàn)結(jié)果顯示,本文提出的集成多策略的深度學(xué)習(xí)方法在移動(dòng)醫(yī)療App 在線評(píng)論維度挖掘和情感分類上具有很好的適用性、穩(wěn)定性和可推廣性,可為App 評(píng)論文本精準(zhǔn)分析和用戶滿意度評(píng)價(jià)提供重要理論依據(jù)和技術(shù)支持。

    但本文也存在一定的局限性??紤]到深度學(xué)習(xí)方法對(duì)在線評(píng)論挖掘和情感分類的數(shù)據(jù)量要求,本文僅選擇了目前用戶數(shù)量較多且評(píng)論數(shù)據(jù)豐富的代表性移動(dòng)醫(yī)療App 進(jìn)行實(shí)證研究,樣本規(guī)模不足,未能充分反映我國(guó)移動(dòng)醫(yī)療應(yīng)用市場(chǎng)的整體情況。在今后的研究中,隨著用戶評(píng)論數(shù)據(jù)的不斷累積,我們將進(jìn)一步擴(kuò)大樣本規(guī)模,并針對(duì)更多醫(yī)療細(xì)分領(lǐng)域的App 展開(kāi)可持續(xù)研究。同時(shí),進(jìn)一步優(yōu)化基于深度學(xué)習(xí)的細(xì)粒度評(píng)論情感分類模型,為推動(dòng)我國(guó)移動(dòng)醫(yī)療App 的創(chuàng)新發(fā)展提供更有效的理論和實(shí)踐指導(dǎo)。

    猜你喜歡
    特征詞聚類維度
    淺論詩(shī)中“史”識(shí)的四個(gè)維度
    基于改進(jìn)TFIDF算法的郵件分類技術(shù)
    基于DBSACN聚類算法的XML文檔聚類
    產(chǎn)品評(píng)論文本中特征詞提取及其關(guān)聯(lián)模型構(gòu)建與應(yīng)用
    光的維度
    燈與照明(2016年4期)2016-06-05 09:01:45
    “五個(gè)維度”解有機(jī)化學(xué)推斷題
    基于改進(jìn)的遺傳算法的模糊聚類算法
    面向文本分類的特征詞選取方法研究與改進(jìn)
    一種層次初始的聚類個(gè)數(shù)自適應(yīng)的聚類方法研究
    人生三維度
    吐魯番(2014年2期)2014-02-28 16:54:43
    亚洲国产高清在线一区二区三 | 日韩精品青青久久久久久| 国产真人三级小视频在线观看| 日韩三级视频一区二区三区| 黄片大片在线免费观看| 久久久国产成人精品二区| 黄色a级毛片大全视频| 老司机在亚洲福利影院| 男人舔女人下体高潮全视频| 性色av乱码一区二区三区2| av福利片在线| 日韩大尺度精品在线看网址 | 成人手机av| 成人国语在线视频| 国产精品久久电影中文字幕| 露出奶头的视频| 日韩国内少妇激情av| 欧美另类亚洲清纯唯美| 日本 欧美在线| 久久精品国产亚洲av香蕉五月| 97人妻精品一区二区三区麻豆 | 亚洲成人精品中文字幕电影| 国产精品爽爽va在线观看网站 | 国产亚洲欧美98| 可以在线观看毛片的网站| 午夜两性在线视频| 久久精品aⅴ一区二区三区四区| 女生性感内裤真人,穿戴方法视频| 黄片大片在线免费观看| 久久国产精品人妻蜜桃| 久久久久久免费高清国产稀缺| 婷婷六月久久综合丁香| 中国美女看黄片| 人妻久久中文字幕网| 国产熟女xx| 91字幕亚洲| 天堂√8在线中文| 国产成人影院久久av| 婷婷丁香在线五月| 美女国产高潮福利片在线看| 在线观看免费视频网站a站| av欧美777| 午夜福利18| 国产精品九九99| 精品人妻1区二区| 两性午夜刺激爽爽歪歪视频在线观看 | 久久亚洲精品不卡| 国产一区在线观看成人免费| 国产亚洲精品第一综合不卡| 亚洲第一av免费看| 99国产极品粉嫩在线观看| 亚洲五月色婷婷综合| 亚洲色图av天堂| 真人做人爱边吃奶动态| 午夜免费鲁丝| 美女 人体艺术 gogo| 午夜亚洲福利在线播放| 精品乱码久久久久久99久播| 91字幕亚洲| www.自偷自拍.com| 黑人巨大精品欧美一区二区蜜桃| 久久狼人影院| 99国产精品一区二区蜜桃av| 熟女少妇亚洲综合色aaa.| 午夜福利影视在线免费观看| 啦啦啦免费观看视频1| 日韩欧美免费精品| 国产成人啪精品午夜网站| 岛国在线观看网站| 久久天堂一区二区三区四区| 亚洲一卡2卡3卡4卡5卡精品中文| 国产99久久九九免费精品| 在线观看www视频免费| 国产私拍福利视频在线观看| 如日韩欧美国产精品一区二区三区| 91大片在线观看| 变态另类成人亚洲欧美熟女 | 国产aⅴ精品一区二区三区波| av免费在线观看网站| 在线观看免费视频网站a站| 免费搜索国产男女视频| 精品第一国产精品| 久久婷婷成人综合色麻豆| 99精品欧美一区二区三区四区| 在线观看午夜福利视频| 一级毛片女人18水好多| 精品人妻1区二区| 国产精品av久久久久免费| 老司机午夜十八禁免费视频| 两性午夜刺激爽爽歪歪视频在线观看 | 91在线观看av| 97人妻精品一区二区三区麻豆 | 欧美乱妇无乱码| 9色porny在线观看| 午夜福利高清视频| 亚洲九九香蕉| 亚洲精品国产一区二区精华液| 亚洲午夜精品一区,二区,三区| avwww免费| av超薄肉色丝袜交足视频| 多毛熟女@视频| 亚洲欧美日韩另类电影网站| 亚洲成av片中文字幕在线观看| 如日韩欧美国产精品一区二区三区| 欧美一级a爱片免费观看看 | 身体一侧抽搐| 国产精品精品国产色婷婷| 99香蕉大伊视频| 亚洲男人的天堂狠狠| 桃色一区二区三区在线观看| 在线av久久热| 国产成人啪精品午夜网站| www国产在线视频色| 国产成人av教育| 久久久久久久久久久久大奶| 极品教师在线免费播放| 久久精品影院6| 午夜福利,免费看| 深夜精品福利| 亚洲熟妇中文字幕五十中出| 午夜免费观看网址| 国产一卡二卡三卡精品| 琪琪午夜伦伦电影理论片6080| 亚洲成av人片免费观看| 国产成人免费无遮挡视频| 午夜影院日韩av| 国产成人精品久久二区二区91| 日本在线视频免费播放| 久久人人97超碰香蕉20202| 叶爱在线成人免费视频播放| 欧美另类亚洲清纯唯美| 少妇粗大呻吟视频| 色播亚洲综合网| 国产片内射在线| 欧美亚洲日本最大视频资源| 日本免费a在线| 免费久久久久久久精品成人欧美视频| 亚洲国产欧美日韩在线播放| 欧美日韩亚洲综合一区二区三区_| 给我免费播放毛片高清在线观看| 亚洲avbb在线观看| 国产午夜福利久久久久久| 美女高潮到喷水免费观看| 在线观看免费日韩欧美大片| 欧美国产日韩亚洲一区| 999久久久国产精品视频| 国产高清激情床上av| 国产成人精品久久二区二区91| 中文字幕最新亚洲高清| av中文乱码字幕在线| 国产精品精品国产色婷婷| 中文字幕人妻熟女乱码| 成年女人毛片免费观看观看9| 女性被躁到高潮视频| 无限看片的www在线观看| 久久香蕉精品热| 悠悠久久av| 精品熟女少妇八av免费久了| √禁漫天堂资源中文www| 级片在线观看| 熟妇人妻久久中文字幕3abv| 免费看a级黄色片| 日韩av在线大香蕉| 精品高清国产在线一区| 午夜a级毛片| 嫁个100分男人电影在线观看| 国产成人av激情在线播放| 久久久久亚洲av毛片大全| 国产精品日韩av在线免费观看 | 日韩欧美一区视频在线观看| 国产av在哪里看| 成人欧美大片| 美女午夜性视频免费| 亚洲国产欧美一区二区综合| 国产精品永久免费网站| 午夜福利高清视频| 一边摸一边抽搐一进一小说| 香蕉久久夜色| 婷婷六月久久综合丁香| 18禁裸乳无遮挡免费网站照片 | 精品午夜福利视频在线观看一区| 欧美激情久久久久久爽电影 | 国产精品久久电影中文字幕| 欧美日韩精品网址| 国产亚洲欧美在线一区二区| 一进一出抽搐动态| 日韩大尺度精品在线看网址 | 亚洲男人天堂网一区| 精品人妻在线不人妻| 亚洲精品国产精品久久久不卡| 亚洲精品国产精品久久久不卡| 国产免费av片在线观看野外av| 国产在线观看jvid| 黑人巨大精品欧美一区二区蜜桃| 伊人久久大香线蕉亚洲五| 亚洲第一av免费看| 亚洲国产精品成人综合色| 久久国产精品人妻蜜桃| 999久久久国产精品视频| 男女下面插进去视频免费观看| 国产成人啪精品午夜网站| 久久久久国产精品人妻aⅴ院| 97人妻精品一区二区三区麻豆 | 日韩一卡2卡3卡4卡2021年| 国产成人av教育| 一进一出抽搐动态| av超薄肉色丝袜交足视频| 国产成人精品无人区| 久9热在线精品视频| 亚洲av日韩精品久久久久久密| 久久狼人影院| 嫩草影视91久久| 人人妻人人澡欧美一区二区 | 国产精品免费视频内射| 亚洲欧洲精品一区二区精品久久久| 国产精品 欧美亚洲| 91老司机精品| 久久草成人影院| 欧美黄色淫秽网站| 三级毛片av免费| 69av精品久久久久久| 男人的好看免费观看在线视频 | 中文字幕另类日韩欧美亚洲嫩草| 91麻豆av在线| 国产精品一区二区精品视频观看| 国产精品精品国产色婷婷| 自拍欧美九色日韩亚洲蝌蚪91| 妹子高潮喷水视频| 黄色视频不卡| 如日韩欧美国产精品一区二区三区| 国产精品自产拍在线观看55亚洲| 国产精品一区二区在线不卡| 人人澡人人妻人| 少妇熟女aⅴ在线视频| 妹子高潮喷水视频| 国产真人三级小视频在线观看| 国产成人精品无人区| 97超级碰碰碰精品色视频在线观看| 夜夜躁狠狠躁天天躁| 制服人妻中文乱码| 亚洲精品一卡2卡三卡4卡5卡| 免费看a级黄色片| 久久久水蜜桃国产精品网| 男女下面插进去视频免费观看| 亚洲欧美激情综合另类| 看免费av毛片| 在线十欧美十亚洲十日本专区| 999久久久国产精品视频| 午夜福利,免费看| 国内毛片毛片毛片毛片毛片| 伦理电影免费视频| 日韩欧美在线二视频| 欧美日本视频| 久久香蕉精品热| 精品人妻在线不人妻| 国产精品 国内视频| 欧美一级毛片孕妇| 热re99久久国产66热| 在线观看www视频免费| 国产蜜桃级精品一区二区三区| 久久中文字幕一级| 精品欧美国产一区二区三| 久久久久国产一级毛片高清牌| 两性午夜刺激爽爽歪歪视频在线观看 | 看免费av毛片| 无遮挡黄片免费观看| 久久人妻熟女aⅴ| 一本久久中文字幕| 国产精品永久免费网站| 老司机靠b影院| 日韩欧美免费精品| 欧美日韩亚洲国产一区二区在线观看| 精品福利观看| 国产精品99久久99久久久不卡| 国产欧美日韩一区二区三| 成人手机av| 欧美日韩福利视频一区二区| 免费久久久久久久精品成人欧美视频| 午夜免费鲁丝| 欧美日本视频| 国产亚洲av高清不卡| 国产午夜福利久久久久久| 在线观看免费视频网站a站| 深夜精品福利| 极品教师在线免费播放| 99国产精品一区二区蜜桃av| 欧美乱妇无乱码| 亚洲人成伊人成综合网2020| 国产精品一区二区免费欧美| 精品国产国语对白av| 变态另类成人亚洲欧美熟女 | 亚洲av日韩精品久久久久久密| 亚洲aⅴ乱码一区二区在线播放 | 男女之事视频高清在线观看| 久久精品91无色码中文字幕| 国产av又大| tocl精华| 欧美国产日韩亚洲一区| 日日夜夜操网爽| 欧美性长视频在线观看| 午夜两性在线视频| 国产在线观看jvid| 深夜精品福利| 最近最新免费中文字幕在线| 欧美成狂野欧美在线观看| aaaaa片日本免费| 亚洲欧洲精品一区二区精品久久久| 91精品国产国语对白视频| 欧美 亚洲 国产 日韩一| 成年版毛片免费区| 12—13女人毛片做爰片一| 日韩欧美一区视频在线观看| 99精品欧美一区二区三区四区| 国产精品av久久久久免费| 日韩一卡2卡3卡4卡2021年| 日日夜夜操网爽| 变态另类成人亚洲欧美熟女 | 美女午夜性视频免费| 色老头精品视频在线观看| 久久国产精品男人的天堂亚洲| 精品一区二区三区视频在线观看免费| 无遮挡黄片免费观看| 久久中文字幕人妻熟女| 日本 欧美在线| 啦啦啦韩国在线观看视频| 成年版毛片免费区| 国产野战对白在线观看| 精品国产美女av久久久久小说| 亚洲黑人精品在线| 1024视频免费在线观看| 午夜亚洲福利在线播放| 国产麻豆69| 搡老熟女国产l中国老女人| 又黄又粗又硬又大视频| 亚洲精品国产区一区二| 女人被躁到高潮嗷嗷叫费观| 亚洲第一av免费看| 久久精品影院6| 免费女性裸体啪啪无遮挡网站| aaaaa片日本免费| 久久人人爽av亚洲精品天堂| 国产免费男女视频| 精品一区二区三区视频在线观看免费| 1024香蕉在线观看| 制服丝袜大香蕉在线| 日本一区二区免费在线视频| 国产高清videossex| 国产亚洲精品一区二区www| 老司机靠b影院| 国产欧美日韩精品亚洲av| 亚洲精华国产精华精| 久久精品国产99精品国产亚洲性色 | 国产一区二区激情短视频| av网站免费在线观看视频| 欧美中文综合在线视频| 亚洲欧美激情在线| 一进一出好大好爽视频| 午夜福利在线观看吧| www.精华液| 亚洲精品一卡2卡三卡4卡5卡| 国产精品日韩av在线免费观看 | 性欧美人与动物交配| 久久国产亚洲av麻豆专区| 亚洲中文字幕日韩| 亚洲欧美日韩无卡精品| 亚洲中文av在线| 大香蕉久久成人网| 国内久久婷婷六月综合欲色啪| 亚洲在线自拍视频| 午夜免费鲁丝| 成年版毛片免费区| 涩涩av久久男人的天堂| 亚洲欧美一区二区三区黑人| 一区二区三区精品91| 免费在线观看亚洲国产| 免费在线观看日本一区| 黄色成人免费大全| 欧美在线黄色| 久久天堂一区二区三区四区| 久久久久国内视频| 国产高清videossex| 757午夜福利合集在线观看| 午夜免费成人在线视频| 黄片小视频在线播放| av超薄肉色丝袜交足视频| 国产片内射在线| 欧美激情久久久久久爽电影 | 成在线人永久免费视频| 最新在线观看一区二区三区| 99精品在免费线老司机午夜| 麻豆成人av在线观看| 日韩欧美一区视频在线观看| 亚洲一码二码三码区别大吗| 在线天堂中文资源库| 高清毛片免费观看视频网站| 婷婷丁香在线五月| 久久影院123| 欧美绝顶高潮抽搐喷水| 神马国产精品三级电影在线观看 | 一级,二级,三级黄色视频| 久久草成人影院| 丝袜美足系列| 涩涩av久久男人的天堂| 久久久国产精品麻豆| 91国产中文字幕| 啦啦啦观看免费观看视频高清 | 免费av毛片视频| 欧美成人性av电影在线观看| 十分钟在线观看高清视频www| 色播在线永久视频| 自线自在国产av| 一区福利在线观看| 国产成人影院久久av| 午夜福利成人在线免费观看| 国产精品亚洲美女久久久| 国产男靠女视频免费网站| 俄罗斯特黄特色一大片| 精品欧美一区二区三区在线| 女同久久另类99精品国产91| 亚洲av日韩精品久久久久久密| 午夜成年电影在线免费观看| 日本免费一区二区三区高清不卡 | 97超级碰碰碰精品色视频在线观看| 国产精品一区二区在线不卡| 亚洲专区国产一区二区| av天堂在线播放| 国产精品自产拍在线观看55亚洲| 国产精品 欧美亚洲| 91字幕亚洲| 1024视频免费在线观看| 老司机午夜十八禁免费视频| 啦啦啦韩国在线观看视频| 纯流量卡能插随身wifi吗| АⅤ资源中文在线天堂| 一进一出抽搐动态| 国产激情欧美一区二区| 免费在线观看视频国产中文字幕亚洲| 久久国产乱子伦精品免费另类| 亚洲七黄色美女视频| svipshipincom国产片| 午夜激情av网站| av在线播放免费不卡| 欧美成人性av电影在线观看| 久久久久国产一级毛片高清牌| 国内精品久久久久精免费| 久久国产乱子伦精品免费另类| 精品国产乱码久久久久久男人| 性少妇av在线| 在线国产一区二区在线| 伊人久久大香线蕉亚洲五| 亚洲第一电影网av| 老司机午夜福利在线观看视频| 久久 成人 亚洲| 国产一级毛片七仙女欲春2 | svipshipincom国产片| 天天一区二区日本电影三级 | av福利片在线| 麻豆一二三区av精品| 天天躁夜夜躁狠狠躁躁| 成人免费观看视频高清| 欧美在线一区亚洲| 久久香蕉国产精品| 国产极品粉嫩免费观看在线| 国产激情欧美一区二区| 精品人妻1区二区| 久久天躁狠狠躁夜夜2o2o| 最新美女视频免费是黄的| 99久久久亚洲精品蜜臀av| 女性生殖器流出的白浆| 99香蕉大伊视频| 成人精品一区二区免费| 日本欧美视频一区| 中文字幕人妻熟女乱码| 亚洲国产精品合色在线| 叶爱在线成人免费视频播放| 国产片内射在线| 男人舔女人的私密视频| 成年人黄色毛片网站| 国产免费男女视频| 91成人精品电影| 欧美在线一区亚洲| 18禁裸乳无遮挡免费网站照片 | 亚洲av第一区精品v没综合| 国产成人免费无遮挡视频| 国产欧美日韩精品亚洲av| www国产在线视频色| 免费无遮挡裸体视频| 香蕉丝袜av| 人妻丰满熟妇av一区二区三区| 国产又色又爽无遮挡免费看| 久久九九热精品免费| 99久久99久久久精品蜜桃| 久久狼人影院| 国产成人av教育| 纯流量卡能插随身wifi吗| 黄片大片在线免费观看| 又紧又爽又黄一区二区| 国产av精品麻豆| 国产精品野战在线观看| 亚洲熟妇熟女久久| 国产高清videossex| 精品久久久久久,| 国产欧美日韩综合在线一区二区| 不卡一级毛片| 中亚洲国语对白在线视频| 国内精品久久久久精免费| 精品人妻在线不人妻| svipshipincom国产片| 日韩欧美国产一区二区入口| 制服诱惑二区| 国产亚洲精品久久久久久毛片| 久久中文字幕人妻熟女| 久久国产亚洲av麻豆专区| 啦啦啦 在线观看视频| 亚洲第一电影网av| 免费看a级黄色片| 热99re8久久精品国产| 国产99白浆流出| 午夜精品在线福利| 精品少妇一区二区三区视频日本电影| 日本 欧美在线| 亚洲va日本ⅴa欧美va伊人久久| 日韩精品免费视频一区二区三区| 制服诱惑二区| 国产伦一二天堂av在线观看| 露出奶头的视频| 91在线观看av| 国产三级黄色录像| 在线播放国产精品三级| 久久国产精品男人的天堂亚洲| 在线观看日韩欧美| 国产亚洲精品一区二区www| 久久精品影院6| 欧美国产日韩亚洲一区| 国产高清视频在线播放一区| 色精品久久人妻99蜜桃| 精品久久久精品久久久| 1024香蕉在线观看| 亚洲第一欧美日韩一区二区三区| 色在线成人网| 香蕉国产在线看| 色老头精品视频在线观看| 国产精品久久久久久精品电影 | 麻豆成人av在线观看| 国产精品精品国产色婷婷| 天堂影院成人在线观看| 国产欧美日韩一区二区三| 校园春色视频在线观看| 人人妻人人澡欧美一区二区 | 精品欧美一区二区三区在线| 亚洲国产欧美日韩在线播放| 十八禁人妻一区二区| 好看av亚洲va欧美ⅴa在| 在线永久观看黄色视频| 国产麻豆成人av免费视频| 久久久久久免费高清国产稀缺| 69av精品久久久久久| 一本大道久久a久久精品| 亚洲精品美女久久av网站| 欧美成人免费av一区二区三区| 亚洲精品国产区一区二| 日本a在线网址| 一级毛片高清免费大全| 色在线成人网| av网站免费在线观看视频| 桃色一区二区三区在线观看| 亚洲国产欧美日韩在线播放| 一级片免费观看大全| 中文字幕av电影在线播放| 深夜精品福利| 亚洲色图综合在线观看| 欧美老熟妇乱子伦牲交| 亚洲一区高清亚洲精品| 日本免费一区二区三区高清不卡 | 中文字幕色久视频| 波多野结衣av一区二区av| 午夜精品久久久久久毛片777| 国语自产精品视频在线第100页| 亚洲国产精品成人综合色| 高潮久久久久久久久久久不卡| 国产高清视频在线播放一区| 欧美人与性动交α欧美精品济南到| 精品国产亚洲在线| 91国产中文字幕| 一级a爱视频在线免费观看| 这个男人来自地球电影免费观看| 午夜福利18| 欧美国产日韩亚洲一区| 亚洲九九香蕉| 国产免费男女视频| 日韩有码中文字幕| 午夜免费观看网址| 国产1区2区3区精品| 18禁裸乳无遮挡免费网站照片 | 99久久久亚洲精品蜜臀av| 操出白浆在线播放| 国产一卡二卡三卡精品| 欧美最黄视频在线播放免费| 久久精品91无色码中文字幕| 精品国产超薄肉色丝袜足j| 久久精品国产99精品国产亚洲性色 | 男女做爰动态图高潮gif福利片 | 亚洲一区中文字幕在线| 女警被强在线播放| 亚洲国产精品sss在线观看| 黄色毛片三级朝国网站| 精品免费久久久久久久清纯| 亚洲 国产 在线| 成人国语在线视频| 91麻豆精品激情在线观看国产| 成人精品一区二区免费| 久久精品国产亚洲av高清一级| 韩国精品一区二区三区| 女人被狂操c到高潮| 亚洲中文av在线|