多特征融合下視頻網(wǎng)站彈幕信息有用性檢測研究

張瑞 何祿鑫 黃煒

基金項目：湖北省高等學(xué)校哲學(xué)社會科學(xué)研究重大項目“新時代高校突發(fā)事件網(wǎng)絡(luò)輿情分析與引導(dǎo)機制研究”（項目編號：19ZD025）;湖北省教育廳科學(xué)技術(shù)研究計劃重點項目“大規(guī)模數(shù)據(jù)環(huán)境下基于時序模式挖掘的網(wǎng)絡(luò)恐怖事件感知方法研究”（項目編號：D20191401）。

作者簡介：張瑞（1992-），女，講師，博士，研究方向：知識計量與信息管理。何祿鑫（2001-），男，本科生，研究方向：用戶行為。黃煒（1979-），男，教授，博士，研究方向：網(wǎng)絡(luò)輿情與大數(shù)據(jù)。

摘 要：[目的/意義]隨著視頻平臺彈幕功能被大眾所熟知，彈幕信息呈現(xiàn)爆炸式增長，信息有用性檢測逐漸凸顯重要的學(xué)術(shù)和商業(yè)價值。[方法/過程]本文提出了多特征融合下視頻網(wǎng)站彈幕信息有用性檢測模型。該模型首先從彈幕信息效用、彈幕表達形式和彈幕用戶特征3個角度提取與彈幕信息有用性相關(guān)的特征指標，然后利用隨機森林對重要特征進行選擇，建立機器學(xué)習(xí)模型邏輯回歸、SVM、決策樹、樸素貝葉斯、GBDT等對彈幕信息進行分類，得到各等級信息有用性的檢測結(jié)果。[結(jié)果/結(jié)論]從結(jié)果中顯示，集成模型（GBDT、LightGBM和XGBoost）相比于單模型算法展現(xiàn)了更好的優(yōu)越性。最后，根據(jù)研究結(jié)果提出相應(yīng)的理論和實踐意義。本研究擴展了在線信息特征相關(guān)研究，也為評估和改善視頻平臺環(huán)境提供了決策依據(jù)。

關(guān)鍵詞：特征融合;隨機森林;機器學(xué)習(xí);有用性檢測;彈幕信息

DOI：10.3969/j.issn.1008-0821.2022.04.009

〔中圖分類號〕G203 〔文獻標識碼〕A 〔文章編號〕1008-0821（2022）04-0099-11

Abstract：[Purpose/Significance]As the function of the video platform danmaku is well-known to the public，the information of danmaku has exploded，and information usefulness detection gradually highlights the important academic and commercial value.[Method/Process]In this paper，a multi feature fusion based video website danmaku information usefulness detection model was proposed.Firstly，the feature indexes related to the usefulness of danmaku information were extracted by the model from the three perspectives of danmaku information utility，danmaku expression and danmaku user characteristics.Then the important features were selected using random forest，and a machine learning model was established to classify danmaku information，such as logical regression，SVM，decision tree，naive bayes and GBDT，getting the test results of each level of information usefulness.[Results/Conclusion]The results show that the integrated models（GBDT，LightGBM and XGBoost）have better advantages than the single-model algorithm.Finally，according to the research results，the corresponding theoretical and practical significance is put forward.This research expands the research on the characteristics of online information，and also provides a decision-making basis for evaluating and improving the video platform environment.

Key words：feature fusion;random forest;machine learning;usefulness detection;danmaku information

近年來，彈幕已經(jīng)發(fā)展成為大眾熟知并接納的一種信息傳播方式。彈幕文化最早起源于2006年日本Niconico視頻網(wǎng)站，2008年傳入我國被ACG愛好者所接受，其后，BiliBili網(wǎng)站（以下簡稱B站）迅速建立并發(fā)展成為我國最大的彈幕視頻網(wǎng)站，2014年底，騰訊、愛奇藝等國內(nèi)主流視頻網(wǎng)站紛紛使用了彈幕功能[1-2]。在2020年11月，B站聯(lián)合中國社會科學(xué)院社會學(xué)研究所發(fā)布《2020年度彈幕報告》，報告基于大數(shù)據(jù)統(tǒng)計指出B站用戶總共發(fā)送超16億次彈幕，95后用戶非常活躍[3]。隨著彈幕的受眾和影響力不斷擴大，大量彈幕信息呈爆炸式增長，過去彈幕只是一種漂浮于在線播放視頻之上的流動文本，現(xiàn)在彈幕已發(fā)展成為諸多場景必不可少的互動功能之一[4]。用戶可以即時進行文本編輯與發(fā)送，將自己的彈幕呈現(xiàn)在播放頁面上。相比于傳統(tǒng)評論，視頻彈幕具有即時性、共情性、互動性等特點。作為一種新型的信息交流方式，彈幕不僅包含用戶對視頻內(nèi)容的評論信息，同時還包括用戶復(fù)雜多樣的態(tài)度、意向、情感等信息。喻昕等指出，彈幕信息具有互動性、可視性、娛樂性和有用性4種特性，其中有用性反映出彈幕信息的可利用價值[5]。

隨著用戶參與度提高，彈幕數(shù)量日漸龐大且不斷增長，密集的文字鋪滿屏幕，可能會對用戶觀看體驗造成一定的影響[6]。用戶傾向于對自己的觀看體驗產(chǎn)生積極影響的彈幕信息，認為該信息是有價值的、有意義的。此外，彈幕信息中傳遞的用戶觀點和想法越來越多地被視頻創(chuàng)作者和平臺關(guān)注，且在產(chǎn)品功能上十分重視彈幕的篩選和審核機制[7-8]。然而，信息有用性在不同程度上取決于個人的主觀認知，針對信息有用性的量化研究成為一項具有挑戰(zhàn)性的工作[9-10]。因此，面對海量彈幕信息，有效甄別和檢測彈幕信息有用性體現(xiàn)出重要的價值。現(xiàn)有對信息有用性的研究集中于網(wǎng)絡(luò)評論有用性[11-12]，彈幕是繼網(wǎng)絡(luò)評論后的一種新穎的信息表達方式，彈幕信息有用性的衡量標準也產(chǎn)生了一定變化?；谏鲜銮闆r，本文以視頻網(wǎng)站彈幕信息為研究對象，提取彈幕信息特征，構(gòu)建有用性檢測模型，并采用彈幕數(shù)據(jù)進行實驗來驗證檢測效果，以期達到能獨立判斷和自動識別視頻網(wǎng)站彈幕的信息價值，有效挖掘用戶觀點，提升視頻網(wǎng)站服務(wù)質(zhì)量。

1 相關(guān)工作

1.1 彈幕文本研究

在互聯(lián)網(wǎng)時代，彈幕文化日益濃厚，表現(xiàn)出顯著的風格特征，呈現(xiàn)出互動性、碎片性、流動性和及時性[13-14]。彈幕文本具有形式短且語義缺失的特點，張俊杰分析收集視頻彈幕數(shù)據(jù)發(fā)現(xiàn)，80%以上的彈幕在30字符以下[15]。從傳播學(xué)角度，網(wǎng)絡(luò)媒體有豐富的符號化表達方式，彈幕的語言模式成為研究關(guān)注的重點。例如，沈文靜將彈幕分為文字類和非文字類符號[16];付陽春按照彈幕語言成因分為操作類、情感類、來源類和其他4類[17];王路珊認為彈幕語言有其獨特語境，在語音、文字、詞匯、句法和語義方面不同于其他網(wǎng)絡(luò)語言[18]。

彈幕伴隨視頻網(wǎng)站的發(fā)展得以運用，可以極大地改善人與人之間的互動[19]。在營銷學(xué)領(lǐng)域，學(xué)者們重點關(guān)注視頻網(wǎng)站彈幕的用戶體驗。孟陸等以信息源特性維度（專業(yè)性、技能性等7項）來分類彈幕文本，檢驗直播網(wǎng)紅的信息源特性對受眾行為的影響[20]。不少研究指出，彈幕蘊含著用戶的行為和態(tài)度信息，從彈幕文本中判別用戶的關(guān)注點和情感傾向，有助于行為科學(xué)中的潛在應(yīng)用[21-23]。張亞雪等認為，彈幕使用動機在于滿足受眾自我呈現(xiàn)和多種需求[24]。Wang S等構(gòu)建基于改進的Bi-LSTM模型的彈幕評論情感分析模型[25]。在網(wǎng)絡(luò)教育中，楊九民等通過元分析證明彈幕對學(xué)習(xí)者的學(xué)習(xí)具有積極影響，對學(xué)習(xí)結(jié)果影響顯著[26]。此外，對彈幕進行識別和標注等技術(shù)也在不斷發(fā)展。Wu B等利用彈幕的文本內(nèi)容自動提取時間同步的視頻標簽[27]。He M等結(jié)合彈幕動態(tài)性預(yù)測視頻流行度，利用羊群效應(yīng)設(shè)計檢測“領(lǐng)頭羊”彈幕[28]。Xu L等結(jié)合彈幕之間的關(guān)聯(lián)性提取視頻摘要[29]。

1.2 信息有用性檢測研究

信息有用性是用戶感知信息的有用程度對信息價值的衡量，目前相關(guān)研究大多圍繞在線評論的特征探究有用性影響因素，包括評論信息特征、評論者特征以及產(chǎn)品類型[30]。劉偉等通過IAM的雙路徑分析理論模型，證明信息豐富性、信息可讀性和點評負面性對在線評論有用性有顯著正向影響[31]。而對于商家回復(fù)場景下的信息有用性，程艷霞等則從有效解決問題、滿足情感需求、培育駕馭能力3個維度開發(fā)量表[32]。大多數(shù)對于信息有用性檢測的研究首先須得到有效特征，并運用回歸方法和分類算法進行檢測，研究場景較分散[11，33-34]?？偟膩碚f，無論在學(xué)術(shù)還是在商業(yè)領(lǐng)域，彈幕信息有用性檢測相關(guān)研究體現(xiàn)了重要的價值，但仍處于初步探索階段。

近年來，機器學(xué)習(xí)模型對網(wǎng)絡(luò)信息的分析和處理方面得到廣泛應(yīng)用，具有優(yōu)良表現(xiàn)。如利用機器學(xué)習(xí)模型對新能源汽車普通消費者評論進行情感演化分析[35]，運用LightGBM算法預(yù)測P2P項目信用[36]等。邏輯回歸、SVM、決策樹等機器學(xué)習(xí)模型能從高維度、高噪聲數(shù)據(jù)中學(xué)習(xí)經(jīng)驗知識，為進一步提高信息有用性檢測的精確度提供了可能。本文試圖結(jié)合彈幕文本特點，解析視頻網(wǎng)站彈幕用戶的行為方式，從影響信息有用性的關(guān)鍵要素出發(fā)構(gòu)建特征指標，應(yīng)用機器學(xué)習(xí)算法構(gòu)建預(yù)測模型，實證檢驗?zāi)Ｐ陀行裕ㄟ^對比不同的機器學(xué)習(xí)算法，尋找最優(yōu)模型，達到彈幕信息有用性檢測要求。

2 多特征融合下視頻網(wǎng)站彈幕信息有用性檢測模型

2.1 總體框架

本文提出的視頻網(wǎng)站彈幕信息有用性檢測過程主要包含兩個階段：特征生成和信息有用性檢測。在特征生成階段，首先利用Python爬蟲收集視頻彈幕數(shù)據(jù)集，對數(shù)據(jù)進行清洗，根據(jù)有效特征計算模板進行計算，數(shù)值轉(zhuǎn)換后得到各維度的特征項;在信息有用性檢測階段，使用隨機森林對提取特征項進行排序篩選以提高檢測效果，并將所選擇的特征值形成目標數(shù)據(jù)集，輸入到分類器進行模型訓(xùn)練，對視頻網(wǎng)站彈幕信息有用性進行檢測，根據(jù)彈幕信息有用性特征對檢測效果進行評估。如圖1所示。

2.2 有效特征選取及量化

在視頻網(wǎng)站彈幕信息有用性檢測模型中，特征選取與量化是重要的預(yù)處理策略。特征選取是為了解決預(yù)測問題，選擇一部分必要的、具有代表性的特征，減少過度擬合，提高模型學(xué)習(xí)和預(yù)測能力。在不同的信息有用性指標體系構(gòu)建中，主要考慮3個方面：一是信息特征，如信息質(zhì)量和信息可信度通常作為主要衡量指標[37-38];二是文本特征，包括文本長度和單詞數(shù)目等[39];三是用戶自身特征也與信息有用性關(guān)系密切[38]。鑒于此，本文將檢測彈幕信息有用性作為目標，從彈幕信息效用、彈幕表達形式和彈幕用戶特征3個角度概括相關(guān)特征作為具有決定性的影響變量。

2.2.1 彈幕信息有用性

信息有用性是用戶對信息的接受、理解與分析的重要特征，信息有用性高的信息更易理解，具有更高的影響力與傳播價值[40]。彈幕在視頻上經(jīng)過較短時間傳遞信息，視頻觀看者會對有用信息表達出喜愛與認可。在信息有用性衡量方式中，楊東紅等采用投票數(shù)作為評論有用性的衡量依據(jù)[11]。在信息傳遞過程中，點贊數(shù)是信息發(fā)送者與信息接受者之間的互動機制[41]。本文通過彈幕的點贊數(shù)來反映彈幕信息有用性的高低。

2.2.2 彈幕信息效用

有用性作為信息的一種屬性，并沒有明確信息效用的實質(zhì)內(nèi)容[42]。信息效用與用戶自身任務(wù)相關(guān)，與信息效用相關(guān)的度量指標包括及時性、適用性、相關(guān)性等[43-44]。由此，結(jié)合彈幕環(huán)境，信息效用可以通過可讀性、文本情感值、信息時效性和主題相似度4個特征，反映信息給用戶個人帶來的效果與感受。

1）可讀性。彈幕信息以文本形式在視頻上方短時間內(nèi)劃過，可讀性強，可以簡明扼要表現(xiàn)出內(nèi)部含義，增加信息易理解程度，方便用戶瀏覽和閱讀。本文主要運用秦琴等提出的可讀性計算公式，對彈幕信息進行可讀性計算[45]，其中，句子長度和專業(yè)術(shù)語會直接影響可讀性值。公式中，本文利用中國規(guī)范術(shù)語詞表[46]對句子中的專業(yè)術(shù)語進行提取。

2）文本情感值。情感功效是彈幕信息中不可忽略的重要因素。彈幕信息承載了用戶豐富的情感表達需求，如使用彈幕進行調(diào)侃、吐槽、狂歡等。彈幕中的情感信息能與用戶產(chǎn)生情感共鳴或情感導(dǎo)向，促使用戶產(chǎn)生鮮明的態(tài)度和看法。目前，中文情感分析技術(shù)發(fā)展較為成熟，情感權(quán)值詞典方法是一種常用的基于細粒度情感計算方法，根據(jù)句子中積極、消極詞匯進行匹配評估。本文通過沈陽團隊[47]的ROST情感分析工具得出彈幕信息的情感值。

3）信息時效性。在時間維度上，通常網(wǎng)頁評論有用性與評論快慢相關(guān)[30]。而在視頻環(huán)境中，彈幕信息與視頻當中對應(yīng)內(nèi)容具有一定相關(guān)性，彈幕及時性體現(xiàn)在能否快速與視頻中不同的片段進行呼應(yīng)。彈幕頻率隨時間波動，通過王蕊等的數(shù)據(jù)研究表明，彈幕在戲劇沖突點最為密集[48]。本文將彈幕頻率波動高低分為5個等級，對應(yīng)彈幕具有不同信息時效性。

4）主題相似度。視頻中彈幕信息紛繁復(fù)雜，但每一期視頻具有一定的主題性，用戶言論主要以視頻內(nèi)容為中心。如紀錄片《在武漢》的彈幕文本，主要圍繞抗擊疫情的主題展開[49]。主題相似度低反映了該彈幕信息與視頻內(nèi)容關(guān)聯(lián)較低，如廣告、貶低他人的話語等垃圾彈幕信息[50]。根據(jù)分詞后的詞頻高低，取頻率前十的詞匯作為視頻主題詞匯集合，利用TF-IDF算法計算文本相似度，比較彈幕信息與主題詞匯集合之間的TF-IDF相似度，最終確定每條彈幕信息的主題相似度值。

2.2.3 彈幕表達形式

視頻中的彈幕是一種新穎的信息評論方式，其文本特點為短而精湛。信息表達形式影響信息內(nèi)容的傳達效果，各項研究表明，信息表達形式的差異性顯著影響人們對信息有用性的感知[11，38]?？偨Y(jié)彈幕信息所呈現(xiàn)出來的語言特征，包含文本字數(shù)、文本顏色、句子完整度和句子互動性4個方面。

1）文本字數(shù)。一般信息長度與信息量密切相關(guān)，信息較長則內(nèi)容較豐富。不少研究證實對于文本信息而言，文本字數(shù)是影響信息有用性最普遍的因素[11，30]。Kuan K等研究表明，長文本的評論信息更能吸引人們的注意[51]。本文認為彈幕信息的文本字數(shù)是影響彈幕信息有用性的重要特征。

2）文本顏色。文本顏色是表達形式的重要組成部分。在觀看視頻時，用戶具有對顏色、字體大小等多樣化設(shè)置的選擇[14]。人眼對顏色、字號大小等視覺線索感知有別，彩色彈幕以及字號更大或更小的彈幕體現(xiàn)出更高的表現(xiàn)力，特殊彈幕往往會更吸引視頻的觀看者。因此，本文將文本顏色作為重要特征項之一。

3）句子完整度。信息的完整作為衡量信息質(zhì)量的重要方面，對信息有用性有顯著影響[52]。根據(jù)彈幕文本短的特點，主要從語義和句法分析的角度考慮。完整的句子一般來說就是主謂賓結(jié)構(gòu)[53]。對彈幕信息進行句法依存關(guān)系分析，所有的句子都具有一個核心關(guān)系HED;句子包含主謂賓結(jié)構(gòu)特征的具有核心關(guān)系HED、主謂關(guān)系SBV和動賓關(guān)系VOB。據(jù)此可將句子完整度劃分為3個等級。

4）句子互動性。以文本為介質(zhì)的傳播與互動當中，句子互動性強可以使文本更具親和力，更易產(chǎn)生共鳴。當文本當中攜帶有第二人稱代詞（比如“你”）時，文本的互動性也會得到一定的提高[54]。句子中包含第一人稱和第二人稱的文本具有較強的主觀性。將文本當中同時帶有第一人稱和第二人稱（如：我愛你中國）的互動性等級設(shè)為最高，完全沒有人稱方式（如：大美中國）的互動性等級設(shè)為最低，將句子互動性劃分為3個等級。

2.2.4 彈幕用戶特征

個體差異性使彈幕用戶在信息表達方面有所偏差，信息發(fā)布者特征對于信息有用性同樣重要。例如，在大眾點評網(wǎng)的實證研究中，點評者經(jīng)驗對于點評有用性呈正相關(guān)[31];在開放式創(chuàng)新社區(qū)中，用戶主動貢獻程度正向影響信息有用性[52]。本文基于彈幕環(huán)境從用戶會員等級和用戶發(fā)送活躍程度分析用戶特征。

1）用戶會員等級。各視頻網(wǎng)站均設(shè)置了會員制，使不同的用戶使用彈幕具有不同的權(quán)限，比如高級會員、UP主能夠有更多的效果或文字[1]。另外，會員等級反映了對視頻平臺的時間或金錢投入，會員等級高的用戶具有更強的依賴性。不同的會員等級的用戶，其彈幕信息使用經(jīng)驗和傾向可能有所差異，對彈幕信息有用性有一定影響。

2）用戶發(fā)送活躍程度。彈幕信息是用戶自我呈現(xiàn)的一種方式，用戶參與度受用戶性格的影響，同時，用戶經(jīng)驗越豐富，表達能力越強，越具有話語權(quán)。本文將不同用戶在同一期視頻中發(fā)送彈幕的次數(shù)作為衡量用戶發(fā)送活躍程度的依據(jù)。

2.3 信息有用性檢測過程

信息有用性檢測的結(jié)果依賴于特征的有效性和具體學(xué)習(xí)算法。為了降低模型復(fù)雜度，提高檢測效率，本文對復(fù)雜數(shù)據(jù)集進行特征處理完成后，采用隨機森林算法完成多維特征變量選擇處理，根據(jù)重要度準則篩選關(guān)鍵特征。在此基礎(chǔ)上，利用多個機器學(xué)習(xí)算法（邏輯回歸、SVM、決策樹等）開發(fā)彈幕信息有用性檢測模型。

2.3.1 隨機森林特征選擇

隨機森林算法（RF）是由Breiman L提出的一種集成學(xué)習(xí)算法[56]，其特點是在決策樹的訓(xùn)練中引入了隨機屬性選擇，構(gòu)成了隨機決策樹模型。其具有靈活性高、速度快、通用性強等優(yōu)點，在特征選擇、參數(shù)優(yōu)化、分類預(yù)測相關(guān)場景中得到廣泛應(yīng)用。本文信息有用性檢測模型中的特征選擇采用隨機森林算法?；静襟E如下：

1）構(gòu)建n棵決策樹，形成隨機森林。

2）計算每棵決策樹的袋外數(shù)據(jù)（Out-of-bag error，OOB）誤差，計為err1;對第i個特征，運用Bootstrap采樣方法隨機抽取樣本作為訓(xùn)練樣本，并再次計算該決策樹的OOB值，記為err2;計算第i個特征的重要性程度值w=Σ（err2-err1）/n。

3）對m個特征的重要性程度值進行排序，去除掉重要度最低的t個特征。

4）重復(fù)2）、3）步驟，最后得到最優(yōu)決策樹。

2.3.2 模型訓(xùn)練和評估

本文將機器學(xué)習(xí)方法應(yīng)用到彈幕信息有用性檢測中，基于關(guān)鍵特征集訓(xùn)練模型，用訓(xùn)練好的模型進行預(yù)測。從單模型和集成模型中選擇合適的機器學(xué)習(xí)算法，包括：邏輯回歸、SVM、決策樹、樸素貝葉斯、GBDT、LightGBM、XGBoost。對不同機器學(xué)習(xí)算法的原理和特點進行分析和總結(jié)，比較其性能效果，如表2所示。

完成上述機器學(xué)習(xí)方法檢測后，根據(jù)檢測結(jié)果計算精確率（Precision）、召回率（Recall）、F1值（F1-score）、預(yù)測準確率（Accuary）及ROC曲線的評估指標，對比不同算法的效果，分析本文所提模型的有效性，公式如下所示。

其中，TP（True Positive）為將i類樣本正確預(yù)測為i類的樣本量;FP（False Positive）為將其他類別樣本錯誤預(yù)測為i類的樣本量;FN（False Negative）為將i類樣本錯誤預(yù)測為其他類別的樣本量;TN（True Negative）為將其他類別樣本正確預(yù)測為其他類別的樣本量;ROC曲線橫坐標為FPR（Flase Positive Rate），縱坐標為TPR（True Positive Rate）。

3 實驗與結(jié)果分析

3.1 實驗數(shù)據(jù)

本文選擇的視頻網(wǎng)站彈幕信息有用性檢測實證對象為騰訊視頻平臺（https：//v.qq.com/），它是較早使用彈幕功能的視頻在線播放平臺之一，具有注冊用戶即時發(fā)送彈幕、彈幕點贊、彈幕字體顏色等功能，在擁有海量影視資源的基礎(chǔ)上，通過彈幕等功能吸引了大量用戶，熱門視頻彈幕數(shù)量高，參與用戶數(shù)量大。2020年拍攝的《航拍中國》在騰訊視頻平臺得到9.5分的超高評分，是深受用戶喜愛的一部紀錄片;用戶群體的地區(qū)、性別、年齡等具有一定的均衡性。本文使用Python爬取騰訊視頻網(wǎng)站中《航拍中國第三季》共十集紀錄片的全部彈幕數(shù)據(jù)作為研究文本，該紀錄片彈幕文本更新時間截至2021年4月15日，包含彈幕相關(guān)數(shù)據(jù)記錄共49 369條，將數(shù)據(jù)存入Excel表格中，包括彈幕ID、彈幕文本、用戶名、用戶頭像URL、會員等級、顏色樣式、發(fā)布時間、彈幕點贊數(shù)等基本信息，部分數(shù)據(jù)截圖如圖2所示。

3.2 描述性統(tǒng)計分析

利用獲取的彈幕數(shù)據(jù)，依據(jù)上述有效特征選取及量化方法進行數(shù)值轉(zhuǎn)換。根據(jù)實驗?zāi)Ｐ椭械?個因變量即信息有用性，10個自變量包括彈幕可讀性、文本情感值、信息時效性、主題相似度、文本字數(shù)、文本顏色、句子完整度、句子互動性、用戶會員等級、用戶活躍程度。對11項特征進行描述性統(tǒng)計分析，得到11項指標的平均值、標準差、最大值、最小值4項指標，如表3所示。其中，信息有用性平均值為1.87，說明大量用戶發(fā)送的彈幕獲得了較少點贊數(shù)，整體信息有用性偏低。

彈幕信息效用相關(guān)指標（可讀性、文本情感值、信息時效性和主題相似度），信息時效性較高且表現(xiàn)穩(wěn)定，主題相似度偏低，大量用戶傾向于即時發(fā)表感受或想法，不會考慮根據(jù)熱點主題進行針對性評論。彈幕表現(xiàn)形式相關(guān)指標（文本字數(shù)、文本顏色、句子完整程度、句子互動性），文本字數(shù)均值為9.89，大部分彈幕文本長度為10個字左右;文本顏色特征均值為0.24，彩色彈幕數(shù)目較少，白色彈幕為用戶使用彈幕顏色主流;另外，句子完整程度居中，句子互動性偏低。彈幕用戶特征（用戶會員等級、用戶發(fā)送活躍程度），大量用戶會員等級普遍較低，均值為1.02，且差異性不明顯;而用戶發(fā)送活躍程度平均值為37.93，標準差為76.55，離散程度較高，不同用戶發(fā)送活躍程度差異性較大。

對于模型中最后需要預(yù)測的變量信息有用性，張婧等將點贊數(shù)的閾值設(shè)為7，將評論有用性識別分為兩類[57]。本文將彈幕有用性檢測作為一個多分類任務(wù)，考慮更細級別的分類，結(jié)合實際彈幕數(shù)據(jù)，將點贊次數(shù)劃分為低、中、高和極高4個級別，“+”個數(shù)來表示信息有用程度，等級越高表示信息有用性越高，如表4所示。

3.3 有用性檢測實驗

3.3.1 不同特征對信息有用性檢測的貢獻度

隨機森林模型可以判斷特征指標對目標變量的重要程度，同時對高維度小樣本數(shù)據(jù)有著良好的適應(yīng)性。為避免特征中混雜冗余信息，進一步優(yōu)化檢測效果，本文采用隨機森林模型尋找彈幕信息有用性的相關(guān)因素。以彈幕信息有用性等級劃分作為量化指標，利用隨機森林模型分析各項特征對信息有用性的貢獻，按照貢獻程度選取部分有效特征作為有用性檢測的關(guān)鍵特征集。本文依據(jù)隨機森林算法特征選擇步驟，訓(xùn)練一個包含10 000棵決策樹的隨機森林，觀測不同彈幕特征如何影響信息有用性，對不同特征重要程度進行排序和可視化，結(jié)果如圖3所示。

從圖3中看出，對于檢測彈幕信息有用性，可讀性、用戶發(fā)送活躍程度和文本情感值是最重要的3個特征項。在分類中，這3項特征來自于彈幕信息效用和彈幕用戶特征。對于彈幕表現(xiàn)形式而言，文本字數(shù)占據(jù)重要貢獻度，其他特征項（句子完整度、文本顏色和句子互動性）對彈幕信息有用性檢測的貢獻值較低。由此可以推斷，彈幕表現(xiàn)形式相對而言發(fā)揮的作用很小，網(wǎng)絡(luò)環(huán)境中用戶更注重信息內(nèi)容，對于信息表達的規(guī)范性和完整度不太關(guān)注。因此，在進行彈幕信息有用性識別時，應(yīng)重視用戶通過彈幕傳達出的信息信號和情感信號。

本文優(yōu)先組合重要特征用于信息有用性檢測，選取特征項的前70%，即重要程度較高的前7個特征項分別是可讀性、用戶發(fā)送活躍程度、文本情感值、文本字數(shù)、主題相似度、用戶會員等級、信息時效性作為信息有用性的關(guān)鍵特征集合。

3.3.2 信息有用性檢測模型實施與結(jié)果分析

1）信息有用性檢測評估結(jié)果

將特征選擇的結(jié)果作為輸入變量運用于信息有用性檢測實驗中，采用Python中Sklearn包進行訓(xùn)練集與測試集的隨機分割，得到34 588條樣本構(gòu)成的訓(xùn)練集與14 811條樣本構(gòu)成的測試集，設(shè)置7種機器學(xué)習(xí)模型的最優(yōu)參數(shù)，對上述數(shù)據(jù)集進行模型訓(xùn)練與測試。首先采用Binarize函數(shù)對預(yù)測結(jié)果進行二值化，然后依據(jù)不同效果評估公式進行計算，根據(jù)得到每一種模型的精確率（Precision）、回收率（Recall）、F值（F1）、預(yù)測準確率（Accuracy），不同算法模型評估結(jié)果及對比情況如表5所示。

從實驗結(jié)果來看，7項機器學(xué)習(xí)模型精確率（Precision）均不低于0.725，說明傳統(tǒng)的機器學(xué)習(xí)運用在彈幕信息有用性檢測上是可行的。同時，從Precision、Recall、F1和Accuracy各項評估結(jié)果中可以發(fā)現(xiàn)，集成學(xué)習(xí)類別的機器學(xué)習(xí)算法（GBDT、LightGBM、XGBoost）效果普遍優(yōu)于單模型機器學(xué)習(xí)算法（邏輯回歸、SVM、決策樹和樸素貝葉斯）。在本實驗環(huán)境下，決策樹的Recall、F1和Accuracy值均低于其他算法，XGBoost在各項指標性能中均處于領(lǐng)先位置。

2）不同級別信息有用性檢測結(jié)果差異

為了進一步驗證檢測效果，本文按測試集中信息有用性等級（低、中、高和極高）進行分類，比較不同信息有用性等級各機器學(xué)習(xí)算法的預(yù)測正確的樣本數(shù)比例，如圖4所示（注：多種坐標軸尺度不一致）。從整體情況來看，決策樹在檢測中、高等級信息有用性時表現(xiàn)突出，對低等級信息有用性檢測性能不及其他算法。同時可以發(fā)現(xiàn)，邏輯回歸、SVM在二分類問題比較擅長;對于多分類問題，本實驗環(huán)境下，決策樹或者決策樹集成方法（GBDT、LightGBM和XGBoost）解決效果更好。

由于訓(xùn)練預(yù)料不均衡的問題，大部分機器學(xué)習(xí)算法在檢測低等級的信息有用性時有較好的正確率，小規(guī)模的訓(xùn)練預(yù)料（中、高和極高）并不能充分發(fā)揮機器學(xué)習(xí)算法的性能。實驗結(jié)果顯示，在提高信息有用性檢測精度上難以進行進一步優(yōu)化。

3）不同機器學(xué)習(xí)算法ROC曲線對比

在信息有用性檢測實驗中計算ROC曲線和AUC值，如圖5所示。一般ROC越靠近左上角，即曲線下面的面積（AUC）越大，代表預(yù)測方法的效果越好，最大面積為1。從圖中可以看出，單模型中，邏輯回歸模型和SVM支持向量機評價指標表現(xiàn)最佳，預(yù)測準確率分別為90.62%、90.93%。集合模型中，GBDT、LightGBM和XGBoost的ROC曲線也位于曲線對比圖中的頂端，AUC值較高，表現(xiàn)出較為良好的性能。從兩個圖的對比來看，采用集合模型類機器學(xué)習(xí)方法的整體性能要優(yōu)于單模型，檢測率高。圖中顯示所有機器學(xué)習(xí)算法的ROC曲線下面的面積基本大于0.84，表明本文有用性檢測展現(xiàn)出可靠性能，模型擬合度較高。

4 結(jié)果與啟示

4.1 研究結(jié)果

從特征的篩選中，彈幕表達形式相關(guān)特征的重要程度排序較靠后，有3項指標被直接剔除掉，說明不同特征項對信息有用性的預(yù)測能力有較大的差異。彈幕具有豐富的表現(xiàn)形式，改變了用戶的視覺體驗，如紅色彈幕比較具有警示意義。喻昕等在網(wǎng)絡(luò)直播平臺彈幕用戶參與行為研究中表示互動性和可視性是影響用戶體驗的關(guān)鍵信息源[5]，本文結(jié)果進一步表明了彈幕信息的句子互動性較強或文本顏色特別能吸引其他用戶注意，但并不表示一定能得到其他用戶的認可。過去研究表明，文本長度和信息有用性之間具有顯著影響，本文研究對象聚焦于彈幕評論，且彈幕的文本長度更加簡短，但結(jié)果與以往研究具有一致性。

使用7種機器學(xué)習(xí)算法對通過特征選擇后的目標數(shù)據(jù)集進行訓(xùn)練與測試，通過不同的角度對各算法的評估結(jié)果進行對比。不同評估結(jié)果均反映了集成模型要優(yōu)于單模型，具有更高的數(shù)據(jù)分類精度。而LightGBM作為GBDT模型的改進算法，增加了學(xué)習(xí)控制參數(shù)與學(xué)習(xí)目標參數(shù)，在結(jié)果上顯著提升了預(yù)測準確率，避免出現(xiàn)過擬合情況。從Precision、Recall、F1和Accuracy各項評估結(jié)果顯示，XGBoost相比LightGBM進一步提升了模型預(yù)測的穩(wěn)定性，更適用于彈幕有用性檢測應(yīng)用場景。

4.2 相關(guān)啟示

1）建立信息有用性檢測指標體系具有可行性。信息有用性檢測作為近年來熱門研究領(lǐng)域，以往研究多關(guān)注于傳統(tǒng)商品評論與評價的信息有用性探究，較少關(guān)注彈幕環(huán)境下的信息有用性。本研究構(gòu)建多特征融合下視頻網(wǎng)站彈幕信息有用性檢測模型，對彈幕信息特征進行挖掘與分析，將彈幕通過信息特征、文本特征、用戶特征分析得出彈幕信息效用、彈幕表達形式與彈幕用戶特征3類特征。拓寬了對于彈幕信息有用性的研究維度，同時兼?zhèn)淇茖W(xué)性與合理性。建立較為完善的信息有用性檢測指標體系，能夠為信息有用性分析與解釋提供路徑與方法。

2）集成模型在大規(guī)模非均衡數(shù)據(jù)集上表現(xiàn)出更好的穩(wěn)健性。本文的實驗過程為彈幕文本數(shù)據(jù)分析和處理提供了完整的解決思路。實驗中，對彈幕文本數(shù)據(jù)進行量化處理，通過隨機森林模型獲得特征的重要程度，采用7種當下較為熱門的機器學(xué)習(xí)算法，充分對模型的預(yù)測效果進行評估與比較，對比在不同算法下同一數(shù)據(jù)集的預(yù)測效果?？梢钥闯觯瑢τ谙嚓P(guān)性不確定的大規(guī)模非均衡彈幕文本數(shù)據(jù)，集成學(xué)習(xí)模型的檢測效果和穩(wěn)健性均優(yōu)于其他模型，是一種較為實用的解決方法。

3）在管理實踐中有助于推動網(wǎng)絡(luò)信息服務(wù)正向發(fā)展。對彈幕信息進行有用性檢測，有助于評估視頻彈幕質(zhì)量、優(yōu)化彈幕功能、增強用戶粘性，促進平臺有序發(fā)展。另外，在本文研究基礎(chǔ)上，值得對彈幕文本特征與含義進行更深層次挖掘，建立必要的彈幕內(nèi)容監(jiān)管機制，及時刪除不文明或敏感彈幕，避免彈幕環(huán)境惡化。對彈幕文本內(nèi)容進行挖掘與審核，能正確引導(dǎo)視頻觀看用戶合理討論，發(fā)送文明彈幕，有助于營造和諧穩(wěn)定的視頻觀看環(huán)境。

5 結(jié) 語

本文的研究目的是對視頻網(wǎng)站彈幕信息有用性進行檢測，通過構(gòu)建多特征融合下信息有用性檢測模型，從多個角度分析彈幕信息有用性影響因素，并提出特征量化方法。在實驗部分，本文利用隨機森林模型分析各項特征的重要程度，并使用多種機器學(xué)習(xí)算法進行訓(xùn)練和檢測，取得了不錯的評估效果。本文的研究不僅豐富了信息特性的理論體系，同時對視頻平臺的監(jiān)管機制和服務(wù)策略具有一定實踐意義。但本文尚有許多值得改進的地方，例如在考慮信息有用性影響因素時，未能涵蓋文本語言上的其他特征，在全面性上有進一步提高的空間;彈幕信息有用性不同等級樣本數(shù)量的不均衡，使機器學(xué)習(xí)算法分類精度效果有限;另外，本文的研究樣本只選取了單一類視頻，在后面研究中可以對比不同類別視頻的彈幕有用性檢測的差異性，為視頻平臺提供更精準的服務(wù)。

參考文獻

[1]郭磊.我國彈幕視頻網(wǎng)站的受眾研究[D].昆明：云南大學(xué)，2015.

[2]江含雪.傳播學(xué)視域中的彈幕視頻研究[D].武漢：華中師范大學(xué)，2014.

[3]B站聯(lián)合社科院社會學(xué)研究所.2020年度彈幕報告[EB/OL].https：//www.163.com/dy/article/FSENJJ0U0519QIKK.html，2021-06-22.

[4]葛欣怡.彈幕在不同場景中的傳播效果探究[D].北京：北京郵電大學(xué)，2019.

[5]喻昕，許正良.網(wǎng)絡(luò)直播平臺中彈幕用戶信息參與行為研究——基于沉浸理論的視角[J].情報科學(xué)，2017，35（10）：147-151.

[6]馬黛.新媒體時代的彈幕文化現(xiàn)象分析[J].西部廣播電視，2021，42（5）：79-81.

[7]張頤武.彈幕的意義[N].人民政協(xié)報，2021-01-18，（9）.

[8]許熙揚，劉錦宏.基于用戶需求的B站社區(qū)屬性轉(zhuǎn)型策略分析[J].今傳媒，2021，29（5）：26-28.

[9]Liu X，Wang G A，F(xiàn)an W，et al.Finding Useful Solutions in Online Knowledge Communities：A Theory-Driven Design and Multilevel Analysis[J].Information Systems Research，2020，31（3）：731-752.

[10]馮進展，蔡淑琴.融合信息增益和梯度下降算法的在線評論有用程度預(yù)測模型[J].計算機科學(xué)，2020，47（10）：69-74.

[11]楊東紅，吳邦安，孫曉春.基于機器學(xué)習(xí)的網(wǎng)絡(luò)評論信息有用性預(yù)測模型研究[J].情報科學(xué)，2019，37（12）：34-39，77.

[12]Malik M，Hussain A.An Analysis of Review Content and Reviewer Variables that Contribute to Review Helpfulness[J].Information Processing & Management，2018，54（1）：88-104.

[13]楊婷.5G時代彈幕文化的發(fā)展及轉(zhuǎn)向[J].青年記者，2020，（35）：16-17.

[14]嚴美婷.彈幕亞文化的社會成因及現(xiàn)存問題——以Bilibili彈幕網(wǎng)為例[J].傳媒論壇，2021，4（6）：129-130.

[15]張俊杰.面向視頻彈幕的消費意圖挖掘研究[D].重慶：重慶郵電大學(xué)，2020.

[16]沈文靜.社會與符號的互動：青年新媒體話語與“e”托邦建構(gòu)[J].山東外語教學(xué)，2019，40（3）：22-30.

[17]付陽春.B站彈幕語言研究[D].湘潭：湘潭大學(xué)，2015.

[18]王路珊.B站彈幕語言的認知分析[D].綿陽：西南科技大學(xué)，2017.

[19]Jing L，Zhu J，Wang X，et al.Identifying the Potential of Danmaku Video from Eye Gaze Data[C]//IEEE International Conference on Advanced Learning Technologies（ICALT）.Austin，TX，2016，288-292.

[20]孟陸，劉鳳軍，段珅，等.信息源特性視角下網(wǎng)紅直播對受眾虛擬禮物消費意愿的影響[J].管理評論，2021，33（5）：319-330.

[21]王文韜，陳千，張肖，等.彈幕視角下的網(wǎng)絡(luò)熱搜健康視頻關(guān)注度與情感分析[J/OL].圖書館論壇：1-11[2021-06-28].http：//kns.cnki.net/kcms/detail/44.1306.G2.20210615.0920.004.html.

[22]洪慶，王思堯，趙欽佩，等.基于彈幕情感分析和聚類算法的視頻用戶群體分類[J].計算機工程與科學(xué)，2018，40（6）：1125-1139.

[23]Bai Q，Wei K，Zhou J，et al.Entity-level Sentiment Prediction in Danmaku Video Interaction[J].The Journal of Supercomputing，2021，（6）：9474-9493.

[24]張亞雪，張菊蘭.視頻彈幕的特征和使用動機分析[J].新聞世界，2019，（4）：69-72.

[25]Wang S，Chen Y，Ming H，et al.Improved Danmaku Emotion Analysis and Its Application Based on Bi-LSTM Model[J].IEEE Access，2020，（99）：114123-114134.

[26]楊九民，吳長城，皮忠玲，等.促進學(xué)習(xí)還是干擾學(xué)習(xí)——彈幕對學(xué)習(xí)影響的元分析[J].電化教育研究，2019，40（6）：84-90，120.

[27]Wu B，Zhong E，Tan B，et al.Crowdsourced Time-sync Video Tagging Using Temporal and Personalized Topic Modeling[J].ACM，2014：721-730.

[28]He M，Ge Y，Chen E，et al.Exploring the Emerging Type of Comment for Online Videos：DanMu[J].ACM Transactions on the Web，2018，12（1）：1-33.

[29]Xu L，Zhang C.Bridging Video Content and Comments：Synchronized Video Description with Temporal Summarization of Crowdsourced Time-sync Comments[C]//AAAI，2017：1611-1617.

[30]王亞妮，王君，姚唐，等.什么樣的評論更有用？基于ELM的“Meta分析”[J].管理評論，2021，33（5）：246-256.

[31]劉偉，徐鵬濤.O2O電商平臺在線點評有用性影響因素的識別研究——以餐飲行業(yè)O2O模式為例[J].中國管理科學(xué)，2016，24（5）：168-176.

[32]程艷霞，王紫穗.感知價值視角下商家回復(fù)有用性的結(jié)構(gòu)維度與測量[J].商業(yè)經(jīng)濟研究，2020，（11）：93-96.

[33]Du J，Rong J，Michalska S，et al.Feature Selection for Helpfulness Prediction of Online Product Reviews：An Empirical Study[J].PLoS ONE，2019，14（12）：1-26.

[34]Lee S，Lee K C，Choeh J Y.Using Bayesian Network to Predict Online Review Helpfulness[J].Sustainability，2020，12（17）：1-17.

[35]毛曉莉，施本植.新能源汽車普通消費者參與的大數(shù)據(jù)研究——基于文本挖掘和深度學(xué)習(xí)[J].海南大學(xué)學(xué)報：人文社會科學(xué)版，2021.

[36]馬曉君，沙靖嵐，牛雪琪.基于LightGBM算法的P2P項目信用評級模型的設(shè)計及應(yīng)用[J].數(shù)量經(jīng)濟技術(shù)經(jīng)濟研究，2018，35（5）：144-160.

[37]李中梅，張向先，郭順利.移動商務(wù)環(huán)境下O2O用戶在線評論有用性影響因素研究[J].情報科學(xué)，2017，35（2）：130-137.

[38]殷國鵬.消費者認為怎樣的在線評論更有用？——社會性因素的影響效應(yīng)[J].管理世界，2012，（12）：115-124.

[39]Lee S，Choeh J Y.Predicting the Helpfulness of Online Reviews Using Multilayer Perceptron Neural Networks[J].Expert Systems with Applications，2014，41（6）：3041-3046.

[40]Sussman S W，Siegal W S.Informational Influence in Organizations：An Integrated Approach to Knowledge Adoption[J].Information Systems Research，2003，14（1）：47-65.

[41]馮秀果，鄭小榮，俞馨雅.中國地級政府審計微信傳播及其影響力研究——基于河北省的調(diào)查數(shù)據(jù)[J].會計之友，2019，（17）：93-100.

[42]陳建龍.論信息效用及其實現(xiàn)過程[J].北京大學(xué)學(xué)報：哲學(xué)社會科學(xué)版，1996，（3）：36-40.

[43]成全，王火秀，駢文景.基于證據(jù)推理的醫(yī)療健康網(wǎng)站信息質(zhì)量綜合評價研究[J].數(shù)字圖書館論壇，2020，（4）：53-59.

[44]徐嘉徽，李全喜，張健.共享服務(wù)平臺信息質(zhì)量對消費者信息采納行為的影響分析與提升對策研究[J].情報科學(xué)，2019，37（5）：148-154.

[45]秦琴，柯青，丁松云.中文在線健康教育信息可讀性計算及應(yīng)用實證——以食品安全領(lǐng)域為例[J].現(xiàn)代情報，2020，40（5）：111-121.

[46]中國規(guī)范術(shù)語.中國規(guī)范術(shù)語詞表[EB/OL].http：//shuyu.cnki.net/，2021-06-22.

[47]Shen Y，Li S，Zheng L，et al.Emotion Mining Research on Micro-blog[C]//IEEE Symposium on Web Society.IEEE，2009：71-79.

[48]王蕊，劉瑞一，矯立斌，等.走向大眾化的彈幕：媒介功能及其實現(xiàn)方式[J].新聞記者，2019，（5）：44-54.

[49]楊藝明.互動儀式視角下青年的抗疫精神闡釋——B站《在武漢》彈幕的情感分析[J].傳媒評論，2021，（3）：76-77.

[50]孫瑞安，張云華.結(jié)合AdaBERT的TextCNN垃圾彈幕識別和過濾算法[J].智能計算機與應(yīng)用，2021，11（4）：9-13.

[51]Kuan K，Hui K，Prasarnphanich P，et al.What Makes a Review Voted？An Empirical Investigation of Review Voting in Online Review Systems[J].Journal of the Associatin for Information Systems，2015，16（1）：48-71.

[52]李賀，祝琳琳，閆敏，等.開放式創(chuàng)新社區(qū)用戶信息有用性識別研究[J].數(shù)據(jù)分析與知識發(fā)現(xiàn)，2018，2（12）：12-22.

[53]鄒益民，張智雄.網(wǎng)絡(luò)科技信息中的知識對象行為識別方法[J].情報理論與實踐，2014，37（9）：59-63.

[54]Cruz R E，Leonhardt J M，Pezzuti T.Second Person Pronouns Enhance Consumer Involvement and Brand Attitude[J].Journal of Interactive Marketing，2017，39：104-116.

[55]Shen Y，Li S，Zheng L，et al.Emotion mining Research on Micro-blog[C]//IEEE Symposium on Web Society.IEEE，2009：71-79.

[56]Breiman L.Random Forest[J].Machine Learning，2001，45：5-32.

[57]張婧，周怡欣，胡涵，等.基于知識采納模型和多層感知機神經(jīng)網(wǎng)絡(luò)的評論有用性識別研究[J/OL].中國管理科學(xué)：1-11[2021-07-26].http：//iras.lib.whu.edu.cn：8080/rwt/401/https/MSYXTLUQPJUB/10.16381/j.cnki.issn1003-207x.2020.2215.

（責任編輯：郭沫含）