查詢片段中用戶信息記錄行為預(yù)測研究

宋筱璇 劉暢

摘? ?要：信息記錄行為在搜索任務(wù)的完成過程中，特別是學(xué)習(xí)相關(guān)的搜索情境中，通常被視為信息使用活動重要的外在表征之一。文章開展了一項用戶實驗，利用查詢片段內(nèi)的搜索活動來預(yù)測用戶在搜索過程中是否以及何時發(fā)生信息記錄行為。結(jié)果表明：結(jié)合用戶在內(nèi)容頁面停留時間和活動轉(zhuǎn)移特征變量，預(yù)測準(zhǔn)確率達(dá)到86.9%。而隱馬爾可夫模型（HMM）能夠有效地對信息記錄行為開展實時預(yù)測，特別是在用戶的首次查詢片段內(nèi)，準(zhǔn)確率更高，為76.65%。研究結(jié)果為基于搜索活動對用戶的信息記錄行為開展實時監(jiān)測提供了有效的方法，有助于支持信息記錄行為和搜索任務(wù)完成的搜索系統(tǒng)功能及工具的設(shè)計與優(yōu)化。

關(guān)鍵詞：信息記錄行為；預(yù)測模型；搜索活動；活動轉(zhuǎn)移序列

中圖分類號：G252.7? ?文獻(xiàn)標(biāo)識碼：Ａ? ?DOI：10.11968/tsyqb.1003-6938.2023010

Abstract Note-taking behavior is often regarded as one of the important external representations of information use activities in the completion of search tasks， especially learning-related search tasks. In this study， we conducted a user experiment to investigate whether and when users' note-taking behavior occurs through the search activities in each query segment. The results indicate that combining users' dwell time on content pages and Activity Transition （AT） features resulted in prediction accuracy of 86.9%. Furthermore， this study also found that a Hidden Markov Models （HMMs） was able to identify note-taking behavior in real time with good performance， especially in the first query segments in each search session， with the accuracy of 76.65%. These findings provide the effective approaches for real-time monitoring of users' note-taking behavior based on search activities， and contribute to the design of search systems that better support note-taking behavior and task completion during search.

Key words note-taking behavior; prediction models; search activities; activity transition sequences

搜索活動通常是由搜索者希望完成的任務(wù)或目標(biāo)所驅(qū)動。搜索者通過開展一系列的搜索活動與信息對象進(jìn)行交互，使用那些有用的信息對象來完成任務(wù)或?qū)崿F(xiàn)目標(biāo)。評價信息檢索（Information Retrieval，IR）系統(tǒng)性能最為理想的方式是根據(jù)它的實際有用性［1］，即搜索活動中獲取的信息對象是否被搜索者實際使用。因此，探索和監(jiān)測用戶搜索過程中的信息使用行為特征，對設(shè)計、開發(fā)支持信息使用的功能工具，提升IR系統(tǒng)的效率與效果具有重要的價值和意義。Wilson將信息使用行為定義為把信息融入人的現(xiàn)有知識基礎(chǔ)中的物理與心理層面的行為［2］。這其中涉及到用戶對信息的記憶、理解、分析、整合、遷移、應(yīng)用等一系列的活動，像是一個活動的黑箱，人們能觀測到信息的輸入和輸出的結(jié)果，卻難以捕捉和監(jiān)測信息使用活動的發(fā)生過程。

近年來，基于“搜索即學(xué)習(xí)”這一概念的提出和發(fā)展，學(xué)習(xí)型搜索得到了越來越多研究者的關(guān)注［3］。學(xué)習(xí)型搜索強(qiáng)調(diào)學(xué)習(xí)在搜索活動中的核心地位，關(guān)注以學(xué)習(xí)為目的的搜索情境。該情境中，用戶在傳統(tǒng)的信息獲取活動之外，更加重視信息的分析、處理、使用等相關(guān)行為活動的開展［4］。其中，信息記錄行為在該情境下，乃至更廣泛的搜索情境下，都被視為對用戶已獲得的信息對象進(jìn)行理解和加工的信息使用行為的顯性代表［5］。已有的學(xué)習(xí)型搜索的相關(guān)研究中，一些研究者圍繞搜索過程中用戶的信息記錄行為及策略的特征規(guī)律及情境化影響因素展開了豐富的探索［5-8］。然而，這些研究尚局限于記錄行為本身特征的發(fā)現(xiàn)，對于記錄行為與搜索過程中的其他交互行為，特別是搜索交互活動之間的作用關(guān)系有待進(jìn)一步完善。對于IR系統(tǒng)而言，搜索交互活動是容易被捕捉和監(jiān)測的，但用戶的信息記錄行為往往是一種“外部”行為，通過IR系統(tǒng)外部的應(yīng)用或工具得以實現(xiàn)，如本研究中的記事本文件，這一特征將給系統(tǒng)在非實驗場景下直接“理解”用戶的信息記錄行為，追蹤已獲得的信息對象是否及何時成功地應(yīng)用于完成任務(wù)或?qū)崿F(xiàn)目標(biāo)帶來極大的困難。因此，很有必要建立系統(tǒng)內(nèi)部搜索交互行為與外部信息記錄行為之間的關(guān)聯(lián)關(guān)系，通過可觀測的搜索活動對用戶的信息記錄行為展開實時預(yù)測，以設(shè)計和優(yōu)化當(dāng)前的檢索系統(tǒng)，精準(zhǔn)有效地為用戶的信息記錄與學(xué)習(xí)活動提供支持。

基于以上背景，本研究以查詢片段內(nèi)的搜索活動作為分析對象，旨在依據(jù)搜索活動的特征和規(guī)律構(gòu)建實時有效的信息記錄行為預(yù)測模型，解決用戶搜索過程中信息記錄行為是否以及何時發(fā)生的問題。具體包括以下三個研究問題：

問題一：信息記錄行為發(fā)生與否的查詢片段內(nèi)的搜索活動特征有何差異？

問題二：如何識別一個查詢片段內(nèi)用戶的信息記錄行為是否發(fā)生？

問題三：如何基于查詢片段內(nèi)的搜索活動序列對信息記錄行為展開實時預(yù)測？

1? ?相關(guān)研究

1.1? ? 信息記錄行為

信息記錄行為及其相關(guān)的信息整理、綜合工作對搜索任務(wù)目標(biāo)的有效實現(xiàn)具有重要意義，這在許多經(jīng)典的信息搜索模型中都有所體現(xiàn)。如Kuhlthau的信息搜索過程（Information Search Process，ISP）模型包括六個階段，其中在第五階段“收集（collection）”中涉及到對具體的信息內(nèi)容做詳細(xì)的記錄；最后一個“展示（presentation）”階段，搜索者開展信息整理與組織，如準(zhǔn)備信息大綱用于展示［9］。Jrvelin等在基于任務(wù)的信息交互（Task-based information interaction，TBII）模型中關(guān)注任務(wù)計劃、搜索信息項、選擇信息項、處理信息項、綜合報告五個環(huán)節(jié)的信息交互活動，其中在處理信息項中涉及對信息的閱讀、組織、分析、轉(zhuǎn)化等活動，由復(fù)制、筆記記錄、注釋等技術(shù)來實現(xiàn)［10］。Liu等關(guān)注用戶完成學(xué)習(xí)型搜索任務(wù)過程中的搜索、閱讀、記錄三類交互活動的特征模式和演化規(guī)律，構(gòu)建了搜索進(jìn)度模型（Search Pace Model，SPM）［11］。該模型將用戶的搜索進(jìn)度刻畫為探索、積累、寫作/報告三個子過程，用戶的信息記錄活動近一半發(fā)生在最后的寫作/報告子過程中，且在該過程內(nèi)的活躍程度遠(yuǎn)高于搜索和閱讀活動。

信息記錄行為與用戶對信息的認(rèn)知、加工與處理密切相關(guān)，已有研究，特別是學(xué)習(xí)型搜索情境中的相關(guān)研究發(fā)現(xiàn)，用戶的信息記錄行為直接影響著搜索產(chǎn)出和績效評估，且在不同情境中也表現(xiàn)出不同的記錄特征。如Vakkari等利用在搜索任務(wù)產(chǎn)出的筆記文檔中，各內(nèi)容頁面復(fù)制/粘貼的詞數(shù)和次數(shù)，評估相應(yīng)的搜索結(jié)果頁面的有用性［12］。孟高慧等研究發(fā)現(xiàn)學(xué)習(xí)型搜索任務(wù)完成過程中，用戶的筆記記錄呈現(xiàn)出“粗略采集-線性結(jié)構(gòu)型”“精細(xì)采集-線性結(jié)構(gòu)型”和“自由結(jié)構(gòu)型”三種模式，并進(jìn)一步分析發(fā)現(xiàn)采用“粗略采集-線性結(jié)構(gòu)型”記錄模式的用戶表現(xiàn)出更差的學(xué)習(xí)產(chǎn)出［5］。劉涵蕊和劉暢分析學(xué)習(xí)型搜索任務(wù)下用戶的搜索、閱讀、記錄行為特征，發(fā)現(xiàn)用戶的話題熟悉度對記錄行為有顯著影響，話題熟悉度越低，用戶的平均記錄時間更長［7］。除了基于文本文字的記錄行為，另有一些研究借助概念圖、思維導(dǎo)圖等學(xué)習(xí)支持工具對用戶的知識建構(gòu)等活動展開深入分析，這些工具在某種程度上也能被視為對信息內(nèi)容及其架構(gòu)的記錄整理。如Liu等利用用戶在搜索過程中對任務(wù)相關(guān)的思維導(dǎo)圖的繪制和修改，將其搜索過程中的知識改變行為識別為積累、微調(diào)、重組、觀察四種類型，并根據(jù)該行為作用的節(jié)點，歸納形成了八種頻繁發(fā)生的知識改變策略［13］。

信息記錄行為對于搜索任務(wù)完成的重要性也促使一些搜索系統(tǒng)的設(shè)計者開發(fā)和優(yōu)化相關(guān)工具和功能來支持搜索過程中的信息整理與記錄。如Roy等開發(fā)的支持筆記注釋功能的SearchX［14］，Choi等開發(fā)的支持搜索過程中信息處理和結(jié)構(gòu)化信息組織的知識表達(dá)工具OrgBox［15］。然而，現(xiàn)有的這些信息整理記錄的輔助工具的功能還相對單一，適用情境也不夠明確，因而尚未在大規(guī)模的實用系統(tǒng)中被采用。信息搜索，特別是學(xué)習(xí)型搜索可能表現(xiàn)為相當(dāng)復(fù)雜、多次迭代、循環(huán)往復(fù)的搜索過程。信息記錄行為輔助在何種情境下能夠發(fā)揮功能效用，最大化用戶獲益，解決該問題，深入剖析和理解用戶搜索過程中的信息記錄行為本質(zhì)的特征規(guī)律至關(guān)重要。故此，本研究旨在探討搜索過程中用戶是否以及何時發(fā)生信息記錄行為，構(gòu)建搜索活動與信息記錄行為之間的關(guān)系，刻畫信息記錄行為特征，助力于搜索系統(tǒng)的設(shè)計和優(yōu)化，使其更好地支持搜索過程中的信息記錄行為和任務(wù)完成。

1.2? ? 基于搜索活動的信息記錄行為預(yù)測

盡管目前直接討論信息記錄行為預(yù)測模型的相關(guān)研究還比較缺少，但有一些研究開始探索搜索過程中，特別是學(xué)習(xí)型搜索情境下的信息記錄行為特征規(guī)律。如Potthast和Hagen等依據(jù)搜索者每次筆記記錄的文本長度，歸納出積累型（build up）和精煉型（boil down）兩種不同的筆記記錄策略［16-17］。積累型策略的搜索者在整個寫作過程中不斷增加文章的長度，而精煉型策略的搜索者在寫作前期先大量積累素材，記錄大量的文本文字，接著才對文本進(jìn)行重新組織，逐漸縮短文章的長度。除了對記錄長度的特征分析，劉暢等關(guān)注記錄的時間特征，根據(jù)搜索任務(wù)的不同階段中，用戶記錄完成度的推進(jìn)情況，識別出了早期記錄型、平均記錄型、后期記錄型三類記錄策略，分析發(fā)現(xiàn)搜索者對于當(dāng)前搜索主題的自信程度和熟悉程度越高，他們越傾向于更晚開始記錄活動；而相對的，更不自信或者感知自身對該搜索任務(wù)不熟悉的搜索者傾向于選擇早期記錄型策略［8］。Song等關(guān)注學(xué)習(xí)型搜索過程中用戶的搜索、閱讀和記錄行為的發(fā)生和演化特征［18］。研究將整個任務(wù)完成時長四等分為四個任務(wù)階段，結(jié)果發(fā)現(xiàn)，用戶的搜索行為主要發(fā)生在第一階段；用戶的閱讀行為均勻地分布在四個階段；而用戶的記錄行為主要集中在搜索任務(wù)完成的第四階段。然而，已有研究僅涉及到信息記錄行為本身的特征，將其與用戶的其他交互行為分別獨立研究，尚未建立起可觀測的搜索交互活動與非實驗場景中難以觀測的，甚至發(fā)生在搜索系統(tǒng)“外部”的信息記錄行為之間的關(guān)系，這亦正是本研究基于搜索活動構(gòu)建信息記錄行為預(yù)測模型的原因。

已有研究發(fā)現(xiàn)，搜索交互行為可以很好地預(yù)測搜索結(jié)果的有效性或搜索性能。其中，用戶的文檔停留時間［19-21］，單次查詢的點擊次數(shù)［12，22］，搜索結(jié)果頁面的停留時間［23］等指標(biāo)在文檔有用性的預(yù)測模型中都被證明是有效的。如Mao等利用文檔內(nèi)容、情境和行為交互多種特征變量來預(yù)測用戶搜索過程中的有用性判斷，結(jié)果發(fā)現(xiàn)行為交互特征在有用性預(yù)測中占有最主要的地位，補充文檔內(nèi)容與情境特征只能略微提高預(yù)測性能［24］。

在靜態(tài)的交互行為特征之外，一些研究發(fā)現(xiàn)用戶的搜索交互序列在預(yù)測搜索性能或搜索意圖方面也有不俗的表現(xiàn)。如Hassan等基于用戶的點擊行為序列，通過馬爾科夫模型預(yù)測用戶搜索目標(biāo)的完成［22］。Yue等應(yīng)用隱馬爾可夫模型識別搜索過程的各個子環(huán)節(jié)［25］。研究使用可觀測的用戶查詢式構(gòu)造、點擊行為、書簽標(biāo)記及其他行為特征變量來判別搜索過程的問題定義、信息源選擇、查詢制定、查詢執(zhí)行、結(jié)果查驗、信息提取、反饋等七個子階段。根據(jù)已有研究結(jié)果可知，除了靜態(tài)的行為交互特征外，行為交互序列、不同行為活動間的轉(zhuǎn)換或關(guān)系也可能是信息記錄行為預(yù)測的有效指標(biāo)。因此，本研究關(guān)注用戶在搜索結(jié)果頁和內(nèi)容頁面上的交互特征，以及各查詢段內(nèi)的活動轉(zhuǎn)移特征，構(gòu)建模型來預(yù)測信息記錄行為是否以及何時發(fā)生。

2? ?研究設(shè)計

2.1? ? 用戶實驗設(shè)計

本實驗招募了來自北京大學(xué)的32名參與者。其中，男性12人，女性20人；年齡分布在18歲-30歲之間；20名本科生，12名研究生；14名來自人文社科相關(guān)專業(yè)，18名來自理工科相關(guān)專業(yè)。實驗參與者被邀請到實驗室，使用實驗室提供的臺式電腦對提前設(shè)計的四個學(xué)習(xí)型搜索任務(wù)展開不限時間的自由搜索。

實驗圍繞認(rèn)知學(xué)習(xí)的接受性學(xué)習(xí)和評價性學(xué)習(xí)兩種學(xué)習(xí)模式［26］設(shè)計了兩類學(xué)習(xí)型搜索任務(wù)（任務(wù)描述見表1）。其中接受性學(xué)習(xí)任務(wù)側(cè)重于用戶對搜索到的信息進(jìn)行記憶、理解、整理和再現(xiàn)；評價性學(xué)習(xí)任務(wù)則關(guān)注用戶對搜索獲得的多來源、多角度的信息進(jìn)行反思、批判和評估，最后形成個人的觀點或看法。每名實驗參與者需要對兩類學(xué)習(xí)任務(wù)展開搜索，每種搜索任務(wù)包括兩個不同的搜索主題，因此每個被試共搜索四個任務(wù)。為防止被試的學(xué)習(xí)效果對實驗結(jié)果產(chǎn)生影響，任務(wù)順序采用拉丁方設(shè)計進(jìn)行輪換［27］。

實驗開始前，參與者首先簽署實驗知情同意書并完成一份背景調(diào)查問卷，然后開始對四個搜索任務(wù)逐一搜索。在每個任務(wù)搜索前，實驗參與者需完成搜索前問卷，在該問卷中參與者需要在不參考任何外部資料的基礎(chǔ)上文字描述對該任務(wù)已經(jīng)了解的信息。在正式搜索的過程中，參與者根據(jù)獲取和閱讀的信息，在提供的電腦記事本文件中摘抄、復(fù)制粘貼、轉(zhuǎn)述、重組相關(guān)信息，以回答搜索任務(wù)中提出的問題。當(dāng)被試認(rèn)為自己的記事本文件中已經(jīng)完整地記錄了該搜索任務(wù)的答案后，即可停止搜索。搜索結(jié)束后，為了評估參與者的知識學(xué)習(xí)情況，他們被要求關(guān)閉瀏覽器及搜索過程中記錄的記事本文件，在不參考任何外部信息的情況下，在搜索后再次文字描述對該任務(wù)的了解信息。四個搜索任務(wù)全部完成后，實驗參與者填寫實驗后問卷，對信息搜索及系統(tǒng)建設(shè)提出相應(yīng)的建議。實驗全程利用Morae Recorder3.3在后臺記錄用戶的搜索交互行為。

鑒于用戶的信息記錄行為為IR系統(tǒng)難以捕捉和觀測的“外部”行為，本研究中操作化地將參與者與記事本文件的交互視為其信息記錄行為的發(fā)生。筆者不否認(rèn)這其中存在少數(shù)情況下，“記錄”的動作并未實際發(fā)生，用戶可能表現(xiàn)為在記事本文件上的“停留”，但該“停留”亦能從某種程度上代表用戶存在信息記錄的意愿，對于捕捉和監(jiān)測用戶的信息記錄行為仍具有意義。因此，在本研究后續(xù)的分析中，當(dāng)搜索日志中觀測到參與者與記事本文件發(fā)生了交互即認(rèn)為當(dāng)前用戶發(fā)生了信息記錄行為。

2.2? ? 搜索活動變量的提取與計算

查詢片段內(nèi)的搜索活動具體指在一個搜索查詢和下一個搜索查詢之間發(fā)生的所有活動。一個查詢片段（Query segment）可能包括一個初始查詢、搜索結(jié)果頁面（SERP）、一系列的內(nèi)容頁面（Content page）、搜索系統(tǒng)外部的其他活動，如使用其他工具應(yīng)用進(jìn)行記錄、翻譯等，然后可能返回到SERP，接著瀏覽另一個內(nèi)容頁面等。本研究重點關(guān)注查詢片段內(nèi)的三類交互活動：與搜索結(jié)果頁的交互（SERP）、與內(nèi)容頁面的交互（Content page）、與記事本文件的交互（Notepad）。其中，用戶與記事本文件的交互或?qū)嶋H發(fā)生了信息記錄行為，如文字的書寫、摘抄；或表達(dá)出用戶當(dāng)前強(qiáng)烈的信息記錄意愿，如在記事本文件中停留、觀察、思考，本研究統(tǒng)一操作化地處理為信息記錄行為的發(fā)生。由此，根據(jù)與記事本文件的交互與否，用戶的查詢片段表現(xiàn)為兩種不同的形態(tài)（見圖1），信息記錄（Taking Notes，TN）查詢片段和信息未記錄（None Taking Notes，NTN）查詢片段。通過分析挖掘TN和NTN查詢片段內(nèi)搜索活動的特征和規(guī)律，構(gòu)建預(yù)測模型對用戶的信息記錄行為展開實時預(yù)測。

根據(jù)搜索日志記錄，從32名實驗參與者中共收集了125個有效的搜索會話，另有3個搜索會話由于搜索日志數(shù)據(jù)缺失而被剔除。在125個搜索會話中，提取了353個查詢片段。根據(jù)是否發(fā)生信息記錄行為，353個查詢片段分為信息記錄（TN）查詢片段（N=233）和非信息記錄（NTN）查詢片段（N=120）。其中，TN查詢片段被定義為與記事本文件至少有一次交互；NTN查詢片段中參與者沒有與記事本文件發(fā)生交互。

每個查詢片段內(nèi)，三種類型的交互活動被截?。号c搜索結(jié)果頁的交互、與內(nèi)容頁面的交互、與記事本文件的交互。其中，與記事本文件的交互被視為信息記錄行為的發(fā)生，即本研究預(yù)測的對象；搜索結(jié)果頁和內(nèi)容頁面的交互變量，即搜索活動相關(guān)變量作為預(yù)測變量。在具體操作上，一方面，由于頁面停留時間已經(jīng)被發(fā)現(xiàn)是評價文檔有用性的有力指標(biāo)，本研究選擇與搜索結(jié)果頁和內(nèi)容頁面上停留時間相關(guān)的變量作為靜態(tài)的行為指標(biāo)，提取并計算了搜索結(jié)果頁特征（SERP features，SP）和內(nèi)容頁面特征（Content Page features，CP）變量；另一方面，本研究還重視交互活動之間的動態(tài)轉(zhuǎn)換，抽取了活動轉(zhuǎn)移特征（Activity Transition features，AT）相關(guān)變量。為了在長度不等的查詢片段之間生成可比較的數(shù)據(jù)，研究計算了各變量的相對比值（本研究中使用的搜索活動變量見表2）。

在搜索結(jié)果頁特征（SP）中包含三個變量：搜索結(jié)果頁數(shù)量比值、搜索結(jié)果頁停留時間比值、搜索結(jié)果頁的平均停留時間。其中，搜索結(jié)果頁數(shù)量比值為查詢片段內(nèi)訪問搜索結(jié)果頁的數(shù)量/交互頁面總數(shù)量（搜索結(jié)果頁和內(nèi)容頁面總和）；搜索結(jié)果頁停留時間比值指查詢片段內(nèi)在搜索結(jié)果頁停留的總時間/在交互頁面上（搜索結(jié)果頁和內(nèi)容頁面）停留的總時間；搜索結(jié)果頁的平均停留時間為查詢片段內(nèi)在搜索結(jié)果頁停留的總時間/訪問搜索結(jié)果頁的數(shù)量。內(nèi)容頁面特征（CP）變量的計算方法與搜索結(jié)果頁特征對應(yīng)變量類似，不再贅述。

對于活動轉(zhuǎn)移特征（AT），研究者先將查詢片段內(nèi)的搜索活動切分成兩步轉(zhuǎn)移序列的形式，如一個查詢片段由5個搜索活動組成：SCCSC（S表示用戶與搜索結(jié)果頁的交互，C表示與內(nèi)容頁面的交互），該查詢片段可切分成4個兩步轉(zhuǎn)移序列：SC/CC/CS/SC。接著分別計算每個查詢片段內(nèi)各轉(zhuǎn)移序列的占比，得到SS比值、SC比值、CC比值和CS比值4個活動轉(zhuǎn)移變量。

2.3? ? 信息記錄行為預(yù)測模型構(gòu)建

本研究中的信息記錄行為預(yù)測分為兩個階段，第一階段的目標(biāo)是判斷一個查詢片段內(nèi)是否發(fā)生了信息記錄行為。為了檢測哪些搜索活動對查詢片段內(nèi)的信息記錄行為預(yù)測有更好的效果，研究基于搜索活動的不同特征或特征組合構(gòu)建了7個二值邏輯回歸模型，來識別TN和NTN兩類查詢片段。已有研究表明，用戶在內(nèi)容頁面上的停留時間是預(yù)測文檔有用性的強(qiáng)有力指標(biāo)之一［19，21］，用戶在一個查詢片段內(nèi)花費在內(nèi)容頁面上的時間與文檔有用性呈正相關(guān)關(guān)系［20］。因此，本研究使用內(nèi)容頁面停留時間比值作為信息記錄行為預(yù)測的基線模型，與其他不同搜索活動特征構(gòu)成的7個模型的預(yù)測效果進(jìn)行比較。

· SP模型：包括搜索結(jié)果頁特征；

· CP模型：包括內(nèi)容頁面特征；

· SP+CP模型：結(jié)合搜索結(jié)果頁特征和內(nèi)容頁面特征；

· AT模型：包括活動轉(zhuǎn)移特征；

· SP+AT模型：結(jié)合搜索結(jié)果頁特征和活動轉(zhuǎn)移特征；

· CP+AT模型：結(jié)合內(nèi)容頁面特征和活動轉(zhuǎn)移特征；

· SP+CP+AT模型：結(jié)合搜索結(jié)果頁特征、內(nèi)容頁面特征和活動轉(zhuǎn)移特征。

在第一階段的預(yù)測中，解決了查詢片段內(nèi)信息記錄行為是否發(fā)生的事后預(yù)測問題。研究希望進(jìn)一步揭示這些信息記錄行為在查詢片段內(nèi)是何時發(fā)生的。為了解決這一問題，在信息記錄行為預(yù)測的第二階段，研究采用隱馬爾可夫模型（HMM）對查詢片段內(nèi)每一步搜索活動后是否發(fā)生信息記錄行為開展實時預(yù)測。HMM是一個雙隨機(jī)過程，其潛在的隨機(jī)過程是不可觀測（隱藏）的，只能通過另一組產(chǎn)生可觀測符號序列的隨機(jī)過程來體現(xiàn)［28］。本研究的前提假設(shè)為信息記錄行為的發(fā)生與之前的搜索活動有顯著的關(guān)系。在此基礎(chǔ)上，根據(jù)HMM模型有以下定義：用戶與搜索結(jié)果頁和內(nèi)容頁面的交互構(gòu)成了可觀測集O，包含兩種狀態(tài)O={S，C}，其中S表示與搜索結(jié)果頁的交互，C表示與內(nèi)容頁面的交互。用戶的信息記錄行為為隱藏狀態(tài)H，包括H={N，T}，其中N為信息記錄行為缺失，T為信息記錄行為發(fā)生。

本研究的353個查詢片段中，共有3511次搜索活動（與搜索結(jié)果頁交互1112次，與內(nèi)容頁面交互2399次），其中1098次搜索活動之后出現(xiàn)信息記錄行為，2413次搜索活動之后信息記錄行為缺失。研究使用十折交叉驗證來評估模型預(yù)測性能，將353個查詢片段隨機(jī)分成10個子集，取其中9份用于訓(xùn)練HMM，1份子集用于測試。執(zhí)行試驗程序10次之后，最終的預(yù)測性能是這10次試驗結(jié)果的平均值。

建模過程分為兩部分，首先是基于訓(xùn)練數(shù)據(jù)的參數(shù)估計。研究假設(shè)隱藏狀態(tài){N，T}的初始概率為{0.5，0.5}，利用帶信息記錄行為狀態(tài)的搜索活動作為訓(xùn)練數(shù)據(jù)，如SNCNCTSNCT，通過最大似然估計算法推導(dǎo)HMM的參數(shù)，具體如式（1）（2）所示，包括隱藏狀態(tài)轉(zhuǎn)移概率（Ph）矩陣和觀測狀態(tài)轉(zhuǎn)移概率（Po）矩陣。

在式（1）中，count（NT）指的是訓(xùn)練數(shù)據(jù)中兩個連續(xù)的隱藏狀態(tài)是NT的頻次，count（T）為信息記錄狀態(tài)為T的頻次。類似地，Ph（T|T），Ph（T|N），Ph（N|N）分別被計算構(gòu)成了隱藏狀態(tài)轉(zhuǎn)移概率矩陣（Ph）。在式（2）中，count（ST）表示訓(xùn)練數(shù)據(jù)中兩個連續(xù)的活動狀態(tài)是ST的頻次，同樣地，Po（C|T），Po（S|N），Po（C|N）被計算構(gòu)建了觀測狀態(tài)轉(zhuǎn)移概率矩陣（Po）。

接著，基于訓(xùn)練數(shù)據(jù)集中形成的隱藏狀態(tài)轉(zhuǎn)移概率矩陣Ph和觀測狀態(tài)轉(zhuǎn)移概率矩陣Po兩個參數(shù)，使用維特比（Viterbi）算法預(yù)測測試數(shù)據(jù)集在每一步搜索活動后的信息記錄行為狀態(tài)（N或T）。在一個查詢片段的第t步，研究根據(jù)下式（3）分別計算信息記錄行為狀態(tài)概率Pt（N）和Pt（T）。如果Pt（N）大于Pt（T），則該搜索活動后不發(fā)生信息記錄行為；否則，則表示發(fā)生信息記錄行為。

Pt（j）=maxi={N，T}Pt-1（i）Ph（j|i）Po（Ot|j）? ? ? ? ? ? ? （3）

在式（3）中Pt-1（i）表示前一步i的信息記錄行為狀態(tài)概率；Ph（j|i）表示從前一步信息記錄狀態(tài)i到當(dāng)前信息記錄狀態(tài)j的隱藏狀態(tài)轉(zhuǎn)移概率；Po（Ot|j）指在當(dāng)前第t步，信息記錄行為狀態(tài)為j時的觀測狀態(tài)轉(zhuǎn)移概率（Ot為S或C）。

在信息記錄行為HMM實時預(yù)測方面，本研究對比了三種類型的查詢片段集合的預(yù)測效果，以探索信息記錄行為預(yù)測是否受到搜索過程不同階段的影響，包括：（1）所有查詢片段，共353個；（2）首次查詢片段，即用戶搜索會話中的第一個查詢式到第二個查詢式之前的所有搜索活動，共125個；（3）末次查詢片段，即最后一次查詢式之后的搜索活動，共125個。最后，研究利用預(yù)測正確率（Accuracy）、召回率（Recall）、準(zhǔn)確率（Precision）和調(diào)和數(shù)F四個指標(biāo)對預(yù)測模型的性能展開評估。

3? ?研究發(fā)現(xiàn)

3.1? ? 信息記錄片段與信息未記錄片段的搜索活動差異

在233個信息記錄（TN）查詢片段中，與搜索結(jié)果頁和內(nèi)容頁面的平均交互次數(shù)分別為3.61 次（SD=2.13）和9.32 次（SD=7.83）；在搜索結(jié)果頁和內(nèi)容頁面上的總停留時間分別為29.73秒 （SD=20.40）和116.69秒（SD=97.81）。在120個非信息記錄（NTN）查詢片段中，用戶平均訪問搜索結(jié)果頁2.25次（SD=1.37），內(nèi)容頁面1.90次（SD=2.55）；在搜索結(jié)果頁停留共計25秒（SD=14.87），在內(nèi)容頁面停留18.19秒（SD=31.09）。

研究進(jìn)一步使用Mann-Whitney U檢驗分析了三類搜索活動特征變量（搜索結(jié)果頁特征、內(nèi)容頁面特征、活動轉(zhuǎn)移特征）在TN和NTN查詢片段之間的差異（結(jié)果見表3）。在TN查詢片段中，搜索結(jié)果頁數(shù)量比值（35.26% vs. 72.04%）、搜索結(jié)果頁停留時間比值（28.26% vs. 75.92%）以及每個搜索結(jié)果頁的平均停留時間（9.11 vs. 13.85秒）均顯著低于NTN查詢片段；但內(nèi)容頁面數(shù)量比值（64.74% vs. 27.96%）、停留時間比值（71.74% vs. 24.08%）以及每個內(nèi)容頁面的平均停留時間（13.85 vs. 10.70秒）均顯著高于NTN查詢片段。由此可見，用戶在TN查詢片段中與內(nèi)容頁面的交互更多，而在NTN查詢片段中與搜索結(jié)果頁的交互更充分。在活動轉(zhuǎn)移特征方面，TN查詢片段中，用戶從一個內(nèi)容頁面轉(zhuǎn)移到另一個不同的內(nèi)容頁面（CC）的頻次最多，占比所有轉(zhuǎn)移序列的48.53%。而NTN查詢片段中，搜索結(jié)果頁與內(nèi)容頁面（包括CS和SC）之間的轉(zhuǎn)移比值顯著高于TN查詢片段。兩組間搜索結(jié)果頁轉(zhuǎn)移的比值（SS）沒有顯著差異（p>0.05）。

3.2? ? 信息記錄片段預(yù)測

由TN與NTN中的搜索活動差異可以推測，搜索結(jié)果頁特征（SP）、內(nèi)容頁面特征（CP）和活動轉(zhuǎn)移特征（AT）可能是預(yù)測用戶信息記錄行為的有效特征變量。為了驗證各類變量及其組配的預(yù)測效果，本研究采用邏輯回歸模型，將預(yù)測變量及其組合分為7組加以檢驗，分別是：SP、CP、SP+CP、AT、SP+AT、CP+AT、SP+CP+AT。預(yù)測的基線模型使用前人研究中發(fā)現(xiàn)的內(nèi)容頁面停留時間這一指標(biāo)建立［19-21］。對于構(gòu)建的所有模型，研究使用預(yù)測正確率（Accuracy）、召回率（Recall）、準(zhǔn)確率（Precision）和調(diào)和數(shù)F四個指標(biāo)對預(yù)測效果展開評估（結(jié)果見表4）。

預(yù)測結(jié)果顯示，基線模型使用內(nèi)容頁面停留時間比值這一變量，預(yù)測正確率達(dá)到82.2%，具有較好的預(yù)測性能。在此基礎(chǔ)之上，添加搜索結(jié)果頁特征、內(nèi)容頁面特征、活動轉(zhuǎn)移特征的其他變量能夠進(jìn)一步提高預(yù)測的精準(zhǔn)度，盡管這種提高是相對有限的。SP模型的預(yù)測正確率為83.3%，模型中兩個顯著的變量分別是搜索結(jié)果頁的數(shù)量與停留時間的比值。類似地，CP模型的內(nèi)容頁面數(shù)量和停留時間也與預(yù)測效果顯著相關(guān)。SP+CP模型的預(yù)測效果與單純CP模型相同，預(yù)測正確率為83.9%。AT模型中的預(yù)測精準(zhǔn)度略有提高，正確率達(dá)84.2%，其中CC比值和CS比值對該模型的預(yù)測效果貢獻(xiàn)較大。SP+AT模型中有3個變量顯著，分別是CS比值、SC比值和搜索結(jié)果頁停留時間比值，正確率為84.5%。CP+AT模型和SP+CP+AT模型預(yù)測正確率為86.9%，預(yù)測效果一致且最好。該模型中的CS比值、SC比值和內(nèi)容頁面停留時間比值被發(fā)現(xiàn)顯著影響預(yù)測效果。由此可知，用戶與內(nèi)容頁面相關(guān)的搜索活動以及活動轉(zhuǎn)換，尤其是在搜索結(jié)果頁和內(nèi)容頁面之間的轉(zhuǎn)換，對預(yù)測用戶查詢片段內(nèi)的信息記錄行為貢獻(xiàn)最大。

3.3? ? 信息記錄行為實時預(yù)測

上一節(jié)中，研究實現(xiàn)了對每個查詢片段內(nèi)信息記錄行為是否發(fā)生的預(yù)測，并發(fā)現(xiàn)用戶在搜索結(jié)果頁與內(nèi)容頁面之間的活動轉(zhuǎn)換能夠有效提升預(yù)測的效果。盡管利用該方法構(gòu)建的模型，預(yù)測精準(zhǔn)度相對較高，但屬于事后預(yù)測，即當(dāng)用戶完成了當(dāng)前整個查詢片段之后對信息記錄行為展開的判斷，據(jù)此指導(dǎo)下一輪查詢的展開。在此基礎(chǔ)之上，本研究希望能夠進(jìn)一步細(xì)化監(jiān)測的粒度，開展實時預(yù)測，發(fā)現(xiàn)查詢片段內(nèi)用戶的信息記錄行為是何時（在何種交互活動之后）發(fā)生的。為此，研究構(gòu)建了隱馬爾可夫模型（HMM）對查詢片段內(nèi)每一步搜索活動后的信息記錄行為狀態(tài)展開預(yù)測，并進(jìn)一步比較了三組不同的查詢片段：所有查詢片段、首次查詢片段、末次查詢片段的預(yù)測效果，以探索整個搜索任務(wù)完成過程的哪個階段對于信息記錄行為發(fā)生的實時預(yù)測更有效。

根據(jù)2.3所述，本研究的HMM模型中，用戶的信息記錄行為為隱藏狀態(tài)（記錄T或不記錄N），模型的關(guān)鍵是建構(gòu)可觀測狀態(tài)（與搜索結(jié)果頁的交互S和與內(nèi)容頁面的交互C）到隱藏狀態(tài)的映射，即觀測狀態(tài)轉(zhuǎn)移矩陣（不同查詢片段的觀測狀態(tài)轉(zhuǎn)移矩陣見圖2）。對于所有的查詢片段而言，用戶與搜索結(jié)果頁進(jìn)行一次交互之后，信息記錄行為的發(fā)生概率為7.27%；與內(nèi)容頁面進(jìn)行一次交互后，信息記錄行為的發(fā)生概率為36.06%。在首次查詢片段中，用戶與搜索結(jié)果頁交互后，進(jìn)行信息記錄的可能性更低，下降至5.23%；然而，在訪問過一個內(nèi)容頁面后，他們更有可能記錄信息，概率達(dá)到43.44%。末次查詢片段中，用戶信息記錄的意愿相較于之前的查詢片段明顯提高。特別是從S到T的轉(zhuǎn)換概率增加至14.94%。這一結(jié)果表明在搜索任務(wù)完成的最后階段，用戶更可能直接使用來自搜索結(jié)果頁的信息進(jìn)行記錄。總體而言，用戶在訪問內(nèi)容頁面后發(fā)生信息記錄行為的概率遠(yuǎn)高于訪問搜索結(jié)果頁后相應(yīng)的概率，并且在訪問內(nèi)容頁面后信息記錄行為發(fā)生的概率上，末次查詢片段（48.49%）>首次查詢片段（43.44%）>所有查詢片段（36.06%）。這一結(jié)果暗示，在搜索任務(wù)完成的中間階段，內(nèi)容頁面的信息記錄利用率沒有任務(wù)完成的前、后階段高。

建立在觀測狀態(tài)轉(zhuǎn)移概率的基礎(chǔ)上，研究對三組查詢片段和基線模型的信息記錄行為預(yù)測效果進(jìn)行了比較。由于尚未發(fā)現(xiàn)已有研究中對何種交互活動后的信息記錄行為發(fā)生這一研究問題展開預(yù)測，在基線模型的確立上，研究賦予N（無信息記錄行為）作為每一步搜索活動后的默認(rèn)值，基于該默認(rèn)值得到基線模型的預(yù)測正確率為68.73%，即在所有的搜索活動之后，有68.73%的可能性不產(chǎn)生信息記錄行為（三組查詢片段的預(yù)測效果見表5）。結(jié)果發(fā)現(xiàn)在信息記錄行為的實時預(yù)測中，首次查詢片段的預(yù)測精準(zhǔn)度更高，達(dá)到76.65%，這可能暗示HMM的模型構(gòu)建方法對于識別用戶搜索過程前期的信息記錄行為的作用更大。

4? ?討論

4.1? ? 搜索活動與信息記錄行為的關(guān)系

搜索活動對于信息檢索系統(tǒng)的評估具有重要意義。研究者認(rèn)為，理想情況下，應(yīng)該根據(jù)搜索活動在支持搜索者實現(xiàn)搜索目標(biāo)方面的有用性來評估IR系統(tǒng)［29］。而信息項是否被搜索者實際使用正是一系列搜索活動有用性評估的一個重要表征。信息記錄是一個由感知轉(zhuǎn)化為聯(lián)想、分析、綜合，再轉(zhuǎn)化為文字表達(dá)的復(fù)雜的思維過程，可以被視為對已獲得的信息進(jìn)行理解和加工的使用行為的重要表征之一［5］。因此，在搜索過程中對搜索者的信息記錄行為展開追蹤和監(jiān)測是很有必要的；另一方面，如果IR系統(tǒng)能夠設(shè)計功能或提供工具來支持搜索過程中的信息記錄，對于搜索者高效完成搜索任務(wù)，實現(xiàn)搜索目標(biāo)是很有幫助的，這就需要IR系統(tǒng)能夠更加全面深入地理解和捕捉搜索者的信息記錄行為特征和規(guī)律，如信息記錄行為是何時發(fā)生的。然而，在大多數(shù)情況下，搜索者的信息記錄行為發(fā)生在搜索系統(tǒng)的“外部”，或發(fā)生在整個搜索會話結(jié)束后，或伴生在搜索過程中但借由其他外部系統(tǒng)實現(xiàn)，如文本文檔，這都使得IR系統(tǒng)無法直接觀察追蹤到用戶的信息記錄行為。鑒于以上問題，本研究首先探索了搜索活動與信息記錄行為之間的關(guān)系，為IR系統(tǒng)基于“內(nèi)部”搜索交互行為理解和識別搜索者的信息記錄特征提供操作路徑。

本研究通過對搜索者查詢片段內(nèi)的搜索結(jié)果頁、內(nèi)容頁面、活動轉(zhuǎn)移三類特征變量與信息記錄行為間的關(guān)系的分析，發(fā)現(xiàn)這些可觀測的搜索活動與用戶的信息記錄行為存在顯著相關(guān)關(guān)系。當(dāng)搜索者與內(nèi)容頁面有更多的交互時，如在內(nèi)容頁面上停留的時間更長或訪問更多的內(nèi)容頁面，他們更可能在該查詢片段內(nèi)發(fā)生信息記錄行為；反之，搜索者如果將更多的精力花費在與搜索結(jié)果頁的交互中，則信息記錄的概率降低。在頁面交互特征之外，本研究還揭示了用戶活動轉(zhuǎn)移的特征規(guī)律。在發(fā)生了信息記錄行為的查詢片段中，用戶從一個內(nèi)容頁面跳轉(zhuǎn)到另一個不同的內(nèi)容頁面的概率更高；而當(dāng)沒有信息記錄發(fā)生時，用戶在搜索結(jié)果頁和內(nèi)容頁面（SC和CS）之間的跳轉(zhuǎn)概率比在TN查詢片段中更高，這一頻繁跳轉(zhuǎn)的特征也暗示著用戶當(dāng)前對使用哪些信息項或如何使用信息項來完成任務(wù)目標(biāo)存在不確定性。

4.2? ? 信息記錄行為預(yù)測

基于搜索活動與信息記錄行為之間的關(guān)系，本研究分為兩個階段構(gòu)建信息記錄行為的預(yù)測模型。第一階段對查詢片段內(nèi)是否發(fā)生了信息記錄行為展開事后判別。根據(jù)模型性能表明，結(jié)合內(nèi)容頁面的行為交互特征和活動轉(zhuǎn)移特征構(gòu)建模型可以獲得更好的預(yù)測效果。具體地，內(nèi)容頁面停留時間、CS和SC活動轉(zhuǎn)換對成功預(yù)測用戶在查詢片段中是否發(fā)生信息記錄行為的貢獻(xiàn)最大。內(nèi)容頁面停留時間這一變量對于評估有用性的重要意義在以往的研究中已經(jīng)有所體現(xiàn)［19-21］。本研究的一個新發(fā)現(xiàn)是，整合活動轉(zhuǎn)移特征構(gòu)建模型可以提高預(yù)測性能。搜索者的活動轉(zhuǎn)移序列作為活動的動態(tài)描述，比單個活動更能傳達(dá)、重現(xiàn)用戶在整個搜索過程中的動作、策略與發(fā)展態(tài)勢，對于追蹤與監(jiān)測用戶的信息記錄行為具有關(guān)鍵作用。

本研究在第二階段構(gòu)建了隱馬爾科夫模型（HMM）對查詢片段中每步搜索活動后的信息記錄行為狀態(tài)展開建模，實時預(yù)測信息記錄行為在搜索過程中何時發(fā)生的問題。結(jié)果表明，HMM在一定程度上能夠有效識別查詢片段內(nèi)信息記錄行為的發(fā)生，總體正確率達(dá)到71.4%。研究還進(jìn)一步比較了利用HMM模型在搜索任務(wù)完成全過程的不同階段的預(yù)測效果，結(jié)果發(fā)現(xiàn)，相較于所有查詢片段和末次查詢片段，用戶的首次查詢片段預(yù)測信息記錄行為的效果最好。這一結(jié)果表明，搜索過程早期階段的用戶信息記錄行為能夠被更好地識別出來。這一結(jié)果也與之前的一些研究發(fā)現(xiàn)相吻合。在之前的研究中發(fā)現(xiàn)用戶在首次查詢片段中的行為交互活動與后期的行為交互間存在顯著的差異［30-31］，一些研究證明了用戶在首次查詢片段內(nèi)的交互能夠相對更好地預(yù)測當(dāng)前搜索任務(wù)的難度或任務(wù)類型［32-33］。當(dāng)搜索復(fù)雜任務(wù)時，用戶更需要隨著任務(wù)的推進(jìn)實時調(diào)整他們的搜索策略，因此，在任務(wù)完成過程的中后期，用戶信息記錄行為的預(yù)測將變得更加困難。未來，本研究將考慮將任務(wù)特征、個人特征等更多情境因素與行為特征相結(jié)合來預(yù)測搜索過程中信息記錄行為的發(fā)生發(fā)展規(guī)律，以便增強(qiáng)IR系統(tǒng)對用戶信息記錄的理解、追蹤和預(yù)感知能力，為個性化、情景化的信息記錄提供相匹配的支持功能工具，實現(xiàn)信息記錄與搜索任務(wù)的高效完成。

5? ?結(jié)語

本研究以可觀測的搜索活動為基礎(chǔ)，構(gòu)建邏輯回歸模型和隱馬爾可夫模型解決了用戶搜索過程中信息記錄行為是否以及何時發(fā)生的問題。研究發(fā)現(xiàn)用戶在內(nèi)容頁面上的交互特征和活動轉(zhuǎn)換特征對于信息記錄行為的預(yù)測具有重要貢獻(xiàn)。此外，研究還發(fā)現(xiàn)，隱馬爾可夫模型對于從一系列的搜索交互序列中實時監(jiān)測用戶的信息記錄行為有較好的性能，特別是對于用戶的首個查詢片段內(nèi)的信息記錄行為預(yù)測。本研究的發(fā)現(xiàn)有助于深入理解和剖析用戶的信息記錄行為特征規(guī)律，為基于信息實際使用情況評估IR系統(tǒng)性能提供了可能，也為高效支持搜索過程中信息處理與記錄的搜索系統(tǒng)功能的優(yōu)化和設(shè)計提供了依據(jù)。

參考文獻(xiàn)：

［1］? Cole M，Liu J，Belkin N J，et al.Usefulness as the criterion for evaluation of interactive information retrieval［A］.Proceedings of the Third Workshop on Human-Computer Interaction and Information Retrieval Cambridge［C］.HCIR，2009：1-4.

［2］? Wilson T D.Human information behavior［J］.Informing science，2000，3：49.

［3］? 宋筱璇，劉暢，陳建龍.搜索即學(xué)習(xí)主題的相關(guān)研究綜述［J］.圖書情報工作，2021，65（10）：113-126.

［4］? 宋筱璇，劉暢.學(xué)習(xí)型搜索中用戶信息源選擇和使用策略研究［J］.情報學(xué)報，2019，38（6）：655-666.

［5］? 孟高慧，宋筱璇，張瀟月，等.學(xué)習(xí)型搜索中的筆記記錄行為與學(xué)習(xí)產(chǎn)出的關(guān)聯(lián)探究［J］.圖書情報工作，2022，66（8）：42-54.

［6］? Wu J Y，Xie C.Using time pressure and note-taking to prevent digital distraction behavior and enhance online search performance：Perspectives from the load theory of attention and cognitive control［J］.Computers in Human Behavior，2018（88）：244-254.

［7］? 劉涵蕊，劉暢.認(rèn)知風(fēng)格與話題熟悉度對學(xué)習(xí)型任務(wù)下搜索交互行為的影響研究［J］.情報理論與實踐，2018，41（4）：56-62.

［8］? 劉暢，宋筱璇，楊子傲.用戶信息搜索中的學(xué)習(xí)行為及過程探究［J］.大學(xué)圖書館學(xué)報，2019，37（4）：36-45.

［9］? Kuhlthau C C.Inside the search process：Information seeking from the user's perspective［J］.Journal of the American society for information science，1991，42（5）：361-371.

［10］? Jrvelin K，Vakkari P，Arvola P，et al.Task-based information interaction evaluation：The viewpoint of program theory［J］.ACM Transactions on Information Systems，2015，33（1）：1-30.

［11］? Liu C，Song X，Hansen P.Characterising userstask completion process in learning-related tasks：A search pace model［J］.Journal of Information Science，2021：01655515211060527.

［12］? Vakkari P，Vlske M，Potthast M，et al.Modeling the usefulness of search results as measured by information use［J］.Information Processing & Management，2019，56（3）：879-894.

［13］? Liu C，Song X，Liu H，et al.Modelling knowledge change behaviors in learning-related tasks［C］.Proceedings of CIKM 2020 workshop：1st international workshop on investigating learning during Web search.Ireland：CEUR-WS，2020.

［14］? Roy N，Torre M V，Gadiraju U，et al.Note the highlight：incorporating active reading tools in a search as learning environment［C］.Proceedings of the 2021 Conference on Human Information Interaction and Retrieval，2021：229-238.

［15］? Choi B，Arguello J，Capra R，et al.The Influences of a Knowledge Representation Tool on Searchers with Varying Cognitive Abilities［J］.ACM Transactions on Information Systems，2023，41（1）：1-35.

［16］? Potthast M，Hagen M，Vlske M，et al.Crowdsourcing interaction logs to understand text reuse from the Web［A］.Proceedings of the 51st annual meeting of the Association for Computational Linguistics［C］.Sofia：Association for Computational Linguistics，2013：1212-1221.

［17］? Hagen M，Potthast M，Vlske M，et al.How writers search：analyzing the search and writing logs of non-fictional essays［A］.Proceedings of the 2016 conference on human information interaction and retrieval［C］.New York：ACM，2016：193-202.

［18］? Song X，Liu C，Liu H.Characterizing and exploring users' task completion process at different stages in learning related tasks［J］.Proceedings of the Association for Information Science and Technology，2018，55（1）：460-469.

［19］? Liu C，Belkin N J，Cole M J.Personalization of search results using interaction behaviors in search sessions［C］.Proceedings of the 35th international ACM SIGIR conference on Research and development in information retrieval，2012：205-214.

［20］? Liu C，Gwizdka J，Liu J.Helping identify when users find useful documents：examination of query reformulation intervals［C］.Proceedings of the third symposium on Information interaction in context，2010：215-224.

［21］? Liu J，Belkin N J.Personalizing information retrieval for multi session tasks：Examining the roles of task stage，task type，and topic knowledge on the interpretation of dwell time as an indicator of document usefulness［J］.Journal of the Association for Information Science and Technology，2015，66（1）：58-81.

［22］? Hassan A，Jones R，Klinkner K L.Beyond DCG：user behavior as a predictor of a successful search［C］.Proceedings of the third ACM international conference on Web search and data mining，2010：221-230.

［23］? Fox S，Karnawat K，Mydland M，et al.Evaluating implicit measures to improve web search［J］.ACM Transactions on Information Systems （TOIS），2005，23（2）：147-168.

［24］? Mao J，Liu Y，Luan H，et al.Understanding and predicting usefulness judgment in web search［C］.Proceedings of the 40th International ACM SIGIR Conference on Research and Development in Information Retrieval，2017：1169-1172.

［25］? Yue Z，Han S，He D.Modeling search processes using hidden states in collaborative exploratory web search［C］.Proceedings of the 17th ACM conference on Computer supported cooperative work & social computing，2014：820-830.

［26］? Rieh S Y，Collins-Thompson K，Hansen P，et al.Towards searching as a learning process：a review of current perspectives and future directions［J］.Journal of Information Science，2016，42（1）：19-34.

［27］? 劉暢，趙瑜，楊帆.信息檢索用戶實驗設(shè)計中時間限制和任務(wù)次序的影響研究［J］.圖書情報工作，2015，59（1）：99-105.

［28］? Rabiner L，Juang B.An introduction to hidden Markov models［J］.IEEE ASSP magazine，1986，3（1）：4-16.

［29］? Belkin N J.On the evaluation of interactive information retrieval systems［J］.The Janus Faced Scholar.A Festschrift in Honour of Peter Ingwersen，2010：13-21.

［30］? Jiang J，He D，Allan J.Searching，browsing，and clicking in a search session：Changes in user behavior by task and over time［C］.Proceedings of the 37th international ACM SIGIR conference on Research & development in information retrieval，2014：607-616.

［31］? Liu C，Wei Y.The impacts of time constraint on users' search strategy during search process［J］.Proceedings of the Association for Information Science and Technology，2016，53（1）：1-9.

［32］? Liu C，Liu J，Belkin N J.Predicting search task difficulty at different search stages［C］.Proceedings of the 23rd ACM international conference on conference on information and knowledge management，2014：569-578.

［33］? Mitsui M，Liu J，Shah C.How much is too much？ Whole session vs.first query behaviors in task type prediction［C］.The 41st International ACM SIGIR Conference on Research & Development in Information Retrieval，2018：1141-1144.

作者簡介：宋筱璇（1992-），女，南京農(nóng)業(yè)大學(xué)信息管理學(xué)院講師，研究方向：信息行為、交互式信息檢索；劉暢（1983-），女，北京大學(xué)信息管理系長聘副教授，博士生導(dǎo)師，研究方向：信息行為、交互式信息檢索、信息服務(wù)。